분류 전체보기

2022.08.07 - [Backend/Server&Network] - 프록시 서버란? 프록시 서버란? 1. 프록시 서버란? Proxy의 사전적 의미는 '대리' 라는 의미이다. 말 그대로 2개의 서버가 직접 통신하지 않고 중간에 서버를 중계역할로 이용하는 서버를 프록시 서버라고 한다. 프록시 서버는 보 yarisong.tistory.com 지난 포스팅에서 프록시 서버에 대해 간략히 알아보았다. 이번 포스팅에서는 HA프록시에 대해 간략히 알아보고자 한다. 1.HA Proxy란? HA Proxy란 L4, L7과 같이 하드웨어 로드밸런서를 대체하기 위한 오픈 소스로 리버스 프록시를 기반으로한 L4, L7 소프트웨어 로드 밸런서이다. 2. HA Proxy 동작 방식 위에서 설명한 것과 같이 HA Proxy는 리..

1. 프록시 서버란? Proxy의 사전적 의미는 '대리' 라는 의미이다. 말 그대로 2개의 서버가 직접 통신하지 않고 중간에 서버를 중계역할로 이용하는 서버를 프록시 서버라고 한다. 프록시 서버는 보안 목적, 캐싱 등의 기능을 제공한다. 프록시 서버가 중간에 위치함으로써 클라이언트는 프록시 서버를 서버로 인식하고 서버 입장에서는 프록시 서버를 클라이언트로 인식하게 된다. 프로시 서버는 서버의 위치에 따라 크게 두 가지로 나뉘어지게 된다. 자세한 것은 아래에서 확인해보자 2. 포워드 프록시(Forward Proxy) 클라이언트에서 서버로 리소스를 요청할 때 프록시 서버를 거쳐 요청하는 경우를 이야기 한다. 프록시 서버를 거칠 경우 서버에서는 받은 IP가 누구의 IP인지 모르기 때문에 클라이언트가 누군지를 ..

1. 메시지큐란? 메시지 지향 미들웨어(Message Oriented Middleware), 즉 MOM은 독립된 서비스간에 데이터를 주고받을 수 있는 형태의 미들웨어를 말한다. 메시지를 통해 여러 분산되어 있는 시스템간의 Connector 역할을 통해 결합성을 낮추고, 실시간으로 비동기식 데이터를 교환할 수 있도록 하는 소프트웨어를 말한다. 그렇다면 Message Queue(MQ)는 무엇일까? MOM을 구현한 솔루션으로 비동기 메시지를 사용하는 서비스들간에 데이터를 교환해주는 역할을 한다. Producer, Consumer가 존재하고 Producer는 메시지를 큐에 전송하고 Consumer가 큐의 메시지를 처리한다. MQ를 사용하면 비동기로 요청을 처리하고 Queue에 저장하여 Consumer에게 병목을..

Spark History Server 관련하여 발생하는 오류들을 별도로 모아 정리하고자 한다. FileNotFoundException : File file:/tmp/spark-events does not exist ./start-history-server.sh 실행 시 아래와 같은 오류가 발생하게 되는 경우 failed to launch: nice -n 0 /usr/local/Cellar/apache-spark/3.3.0/libexec/bin/spark-class org.apache.spark.deploy.history.HistoryServer at org.apache.spark.deploy.history.FsHistoryProvider.start(FsHistoryProvider.scala:421) at..

2022.07.29 - [InfraStructure] - 스파크란? -기본 스파크란? -기본 빅데이터, 분산처리 관련 기술들을 공부하다보니 스파크란 프레임워크를 알게되었고 이번 기회에 내용을 정리해보도록 한다. 1.스파크란? & 등장배경 스파크를 한마디로 정의하면 빅데이터처리 yarisong.tistory.com 지난 포스팅을 통해 스파크에 대해 알아보았고 이제 설치를 통해 이해도를 높여보도록 한다. 1. Spark 설치 Spark 설치를 위해서는 홈페이지에서 다운받아 설치하는 방법과 Homebrew를 사용하는 방법 2가지가 있다. homebrew가 보통 편하기에 이 포스팅에서는 homebrew를 통해 설치를 진행한다. 터미널을 열어 아래와 같이 명령어를 실행한다. $ brew install apache..

빅데이터, 분산처리 관련 기술들을 공부하다보니 스파크란 프레임워크를 알게되었고 이번 기회에 내용을 정리해보도록 한다. 1.스파크란? & 등장배경 스파크를 한마디로 정의하면 빅데이터처리를 위한 오픈소스 분산처리 플랫폼, 또는 빅데이터 분산처리엔진이다. 스파크가 나오게 된 배경으로는 하둡의 단점을 보완하기 위해서 탄생하였다. HDFS는 DISK I/O를 기반으로 동작한다. 이는 하둡의 처리 속도를 느리게 하는 요인이었고 실시간성 데이터에 대한 니즈를 증가하는 상황에서 충족하지 못하는 상황이 발생하였다. 스파크의 경우 메모리로부터 map/reduce할 데이터를 불러오고 결과도 메모리에 저장한다. 그렇기에 속도도 하둡에 비해 1000배 정도 빠르고 배치 분석 뿐만 아니라, 스트리밍 데이터 양쪽 분석 모두 지원함..