하둡의 설치

2022.07.25 - [InfraStructure] - 하둡이란? - 기본

하둡이란? - 기본

 

하둡에 대한 기초 지식을 알아보고 난 후 실습을 위해 설치를 진행해보자

 

 

1. 하둡 설치

macOS 환경에서 하둡 설치는 매우 간단하게 brew를 이용하면 쉽게 설치가 가능하다

$ brew install hadoop

 

만약 설치중에 'brew unlink yarn'이라는 문구가 발생하는 경우가 발생한다.

그런 경우에는 아래와 같은 순으로 실행해준다.

$ brew uninstall yarn
$ brew uninstall hadoop
$ brew install hadoop
$ brew link hadoop

 

 

2. 하둡 설정 파일 수정

하둡이 정상적으로 설치되고 나서 하둡 설정 파일들을 수정해줘야한다.

수정이 필요한 파일들의 경로는 아래를 참고하고 대상 항목들은 hadoop-env.sh, core-site.xml, mapred-site.xml, hdfs-site.xml 총 4개이다.

$ cd /usr/local/Cellar/hadoop/3.3.3/libexec/etc/hadoop

 

hadoop-env.sh

하둡내에서 실행하는 명령어들이 사용하는 파일로 JDK Path, classPath 등이 설정된다.

HADOOP_OPTS 내용이 없는 경우 추가하고 있는 경우에는 수정하여 준다.

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

 

core-site.xml

HDFS와 맵리듀스에서 사용할 환경설정 정보를 셋팅하는 파일이다. Configuration tag안에 작성한다.

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
    <description>A base for other temporary directories.</description>
  </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

 

mapred-site.xml : 맵리듀스에서 사용할 환경설정 정보 셋팅을 위한 파일이다. 역시 Configuration Tag안에 작성한다.

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9010</value>
  </property>
</configuration>

 

hdfs-site.xml : HDFS에서 사용할 네임노드, 데이터노드등과 같은 HDFS 데몬을 위한 환경정보를 설정하는 파일이다.  역시 Configuration Tag안에 작성한다.

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

 

3. 하둡 실행

하둡 실행에 앞서 터미널에서 HDFS로 포맷을 진행한다.

$ cd /usr/local/cellar/hadoop/3.3.3/libexec/bin
$ hdfs namenode -format

 

포맷을 진행 후 ssh key를 생성해준다. 

$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 

ssh key 생성 후 원격 로그인 허용 처리를 진행한다. 원격 로그인 허용을 하지 않은 경우 ssh conection refuse 오류가 발생한다.

환결설정 > 공유에서 원격 로그인 허용에 체크한 후 터미널에서 ssh 접속 여부를 확인한다.

$ ssh localhost

 

하둡의 실행 및 종료 명령어는 다음과 같다.

$ cd /usr/local/cellar/hadoop/3.3.3/libexec/sbin

# 하둡 실행
$ ./start-all.sh

# 하둡 종료
$ ./stop-all.sh

#하둡 파일 시스템만 실행을 원할 경우
$./start-dfs.sh

#하둡 파일 시스템을 종료할 경우
$./stop-dfs.sh

 

위의 하둡 실행 명령어를 수행하고 나서  ssh key의  Permission denied 오류가 발생하는 경우가 있다.

이런 경우 아래와 같이 ssh key를  재생성한다.

$ cd ~/.ssh
$ ssh-keygen -t rsa -P ""
$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

 

하둡을 실행 후 정상 기동 여부 확인을 위해선 터미널에  jps 명령어를 수행한다.

$ jps
5890 Jps
5475 ResourceManager
503
5111 DataNode
5774 NodeManager
5007 NameNode

추가로 브라우저에서  localhost로 접속 시 하둡의 상태를 확인할 수 있다.

 

Cluster status : http://localhost:8088

HDFS status : http://localhost:9870