W3M1 미션 원문

• 미션 원문 페이지
• 요약 정리한거

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

여기 공식 문서 내 튜토리얼을 참고해서 로컬에서 먼저 싱글노드를 띄워보자.

튜토리얼 내에서 하둡은 세 가지 operating mode를 가진다고 한다.

• Local (Standalone) Mode
• Pseudo-Distributed Mode
• Fully-Distributed Mode

여기서, 미션 요구사항을 보면 single-node 내에서 만들라고 했으니 Fully-Distributed는 제외하고, “클러스터”를 만들라고 했으니 Local을 제외하면 Pseudo-Distributed Mode가 가장 적절한 옵션인 것 같아 이를 선택했다. Local에서는 namenode, datanode 등의 daemon이 실행되지 않아서 Pseudo-Distributed로 선택하길 잘했다.

• 최종 도커파일

하둡 설치 전 필요한 것

apt-get update
apt-get install ssh pdsh

apt install openjdk-17-jre
export JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64

하둡 파일 설치

wget <https://dlcdn.apache.org/hadoop/common/current/hadoop-3.4.1.tar.gz>
tar -xvzf hadoop-3.4.1.tar.gz

하둡 잘 돌아가는지 확인

./hadoop-3.4.1/bin/hadoop

하둡 configuration 파일