본문 바로가기
AWS/EMR

[EMR] EMR 하둡 클러스터의 기본 포트 및 사용법

by hs_seo 2020. 3. 5.

EMR 하둡 클러스터에서 사용되는 포트와 기본적인 사용 방법은 다음과 같습니다. 

타입 프로세스 포트 사용법

hdfs

hdfs 8020 hadoop fs -ls hdfs://$(hostname -f):8020/
webhdfs 50070 curl -s http://$(hostname -f):50070/webhdfs/v1/?op=GETFILESTATUS | jq
webhdfs-proxy 14000 curl -s "http:///$(hostname -f):14000/webhdfs/v1?op=GETFILESTATUS&user.name=hadoop"

yarn

resourcemanager 8032  
resourcemanager web UI 8088 lynx http://$(hostname -f):8088
timelineserver 8188 curl -s http://$(hostname -f):8188/ws/v1/timeline
yarn-proxy-server 20888  
Mapreduce historyserver 19888 curl -s http://$(hostname -f):19888/ws/v1/history/info

hive

metastore 9083 thrift://$(hostname -f):9083
hive-server2 10000 jdbc:hive2://localhost:10000
hive-server2 web UI 10002 lynx http://$(hostname -f):10002

spark

spark-history-server 18080 curl http://$(hostname -f):18080/api/v1/applications
livy-server 8998 lynx http://localhost:8998

kms

hadoop-kms 9700 curl http://$(hostname -f):9700/kms/v1/keys/names
반응형