티스토리 뷰

EMR 하둡 클러스터에서 사용되는 포트와 기본적인 사용 방법은 다음과 같습니다. 

타입 프로세스 포트 사용법

hdfs

hdfs 8020 hadoop fs -ls hdfs://$(hostname -f):8020/
webhdfs 50070 curl -s http://$(hostname -f):50070/webhdfs/v1/?op=GETFILESTATUS | jq
webhdfs-proxy 14000 curl -s "http:///$(hostname -f):14000/webhdfs/v1?op=GETFILESTATUS&user.name=hadoop"

yarn

resourcemanager 8032  
resourcemanager web UI 8088 lynx http://$(hostname -f):8088
timelineserver 8188 curl -s http://$(hostname -f):8188/ws/v1/timeline
yarn-proxy-server 20888  
Mapreduce historyserver 19888 curl -s http://$(hostname -f):19888/ws/v1/history/info

hive

metastore 9083 thrift://$(hostname -f):9083
hive-server2 10000 jdbc:hive2://localhost:10000
hive-server2 web UI 10002 lynx http://$(hostname -f):10002

spark

spark-history-server 18080 curl http://$(hostname -f):18080/api/v1/applications
livy-server 8998 lynx http://localhost:8998

kms

hadoop-kms 9700 curl http://$(hostname -f):9700/kms/v1/keys/names
반응형
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
«   2025/02   »
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28
글 보관함