AWS/EMR
[EMR] EMR 하둡 클러스터에서 실행중인 세 가지 히스토리 서버
hs_seo
2020. 3. 6. 10:14
EMR의 마스터 노드에서 실행되는 여러 가지 서비스 중에서 작업 실행 정보를 확인할 수 있는 히스토리 서버 3가지에 대해서 알아보겠습니다.
- 얀 타임라인 서버
- 맵리듀스 히스토리 서버
- 스파크 히스토리 서버
얀 타임라인 서버(YARN Timeline Server)
얀 타임라인 서버는 하둡 클러스터를 통해 작업된 애플리케이션의 기록을 저장하고 조회할 수 있습니다. 실행 중인 애플리케이션, 작업 완료된 애플리케이션의 큐 정보, 사용자 정보, 작업 상태를 확인할 수 있습니다.
사용 방법
curl -s http://$(hostname -f):8188/ws/v1/timeline
curl -s http://$(hostname -f):8188/ws/v1/timeline/DS_APP_ATTEMPT
curl -s http://$(hostname -f):8188/ws/v1/applicationhistory/apps링크
맵리듀스 히스토리 서버
맵리듀스 작업에 대한 히스토리를 관리하는 서버입니다. REST API를 이용해서 정보를 확인할 수 있습니다.
사용 방법
curl -s http://$(hostname -f):19888/ws/v1/history/info
curl -s http://$(hostname -f):19888/ws/v1/history/mapreduce/jobs링크
스파크 히스토리 서버
스파크 히스토리 서버는 스파크 작업의 실행 내역을 기록하고 관리하는 목적으로 사용됩니다.
사용방법
lynx http://$(hostname -f):18080
curl http://$(hostname -f):18080/api/v1/applications
curl http://$(hostname -f):18080/api/v1/applications/[app-id]/jobs링크
반응형