[EMR] EMR 하둡 클러스터에서 실행중인 세 가지 히스토리 서버

EMR의 마스터 노드에서 실행되는 여러 가지 서비스 중에서 작업 실행 정보를 확인할 수 있는 히스토리 서버 3가지에 대해서 알아보겠습니다.

• 얀 타임라인 서버
• 맵리듀스 히스토리 서버
• 스파크 히스토리 서버

얀 타임라인 서버(YARN Timeline Server)

얀 타임라인 서버는 하둡 클러스터를 통해 작업된 애플리케이션의 기록을 저장하고 조회할 수 있습니다. 실행 중인 애플리케이션, 작업 완료된 애플리케이션의 큐 정보, 사용자 정보, 작업 상태를 확인할 수 있습니다.

사용 방법

curl -s http://$(hostname -f):8188/ws/v1/timeline
curl -s http://$(hostname -f):8188/ws/v1/timeline/DS_APP_ATTEMPT
curl -s http://$(hostname -f):8188/ws/v1/applicationhistory/apps

링크

• TimelineServer

맵리듀스 히스토리 서버

맵리듀스 작업에 대한 히스토리를 관리하는 서버입니다. REST API를 이용해서 정보를 확인할 수 있습니다.

사용 방법

curl -s http://$(hostname -f):19888/ws/v1/history/info
curl -s http://$(hostname -f):19888/ws/v1/history/mapreduce/jobs

링크

• HistoryServerRest

스파크 히스토리 서버

스파크 히스토리 서버는 스파크 작업의 실행 내역을 기록하고 관리하는 목적으로 사용됩니다.

사용방법

lynx http://$(hostname -f):18080

curl http://$(hostname -f):18080/api/v1/applications
curl http://$(hostname -f):18080/api/v1/applications/[app-id]/jobs

링크

• Monitoring and Instrumentation