[hadoop] 맵리듀스 작업 중 Sent signal OUTPUT_THREAD_DUMP 오류 확인

# 예제임
17/10/09 15:19:53 INFO mapreduce.Job:  map 67% reduce 0%
17/10/09 15:30:05 INFO mapreduce.Job: Task Id : attempt_1507562353923_0001_m_000000_0, Status : FAILED
AttemptID:attempt_1507562353923_0001_m_000000_0 Timed out after 600 secs
Sent signal OUTPUT_THREAD_DUMP (SIGQUIT) to pid 6230 as user ubuntu for container container_1507562353923_0001_01_000002, result=success
Container killed by the ApplicationMaster.
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

하둡 맵리듀스 작업중에 "Sent signal OUTPUT_THREAD_DUMP" 오류를 출력하고 작업이 종료되는 경우가 있습니다.

 

저의 겨웅 작업을 잘 살펴 보면 오류가 발생한 것이 아니고 작업이 정상적으로 동작하다가 갑자기 죽어서 원인을 파악하는데 어려움이 있었습니다.

 

증상

• 맵리듀스는 5분 동안 동작에 이상이 없으면 컨테이너를 kill 함
• 맵작업 자체는 정상적으로 동작 중이었고, 오류도 발생하지 않음
• 이 상태로 5분이 되어, 애플리케이션 마스터가 맵을 kill 함

원인

정의 경우 원인은 맵에서 발생한 소켓 통신에서, 소켓이 끊어 진것을 라이브러리가 확인하지 못해서 5분간 작업에 행이 걸렸습니다. 이런 오류가 발생한다면 맵작업 중에서 처리하는 어떤 동작에 행이 걸리는 것은 아닌지 확인하는 것이 좋을 것 같습니다.