[오류] 리듀서 처리중 Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out. 오류

다음의 오류가 발생하면 해결방법은 2개가 있는 것 같다.

우선 하나는 mapreduce.tasktracker.http.threads 를 수정하는 것이고,

다른하나는 slave 파일에 호스트 정보를 추가하는 것이다.

또는 작업을 다시한번 돌려도 될 것 같다.

Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

1번 mapred-site.xml 의 mapreduce.tasktracker.http.threads 값을 기본 40에서 더 큰수로 설정 하고 하둡을 재시작한다.

mapreduce.tasktracker.http.threads: 맵의 출력 데이터를 리듀스 태스크에게 제공하기 위한 태스크 트래커의 워커 스레드개수 설정
                                                   전체 클러스터에 적용되며, 잡별로 다르게 설정할 수는 없음

2번 노드 통신상의 문제일 수도 있기 때문에 slave 파일에 노드의 주소를 적어준다.

http://neokobi.tistory.com/entry/Hadoop%EC%97%90%EC%84%9C%EC%9D%98-Shuffle-Error-Exceeded-MAXFAILEDUNIQUEFETCHES-bailing-out-%EC%97%90%EB%9F%AC-%EC%B2%98%EB%A6%AC

http://stackoverflow.com/questions/10729543/shuffle-errorexceeded-max-failed-unique-matche-bailing-out