[hadoop][hive] 맵리듀스 처리시 오류가 발생해도 무시하고 진행하게 하는 프로퍼티

<개요>

하둡은 형식이 없는 데이터를 처리하다보니 처리중 오류가 발생할 경우가 있다. 

예를 들어 텍스트 파싱을 진행하는 매퍼 작업의 경우 10개중 1개가 실패할 경우 성공으로 인식하여 처리하게 할 수 있다. 

이런 경우 다음의 설정값을 이용하여 처리하면 된다. 

<설정방법>

매퍼작업과 리듀스 작업을 나눠서 설정이 가능하다. 

[신버전]

mapreduce.map.failures.maxpercent=10;

mapreduce.reduce.failures.maxpercent=10;

[구버전 Deprecated]

mapred.max.map.failures.percent=10;

mapred.max.reduce.failures.percent=10;

<주의사항>

하둡의 버전이 달라지면서 기존의 설정과 이름이 바뀌었기 때문에 하둡 버전에 맞게 사용해야 한다.