[hive][error] 셔플 과정에서 발생하는 OutOfMemoryError: Java heap space, error in shuffle in fetcher 오류 해결방법

hive를 이용하여 MR 작업 처리중 shuffle 과정에서, OutOfMemory 오류가 발생하면 다음과 같이 수정하면 된다.

Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#12
    at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:377)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.OutOfMemoryError: Java heap space
    at org.apache.hadoop.io.BoundedByteArrayOutputStream.<init>(BoundedByteArrayOutputStream.java:56)
    at org.apache.hadoop.io.BoundedByteArrayOutputStream.<init>(BoundedByteArrayOutputStream.java:46)
    at org.apache.hadoop.mapreduce.task.reduce.InMemoryMapOutput.<init>(InMemoryMapOutput.java:63)
    at org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.unconditionalReserve(MergeManagerImpl.java:305)
    at org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.reserve(MergeManagerImpl.java:295)
    at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyMapOutput(Fetcher.java:514)
    at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyFromHost(Fetcher.java:336)
    at org.apache.hadoop.mapreduce.task.reduce.Fetcher.run(Fetcher.java:193)

<리듀서의 메모리 설정 증가>

# 리듀서의 메모리와 힙 사이즈를 증가 시킨다.

SET mapreduce.reduce.memory.mb=6000;
SET mapreduce.reduce.java.opts=-Xmx5000m;

<셔플단계의 설정 변경>

# 셔플단계에서 전달된 맵의 데이터를 복사하는 메모리 버퍼의 크기를 늘리고,

# 메모리를 넘어서는 데이터는 파일로 쓰게 하는 비율을 조정

set mapreduce.reduce.memory.total.bytes=2048MB;
set mapreduce.reduce.shuffle.input.buffer.percent=0.5;  // 퍼센트를 줄임

<매퍼 임시 출력 설정 변경>

# 맵의 결과를 저장하는 환형버퍼의 사이즈 조절

set mapreduce.task.io.sort.mb=400;
set mapreduce.task.io.sort.factor=100;
set mapreduce.map.sort.spill.percent=0.50;

위의 설정중 먼저 셔플단계의 설정 변경을 해보고,

안되면 리듀서의 메모리 증가와 매퍼 임시 출력 설정 변경을 적용하면 된다.