[hive][tez][mr] 하이브 처리중 매퍼의 개수 설정하는 벙법

하이브의 맵리듀스 처리중 속도가 너무 느리다면 매퍼의 개수를 늘려서 처리를 해볼 수 있다. 

이럴때 매퍼의 개수를 늘이기 위한 설정은 다음과 같다. 

  * MR 엔진일때와 Tez 엔진일때 다른 설정을 이용한다. 

<MR>

SET hive.exec.reducers.bytes.per.reducer=67108864;

SET mapreduce.input.fileinputformat.split.minsize.per.node=134217728;

SET mapreduce.input.fileinputformat.split.minsize.per.rack=134217728;

SET mapreduce.input.fileinputformat.split.minsize=67108864;

SET mapreduce.input.fileinputformat.split.maxsize=134217728;

<Tez>

-- 최신 버전(0.8.x 이후(?))

SET tez.grouping.min-size=67108864;

SET tez.grouping.max-size=134217728;

-- 기존 버전

SET tez.am.grouping.min-size=67108864;

SET tez.am.grouping.max-size=134217728;

TEZ 설정은 버전에 따라 다르므로 주의해서 확인하도록 한다.