[hadoop] 맵리듀스의 맵퍼 리듀서 개수 설정하기

하둡의 매퍼 리듀서 개수는 입력사이즈에 의해서 설정하는 방법과 사용자가 개수를 설정하는 방법이있다. 

<input 파일 용량에 따라 매퍼 개수 설정>

set mapreduce.input.fileinputformat.split.maxsize=268435456;

set mapreduce.input.fileinputformat.split.minsize=134217728;

<input 파일 용량에 따라 리듀서 개수 설정>

set mapred.reduce.tasks=-1;

set hive.exec.reducers.bytes.per.reducer=134217728;

<입력값에 상관없이 개수 매퍼 리듀서 개수 고정>

set mapreduce.job.maps=100;
set mapreduce.job.reduces=100;

* 하둡 위키에 따르면 매퍼의 개수는 하둡이 계산한 매퍼의 개수 이하로는 설정할 수 없다고 한다. 

  하둡이 매퍼의 개수를 500개로 계산했는데 100개로 설정하면 500개로 처리하게 된다. 
https://wiki.apache.org/hadoop/HowManyMapsAndReduces