[팁] JVM을 재사용하여 성능을 향상 시키기

맵, 리듀스 태스크는 처리될 때 JVM를 새로 생성한다.

따라서 짧은 작업이 여러개 생성될 경우 JVM을 신규로 생성하는 오버헤드가 클 수도 있다.

이때 JVM을 재사용하여 작업을 처리하는 시간은 줄일 수 있다.

아래의 설정은 JVM에서 처리할 수 있는 작업의 개수를 설정한다.

기본 설정은 1이지만, -1로 설정하면 제한없이 사용할 수 있다.

hadoop v1

mapred.job.reuse.jvm.num.tasks=-1

hadoop v2

mapreduce.job.jvm.numtasks=-1

http://www.nexr.co.kr/upload/mapli_deux.pdf

https://hadooptips.wordpress.com/2013/03/19/improving-performance-with-jvm-reuse/

http://stackoverflow.com/questions/10484658/reuse-jvm-in-hadoop-mapreduce-jobs