[팁] JVM을 재사용하여 성능을 향상 시키기

빅데이터/hadoop

hs_seo 2016. 2. 12. 17:57

맵, 리듀스 태스크는 처리될 때 JVM를 새로 생성한다.

따라서 짧은 작업이 여러개 생성될 경우 JVM을 신규로 생성하는 오버헤드가 클 수도 있다.

이때 JVM을 재사용하여 작업을 처리하는 시간은 줄일 수 있다.

아래의 설정은 JVM에서 처리할 수 있는 작업의 개수를 설정한다.

기본 설정은 1이지만, -1로 설정하면 제한없이 사용할 수 있다.

hadoop v1
mapred.job.reuse.jvm.num.tasks=-1
hadoop v2
mapreduce.job.jvm.numtasks=-1