[하둡 2.x] 커패시티 스케줄러(capacity-scheduler.xml) 설정하기

 hadoop 2.x 버전 capacity-scheduler.xml 설정방법

하둡은 커패시티 스케줄러를 이용하여, 자원을 효율적으로 분산하여 사용하게 할 수 있다.
계층형 큐를 이용하여 작업을 분산하여 처리할 수 있도록 설정할 수 있다.

큐는 트리구조로 생성되며 최상위 계층은 root 이다.
root 아래에 기본적으로 default 큐가 생성되어 있고, 사용자가 큐를 추가할 수 있다.

 

 

<property>       <name>yarn.scheduler.capacity.root.queues</name>       <value>queue_name1,queue_name2,default</value>  </property>

 

아래와 같이 설정하여 큐에 할당 할 수 있는 최대의 자원을 % 로 설정한다.
그 외 나머지 설정을 [큐이름]을 지정하여 할당 하면 된다.

 

 

<property>       <name>yarn.scheduler.capacity.root.[큐이름].capacity</name>       <value>70</value>  </property>

 

 

수정한 큐를 반영하기 위해서는 다음의 명령어를 실행한다.

 

 

yarn rmadmin -refreshQueues

 

 

참고

 

http://blog.sequenceiq.com/blog/2014/03/14/yarn-capacity-scheduler/ http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html