[hadoop] 커패시티 스케줄러 설정중 오류 수정

커패시티 스케줄러는 capacity-scheduler.xml 파일을 수정하고, 해당 파일을 리로드하게 하면 설정을 변경할 수 있습니다.

 

설정중 발생한 다음의 오류는 각 큐들의 용량(capacity)의 총합이 100이 되지 않아서 발생하는 오류입니다. 큐의 용량을 확인하여 모든 큐의 합이 100이 되도록 설정해야 합니다. 

Caused by: java.lang.IllegalArgumentException: Illegal capacity of 0.91 for children of queue root
	at org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.ParentQueue.setChildQueues(ParentQueue.java:143)
	at org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler.parseQueue(CapacityScheduler.java:627)
	at org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler.reinitializeQueues(CapacityScheduler.java:491)
	at org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler.reinitialize(CapacityScheduler.java:367)
	... 11 more

 

다음의 오류는 큐의 추가, 삭제 등으로 인해 스케줄러를 정상적으로 갱신할 수 없어서 발생하는 오류입니다. 이때는 리소스 매니저를 재시작해야 합니다.

Caused by: java.io.IOException: Trying to reinitialize root.stg from root.stg
	at org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.LeafQueue.reinitialize(LeafQueue.java:464)
	at org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.ParentQueue.reinitialize(ParentQueue.java:266)
	at org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler.reinitializeQueues(CapacityScheduler.java:502)
	at org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler.reinitialize(CapacityScheduler.java:367)
	... 11 more

 

커패시티 스케줄러를 설정하는 상세한 방법은 다음을 참고바랍니다.

https://wikidocs.net/22936

위키독스