[hadoop] distcp 중 Failed to renew token: Kind: SWEBHDFS delegation 오류 해결 방법

하둡 distcp 에서 이런 오류가 발생하면 다음의 설정을 추가합니다. 커버러스 적용된 하둡 클러스터간에 위임 토큰을 처리하지 못해서 발생하는 오류입니다.

 

• -Dmapreduce.job.hdfs-servers.token-renewal.exclude=server

21/03/04 18:17:19 ERROR tools.DistCp: Exception encountered 
java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1609849426446_23330 to YARN : Failed to renew token: Kind: SWEBHDFS delegation, Service: 10.0.0.1:50470, Ident: (SWEBHDFS delegation token 11195 for hdfs)
	at org.apache.hadoop.mapred.YARNRunner.submitJob(YARNRunner.java:345)
	at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:253)
	at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1570)