티스토리 뷰

빅데이터/hadoop

[hadoop] distcp 중 Failed to renew token: Kind: SWEBHDFS delegation 오류 해결 방법

hs_seo 2021. 3. 7. 22:30

하둡 distcp 에서 이런 오류가 발생하면 다음의 설정을 추가합니다. 커버러스 적용된 하둡 클러스터간에 위임 토큰을 처리하지 못해서 발생하는 오류입니다.

 

  • -Dmapreduce.job.hdfs-servers.token-renewal.exclude=server
21/03/04 18:17:19 ERROR tools.DistCp: Exception encountered 
java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1609849426446_23330 to YARN : Failed to renew token: Kind: SWEBHDFS delegation, Service: 10.0.0.1:50470, Ident: (SWEBHDFS delegation token 11195 for hdfs)
	at org.apache.hadoop.mapred.YARNRunner.submitJob(YARNRunner.java:345)
	at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:253)
	at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1570)
반응형
저작자표시 비영리 동일조건

'빅데이터 > hadoop' 카테고리의 다른 글

[hadoop] hadoop에서 openstack-swift 파일 시스템을 연동하기 위한 hadoop-openstack-swifta  (0) 2021.03.29
[hadoop] 하둡에서 스내피 압축 코덱 오류 수정 Error: java.lang.RuntimeException: native snappy library not available: SnappyCompressor has not been loaded  (0) 2021.03.28
[hadoop] yarn 커패시티 스케줄러의 큐 매핑  (0) 2021.03.04
[hadoop] distcp 중 java.io.IOException: Error writing request body to server 오류 해결 방법  (0) 2021.03.04
[hadoop] 보안하둡에서 일반하둡으로의 데이터 조회(ls command)  (0) 2021.01.31
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2025/01   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31
글 보관함