티스토리 뷰

빅데이터/hdfs

[hdfs] 하둡 2.10.0 버전에서 데이터 노드를 재시작할 때 발생하는 java.io.IOException: Failed to start sub tasks to add replica in replica map :java.lang.ArithmeticException 오류 해결 방법

hs_seo 2022. 7. 6. 07:42

하둡 2.10.0 버전에서 데이터 노드를 재시작할 때 다음과 같은 오류가 발생하였습니다. 여러 대의 노드에서 동일한 작업을 진행하였는데 하나의 노드에서만 이런 문제가 발생하였습니다.

 

2022-07-05 15:15:19,119 INFO org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetImpl (Thread-83): Caught exception while adding replicas from /hadoop/hdfs/data/current. Will throw later.
java.io.IOException: Failed to start sub tasks to add replica in replica map :java.lang.ArithmeticException
	at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.BlockPoolSlice.getVolumeMap(BlockPoolSlice.java:434)
	at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsVolumeImpl.getVolumeMap(FsVolumeImpl.java:936)
	at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsVolumeList$1.run(FsVolumeList.java:196)

 

원인

에러의 원인은 버그입니다.

https://issues.apache.org/jira/browse/HDFS-15801

 

[HDFS-15801] Backport HDFS-14582 to branch-2.10 (Failed to start DN with ArithmeticException when NULL checksum used) - ASF JIRA

In HDFS-14582, the error message is more clear as follows: Caused by: java.lang.ArithmeticException: / by zero at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.BlockPoolSlice.validateIntegrityAndSetLength(BlockPoolSlice.java:823) at But in branch-2

issues.apache.org

 

해결 방법

버그로 인한 오류여서 하둡 라이브러리를 새로 빌드하거나, 하둡 버전을 올려야 합니다. BlockPoolSlice.java 파일의 BlockPoolSlice 클래스를 다음과 같이 Null 체크를 추가해 주면 문제를 해결할 수 있습니다.

 

반응형
저작자표시 비영리 동일조건

'빅데이터 > hdfs' 카테고리의 다른 글

[hdfs] Datanode 실행 중 You cannot have a rack and a non-rack node at the same level of the network topology. 오류  (2) 2023.06.09
[hdfs] yarn 작업 중 s3a 연결 오류 처리: com.amazonaws.AmazonClientException: No AWS Credentials provided by BasicAWSCredentialsProvider EnvironmentVariableCredentialsProvider InstanceProfileCredentialsProvider : com.amazonaws.SdkClientException..  (0) 2022.12.03
[hdfs] Access denied for user root. Superuser privilege is required 오류 해결 방법  (0) 2022.05.17
[hdfs] HDFS 메타 데이터 백업 및 복구  (0) 2022.02.22
[hdfs] 네임노드의 fsimage 파일 구조  (0) 2022.02.22
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2025/04   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30
글 보관함