[hdfs] 하둡 2.10.0 버전에서 데이터 노드를 재시작할 때 발생하는 java.io.IOException: Failed to start sub tasks to add replica in replica map :java.lang.ArithmeticException 오류 해결 방법

하둡 2.10.0 버전에서 데이터 노드를 재시작할 때 다음과 같은 오류가 발생하였습니다. 여러 대의 노드에서 동일한 작업을 진행하였는데 하나의 노드에서만 이런 문제가 발생하였습니다.

 

2022-07-05 15:15:19,119 INFO org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetImpl (Thread-83): Caught exception while adding replicas from /hadoop/hdfs/data/current. Will throw later.
java.io.IOException: Failed to start sub tasks to add replica in replica map :java.lang.ArithmeticException
	at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.BlockPoolSlice.getVolumeMap(BlockPoolSlice.java:434)
	at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsVolumeImpl.getVolumeMap(FsVolumeImpl.java:936)
	at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsVolumeList$1.run(FsVolumeList.java:196)

 

원인

에러의 원인은 버그입니다.

https://issues.apache.org/jira/browse/HDFS-15801

[HDFS-15801] Backport HDFS-14582 to branch-2.10 (Failed to start DN with ArithmeticException when NULL checksum used) - ASF JIRA

 

해결 방법

버그로 인한 오류여서 하둡 라이브러리를 새로 빌드하거나, 하둡 버전을 올려야 합니다. BlockPoolSlice.java 파일의 BlockPoolSlice 클래스를 다음과 같이 Null 체크를 추가해 주면 문제를 해결할 수 있습니다.