[hdfs] java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as 192.168.0.103:50010 오류

HDFS 운영 중 다음과 같은 오류가 발생하였습니다.

 

23/12/18 15:22:43 INFO hdfs.DataStreamer: Exception in createBlockOutputStream
java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as 192.168.0.103:50010
        at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:118)
        at org.apache.hadoop.hdfs.DataStreamer.createBlockOutputStream(DataStreamer.java:1751)
        at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1655)
        at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:710)
23/12/18 15:22:43 WARN hdfs.DataStreamer: Abandoning BP-306586558-192.168.0.100-1656332592858:blk_1953323125_879667572
23/12/18 15:22:43 WARN hdfs.DataStreamer: Excluding datanode DatanodeInfoWithStorage[192.168.0.103:50010,DS-1b4d82c2-d480-44c7-97db-1f2d36fe5944,DISK]
23/12/18 15:23:48 INFO hdfs.DataStreamer: Exception in createBlockOutputStream

 

• 오류 원인은 네트워크 연결이 안되는 것이었습니다.
• 처음에는 연결이 되다가, 일정 시간이 지나면 발생하였기 때문에 정확한 원인을 파악하기 어려웠습니다.
• 노드에 설치된 cilium 의 문제였습니다.
• 버전 업그레이드후 오류를 해결할 수 있었습니다.
• 이런 오류가 발생하였을 때는 방화벽과 현재 HDFS가 설치된 노드의 프로그램을 확인하면 좋을 것 같습니다.