[에러] 하둡 처리중 could only be replicated to 0 nodes instead of minReplication (=1)

하둡 처리중 다음과 같은 에러가 발생하는 경우가 있다.

Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive/blablabla.... could only be replicated to 0 nodes instead of minReplication (=1). There are 3 datanode(s) running and no node(s) are excluded in this operation.

이런 경우 다른 분들의 포스트를 확인해 보면 다들 네임노드를 포맷하라고 되어 있다.

에러의 내용상 데이터노드에 해당 데이터를 복제할 수 없기 때문에 발생하는 에러이기 때문이다.

hadoop namenode -format

명령을 이용하여 네임노드를 포맷하고 다시 작업하면 될 수도 있다.

다른 경우는

hadoop dfsadmin -report

명령을 이용하여 확인해보면 Non DFS 쪽이 꽉 차 있다.

이로 인해 데이터 복제가 안되서 오류가 나는 것이다.

지라 이슈를 보면 하둡 버그일 가능성도 있기 때문에

계속 이런 문제가 발생하면 하둡 버전을 올려보는 것이 좋을 것 같다.

http://blrunner.com/64

http://stackoverflow.com/questions/15571584/writing-to-hdfs-could-only-be-replicated-to-0-nodes-instead-of-minreplication

https://issues.apache.org/jira/browse/HDFS-7982