[EMR-HDFS] EMR의 HDFS 운영중 Non DFS Used 용량이 늘어나서 실제 이용할 데이터가 줄어드는 문제

증상

EMR을 이용하여 데이터 처리 중 갑자기 각 데이터 노드의 Non DFS Used 용량이 늘어나서 실제 데이터를 저장할 용량이 부족해졌습니다.

# hdfs dfsadmin -report로 확인 

Decommission Status : Normal
Configured Capacity: 165810782208 (154.42 GB)
DFS Used: 32090261515 (29.89 GB)
Non DFS Used: 45128228853 (42.03 GB)    # Non DFS Used 용량의 증가 
DFS Remaining: 88592291840 (82.51 GB)
DFS Used%: 19.35%
DFS Remaining%: 53.43%

원인

데이터 노드를 확인하니 /mnt/yarn 아래 partion*.tmp, object-container*, key-value-container 등의 파일이 30~40G의 용량을 차지하여 발생한 문제였습니다. 해당 파일은 hive 작업 중 생성되는 임시 파일입니다. 하이브 작업이 정상적으로 종료되지 못하고 죽으면서 해당 파일들을 삭제하지 못해서 용량을 차지하고 있었습니다. 아래와 같이 Non DFS Used 로 사용되는 용량이 1/3 정도 되어 문제가 됩니다.

 # /mnt/yarn/
drwxr-xr-x   2 yarn yarn     53 Jul 23 03:24 key-value-container8623584082658743889
drwxr-xr-x   2 yarn yarn     51 Jul 23 03:23 object-container1701711311421012784
-rw-r--r--   1 yarn yarn   8311 Jul 23 04:02 partition-0-8090147331781497189.tmp

해결방법

해당 파일들을 삭제하면 됩니다. 임시 파일을 삭제하지 못해서 발생한 문제기이 때문에 find 명령으로 해당 파일을 삭제 하였습니다. find -mtime -2 로 2일전에 생성되 파일들을 찾아서 모두 지웠습니다.