[EMR] EMR 장기간 운영시 HDFS의 edits 파일 확인 및 삭제

EMR을 장기간 운영하면 HDFS edits 파일이 로컬에 계속 쌓이게 됩니다. EMR은 기본적으로 세컨더리 네임노드를 실행하지 않기 때문에 HDFS를 빈번하게 사용하면  무시할 수 없는 속도로 파일이 생성됩니다.

 

운영중에 세컨더리네임노드를 실행하면 edits 파일을 복사해서 정리하기 때문에 10G의 edits 파일을 로컬에 복사하여 20G가 되게 되고 로컬 디스크에 용량이 충분하지 않다면 정리를 할 수 없습니다. 네임노드를 재 실행할 때 복구를 하지 않고, 신규로 생성할 것이라면 로컬의 edits 파일을 삭제 하면 됩니다. 삭제 명령은 다음과 같습니다.

 

# 수정일자 확인후 6일전 파일은 삭제 
sudo find /mnt/namenode/current/ -type f -name "edits_0*" -mtime +6 -delete