[hdfs] Non DFS used 용량

hdfs dfsadmin -report 명령을 이용하여 hdfs의 사용량을 확인할 수 있다. 

이때 출력되는 정보를 통하여 디스크이 사용량 확인이 가능하다. 

이중에서 Non DFS used 항목의 정보가 궁금하여 다음과 같이 확인해 본다. 

Configured Capacity = Total Disk Space - Reserved Space.

사용 가능 용량 = 디스크의 전체 용량 - 예약 용량 

디스크의 전체 용량: hdfs-site.xml에서 지정한 디스크의 총용량

예약용량: hfds-site.xml에서 dfs.datanode.du.reserved 로 저징한 용량 

Non DFS used = Configured Capacity - DFS Remaining - DFS Used

100G 디스크에서 예약용량을 30G로 설정하고,

디스크에 시스템파일 등이 40G, DFS로 사용되는 용량이 10G 이면

df -h 로 확인할 수 있는 디스크의 사용 가능용량은 50G가 된다. 

이때 hdfs report 로 확인할 수 있는 용량은 아래와 같다. 

Configured Capacity(70G) = Total Disk Space(100G) - Reserved Space(30G)

Non DFS used = Configured Capacity(70G) - DFS Remaining(50G) - DFS Used(10G) = 10G

이와 같이 용량이 사용됨을 확인할 수 있다. 

요약하면 Non DFS Used는 HDFS에 쓰여지지 않은 파일의 용량이다. 

실제 디스크에서 확인해 보면, 캐쉬, 로그 같은 임시 파일이 차지하고 있는 용량이다. 

http://stackoverflow.com/questions/18477983/what-exactly-non-dfs-used-means