HDFS의 용량을 확인하는 방법을 알아보겠습니다. hdfs dfsadmin -report 명령을 이용하면 현재 HDFS의 용량과 전체 노드의 용량 상태를 확인할 수 있습니다.
- 아래는 Non DFS Used의 용량이 많아서 실제 저장에 이용할 수 있는 용량이 많이 줄었기 때문에 이를 확인해서 처리하는 작업이 필요한 상황입니다.
$ hdfs dfsadmin -report
# 클러스터 전체의 상황
# 사용할 수 있게 설정된 용량은 5.88T
# 현재 사용 가능한 용량은 4.27T = 5.88T - (Non DFS Used * 39)
# 비어 있는 용량은 3.22T
# 사용중인 용량은 1.05T
Configured Capacity: 6466620506112 (5.88 TB)
Present Capacity: 4689508310439 (4.27 TB)
DFS Remaining: 3539330983675 (3.22 TB)
DFS Used: 1150177326764 (1.05 TB)
DFS Used%: 24.53%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
-------------------------------------------------
# 데이터 노드당 상황
Live datanodes (39):
Name: 192.168.0.1:50010 (192.168.0.1)
Hostname: 192.168.0.1
Decommission Status : Normal
Configured Capacity: 165810782208 (154.42 GB)
DFS Used: 24004390714 (22.36 GB)
Non DFS Used: 9279137990 (8.64 GB)
DFS Remaining: 132527253504 (123.43 GB)
DFS Used%: 14.48%
DFS Remaining%: 79.93%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 51
Last contact: Mon Jul 22 07:47:06 UTC 2019
HDF 용량
Configured Capacity
- 노드의 전체 디스크 사이즈에서 시스템을 위한 용량을 제외한 용량
- 노드별로 전체 디스크 사이즈에서 dfs.datanode.du.reserved(hdfs-site.xml) 설정 용량 제외
- 노드당(154.5G = 155G - 500MB) 이고 39개의 데이터 노드가 있음
- 5.88T = 154.5G * 39 노드
Present Capacity
- 데이터 노드에서 저장에 이용할 수 있는 용량
- 이미 사용한 용량과 사용할 수 있는 용량의 합
- DFS Used + DFS Remaining
- 데이터 노드에서는 Configured Capacity에서 Non DFS Used 용량을 제외한 용량
DFS Remaining
- 데이터 노드에서 사용 가능하고 비어 있는 용량
DFS Used
- 데이터 노드에서 사용한 용량
Non DFS Used
- 데이터 노드에서 블록 메타 정보. 로그, 임시 파일 등으로 이용된 용량
- HDFS에 저장된 용량이 아니라서 Present Capacity에서 제외됨
- 맵리듀스, 하이브, 스파크 등의 작업에서 사용하는 템프 저장 데이터로 작업중 계속 변경됨
반응형