티스토리 뷰
HDFS의 관리를 위해서 디렉토리별로 사용제한을 둘 수 있습니다. 파일 개수와 용량 제한을 걸 수 있습니다. 기본 상태는 무제한으로 되어 있기 습니다.
HDFS에 설정된 쿼터의 상태는 count 명령을 이용해서 확인할 수 있습니다. -q, -u 옵션을 이용하여 확인할 수 있으며, -v 옵션을 추가하면 헤더 정보를 확인할 수 있습니다.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
################################ | |
# quota 설정 | |
# 파일 개수 쿼터 설정 파일 100만개 | |
hdfs dfsadmin -setQuota 1000000 hdfs:///user/d1 | |
# 파일 사이즈 쿼터 설정 10G | |
hdfs dfsadmin -setSpaceQuota 10000000000 hdfs:///user/d1 | |
################################ | |
# quota 설정 확인 | |
$ hadoop fs -count -q -v hdfs:///user/d1 | |
QUOTA REM_QUOTA SPACE_QUOTA REM_SPACE_QUOTA DIR_COUNT FILE_COUNT CONTENT_SIZE PATHNAME | |
1000000 27300 10000000000 100000000 98337 1171599 12314 hdfs:///user/d1 | |
# QUOTA, REMAINING_QUOTA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, PATHNAME | |
$ hadoop fs -count -u hdfs:///user/d1 | |
1000000 273022 10000000000 80000 hdfs:///user/d1 |
반응형
'빅데이터 > hadoop' 카테고리의 다른 글
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- HIVE
- 백준
- oozie
- Linux
- error
- java
- hbase
- 오류
- Python
- Hadoop
- airflow
- mysql
- emr
- 다이나믹
- 알고리즘
- 정올
- build
- SPARK
- yarn
- SQL
- bash
- S3
- 하둡
- HDFS
- nodejs
- ubuntu
- 파이썬
- AWS
- 하이브
- Tez
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함