티스토리 뷰
하둡 네임노드는 HDFS의 최신 데이터(fsimage)를 메모리에 보관하고 있습니다. 그리고 설정에 따라, 6시간에 1번, 100만 트랜잭션 당 1번씩 fsimage 를 파일로 보관합니다. 또한 중간 데이터인 edits 를 추가로 보관합니다.
- fsimage 저장 주기는 6시간에 1번 or 100만 트랜잭션당 1번
HDFS 파일 구조
파일 저장 구조는 위와 같습니다.
- VERSION: 현재 실행 중인 HDFS의 ID, 타입 등 정보
- edits_0000xxx-0000xxx: 트랜잭션 정보. edits_트랜잭션시작번호-트랜잭션종료번호 까지의 정보를 저장
- eidts_inprogress_000xx: 최신 트랜잭션 정보. 압축되지 않은 정보
- fsimage_000xxx: 000xxx 까지 트랜잭션 정보가 처리된 fsimage
- fsimage_000xxx.md5: fsiamge의 해쉬값
- seen_txid: 현재 트랜잭션 ID
참고
https://hadooptechblog.wordpress.com/2015/12/29/understanding-namenode/
Understanding NameNode
The NameNode is the most critical piece of the system of an HDFS file system. The NameNode manages the entire HDFS file system metadata (i.e owners of files, file permission, no of blocks, block lo…
hadooptechblog.wordpress.com
반응형
'빅데이터 > hdfs' 카테고리의 다른 글
| [hdfs] Access denied for user root. Superuser privilege is required 오류 해결 방법 (0) | 2022.05.17 |
|---|---|
| [hdfs] HDFS 메타 데이터 백업 및 복구 (0) | 2022.02.22 |
| [hdfs] webhdfs에 요청을 보냈을 때 Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-error 오류 처리 (0) | 2021.07.08 |
| [hdfs] HDFS WebHDFS REST API 사용법 (0) | 2020.01.09 |
| [hadoop-hdfs] HDFS 포맷 하는 방법 (0) | 2019.12.26 |
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- HDFS
- hbase
- java
- error
- airflow
- emr
- 하둡
- 파이썬
- yarn
- 백준
- 정올
- Tez
- 알고리즘
- SPARK
- oozie
- 다이나믹
- mysql
- Python
- HIVE
- SQL
- ubuntu
- AWS
- 오류
- bash
- Hadoop
- Linux
- build
- S3
- 하이브
- nodejs
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 |
글 보관함