빅데이터/hdfs
[hdfs] 네임노드의 fsimage 파일 구조
hs_seo
2022. 2. 22. 00:19
하둡 네임노드는 HDFS의 최신 데이터(fsimage)를 메모리에 보관하고 있습니다. 그리고 설정에 따라, 6시간에 1번, 100만 트랜잭션 당 1번씩 fsimage 를 파일로 보관합니다. 또한 중간 데이터인 edits 를 추가로 보관합니다.
- fsimage 저장 주기는 6시간에 1번 or 100만 트랜잭션당 1번
HDFS 파일 구조
파일 저장 구조는 위와 같습니다.
- VERSION: 현재 실행 중인 HDFS의 ID, 타입 등 정보
- edits_0000xxx-0000xxx: 트랜잭션 정보. edits_트랜잭션시작번호-트랜잭션종료번호 까지의 정보를 저장
- eidts_inprogress_000xx: 최신 트랜잭션 정보. 압축되지 않은 정보
- fsimage_000xxx: 000xxx 까지 트랜잭션 정보가 처리된 fsimage
- fsimage_000xxx.md5: fsiamge의 해쉬값
- seen_txid: 현재 트랜잭션 ID
참고
https://hadooptechblog.wordpress.com/2015/12/29/understanding-namenode/
Understanding NameNode
The NameNode is the most critical piece of the system of an HDFS file system. The NameNode manages the entire HDFS file system metadata (i.e owners of files, file permission, no of blocks, block lo…
hadooptechblog.wordpress.com
반응형