티스토리 뷰
아마존 AWS 에서 사용하는 파일 시스템에는
S3 블록파일 시스템과 S3 네이티브 파일 시스템이 존재한다.
하둡을 지원하기 위해 처음 등장한 블록파일 시스템은 "s3://" 스키마를 사용한다.
HDFS와 유사하게 동작하며, 파일을 블록형태로 저장한다.
이 블록파일 시스템은 다른 파일 관리도구로 읽을 수 없고, 블록 형태로 저장되어 일반적인 파일 시스템과 달라서
네이티브 파일 시스템이 등장하였다.
네이티브 파일 시스템은 's3n://' 스키마를 사용한다.
이 네이티브 파일 시스템은 다른 파일 관리 도구로도 읽을 수 있다.
처음 등장하였을 때는 5GB의 파일당 제한이 있었지만,
나중에 5TB로 수정되었다.
* 블록과 네이티브 파일 시스템의 차이는 우선 URI 스키마의 차이, 저장 방식의 차이, 접근 도구의 차이가 있겠다.
** 현재는 네이티브 파일 방식을 더 선호한다고 한다.
반응형
'AWS' 카테고리의 다른 글
[s3] S3 V4 인증 오류 (0) | 2016.11.01 |
---|---|
[AWS] aws 커맨드의 sync 명령을 이용하여 s3 데이터 동기화 (0) | 2016.07.01 |
[스크랩] aws s3 커맨드로 버켓의 용량 확인하기 (0) | 2016.06.28 |
[AWS] aws 커맨드의 credential 파일 설정하기 (0) | 2016.06.20 |
[AWS] 아마존 EC2 인스턴스의 메타정보 확인 (0) | 2015.01.28 |
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- AWS
- 파이썬
- 다이나믹
- 정올
- 오류
- mysql
- HDFS
- S3
- Tez
- error
- Linux
- 알고리즘
- HIVE
- Hadoop
- build
- SQL
- yarn
- oozie
- emr
- 하둡
- java
- ubuntu
- Python
- airflow
- 하이브
- bash
- 백준
- nodejs
- hbase
- SPARK
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함