티스토리 뷰
Apache Iceberg 는 데이터 포맷 입니다. jar 라이브러리만 Spark, Hive 등에 추가하면 사용할 수 있습니다. 따로 컴포넌트를 실행해야 하는 것은 아닙니다.
테이블을 생성하면 다음과 같은 형태로 저장되고, HDFS 위치에 메타 정보가 보관됩니다. 하이브 메타스토어의 역할이 HDFS위치에 파일로 저장됩니다.
사용 방법은 다음 링크에서 확인 부탁드립니다.
10-Iceberg
Apache Iceberg는 대용량 데이터의 효율적인 관리와 쿼리를 지원하기 위한 **오픈 소스 데이터 테이블 포맷 및 관리 시스템**입니다. Iceberg는 Hadoop 및 A…
wikidocs.net
반응형
'빅데이터' 카테고리의 다른 글
| [airflow] 에어플로우에서 생성하는 로그의 umask 설정 (0) | 2024.06.15 |
|---|---|
| [ranger] apache ranger 빌드 방법 정리 (0) | 2024.06.15 |
| [jupyter] 우분투 20에 쥬피터 노트북 설치 및 pyspark 연동 하기 (0) | 2023.03.21 |
| [openstack] 오픈스택 VM 생성 중 unexpected state 'ERROR', wanted target 'ACTIVE'. last error: %!s(<nil>) (0) | 2021.12.18 |
| [kerberos] 커버로스 키탭 머지 하기 (0) | 2021.11.27 |
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- HIVE
- oozie
- yarn
- bash
- java
- SPARK
- 정올
- ubuntu
- 다이나믹
- 하이브
- 파이썬
- HDFS
- nodejs
- SQL
- 백준
- build
- hbase
- Tez
- 하둡
- AWS
- Hadoop
- Linux
- 알고리즘
- airflow
- emr
- S3
- mysql
- error
- 오류
- Python
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 | 29 |
| 30 | 31 |
글 보관함