Apache Iceberg 는 데이터 포맷 입니다. jar 라이브러리만 Spark, Hive 등에 추가하면 사용할 수 있습니다. 따로 컴포넌트를 실행해야 하는 것은 아닙니다.
테이블을 생성하면 다음과 같은 형태로 저장되고, HDFS 위치에 메타 정보가 보관됩니다. 하이브 메타스토어의 역할이 HDFS위치에 파일로 저장됩니다.
사용 방법은 다음 링크에서 확인 부탁드립니다.
10-Iceberg
Apache Iceberg는 대용량 데이터의 효율적인 관리와 쿼리를 지원하기 위한 **오픈 소스 데이터 테이블 포맷 및 관리 시스템**입니다. Iceberg는 Hadoop 및 A…
wikidocs.net
반응형
'빅데이터' 카테고리의 다른 글
| [airflow] 에어플로우에서 생성하는 로그의 umask 설정 (0) | 2024.06.15 |
|---|---|
| [ranger] apache ranger 빌드 방법 정리 (0) | 2024.06.15 |
| [jupyter] 우분투 20에 쥬피터 노트북 설치 및 pyspark 연동 하기 (0) | 2023.03.21 |
| [openstack] 오픈스택 VM 생성 중 unexpected state 'ERROR', wanted target 'ACTIVE'. last error: %!s(<nil>) (0) | 2021.12.18 |
| [kerberos] 커버로스 키탭 머지 하기 (1) | 2021.11.27 |