빅데이터/hive
[hive] 메타스토어의 테이블로 파티션 위치 확인하는 방법
hs_seo
2018. 3. 19. 16:45
하이브 테이블의 파티션별 로케이션을 확인하는 명령은 다음과 같다.
DESC FORMATTED 테이블_명 PARTITIONS (part_col=1, part_col=2);
...
# Detailed Partition Information
Partition Value: [1, 2]
Database: 데이터베이스
Table: 테이블
CreateTime: Tue Dec 05 02:51:17 UTC 2017
LastAccessTime: UNKNOWN
Location: hdfs://location
Partition Parameters:
이렇게 로케이션을 확인 할 수 도 있지만,
하이브 메타스토어에 접속하여 로케이션을 확인 할 수 도 있다.
하이브 메타스토어의 데이터를 저장하고 있는 DB에 직접 접속하여 다음의 쿼리로 확인이 가능하다.
- TBLS: 테이블 정보
- PARTITIONS: 파티션 정보
- SDS: SerDe 정보
select TBLS.TBL_NAME,
PARTITIONS.PART_NAME,
SDS.LOCATION
from SDS, TBLS, PARTITIONS
where PARTITIONS.SD_ID = SDS.SD_ID
and TBLS.TBL_ID = PARTITIONS.TBL_ID
반응형