본문 바로가기
빅데이터/hive

[hive] 메타스토어의 테이블로 파티션 위치 확인하는 방법

by hs_seo 2018. 3. 19.

하이브 테이블의 파티션별 로케이션을 확인하는 명령은 다음과 같다. 


DESC FORMATTED 테이블_명 PARTITIONS (part_col=1, part_col=2);


...

# Detailed Partition Information  

Partition Value:    [1, 2]   

Database:            데이터베이스

Table:                      테이블

CreateTime:          Tue Dec 05 02:51:17 UTC 2017  

LastAccessTime:      UNKNOWN               

Location:                    hdfs://location

Partition Parameters:


이렇게 로케이션을 확인 할 수 도 있지만, 

하이브 메타스토어에 접속하여 로케이션을 확인 할 수 도 있다. 

하이브 메타스토어의 데이터를 저장하고 있는 DB에 직접 접속하여 다음의 쿼리로 확인이 가능하다.


- TBLS: 테이블 정보 

- PARTITIONS: 파티션 정보

- SDS: SerDe 정보


 select TBLS.TBL_NAME,

         PARTITIONS.PART_NAME,

         SDS.LOCATION

  from SDS, TBLS, PARTITIONS

 where PARTITIONS.SD_ID = SDS.SD_ID

   and TBLS.TBL_ID = PARTITIONS.TBL_ID


반응형