티스토리 뷰
하이브 테이블의 파티션별 로케이션을 확인하는 명령은 다음과 같다.
DESC FORMATTED 테이블_명 PARTITIONS (part_col=1, part_col=2);
...
# Detailed Partition Information
Partition Value: [1, 2]
Database: 데이터베이스
Table: 테이블
CreateTime: Tue Dec 05 02:51:17 UTC 2017
LastAccessTime: UNKNOWN
Location: hdfs://location
Partition Parameters:
이렇게 로케이션을 확인 할 수 도 있지만,
하이브 메타스토어에 접속하여 로케이션을 확인 할 수 도 있다.
하이브 메타스토어의 데이터를 저장하고 있는 DB에 직접 접속하여 다음의 쿼리로 확인이 가능하다.
- TBLS: 테이블 정보
- PARTITIONS: 파티션 정보
- SDS: SerDe 정보
select TBLS.TBL_NAME,
PARTITIONS.PART_NAME,
SDS.LOCATION
from SDS, TBLS, PARTITIONS
where PARTITIONS.SD_ID = SDS.SD_ID
and TBLS.TBL_ID = PARTITIONS.TBL_ID
반응형
'빅데이터 > hive' 카테고리의 다른 글
[hive] CBO처리중 힌트 사용시 오류 (0) | 2018.03.29 |
---|---|
[hive] An error occurred when trying to close the Operator running your custom script. 오류 해결방법 (0) | 2018.03.20 |
[hive] drop table 처리중 GC 또는 OutOfMemory 오류가 발생하는 경우 (0) | 2018.03.14 |
[hive] hive.exec.dynamic.partition.mode, hive.optimize.sort.dynamic.partiton 설정에 따른 성능 저하 확인 (1) | 2018.03.08 |
[hive] 하이브에서 MR 작업 결과를 merge 하는 방법 (0) | 2018.03.07 |
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- AWS
- 정올
- mysql
- build
- HIVE
- Hadoop
- nodejs
- Tez
- 백준
- hbase
- bash
- java
- 하둡
- yarn
- SPARK
- airflow
- 오류
- 하이브
- S3
- SQL
- error
- emr
- 파이썬
- ubuntu
- Linux
- Python
- 다이나믹
- HDFS
- oozie
- 알고리즘
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
글 보관함