하이브 테이블의 열 개수(count 정보), 파일개수, 사이즈 등이 메타스토어에 저장된다.
이를 이용하여 count 명령의 실행 속도를 높일 수 있다.
그런데 파일 정보가 갱신 된 것을 하이브가 확인하지 못할 때도 있다.
이럴때는 다음의 명령으로 테이블 정보를 갱신해 준다.
ANALYZE TABLE 테이블명 COMPUTE STATISTICS;
The first milestone in supporting statistics was to support table and partition level statistics. Table and partition statistics are now stored in the Hive Metastore for either newly created or existing tables. The following statistics are currently supported for partitions:
- Number of rows
- Number of files
- Size in Bytes
For tables, the same statistics are supported with the addition of the number of partitions of the table.
반응형
'빅데이터 > hive' 카테고리의 다른 글
| [hive] tez로 처리중 File Merge 부분에서 오류 (0) | 2017.10.24 |
|---|---|
| [hive][error] TEZ 사용시 Caused by: java.lang.ArrayIndexOutOfBoundsException: 1024 오류 (0) | 2017.08.24 |
| [hive] 하이브 테이블에 struct 같은 복합 데이터 load 하는 법 (0) | 2017.04.12 |
| [hive] UDTF 예제 (0) | 2017.04.12 |
| [hive][error] hive로 MR 작업중 Illegal mix of collations A and B for operation '=' ... 오류 (0) | 2017.04.11 |