하이브의 tez 실행엔진을 이용할 때 아래의 옵션을 이용하면 실행의 각 단계에서 걸리는 시간을 확인할 수 있다.
hive.tez.exec.print.summary
- Default Value:
false- Added In: Hive 0.14.0 with HIVE-8495
If true, displays breakdown of execution steps for every query executed on Hive CLI or Beeline client.
옵션을 true 로 설정하고 쿼리를 실행하면 다음과 같이 실행의 각단계에서 걸리는 시간을 확인할 수 있다.
이때 각 단계에서 걸리는 시간을 이용하여 쿼리를 튜닝할 수 있다.
Launching Job 1 out of 1
Status: Running (Executing on YARN cluster with App id application_1234)
----------------------------------------------------------------------------------------------
VERTICES MODE STATUS TOTAL COMPLETED RUNNING PENDING FAILED KILLED
----------------------------------------------------------------------------------------------
Map 1 .......... container SUCCEEDED 1 1 0 0 0 0
Reducer 2 ...... container SUCCEEDED 1 1 0 0 0 0
----------------------------------------------------------------------------------------------
VERTICES: 02/02 [==========================>>] 100% ELAPSED TIME: 12.94 s
----------------------------------------------------------------------------------------------
Status: DAG finished successfully in 12.94 seconds
Query Execution Summary
----------------------------------------------------------------------------------------------
OPERATION DURATION
----------------------------------------------------------------------------------------------
Compile Query 0.11s
Prepare Plan 0.06s
Submit Plan 0.17s
Start DAG 0.20s
Run DAG 12.94s
----------------------------------------------------------------------------------------------
Task Execution Summary
----------------------------------------------------------------------------------------------
VERTICES DURATION(ms) CPU_TIME(ms) GC_TIME(ms) INPUT_RECORDS OUTPUT_RECORDS
----------------------------------------------------------------------------------------------
Map 1 9670.00 8,720 108 22,069 1
Reducer 2 445.00 1,290 10 1 0
----------------------------------------------------------------------------------------------
GC 시간이 오래 걸리면 다음의 방법으로 튜닝이 가능하다.
- 맵조인을 튜닝한다.
- 큰 데이터를 이용하는 맵조인으로 인하여 메모리가 부족해져서 그럴수 있으므로 메모리를 조정
- ORC를 사용할경우
- 칼럼의 수가 많고 데이터가 큰 경우(건수가 많은 경우) hive.exec.orc.default.buffer.size를 줄이고, hive.tez.container.size를 늘려서 메모리를 조정
- 파티션 테이블의 경우
- 많은 수의 태스크가 동시에 파티션을 쓸 경우 메모리가 많이 필요하다. hive.optimize.sort.dynamic.partition를 설정한다.
'빅데이터 > hive' 카테고리의 다른 글
| [hive] inline() 함수를 이용하여 JSON 문자열 테이블화 예제 (0) | 2018.11.21 |
|---|---|
| [hive][tez] TEZ엔진의 메모리 설정 방법 (0) | 2018.08.03 |
| [hive][error] 셔플 과정에서 발생하는 OutOfMemoryError: Java heap space, error in shuffle in fetcher 오류 해결방법 (0) | 2018.07.02 |
| [hive] 하이브 데이터베이스 이름 변경(hive database rename) (0) | 2018.05.25 |
| [hive] 트랜잭션(Transactional, ACID) 테이블 구성 (0) | 2018.05.21 |