[hive][tez] tez의 실행 시간 요약 확인을 위한 옵션(hive.tez.exec.print.summary)및 GC시간의 하이브 튜닝

하이브의 tez 실행엔진을 이용할 때 아래의 옵션을 이용하면 실행의 각 단계에서 걸리는 시간을 확인할 수 있다.

hive.tez.exec.print.summary

• Default Value: false
• Added In: Hive 0.14.0 with HIVE-8495

If true, displays breakdown of execution steps for every query executed on Hive CLI or Beeline client.

옵션을 true 로 설정하고 쿼리를 실행하면 다음과 같이 실행의 각단계에서 걸리는 시간을 확인할 수 있다.

이때 각 단계에서 걸리는 시간을 이용하여 쿼리를 튜닝할 수 있다.

Launching Job 1 out of 1


Status: Running (Executing on YARN cluster with App id application_1234)

----------------------------------------------------------------------------------------------
        VERTICES      MODE        STATUS  TOTAL  COMPLETED  RUNNING  PENDING  FAILED  KILLED 
----------------------------------------------------------------------------------------------
Map 1 .......... container     SUCCEEDED      1          1        0        0       0       0 
Reducer 2 ...... container     SUCCEEDED      1          1        0        0       0       0 
----------------------------------------------------------------------------------------------
VERTICES: 02/02  [==========================>>] 100%  ELAPSED TIME: 12.94 s   
----------------------------------------------------------------------------------------------
Status: DAG finished successfully in 12.94 seconds

Query Execution Summary
----------------------------------------------------------------------------------------------
OPERATION                            DURATION
----------------------------------------------------------------------------------------------
Compile Query                           0.11s
Prepare Plan                            0.06s
Submit Plan                             0.17s
Start DAG                               0.20s
Run DAG                                12.94s
----------------------------------------------------------------------------------------------

Task Execution Summary
----------------------------------------------------------------------------------------------
  VERTICES   DURATION(ms)  CPU_TIME(ms)  GC_TIME(ms)  INPUT_RECORDS  OUTPUT_RECORDS
----------------------------------------------------------------------------------------------
     Map 1        9670.00         8,720          108         22,069               1
 Reducer 2         445.00         1,290           10              1               0
----------------------------------------------------------------------------------------------

GC 시간이 오래 걸리면 다음의 방법으로 튜닝이 가능하다.

• 맵조인을 튜닝한다.
  
• 큰 데이터를 이용하는 맵조인으로 인하여 메모리가 부족해져서 그럴수 있으므로 메모리를 조정
• ORC를 사용할경우
• 칼럼의 수가 많고 데이터가 큰 경우(건수가 많은 경우) hive.exec.orc.default.buffer.size를 줄이고, hive.tez.container.size를 늘려서 메모리를 조정
• 파티션 테이블의 경우
• 많은 수의 태스크가 동시에 파티션을 쓸 경우 메모리가 많이 필요하다. hive.optimize.sort.dynamic.partition를 설정한다.
  

https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-Tez

https://www.slideshare.net/InderajRajBains/using-apache-hive-with-high-performance