[hive] explain을 이용하여 CBO 적용 여부 확인

하이브는 쿼리 최적화를 위해서 CBO를 사용할 수 있습니다.

CBO사용을 설정하고, explain 명령을 이용하여 실행계획을 확인할 때 CBO 적용 여부를 알 수 있는데 

CBO를 적용하기 위해서는 ANALYZE 명령을 이용해서 테이블의 메타 데이터를 수집해야 합니다. 메타데이터 자동 수집 설정으로 통해 데이터를 입력할 때 자동으로 수집하게 할 수도 있습니다. 

# CBO 동작 설정 
set hive.cbo.enable=true;

# 메타데이터 자동 수집 설정 
set hive.stats.autogather=true;

메타 데이터를 수집하는 명령은 ANALYZE를 이용합니다.

ANALYZE TABLE sample_table PARTITION(yymmdd='20180201') COMPUTE STATISTICS for columns;
ANALYZE TABLE sample_table PARTITION(yymmdd='20180201') COMPUTE STATISTICS;

이상의 설정이 완료되면 explain을 이용하여 실행계획을 확인할 때 CBO 적용 여부를 확인할 수 있습니다.

 

쿼리에 따라 CBO가 적용되지 않았다고 나올 수도 있습니다. 다음의 쿼리에서 로그를 확인해보니 "Not invoking CBO because the statement has sort by" 메시지가 출력되었습니다. 소트가 있으면 CBO를 적용할 수 없다고 나옵니다.

# 실행 계획 확인 
hive> explain INSERT OVERWRITE DIRECTORY 'hdfs:///user/data/location'
    > select name, count(1)
    >   from sample_table
    >  where yymmdd=20180201
    >  group by name
    >   sort by name 
    > ;
OK
Plan not optimized by CBO.        // CBO 미적용 

Vertex dependency in root stage
Reducer 2 <- Map 1 (SIMPLE_EDGE)

# CBO 미적용 에러 로그, SORT BY가 있으면 적용할 수 없음 
2019-04-05T08:08:12,490 INFO  [main([])]: parse.BaseSemanticAnalyzer (:()) - Not invoking CBO because the statement has sort by

그래서 소트를 제거하고 다시 적용하니 CBO가 적용되었다고 출력되었습니다. 

# 실행 계획 확인 
hive> explain INSERT OVERWRITE DIRECTORY 'hdfs:///user/data/location'
    > select name, count(1)
    >   from sample_table
    >  where yymmdd=20180201
    >  group by name
    >    
    > ;
OK
Plan optimized by CBO.    // CBO 적용

소스코드를 확인하니 몇가지 제약사항이 있습니다. 이 제약사항외에도 몇가지 있는 것 같으니 CBO가 적용되지 않는 다면 로그를 확인하여 쿼리를 수정해야 합니다. 

// 미적용 enum 목록 
public enum UnsupportedFeature {
    Distinct_without_an_aggreggation, 
    Duplicates_in_RR, 
    Filter_expression_with_non_boolean_return_type,
    Having_clause_without_any_groupby, 
    Invalid_column_reference, 
    Invalid_decimal,
    Less_than_equal_greater_than, 
    Others, 
    Same_name_in_multiple_expressions,
    Schema_less_table, 
    Select_alias_in_having_clause, 
    Select_transform, Subquery,
    Table_sample_clauses, 
    UDTF, 
    Union_type, 
    Unique_join,
    HighPrecissionTimestamp // CALCITE-1690
};

CalcitePlanner코드에서 상세한 동작 쿼리를 확인할 수 있습니다. 플래너에서 확인한 CBO 적용이 불가능한 몇가지 예는 다음과 같습니다. 하이브 버전 및 상황에 따라 달라질 수 있기 때문에 CBO가 적용되지 않는다면 로그를 확인하시기 바랍니다.

 

• 트랜스폼(transform)은 사용 불가
• 인라인 Lateral View Join 만 가능
• UNIQUE 조인은 불가
• 서브쿼리 사용 불가
• Having 절에 select의 alias 가 들어있으면 사용 불가
• Sort By 사용 불가

https://github.com/apache/hive/blob/master/ql/src/java/org/apache/hadoop/hive/ql/parse/CalcitePlanner.java

apache/hive