본문 바로가기
빅데이터/hive

[hive] drop table partitions 의 null 오류

by hs_seo 2017. 12. 21.

hive에서 테이블의 파티션 드랍시에 비교 연산자를 이용 할 수 있는데,

이때 DDLTask Exception null 오류가 발생하는 경우가 있다. 


ALTER TABLE table1 DROP PARTITION (partCol<='20170206');


hive cli 에서는 오류를 정확하게 출력하지 않아서 알 수가 없는데,

로그를 확인해 보면 StackOverflow 오류이다. 


파티션의 개수가 많아서 한번에 여러개를 recursive 하게 지우려고 해서 발생하는 것이다. 


따라서 한번에 지우는 파티션의 개수를 줄여서 처리하면 된다. 

한달 단위 또는 주단위로 지우면 된다. 

반응형