[hive] Fatal error occurred when node tried to create too many dynamic partitions 오류 처리

하이브에서 다음과 같은 오류가 발생하면 이는 다이나믹 파티션 처리중 생성가능한 파티션 개수 이상의 파티션이 생성되어서 발생하는 것이다. 

아래 오류의 내용처럼 해당 설정을 늘여주면 된다. 

Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to: 100

    at org.apache.hadoop.hive.ql.exec.FileSinkOperator.getDynOutPaths(FileSinkOperator.java:933)

-- 생성가능한 다이나믹 파티션의 총 개수를 1000개로 설정 

set hive.exec.max.dynamic.partitions=1000;

-- 노드별로 생성가능한 파티션의 개수는 100개로 설정 

set hive.exec.max.dynamic.partitions.pernode=100;