[hive] tez 실행중 메모리 오류 발생

하이브에서 tez 엔진을 이용하여 작업중 다음과 같은 오류가 발생하는 경우

이는 tez의 AM 기본메모리가 1G로 설정되어서 발생하는 오류이다. 

기본메모리 이상으로 메모리를 설정하여 진행하면 된다. 

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Application application_*** failed 2 times due to AM Container for appattempt_*** exited with  exitCode: -

***

Current usage: 1.1 GB of 1 GB physical memory used;

***

다음의 옵션을 이용하여 AM의 메모리를 늘려서 처리하면 오류가 해결된다. 

AM 메모리와 힙사이즈를 늘려준다. 

set tez.am.resource.memory.mb=2048;

set tez.am.java.opts=-Xmx1600m;

https://www.jwplayer.com/blog/hive-with-tez-on-emr/