빅데이터/hadoop
[hive] tez 실행중 메모리 오류 발생
hs_seo
2017. 9. 20. 15:32
하이브에서 tez 엔진을 이용하여 작업중 다음과 같은 오류가 발생하는 경우
이는 tez의 AM 기본메모리가 1G로 설정되어서 발생하는 오류이다.
기본메모리 이상으로 메모리를 설정하여 진행하면 된다.
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Application application_*** failed 2 times due to AM Container for appattempt_*** exited with exitCode: -
***
Current usage: 1.1 GB of 1 GB physical memory used;
***
다음의 옵션을 이용하여 AM의 메모리를 늘려서 처리하면 오류가 해결된다.
AM 메모리와 힙사이즈를 늘려준다.
set tez.am.resource.memory.mb=2048;
set tez.am.java.opts=-Xmx1600m;
반응형