hive 처리중 tez의 AM 힙메모리 옵션을 다음과 같이 설정하였더니,
아래의 오류가 발생하였다.
set tez.am.java.opts=-Xmx1600;
컨테이너를 실행하는 중에 오류가 발생하였는데,
메모리 설정에서 m을 빠트려서 JVM 실행중 오류가 발생한 것이다.
다음의 오류가 발생할 때는 JVM 옵션에 이상은 없는지 확인하면 될 것이다.
그리고 위의 옵션은 다음과 같이 수정한다.
set tez.am.java.opts=-Xmx1600; --> set tez.am.java.opts=-Xmx1600m;
Container exited with a non-zero exit code 1
]], TaskAttempt 2 failed, info=[Container container_1511744605848_933629_01_000769 finished with diagnostics set to [Container failed, exitCode=1. Exception from container-launch.
Container id: container_1511744605848_933629_01_000769
Exit code: 1
Stack trace: ExitCodeException exitCode=1:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:582)
at org.apache.hadoop.util.Shell.run(Shell.java:479)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:773)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:212)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
'빅데이터 > hive' 카테고리의 다른 글
[hive] 트랜잭션(Transactional, ACID) 테이블 구성 (0) | 2018.05.21 |
---|---|
[hive] Fatal error occurred when node tried to create too many dynamic partitions 오류 처리 (0) | 2018.05.11 |
[hive] hive cli 로그 출력하게 설정 변경 (0) | 2018.04.25 |
[hive][스크랩] hive orc 예제 (0) | 2018.04.20 |
[hive] hive에서 함수용 테스트 array, map 데이터 생성하는 법 (0) | 2018.04.12 |