[hive] hive의 spark 엔진에서 Execution Error, return code 30041 오류

하이브에서 spark 엔진으로 작업할 때 Execution Error, return code 30041 오류가 발생하면 이는 스파크 엔진의 익스큐터가 실행 될 때 메모리가 부족해서 발생하거나 코어 개수가 부족할 때 발생합니다. 설정을 이용해 스파크 설정을 추가합니다.

 

	set spark.driver.cores=1;
	set spark.driver.memory=1g;
	set spark.executor.memory=1g;
	set spark.executor.cores=1;
	set spark.yarn.executor.memoryOverhead=100;

view raw hive_on_spark.sql hosted with ❤ by GitHub