[hive] hive의 spark 엔진에서 Execution Error, return code 30041 오류

티스토리 뷰

빅데이터/hive

hs_seo 2021. 6. 1. 23:59

하이브에서 spark 엔진으로 작업할 때 Execution Error, return code 30041 오류가 발생하면 이는 스파크 엔진의 익스큐터가 실행 될 때 메모리가 부족해서 발생하거나 코어 개수가 부족할 때 발생합니다. 설정을 이용해 스파크 설정을 추가합니다.

[hive3] hadoop3와 hive3 연동에서 guava 오류 처리 (0)	2021.06.17
[tez] TEZ ui 설정 (0)	2021.06.16
[hive] hive on spark 작업 중 create Spark client due to invalid resource request: Required executor memory (9671), overhead (1706 MB), and PySpark memory (0 MB) is above the max threshold 오류 (0)	2021.05.30
[hive] hive3의 mr 엔진에서 java.lang.IncompatibleClassChangeError 오류 처리 (0)	2021.05.27
[hive] hive3에서 TEZ 연동시 java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument 오류 처리 (0)	2021.05.27

공지사항

최근에 올라온 글

최근에 달린 댓글

링크

글 보관함