[hive] hive3에서 TEZ 연동시 java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument 오류 처리

티스토리 뷰

빅데이터/hive

hs_seo 2021. 5. 27. 22:54

하둡3, 하이브3에서 TEZ를 연동할 때 라이브러리가 맞지않아서 NoSuchMethodError 가 발생합니다. 하둡3는 guava가 27버전이고, 하이브3는 guava가 19버전이라서 발생합니다. 따라서 라이브러리를 맞춰주면 문제가 해결됩니다.

hadoop 3.2.1
- guava-27.0
hive 3.1.2
- guava-19.0
해결방법
- {HIVE_HOME}/lib/guava-19.0.jar 삭제
- {HADOOP_HOME}/share/hadoop/common/lib/guava-27.0-jre.jar 를 {HIVE_HOME}/lib/ 에 복사

[hive] hive on spark 작업 중 create Spark client due to invalid resource request: Required executor memory (9671), overhead (1706 MB), and PySpark memory (0 MB) is above the max threshold 오류 (0)	2021.05.30
[hive] hive3의 mr 엔진에서 java.lang.IncompatibleClassChangeError 오류 처리 (0)	2021.05.27
[hive-tez] 파일 개수와 사이즈에 따른 그룹핑 사이즈 설정과 처리 속도 차이 (0)	2021.02.16
[hive] MR, TEZ 실행엔진 라이브러리 업로드 위치 설정 (0)	2020.09.29
[hive] Gzip파일 처리 중 Unexpected end of input stream 오류 해결 방법 (0)	2020.07.17

공지사항

최근에 올라온 글

최근에 달린 댓글

링크

글 보관함