pyspark 를 실행하는 서버와 실제 작업을 실행하는 YARN 클러스터의 파이썬 패스가 다를 경우 실행하는 파이썬 패스(PYSPARK_PYTHON)를 드라이버, 워커, 실행서버 별로 설정을 해야 합니다.

 

파이썬 패스 설정

 

반응형
저작자표시 비영리 동일조건 (새창열림)

'빅데이터 > spark' 카테고리의 다른 글

[spark] spark-shell 실행 시 발생하는 java.lang.NoSuchFieldError: JAVA_9 오류 처리  (0) 2024.02.25
[jupyter] spark 2.4.6 에서 jupyter 노트북 연동 시 TypeError: an integer is required (got type bytes) 오류 처리  (0) 2023.03.16
[spark] java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V 오류 수정  (0) 2022.01.30
[spark] spark3와 hive3 메타스토어 연동  (0) 2021.06.21
[spark] spark2와 hive2 메타스토어 연동  (0) 2021.06.21

티스토리툴바