[spark] pyspark 의 파이썬 패스 설정

티스토리 뷰

빅데이터/spark

hs_seo 2022. 3. 7. 22:30

pyspark 를 실행하는 서버와 실제 작업을 실행하는 YARN 클러스터의 파이썬 패스가 다를 경우 실행하는 파이썬 패스(PYSPARK_PYTHON)를 드라이버, 워커, 실행서버 별로 설정을 해야 합니다.

[spark] spark-shell 실행 시 발생하는 java.lang.NoSuchFieldError: JAVA_9 오류 처리 (0)	2024.02.25
[jupyter] spark 2.4.6 에서 jupyter 노트북 연동 시 TypeError: an integer is required (got type bytes) 오류 처리 (0)	2023.03.16
[spark] java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V 오류 수정 (0)	2022.01.30
[spark] spark3와 hive3 메타스토어 연동 (0)	2021.06.21
[spark] spark2와 hive2 메타스토어 연동 (0)	2021.06.21

공지사항

최근에 올라온 글

최근에 달린 댓글

링크

글 보관함