티스토리 뷰
pyspark 쉘을 실행하는 시점에 python 커맨드를 찾지 못한다는 오류가 발생하면 원인은 두 가지로 생각할 수 있습니다.
- 파이썬을 설치 하지 않음
- 파이썬을 설치 한다.
- 파이썬을 설치 했지만 python 명령이 아니라 python3나 python3.7 등의 버전명으로 명령어가 생성
- PYSPARK_PYTHON 환경변수를 설정
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
# 파이썬 명령어 환경변수 | |
export PYSPARK_PYTHON=/usr/bin/python3 | |
# pyspark 라이브러리 경로 | |
export PYTHONPATH=${SPARK_HOME}/python/lib/py4j-0.10.4-src.zip:${SPARK_HOME}/python/lib/pyspark.zip |
반응형
'빅데이터 > spark' 카테고리의 다른 글
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Linux
- 파이썬
- build
- hbase
- HDFS
- airflow
- 알고리즘
- bash
- yarn
- Hadoop
- nodejs
- SQL
- 다이나믹
- S3
- oozie
- 오류
- 백준
- 정올
- AWS
- Tez
- HIVE
- Python
- mysql
- 하둡
- SPARK
- emr
- java
- error
- 하이브
- ubuntu
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
글 보관함