spark 2.4.6 과 쥬피터 노트북을 연동하여 pyspark 를 실행하는 방법을 알아보겠습니다.
주의 사항
- spark 2.4.6은 파이썬 3.8 버전 이상을 지원하지 않습니다.
- 우분투 20 이상은 파이썬 3.8 버전이 기본 설치 되어 있어서 파이썬 3.6이나 3.7을 설치하고 연동하여야 합니다.
- 쥬피터 노트북은 사용하고자 하는 파이썬 버전의 pip로 설치하여야 합니다.
- apt를 이용하여 쥬피터 노트북을 설치하면 우분투의 기본 파이썬 버전에 설치 됩니다. 우분투 20기준 파이썬 3.8에 설치 됩니다.
설치 방법
- 파이썬 3.6 버전 설치.
- 우분투 20기준 소스를 빌드해서 설치 해야 함
- 쥬피터 노트북 설치
- pip로 설치
- ipython 커널 설치
- ipython 커널을 설치해야 노트북에서 이용 가능
- 스파크 파일 다운로드
- 원하는 위치에 2.4.6버전 소스 파일 다운로드
- 설정 및 실행
- export 실행 후 pyspark 명령을 실행하면 노트북이 실행 됨
반응형
'빅데이터' 카테고리의 다른 글
| [ranger] apache ranger 빌드 방법 정리 (0) | 2024.06.15 |
|---|---|
| [Iceberg] 아파치 Iceberg 사용 방법. (0) | 2024.04.14 |
| [openstack] 오픈스택 VM 생성 중 unexpected state 'ERROR', wanted target 'ACTIVE'. last error: %!s(<nil>) (0) | 2021.12.18 |
| [kerberos] 커버로스 키탭 머지 하기 (1) | 2021.11.27 |
| [kerberos] 커버로스 인증 파일 캐쉬 저장 방법 (0) | 2021.11.18 |