[jupyter] 우분투 20에 쥬피터 노트북 설치 및 pyspark 연동 하기

spark 2.4.6 과 쥬피터 노트북을 연동하여 pyspark 를 실행하는 방법을 알아보겠습니다.

 

주의 사항

• spark 2.4.6은 파이썬 3.8 버전 이상을 지원하지 않습니다.
  • 우분투 20 이상은 파이썬 3.8 버전이 기본 설치 되어 있어서 파이썬 3.6이나 3.7을 설치하고 연동하여야 합니다.
• 쥬피터 노트북은 사용하고자 하는 파이썬 버전의 pip로 설치하여야 합니다.
  • apt를 이용하여 쥬피터 노트북을 설치하면 우분투의 기본 파이썬 버전에 설치 됩니다. 우분투 20기준 파이썬 3.8에 설치 됩니다.

 

설치 방법

• 파이썬 3.6 버전 설치.
  • 우분투 20기준 소스를 빌드해서 설치 해야 함
• 쥬피터 노트북 설치
  • pip로 설치
• ipython 커널 설치
  • ipython 커널을 설치해야 노트북에서 이용 가능
• 스파크 파일 다운로드
  • 원하는 위치에 2.4.6버전 소스 파일 다운로드
• 설정 및 실행
  • export 실행 후 pyspark 명령을 실행하면 노트북이 실행 됨