티스토리 뷰
빅데이터/spark
[jupyter] spark 2.4.6 에서 jupyter 노트북 연동 시 TypeError: an integer is required (got type bytes) 오류 처리
hs_seo 2023. 3. 16. 18:17스파크 2.4.6 버전에서 jupyter 노트북을 연결할 때 다음과 같은 오류가 발생합니다.
스파크 2.4.6은 python2 버전을 사용하게 되어 있는데, jupyter 노트북이 python3 으로 되어 있어서 오류가 발생합니다.
TypeError: an integer is required (got type bytes)
스택 오버플로우 등에서 추천하는 해결 방법은 파이썬 3.7로 쥬피터를 실행하는 방법입니다. 기존에 설치된 파이썬 버전을 확인하고 3.7 버전을 설치 하면 동작합니다.
또는 스파크 소스코드를 수정하여 처리할 수 있습니다. SPARK_HOME/python/pyspark/cloudpickle.py 파일을 수정합니다.
How to fix 'TypeError: an integer is required (got type bytes)' error when trying to run pyspark after installing spark 2.4.4
I've installed OpenJDK 13.0.1 and python 3.8 and spark 2.4.4. Instructions to test the install is to run .\bin\pyspark from the root of the spark installation. I'm not sure if I missed a step in ...
stackoverflow.com
반응형
'빅데이터 > spark' 카테고리의 다른 글
| [spark] 스파크 히스토리 서버 로깅 설정 예제 (0) | 2025.01.06 |
|---|---|
| [spark] spark-shell 실행 시 발생하는 java.lang.NoSuchFieldError: JAVA_9 오류 처리 (0) | 2024.02.25 |
| [spark] pyspark 의 파이썬 패스 설정 (0) | 2022.03.07 |
| [spark] java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V 오류 수정 (0) | 2022.01.30 |
| [spark] spark3와 hive3 메타스토어 연동 (0) | 2021.06.21 |
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 파이썬
- 하둡
- SQL
- oozie
- 알고리즘
- 정올
- nodejs
- Tez
- airflow
- java
- HDFS
- hbase
- Hadoop
- bash
- yarn
- 백준
- error
- emr
- mysql
- 다이나믹
- S3
- Python
- Linux
- build
- 하이브
- HIVE
- AWS
- SPARK
- 오류
- ubuntu
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함