pyspark에서 spakr 2.x 버전을 이용할 경우 utf-8 버전의 파일을 읽어서 처리할 경우 유니코드 오류가 발생한다.
이럴때 다음과 같이 처리하면 된다.
ScalaContext를 이용하여 파일을 읽을 때 use_unicode 옵션을 이용하고,
map 함수에서 라인단위로 읽을 때 인코딩을 처리해주면 된다.
반응형
'빅데이터 > spark' 카테고리의 다른 글
| [spark] 스파크 디플로이 모드(deploy mode)의 cluster, client 의 차이 (0) | 2018.03.27 |
|---|---|
| [spark] 스파크 컨테이너 메모리 오류시 처리 방안 (0) | 2018.02.13 |
| [spark] NoSuchElement 오류 해결 방법 (0) | 2018.01.08 |
| [개념] 스톰 vs 스파크 (0) | 2015.07.21 |
| [spark] 아파치 스파크 (0) | 2015.06.24 |