스파크에서 snappy 압축 방식으로 파일을 쓸 때 라이브러를 가져오지 못할 때 다음과 같은 오류가 발생합니다
Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z
at org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy(Native Method)
at org.apache.hadoop.io.compress.SnappyCodec.checkNativeCodeLoaded(SnappyCodec.java:63)
at org.apache.hadoop.io.compress.SnappyCodec.getCompressorType(SnappyCodec.java:136)
at org.apache.hadoop.io.compress.CodecPool.getCompressor(CodecPool.java:150)
at org.apache.hadoop.io.compress.CompressionCodec$Util.createOutputStreamWithCodecPool(CompressionCodec.java:131)수정 방법
두 가지 방법이 있습니다. 저는 spark-defaults를 수정하는 방법으로 해결 하였습니다.
- spark-env.sh 를 수정
- spark-defaults.conf를 수정
반응형
'빅데이터 > spark' 카테고리의 다른 글
| [spark] spark2와 hive2 메타스토어 연동 (0) | 2021.06.21 |
|---|---|
| [spark] spark2와 hive2 메타스토어 연결 오류 수정. java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT (0) | 2021.06.21 |
| [pyspark] pyspark 실행시 python: command not found 오류 (0) | 2021.03.18 |
| [spark] __spark_libs__.zip does not exist 오류 해결 방법 (0) | 2020.09.14 |
| [spark] Service 'sparkDriver' could not bind on a random free port. 오류 해결 (0) | 2020.09.13 |