티스토리 뷰

빅데이터/spark

[spark] spark에서 snappy 라이브러리를 찾지 못할때 수정 방법 : java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy

hs_seo 2021. 3. 18. 09:49

스파크에서 snappy 압축 방식으로 파일을 쓸 때 라이브러를 가져오지 못할 때 다음과 같은 오류가 발생합니다

 

Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z
	at org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy(Native Method)
	at org.apache.hadoop.io.compress.SnappyCodec.checkNativeCodeLoaded(SnappyCodec.java:63)
	at org.apache.hadoop.io.compress.SnappyCodec.getCompressorType(SnappyCodec.java:136)
	at org.apache.hadoop.io.compress.CodecPool.getCompressor(CodecPool.java:150)
	at org.apache.hadoop.io.compress.CompressionCodec$Util.createOutputStreamWithCodecPool(CompressionCodec.java:131)

수정 방법

두 가지 방법이 있습니다. 저는 spark-defaults를 수정하는 방법으로 해결 하였습니다.

  • spark-env.sh 를 수정
  • spark-defaults.conf를 수정

반응형
저작자표시 비영리 동일조건

'빅데이터 > spark' 카테고리의 다른 글

[spark] spark2와 hive2 메타스토어 연동  (0) 2021.06.21
[spark] spark2와 hive2 메타스토어 연결 오류 수정. java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT  (0) 2021.06.21
[pyspark] pyspark 실행시 python: command not found 오류  (0) 2021.03.18
[spark] __spark_libs__.zip does not exist 오류 해결 방법  (0) 2020.09.14
[spark] Service 'sparkDriver' could not bind on a random free port. 오류 해결  (0) 2020.09.13
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2025/01   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31
글 보관함