티스토리 뷰

빅데이터/spark

[spark] org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tez jars, tez.lib.uris is not defined in the configuration; 오류 해결 방법

hs_seo 2019. 11. 20. 17:29

Spark SQL을 이용할 때 다음의 오류가 발생하는 경우 tez 환경 설정을 넣어주면 됩니다. 

: org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tez jars, tez.lib.uris is not defined in the configuration;

설정

<property>  
    <name>tez.lib.uris</name>  
    <value>hdfs:///apps/tez/tez.tar.gz</value>  
</property>  
<property>  
    <name>tez.use.cluster.hadoop-libs</name>  
    <value>true</value>  
</property>
반응형
저작자표시 비영리 동일조건

'빅데이터 > spark' 카테고리의 다른 글

[pyspark] CSV파일로 데이터프레임 생성  (0) 2020.06.04
[spark-sql] tez.lib.uris is not defined 오류 처리 방법  (0) 2020.01.14
[spark] JDBC드라이버를 이용하여 spark sql로 데이터 가져오는 방법  (0) 2019.11.13
[spark] Exception in thread "main" java.sql.SQLException: No suitable driver 오류 해결 방법  (0) 2019.11.13
[spark] Unable to instantiate SparkSession with Hive support because Hive classes are not found. 오류 해결 방법  (0) 2019.11.08
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2025/01   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31
글 보관함