티스토리 뷰

빅데이터/spark

[spark-sql] tez.lib.uris is not defined 오류 처리 방법

hs_seo 2020. 1. 14. 21:59

Spark SQL을 이용할 때 tez.lib.uris is not defined in the configuration 오류가 발생하는 경우 hive-site.xml파일에 tez 환경 설정을 넣어주면 됩니다. 

: org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tez jars, tez.lib.uris is not defined in the configuration;

설정 추가

<property>  
    <name>tez.lib.uris</name>  
    <value>hdfs:///apps/tez/tez.tar.gz</value>  
</property>  
<property>  
    <name>tez.use.cluster.hadoop-libs</name>  
    <value>true</value>  
</property>
반응형
저작자표시 비영리 동일조건

'빅데이터 > spark' 카테고리의 다른 글

[pyspark] 데이터프레임 생성  (0) 2020.06.08
[pyspark] CSV파일로 데이터프레임 생성  (0) 2020.06.04
[spark] org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tez jars, tez.lib.uris is not defined in the configuration; 오류 해결 방법  (0) 2019.11.20
[spark] JDBC드라이버를 이용하여 spark sql로 데이터 가져오는 방법  (0) 2019.11.13
[spark] Exception in thread "main" java.sql.SQLException: No suitable driver 오류 해결 방법  (0) 2019.11.13
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2025/04   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30
글 보관함