하이브 실행 엔진을 설정하고 맵리듀스, 테즈를 실행하기 위해서는 실행을 위한 라이브러리를 HDFS에 업로드 하고 설정파일에 각 라이브러리의 위치를 지정해야 실행할 수 있습니다. 다음 파일의 위치는 HDFS 상의 위치입니다.
MR 엔진: mapred-site.xml
<property>
<name>mapreduce.application.framework.path</name>
<value>/hadoop/apps/mapreduce/hadoop-version.tar.gz#mapreduce</value>
</property>
TEZ 엔진: hive-site.xml
<property>
<name>tez.lib.uris</name>
<value>/hadoop/apps/tez/tez.tar.gz</value>
</property>
반응형
'빅데이터 > hive' 카테고리의 다른 글
[hive] hive3에서 TEZ 연동시 java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument 오류 처리 (0) | 2021.05.27 |
---|---|
[hive-tez] 파일 개수와 사이즈에 따른 그룹핑 사이즈 설정과 처리 속도 차이 (0) | 2021.02.16 |
[hive] Gzip파일 처리 중 Unexpected end of input stream 오류 해결 방법 (0) | 2020.07.17 |
[hive] 맵 조인 처리 기준 사이즈 확인 (0) | 2020.06.11 |
[hive] 맵조인과 셔플조인(Map Join vs Shuffle Join) (0) | 2020.06.09 |