티스토리 뷰
하이브 실행 엔진을 설정하고 맵리듀스, 테즈를 실행하기 위해서는 실행을 위한 라이브러리를 HDFS에 업로드 하고 설정파일에 각 라이브러리의 위치를 지정해야 실행할 수 있습니다. 다음 파일의 위치는 HDFS 상의 위치입니다.
MR 엔진: mapred-site.xml
<property>
<name>mapreduce.application.framework.path</name>
<value>/hadoop/apps/mapreduce/hadoop-version.tar.gz#mapreduce</value>
</property>
TEZ 엔진: hive-site.xml
<property>
<name>tez.lib.uris</name>
<value>/hadoop/apps/tez/tez.tar.gz</value>
</property>
반응형
'빅데이터 > hive' 카테고리의 다른 글
[hive] hive3에서 TEZ 연동시 java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument 오류 처리 (0) | 2021.05.27 |
---|---|
[hive-tez] 파일 개수와 사이즈에 따른 그룹핑 사이즈 설정과 처리 속도 차이 (0) | 2021.02.16 |
[hive] Gzip파일 처리 중 Unexpected end of input stream 오류 해결 방법 (0) | 2020.07.17 |
[hive] 맵 조인 처리 기준 사이즈 확인 (0) | 2020.06.11 |
[hive] 맵조인과 셔플조인(Map Join vs Shuffle Join) (0) | 2020.06.09 |
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 다이나믹
- S3
- java
- 오류
- bash
- error
- 정올
- Python
- AWS
- nodejs
- hbase
- 하둡
- HDFS
- 알고리즘
- Hadoop
- mysql
- oozie
- ubuntu
- emr
- yarn
- HIVE
- SQL
- Tez
- airflow
- 백준
- build
- SPARK
- 하이브
- 파이썬
- Linux
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
글 보관함