티스토리 뷰
하이브 실행 엔진을 설정하고 맵리듀스, 테즈를 실행하기 위해서는 실행을 위한 라이브러리를 HDFS에 업로드 하고 설정파일에 각 라이브러리의 위치를 지정해야 실행할 수 있습니다. 다음 파일의 위치는 HDFS 상의 위치입니다.
MR 엔진: mapred-site.xml
<property>
<name>mapreduce.application.framework.path</name>
<value>/hadoop/apps/mapreduce/hadoop-version.tar.gz#mapreduce</value>
</property>
TEZ 엔진: hive-site.xml
<property>
<name>tez.lib.uris</name>
<value>/hadoop/apps/tez/tez.tar.gz</value>
</property>
반응형
'빅데이터 > hive' 카테고리의 다른 글
[hive] hive3에서 TEZ 연동시 java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument 오류 처리 (0) | 2021.05.27 |
---|---|
[hive-tez] 파일 개수와 사이즈에 따른 그룹핑 사이즈 설정과 처리 속도 차이 (0) | 2021.02.16 |
[hive] Gzip파일 처리 중 Unexpected end of input stream 오류 해결 방법 (0) | 2020.07.17 |
[hive] 맵 조인 처리 기준 사이즈 확인 (0) | 2020.06.11 |
[hive] 맵조인과 셔플조인(Map Join vs Shuffle Join) (0) | 2020.06.09 |
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 알고리즘
- yarn
- SPARK
- Tez
- S3
- airflow
- 오류
- AWS
- nodejs
- 정올
- error
- HDFS
- hbase
- mysql
- Hadoop
- bash
- build
- 다이나믹
- 파이썬
- Python
- SQL
- Linux
- ubuntu
- 하둡
- java
- 하이브
- 백준
- HIVE
- emr
- oozie
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
글 보관함