티스토리 뷰
<개요>
하이브에서 다음과 같이 지정한 경로에 파일이 존재하지 않으면
다음과 같은 오류가 발생한다.
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
java.io.IOException: Not a file: hdfs://경로
at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:286)
<해결방안>
이럴때는 지정한 경로 하위의 디렉토리까지 읽을 수 있게 지정하면 된다.
다음의 프로퍼티를 설정하면 된다.
SET mapred.input.dir.recursive=TRUE;
반응형
'빅데이터 > hive' 카테고리의 다른 글
[hive][error] msck repair table 처리시 오류 수정 (0) | 2016.12.20 |
---|---|
[hive] Hive 2의 특징 (0) | 2016.12.08 |
[hive][error] 하이브의 mysql 커넥터 오류 수정 (0) | 2016.11.24 |
[hive] 하이브 테이블의 null 값 표현 (0) | 2016.10.24 |
[hive][error] MetaException(message:Metastore contains multiple versions) 처리 (0) | 2016.10.07 |
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- Hadoop
- 알고리즘
- 하둡
- hbase
- build
- oozie
- 정올
- Tez
- Python
- HIVE
- SQL
- mysql
- nodejs
- 오류
- 하이브
- Linux
- HDFS
- AWS
- 백준
- emr
- java
- ubuntu
- airflow
- S3
- bash
- yarn
- 다이나믹
- SPARK
- error
- 파이썬
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함