hive 2.1.0 에서 ORC 파일 포맷 이용중
다음의 오류가 발생하는 경우가 있다.
Caused by: java.lang.ArrayIndexOutOfBoundsException: 1024
이 경우 다음의 지라와 같이 Hive 버그일 가능성이 높다.
이럴때는 이런 해결방법이 있다.
- hive 버전업 또는 패치 적용
- ORC 말고 다른 포맷으로 데이터를 저장 후 다시 ORC 포맷으로 저장
- 파일 머지중 오류가 발생했다면 머지 기능을 잠시 off
- 리듀서를 1개로 설정하여 처리
반응형
'빅데이터 > hive' 카테고리의 다른 글
| [hive] 다이나믹 파티션 처리시 0 byte 파일이 생성될 때 설정 (0) | 2017.10.27 |
|---|---|
| [hive] tez로 처리중 File Merge 부분에서 오류 (0) | 2017.10.24 |
| [hive] 테이블 stat 갱신하기 (0) | 2017.06.26 |
| [hive] 하이브 테이블에 struct 같은 복합 데이터 load 하는 법 (0) | 2017.04.12 |
| [hive] UDTF 예제 (0) | 2017.04.12 |