[hive] order by, sort by, cluster by 의 차이

티스토리 뷰

빅데이터/hive

hs_seo 2017. 2. 14. 16:06

Order by

- 전체 데이터를 정렬

- 하나의 리듀서로 진행

- 용량이 커지면 문제가 발생할 가능성이 높음

- 용량이 많을 경우 limit 를 이용하여 데이터를 제한해야 함

sort by

- 리듀서별로 데이터를 정렬

- 즉, 파일별로 정렬되어 생성됨

- 보통 distribute by 와 함께 사용하여 처리,

- distribute by는 리듀서로 보내는 데이터의 분류 기준

cluster by

- distributed by, sort by를 동시에 사용한 것

Hive 입문 발표 자료 from beom kyun choi

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SortBy#LanguageManualSortBy-SyntaxofOrderBy

[hive] 하이브 테이블에 데이터 입력 방법 (0)	2017.02.21
[hive] 하이브 테이블 생성하기 (0)	2017.02.21
[hive][tez] tez 처리중 tez.lib.uris is not defined in the configuration 오류 수정 (0)	2017.02.07
[hive] 다이나믹 파티션의 __HIVE_DEFAULT_PARTITION__ (0)	2017.02.02
[Hive] transform 으로 파이썬을 이용할 때 exception 출력하기 (0)	2017.01.23

공지사항

최근에 올라온 글

최근에 달린 댓글

링크

글 보관함