성능1 [hive] 하이브 성능 최적화 방안 하이브의 성능 향상을 위한 방안은 다음과 같다. TEZ 엔진 사용hive 의 기본엔진은 mr 이었으나 2.x로 넘어오면서 tez를 사용하게 되었다. mr 엔진은 맵리듀스 연산중 중간 파일을 로컬 디스크에 쓰면서 진행한다. 이로 인한 IO 비용으로 늦어지게 되는데 tez 엔진은 이 임시 파일을 메모리에 저장하여 처리 속도를 높인다. : 엔진 설정 및 큐 설정set hive.execution.engine=tez;set tez.queue.name=queue; ORC 파일 사용데이터 저장에 ORC 파일 포맷을 이용한다. ORC 파일 포맷은 데이터를 컬럼별로 저장하기 때문에 검색 속도와 압축률이 좋다. 아래와 같이 CREATE 문에 STORED AS 구문을 추가하면 된다. 압축방식도 프로퍼티를 이용하여 설정할 수.. 2017. 12. 26. 이전 1 다음