[빅데이터] 하이브 메타스토어 통합을 지원하는 waggle-dance

waggle-dance는 여러 개의 하이브 메타스토어를 통합하여 하나의 메타스토어처럼 처리할 수 있게 해주는 서비스입니다. 아래의 쿼리에서 x, y테이블은 다른 메타스토어에 존재하는데 waggle-dance가 이 메타스토어를 통합하여 하나의 메타스토어에 요청하는 것처럼 처리할 수 있게 도와줍니다.

 

hive> SELECT *
        FROM local.x, remote.y
       WHERE x.id = y.id
         AND x.foo > 1
         AND y.bar = 2;

 

특징

• 호텔스 닷컴에서 개발하여 오픈 소스로 변경
• 여러 곳에 배포된 하이브 메타스토어를 통합하여 조회할 수 있는 기능을 제공
• 다중 하이브 메타스토어 환경에서 통합된 정보를 제공할 수 있는 장점
• 테이블의 select, join 처리를 위한 통합 엔드 포인트 제공

 

아키텍처

참고

• github - waggle-dance