[spark] spark2와 hive2 메타스토어 연동

스파크2와 하이브메타 스토어를 연동하는 방법은 다음과 같습니다.

 

1. 스파크-하이브 라이브러리 추가
   1. spark-hive_2.11-2.4.6.jar 를 다운로드하고 ${SPARK_HOME}/jars 에 추가
2. 스파크2용 하이브1 라이브러리 빌드를 추가
   1. hive-cli-1.2.1.spark2.jar 를 다운로드하고 ${SPARK_HOME}/jars 에 추가 
   2. hive-beeline-1.2.1.spark2.jar
   3. hive-exec-1.2.1.spark2.jar
   4. hive-jdbc-1.2.1.spark2.jar
   5. hive-metastore-1.2.1.spark2.jar
   6. libthrift-0.9.3.jar
   7. libfb303-0.9.3.jar
3. ${SPARK_HOME}/conf 에 hive-site.xml 추가
   1. hive-site.xml 파일을 추가하고, hive.metastore.uris 설정을 추가 합니다.

<configuration>
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://localhost:9083</value>
  </property>
</configuration>

 

모든 설정이 완료된 후 spark-shell을 실행해서, spark.conf.get("spark.sql.catalogImplementation") 명령을 입력했을 때 hive가 나오면 메타스토어와 정상적으로 연결된 상태입니다. in-memory가 나오면 연결이 안된 상태입니다.

 

scala> spark.conf.get("spark.sql.catalogImplementation")
res0: String = hive