[spark] JDBC드라이버를 이용하여 spark sql로 데이터 가져오는 방법

스파크 SQL에서는 JDBC드라이버를 이용해서 데이베이스에 직접 접근해서 정보를 가져올 수 있습니다.

spark-shell, spark-submit으로 실행할 때 데이터베이스에 접근하기 위한 jar 파일을 함께 제공해야 합니다.

샘플 코드

import java.util.Properties

// 프로퍼티 설정 
val prop = new Properties()
prop.put("user", "db_user_name")
prop.put("password", "db_password")

// 데이터베이스 연결 및 뷰 생성 
val tableDf = spark.read.jdbc("jdbc:mysql://mysql_url:mysql_port/database_name", "table_name", prop)
tableDf.createOrReplaceTempView("tempTable")

// 테이블 조회
val scDf = spark.sql("""SELECT * 
                          FROM tempTable""") 
// 출력 
scDf.show

참고

• Spark SQL Guide