[spark] log4j 설정을 이용하여 스파크 쓰리프트 서버의 로그를 파일로 출력하는 방법

log4j 설정을 외부에서 주입하는 방법을 정리합니다.

문제

spark 스리프트 서버를 실행할 때는 로그를 파일로 저장하고, spark beeline 을 실행할 때는 콘솔로 출력해야 했습니다. 같은 로그 설정 파일을 이용하기 때문에 하나의 파일로 두 가지 설정을 출력해야 했습니다.

해결 방법

log4j 에 기본 설정을 두고, 외부에서 설정이 주입되면 외부 설정을 이용할 수 있게 하였습니다.

다음과 같이 설정하여 외부에서 정보가 입력되지 않으면, 설정에 저장된 spark.root.logger 설정을 이용하고, 외부에서 입력되면 외부의 설정이 기본값을 덮어 써서 외부의 값을 이용하게 됩니다.

# log4j 설정 
spark.root.logger=INFO,console
spark.log.dir=.
spark.log.file=spark.log

# 루트 로거 
log4j.rootCategory=${spark.root.logger}

#
# console
#
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

#  
# DRFA  
#  
log4j.appender.DRFA=org.apache.log4j.DailyRollingFileAppender  
log4j.appender.DRFA.File=${spark.log.dir}/${spark.log.file}  
log4j.appender.DRFA.DatePattern=.yyyy-MM-dd  
log4j.appender.DRFA.layout=org.apache.log4j.PatternLayout  
log4j.appender.DRFA.layout.ConversionPattern=%d{ISO8601} %p %c (%t): %m%n

스리프트 서버를 실행 할 때는 외부에서 설정을 주입하여 줍니다.

/usr/lib/jdk/bin/java \
-cp /opt/spark/conf/:/opt/spark/jars/*
-Xmx2g \
-Dspark.root.logger=INFO,DRFA \
-Dspark.log.dir=/var/log/spark \
-Dspark.log.file=spark-ubuntu-thriftserver.log \
org.apache.spark.deploy.SparkSubmit \
--class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 \
--name "Thrift JDBC/ODBC Server" spark-internal