[airflow] 에어플로우 설정 환경 변수로 설정

에어플로우는 airflow.cfg 에 설정을 할 수도 있지만 실행전에 export 로 환경변수로 설정하면 해당 정보를 실행 시점에 읽어서 변수에 반영합니다.

 

주의할 점은 버전에 따라 문서의 환경변수가 적용되지 않을 수도 있습니다. 저는 2.2.5 버전의 에어플로우를 사용하는데 문서에는 AIRFLOW__DATABASE__SQL_ALCHEMY_CONN 로 되어 있지만, AIRFLOW__CORE__SQL_ALCHEMY_CONN 으로 설정해야 설정이 적용되었습니다.

 

이는 airflow.cfg 설정파일을 확인해 보면 [core] 아래 sql_alchemy_conn 이 있는 것을 확인할 수 있습니다. 에어플로우는 설정 파일에 적용된 순서에 따라 파싱을 진행하기 때문에 airflow.cfg 파일을 확인하면 설정명을 이해할 수 있을 것입니다.

 

https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#config-database-sql-alchemy-conn

Configuration Reference — Airflow Documentation

실행

	# 환경변수 설정
	export AIRFLOW__CORE__SQL_ALCHEMY_CONN="mysql://airflow_user:airflow_user@database.com:3306/airflow_db?charset=utf8"
	export AIRFLOW__CELERY__RESULT_BACKEND="db+mysql://airflow_user:airflow_user@database.com:3306/airflow_db?charset=utf8"
	# 웹서버 실행
	airflow webserver -D

view raw airflow_run.sh hosted with ❤ by GitHub