[airflow] 에어플로우 설치

간단하게 에어플로우를 설치하고, 시퀀셜 익스큐터(SequentialExecutor)와 sqlite를 이용하여 테스트용으로 사용할 수 있는 에어플로우를 설치 하는 방법을 알아보겠습니다.

 

	# pip 버전이 낮을 때 오류가 발생할 수 있음
	sudo pip install --upgrade pip
	# 에어플로우 설치
	pip install "apache-airflow[celery]==2.2.0" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.2.0/constraints-3.6.txt"
	# 에어플로우 홈 설정
	# 설정한 홈 위치에 에어플로우의 기본 파일이 생성 됨
	export AIRFLOW_HOME=/opt/airflow
	# DAG 에서 사용할 사용자 라이브러리 위치 추가
	export PYTHONPATH=${PYTHONPATH}:/user/home/lib/
	# 에어플로우 DB 설정
	airflow db init
	# 웹서버 실행
	# -D: 데몬으로 실행. 빼고 실행해도 됨
	airflow webserver -p 8080 -D
	# 스케줄러 실행
	# -D: 데몬으로 실행. 빼고 실행해도 됨
	airflow scheduler -D
	# admin 유저 생성
	airflow users create --role Admin --username admin --email admin --firstname admin --lastname admin --password admin
	airflow users create --role Admin --username admin --email admin --firstname admin --lastname admin --password admin

view raw airflow_install.sh hosted with ❤ by GitHub

* 이렇게 에어플로우를 설치하면 실행할 수 있지만, 이 에어플로우는 시퀀설 익스큐터를 이용하기 때문에 한번에 하나의 작업만 가능합니다.