티스토리 뷰

빅데이터/airflow

[airflow] 에어플로우 설치(celery executor + redis)

hs_seo 2021. 12. 20. 22:40

에어플로우는 웹서버, 스케줄러, 익스큐터, 메세지 큐로 구성할 수 있습니다.

 

웹서버, 스케줄러는 에어플로우를 설치하면 되고, 익스큐터는 로컬 익스큐터, 셀러리 익스큐터는 에어플로우를 설치하면 구성되고, 쿠버네티스 익스큐터는 따로 설정해야 합니다. 그리고 여러개의 익스큐터와 스케줄러의 통신을 위해서 메시지 큐를 설치할 수 있습니다. 또한 익스큐터간 데이터 저장을 위한 DB 도 필요합니다.

 

따라서 에어플로우 하나를 사용하기 위해서는 다음의 5개 컴포넌트가 필요합니다. (시퀀셜 익스큐터를 이용하는 경우 sqlite를 이용해서 웹서버, 스케줄러, 익스큐터 만 있으면 됩니다.) 여기서는 셀러리 익스큐터를 이용하는 방법을 알아보겠습니다.

 

  • 웹서버
  • 스케줄러
  • 익스큐터
    • 시퀀셜 익스큐터
    • 셀러리 익스큐터
  • 메세지큐
    • 레디스
    • RabbitMQ
  • DB

 

설치

설정

설치후 레디스와 에어플로우에 다음을 설정합니다.

실행

반응형
저작자표시 비영리 변경금지

'빅데이터 > airflow' 카테고리의 다른 글

[airflow] Xcom을 이용하여 DAG 간 데이터 전달  (0) 2022.04.03
[airflow] DAG에서 사용하는 멀티 프로세스에서 발생하는 AssertionError: daemonic processes are not allowed to have children  (0) 2022.02.24
[airflow] 에어플로우 DB 초기화 중 Global variable explicit_defaults_for_timestamp needs to be on (1) for mysql 오류  (0) 2021.11.30
[airflow] PythonOperator에서 TypeError: function() got an unexpected keyword argument 'conf' 오류  (0) 2021.11.25
[airflow] BashOperator에서 jinja2.exceptions.TemplateNotFound: 오류  (1) 2021.11.18
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG more
«   2025/02   »
일 월 화 수 목 금 토
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28
글 보관함