에어플로우 DAG에서 멀티 프로세스를 이용하는 경우 파이썬 프로세스에서 또 프로세스를 생성할 수 없다는 오류가 발생합니다.
File "/usr/local/lib/python3.8/multiprocessing/process.py", line 118, in start
assert not _current_process._config.get('daemon'), \
AssertionError: daemonic processes are not allowed to have children해결방법
이 경우 멀티프로세스를 스레드 풀로 변경하면 됩니다. 다음과 같이 사용할 수 있습니다.
반응형
'빅데이터 > airflow' 카테고리의 다른 글
| [airflow] 에어플로우 설정 환경 변수로 설정 (0) | 2022.07.21 |
|---|---|
| [airflow] Xcom을 이용하여 DAG 간 데이터 전달 (0) | 2022.04.03 |
| [airflow] 에어플로우 설치(celery executor + redis) (0) | 2021.12.20 |
| [airflow] 에어플로우 DB 초기화 중 Global variable explicit_defaults_for_timestamp needs to be on (1) for mysql 오류 (0) | 2021.11.30 |
| [airflow] PythonOperator에서 TypeError: function() got an unexpected keyword argument 'conf' 오류 (0) | 2021.11.25 |