[airflow] DAG에서 사용하는 멀티 프로세스에서 발생하는 AssertionError: daemonic processes are not allowed to have children

에어플로우 DAG에서 멀티 프로세스를 이용하는 경우 파이썬 프로세스에서 또 프로세스를 생성할 수 없다는 오류가 발생합니다.

  File "/usr/local/lib/python3.8/multiprocessing/process.py", line 118, in start
    assert not _current_process._config.get('daemon'), \
AssertionError: daemonic processes are not allowed to have children

해결방법

이 경우 멀티프로세스를 스레드 풀로 변경하면 됩니다. 다음과 같이 사용할 수 있습니다.

	from multiprocessing.pool import ThreadPool
	import os
	import time
	def sleepy(x):
	print("Process Id",os.getpid())
	time.sleep(x)
	return x
	if __name__ == "__main__":
	p = ThreadPool(5)
	pool_output = p.map(sleepy,range(4))
	print(pool_output)

view raw python_threadpool_example.py hosted with ❤ by GitHub