Apache Airflow에서 로그 파일의 umask를 변경하려면, Airflow 설정 파일(airflow.cfg)에서 설정을 변경하거나, 소스코드 수정을 통해 적용할 수 있습니다.
1. Airflow 설정 파일 (airflow.cfg) 수정
Airflow 설정 파일(airflow.cfg)에서 umask 설정을 직접 변경할 수 있는 옵션은2.6.0 이후 적용되었습니다. file_task_handler_new_file_permissions 옵션을 설정하여 적용할 수 있습니다.
2. 소스 코드 수정
2.6.0 버전 이전에서는 소스 코드를 수정하여 적용 할 수 있습니다. 다음 내용을 참고하여 2개의 파일을 수정합니다. pip를 이용하여 airflow를 설치 하였다면 다음의 위치에서 로그 설정 파일을 확인할 수 있고 이 내용을 수정하여 적용할 수 있습니다.
https://anoopkm.wordpress.com/2020/03/26/world-readable-airflow-dag-logs-issue/
/home/user/.local/lib/python3.8/site-packages/airflow/utils/log/file_task_handler.py
/home/user/.local/lib/python3.8/site-packages/airflow/utils/log/file_processor_handler.py
이상과 같은 방법으로 에어플로우의 로그 파일 umask 를 설정할 수 있습니다.
반응형
'빅데이터' 카테고리의 다른 글
[ranger] 레인저 HDFS plugin 에서 User does not have permission for this operation 오류 (2) | 2024.10.10 |
---|---|
[spark] log4j 설정을 이용하여 스파크 쓰리프트 서버의 로그를 파일로 출력하는 방법 (1) | 2024.09.30 |
[ranger] apache ranger 빌드 방법 정리 (0) | 2024.06.15 |
[Iceberg] 아파치 Iceberg 사용 방법. (0) | 2024.04.14 |
[jupyter] 우분투 20에 쥬피터 노트북 설치 및 pyspark 연동 하기 (0) | 2023.03.21 |