티스토리 뷰
Apache Airflow에서 로그 파일의 umask를 변경하려면, Airflow 설정 파일(airflow.cfg)에서 설정을 변경하거나, 소스코드 수정을 통해 적용할 수 있습니다.
1. Airflow 설정 파일 (airflow.cfg) 수정
Airflow 설정 파일(airflow.cfg)에서 umask 설정을 직접 변경할 수 있는 옵션은2.6.0 이후 적용되었습니다. file_task_handler_new_file_permissions 옵션을 설정하여 적용할 수 있습니다.
Configuration Reference — Airflow Documentation
airflow.apache.org
2. 소스 코드 수정
2.6.0 버전 이전에서는 소스 코드를 수정하여 적용 할 수 있습니다. 다음 내용을 참고하여 2개의 파일을 수정합니다. pip를 이용하여 airflow를 설치 하였다면 다음의 위치에서 로그 설정 파일을 확인할 수 있고 이 내용을 수정하여 적용할 수 있습니다.
https://anoopkm.wordpress.com/2020/03/26/world-readable-airflow-dag-logs-issue/
World readable airflow dag logs issue
If the airflow dag logs permission becomes 777 by default, please modify the below file to restrict it. #grep -7 chmod /data/airflow/airflow/lib/python3.7/site-packages/airflow/utils/log/file_task_…
anoopkm.wordpress.com
/home/user/.local/lib/python3.8/site-packages/airflow/utils/log/file_task_handler.py
/home/user/.local/lib/python3.8/site-packages/airflow/utils/log/file_processor_handler.py
이상과 같은 방법으로 에어플로우의 로그 파일 umask 를 설정할 수 있습니다.
'빅데이터' 카테고리의 다른 글
[ranger] 레인저 HDFS plugin 에서 User does not have permission for this operation 오류 (2) | 2024.10.10 |
---|---|
[spark] log4j 설정을 이용하여 스파크 쓰리프트 서버의 로그를 파일로 출력하는 방법 (1) | 2024.09.30 |
[ranger] apache ranger 빌드 방법 정리 (0) | 2024.06.15 |
[Iceberg] 아파치 Iceberg 사용 방법. (0) | 2024.04.14 |
[jupyter] 우분투 20에 쥬피터 노트북 설치 및 pyspark 연동 하기 (0) | 2023.03.21 |
- Total
- Today
- Yesterday
- nodejs
- Python
- bash
- mysql
- error
- SPARK
- S3
- 파이썬
- HDFS
- Tez
- SQL
- 백준
- 하둡
- emr
- Hadoop
- 오류
- yarn
- oozie
- AWS
- build
- Linux
- ubuntu
- 정올
- 하이브
- HIVE
- hbase
- 다이나믹
- airflow
- 알고리즘
- java
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |