[airflow] 에어플로우에서 생성하는 로그의 umask 설정

2024. 6. 15. 04:22·빅데이터

Apache Airflow에서 로그 파일의 umask를 변경하려면, Airflow 설정 파일(airflow.cfg)에서 설정을 변경하거나, 소스코드 수정을 통해 적용할 수 있습니다.

1. Airflow 설정 파일 (airflow.cfg) 수정

Airflow 설정 파일(airflow.cfg)에서 umask 설정을 직접 변경할 수 있는 옵션은2.6.0 이후 적용되었습니다. file_task_handler_new_file_permissions 옵션을 설정하여 적용할 수 있습니다.

 

https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#file-task-handler-new-file-permissions

 

Configuration Reference — Airflow Documentation

 

airflow.apache.org

 

2. 소스 코드 수정

2.6.0 버전 이전에서는 소스 코드를 수정하여 적용 할 수 있습니다. 다음 내용을 참고하여 2개의 파일을 수정합니다. pip를 이용하여 airflow를 설치 하였다면 다음의 위치에서 로그 설정 파일을 확인할 수 있고 이 내용을 수정하여 적용할 수 있습니다.

 

https://anoopkm.wordpress.com/2020/03/26/world-readable-airflow-dag-logs-issue/

 

World readable airflow dag logs issue

If the airflow dag logs permission becomes 777 by default, please modify the below file to restrict it. #grep -7 chmod /data/airflow/airflow/lib/python3.7/site-packages/airflow/utils/log/file_task_…

anoopkm.wordpress.com

 

/home/user/.local/lib/python3.8/site-packages/airflow/utils/log/file_task_handler.py
/home/user/.local/lib/python3.8/site-packages/airflow/utils/log/file_processor_handler.py

 

 

이상과 같은 방법으로 에어플로우의 로그 파일 umask 를 설정할 수 있습니다.

반응형
저작자표시 비영리 변경금지 (새창열림)

'빅데이터' 카테고리의 다른 글

[ranger] 레인저 HDFS plugin 에서 User does not have permission for this operation 오류  (2) 2024.10.10
[spark] log4j 설정을 이용하여 스파크 쓰리프트 서버의 로그를 파일로 출력하는 방법  (1) 2024.09.30
[ranger] apache ranger 빌드 방법 정리  (0) 2024.06.15
[Iceberg] 아파치 Iceberg 사용 방법.  (0) 2024.04.14
[jupyter] 우분투 20에 쥬피터 노트북 설치 및 pyspark 연동 하기  (0) 2023.03.21
'빅데이터' 카테고리의 다른 글
  • [ranger] 레인저 HDFS plugin 에서 User does not have permission for this operation 오류
  • [spark] log4j 설정을 이용하여 스파크 쓰리프트 서버의 로그를 파일로 출력하는 방법
  • [ranger] apache ranger 빌드 방법 정리
  • [Iceberg] 아파치 Iceberg 사용 방법.
hs_seo
hs_seo
Hello World!
    반응형
  • hs_seo
    개발자로 살아남기
    hs_seo
  • 전체
    오늘
    어제
    • 전체 (1140)
      • 개발자 (21)
        • 개발에 유의할 점 (0)
        • 면접 (5)
      • IT 소식 (5)
        • 업계 (1)
      • java (51)
        • 디자인패턴 (3)
        • apache-common (1)
      • 개념 (47)
        • 자료구조 (4)
        • 함수형사고 (8)
        • 디자인패턴 (1)
      • 데이터분석 (1)
      • python (67)
        • 코드조각 (12)
        • 라이브러리 (2)
      • 빅데이터 (418)
        • zookeeper (5)
        • hadoop (78)
        • hdfs (12)
        • hive (127)
        • hbase (16)
        • spark (40)
        • scala (4)
        • trino (3)
        • oozie (41)
        • Hue (9)
        • R (5)
        • sqoop (6)
        • flume (3)
        • elasticsearch (2)
        • airflow (16)
        • kafka (3)
        • kubernetes (10)
        • openstack (3)
        • flink (2)
        • redis (2)
      • 빅데이터 강좌 (2)
      • 알고리즘 (131)
        • 알고리즘 (1)
        • 백준 (61)
        • 정올 (41)
        • 더블릿 (5)
        • 프로그래머스 (1)
      • 프로그래밍 언어 (30)
        • go (4)
        • js (9)
        • .Net (6)
        • Jsp (1)
        • ansible (3)
        • terraform (6)
      • Tools (56)
        • docker (2)
        • macbook (6)
        • maven (3)
        • sublime (1)
      • 프레임워크 (25)
        • [JS] angularjs (2)
        • [JS] node.js (19)
        • [Java] spring (2)
        • Android (2)
      • 데이타베이스 (43)
        • SQLD (5)
        • Oracle (1)
        • MySQL (8)
        • ADsP (2)
      • 리눅스 (25)
        • Bash (61)
      • GCP (5)
      • AWS (34)
        • EC2 (2)
        • EMR (14)
      • 정보보안기사 (4)
        • 네트워크 (1)
      • 개인 (80)
        • 업무실수 (0)
        • 책 (9)
        • 교육 (3)
        • 여행 (17)
        • 영화 (12)
        • 음악 (2)
        • 피규어 (4)
        • 게임 (3)
        • 생각 (7)
        • 기타 (10)
        • 좋은글 (5)
        • 좋은 사이트 (2)
  • 블로그 메뉴

    • 홈
    • 태그
    • 미디어로그
    • 위치로그
    • 방명록
  • 링크

    • 빅데이터-하둡,하이브로 시작하기
    • 빅데이터-스칼라, 스파크로 시작하기
    • Kaggle에서 파이썬으로 데이터 분석 시작하기
    • 쉘스크립트 개발 시작하기
    • 개발자가 데이터 분석 준전문가 되기
    • 데브쿠마
  • 공지사항

  • 인기 글

  • 태그

    하둡
    정올
    airflow
    S3
    nodejs
    error
    파이썬
    오류
    HIVE
    Tez
    Hadoop
    Linux
    알고리즘
    yarn
    SPARK
    다이나믹
    bash
    하이브
    oozie
    Python
    java
    HDFS
    build
    emr
    AWS
    ubuntu
    hbase
    k8s
    mysql
    백준
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.6
hs_seo
[airflow] 에어플로우에서 생성하는 로그의 umask 설정
상단으로

티스토리툴바