Apache Airflow에서 로그 파일의 umask를 변경하려면, Airflow 설정 파일(airflow.cfg)에서 설정을 변경하거나, 소스코드 수정을 통해 적용할 수 있습니다. 1. Airflow 설정 파일 (airflow.cfg) 수정Airflow 설정 파일(airflow.cfg)에서 umask 설정을 직접 변경할 수 있는 옵션은2.6.0 이후 적용되었습니다. file_task_handler_new_file_permissions 옵션을 설정하여 적용할 수 있습니다. https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#file-task-handler-new-file-permissions Configuration..
Linux 기준으로 Apache Ranger를 빌드하는 방법을 단계별로 정리하겠습니다. Apache Ranger는 Hadoop 생태계에서 데이터 보안을 관리하기 위한 도구입니다.Ranger를 빌드하려면 Java, Maven, Git 등이 필요합니다.1. 필수 소프트웨어 설치JavaApache Ranger는 Java로 작성되었기 때문에 JDK가 필요합니다. JDK 8 이상이 필요합니다. openjdk8에서 오류가 발생하여 zulu jdk로 빌드릴 진행합니다. wget https://cdn.azul.com/zulu/bin/zulu8.78.0.19-ca-jdk8.0.412-linux_x64.tar.gztar zxf zulu8.78.0.19-ca-jdk8.0.412-linux_x64.tar.gzexport JA..
- Total
- Today
- Yesterday
- emr
- build
- nodejs
- 정올
- mysql
- bash
- Python
- 알고리즘
- ubuntu
- 파이썬
- yarn
- Tez
- S3
- AWS
- HDFS
- 하둡
- Linux
- hbase
- 백준
- java
- 하이브
- oozie
- SQL
- error
- airflow
- SPARK
- Hadoop
- HIVE
- 다이나믹
- 오류
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 |