Apache Airflow Helm Chart 1.18.0 버전을 배포하거나 업데이트하는 과정에서 PostgreSQL 이미지를 불러오지 못하는 오류가 빈번하게 발생하고 있습니다.
1. 문제의 원인
최근 Bitnami는 Docker Hub의 이미지 관리 방식을 변경하면서, 기존 bitnami/postgresql 레포지토리의 구버전 태그들을 대거 삭제하거나 bitnamilegacy로 이동시켰습니다. 이로 인해 Airflow Helm Chart 내부에서 기본값으로 설정된 PostgreSQL 이미지 태그를 찾지 못해 ImagePullBackOff 에러가 발생하게 됩니다.
2. 즉각적인 해결 방법: values.yaml 수정
이미 운영 중이거나 당장 PostgreSQL을 사용해야 한다면, values.yaml 파일에서 이미지 레포지토리를 bitnamilegacy로 명시적으로 변경해 주어야 합니다.
수정 전: (기본 설정 사용 시 에러 발생 가능)
수정 후 (values.yaml):
postgresql:
image:
registry: docker.io
repository: bitnamilegacy/postgresql
tag: 16.1.0-debian-11-r15
참고: 위 설정은 삭제된 이미지가 아닌, 레거시 보관소에 남아있는 이미지를 직접 지정하여 배포를 정상화하는 방법입니다.
3. 향후 권장 사항: DB 엔진 변경 고려
현재 Airflow 공식 커뮤니티와 차트 관리자들은 이러한 외부 종속성 문제를 해결하기 위해 기본 DB 설정을 SQLite로 변경하거나 다른 대안을 모색하고 있습니다.
장기적인 안정성을 고려한다면 다음과 같은 방향을 추천합니다.
- MySQL 또는 외부 PostgreSQL 사용: * Bitnami Helm 차트에 의존하는 내장 PostgreSQL 대신, 직접 관리하는 외부 DB(RDS, Cloud SQL 등)로 연결 설정을 변경하는 것이 프로덕션 환경에서는 가장 안전합니다.
- 테스트 환경이라면 SQLite 활용:
- 간단한 테스트나 로컬 개발 용도라면 향후 공식 업데이트에 맞춰 SQLite로 전환하는 것도 방법입니다.
- Helm Chart 버전 업데이트 모니터링:
- 차기 버전에서는 이 이미지 주소 이슈가 해결되어 배포될 예정이므로, 지속적으로 차트 업데이트를 확인하시기 바랍니다.
요약
갑작스러운 이미지 오류로 당황하셨겠지만, repository 경로를 bitnamilegacy/postgresql로 변경하는 것만으로도 당장의 문제는 해결할 수 있습니다. 하지만 Bitnami의 이미지 관리 정책이 계속 변하고 있는 만큼, 중장기적으로는 DB 인프라 운영 전략을 점검해 보시는 것을 권장합니다.
https://github.com/apache/airflow/issues/56498
Missing postgres docker images · Issue #56498 · apache/airflow
Official Helm Chart version 1.15.0 Apache Airflow version 2.9.3 Kubernetes Version 1.32.4 Helm Chart configuration No response Docker Image customizations No response What happened After restart I ...
github.com
'빅데이터 > airflow' 카테고리의 다른 글
| [airflow] 에어플로우 로그를 정리할 때 사용할 수 있는 명령어 (0) | 2024.10.11 |
|---|---|
| [airflow] apache-airflow-providers-apache-hive 설치 중 오류 처리 (0) | 2023.08.13 |
| [airflow] PythonOperator의 op_args, op_kwargs 변수 전달 (0) | 2023.07.02 |
| [airflow 운영] 에어플로우 로그 정리 (1) | 2022.10.25 |
| [airflow] 에어플로우 설정 환경 변수로 설정 (0) | 2022.07.21 |