에어플로우에서 hive hook을 사용하기 위해서 apache-airflow-providers-apache-hive를 설치 하는 중 라이브러리 관련 오류가 발생하여 필요한 라이브러리를 설치 후 오류를 해결할 수 있었습니다. # sasl 오류 sasl/saslwrapper.h:22:10: fatal error: sasl/sasl.h: No such file or directory # gcc 오류 gcc: error trying to exec 'cc1plus': execvp: Not a directory 이런 오류가 발생할 때 다음의 라이브러리를 먼저 설치후 빌드 하면 됩니다. # 모든 apt 설치. # gcc, g++, libsasl2-dev 3개를 설치 하면 오류를 처리할 수 있음 RUN apt-get ..

도커를 실행할 때 다음과 같은 오류가 발생할 때가 있습니다 standard_init_linux.go:228: exec user process caused: exec format error 저는 주로 맥북에서 다운로드한 이미지를 우분투에서 실행할 때 오류가 발생하였습니다. 이는 이미지의 OS 버전이 실행한 서버와 달라서 발생합니다. 실행하고자 하는 서버의 플랫폼에 맞춰서 이미지를 다운로드 해야 합니다. 특정 버전의 이미지를 다운로드 하는 명령은 다음과 같습니다. docker pull --platform linux/amd64 apache/airflow:2.5.3-python3.8

맥북에서 ubuntu 22.04 버전의 에어플로우를 빌드 해야 하는 상황이 일이 있었습니다. 다음의 순서로 작업하여 문제를 해결할 수 있었습니다. amd64 버전의 ubuntu 22.04 버전 도커 이미지 다운로드 도커 이미지 실행 python3, pip 설치 airflow 설치 설치한 홈의 {USER_HOME}/.local 폴더를 압축 배포 하고자 하는 우분투 서버에 압축해제

k8s에서 harbor와 연결할 때 사용자 인증이 필요합니다. harbor의 사용자 인증을 k8s의 secret에 추가하고, k8s의 yaml 정보에 imagePullSecret 정보로 추가해야 합니다. 먼저 harbor의 CLI secret을 확인합니다. CLI secret은 시간에 따라 변경되기 때문에 시간이 지나면 새로 받아야 합니다. 이 정보를 이용해서 k8s의 secret을 생성합니다. docker-password에 cli_secret 정보를 추가해야 합니다. kubectl create secret docker-registry k8s-private-registry \ --docker-server=harbor.io \ --docker-username=user_name \ --docker-passw..