에어플로우에서 hive hook을 사용하기 위해서 apache-airflow-providers-apache-hive를 설치 하는 중 라이브러리 관련 오류가 발생하여 필요한 라이브러리를 설치 후 오류를 해결할 수 있었습니다.
# sasl 오류
sasl/saslwrapper.h:22:10: fatal error: sasl/sasl.h: No such file or directory
# gcc 오류
gcc: error trying to exec 'cc1plus': execvp: Not a directory
이런 오류가 발생할 때 다음의 라이브러리를 먼저 설치후 빌드 하면 됩니다.
# 모든 apt 설치.
# gcc, g++, libsasl2-dev 3개를 설치 하면 오류를 처리할 수 있음
RUN apt-get update && \
apt-get install -y --no-install-recommends \
sudo \
procps \
vim \
gnupg \
software-properties-common \
wget \
gcc \
g++ \
libsasl2-dev \
libkrb5-dev \
&& apt-get autoremove -yqq --purge \
&& apt-get clean \
&& rm -rf /var/lib/apt/lists/*
RUN pip install apache-airflow-providers-apache-hive
반응형
'빅데이터 > airflow' 카테고리의 다른 글
[airflow] 에어플로우 로그를 정리할 때 사용할 수 있는 명령어 (0) | 2024.10.11 |
---|---|
[airflow] PythonOperator의 op_args, op_kwargs 변수 전달 (0) | 2023.07.02 |
[airflow 운영] 에어플로우 로그 정리 (1) | 2022.10.25 |
[airflow] 에어플로우 설정 환경 변수로 설정 (0) | 2022.07.21 |
[airflow] Xcom을 이용하여 DAG 간 데이터 전달 (0) | 2022.04.03 |