티스토리 뷰
에어플로우에서 hive hook을 사용하기 위해서 apache-airflow-providers-apache-hive를 설치 하는 중 라이브러리 관련 오류가 발생하여 필요한 라이브러리를 설치 후 오류를 해결할 수 있었습니다.
# sasl 오류
sasl/saslwrapper.h:22:10: fatal error: sasl/sasl.h: No such file or directory
# gcc 오류
gcc: error trying to exec 'cc1plus': execvp: Not a directory
이런 오류가 발생할 때 다음의 라이브러리를 먼저 설치후 빌드 하면 됩니다.
# 모든 apt 설치.
# gcc, g++, libsasl2-dev 3개를 설치 하면 오류를 처리할 수 있음
RUN apt-get update && \
apt-get install -y --no-install-recommends \
sudo \
procps \
vim \
gnupg \
software-properties-common \
wget \
gcc \
g++ \
libsasl2-dev \
libkrb5-dev \
&& apt-get autoremove -yqq --purge \
&& apt-get clean \
&& rm -rf /var/lib/apt/lists/*
RUN pip install apache-airflow-providers-apache-hive
반응형
'빅데이터 > airflow' 카테고리의 다른 글
[airflow] 에어플로우 로그를 정리할 때 사용할 수 있는 명령어 (0) | 2024.10.11 |
---|---|
[airflow] PythonOperator의 op_args, op_kwargs 변수 전달 (0) | 2023.07.02 |
[airflow 운영] 에어플로우 로그 정리 (1) | 2022.10.25 |
[airflow] 에어플로우 설정 환경 변수로 설정 (0) | 2022.07.21 |
[airflow] Xcom을 이용하여 DAG 간 데이터 전달 (0) | 2022.04.03 |
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- S3
- 파이썬
- 오류
- 정올
- error
- Hadoop
- emr
- ubuntu
- java
- nodejs
- HIVE
- oozie
- SQL
- hbase
- mysql
- 백준
- Python
- AWS
- yarn
- SPARK
- build
- airflow
- 다이나믹
- 하둡
- Linux
- 알고리즘
- bash
- HDFS
- Tez
- 하이브
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함