Kopf(Kubernetes Operator Pythonic Framework)는 Python을 사용하여 Kubernetes Operator(오퍼레이터)를 매우 쉽고 빠르게 개발할 수 있도록 도와주는 프레임워크입니다. 일반적으로 쿠버네티스 오퍼레이터 개발에는 Go 언어와 kubebuilder가 표준처럼 쓰이지만, Kopf는 Python 특유의 간결함을 살려 복잡한 인프라 로직 없이 비즈니스 도메인 로직에만 집중할 수 있게 해줍니다.1. 언제 사용하면 좋은가요?Kopf는 다음과 같은 상황에서 최고의 효율을 발휘합니다.Python 생태계 활용이 필요할 때: 이미 머신러닝(ML), 데이터 분석, 혹은 자동화 스크립트가 Python으로 작성되어 있어 이를 쿠버네티스 자원과 연동해야 할 때 매우 유용합니다.빠른 ..

현대적인 마이크로서비스 아키텍처(MSA)나 이벤트 기반 아키텍처(EDA)를 구축하다 보면, 어떤 서비스가 어떤 이벤트를 발행하고 구독하는지 파악하기가 매우 힘들어집니다. 이때 필요한 것이 바로 EventCatalog입니다. https://www.eventcatalog.dev/ EventCatalog - Know how your systems connect - EventCatalogTurn your distributed architecture into a searchable, visual, AI-queryable source of truth. Self-hosted, open source.www.eventcatalog.dev 1. EventCatalog란 무엇인가?EventCatalog는 오픈소스 도구로, ..

Apache Airflow Helm Chart 1.18.0 버전을 배포하거나 업데이트하는 과정에서 PostgreSQL 이미지를 불러오지 못하는 오류가 빈번하게 발생하고 있습니다. 1. 문제의 원인최근 Bitnami는 Docker Hub의 이미지 관리 방식을 변경하면서, 기존 bitnami/postgresql 레포지토리의 구버전 태그들을 대거 삭제하거나 bitnamilegacy로 이동시켰습니다. 이로 인해 Airflow Helm Chart 내부에서 기본값으로 설정된 PostgreSQL 이미지 태그를 찾지 못해 ImagePullBackOff 에러가 발생하게 됩니다.2. 즉각적인 해결 방법: values.yaml 수정이미 운영 중이거나 당장 PostgreSQL을 사용해야 한다면, values.yaml 파일에서..

Ubuntu 22 에 Superset 최신 버전을 설치하는 중에 다음과 같은 오류가 발생하였습니다. 원인은 최신버전에 설치된 객체를 직렬화, 역직렬화할 때 사용하는 marshmarrow가 문제가 되어서 발생하였습니다. 이 컴포넌트를 4.x 버전이 아니라 3.x 버전으로 설치하면 오류가 해결됩니다. # 수정 버전 설치pip3 install marshmallow==3.26.1 File "/opt/superset/lib/python3.10/site-packages/superset/initialization/__init__.py", line 130, in init_views from superset.cachekeys.api import CacheRestApi File "/opt/superset/l..

K8s 인그레스를 등록할 때 다음과 같은 오류가 발생하였습니다. one or more objects failed to apply, reason: admission webhook "validate.nginx.ingress.kubernetes.io" denied the request: ingress contains invalid paths: path /server-scheduler(/1$)(*) cannot be used with pathType Prefix,admission webhook "validate.nginx.ingress.kubernetes.io" denied the request: ingress contains invalid paths: path /reader(/I$)(.*) cannot b..

github aciton 에 맞는 yaml 파일을 .github/workflows 아래에 생성합니다. 그리고 pr 을 생성하고, comment 에 /build 를 입력하면 실행됩니다. name: Build on Commenton: issue_comment: types: [created]jobs: build_image: # 코멘트가 '/build'이고, PR에 작성된 코멘트인 경우에만 실행 if: github.event.issue.pull_request && contains(github.event.comment.body, '/build') runs-on: ubuntu-latest steps: - name: Checkout repository uses:..

https://quesma.com/blog-detail/apache-iceberg-practical-limitations-2025 Don’t Let Apache Iceberg Sink Your Analytics: Practical Limitations in 2025 | Apache Iceberg Practical Limitations in 2025At Quesma we help customers to innovate faster by re-shaping the way applications are built and connected to their DBs. Quesma database gateway enables development teams to modernise and evolve applicati..

서버 초기화시 crontab -e 명령을 이용하지 않고, 정보가 설정된 파일을 이용하여 크론잡을 실행할 수 있습니다. /etc/cron.d/ 아래에 파일을 생성합니다. 이 파일은 crontab -e 로 작성하는 내용과 동일하게 생성하면 되는데, 꼭 실행하는 사용자를 입력해야 합니다. 다음과 같이 실행하고자 하는 사용자 root 를 꼭 입력해야 합니다. 다른 유저로 실행하려면 해당 유저의 이름을 입력하면 됩니다. # /etc/cron.d/metastore* * * * * root /usr/local/bin/metastore-script.sh >> /var/log/metastore.log 2>&1 버전에 따라 다를 수 있지만, 파일이 생성되면 크론잡이 주기적으로 파일을 갱신해서 실행합니다. 만약 실행되지 ..

Apache Phoenix는 HBase 위에서 SQL 쿼리를 사용할 수 있게 해주는 오픈소스 프로젝트입니다. HBase라는 NoSQL 데이터베이스 위에 RDBMS 스타일의 SQL 인터페이스를 제공하는 레이어입니다. 원래 HBase는 Key-Value 기반의 비정형 테이블이어서 SQL 같은 쿼리 언어가 없는데, Phoenix는 HBase의 데이터를 JDBC를 통해 SQL로 조회하거나 수정할 수 있게 해주는 도구입니다. 설치HBase 2.6에 Phoenix 5.2.1 을 설치 하는 방법은 ${HBASE_HOME}/lib 아래에 Phoenix 라이브러리를 추가 하면 됩니다. ${PHOENIX_HOME}/phoenix-server-hbase-2.6-5.2.1.jar 의 라이브러리를 ${HBASE_HOME}/li..

데이터 객체를 생성할 때 사용하는 from, of, builder 패턴을 비교해 보겠습니다. of: 엔티티의 필수 데이터를 이용하여 객체를 생성할 때 사용 객체 생성에 필요한 필수 인자가 명확하고, 불변 객체를 만들거나 간단한 유효성 검사를 수행하고 싶을 때 유용합니다.public static User of(String username, String email) { // 필수 필드 return new User(null, username, email);}public static Color of(int red, int green, int blue) { return new Color(red, green, blue);} from: 다른 객체로부터 객체를 생성할 때 주로 사용 다른 객체나 데이터 구조..

record 타입은 java 14 에서 도입된 새로운 기능으로 데이터 객체를 간결하게 표현할 수 있습니다. 다음과 같은 장점을 가지고 있읍니다. 간결성: 데이터 홀더 클래스를 매우 짧은 코드로 정의할 수 있습니다.불변성: 기본적으로 컴포넌트가 final로 선언되어 객체의 상태가 생성 후 변경되지 않아 안전합니다.자동 메서드 생성: equals(), hashCode(), toString() 등의 필수 메서드를 직접 구현할 필요가 없어 보일러플레이트 코드를 줄여줍니다.가독성: 클래스의 목적이 명확하게 드러납니다. 이렇게만 보면 lombok 과 유사하게 보입니다. lombok은 추가 라이브러리를 필요로 하지만, record 타입은 java의 기본 기능으로 다른 라이브러리 없이 처리할 수 있습니다. 동일한 ..

k8s에 등록된 공인인증서는 다음과 같은 방법으로 교체할 수 있습니다.  인증서를 다운로드 한다. 인증서에 암호가 등록되어 있으면 제거한다. 인증서를 secret 으로 변경한다. secret을 교체한다.  # tls 암호 제거 openssl rsa -in key.pem -out no_pass_key.pem# tls 를 시크릿으로 변경 kubectl create secret tls \ \--key tls.key \--cert tls.crt \--dry-run=client \-o yaml# 시크릿을 적용 kubectl apply -f tls-secret.yaml

스파크 히스토리 서버를 nginx 에 설정하여 리버스 프록시로 연결할 때 APPLICATION_WEB_PROXY_BASE 설정을 하지 않으면 static 파일을 가져 오는 부분에서 오류가 발생합니다. 프록시 설정을 하고, 히스토리 서버를 실행하면 스파크 히스토리 서버의 URL에 추가됩니다.다음과 같은 상황에서 원래는 http://your-domain.com 으로 접근해야 하지만, base-proxy 가 붙은 형태로 접근할 수 있게 됩니다. export APPLICATION_WEB_PROXY_BASE=/base-proxy

스파크 히스토리 서버의 log4j 설정을 알아보겠습니다. 대상 버전은 스파크 3.5.2입니다.  스파크 히스토리 서버는 log4j2 설정을 이용하고 있습니다. 다음은 콘솔 출력(console)과 파일 출력(DRFA)을 동시에 처리하는 예제 설정입니다.  ## Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work for additional information regarding copyright ownership.# The ASF licenses this file to You under the A..

Caused by: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target at java.base/sun.security.provider.certpath.SunCertPathBuilder.build(SunCertPathBuilder.java:148) at java.base/sun.security.provider.certpath.SunCertPathBuilder.engineBuild(SunCertPathBuilder.java:129) at java.base/java.security.cert.CertPathBuilder.build(Ce..

k8s에 nginx ingress 를 등록하고, ingress 를 등록하면 등록한 서비스의 접근을 확인하기 위해서 webhook 이 실행됩니다.  nginx-ingress 차트를 등록하면 자동으로 등록되기 때문에 다른 Helm 차트를 등록하면 자동으로 실행되고, 서비스 등록을 체크 합니다.이 체크 URL을 로컬의 /etc/hosts 에 등록하여 연결을 확인할 수도 있고, 해당 webhook을 삭제 하여도 됩니다. kubectl delete validatingwebhookconfiguration ingress-nginx-admission

레인저를 설정 할 때 ranger db 초기화를 위해서는 root 권한의 유저를 설정해야 합니다.  일반적으로 유저를 생성하고, grant 옵션을 이용해서 사용자를 추가 했으나 권한 부족으로 레이저 설치가 되지 않아서 mysql user 테이블을 조회하여 권한을 확인 하였더니, grant 옵션이 빠져 있어서 다음과 같이 update 를 실행하여 권한을 추가 하였습니다. -- 사용자 생성CREATE USER IF NOT EXISTS 'ranger_root'@'%' IDENTIFIED BY 'password';-- DB 생성CREATE DATABASE IF NOT EXISTS ranger;-- 권한 설정GRANT ALL PRIVILEGES ON *.* TO 'ranger_root'@'%' WITH GRANT..

ranger 2.4.0 버전의 HDFS 플러그인을 사용할 때 haoop 3.3.4 버전의 플러그인을 설정하고, ES를 Audit 저장소로 설정할 때 다음과 같은 오류가 발생하였습니다  Caused by: java.lang.invoke.LambdaConversionException: Invalid receiver type interface org.apache.http.Header; not a subtype of implementation type interface org.apache.http.NameValuePair at java.lang.invoke.AbstractValidatingLambdaMetafactory.validateMetafactoryArgs(AbstractValidatingLambda..

에어플로우가 오랜 기간 실행되면 에어플로우의 로그와 DAG의 실행 로그가 로컬에 쌓이게 됩니다. 이 로그를 주기적으로 정리해 주어야 할 때 사용할 수 있는 명령어 입니다.  다음은 로그 파일의 사이즈를 0으로 초기화 하는 명령어 입니다. truncate -s 0 airflow-worker.errcat /dev/null > airflow-worker.err: > airflow-worker.err> airflow-worker.err  DAG 로그를 초기화 하기 위해서는 find 명령어를 이용합니다. 폴더로 파일이 생성되기 때문에 rm 명령어를 이용하고, DAG이 생성되는 날짜를 이용하여 처리합니다. # airflow/logs 폴더에서 사용find ./ -name "*2024-10-11* -maxdepth 2..

레인저 HDFS 플러그인을 설정하는데 다음과 같은 오류가 발생하면서 플러그인 정보를 가져가지 못하는 문제가 있었습니다 . User does not have permission for this operation 이는 커버러스 설정된 레인저는 지정한 사용자만 플러그인을 가져갈 수 있게 설정되어서 그렇습니다. 레인저의 플러그인 설정 정보에 다음 값을 추가하면 됩니다 . "policy.download.auth.users": "hdfs"

spark 3.2를 사용하다가 spark 3.5로 변경했는데 log4j 설정이 log4j2 설정으로 변경되면 서 기존에 설정한 로깅 설정이 적용되지 않았다.  log4j2 설정으로 변경해서 적용했는데 다음과 같은 오류가 발생하였다. Unable to locate appender "INFO,DRFA" for logger config "root"  원인은 기존에 log4j 설정을 할 때 처럼 로그 레벨과 타겟을 동일하게 설정했더니 오류가 발생하는 것이다. log4j2 는 각각 따로 설정을 해주어야 한다. # root loggerrootLogger.level = INFOrootLogger.appenderRefs = rootrootLogger.appenderRef.root.ref = DRFA

log4j 설정을 외부에서 주입하는 방법을 정리합니다.문제spark 스리프트 서버를 실행할 때는 로그를 파일로 저장하고, spark beeline 을 실행할 때는 콘솔로 출력해야 했습니다. 같은 로그 설정 파일을 이용하기 때문에 하나의 파일로 두 가지 설정을 출력해야 했습니다.해결 방법log4j 에 기본 설정을 두고, 외부에서 설정이 주입되면 외부 설정을 이용할 수 있게 하였습니다.다음과 같이 설정하여 외부에서 정보가 입력되지 않으면, 설정에 저장된 spark.root.logger 설정을 이용하고, 외부에서 입력되면 외부의 설정이 기본값을 덮어 써서 외부의 값을 이용하게 됩니다.# log4j 설정 spark.root.logger=INFO,consolespark.log.dir=.spark.log.file=..

Tez 0.10.3 와 Hadoop 3.3.6을 설치하니 다음과 같은 오류가 발생하였습니다. 2024-09-05T06:53:52,466 INFO [main] conf.HiveConf: Using the default value passed in for log id: 693153d4-f980-4b4a-84b9-f55371e343d92024-09-05T06:53:52,471 INFO [main] session.SessionState: Error closing tez sessionjava.lang.RuntimeException: java.util.concurrent.ExecutionException: java.lang.Exception: java.lang.IllegalAccessError: tried to..

apt 를 이용하여 라이브러리를 설치 할 때 인터넷이 되지 않는 환경의 VM에 파일을 설치 하기 위해서 설치 파일을 다운로드 받아야 하는 경우가 있습니다. 이때는 다음의 명령어를 이용해서 파일 uri를 확인하고 wget 명령을 이용해서 파일을 다운로드 할 수 있습니다.  # krb 서버 sudo apt install --print-uris -y krb5-kdc krb5-admin-server# krb 클라이언트sudo apt install --print-uris -y krb5-user 위의 명령어를 입력하면 다운로드 파일 정보를 확인할 수 있습니다. 이 파일들을 모두 다운 받아서 다른 vm 에 설치하면 됩니다. 주의할 점은 이미 설치된 후 라면 정보가 출력되지 않을 수 있습니다. 설치 전에 미리 입력하는..

Hue와 SecureHDFS를 연동하는 방법을 정리하면서 발생한 다음의 오류를 해결하는 방법도 알아보겠습니다.HTTP ERROR 401Problem accessing /webhdfs/v1. Reason: Authentication requiredPowered by Jetty://  사용 버전hadoop: v2.10.2Hue: 4.11.0Hue와 Secure HDFS 연결 설정hadoop은 커버로스 설정을 처리하고, Hue에서 커버로스 하둡을 연동하기 위해서는 hue.ini 에 다음과 같이 설정합니다.[hadoop][[hdfs_clu..

curl 에서 파일을 업로드 할 때 작은 용량의 데이터는 --data-binary 를 이용할 수 있습니다. 이때 out of memory 오류가 발생하면 -T 옵션을 이용하면 됩니다. -T(--upload-file) 옵션은 파일을 서버에 업로드 할 때 주로 사용합니다. curl -T filename.txt http://example.com/upload  -d (--data-binary) 옵션은 텍스트 데이터를 그대로 전송할 때 주로 사용합니다.curl --data-binary @filename.txt http://example.com/upload

아파치 레인저를 설치 하는 중에 setup.sh 를 실행하면 다음과 같은 쿼리를 실행하고, 오류가 발생하였습니다.오류grant all privileges on ranger.* to 'ranger_admin'@'%' with grant option; ranger_admin 유저에 권한 추가다음과 같이 모든 권한을 주었지만 동일한 오류가 발생하였습니다.GRANT ALL privileges on *.* to 'ranger_root'@'%';FLUSH PRIVILEGES;mysql user 테이블 확인ranger_admin 유저에게 모든 권한을 주었기 때문에 이러한 오류가 발생하는 원인을 확인하기 위해서 mysql.user 테이블을 조회하여 보았습니다. 모든 권한을 주었지만 Grant_priv 칼럼의 값이 N인..

장애 상황HA 구성 된 하둡은 3대의 저널 노드(journalnode)를 필요로 하는데 그 중 1대의 노드에 장애가 발생하여 서버가 포맷 되었습니다. 이로 인해 1대의 저널 노드를 새로 구축해야 하는 상황이 되었습니다.  오류를 해결하기 위해서 서버를 새로 설치하고 실행하니 다음과 같은 오류가 발생하였습니다. 2024-07-18 06:31:25,405 INFO org.apache.hadoop.ipc.Server (IPC Server handler 3 on default port 8485): IPC Server handler 3 on default port 8485, call Call#944181936 Retry#0 org.apache.hadoop.hdfs.qjournal.protocol.QJournalP..

MySQL에서 발생한 오류 메시지 "Referencing column 'AA' and referenced column 'BB' in foreign key constraint 'FK40h442pc8wb44wkjpkec435vm' are incompatible."는 외래 키 제약 조건을 설정할 때 참조하고자 하는 두 열의 데이터 유형이 서로 호환되지 않음을 의미합니다. 외래 키 제약 조건을 만들거나 변경할 때, 참조하는 열(자식 테이블)과 참조되는 열(부모 테이블)의 데이터 유형이 동일해야 하며, 그 외에도 몇 가지 규칙이 있습니다. 이 오류가 발생하는 원인으로는 다음과 같은 것들이 있을 수 있습니다:데이터 유형 불일치: 참조 열과 참조되는 열의 데이터 유형이 다릅니다. 예를 들어, 하나의 열이 INT이고 ..

Apache Airflow에서 로그 파일의 umask를 변경하려면, Airflow 설정 파일(airflow.cfg)에서 설정을 변경하거나, 소스코드 수정을 통해 적용할 수 있습니다. 1. Airflow 설정 파일 (airflow.cfg) 수정Airflow 설정 파일(airflow.cfg)에서 umask 설정을 직접 변경할 수 있는 옵션은2.6.0 이후 적용되었습니다. file_task_handler_new_file_permissions 옵션을 설정하여 적용할 수 있습니다.  https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#file-task-handler-new-file-permissions Configuration..