개발자로 살아남기

k8s에 nginx ingress 를 등록하고, ingress 를 등록하면 등록한 서비스의 접근을 확인하기 위해서 webhook 이 실행됩니다.  nginx-ingress 차트를 등록하면 자동으로 등록되기 때문에 다른 Helm 차트를 등록하면 자동으로 실행되고, 서비스 등록을 체크 합니다.이 체크 URL을 로컬의 /etc/hosts 에 등록하여 연결을 확인할 수도 있고, 해당 webhook을 삭제 하여도 됩니다. kubectl delete validatingwebhookconfiguration ingress-nginx-admission

레인저를 설정 할 때 ranger db 초기화를 위해서는 root 권한의 유저를 설정해야 합니다.  일반적으로 유저를 생성하고, grant 옵션을 이용해서 사용자를 추가 했으나 권한 부족으로 레이저 설치가 되지 않아서 mysql user 테이블을 조회하여 권한을 확인 하였더니, grant 옵션이 빠져 있어서 다음과 같이 update 를 실행하여 권한을 추가 하였습니다. -- 사용자 생성CREATE USER IF NOT EXISTS 'ranger_root'@'%' IDENTIFIED BY 'password';-- DB 생성CREATE DATABASE IF NOT EXISTS ranger;-- 권한 설정GRANT ALL PRIVILEGES ON *.* TO 'ranger_root'@'%' WITH GRANT..

ranger 2.4.0 버전의 HDFS 플러그인을 사용할 때 haoop 3.3.4 버전의 플러그인을 설정하고, ES를 Audit 저장소로 설정할 때 다음과 같은 오류가 발생하였습니다  Caused by: java.lang.invoke.LambdaConversionException: Invalid receiver type interface org.apache.http.Header; not a subtype of implementation type interface org.apache.http.NameValuePair at java.lang.invoke.AbstractValidatingLambdaMetafactory.validateMetafactoryArgs(AbstractValidatingLambda..

에어플로우가 오랜 기간 실행되면 에어플로우의 로그와 DAG의 실행 로그가 로컬에 쌓이게 됩니다. 이 로그를 주기적으로 정리해 주어야 할 때 사용할 수 있는 명령어 입니다.  다음은 로그 파일의 사이즈를 0으로 초기화 하는 명령어 입니다. truncate -s 0 airflow-worker.errcat /dev/null > airflow-worker.err: > airflow-worker.err> airflow-worker.err  DAG 로그를 초기화 하기 위해서는 find 명령어를 이용합니다. 폴더로 파일이 생성되기 때문에 rm 명령어를 이용하고, DAG이 생성되는 날짜를 이용하여 처리합니다. # airflow/logs 폴더에서 사용find ./ -name "*2024-10-11* -maxdepth 2..

레인저 HDFS 플러그인을 설정하는데 다음과 같은 오류가 발생하면서 플러그인 정보를 가져가지 못하는 문제가 있었습니다 . User does not have permission for this operation 이는 커버러스 설정된 레인저는 지정한 사용자만 플러그인을 가져갈 수 있게 설정되어서 그렇습니다. 레인저의 플러그인 설정 정보에 다음 값을 추가하면 됩니다 . "policy.download.auth.users": "hdfs"

spark 3.2를 사용하다가 spark 3.5로 변경했는데 log4j 설정이 log4j2 설정으로 변경되면 서 기존에 설정한 로깅 설정이 적용되지 않았다.  log4j2 설정으로 변경해서 적용했는데 다음과 같은 오류가 발생하였다. Unable to locate appender "INFO,DRFA" for logger config "root"  원인은 기존에 log4j 설정을 할 때 처럼 로그 레벨과 타겟을 동일하게 설정했더니 오류가 발생하는 것이다. log4j2 는 각각 따로 설정을 해주어야 한다. # root loggerrootLogger.level = INFOrootLogger.appenderRefs = rootrootLogger.appenderRef.root.ref = DRFA