개발자로 살아남기

log4j 설정을 외부에서 주입하는 방법을 정리합니다.문제spark 스리프트 서버를 실행할 때는 로그를 파일로 저장하고, spark beeline 을 실행할 때는 콘솔로 출력해야 했습니다. 같은 로그 설정 파일을 이용하기 때문에 하나의 파일로 두 가지 설정을 출력해야 했습니다.해결 방법log4j 에 기본 설정을 두고, 외부에서 설정이 주입되면 외부 설정을 이용할 수 있게 하였습니다.다음과 같이 설정하여 외부에서 정보가 입력되지 않으면, 설정에 저장된 spark.root.logger 설정을 이용하고, 외부에서 입력되면 외부의 설정이 기본값을 덮어 써서 외부의 값을 이용하게 됩니다.# log4j 설정 spark.root.logger=INFO,consolespark.log.dir=.spark.log.file=..

Tez 0.10.3 와 Hadoop 3.3.6을 설치하니 다음과 같은 오류가 발생하였습니다. 2024-09-05T06:53:52,466 INFO [main] conf.HiveConf: Using the default value passed in for log id: 693153d4-f980-4b4a-84b9-f55371e343d92024-09-05T06:53:52,471 INFO [main] session.SessionState: Error closing tez sessionjava.lang.RuntimeException: java.util.concurrent.ExecutionException: java.lang.Exception: java.lang.IllegalAccessError: tried to..

apt 를 이용하여 라이브러리를 설치 할 때 인터넷이 되지 않는 환경의 VM에 파일을 설치 하기 위해서 설치 파일을 다운로드 받아야 하는 경우가 있습니다. 이때는 다음의 명령어를 이용해서 파일 uri를 확인하고 wget 명령을 이용해서 파일을 다운로드 할 수 있습니다.  # krb 서버 sudo apt install --print-uris -y krb5-kdc krb5-admin-server# krb 클라이언트sudo apt install --print-uris -y krb5-user 위의 명령어를 입력하면 다운로드 파일 정보를 확인할 수 있습니다. 이 파일들을 모두 다운 받아서 다른 vm 에 설치하면 됩니다. 주의할 점은 이미 설치된 후 라면 정보가 출력되지 않을 수 있습니다. 설치 전에 미리 입력하는..

Hue와 SecureHDFS를 연동하는 방법을 정리하면서 발생한 다음의 오류를 해결하는 방법도 알아보겠습니다.HTTP ERROR 401Problem accessing /webhdfs/v1. Reason: Authentication requiredPowered by Jetty://  사용 버전hadoop: v2.10.2Hue: 4.11.0Hue와 Secure HDFS 연결 설정hadoop은 커버로스 설정을 처리하고, Hue에서 커버로스 하둡을 연동하기 위해서는 hue.ini 에 다음과 같이 설정합니다.[hadoop][[hdfs_clu..

curl 에서 파일을 업로드 할 때 작은 용량의 데이터는 --data-binary 를 이용할 수 있습니다. 이때 out of memory 오류가 발생하면 -T 옵션을 이용하면 됩니다. -T(--upload-file) 옵션은 파일을 서버에 업로드 할 때 주로 사용합니다. curl -T filename.txt http://example.com/upload  -d (--data-binary) 옵션은 텍스트 데이터를 그대로 전송할 때 주로 사용합니다.curl --data-binary @filename.txt http://example.com/upload