개발자로 살아남기

aws sdk java 소스코드를 빌드해서 사용해야 할 일이 생겼는데 빌드를 하이 최종적으로 생기는 aws-java-sdk-bundle-1.12.262.jar 파일이 로컬에 빌드한 파일을 이용하지 않고, 메이븐에 있는 동일한 버전의 파일을 가져와서 shade로 복사하였습니다. 로컬에 수정한 내용의 파일을 이용해서 사용해야 하는데 메이븐 옵션을 바꾸어도 변경이 되지 않아서 우선 버전을 바꾸어서 적용하니 로컬의 파일을 이용하였습니다. https://github.com/aws/aws-sdk-java GitHub - aws/aws-sdk-java: The official AWS SDK for Java 1.x. The AWS SDK for Java 2.x is available here: https://githu..

갑자기 인텔리 j 에서 파이썬 프로젝트를 생성할 때 venv 를 선택하면 다음과 같은 오류가 발생하였습니다. Traceback (most recent call last): File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/runpy.py", line 197, in _run_module_as_main return _run_code(code, main_globals, None, File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/runpy.py", line 87, in _run_code exec(code, run_globals) File "/Users/logan..

파이썬 모듈을 개발할 때 form, import 문의 기준이 되는 위치를 PYTHONPATH로 잡아야 하는 경우가 있습니다. 이럴때는 다음의 위치에 경로를 추가 해주면 됩니다. 모듈 설정 > 프로젝트 설정 > 모듈 > + 버튼 > JAR 또는 디렉토리 에서 원하는 디렉토리를 추가후 진행하면 됩니다.

도커를 실행할 때 다음과 같은 오류가 발생할 때가 있습니다 standard_init_linux.go:228: exec user process caused: exec format error 저는 주로 맥북에서 다운로드한 이미지를 우분투에서 실행할 때 오류가 발생하였습니다. 이는 이미지의 OS 버전이 실행한 서버와 달라서 발생합니다. 실행하고자 하는 서버의 플랫폼에 맞춰서 이미지를 다운로드 해야 합니다. 특정 버전의 이미지를 다운로드 하는 명령은 다음과 같습니다. docker pull --platform linux/amd64 apache/airflow:2.5.3-python3.8

맥북에서 ubuntu 22.04 버전의 에어플로우를 빌드 해야 하는 상황이 일이 있었습니다. 다음의 순서로 작업하여 문제를 해결할 수 있었습니다. amd64 버전의 ubuntu 22.04 버전 도커 이미지 다운로드 도커 이미지 실행 python3, pip 설치 airflow 설치 설치한 홈의 {USER_HOME}/.local 폴더를 압축 배포 하고자 하는 우분투 서버에 압축해제

맥북에서 tar 로 압축한 파일을 리눅스에서 압축을 해제할 때 이런 오류가 발생하는 경우가 있습니다. 이 오류는 gnu-tar 와 bsd-tar 을 차이에서 발생하는 오류입니다. tar --version 을 입력하면 현재 tar 파일의 버전을 알수 있고 이를 통해 맥북은 bsd 버전의 tar 인 것을 알 수 있습니다. 이때는 맥북에 gnu tar 을 설치하고, gtar 명령을 이용해서 gnu tar 를 사용할 수 있습니다. # 맥북 bsdtar ➜ ~ tar --version bsdtar 3.5.3 - libarchive 3.5.3 zlib/1.2.11 liblzma/5.0.5 bz2lib/1.0.8 # ubuntu GNU tar $ tar --version tar (GNU tar) 1.29 Copyri..

인텔리j에서 메이븐으로 빌드를 할 때 JAVA_HOME 설정이 되지 않아서 오류가 발생하는 경우가 있습니다. 이때 다음의 순서로 JAVA_HOME을 설정합니다. 먼저 Maven 탭의 수명주기에서 사용하고자 하는 프로파일을 선택하고, '실행 구성 수정'을 클릭합니다. 그리고 아래쪽의 Java 옵션에서 환경 변수에 사용하고자 하는 자버 버전의 경로를 입력합니다.

메이븐을 이용하여 오픈 소스를 빌드하는 중 protoc 설치되어 있지 않아서 다음과 같은 오류가 발생할 수 있습니다. 이때는 brew를 이용하여 protoc를 설치 하면 됩니다. Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.7.2:protoc (compile-protoc) protoc 설치 protoc를 설치할 때는 protobuf를 설치하면 됩니다. brew install protobuf 그런데 protoc를 설치하고도 다음과 같은 오류가 발생하면서 특정 버전이 필요할 때가 있습니다. protoc version is 'libprotoc 3.4.0', expected version is '2.5.0' protoc 2.5.0 버전 설치 ..

자바 디컴파일러 JD-GUI에서 다음오류가 발생해서 해결 방법을 검색하다가 Git에서 찾아서 공유합니다. No suitable Java version found on your system! This program requires Java 1.8+ Make sure you install the required Java version. github.com/java-decompiler/jd-gui/issues/332 BigSur ERROR launching 'JD-GUI' · Issue #332 · java-decompiler/jd-gui ERROR launching 'JD-GUI' No suitable Java version found on your system! This program requires Ja..

intellij에서 그래들을 이용하여 빌드를 할 때 build.gradle 파일에서 "No candidates found for method call plugins." 오류가 발생하는 경우가 있습니다. Reload All Gradle Projects 처리 Help > Find Action > Reload All Gradle Projects 그래들 프로젝트를 리로드 intellij 재부팅 인텔리J를 재실행 하면 라이브러리를 다시 로드 하여 문제가 해결됨

맥을 사용하다보면 사용자 캐쉬, 임시 파일등이 저장되면서 '기타'로 분류되는 용량이 늘어나서 디스크의 용량을 많이 차지하게 됩니다. 이때는 OmniDiskSweeper를 이용하여 용량이 많은 파일을 검색하고 삭제하면 됩니다. https://www.omnigroup.com/more OmniDiskSweeper, OmniWeb, and OmniPresence - The Omni Group Creators of Mac, iPad, and iPhone productivity software. Proud to bring you OmniFocus, OmniOutliner, OmniGraffle, and OmniPlan. www.omnigroup.com 기타 용량을 확인하면 아래와 같이 20G정도를 차지하고 있습니다..

이클립스의 Git 에서 원격지의 브랜치를 불러오지 못할 때 수정하는 방법은 다음과 같습니다. Git 화면으로 이동하고 프로젝트에서 오른버튼 Fetch from Upstream 선택 4. 팝업창에서 Configure 선택 5. Ref Mappings를 수정하기 위해 Modify 선택 6. Remote branch or tag에 * 추가하고 7. Tracking branch에서 * 추가 이렇게 하면 원격지의 브랜치를 가져올 수 있습니다. 매핑에 맞는 브랜치를 지정할 수 있기 때문에 필터링도 할 수 있습니다.

메이븐 빌드를 처리할 때 PKIX 오류가 발생할 경우가 있습니다. 보통 내부망에서 사용하는 인증서가 자바의 인증서 목록에 등록되어 있지 않을 때 발생합니다. PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target 해결방법 자바의 인증서에 내부망의 인증서를 등록하면 됩니다. keytool 명령어는 사용하고자 하는 자바의 bin 폴더 아래 존재합니다. 여기에 인증서 목록(key store)의 위치를 지정하고, 인증서 파일의 경로(file)를 입력하면 됩니다. 각 경로는 절대 경로를 입력해도 됩니다. %J..

윈도우에서 자바로 작성된 프로그램을 실행할 때 다음과 같은 오류가 발생하는 경우는 JAVA_HOME이 설정되지 않아서 발생합니다. 이럴 때는 "제어판 -> 시스템 및 보안 -> 시스템 -> 고급시스템 설정 -> 환경 변수" 에 JAVA_HOME을 추가해 주면 됩니다. JAVA_HOME = C:\java\java-1.8.0-openjdk-1.8.0.232

하이브의 hql파일을 sql 에디티로 열어서 문법 하이라이팅 기능을 이용하기 위해서 찾아보았습니다. 인텔리j에서 기존에 사용하던 파일을 연동하는 방법은 다음과 같습니다. Preferences -> Editor -> File Types 에서 Registered Patterns 에 파일 확장자를 추가합니다.

파일의 hex 값을 확인하고 싶을 때 사용하는 플러그인으로 HexViewer가 있습니다. https://packagecontrol.io/packages/HexViewer HexViewer - Packages - Package Control Browse Hex​Viewer Hex viewer and editor for SublimeText http://facelessuser.github.io/HexViewer/ Details Installs Total 123K Win 73K OS X 32K Linux 19K Sep 17 Sep 16 Sep 15 Sep 14 Sep 13 Sep 12 Sep 11 Sep 10 Sep 9 Sep 8 Sep 7 Sep 6 Sep 5 Sep 4 Sep 3 Sep 2 packagec..

intellij에서 프로그램 git에서 프로젝트를 내려 받거나 외부의 프로젝트를 가져오는 경우 프로젝트 설정이 되어 있지 않아서 이런 오류가 발생합니다. 이때 'OK'를 클릭하거나, File - Project Strecture를 클릭하면 다음의 설정이 나옵니다. 여기서 Project compiler output: 부분을 설정하여 주면 됩니다.

IntelliJ에서 github를 이용해서 파이썬 프로젝트를 가져오면 파이썬 인터프리터 설정이 없어서 오류가 발생할 수 있습니다. 이때는 파이썬 인터프리터를 설정해서 문제를 해결할 수 있습니다. 먼저 프로젝트 설정을 열어봅니다. 그리고 파이썬 인터프리터를 선택합니다. 다음과 같이 Project Settings → Modules 에서 파이썬 인터프리터를 선택하면 됩니다.

IntelliJ를 이용할 때 영문 스펠링을 인식해서 아래에 녹색 줄을 보여주는 기능을 기본으로 제공합니다. 에러는 아니지만 코드를 작성할 때 신경이 쓰이기 때문에 이를 없애는 방법은 다음과 같습니다. File -> Settiongs으로 설정 화면을 열고, Editor -> Inspections -> Spelling -> Typo의 체크를 꺼주면 됩니다. 아니면 문제가 발생한 위치에서 Alt + Enter로 확장 기능을 실행하고, Typo: Change to... -> Edit Inspection profile setting에 가서 Typo의 체크를 꺼주면 됩니다. https://www.jetbrains.com/help/pycharm/spellchecking.html Spellchecking - Help ..

맥에서 VS Code가 read-only모드라고 나오면서 업데이트가 되지 않을 때가 있습니다. 이는 VS 코드의 캐쉬가 있는 위치를 수정할 권한이 없기 때문입니다. 해결 방법은 다음과 같습니다. 1. VS Code를 Application 디렉토리로 이동한다. 2. 캐쉬를 삭제한다. - ~/Library/Caches/ 로 이동하여 캐쉬를 삭제합니다.

비쥬얼 스튜디오 코드 다운로드는 다음의 홈페이지에서 하면 됩니다. https://code.visualstudio.com/ Visual Studio Code - Code Editing. Redefined Visual Studio Code is a code editor redefined and optimized for building and debugging modern web and cloud applications. Visual Studio Code is free and available on your favorite platform - Linux, macOS, and Windows. code.visualstudio.com 한글화는 왼쪽의 확장 탭에서 korean을 검색하고, 설치하면 됩니다.

인텔리j(Intellij)에서는 자주 사용하는 코드의 축약형을 제공하는 라이브 템플릿 기능을 제공합니다. 이클립스에도 에디터에서 템플릿 기능으로 제공합니다. 이클립스를 사용하다 인텔리j로 넘어와서 템플릿 이름이 변경되서 헷갈려서 정리합니다. 템플릿 위치 인텔리j: Settings -> Editor -> Live Template 이클립스: Preference -> Java -> Editor -> Template 템플릿은 다음과 같습니다. 에디터에서 축약어를 입력하면 명령어를 자동으로 보여줍니다. 축약어까지만 입력한 후 인텔리센스 단축키를 입력하면 원본을 출력합니다. 자주 사용하는 명령어는 익혀두면 수고로움을 줄여주기 때문에 생산성이 높아집니다. 원본 인텔리j 이클립스 System.err.println() ..

지난 시간에 이어서 간단한 플러그인을 개발하고 등록하는 방법에 대해서 알아보겠습니다. 지금 개발하는 플러그인은 프로퍼티 xml을 읽어서 표준 프로퍼티 파일로 변경하는 예제입니다. 예제 개발 다음의 xml 파일을 읽어서 프로퍼티 파일로 생성합니다. 작업 순서는 다음과 같습니다. 플러그인 작성 플러그인 저장 키 바인딩 다음의 xml을 읽어서 property 형태로 변경합니다. 설정 파일 xml을 읽어서 어떤 값들이 설정되어 있는지 비교할 때 유용합니다. xml mapred.reduce.tasks -1 property $ cat mapred.properties mapred.reduce.tasks=-1 플러그인 작성 플러그인은 다음과 같습니다. 현재창의 문자열을 읽어서 프로퍼티 문자열로 변경하고, 새창을 열어서..

서브라임 텍스트의 플러그인을 개발하기 위해서 테스트용 프로그램을 만들어 보겠습니다. 서브라임 플러그인은 파이썬으로 개발하기 때문에 파이썬 문법을 알아야 합니다. 다음의 순서로 진행됩니다. 플러그인 생성 저장 실행 플러그인 생성 서브라임은 플러그인 템플릿을 제공해 줍니다. Tools -> Developer -> New Plugin.. 을 클릭하면 템플릿 소스코드가 제공됩니다. 이 코드는 현재 문서의 앞에 Hello, World! 문자를 입력합니다. import sublime import sublime_plugin class ExampleCommand(sublime_plugin.TextCommand): def run(self, edit): self.view.insert(edit, 0, "Hello, Worl..

로컬에 여러버전의 파이썬 컴파일러가 설치 되어 있을 때 실행하는 파이썬 인터프리터의 버전을 선택해야 할 때가 있습니다. 이때는 커맨드 팔레트(F1 or Ctrl + Shift + P)를 열어서 'Pythton: Select Interpreter'를 선택하고 사용하고자 하는 파이썬 버전을 선택하면 됩니다.

맥에서 JAVA_HOME을 설정하는 방법은 JDK가 있는 위치를 환경 쉘에 설정하는 것입니다. 오라클 JDK는 java_home을 실행하면 알 수 있고, OpenJDK는 다운로드한 위치로 알 수 있습니다. 다음은 오라클 JDK에서 자바홈의 위치를 알 수 있는 java_home 명령을 실행하여 위치를 알아내는 예제와 이를 이용하여 JAVA_HOME을 등록하는 방법입니다. # java_home명령으로 설치 위치 확인 $ /usr/libexec/java_home /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home # 명령어를 실행하도록 등록(사용자 디렉토리의 .bashrc 파일에 설정 ) export JAVA_HOME="$(/usr/libexec..

맥용 이클립스에서 git을 이용할 때 No password provided 오류가 발생하면서 깃의 암호가 저장되지 않아서 매번 암호를 입력해야 할 때는 환경설정의 'General' - 'Security' - 'Secure Storage' 에서 'Change Password'를 클릭합니다. 그러면 팝업창이 하나 뜨는데 이때 'No'를 클릭합니다. 이렇게 되면 암호를 초기화 하게 됩니다 . 이후 다시 GitHub에 접속할 때 암호를 물어보는데 이때 암호를 저장하면 됩니다. 이렇게 해도 다음에 로그인할 때 안될 경우가 있습니다. 이때는 Secure Storage -> Contents에서 Git을 삭제하고 다시 아이디를 저장하면 된다.

이클립스에서 메이븐을 이용하여 spark 에서 사용할 수 있는 scala 프로젝트를 빌드하는 방법은 다음과 같다. - 메이븐 pom.xml 설정의 디펜던시 추가 org.scala-lang scala-library ${ver.scala} org.apache.spark spark-core_${ver.scala.main} ${ver.spark} org.apache.spark spark-sql_${ver.scala.main} ${ver.spark} org.apache.spark spark-hive_${ver.scala.main} ${ver.spark} - 메이븐 pom.xml 의 빌드 설정 추가 net.alchim31.maven scala-maven-plugin 3.2.1 process-resources com..

이클립스에서 java 프로그램을 실행할 때 이런 오류가 발생할 때가 있다. 기본클래스를 찾거나 로드할 수 없습니다. 보통은 프로젝트에서 'properties'를 선택하고 Run/Debug Settings 에서 프로젝틀 삭제하고 다시 실행하면 된다. 그런데 이렇게 해도 안되는 경우는 이클립스의 설정이 꼬여서 그럴수 있다. 그래서 이클립스가 설치된 위치의 eclipsec.exe 로 클린 실행을 해보면 된다.

로컬 시스템에 파이썬이 2, 3 모두 설치 되어 있으면 기본 설정된 파이썬을 이용하여 빌드가 진행된다. 이때 버전별 설정을 위해서는 Tools -> Build System -> New Build System 에서 새로운 빌드를 추가해서 빌드하면 된다. 파이썬2라면 다음과 같이 추가해서, 추가된 빌드 시스템을 선택하고 빌드하면 된다. { "cmd": ["C:\\Python27\\python", "$file"], "selector": "source.python", "file_regex": "^\\s*File \"(...*?)\", line ([0-9]*)"}