파이썬에서 프로그레스바를 처리하는 방법은 문자를 출력하고, 캐리지 리턴(/r) 문자를 이용하여 출력 커서를 다시 첫번째 라인으로 옮겨서 다시 출력하게 하는 것입니다. * 이 소스는 터미널 환경에 따라서 개행이 될 수도 있습니다. 실제 환경에서 테스트를 해보시는 것이 좋습니다. 이클립스에서 실행하면 개행이 되고, 로컬 터미널에서 하면 개행이 되지 않습니다. 원본 소스코드는 다음 페이지에서 확인이 가능합니다. 추가적으로 tqdm 라이브러리를 이용하면 좀 더 편리하게 프로그레스바를 출력할 수 있습니다. https://stackoverflow.com/questions/3173320/text-progress-bar-in-the-console/34325723#34325723 Text Progress Bar in t..
racoony 님의 이직일기 - http://raccoonyy.github.io/diary-of-changing-job/ 이력서도 공개하셨는데 이게 괜찮은거 같다. 이력서 쓸때 참고 해도 좋을 것 같다. 파이썬 면접 관련 질문을 요약해 두셨는데 이 부분도 면접전에 알아두면 도움이 될 것 같다. 파이썬 generator에 대해 아는 만큼 설명해주세요.파이썬에서 클래스를 상속하면, 메서드는 어떤 식으로 실행되나요?어떤 request가 Django API까지 도달하는 과정을 최대한 자세히 설명해주세요.파이썬에 존재하는 GIL에 대해서 설명해주세요.Django ORM의 작동 방식에 대해 설명해주세요.Django ORM에서 지연 평가를 하곤 하는데요. 직접 구현한다면 어떻게 구현하겠습니까?http와 https의 ..
'unicodeescape' codec can't decode bytes in position 2-3: truncated \U 파이썬에서 파일을 읽기 위하여 파일의 경로를 지정하는 도중에 경로상에 \u, \U 가 있으면 위와 같은 오류가 발생한다. 파이썬은 특수 문자를 \ 로 시작하여 인식하기 때문에 위와 같은 오류가 발생한다. 특수 문자 목록은 다음과 같다. * \u, \U는 유니코드를 나타내는 특수 문자이다. Escape SequenceMeaningNotes\newlineIgnored \\Backslash (\) \'Single quote (') \"Double quote (") \aASCII Bell (BEL) \bASCII Backspace (BS) \fASCII Formfeed (FF) \nAS..
네 Python은 느립니다. 하지만 저는 신경쓰지 않습니다. 파이썬이 느린가에 대한 좋은 내용이 있어서 읽어보고 스크랩합니다. ^^ 요약하자면... 파이썬은 인터프리터 언어이기 때문에 C, C++ 보다 느릴수 밖에 없다. 하지만 파이썬의 강점은 생산성에 있다. Java, C++ 대비 2배 이상의 생산성을 가질 수 있다. 파이썬의 동작이 느려서 문제가 생긴다면, 병목현상이 발생하는 부분을 확인하여 코드를 최적화하고,그래도 안된다면 다른 아키텍처를 찾는다. 가장 비싼 자원을 최적화 하세요. 그것은 컴퓨터가 아닌 당신입니다.
파이썬은 인터프리터를 구현한 종류에 따라 아래와 같이 구분될 수 있다. 보통 CPython을 Python 이라고 부른다. IronPython.Net 으로 구현CPythonJPythonPyPy [장점]읽고 사용하기가 쉽다. IOT 에 강점을 가진다. 비동기식 코딩자바보다 뛰어난 멀티패러다음 [단점]속도Java, C에 비하여 느리다. 속도 향상을 위한 방법으로 C Binding 방법이 존재한다. 자바의 JNI 처럼 원시 코드를 직접 호출하여 속도를 높인다. 모바일 컴퓨팅과 브라우저의 부재설계의 제약 JIT가 없는 동적 인터프리터 언어와, 컴파일언어의 성능을 비교하면 컴파일러가 압도적으로 유리하다. 파이썬의 강점은 속도에 있지 않다. 파이썬의 최대 강점은 생산성에 있다. http://www.itworld.co..
파이썬에서 엑셀 문서를 생성하기 위해서는 xlsxwriter를 이용한다. * 수정은 안됨 바로가기 -> http://xlsxwriter.readthedocs.org/contents.htmlworkbook 옵션 -> http://xlsxwriter.readthedocs.org/workbook.html Workbook 생성시 사용할 수 있는 옵션 중 다음은 중요하다. constant_memory - xlsxwriter는 파일의 내용을 다음 프로세스에 자유롭게 사용하기 위해 메모리에 저장한다. - 파일 사이즈가 커지면 사용하는 메모리양도 점점 커지기 때문에 메모리 오류가 발생할 수 있다. - 이를 위해 파일 사이즈가 크다면 해당 옵션을 True 로 설정하여 메모리를 고정한다. tmpdir- xlsxwriter..
@클로저함수 함수안에 또다른 함수가 선언되어 반환되는 것을 클로저 함수라고 한다. - 전역변수를 사용하지 않음 - 내부 데이터의 은닉에 활용 http://jonnung.blogspot.kr/2014/09/python-easy-closure.html http://nbviewer.ipython.org/github/jonnung/book-review/blob/master/core_python_study/closure/python_closure.ipynb @장식자 - 데코레이터 데코레이터의 개념은 일종의 래핑(wrapping) 함수 실행되는 함수를 파라미터로 받아서 실행되는 함수 #!/usr/bin/python # -*- coding: utf-8 -*- import time def elapsed_time(fun..
@xlsxwriter 사용시 대용량 데이터를 이용할 경우 주의할 점 xlsxwrite 는 파일을 생성할 때 worksheet 을 이용하여 write 한 데이터를 메모리에 저장한다. 입력한 데이터를 이용하여 데이터를 조작할 때 유용하게 이용하기 위해 사용하고 있는데 이렇게 되면 모든 데이터가 메모리에 저장되기 때문에 대용량 데이터를 쓸때 메모리가 급격하게 늘어나는 것을 확인할 수 있다. 8만 라인을 쓰는데 500G 정도의 메모리를 이용하는 것을 확인하였다. 이로 인해 파이선이 메모리 오류로 죽어 버리는 경우가 발생하였다. OSError: [Errno 12] Cannot allocate memory 이를 방지하기 위해서 다음과 같이 선언하면 된다. workbook = xlsxwriter.Workbook(fi..
- Total
- Today
- Yesterday
- airflow
- 알고리즘
- 오류
- build
- hbase
- S3
- HDFS
- 백준
- 정올
- AWS
- Hadoop
- HIVE
- ubuntu
- 다이나믹
- yarn
- java
- emr
- SPARK
- Linux
- Tez
- mysql
- SQL
- 파이썬
- Python
- 하둡
- nodejs
- bash
- oozie
- 하이브
- error
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |