@xlsxwriter 사용시 대용량 데이터를 이용할 경우 주의할 점 xlsxwrite 는 파일을 생성할 때 worksheet 을 이용하여 write 한 데이터를 메모리에 저장한다. 입력한 데이터를 이용하여 데이터를 조작할 때 유용하게 이용하기 위해 사용하고 있는데 이렇게 되면 모든 데이터가 메모리에 저장되기 때문에 대용량 데이터를 쓸때 메모리가 급격하게 늘어나는 것을 확인할 수 있다. 8만 라인을 쓰는데 500G 정도의 메모리를 이용하는 것을 확인하였다. 이로 인해 파이선이 메모리 오류로 죽어 버리는 경우가 발생하였다. OSError: [Errno 12] Cannot allocate memory 이를 방지하기 위해서 다음과 같이 선언하면 된다. workbook = xlsxwriter.Workbook(fi..
> 한글 >> 한글 # 서로다른 타입에 대한 확인 print type(h1) print type(h2) >> >> # 리스트에 추가후 출력 str_list = [] str_list.append(h1) str_list.append(h2) print str_list >> ['\xed\x95\x9c\xea\xb8\x80', u'\ud55c\uae00'] ''' # UnicodeWarning: Unicode equal comparison failed to convert both arguments to Unicode - interpreting them as being unequal 오류 발생 if h1 == h2: print True ''' ''' # UnicodeDecodeError: 'ascii' codec ..
[string 포맷팅] python 의 문자열 포맷팅은 두가지 방법을 사용한다. - .format() - % 두가지 방법중 어떤 방법을 사용해도 상관없다. % 를 이용하는 것이 권장되고 있는 것 같다. #!/usr/bin/python # -*- coding : utf-8 -*- # format 이용 sentence1 = 'I am a {}' print sentence1.format("boy") # format 에 리스트와 dict 를 이용한 방법 sentence3 = "I am a {0} and {x}" print sentence3.format("boy", x="girl") # % 와 dict 를 이용한 방법 sentence2 = "I am a boy %(x)s" print sentence2 % { "x..
- Total
- Today
- Yesterday
- mysql
- 하이브
- yarn
- 백준
- AWS
- ubuntu
- hbase
- nodejs
- HIVE
- oozie
- Tez
- Python
- emr
- Hadoop
- 파이썬
- build
- error
- java
- 정올
- 다이나믹
- S3
- 오류
- bash
- SPARK
- HDFS
- 하둡
- 알고리즘
- Linux
- SQL
- airflow
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 | 31 |