개발자로 살아남기

파이썬에서 엑셀 문서를 생성하기 위해서는 xlsxwriter를 이용한다. * 수정은 안됨 바로가기 -> http://xlsxwriter.readthedocs.org/contents.htmlworkbook 옵션 -> http://xlsxwriter.readthedocs.org/workbook.html Workbook 생성시 사용할 수 있는 옵션 중 다음은 중요하다. constant_memory - xlsxwriter는 파일의 내용을 다음 프로세스에 자유롭게 사용하기 위해 메모리에 저장한다. - 파일 사이즈가 커지면 사용하는 메모리양도 점점 커지기 때문에 메모리 오류가 발생할 수 있다. - 이를 위해 파일 사이즈가 크다면 해당 옵션을 True 로 설정하여 메모리를 고정한다. tmpdir- xlsxwriter..

@xlsxwriter 사용시 대용량 데이터를 이용할 경우 주의할 점 xlsxwrite 는 파일을 생성할 때 worksheet 을 이용하여 write 한 데이터를 메모리에 저장한다. 입력한 데이터를 이용하여 데이터를 조작할 때 유용하게 이용하기 위해 사용하고 있는데 이렇게 되면 모든 데이터가 메모리에 저장되기 때문에 대용량 데이터를 쓸때 메모리가 급격하게 늘어나는 것을 확인할 수 있다. 8만 라인을 쓰는데 500G 정도의 메모리를 이용하는 것을 확인하였다. 이로 인해 파이선이 메모리 오류로 죽어 버리는 경우가 발생하였다. OSError: [Errno 12] Cannot allocate memory 이를 방지하기 위해서 다음과 같이 선언하면 된다. workbook = xlsxwriter.Workbook(fi..