[python][xlswriter] xlsxwriter 의 메모리 점유해제를 위한 constant_memory 모드 설정

@xlsxwriter 사용시 대용량 데이터를 이용할 경우 주의할 점

 

xlsxwrite 는 파일을 생성할 때 worksheet 을 이용하여 write 한 데이터를 메모리에 저장한다.
입력한 데이터를 이용하여 데이터를 조작할 때 유용하게 이용하기 위해 사용하고 있는데
이렇게 되면 모든 데이터가 메모리에 저장되기 때문에 대용량 데이터를 쓸때 메모리가 급격하게 늘어나는 것을 확인할 수 있다.

 

8만 라인을 쓰는데 500G 정도의 메모리를 이용하는 것을 확인하였다.
이로 인해 파이선이 메모리 오류로 죽어 버리는 경우가 발생하였다.

 

<메모리 할당 오류 발생>

OSError: [Errno 12] Cannot allocate memory

 

이를 방지하기 위해서 다음과 같이 선언하면 된다.

 

<constant_memory 모드 설정>

workbook = xlsxwriter.Workbook(filename, {'constant_memory': True})

 

이렇게 선언하면 입력한 데이터를 메모리에 저장하지 않고, 일정한 메모리를 유지하게 된다.

파일의 데이터 조작에 있어 불리한 점도 있을 수 있으므로 장단점을 잘 확인해서 사용하면 될 것 같다.

 

<참고> 

http://xlsxwriter.readthedocs.org/en/latest/index.html http://xlsxwriter.readthedocs.org/en/latest/working_with_memory.html