스파크 실행중 메모리 부족으로 다음과 같은 오류가 발생하는 경우가 있다.
Diagnostics: Container [pid=1,containerID=container_000001] is running beyond physical memory limits. Current usage: 1.4 GB of 1.4 GB physical memory used; 3.1 GB of 13.8 GB virtual memory used. Killing container.
이런 경우 다음과 같이 드라이버와 executor의 메모리 설정을 해주면 해결할 수 있다.
spark.yarn.am.memory=3072M
spark.driver.memory=3072M
spark.executor.memory=4736M
spark.executor.cores=4
반응형
'빅데이터 > spark' 카테고리의 다른 글
[spark] RDD, Transformation, Action, Dependency 용어 (0) | 2018.03.28 |
---|---|
[spark] 스파크 디플로이 모드(deploy mode)의 cluster, client 의 차이 (0) | 2018.03.27 |
[spark] NoSuchElement 오류 해결 방법 (0) | 2018.01.08 |
스파크에서 문자열 utf-8 형식으로 처리하기 (0) | 2016.06.20 |
[개념] 스톰 vs 스파크 (0) | 2015.07.21 |