리소스 매니저 UI의 클러스터 메트릭 부분을 보면 Memory Reserved라는 항목이 있습니다.이 부분은 YARN이 동작할 때 큰 크기의 메모리를 요구하는 작업이 있을 때 동작을 보장하기 위해서 예약해 두는 항목입니다.
예를 들어 작업 A는 1G의 메모리, 작업 B는 2G의 메모리를 할당 한다고 하겠습니다. 작업 A가 먼저 실행되어 클러스터 전체의 메모리를 할당 받고 작업이 종료될 때 마다 1G의 메모리 여유가 발생하고, 작업 B는 메모리가 맞지 않아서 작업을 진행하지 못하여 작업 A만 계속 처리하게 됩니다. 그러면 작업B는 작업A가 종료될 때까지 계속 대기해야 하는 기아(starving) 상태가 됩니다.
이를 방지하기 위해서 작업B에 할당할 수 있게 메모리의 여유분을 할당하지 못하게 막아두는 것이 Memory Reserved 항목에 나타나게 됩니다.
https://blog.cloudera.com/blog/2013/06/improvements-in-the-hadoop-yarn-fair-scheduler/
Improvements in the Hadoop YARN Fair Scheduler - Cloudera Engineering Blog
Starting in CDH 4.2, YARN/MapReduce 2 (MR2) includes an even more powerful Fair Scheduler. In addition to doing nearly all that it could do in MapReduce 1 (MR1), the YARN Fair Scheduler can schedule non-MapReduce jobs, schedule based on fine-grained memory
blog.cloudera.com
'빅데이터 > hadoop' 카테고리의 다른 글
| [hadoop] The ownership on the staging director /tmp/hadoop-yarn/staging/root/.staging is not as expected 오류 처리 (0) | 2019.06.18 |
|---|---|
| [hadoop] TestDFSIO를 이용하여 HDFS I/O 성능 체크 (1) | 2019.06.17 |
| [hadoop] 하둡 오존(ozone) - 분산 객체 저장소(Object Storage) (0) | 2019.05.08 |
| [hadoop] hdfs namenode 실행중 Invalid URI for NameNode address (check fs.defaultFS): 오류 처리 (0) | 2019.04.16 |
| [hadoop] 커패시티 스케줄러 설정중 오류 수정 (0) | 2019.04.12 |