[YARN] YARN Node Label

YARN은 2.6버전 부터 노드 레이블 기능을 제공합니다. 레이블은 서버를 특성에 맞게 구분하여 애플리케이션을 실행할 수 있는 기능을 제공합니다.

• 노드 레이블은 서버의 타입(ex: SSD, GPU)에 따라 작업을 처리하도록 구성할 수 있음
  • 빠른 IO가 필요한 작업은 SSD 중심의 서버를 이용하도록 설정
  • 빠른 CPU연산이 필요한 작업은 GPU를 이용할 수 있는 서버를 이용하도록 설정

특징

• 노드는 하나의 파티션을 가짐
  • 기본 파티션은 DEFAULT이고 partiton=""
  • 노드별로 설정을 다르게 할 수 있음
• 노드 파티션은 두가지 종류가 있음
  • Exclusive
    • 설정한 노드만 사용할 수 있음
  • Non-Exclusive
    • 운영상황에 여유가 있을때는 다른 노드도 이용 가능

Node Labels in YARN from DataWorks Summit

참고

• YARN Node Labels
• IBM의 Yarn node labels
• YARN Node Label 설명