[spark] 스파크 디플로이 모드(deploy mode)의 cluster, client 의 차이

스파크의 클러스터 타입은 4가지가 있다. 

• standalone
• 스파크에 포함된 클러스터 관리자 
• YARN
• Hadoop2의 관리자 
• https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
• Mesos
• Hadoop MapReduce와 다른 응용 서비스를 실행할 수 있는 범용 클러스터 관리자 
• http://mesos.apache.org/
• Kubernetes
• 컨테이너화된 응용프로그램의 배치, 실행을 관리하는 클러스터 관리자 
• https://kubernetes.io/

그리고 이 클러스터에 대한 배포 모드(deploy mode)는 2가지가 있다. 

• client
• 실행을 호출한 곳에서 드라이버가 생성
• cluster
• 클러스터 내부에서 드라이버가 생성 

https://hxquangnhat.com/2015/04/03/overview-spark-deploy-modes/

http://c2fo.io/c2fo/spark/aws/emr/2016/09/01/apache-spark-config-cheatsheet-part2/

https://hxquangnhat.com/2015/04/03/overview-spark-deploy-modes/