[hadoop] hadoop1, 2, 3의 특징 및 장단점

Haodoop 1

• 클러스터당 최대 4000개의 노드를 등록 가능 
• MR 잡을 수행할 수 있음
• 작업 처리를 슬롯 단위로 수행 

Hadoop 2

• 클러스터 당 10000개 이상의 노드가 가능
• MR 잡외에 Spark, Hama, Giraph 등 다른 분산 처리 모델도 수행 가능
• Hadoop1의 잡트래커가 리소스 관리, 잡 스케줄링을 동시에 처리하여 병목 지점이 되어 YARN 추가
• YARN은 리소스매니저, 애플리케이션 마스터가 리소스 관리, 잡 스케줄링을 담당

Hadoop 3 

• HDFS erasure coding 추가 
• 기존의 Replication 을 대체하는 방식으로 복제를 하지 않고 오류에 대응
• YARN 타임라인 서비스 v2 
• 기존 타임라인 서비스보다 많은 정보 확인 가능
• 쉘스크립트 재작성
• 오래된 쉘스크립트를 재작성하여 버그 수정 
• JAVA8 지원

하둡1에서 하둡2로 넘어갈때는 YARN 아키텍처의 등장으로 큰 변화가 있었고, 

하둡3로 넘어갈때는 HDFS의 효율화, 버그 수정, MR 성능 향상등의 변화가 있다. 

https://www.slideshare.net/RommelGarcia2/hadoop-1x-vs-2

https://acadgild.com/blog/10-big-differences-between-hadoop1-and-hadoop2/

https://acadgild.com/blog/top-10-differences-between-hadoop-2-x-and-3-x/

http://data-flair.training/blogs/hadoop-2-x-vs-hadoop-3-x-comparison/

하둡3 특징

https://www.edureka.co/blog/hadoop-3/