[hadoop] 하둡 3.0의 신규기능과 이레이져 코딩

<하둡 3.0의 특징>

하둡 홈페이지에 기술된 특징은 다음과 같다. 

- Minimum required Java version increased from Java 7 to Java 8

- Support for erasure encoding in HDFS

- YARN Timeline Service v.2

- Shell script rewrite

- MapReduce task-level native optimization

- Support for more than 2 NameNodes.

- Default ports of multiple services have been changed.

- Support for Microsoft Azure Data Lake filesystem connector

- Intra-datanode balancer

- Reworked daemon and task heap management

하둡 3.0의 주요 특징인 이레이저 코딩은 마이크로 소프트의 여기(https://docs.microsoft.com/ko-kr/windows-server/storage/storage-spaces/storage-spaces-fault-tolerance)를 확인하면 잘 알 수 있습니다.

기존 데이터 복제 방식은 1개의 데이터를 3개의 데이터로 복제하여 저장하기 때문에 저장소가 3배 필요합니다. 이레이저 코딩은 패리티 비트를 이용하는 방식으로 1개의 데이터에 0.5개의 패리티 비트를 이용하여 저장하기 때문에 저장소가 1.5배 필요합니다. 따라서 저장소의 효율성이 증가합니다.

http://hadoop.apache.org/docs/r3.0.0-alpha1/index.html

업그레이드를 부르는 하둡 3.0 신규 기능 살펴보기

클라우데라 - 하둡 3.0

하둡 3.0 무엇이 달라졌나?

이레이저 코딩