[hadoop] MR과 TEZ의 차이

Apache Tez – Present and Future from DataWorks Summit

MR은 일반적으로 다음과 같은 단계를 거칩니다.
1. 파일에서 데이터를 읽음
2. 매퍼작업
 - 임시 결과를 출력
3. 셔플과 정렬
 - 맵의 임시 결과를 읽고, 이동하고, 다시 씀
4. 리듀서작업
 - 임시 결과를 읽음
5. 결과 출력

테즈는 이 모든 작업을 메모리 상에서 처리합니다. 임시 데이터는 메모리에서 처리합니다. 

따라서 MR에 비해 디스크 IO가 줄어들어서 속도가 빨라집니다.