[hadoop][tez] 아파치 테즈(Apache tez) 프레임워크

<정보>

아파치 하둡2.0의 YARN 위에서 동작하는 비동기 사이클 그래프 프레임워크이다. 

pig, hive와 연동하여 사용하면 기존의 mapreduce에 비하여 성능이 향상되는 효과를 얻을 수 있다. 

hadoop을 크게 저장을 위한 hdfs와 분산 처리를 위한 mapreduce로 나눌 수 있는데,

mapreduce 부분이 처리과정이 분할되면 다음 처리를 위한 데이터를 hdfs에 저장하게 되는데 

이 부분을 제거하고 데이터를 메모리에 저장하게 함으로써 처리 성능을 높여 준다.

기존에  stage 사이의 정보가 hdfs에 저장되는 것을 메모리를 활용하여 처리함으로써 성능을 높여 주는 것이다. 

 * stage 가 나누어 지지 않는 작업의 경우 크게 향상 되지 않을 수도 있다. 

 ** MR에 비하여 작업이 오히려 늦어질수도 있다. 

hive2의 기본 엔진으로 선택되면서 점점 활용도가 높아 질 것으로 기대된다. 

 * hive2의 엔진에서 MR이 deprecated 되었기 때문에 점점 활용도가 높아 질 것이다. 

<특징>

• Empowering end users by:
  • Expressive dataflow definition APIs
  • Flexible Input-Processor-Output runtime model
  • Data type agnostic
  • Simplifying deployment
• Execution Performance
• Performance gains over Map Reduce
• Optimal resource management
• Plan reconfiguration at runtime
• Dynamic physical data flow decisions

아래와 같이 TEZ 엔진을 이용하면 MR에 비하여 HDFS에 쓰는 부분이 사라지게 되면서 

IO가 줄어들게 되고, 이로 인해 속도가 향상 된다. 

아파치 테즈 -  https://tez.apache.org/

호튼웍스 테즈 - http://hortonworks.com/apache/tez/#section_1

하이브 테즈 - https://cwiki.apache.org/confluence/display/Hive/Hive+on+Tez

Analyzing performance of Apache Tez and MapReduce with hadoop multinode cluster on Amazon cloud

What is Apache Tez?

The Tragedy of Tez