[aws] 아마존 레드쉬프트(Amazon Redshift), EMR과 의 차이

EMR

EMR(Elastic MapReduce)는 하둡 프레임워크입니다. HDFS를 이용한 데이터 저장, 맵리듀스 작업을 통한 데이터 처리 작업을 할 수 있습니다. EMR에는 mapreduce, hive, spark를 이용한 데이터 처리를 지원합니다.

Redshift

레드쉬프트는 AWS에서 제공하는 데이터 웨어하우스 엔진입니다. 레드쉬프트는 PostgreSQL을 기반으로 합니다. 따라서 표준 SQL을 이용한 데이터 처리를 지원하고, BI 도구로 분석할 수 있습니다. 칼럼 기반으로 압축하여 데이터를 저장하고 있어서 데이터의 빠른 처리를 지원합니다.

개요 - https://aws.amazon.com/ko/redshift/

자습서 - https://aws.amazon.com/ko/redshift/getting-started/

Amazon Redshift와 PostgreSQL - https://docs.aws.amazon.com/ko_kr/redshift/latest/dg/c_redshift-and-postgres-sql.html

Amazon Redshift의 이해와 활용 (김용우) - AWS DB Day from Amazon Web Services Korea

EMR과 레드쉬프트의 차이

EMR은 hadoop, hive, pig 등의 기술을 이용하여 원천 데이터를 정제하고 분석 처리할 수 있는 반면, Redshift는 이미 정제하고 적재된 데이터를 이용하여 데이터를 분석하는 데이터 웨어하우스 시스템이다. 

Q: Amazon Athena, Amazon EMR 및 Amazon Redshift의 차이점은 무엇인가요?

Amazon Athena 같은 쿼리 서비스, Amazon Redshift 같은 데이터웨어 하우스 및 Amazon EMR 같은 정교한 데이터 처리 프레임워크는 모두 서로 다른 요구와 사용 사례를 처리합니다. 작업에 적합한 도구를 선택하기만 하면 됩니다. Amazon Redshift는 엔터프라이즈 보고 및 비즈니스 인텔리전스 워크로드, 그 중에서도 특히 여러 조인 및 하위 쿼리가 포함된 매우 복잡한 SQL과 관련된 워크로드에 대해 가장 빠른 쿼리 성능을 제공합니다. Amazon EMR을 사용하면 하둡, Spark, Presto 등 고도로 분산된 처리 프레임워크를 온프레미스 배포 환경보다 더 간단하면서도 비용 효율적으로 실행할 수 있습니다. Amazon EMR은 유연합니다. 사용자 지정 애플리케이션 및 코드를 실행하고 특정 컴퓨팅, 메모리, 스토리지 및 애플리케이션 파라미터를 정의하여 분석 요구 사항을 최적화할 수 있습니다. Amazon Athena는 서버를 설정하거나 관리할 필요 없이 S3의 데이터에 대한 임의 쿼리를 가장 쉽게 실행할 수 있는 방법을 제공합니다.

Building Your Data Warehouse with Amazon Redshift from Amazon Web Services

2017 AWS DB Day | Amazon Redshift 자세히 살펴보기 from Amazon Web Services Korea

Amazon Redshift 아키텍처 및 모범사례::김민성::AWS Summit Seoul 2018 from Amazon Web Services Korea