아마존 AWS, EC2, EMR, S3 소개

아마존 AWS(링크)

 

Amazon Web Services에서는 사용자가 엔터프라이즈 애플리케이션 및 빅 데이터 프로젝트에서 소셜 게임 및 모바일 앱에 이르는 클라우드의 거의 모든 곳에서 실행할 수 있는 다양한 인프라 및 애플리케이션 서비스 집합을 제공합니다.

클라우드 컴퓨팅의 주요 이점 중 하나는 초기 기본 인프라 비용을 비즈니스에 맞춰 조정되는 저렴한 가변 비용으로 대체할 수 있는 기회가 된다는 점입니다

 

 

아마존 EC2(링크)

 

Amazon Elastic Compute Cloud(Amazon EC2)는 클라우드에서 컴퓨팅 파워의 규모를 자유 자재로 변경할 수 있는 웹 서비스입니다. 이 서비스는 개발자가 웹 스케일 컴퓨팅을 쉽게 사용할 수 있도록 설계되었습니다.

Amazon EC2의 간단한 웹 서비스 인터페이스를 통해 간편하게 필요한 용량을 얻고 구성할 수 있습니다. 컴퓨팅 리소스에 대한 포괄적인 제어권을 제공하며, Amazon의 검증된 컴퓨팅 환경에서 실행할 수 있습니다. Amazon EC2는 불과 몇 분만에 새로운 서버 인스턴스를 획득하고 부팅할 수 있으며, 컴퓨팅 요구 사항의 변화에 따라 신속하게 서버 용량을 확장하거나 축소할 수 있습니다. 또한 실제 사용한 만큼만 요금을 지불하면 되므로, 컴퓨팅 비용이 절약됩니다. Amazon EC2는 오류 발생 시 복원력이 뛰어난 애플리케이션을 구축하고 일반적인 오류 상황으로부터 분리하는 도구를 제공합니다.

 

EC2 관련 조대협님 블로그 링크

 

아마존에서는 사전에 Pre configure 된 운영체제 이미지를 제공해, 사용자로 하여금 원하는 이미지와 소프트웨어를 직접 선택할 수 있게 하거나 또는 사용자가 직접 시스템에 대한 이미지를 AMI(Amazon Machine Image)라는 형태로 올려서 사용할 수 있도록 한다.

 

아마존 EMR(링크)

 

Amazon Elastic MapReduce(Amazon EMR)는 비즈니스, 연구원, 데이터 분석가 및 개발자가 막대한 양의 데이터를 간편하게, 비용 효율적으로 처리할 수 있는 웹 서비스입니다. 이 서비스는 호스팅되는 Hadoop 프레임워크를 사용합니다. Hadoop 프레임워크는 Amazon Elastic Compute Cloud(Amazon EC2)와 Amazon Simple Storage Service(Amazon S3)의 웹 스케일 인프라에서 실행됩니다.

 

Amazon Elastic MapReduce를 사용해 원하는 만큼의 용량을 즉시 공급하여 웹 인덱싱, 데이터 마이닝, 로그 파일 분석, 데이터 웨어하우징, 시스템 학습, 재무 분석, 과학 시뮬레이션, 생물정보학 연구와 같은 애플리케이션의 데이터 집약적인 작업을 수행할 수 있습니다. Amazon Elastic MapReduce는 시간이 걸리는 Hadoop 클러스터를 설정 또는 관리, 튜닝하는 데 신경 쓰거나 컴퓨팅 파워에 대해 걱정하지 않고 데이터를 집중적으로 고속 처리 또는 분석할 수 있습니다.

 

EMR 관련 조대협님 블로그 링크

 

Map & Reduce는 대규모 분산처리를 위한 처리 알고리즘이다.

Map & Reduce는 하나의 큰 작업을 여러 단위의 작업으로 쪼갠(Map) 후 분산된 노드에서 각각 처리한다. 그리고 난 후 처리결과를 다시 하나로 모으는(Reduce) 작업을 통해 처리시간을 향상 시키는 기법이다. 주로 검색결과분석을 위해 많이 사용되는데, 대표적인 오픈소스 구현으로 하둡이 있다. 아마존에서 바로 이 하둡 기반의 Map & Reduce를 지원한다.

Map & Reduce를 실제로 구축하기 위해서는 많은 수의 CPU와 고성능 입출력을 지원하는 분산파일 시스템이 필요하기 때문에 클라우드 시나리오에 매우 적절한 모델이며, 주로 수학적인 계산이 필요한 과학 및 계산 애플리케이션에 많이 활용될 수 있다.

 

아마존 S3(링크)

 

Amazon S3는 인터넷 스토리지 서비스로서, 이 서비스는 개발자가 웹 스케일 컴퓨팅을 쉽게 사용할 수 있도록 설계되었습니다.

Amazon S3는 언제든지 웹상 어디서나 용량에 관계없이 데이터를 저장하고 검색하는 데 사용할 수 있는 간단한 웹 서비스 인터페이스를 제공합니다. 따라서 개발자들은 Amazon이 자체 글로벌 웹 사이트 네트워크를 운영할 때 사용하는 것과 동일한 수준의 높은 확장성과 신뢰성을 제공하면서도 안전하고 빠르고 비용 효율적인 인프라를 활용할 수 있습니다. 이 서비스의 목적은 규모의 이점을 최대화하여 개발자에게 제공하는 것입니다.

 

 

S3 관련 조대협님 블로그 링크

 

S3은 대용량 Blob 데이터에 대한 저장을 위해 디자인됐다. 다시 말하면 파일, 이미지, 동영상과 같은 큰 사이즈의 데이터를 저장하기 위해 만들어졌다. 저장될 수 있는 데이터 수에 대한 제한은 없으며, 저장되는 데이터 크기는 레코드 당 1byte에서 최대 5GB를 지원한다.