멜론은 초기에는 IBM 네티자 데이터웨어하우스를 도입해 데이터 분석을 처리하였으나, 스케일아웃의 어려움과 비용 부담으로 인하여 오픈 소스를 이용한 빅데이터 플랫폼을 자체 운영하는 것으로 결정하였습니다. 멜론은 마우스의 움직임, 검색, 음악 선택, 클릭 패턴 등 이용자들의 행동을 종합적으로 관찰하고 이를 분석하기 위해 노력하고 있습니다.
멜론의 빅데이터 플랫폼
멜론의 빅데이터 처리 순서는 수집/분석/서비스 단계를 따릅니다.
- 수집
- 데이터베이스 데이터
- 스쿱을 이용하여 수집
- 로그 데이터
- 플룸을 이용하여 한시간마다 쉘 스크립트(scp)로 수집
- 허드슨을 이용하여 배치 데이터를 수집
- 데이터베이스 데이터
- 분석
- 실시간 분석과 배치 분석을 제공
- Hive를 이용하여 분석 결과 제공
- 데이터의 종류에 따라 MR, Mahout, Tajo, Spark도 이용
- SQL 기반의 분석 플랫폼을 유지하기 위해 노력함
- 서비스
- 온라인 서비스와 통계 시스템 제공
- MySQL과 HBase, ElasticSearch 를 이용하여 제공
참고
반응형
'빅데이터' 카테고리의 다른 글
| [빅데이터] Apache Livy (0) | 2020.03.10 |
|---|---|
| [빅데이터 아키텍처] 네이버의 빅데이터 플랫폼 (0) | 2020.01.31 |
| [빅데이터] 아파치 피닉스(Apache Phoenix) (0) | 2019.08.01 |
| [빅데이터] ORC와 Parquet 파일 저장 형식 (0) | 2019.02.19 |
| [빅데이터] 실무자를 위한 빅데이터 #2 빅데이터 관련 기술(하둡 에코 시스템) (0) | 2018.05.03 |