티스토리 뷰
네이버는 HBase와 엘라스틱서치 기반으로 빅데이터 플랫폼을 구성하고 있는 것으로 보입니다.
- 데이터로그(DataLog)
- 엘라스틱서치 기반
- 2017년에 구축한 로그 통합 관리 플랫폼
- 검색 서비스의 모든 로그를 한곳에 모아 효율적인 분석을 위한 환경을 제공
- 초당 22만건 실시간 색인이 가능
- 데이터스토어(DataStore)
- HBase 기반
- 데이터 카탈로그를 통해 보관된 데이터의 목록, 상세정보, 생산자와 소비자를 한눈에 알 수 있도록 제공
- 저장된 데이터의 효율적인 활용을 위해 SQL 기반의 처리 시스템을 구축
- 비슷한 형태의 요청이 많으므로 SQL 템플릿을 제공하여 처리할 수 있도록 지원(Hue)
- 빠른 처리를 위해 가공테이블을 제공. 자주 사용되는 데이터를 미리 테이블로 분리하여 적재
- 하이브의 ORC, 파티션, 버켓팅을 적극 활용
- 데이터프록(DataProc)
- 보관된 데이터를 개발자가 마음껏 분석할 수 있는 환경을 제공
- 개발자가 자유롭게 컴퓨팅 자원을 이용할 수 있는 환경을 제공
참고
- [네이버 어벤저스] 국내 최대 빅데이터, 이렇게 다룹니다.
- DEVIEW 2019 - Day2 네이버 로그를 지탱하는 힘
반응형
'빅데이터' 카테고리의 다른 글
[빅데이터] 하이브 메타스토어 통합을 지원하는 waggle-dance (0) | 2020.03.12 |
---|---|
[빅데이터] Apache Livy (0) | 2020.03.10 |
[빅데이터 아키텍처] 멜론의 빅데이터 플랫폼 (0) | 2020.01.29 |
[빅데이터] 아파치 피닉스(Apache Phoenix) (0) | 2019.08.01 |
[빅데이터] ORC와 Parquet 파일 저장 형식 (0) | 2019.02.19 |
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- error
- 정올
- HIVE
- airflow
- java
- SPARK
- S3
- 하이브
- Python
- nodejs
- Hadoop
- ubuntu
- SQL
- mysql
- HDFS
- AWS
- 하둡
- 파이썬
- 다이나믹
- Linux
- Tez
- 알고리즘
- 백준
- bash
- 오류
- yarn
- hbase
- oozie
- emr
- build
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함