[빅데이터 아키텍처] 네이버의 빅데이터 플랫폼

네이버 빅데이터 플랫폼

 

네이버는 HBase와 엘라스틱서치 기반으로 빅데이터 플랫폼을 구성하고 있는 것으로 보입니다. 

 

•  데이터로그(DataLog)
  • 엘라스틱서치 기반
  • 2017년에 구축한 로그 통합 관리 플랫폼
  • 검색 서비스의 모든 로그를 한곳에 모아 효율적인 분석을 위한 환경을 제공
  • 초당 22만건 실시간 색인이 가능
• 데이터스토어(DataStore)
  • HBase 기반
  • 데이터 카탈로그를 통해 보관된 데이터의 목록, 상세정보, 생산자와 소비자를 한눈에 알 수 있도록 제공
  • 저장된 데이터의 효율적인 활용을 위해 SQL 기반의 처리 시스템을 구축
  • 비슷한 형태의 요청이 많으므로 SQL 템플릿을 제공하여 처리할 수 있도록 지원(Hue)
  • 빠른 처리를 위해 가공테이블을 제공. 자주 사용되는 데이터를 미리 테이블로 분리하여 적재
    • 하이브의 ORC, 파티션, 버켓팅을 적극 활용
• 데이터프록(DataProc)
  • 보관된 데이터를 개발자가 마음껏 분석할 수 있는 환경을 제공
  • 개발자가 자유롭게 컴퓨팅 자원을 이용할 수 있는 환경을 제공

참고 

• [네이버 어벤저스] 국내 최대 빅데이터, 이렇게 다룹니다. 
• DEVIEW 2019 - Day2 네이버 로그를 지탱하는 힘