[빅데이터 아키텍처] 카카오 광고 데이터 처리 서비스

카카오 광고 시스템은 하루 59TB의 데이터를 처리하고 있습니다. 

 

• 데이터 수집 기술
  • 카프카, 로그스태쉬
  • 스파크 스트리밍, 플링크
• 데이터 처리
  • 하이브, 임팔라
• 저장
  • HDFS, 카산드라, HBase, 엘라스틱서치, 레디스
• 시각화
  • 태블루, 제플린, 카프카, 키린
• 운영
  • 에어플로우, 그라파나, 키바나, 프로메테우스

카카오는 데이터를 다각도로 분석하기 위해서 키린(Kylin)을 이용하고 있습니다. 키린은 데이터를 큐브 형태로 가공하여 보관하고 있기 때문에 사용자의 쿼리에 빠른 속도로 결과를 제공할 수 있습니다. 작업의 진행상태를 원활하게 확인하기 위해서 에어플로우를 활용하고 있습니다. 

 

https://www.slideshare.net/ssuser75ddc6/kylin-olap-on-hadoop

카일린 Kylin, OLAP on hadoop

https://if.kakao.com/2019/program

if kakao 개발자 컨퍼런스 2019