카카오 광고 시스템은 하루 59TB의 데이터를 처리하고 있습니다.
- 데이터 수집 기술
- 카프카, 로그스태쉬
- 스파크 스트리밍, 플링크
- 데이터 처리
- 하이브, 임팔라
- 저장
- HDFS, 카산드라, HBase, 엘라스틱서치, 레디스
- 시각화
- 태블루, 제플린, 카프카, 키린
- 운영
- 에어플로우, 그라파나, 키바나, 프로메테우스
카카오는 데이터를 다각도로 분석하기 위해서 키린(Kylin)을 이용하고 있습니다. 키린은 데이터를 큐브 형태로 가공하여 보관하고 있기 때문에 사용자의 쿼리에 빠른 속도로 결과를 제공할 수 있습니다. 작업의 진행상태를 원활하게 확인하기 위해서 에어플로우를 활용하고 있습니다.
https://www.slideshare.net/ssuser75ddc6/kylin-olap-on-hadoop
카일린 Kylin, OLAP on hadoop
JBUG 세미나에서 발표한 Apache Kylin에 관한 소개 자료입니다.
www.slideshare.net
https://if.kakao.com/2019/program
if kakao 개발자 컨퍼런스 2019
세상은 전부 개발거리, if kakao 2019 - if.kakao.com
if.kakao.com
반응형