[빅데이터 아키텍처] 카카오 광고 데이터 처리 서비스
카카오 광고 시스템은 하루 59TB의 데이터를 처리하고 있습니다. 데이터 수집 기술 카프카, 로그스태쉬 스파크 스트리밍, 플링크 데이터 처리 하이브, 임팔라 저장 HDFS, 카산드라, HBase, 엘라스틱서치, 레디스 시각화 태블루, 제플린, 카프카, 키린 운영 에어플로우, 그라파나, 키바나, 프로메테우스 카카오는 데이터를 다각도로 분석하기 위해서 키린(Kylin)을 이용하고 있습니다. 키린은 데이터를 큐브 형태로 가공하여 보관하고 있기 때문에 사용자의 쿼리에 빠른 속도로 결과를 제공할 수 있습니다. 작업의 진행상태를 원활하게 확인하기 위해서 에어플로우를 활용하고 있습니다. https://www.slideshare.net/ssuser75ddc6/kylin-olap-on-hadoop 카일린 Kylin, O..
2020. 1. 31.
