본문 바로가기

빅데이터8

[빅데이터 아키텍처] 카카오 광고 데이터 처리 서비스 카카오 광고 시스템은 하루 59TB의 데이터를 처리하고 있습니다. 데이터 수집 기술 카프카, 로그스태쉬 스파크 스트리밍, 플링크 데이터 처리 하이브, 임팔라 저장 HDFS, 카산드라, HBase, 엘라스틱서치, 레디스 시각화 태블루, 제플린, 카프카, 키린 운영 에어플로우, 그라파나, 키바나, 프로메테우스 카카오는 데이터를 다각도로 분석하기 위해서 키린(Kylin)을 이용하고 있습니다. 키린은 데이터를 큐브 형태로 가공하여 보관하고 있기 때문에 사용자의 쿼리에 빠른 속도로 결과를 제공할 수 있습니다. 작업의 진행상태를 원활하게 확인하기 위해서 에어플로우를 활용하고 있습니다. https://www.slideshare.net/ssuser75ddc6/kylin-olap-on-hadoop 카일린 Kylin, O.. 2020. 1. 31.
[빅데이터 아키텍처] 네이버의 빅데이터 플랫폼 네이버는 HBase와 엘라스틱서치 기반으로 빅데이터 플랫폼을 구성하고 있는 것으로 보입니다. 데이터로그(DataLog) 엘라스틱서치 기반 2017년에 구축한 로그 통합 관리 플랫폼 검색 서비스의 모든 로그를 한곳에 모아 효율적인 분석을 위한 환경을 제공 초당 22만건 실시간 색인이 가능 데이터스토어(DataStore) HBase 기반 데이터 카탈로그를 통해 보관된 데이터의 목록, 상세정보, 생산자와 소비자를 한눈에 알 수 있도록 제공 저장된 데이터의 효율적인 활용을 위해 SQL 기반의 처리 시스템을 구축 비슷한 형태의 요청이 많으므로 SQL 템플릿을 제공하여 처리할 수 있도록 지원(Hue) 빠른 처리를 위해 가공테이블을 제공. 자주 사용되는 데이터를 미리 테이블로 분리하여 적재 하이브의 ORC, 파티션,.. 2020. 1. 31.
[빅데이터 아키텍처] 멜론의 빅데이터 플랫폼 멜론은 초기에는 IBM 네티자 데이터웨어하우스를 도입해 데이터 분석을 처리하였으나, 스케일아웃의 어려움과 비용 부담으로 인하여 오픈 소스를 이용한 빅데이터 플랫폼을 자체 운영하는 것으로 결정하였습니다. 멜론은 마우스의 움직임, 검색, 음악 선택, 클릭 패턴 등 이용자들의 행동을 종합적으로 관찰하고 이를 분석하기 위해 노력하고 있습니다. 멜론의 빅데이터 플랫폼 멜론의 빅데이터 처리 순서는 수집/분석/서비스 단계를 따릅니다. 수집 데이터베이스 데이터 스쿱을 이용하여 수집 로그 데이터 플룸을 이용하여 한시간마다 쉘 스크립트(scp)로 수집 허드슨을 이용하여 배치 데이터를 수집 분석 실시간 분석과 배치 분석을 제공 Hive를 이용하여 분석 결과 제공 데이터의 종류에 따라 MR, Mahout, Tajo, Spar.. 2020. 1. 29.
[빅데이터/강좌] 실무자가 알아야 할 하둡 #2.구조 하둡의 구조 하둡은 크게 분산저장과 병렬처리 프레임워크로 나눌수 있다. 분산저장(HDFS) 분산저장은 마스터 슬레이브 구조로 구성되는 네임노드와 데이터노드로 처리 한다. 하나의 네임노드에 다수의 데이터 노드로 구성되고, 각각의 노드는 다음과 같은 역활을 한다. 네임노드(Namenode) 데이터 노드 관리 메타데이터 관리 디렉토리, 파일 정보 관리 블록과 디렉토리간 매핑 정보 관리 파일 시스템의 관리를 위해 fsimage와 edits 를 이용 데이타노드 데이터 파일을 블록단위로 나누어서 저장 체크포인트 노드, 세컨더리 네임노드 fsimage와 edits를 주기적으로 체크하여 체크포인트를 생성하고 이를 이용하여 파일의 수정사항을 관리 체크포인트 노드는 fsimage를 네임노드에 업로드 하고, 세컨더리 네임노.. 2018. 5. 16.
[빅데이터] 실무자를 위한 빅데이터 #2 빅데이터 관련 기술(하둡 에코 시스템) 빅데이터 관련 기술 빅데이터는 수집, 정제, 적재, 분석의 단계를 거치면서 다양한 기술을 이용하여 처리 된다. Hadoop HDFS, Mapreduce로 구성된 빅데이터 처리 기술 자바로 구현된 대규모 분산처리를 위한 오픈소스 프레임워크 HBase HDFS 기반의 칼럼 기반 데이터베이스 HDFS 위에서 동작하는 NoSQL 데이터 베이스 실시간 조회 및 업데이트 가능 https://hbase.apache.org/hbase(main):003:0> describe 'test' Table test is ENABLED test COLUMN FAMILIES DESCRIPTION {NAME => 'cf', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION.. 2018. 5. 3.
[빅데이터] 실무자를 위한 빅데이터 #1 빅데이터 개요 빅데이터 정의 빅데이터는 큰 사이즈의 데이터로부터 유의미한 지표를 분석해내는 것 으로 정의할 수 있다. 데이터 규모에 초점을 맞춘 정의 기존 DB 관리도구의 수집, 저장, 관리, 분석 역량을 넘어서는 데이터 업무 수행 방식에 초점을 맞춘 정의 다양한 종류의 대규모 데이터로부터 가치를 추출하고, 데이터의 빠른 수집, 발굴, 분석을 지원하도록 고안된 기술 및 아키텍처 출현배경 데이터 양의 증가 / 데이터 저장기술 발달 SNS등장, 스마트 기기 보급 디지털 저장기술과 장치의 발달 경제적 타당성 증가 / 저장장치의 가격 인하 1980년대 1G 10억 이상이던 메모리 가격이 2010년대 100원 미만으로 떨어짐 데이터 처리기술 발달 분산 병렬처리 기술의 발달로 합리적인 시간 안에 데이터 분석이 가능해짐 CPU 발.. 2018. 5. 3.
[hadoop] 빅데이터 면접 질문 빅데이터 관련해서 정보를 찾던 중에 빅데이터 관련 면접에서 알아두면 좋을 내용이 있어서 스크랩해 보았다. 공부해 두면 좋은 내용들이어서 정리 해 보았다. 1. 하둡과 전통적인 RDBMS의 차이점은? 데이터 타입: 하둡은 정형, 반정형, 비정형 데이터: RDBMS는 정형 데이터 스키마: 하둡 - Schema on Read: RDBMS - Schema on Write: 데이터를 읽을 때 스키마를 적용하느냐, 데이터를 적재할 때 스키마를 적용하느냐: https://goo.gl/images/dQiQCJ 좋은 사용법: 하둡은 대용량 데이터 처리: RDBMS는 OLTP 데이터 처리나 복잡한 ACID 트랜잭션에 적용 속도: 하둡은 쓸 때 빠르고 : RDBMS는 읽을 때 빠르다. 2. 빅데이터에서 4V는 무엇을 말하나.. 2017. 9. 10.
[사이트] 워드미터 - 빅데이터를 이용하여 커뮤니티별 키워드를 분석하는 사이트 빅데이터 분석을 이용하여 정보를 분석하는 사이트 현재 여론의 동향을 확인할 수 있어서 좋은것 같다. http://wordmeter.net/v1/app.home 2017. 1. 19.

티스토리툴바