티스토리 뷰
Batch Processing
작업을 몰아두었다가 한번에 처리하는 시스템. 예:선거투표결과 추출, 게임 이벤트 아이템 일괄 지급 등
OLTP: OnLine Transaction Processing
Batch 와 반대되는 개념으로 실시간으로 db의 데이터를 트랜잭션 단위로 갱신/조회하는 처리방식. 은행, 증권사 등에서 씀. 기존과 달리 다수의 client가 거의 동시에 이용할수 있도록 송수신자료를 트랜잭션단위로 압축한것이 특징.
DW: Data Warehouse
수년간 발생한 데이터를 모아서 주제별로 합쳐 분석할 수 있게 하는 통합시스템.
예) 운영데이터, 분산데이터, 시장데이터를 추출하여 DW를 구축하고 그걸 DSS나 OLAP로 분석
※Data Mart: DW의 하위단위라고 볼 수 있으며, DW는 중앙집중식 데이터 집합체의 개념을 가지나, data mart는 데이터 저장소의 역할을 하고 특정 목적을 위해 쉬운 접근성과 사용성을 가진다. DW는 기존 데이터를 어떻게 수집/분석하고 어떻게 재사용할 것인가에 초점을 맞춤
OLAP:OnLine Analytical Processing
위의 DW에서 데이터를 분석해서 의미있는 형태로 만들기 위한 과정및 도구. 의사결정 지원 시스템의 하나.
※ 의사결정 지원 시스템(DSS, Decision Support System)
단순히 정보를 수집, 저장, 분배하기 위한 시스템을 넘어서 사용자들이 기업의 의사결정을 쉽게 내릴 수 있도록 사업 자료를 분석해주는 역할을 하는 컴퓨터 응용 프로그램이다.
'개념' 카테고리의 다른 글
하둡 (0) | 2013.08.13 |
---|---|
아마존 AWS, EC2, EMR, S3 소개 (0) | 2013.07.02 |
Apache vs Tomcat (0) | 2013.06.19 |
SSH 터널링 (1) | 2013.06.19 |
웹페이지 구현에서 파라미터 처리할 때 마우스의 뒤로가기 버튼으로 인한 동작 처리하기 (0) | 2013.04.30 |
- Total
- Today
- Yesterday
- 알고리즘
- ubuntu
- 백준
- AWS
- error
- emr
- HIVE
- 파이썬
- SPARK
- build
- java
- nodejs
- Hadoop
- Tez
- Python
- HDFS
- bash
- hbase
- SQL
- 다이나믹
- Linux
- 오류
- 하이브
- 정올
- mysql
- airflow
- S3
- oozie
- yarn
- 하둡
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |