[개념] 빅데이터

빅데이터란?
: 큰 사이즈의 데이터로부터 유의미한 지표를 분석해내는 것

<정의>

• 데이터의 규모에 초점을 맞춘 정의 
• 기존 데이터 베이스 관리도구의 데이터 수집, 저장, 관리, 분석하는 역량을 넘어서는 데이터

• 업무 수행 방식에 초점을 맞춘 정의
• 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 데이터의 빠른 수집, 발굴, 분석을 지원하도록 고안된 기술 및 아키텍처

<특징>

• Volume(양)
• 수십 테라바이트에서 수 페타바이트에 이르는 크기의 데이터 
• Variety(다양성)
• 정형(DB), 반정형(XML, HTML), 비정형(텍스트, 사진) 형태의 데이터
• Velocity(속도)
• 실시간, 빠른 처리를 통한 유의미한 결론 도출
• Value(가치)
• 어떠한 가치를 지니는 유의미한 데이터를 도출
• Veracity(진실성)
• 이 데이터가 어느정도의 정확성을 가지는가

<처리기술>

• Hadoop
• Hive
• Spark