본문 바로가기

특징2

[oozie] Oozie 5.0 특징 2018년 4월 발표된 우지 5.0의 특징에 대해서 알아보겠습니다. 기존 4.3에서 사용하던 워크플로우와 기능을 그대로 이용할 수 있어서 특별히 수정해야 할 점은 없습니다. 특징 우지 런처가 맵리듀스 매퍼에서 YARN 애플리케이션 마스터로 변경 YARN 애플리케이션 타입에 Oozie Launcher로 나옴 우지 웹서버가 톰캣6에서 Jetty9으로 변경 웹 UI를 신규로 작성 ExtJS를 제외하고 새로 작성 서드파티 라이브러리 갱신 JDK8 지원 DB 쿼리 성능 향상을 위해서 인덱스 추가 보안취약점 수정(CVE-2017-15712 ) 참고 아파치 재단 블로그 - 바로가기 우지 5.0 - 홈페이지 2019. 11. 5.
[빅데이터] 실무자를 위한 빅데이터 #1 빅데이터 개요 빅데이터 정의 빅데이터는 큰 사이즈의 데이터로부터 유의미한 지표를 분석해내는 것 으로 정의할 수 있다. 데이터 규모에 초점을 맞춘 정의 기존 DB 관리도구의 수집, 저장, 관리, 분석 역량을 넘어서는 데이터 업무 수행 방식에 초점을 맞춘 정의 다양한 종류의 대규모 데이터로부터 가치를 추출하고, 데이터의 빠른 수집, 발굴, 분석을 지원하도록 고안된 기술 및 아키텍처 출현배경 데이터 양의 증가 / 데이터 저장기술 발달 SNS등장, 스마트 기기 보급 디지털 저장기술과 장치의 발달 경제적 타당성 증가 / 저장장치의 가격 인하 1980년대 1G 10억 이상이던 메모리 가격이 2010년대 100원 미만으로 떨어짐 데이터 처리기술 발달 분산 병렬처리 기술의 발달로 합리적인 시간 안에 데이터 분석이 가능해짐 CPU 발.. 2018. 5. 3.