빅데이터/flume3 [flume] HTTP로 플룸 모니터링 설정하는 방법 Flume 에이전트는 HTTP를 이용한 REST API로 플룸 작업 모니터링을 위한 방법을 제공합니다. 기본적으로 JMX, Ganglia, JSON 모니터링과 사용자 커스텀 모니터링 방법을 제공합니다. 여기서는 JSON 모니터링 방법을 알아보겠습니다. HTTP 모니터링 설정 JSON 모니터링은 에이전트를 실행할 때 flume.monitoring.type, flume.monitoring.port를 설정하는 것으로 간단하게 설정할 수 있습니다. 에이전트를 실행할 때 모니터링 옵션을 설정하여 실행하고, 아래와 같이 curl 명령으로 현재 플룸 에이전트의 상태를 간단하게 모니터링 할 수 있습니다. # 모니터링 설정 $ bin/flume-ng agent --conf-file conf/example.conf --n.. 2020. 6. 3. [flume] ChannelFullException 오류 확인 플룸 메모리 채널을 이용할 때 ChannelFullException이 발생하는 경우가 있습니다. 보통 메모리 채널과 연결된 싱크에서 데이터가 쌓이는 속도보다 빠르게 데이터를 처리하지 못하여 발생합니다. 메모리 채널과 파일 싱크를 연결했을 때 메모리 채널에 데이터가 쌓이는 속도보다 파일을 쓰는 속도가 느릴때 발생할 수 있습니다. Caused by: org.apache.flume.ChannelFullException: Space for commit to queue couldn't be acquired. Sinks are likely not keeping up with sources, or the buffer size is too tight at org.apache.flume.channel.MemoryChan.. 2020. 6. 2. [flume] 플룸 구조, 특징 로그 수집 단계에서 이용하는 아파치 플룸(Flume)에 대해서 알아보겠습니다. 아파치 플룸(Flume) 클라우데라에서 개발하여 공개한 데이터 수집을 위한 오픈 소스 대량의 로그 데이터를 여러 소스에서 수집하여 저장하기 위한 목적 확장 가능하고, 신뢰성 있음. 현재는 아파치 탑레벨 오픈 소스 플룸 1.1.0 부터 구조가 변경되어 Flume-NG로 불려짐. 이전 버전은 Flume-OG 2019.07 현재 1.9.0 버전이 최신 아파치 플름 홈페이지바로가기 구조 주요 용어 이벤트 플룸에서 전달하는 데이터 단위 헤더와 바디로 구성 byte payload and an optional set of string attributes 헤더: set of string attributes 바디: byte payload 이벤.. 2019. 7. 26. 이전 1 다음