Fluentd

3. 주요 특징

Fluentd는 반 구조화 또는 비 구조화 데이터 세트를 위한 빅 데이터 도구이다. 이벤트 로그, 애플리케이션 로그, 클릭 스트림 분석 등에 사용된다. Suonsyrjä와 Mikkonen은 "Fluentd의 기본적인 아이디어는 다양한 유형의 로그 입력과 출력을 통합하는 레이어가 되는 것이다"라고 언급했다.^[16] Fluentd는 리눅스, macOS, 윈도우에서 사용할 수 있다.^[17]

3. 1. 다양한 데이터 소스 지원

3. 2. 통합 로깅 계층

3. 3. 유연한 플러그인 아키텍처

4. 활용 사례

Fluentd는 빅데이터, 반구조적 또는 비구조적 데이터 세트를 위해 개발되었으며, 이벤트 로그, 애플리케이션 로그, 클릭 스트림 분석에 사용된다.^[3] Suonsyrjä와 Mikkonen에 따르면, "Fluentd의 핵심 아이디어는 다양한 유형의 로그 입력과 출력 사이의 통합 계층이 되는 것이다."^[4] Fluentd는 리눅스, macOS, 윈도우에서 사용할 수 있다.^[5]

4. 1. 아마존 웹 서비스 (AWS)

4. 2. 구글 클라우드 플랫폼 (GCP)

5. Fluent Bit

Fluent Bit는 Fluentd 프로젝트의 하위 프로젝트로 개발되고 있는 CNCF의 로그 프로세서이자 로그 포워더이다.^[13] Fluentd는 C와 루비로 작성되었으며 최소 60MB의 메모리를 사용한다. 반면 Fluent Bit는 C로만 작성되었고, 종속성이 없으며 약 1MB의 메모리를 사용하여 임베디드 리눅스 및 컨테이너에서 실행하기가 더 쉽다.^[14] Fluentd는 C와 Ruby로 Ruby gem으로 작성되었기 때문에 의존 관계가 많고 메모리 사용량도 컸지만, Fluent Bit는 C만으로 의존 관계 없이 만들어졌기 때문에 메모리 사용량이 대폭 줄어 컨테이너 환경이나 임베디드 Linux에서도 사용하기 쉬워졌다.^{[28] [27]}

참조

_[1] 웹사이트 Releases - fluent/fluentd https://github.com/f[...]
_[2] URL https://docs.fluentd[...] 2024-08
_[3] 서적 Data Lake Development with Big Data https://books.google[...] Packt 2015
_[4] 서적 Designing an Unobtrusive Analytics Framework for Monitoring Java Applications https://books.google[...] Springer
_[5] 웹사이트 Download Fluentd http://www.fluentd.o[...] 2016-03-10
_[6] 뉴스 Treasure Data: Breaking down the Hadoop barrier https://jaxenter.com[...] JAXenter 2013-10-30
_[7] 웹사이트 What is Fluentd? http://www.fluentd.o[...] 2016-03-10
_[8] 뉴스 Treasure Data raises $5M, fuses Hadoop and data warehouse in Amazon's cloud 2013-07-23
_[9] 웹사이트 Arm unit Treasure Data to seek buyer or IPO before Nvidia sale https://asia.nikkei.[...] 2021-08-02
_[10] 웹사이트 Best Practices for Amazon EMR http://media.amazonw[...] Amazon Web Services 2017-03-24
_[11] 웹사이트 Real-time logs analysis using Fluentd and BigQuery https://cloud.google[...] 2016-03-10
_[12] 웹사이트 The Logging Agent https://cloud.google[...] 2016-03-10
_[13] 웹사이트 Fluent Bit https://fluentbit.io[...] 2021-12-05
_[14] 웹사이트 Fluentd & Fluent Bit - Fluent Bit: Official Manual https://docs.fluentb[...] 2021-12-05
_[15] 웹사이트 Releases - fluent/fluentd https://github.com/f[...] 2022-08-28
_[16] 서적 Designing an Unobtrusive Analytics Framework for Monitoring Java Applications https://books.google[...] Springer
_[17] 웹사이트 Download Fluentd http://www.fluentd.o[...] 2016-03-10
_[18] 웹사이트 イベントログ収集ツール fluent リリース！ https://frsyuki.hate[...] 2021-01-25
_[19] 뉴스 Treasure Data: Breaking down the Hadoop barrier https://jaxenter.com[...] JAXenter 2013-10-30
_[20] 웹사이트 What is Fluentd? http://www.fluentd.o[...] 2016-03-10
_[21] 뉴스 Treasure Data raises $5M, fuses Hadoop and data warehouse in Amazon's cloud 2013-07-23
_[22] 웹사이트 データ収集ソフト「Fluentd」が有力OSSの仲間入り、「CNCF」のプロジェクトに https://xtech.nikkei[...] 日経クロステック（xTECH） 2021-07-23
_[23] 웹사이트 2019年4月12日　Fluentd，CNCFで6番目の"卒業"プロジェクトに認定：Linux Daily Topics https://gihyo.jp/adm[...] gihyo.jp 2021-07-23
_[24] 웹사이트 Best Practices for Amazon EMR http://media.amazonw[...] Amazon Web Services 2017-03-24
_[25] 웹사이트 Real-time logs analysis using Fluentd and BigQuery https://cloud.google[...] 2016-03-10
_[26] 웹사이트 The Logging Agent https://cloud.google[...] 2016-03-10
_[27] 웹사이트 Fluent Bit https://fluentbit.io[...] 2021-12-05
_[28] 웹사이트 Fluentd & Fluent Bit - Fluent Bit: Official Manual https://docs.fluentb[...] 2021-12-05
_[29] 서적 Data Lake Development with Big Data https://books.google[...] Packt 2015