Fluentd
1. 개요
Fluentd는 트레저 데이터의 사다유키 후루하시가 개발한 오픈 소스 데이터 수집 도구이다. 주로 루비로 작성되었으며, 2011년 10월에 공개되었다. 2016년 클라우드 네이티브 컴퓨팅 재단(CNCF) 프로젝트에 합류했으며, 2019년 졸업 단계로 인정받았다. Fluentd는 다양한 데이터 소스를 지원하고 통합 로깅 계층을 제공하며, 유연한 플러그인 아키텍처를 갖추고 있다. 아마존 웹 서비스와 구글 클라우드 플랫폼에서 활용되며, Fluentd 프로젝트의 하위 프로젝트인 Fluent Bit도 존재한다.
이미지 준비중입니다.
| 개발자 | 트레저 데이터 |
|---|---|
| 출시일 | 2011년 10월 10일 |
| 최신 버전 | 1.16.6 |
| 최신 버전 출시일 | 2024년 8월 20일 |
| 운영 체제 | 리눅스 (Amazon Linux, CentOS, RHEL) macOS (10.9 이상) Windows (7 이상) |
| 프로그래밍 언어 | C Ruby |
| 장르 | 로깅 툴 |
| 라이선스 | Apache 2.0 |
| 웹사이트 | Fluentd 공식 웹사이트 |
-
자유 과학 소프트웨어 -
BOINC
BOINC는 분산 컴퓨팅 프로젝트를 위한 오픈 소스 플랫폼으로, 개인 컴퓨터의 유휴 자원을 활용하여 과학 연구에 기여하도록 설계되었으며, GPU를 활용하여 계산 속도를 향상시키고 크레딧 시스템을 통해 기여도를 측정한다. -
자유 과학 소프트웨어 -
SciPy
SciPy는 NumPy 배열 구조를 기반으로 수치 적분, 선형 대수, 최적화, 통계 등 과학 및 공학 계산에 사용되는 다양한 기능을 제공하는 파이썬 과학 컴퓨팅 라이브러리이다. -
기계 학습 및 데이터 마이닝 소프트웨어 -
GNU 옥타브
GNU 옥타브는 MATLAB과 높은 호환성을 가지며 수치 해석 계산을 위해 사용되는 자유-오픈 소스 소프트웨어이다. -
기계 학습 및 데이터 마이닝 소프트웨어 -
SAS (소프트웨어)
SAS는 통계 분석, 데이터 마이닝, 예측 모델링 기능을 제공하는 소프트웨어 제품군으로, 농업 데이터 분석을 위해 개발되어 다양한 산업 분야에서 활용되고 있으며 인공지능 및 머신러닝 분야로 투자를 확대하고 있다. -
시스템 관리 -
슈퍼유저
슈퍼유저는 운영 체제에서 모든 권한을 가진 사용자를 지칭하며, 유닉스 계열에서는 root, 윈도우에서는 관리자 계정이 해당 역할을 수행한다. -
시스템 관리 -
유닉스 셸
유닉스 셸은 사용자의 명령을 해석하여 운영 체제에 전달하고 프로그램 실행을 관리하는 명령 줄 인터페이스로서, 톰슨 셸을 시작으로 본 셸, C 셸 등 다양한 셸들이 개발되어 사용자에게 다양한 셸 환경 선택권을 제공한다.
2. 역사
Fluentd는 캘리포니아 마운틴뷰에 위치한 트레저 데이터(Treasure Data, Inc.)의 프로젝트로 사다유키 후루하시가 개발했다. 주로 루비로 작성되었으며, 2011년 10월에 오픈 소스 소프트웨어로 소스 코드가 공개되었다. 2013년에 5의 자금 조달을 발표했다. 이후 Treasure Data는 2018년에 Arm Ltd.에 매각되었고, 2016년에는 클라우드 네이티브 컴퓨팅 재단(CNCF) 프로젝트에 합류했으며, 2019년에는 CNCF 프로젝트 내 레벨 중 졸업 단계로 인정받았다.
2.1. 개발 및 오픈 소스 공개
Fluentd는 캘리포니아 마운틴뷰에 위치한 트레저 데이터(Treasure Data, Inc.)의 프로젝트로 사다유키 후루하시가 개발했다. 주로 루비로 작성되었으며, 2011년 10월에 오픈 소스 소프트웨어로 소스 코드가 공개되었다. 2013년에 5의 자금 조달을 발표했다. 이후 Treasure Data는 2018년에 Arm Ltd.에 매각되었다.
2016년, 클라우드 네이티브 컴퓨팅 재단(CNCF) 프로젝트에 합류했다. 이후 2019년에는 CNCF 프로젝트 내 레벨 중 졸업 단계로 인정받았다.
2.2. 클라우드 네이티브 컴퓨팅 재단 (CNCF) 합류
클라우드 네이티브 컴퓨팅 재단(CNCF)에 2016년에 합류했다. 2019년에는 CNCF 프로젝트 내 레벨 중 졸업 단계로 인정받았다.
3. 주요 특징
Fluentd는 반 구조화 또는 비 구조화 데이터 세트를 위한 빅 데이터 도구이다. 이벤트 로그, 애플리케이션 로그, 클릭 스트림 분석 등에 사용된다. Suonsyrjä와 Mikkonen은 "Fluentd의 기본적인 아이디어는 다양한 유형의 로그 입력과 출력을 통합하는 레이어가 되는 것이다"라고 언급했다. Fluentd는 리눅스, macOS, 윈도우에서 사용할 수 있다.
3.1. 다양한 데이터 소스 지원
Fluentd는 빅데이터, 반구조적 또는 비구조적 데이터 세트를 위해 개발되었다. Fluentd는 이벤트 로그, 애플리케이션 로그, 클릭 스트림을 분석한다. Suonsyrjä와 Mikkonen에 따르면, "Fluentd의 핵심 아이디어는 다양한 유형의 로그 입력과 출력 사이의 통합 계층이 되는 것이다." Fluentd는 리눅스, macOS, 윈도우에서 사용할 수 있다.
3.2. 통합 로깅 계층
Fluentd는 빅데이터, 반구조적 또는 비구조적 데이터 세트를 위해 개발되었다. Fluentd는 이벤트 로그, 애플리케이션 로그, 클릭 스트림을 분석한다. Suonsyrjä와 Mikkonen에 따르면, "Fluentd의 핵심 아이디어는 다양한 유형의 로그 입력과 출력 사이의 통합 계층이 되는 것이다." Fluentd는 리눅스, macOS, 윈도우에서 사용할 수 있다.
3.3. 유연한 플러그인 아키텍처
Fluentd는 반구조화 또는 비구조화 데이터 세트를 위한 빅 데이터 도구이다. 이벤트 로그, 애플리케이션 로그, 클릭 스트림 분석에 사용할 수 있다. Suonsyrjä와 Mikkonen은 "Fluentd의 기본적인 아이디어는 다양한 유형의 로그 입력과 출력을 통합하는 레이어가 되는 것이다"라고 언급했다. Fluentd는 리눅스, macOS, 윈도우에서 사용할 수 있다.
4. 활용 사례
Fluentd는 빅데이터, 반구조적 또는 비구조적 데이터 세트를 위해 개발되었으며, 이벤트 로그, 애플리케이션 로그, 클릭 스트림 분석에 사용된다. Suonsyrjä와 Mikkonen에 따르면, "Fluentd의 핵심 아이디어는 다양한 유형의 로그 입력과 출력 사이의 통합 계층이 되는 것이다." Fluentd는 리눅스, macOS, 윈도우에서 사용할 수 있다.
4.1. 아마존 웹 서비스 (AWS)
Fluentd는 2013년 아마존 웹 서비스에서 아파치 플룸 또는 스카이브와 유사하다고 언급하며 추천한 데이터 수집 도구 중 하나였다.
4.2. 구글 클라우드 플랫폼 (GCP)
구글 클라우드 플랫폼(Google Cloud Platform)의 빅쿼리는 Fluentd를 기본 실시간 데이터 수집 도구로 권장하며, 기본 로깅 에이전트로 google-fluentd라는 구글에서 사용자 정의한 Fluentd 버전을 사용하고 있다.
5. Fluent Bit
Fluent Bit는 Fluentd 프로젝트의 하위 프로젝트로 개발되고 있는 CNCF의 로그 프로세서이자 로그 포워더이다. Fluentd는 C와 루비로 작성되었으며 최소 60MB의 메모리를 사용한다. 반면 Fluent Bit는 C로만 작성되었고, 종속성이 없으며 약 1MB의 메모리를 사용하여 임베디드 리눅스 및 컨테이너에서 실행하기가 더 쉽다. Fluentd는 C와 Ruby로 Ruby gem으로 작성되었기 때문에 의존 관계가 많고 메모리 사용량도 컸지만, Fluent Bit는 C만으로 의존 관계 없이 만들어졌기 때문에 메모리 사용량이 대폭 줄어 컨테이너 환경이나 임베디드 Linux에서도 사용하기 쉬워졌다.