FFmpeg

1. 개요

FFmpeg는 2000년 시작된 오픈 소스 프로젝트로, 다양한 오디오 및 비디오 형식을 변환하고 처리하는 데 사용되는 강력한 명령줄 도구와 라이브러리를 제공한다. 2004년부터 2015년까지 미하엘 니더마이어가 이끌었으며, 3개월마다 새로운 릴리스를 발표한다. FFmpeg은 자체 코덱 외에도 다양한 표준 코덱 및 컨테이너 형식을 지원하며, CPU, 특수 목적 하드웨어, 다양한 미디어 및 인터페이스를 지원한다. 블렌더, 유튜브, 구글 크롬 등 다양한 소프트웨어 및 프로젝트에서 사용되며, NASA의 화성 2020 임무에도 활용되었다.

2. 역사

FFmpeg 프로젝트는 2000년 파브리스 벨라드에 의해 시작되었으며, 2004년부터 2015년까지는 미하엘 니더마이어가 주도하였다. 일부 FFmpeg 개발자들은 MPlayer 프로젝트 소속 개발자들이기도 했다.

2011년 3월 13일, FFmpeg 개발자 그룹은 Libav라는 이름으로 프로젝트를 포크하기로 결정했다. 이는 프로젝트 관리 문제와 개발자 간의 리더십 불일치 때문이었다. 이 분열로 데비안, 우분투 11.04, 젠투 리눅스는 Libav를 채택했다. 2015년 7월 데비안은 보안 문제 대응으로 Libav를 배제하고 FFmpeg 채용으로 돌아섰으며, 우분투도 FFmpeg를 다시 채택했다.

2014년 1월 10일, 두 명의 구글 직원들이 퍼즈 테스팅을 이용하여 과거 2년 간 1,000개 이상의 버그를 FFmpeg에서 수정하였다고 발표하였다.

2018년 1월, FFmpeg의 일부였던 ffserver 명령 줄 프로그램이 제거되었다. 이는 내부 API 이용으로 인한 높은 유지보수 노력 때문이었다.

프로젝트는 평균 3개월에 한 차례 새로운 릴리스를 출시한다. 릴리스 버전은 웹사이트에서 다운로드할 수 있지만, FFmpeg 개발자들은 사용자가 소스 코드 Git 버전 관리 시스템으로부터 최신 빌드를 이용하여 소스로부터 소프트웨어를 컴파일할 것을 권고한다.

2022년 1월 17일 큰 API 변경과 비권장 API 삭제가 이루어진 FFmpeg 5.0이 출시되었다.

2.1. 코덱 역사

FFmpeg 프로젝트 내에서 FFV1, Snow, NUT 등 세 개의 비디오 코딩 형식 및 컨테이너 형식이 생성되었다. FFV1은 무손실 코덱이며, Snow는 무손실 및 손실 압축을 지원한다. Snow 코덱 개발은 중단되었고 비트스트림 형식도 확정되지 않아 2011년부터 실험적인 상태로 유지되고 있다. NUT 컨테이너 형식은 더 이상 활발히 개발되지는 않지만 유지보수는 진행 중이다.

2010년 여름, FFmpeg 개발자 피오나 글레이저, 로널드 불트예, 데이비드 콘래드는 ffvp8 디코더를 발표했다. 이들은 테스트를 통해 ffvp8이 구글의 libvpx 디코더보다 빠르다는 것을 확인했다. FFmpeg는 0.6 버전부터 WebM과 VP8을 지원했다.

2013년 10월, FFmpeg에 네이티브 VP9 디코더와 오픈 소스 HEVC 디코더인 OpenHEVC가 추가되었다. 2016년에는 네이티브 AAC 인코더가 안정화되면서 VisualOn 및 FAAC 등 외부 AAC 인코더 지원이 제거되었다. FFmpeg 3.0 ("아인슈타인")은 Fraunhofer FDK AAC 인코더에 대한 빌드 지원을 유지했다. FFmpeg는 3.4 ("칸토어") 버전부터 FITS 이미지 형식을 지원했다. 2018년 11월, FFmpeg 4.1 ("알콰리즈미")부터 AV1을 MP4 및 Matroska (WebM 포함)에 멀티플렉싱할 수 있게 되었다.

3. 구성 요소

FFmpeg는 크게 명령줄 도구와 라이브러리로 구성된다.

=== 명령줄 도구 ===

* `ffmpeg`: 오디오 또는 비디오 형식을 변환하는 명령줄 도구이다. TV 캡처 카드와 같은 다양한 하드웨어 및 소프트웨어 소스에서 실시간으로 캡처하고 인코딩할 수 있다.
* `ffplay`: SDL 및 FFmpeg 라이브러리를 활용하는 간단한 미디어 플레이어이다.
* `ffprobe`: 미디어 정보를 표시하는 명령줄 도구이다. MediaInfo도 참조.

=== 라이브러리 ===

* libavcodec: 모든 네이티브 FFmpeg 오디오/비디오 인코더 및 디코더를 담고 있는 라이브러리이다. 대부분의 코덱은 최고의 성능과 높은 코드 재사용성을 보장하기 위해 처음부터 개발되었다.
* libavformat(Lavf): 오디오/비디오 컨테이너 형식에 대한 디멀티플렉서 및 멀티플렉서를 담고 있는 라이브러리이다.
* libavutil: 해시 함수, 암호, LZO 디컴프레서, Base64 인코더/디코더 등 FFmpeg의 여러 부분에 공통적으로 사용되는 루틴을 담고 있는 헬퍼 라이브러리이다.
* libswresample: 오디오 리샘플링 루틴을 담고 있는 라이브러리이다.
* libavresample: Libav 프로젝트의 오디오 리샘플링 루틴을 담고 있는 라이브러리로, ffmpeg의 libswresample과 유사하다.
* libpostproc: 이전 H.263 기반 비디오 후처리 루틴을 담고 있는 라이브러리이다.
* libswscale: 비디오 이미지 스케일링 및 색 공간/픽셀 형식 변환 루틴을 담고 있는 라이브러리이다.
* libavfilter: 디코더와 인코더 사이에서 비디오/오디오를 수정하거나 검사(디버깅용)할 수 있도록 하는 vhook의 대체품이다. 필터는 MPlayer 및 avisynth를 포함한 많은 프로젝트에서 포팅되었다.
* libavdevice: 내부 및 외부 장치를 통해 오디오/비디오 입출력을 담고 있는 라이브러리이다.

3.1. 명령줄 도구

* `ffmpeg`는 오디오 또는 비디오 형식을 변환하는 명령줄 도구이다. TV 캡처 카드와 같은 다양한 하드웨어 및 소프트웨어 소스에서 실시간으로 캡처하고 인코딩할 수도 있다.
* `ffplay`는 SDL 및 FFmpeg 라이브러리를 활용하는 간단한 미디어 플레이어이다.
* `ffprobe`는 미디어 정보(텍스트, CSV, XML, JSON)를 표시하는 명령줄 도구이다. MediaInfo도 참조.

3.2. 라이브러리

* libavcodec: 모든 네이티브 FFmpeg 오디오/비디오 인코더 및 디코더를 담고 있는 라이브러리이다. 대부분의 코덱은 최고의 성능과 높은 코드 재사용성을 보장하기 위해 처음부터 개발되었다.
* libavformat(Lavf): 오디오/비디오 컨테이너 형식에 대한 디멀티플렉서 및 멀티플렉서를 담고 있는 라이브러리이다.
* libavutil: 해시 함수, 암호, LZO 디컴프레서, Base64 인코더/디코더 등 FFmpeg의 여러 부분에 공통적으로 사용되는 루틴을 담고 있는 헬퍼 라이브러리이다.
* libswresample: 오디오 리샘플링 루틴을 담고 있는 라이브러리이다.
* libavresample: Libav 프로젝트의 오디오 리샘플링 루틴을 담고 있는 라이브러리로, ffmpeg의 libswresample과 유사하다.
* libpostproc: 이전 H.263 기반 비디오 후처리 루틴을 담고 있는 라이브러리이다.
* libswscale: 비디오 이미지 스케일링 및 색 공간/픽셀 형식 변환 루틴을 담고 있는 라이브러리이다.
* libavfilter: 디코더와 인코더 사이에서 비디오/오디오를 수정하거나 검사(디버깅용)할 수 있도록 하는 vhook의 대체품이다. 필터는 MPlayer 및 avisynth를 포함한 많은 프로젝트에서 포팅되었다.
* libavdevice: 내부 및 외부 장치를 통해 오디오/비디오 입출력을 담고 있는 라이브러리이다.

4. 지원 하드웨어

FFmpeg는 다양한 주문형 반도체(ASIC)를 통해 오디오/비디오 압축 및 압축 해제 계산 작업을 호스트 CPU에서 부분적으로 또는 완전히 오프로드할 수 있도록 지원한다. 이러한 ASIC를 사용하려면 알고리즘의 전체 구현 대신 API만 필요하다.

다음 API도 지원된다: DirectX 비디오 가속 (DXVA2, 윈도우(Windows)), Direct3D 11 (D3D11VA, 윈도우), Media Foundation (윈도우), Vulkan (VKVA), VideoToolbox (iOS, iPadOS, macOS), RockChip MPP, OpenCL, OpenMAX, MMAL (라즈베리 파이), MediaCodec (안드로이드 OS), V4L2 (리눅스). 환경에 따라, 이러한 API는 특정 ASIC, GPGPU 루틴 또는 SIMD CPU 코드로 이어질 수 있다.

4.1. CPU

FFmpeg는 x86(IA-32 및 x86-64), PowerPC, ARM, DEC Alpha, SPARC, MIPS를 포함한 여러 명령어 집합을 지원한다.

4.2. 특수 목적 하드웨어

다양한 주문형 반도체(ASIC)를 통해 호스트 CPU에서 오디오/비디오 압축 및 압축 해제 계산 작업을 부분적으로 또는 완전히 오프로드할 수 있다. 이러한 ASIC를 사용하려면 알고리즘의 전체 구현 대신 API만 필요하다.

다음 API도 지원된다: DirectX 비디오 가속 (DXVA2, 윈도우(Windows)), Direct3D 11 (D3D11VA, 윈도우), Media Foundation (윈도우), Vulkan (VKVA), VideoToolbox (iOS, iPadOS, macOS), RockChip MPP, OpenCL, OpenMAX, MMAL (라즈베리 파이), MediaCodec (안드로이드 OS), V4L2 (리눅스). 환경에 따라, 이러한 API는 특정 ASIC, GPGPU 루틴 또는 SIMD CPU 코드로 이어질 수 있다.

5. 지원 코덱 및 형식

FFmpeg는 다양한 이미지 형식, 오디오/비디오 코덱, 컨테이너 형식, 프로토콜 등을 지원한다. 2011년 개발 체제 대립으로 ffmpeg.org와 libav.org로 분열되었으나, 2015년 데비안과 우분투는 다시 FFmpeg를 채용했다.

FFmpeg 프로젝트는 FFV1 (무손실 비디오 코덱), Snow 코덱 (무손실 및 손실 압축 지원), NUT (멀티미디어 컨테이너 형식)을 개발했다. Snow 코덱은 2011년부터 실험적인 상태이며, NUT는 유지보수만 되고 있다.

2010년 여름, FFmpeg 개발자들은 ffvp8 디코더가 libvpx 디코더보다 빠르다고 발표했다. FFmpeg는 0.6 버전부터 WebM과 VP8을 지원했고, 2013년 10월에는 네이티브 VP9 디코더와 OpenHEVC (HEVC 디코더)가 추가되었다.

2016년, 네이티브 AAC 인코더가 안정화되어 VisualOn 및 FAAC의 두 외부 AAC 인코더에 대한 지원이 제거되었고, Fraunhofer FDK AAC 인코더는 빌드 지원을 유지했다. FFmpeg 3.4 버전부터 FITS 이미지 형식을, 4.1 버전부터 AV1을 MP4 및 Matroska (WebM 포함)에 멀티플렉싱할 수 있게 되었다. 2022년 1월 17일, 큰 API 변경과 비권장 API 삭제가 이루어진 FFmpeg 5.0이 출시되었다.

지원 코덱에 대한 자세한 내용은 libavcodec 라이브러리에서 확인할 수 있다.

5.1. 이미지 형식

FFmpeg은 많은 일반적인 이미지 형식과 몇몇 특이한 이미지 형식을 지원한다.

PGMYUV 이미지 형식은 바이너리(P5) PGM Netpbm 형식의 자체 제작 변형이다. FFmpeg은 또한 PGM 및 PPM 형식의 16비트 심도, 그리고 `pix_fmts`가 monob, gray, gray16be, rgb24, rgb48be, ya8, rgba, rgb64be인 알파 채널 유무에 관계없이 8비트 또는 16비트 심도의 바이너리(P7) PAM 형식을 지원한다.

5.2. 지원 형식

FFmpeg는 자체 개발한 FFV1, Snow 형식을 포함하여 다양한 형식을 지원한다.

5.3. Muxer

FFmpeg는 출력 형식(컨테이너 형식 및 출력 스트림을 생성하는 기타 방법)을 "muxer"라고 부른다. FFmpeg가 지원하는 Muxer는 다음과 같다.

5.4. 픽셀 형식

FFmpeg는 다양한 픽셀 형식을 지원한다. 흑백, RGB, YUV, XYZ, 바이어 등 다양한 색상 공간 및 비트 심도를 다룬다.

FFmpeg는 IMC1-IMC4, AI44, CYMK, RGBE, 로그 RGB 등은 지원하지 않는다. 또한, 일반적으로 사용되지 않는 ARGB 1:5:5:5, 2:10:10:10, BMP 비트 필드 형식도 지원하지 않는다.

6. 지원 프로토콜

FFmpeg는 TCP, UDP, HTTP, RTP, RTSP, RealMedia RTSP/RDT, RTMP, librtmp를 경유하는 RTMPT, RTMPE, RTMPTE, RTMPS, SDP, 고퍼, MMS over TCP 등 다양한 프로토콜을 지원한다.

6.1. 오픈 표준

6.2. De facto 표준

* RTSP over TLS
* 아이스캐스트 프로토콜
* 어도비 RTMP, RTMPT, RTMPE, RTMPTE 및 RTMPS
* RealMedia RTSP/RDT
* 제로MQ (libzmq를 통해)
* RIST (librist)
* TCP
* UDP
* HTTP
* RTP
* RTSP
* RTMP
* RTMPT, RTMPE, RTMPTE, RTMPS (librtmp 경유)
* SDP
* 고퍼
* MMS over TCP

7. 지원 필터

FFmpeg은 다양한 오디오 및 비디오 필터를 지원한다.

FFmpeg에서 지원하는 필터에 대한 자세한 내용은 하위 섹션에서 확인할 수 있다.

7.1. 오디오 필터

* 리샘플링 (aresample)
* 패스/스톱 필터
로우패스 필터 (lowpass)
하이패스 필터 (highpass)
올패스 필터 (allpass)
버터워스 밴드패스 필터 (bandpass)
버터워스 밴드스톱 필터 (bandreject)
* 임의 유한 임펄스 응답 필터 (afir)
* 임의 무한 임펄스 응답 필터 (aiir)
* 이퀄라이저
피크 이퀄라이저 (equalizer)
버터워스/체비셰프 I형/II형 멀티밴드 이퀄라이저 (anequalizer)
로우 셸빙 필터 (bass)
하이 셸빙 필터 (treble)
Xbox 360 이퀄라이저
FIR 이퀄라이저 (firequalizer)
바이어드 필터 (biquad)
* DC 오프셋 제거/추가 (dcshift)
* 표현식 평가
시간 도메인 표현식 평가 (aeval)
주파수 도메인 표현식 평가 (afftfilt)
* 다이내믹스
리미터 (alimiter)
컴프레서 (acompressor)
다이내믹 레인지 익스팬더 (crystalizer)
사이드체인 컴프레서 (sidechaincompress)
컴팬더 (compand)
노이즈 게이트 (agate)
사이드체인 노이즈 게이트(sidechaingate)
* 디스토션
비트크러셔 (acrusher)
* 엠퍼시스 (aemphasis)
* 증폭/노멀라이저
볼륨 (volume)
다이내믹 오디오 노멀라이저 (dynaudnorm)
EBU R 128 라우드니스 노멀라이저 (loudnorm)
* 변조
사인파 진폭 변조 (tremolo)
사인파 위상 변조 (vibrato)
페이저 (aphaser)
코러스 (chorus)
플랜저 (flanger)
펄세이터 (apulsator)
* 에코/리버브
에코 (aecho)
* 라우팅/패닝
스테레오 와이드닝 (stereowiden)
채널 차이 증가 (extrastereo)
M/S to L/R (stereotools)
채널 매핑 (channelmap)
채널 분할 (channelsplit)
채널 패닝 (pan)
채널 병합 (amerge)
채널 결합 (join)
헤드폰용
* 스테레오 to 바이노럴 (earwax, SoX에서 포팅)
* 바우어 스테레오 to 바이노럴 (bs2b, libbs2b 경유)
* 크로스피드 (crossfeed)
* 멀티채널 to 바이노럴 (sofalizer, libnetcdf 필요)
* 딜레이
딜레이 (adelay)
거리별 딜레이 (compensationdelay)
* 페이드
페이더 (afade)
크로스페이더 (acrossfade)
* 오디오 시간 늘이기 및 피치 스케일링
시간 늘이기 (atempo)
시간 늘이기 및 피치 시프팅 (rubberband, librubberband 경유)
* 편집
트림 (atrim)
무음 패딩 (apad)
무음 제거 (silenceremove)
* 프레임/채널 정보 표시
프레임 정보 표시 (ashowinfo)
채널 정보 표시 (astats)
무음 범위 표시 (silencedetect)
오디오 볼륨 표시 (volumedetect)
리플레이게인 스캐너 (replaygain)
* 프레임/채널 정보 수정
출력 형식 설정 (aformat)
샘플 수 설정 (asetnsamples)
샘플링 레이트 설정 (asetrate)
* 믹서 (amix)
* 동기화 (asyncts)
* HDCD 데이터 디코더 (hdcd)
* 플러그인
LADSPA (ladspa)
LV2 (lv2)
* 아무것도 안 함 (anull)

7.2. 비디오 필터

* 변환
자르기 (crop, cropdetect)
페이드 (fade)
크기 조절 (scale)
패딩 (pad)
회전 (rotate)
전치 (transpose)
기타:
* 렌즈 보정 (lenscorrection)
* OpenCV 필터링 (ocv)
* 원근 보정 (perspective)
* 시간 편집
프레임 속도 (fps, framerate)
루핑 (loop)
트리밍 (trim)
* 디인터레이싱 (bwdif, idet, kerndeint, nnedi, yadif, w3fdif)
* 역 텔레시네
* 필터링
블러링 (boxblur, gblur, avgblur, sab, smartblur)
컨볼루션 필터
* 컨볼루션 (convolution)
* 가장자리 감지 (edgedetect)
* 소벨 필터 (sobel)
* 프리윗 필터 (prewitt)
* 언샵 마스킹 (unsharp)
* 디노이징 (atadenoise, bitplanenoise, dctdnoiz, owdenoise, removegrain)
* 로고 제거 (delogo, removelogo)
* 자막 (ASS, subtitles)
* 알파 채널 편집 (alphaextract, alphamerge)
* 키잉 (chromakey, colorkey, lumakey)
* 프레임 감지
블랙 프레임 감지 (blackdetect, blackframe)
썸네일 선택 (thumbnail)
* 프레임 블렌딩 (blend, tblend, overlay)
* 비디오 안정화 (vidstabdetect, vidstabtransform)
* 색상 및 레벨 조정
균형 및 레벨 (colorbalance, colorlevels)
채널 믹싱 (colorchannelmixer)
색 공간 (colorspace)
파라메트릭 조정 (curves, eq)
* 히스토그램 및 시각화
CIE 스코프 (ciescope)
벡터스코프 (vectorscope)
파형 모니터 (waveform)
색상 히스토그램 (histogram)
* 드로잉
* OCR
* 품질 측정
SSIM (ssim)
PSNR (psnr)
* 룩업 테이블
** lut, lutrgb, lutyuv, lut2, lut3d, haldclut

8. 지원 미디어 및 인터페이스

FFmpeg은 외부 라이브러리를 통해 여러 장치를 지원한다. 지원하는 장치는 다음과 같다.