고급 오디오 부호화

1. 개요

고급 오디오 부호화(AAC)는 고품질 디지털 오디오 표현을 위해 개발된 손실 압축 방식의 오디오 코딩 알고리즘이다. 1997년 MPEG에 의해 국제 표준으로 채택되었으며, MP3의 단점을 개선하여 다양한 샘플 주파수와 채널을 지원하고, 수정 이산 코사인 변환(MDCT)을 사용하여 효율적인 인코딩을 가능하게 한다. AAC는 MPEG-2와 MPEG-4 표준에 포함되며, AAC-LC, HE-AAC, HE-AAC v2 등 다양한 프로파일과 기술 확장을 제공한다. AAC는 라이선스 및 특허가 적용되며, 다양한 하드웨어 및 소프트웨어에서 지원되어 디지털 방송, 음악 배포 서비스 등에서 널리 사용된다.

2. 역사

이산 코사인 변환(DCT)은 1972년 나시르 아흐메드가 제안한 손실 압축을 위한 변환 코딩 유형이다. 1973년 아흐메드는 T. 나타라잔 및 K. R. 라오와 함께 DCT를 개발하여 1974년에 그 결과를 발표했다. 1987년 J. P. 프린센, A. W. 존슨, A. B. 브래들리는 수정된 이산 코사인 변환(MDCT)을 제안했는데, 이는 1986년 프린센과 브래들리의 이전 연구를 바탕으로 한 것이다.

AAC는 벨 연구소, 프라운호퍼 IIS, 돌비 래버러토리스, LG전자, NEC, 파나소닉, 소니, ETRI, JVC 켄우드, 필립스, 마이크로소프트, NTT 등 여러 회사의 협력과 기여로 개발되었다.

1997년 4월 MPEG에 의해 AAC는 국제 표준으로 공식 선언되었으며, MPEG-2 Part 7 (ISO/IEC 13818-7:1997)로 처음 소개되었다. 1999년에는 MPEG-4 Part 3 (ISO/IEC 14496-3:1999)로 알려진 MPEG-4 표준군에 포함되었다.

2.1. 배경

이산 코사인 변환(DCT)은 1972년 나시르 아흐메드가 제안한 손실 압축을 위한 변환 코딩 유형이다. 1973년 아흐메드는 T. 나타라잔 및 K. R. 라오와 함께 DCT를 개발하여 1974년에 그 결과를 발표했다. 1987년 J. P. 프린센, A. W. 존슨, A. B. 브래들리는 수정된 이산 코사인 변환(MDCT)을 제안했는데, 이는 1986년 프린센과 브래들리의 이전 연구를 바탕으로 한 것이다. 1992년에 도입된 MP3는 MDCT와 FFT의 일부를 혼합한 하이브리드 코딩 알고리즘을 사용했다. AAC는 순수하게 MDCT 알고리즘을 사용하여 MP3보다 높은 압축 효율을 제공한다. 라르스 릴제리드는 노래나 음성의 디지털화된 형태를 저장하는 데 필요한 정보의 양을 획기적으로 줄이는 방법을 도입했다.

AAC는 벨 연구소, 프라운호퍼 IIS, 돌비 래버러토리스, LG전자, NEC, 파나소닉, 소니, ETRI, JVC 켄우드, 필립스, 마이크로소프트, NTT 등 여러 회사의 협력과 기여로 개발되었다.

2.2. 표준화

MPEG에 의해 1997년 4월 AAC는 국제 표준으로 공식 선언되었다. 1997년, AAC는 MPEG-2 Part 7 (ISO/IEC 13818-7:1997)로 처음 소개되었다. MPEG-2 Part 7은 Low-Complexity (AAC-LC), Main (AAC Main), Scalable Sampling Rate (AAC-SSR)의 세 가지 프로파일을 정의했다.

1999년, MPEG-2 Part 7은 업데이트되어 MPEG-4 Part 3 (ISO/IEC 14496-3:1999)로 알려진 MPEG-4 표준군에 포함되었다. 이 버전의 AAC 표준에서는 지각적 노이즈 대체(Perceptual Noise Substitution)가 추가되었고, AAC 프로파일(AAC-LC, AAC Main 및 AAC-SSR 프로파일)은 지각적 노이즈 대체와 결합되어 MPEG-4 오디오 표준에서 오디오 객체 유형으로 정의된다.

MPEG-4 오디오 버전 2 (ISO/IEC 14496-3:1999/Amd 1:2000)는 새로운 오디오 객체 유형과 프로파일을 정의했다. HE-AAC 프로파일 (SBR이 포함된 AAC LC) 및 AAC 프로파일 (AAC LC)은 ISO/IEC 14496-3:2001/Amd 1:2003에 표준화되었다. HE-AAC v2 프로파일 (SBR 및 파라메트릭 스테레오가 포함된 AAC LC)은 ISO/IEC 14496-3:2005/Amd 2:2006에 지정되었다. 현재 버전의 AAC 표준은 ISO/IEC 14496-3:2009에 정의되어 있다. AAC+ v2는 유럽 전기 통신 표준 협회(ETSI)에서 TS 102005로 표준화되었다.

3. MP3 대비 개선점

AAC는 이전까지 기술적인 문제가 있었던 MP3의 한계를 뛰어넘었다. 대표적인 개선점은 다음과 같다.

* 샘플 주파수를 MP3의 8kHz ~ 48kHz에서 8kHz ~ 96kHz로 확장했다.
* 최대 채널 수를 확장했다. MP3는 MPEG-1 모드에서 최대 2채널, MPEG-2 모드에서 최대 5.1채널을 지원했으나, AAC는 최대 48채널을 지원한다.
* 고정 비트레이트에서도 필요에 따라 비트를 가변적으로 할당한다.
* 조인트 스테레오를 개선하여 저 비트레이트에서 음이 뭉개지는 현상을 개선하였다.
* 알고리즘을 하이브리드(Hybrid) 형식에서 수정 이산 코사인 변환(Pure MDCT) 형식으로 바꾸어 더욱 효율적인 인코딩이 가능해졌다.
* 정상 신호에 대한 더 높은 코딩 효율성을 가진다. (AAC는 1024 또는 960개의 샘플 블록 크기를 사용하여 MP3의 576개 샘플 블록보다 더 효율적인 코딩 가능)
* 과도 신호에 대한 더 높은 코딩 정확도를 가진다. (AAC는 128 또는 120개의 샘플 블록 크기를 사용하여 MP3의 192개 샘플 블록보다 더 정확한 코딩 가능)
* 카이저-베셀 파생 윈도우 함수를 사용하여 주 로브를 넓히는 대신 스펙트럼 누출을 제거할 가능성을 제공한다.

HE-AAC에서는 저 비트레이트에서도 음역 보존률이 아주 좋다.

4. 기능

AAC는 고품질 디지털 오디오를 표현하는 데 필요한 데이터의 양을 줄이기 위해 다음 두 가지 주요 코딩 전략을 활용하는 광대역 오디오 코딩 알고리즘이다.

* 지각적으로 관련 없는 신호 성분은 버린다.
* 코딩된 오디오 신호의 중복성을 제거한다.

인코딩 프로세스는 다음과 같다.

* 신호는 정방향 수정 이산 코사인 변환(MDCT)을 사용하여 시간 도메인에서 주파수 도메인으로 변환된다. 이는 적절한 수의 시간 샘플을 가져와 주파수 샘플로 변환하는 필터 뱅크를 사용하여 수행된다.
* 주파수 도메인 신호는 심리음향 모델을 기반으로 양자화되고 인코딩된다.
* 내부 오류 정정 코드가 추가된다.
* 신호가 저장되거나 전송된다.
* 손상된 샘플을 방지하기 위해 Luhn mod N 알고리즘의 최신 구현이 각 프레임에 적용된다.

MPEG-4 오디오 표준은 저 비트 전송률 음성 코딩에서 고품질 오디오 코딩 및 음악 합성에 이르기까지 광범위한 작업을 수행하는 복잡한 도구 상자를 정의한다. AAC는 8 kHz에서 96 kHz 사이의 샘플링 주파수와 1에서 48 사이의 채널 수를 제공하며, MP3의 하이브리드 필터 뱅크와 달리 1024 또는 960 포인트의 증가된 윈도우 길이를 가진 수정 이산 코사인 변환(MDCT)을 사용한다.

AAC 인코더는 신호 변화나 과도 현상이 발생하면 더 나은 시간적 해상도를 위해 128/120 포인트의 8개의 더 짧은 윈도우를 선택하고, 기본적으로는 더 긴 1024포인트/960포인트 윈도우를 사용하여 향상된 코딩 효율성을 얻는다.

4.1. 모듈 방식 인코딩

AAC는 모듈 방식의 인코딩을 사용한다. 인코딩될 비트스트림의 복잡성, 원하는 성능 및 허용 가능한 출력을 고려하여 구현자는 특정 애플리케이션에 사용할 특정 도구 집합을 정의하는 프로파일을 만들 수 있다.

MPEG-2 Part 7 표준 (고급 오디오 부호화)은 1997년에 처음 발표되었으며 세 가지 기본 프로파일을 제공한다.

* 낮은 복잡도(LC) - 가장 단순하고 널리 사용되며 지원되는 프로파일이다.
* 메인 프로파일(Main) - LC 프로파일과 유사하지만 역방향 예측이 추가되었다.
* 확장 가능한 샘플 속도(SSR)

MPEG-4 Part 3 표준 (MPEG-4 오디오)은 다양한 새로운 압축 도구(오디오 객체 유형) 및 새로운 프로파일에서의 사용법을 정의했다. AAC는 일부 MPEG-4 오디오 프로파일에서 사용되지 않는다. MPEG-2 Part 7 AAC LC 프로파일, AAC Main 프로파일 및 AAC SSR 프로파일은 지각적 잡음 대체와 결합되어 MPEG-4 오디오 표준에서 오디오 객체 유형 (AAC LC, AAC Main 및 AAC SSR)으로 정의된다. 이들은 MPEG-4 오디오 프로파일에서 다른 객체 유형과 결합된다.

4.2. 오류 보호 및 복원

AAC는 오류 보호를 적용하여 오류를 수정할 수 있다. 오류 복원(Error Resilience, ER) 기술은 코딩 방식 자체를 오류에 더 강하게 만든다.

AAC의 오류 복원 방식은 다음과 같다.
* 허프만 코드워드 재정렬(Huffman Codeword Reordering, HCR)은 스펙트럼 데이터 내에서 오류 전파를 방지한다.
* 가상 코드북(Virtual Codebooks, VCB11)은 스펙트럼 데이터 내의 심각한 오류를 감지한다.
* 가역 가변 길이 코드(Reversible Variable Length Code, RVLC)는 스케일 팩터 데이터 내에서 오류 전파를 줄인다.

4.3. AAC Low Delay

ISO/IEC 14496-3:2009 및 ISO/IEC 14496-3:2009/Amd 3에 정의된 오디오 코딩 표준인 MPEG-4 로우 딜레이(AAC-LD), 향상된 로우 딜레이(AAC-ELD), 향상된 로우 딜레이 v2(AAC-ELDv2)는 지각 오디오 코딩의 장점과 양방향 통신에 필요한 낮은 지연 시간을 결합하도록 설계되었다. 이들은 MPEG-2 고급 오디오 코딩(AAC) 형식을 기반으로 한다. AAC-ELD는 GSMA에 의해 HDVC(High Definition Video Conference) 서비스를 위한 IMS 프로파일에서 광대역 음성 코덱으로 권장된다.

5. 종류

AAC는 MP3 등 MPEG-1 오디오 및 MPEG-2 오디오 BC(Backward Compatible)를 뛰어넘는 고음질, 고압축을 목적으로 표준화된 방식이다. MPEG-2 오디오 BC와는 달리, 부호화 알고리즘에서 MPEG-1 오디오와의 호환성은 없다.

AAC에는 MPEG-2 AAC (ISO/IEC 13818-7)와 MPEG-4 AAC (ISO/IEC 14496-3, Subpart 4)가 있다. MPEG-4 AAC는 MPEG-2 AAC에 PNS나 LTP와 같은 추가 기술을 이용할 수 있도록 한 것이다. 기본적인 알고리즘 자체에는 차이가 없으며, 추가 기술을 사용하지 않으면 헤더의 일부분이 1비트만 다를 뿐이므로, 통상적인 사용에서는 구별할 필요가 거의 없다.

* PNS (Perceptual Noise Substitution/지각적 노이즈 치환): 인코딩 시 감쇠된 노이즈를 기록하는 추가 기술이다.
* LTP (Long Term Prediction/장기 예측): 저주파 대역의 파형을 기록하는 추가 기술이다.

5.1. AAC 프로파일

; MPEG-2/4 AAC-Main
: 메인 AAC로 개발된 방식이다. AAC-LC에 비해 압축률은 높지만 연산량이 많고 재생 부하가 크다. 웹 브라우저 구글 크롬(Google Chrome)은 지원하지만, 윈도우(Microsoft Windows), 안드로이드(Android), iOS와 같은 플랫폼에서는 기본적으로 지원하지 않거나, Main 프로파일에 대한 정보가 공개되지 않아 널리 보급되지 않았다.
; MPEG-2/4 AAC-LC (Low Complexity)
: AAC-Main에서 후방 예측(backward prediction) 기능을 제외한 방식이다. AAC-Main보다 음질은 떨어지지만, 재생 부하가 작다.
; MPEG-2/4 AAC-SSR (Scalable Sample Rate)
: 주파수에 따라 4개의 블록으로 분해하여 각각을 부호화하는 방식이다.

5.2. 추가 기술

; MPEG-2/4 HE-AAC (High-Efficiency AAC)
: AAC-LC에 SBR 기능을 추가한 것이다. SBR은 고주파 영역의 파형을 보완하는 도구이다. SBR을 이용함으로써 낮은 비트 전송률에서도 중~고 음질의 재생을 가능하게 한다.
: 버전 2가 개발된 이후, 구분을 위해 이름 뒤에 "version 1" 등을 붙이는 경우가 있다.
; MPEG-2/4 HE-AAC v2 (High-Efficiency AAC version 2)
: AAC-LC에 SBR과 PS 기능을 추가한 것이다. PS (Parametric Stereo)는 모노럴 음성을 흉내내어 스테레오로 복원하는 도구이며, HE-AAC보다 더 낮은 비트 전송률에서 중 - 고 음질의 재생을 할 수 있게 한다.
; MPEG-4 xHE-AAC (eXtended High-Efficiency AAC)
: AAC-LC에 SBR과 PS, USAC 기능을 추가한 것이다. USAC (Unified Speech and Audio Coding)는 목소리와 음악 어느 쪽의 음질에도 중점을 두도록 만들어진 도구이며, HE-AAC v2보다 낮은 비트 전송률에서도 어느 정도의 음질이 확보된다.
; MPEG-4 AAC-LTP
: AAC에 LTP 기능을 추가한 것이다. LTP는 모든 MPEG-4 AAC에 부가하는 것이 가능하다.
; MPEG-4 AAC-LD (Low Delay)
: 인코딩 등으로 인한 지연 시간을 감소시킨 AAC. 화상 전화 등에서 사용될 것을 목적으로 한다.
; MPEG-4 AAC-ELD (Enhanced Low Delay)
; MPEG-4 AAC-ELD v2 (version 2)
: AAC-LD를 개량한 방식이다.
; MPEG-4 SLS (Scalable Lossless Coding)
: MPEG-4의 무손실 압축의 일종이다. AAC와 조합한 것을 HD-AAC라고 부르는 경우가 있다.

6. 라이선스 및 특허

AAC 형식의 오디오를 스트리밍하거나 배포하는 데 사용자는 라이선스나 사용료를 지불할 필요가 없다. 그러나 AAC 코덱의 제조업체 또는 개발자는 특허 라이선스가 필요하다. 과거에는 FFmpeg 및 FAAC와 같은 자유-오픈 소스 소프트웨어 구현이 AAC 코덱을 소스 코드 형태로만 배포하는 것이 일반적이었다. 그러나 FFmpeg는 이후 특허 문제에 대해 더 관대해졌다.

AAC 특허 보유자는 다음과 같다.

* 벨 연구소
* 돌비 랩스
* 한국전자통신연구원(ETRI)
* 프라운호퍼 협회
* JVC 켄우드
* LG전자
* 마이크로소프트
* NEC
* 일본전신전화(NTT) (및 자회사 NTT 도코모)
* 파나소닉
* 필립스
* 소니

SEC 약관의 특허 목록에 따르면 마지막 기본 AAC 특허는 2028년에 만료되며, 언급된 모든 AAC 확장에 대한 마지막 특허는 2031년에 만료된다.

7. 컨테이너 포맷

MP4, 3GP, ISO 기본 미디어 파일 형식 기반의 다른 컨테이너 형식 외에도, AAC 오디오 데이터는 오디오 데이터 교환 형식(ADIF)을 사용하여 MPEG-2 표준에 대한 파일로 패키징될 수 있다. 데이터를 MPEG-2 전송 스트림 내에서 스트리밍해야 하는 경우, 오디오 데이터 전송 스트림(ADTS)이 사용된다. MPEG-4 파트 3는 AAC뿐만 아니라 모든 MPEG-4 오디오 압축 체계를 캡슐화하는 자체 동기화 형식인 로우 오버헤드 오디오 스트림(LOAS)을 정의한다.

8. AAC 지원 제품 및 서비스

애플은 2003년 4월부터 아이튠즈와 아이팟 제품에서 MPEG-4 AAC 형식의 노래를 지원한다고 발표했다. 이후 아이튠즈 스토어를 통해 128kbit/s AAC 형식의 디지털 권한 관리(DRM)가 적용된 음악을 판매하기 시작했고, 2007년부터는 DRM이 없는 256kbit/s cVBR 형식의 "아이튠즈 플러스"를 판매했으며, 2009년에는 대부분의 음악에서 DRM이 제거되었다.

AAC를 지원하는 기기는 다음과 같다.

소니 에릭슨 휴대폰은 MP4 컨테이너에서 다양한 AAC 형식을 지원하며, 노키아 멀티미디어 휴대폰은 LC, HE, M4A 및 HEv2 프로필에서 AAC 형식을 지원한다. 블랙베리 휴대폰, 아이폰, 안드로이드폰, WebOS, 윈도우 폰 등도 AAC 재생을 지원한다.

거의 모든 현재의 컴퓨터 미디어 플레이어는 AAC에 대한 내장 디코더를 포함하거나, AAC를 디코딩하기 위해 라이브러리를 사용할 수 있다. 어도비 플래시 플레이어는 버전 9 업데이트 3부터 AAC 스트림을 재생할 수 있다. Rockbox 오픈 소스 펌웨어는 다양한 수준의 AAC 지원을 제공한다.

AAC를 지원하는 소프트웨어 플레이어 응용 프로그램은 다음과 같다.

* 3ivx MPEG-4
* CorePlayer
* ffdshow
* foobar2000
* KMPlayer
* MediaMonkey
* AIMP
* Media Player Classic Home Cinema
* mp3tag
* MPlayer
* xine
* MusicBee
* RealPlayer
* Songbird
* 소니 소닉스테이지
* VLC 미디어 플레이어
* Winamp
* Windows Media Player 12
* Another Real
* XBMC
* XMMS

2006년 5월, 네로 AG(Nero AG)는 무료 AAC 인코딩 도구인 네로 디지털 오디오를 출시했다.

FAAC와 FAAD2는 각각 프리웨어 고급 오디오 코더(Freeware Advanced Audio Coder)와 디코더 2(Decoder 2)를 의미한다. FAAD2는 자유 소프트웨어이지만, FAAC는 자유 소프트웨어가 아니다.

프라운호퍼가 개발한 오픈 소스 인코더/디코더는 안드로이드에 포함되어 있다. FFmpeg와 Libav는 Fraunhofer FDK AAC 라이브러리를 사용할 수 있다.

8.1. HDTV 표준

일본은 2003년 12월부터 지상파 디지털 텔레비전 방송 ISDB-T 표준 방송을 시작했으며, MPEG-2 AAC 오디오를 사용한다. 2006년 4월에는 ISDB-T 모바일 하위 프로그램(1seg) 방송을 시작했는데, 이는 세계 최초로 지상파 HDTV 방송 서비스에서 HE-AAC 오디오와 함께 H.264/AVC 비디오를 구현한 것이다.

유럽 전기 통신 표준 협회(ETSI)는 2004년부터 DVB 애플리케이션에서 AAC, HE-AAC 및 HE-AAC v2 오디오 코딩을 지원한다. 디지털 비디오 방송(DVB)은 유럽 전기 통신 표준 협회에서 관리하는 표준 제품군이다. H.264 압축을 사용하여 비디오를 사용하는 DVB 방송은 일반적으로 오디오에 HE-AAC를 사용한다.

8.2. 하드웨어

애플은 2003년 4월부터 아이튠즈와 아이팟 제품에서 MPEG-4 AAC 형식의 노래를 지원한다고 발표했다. 이후 아이튠즈 스토어를 통해 128kbit/s AAC 형식의 디지털 권한 관리(DRM)가 적용된 음악을 판매하기 시작했고, 2007년부터는 DRM이 없는 256kbit/s cVBR 형식의 "아이튠즈 플러스"를 판매했다. 2009년에는 대부분의 음악에서 DRM이 제거되었다.

다음은 AAC를 지원하는 기기들이다.

소니 에릭슨 휴대폰은 MP4 컨테이너에서 다양한 AAC 형식을 지원하며, 노키아 멀티미디어 휴대폰은 LC, HE, M4A 및 HEv2 프로필에서 AAC 형식을 지원한다. 블랙베리 휴대폰, 아이폰, 안드로이드폰, WebOS, 윈도우 폰 등도 AAC 재생을 지원한다.

8.3. 소프트웨어

거의 모든 현재의 컴퓨터 미디어 플레이어는 AAC에 대한 내장 디코더를 포함하거나, AAC를 디코딩하기 위해 라이브러리를 사용할 수 있다. 어도비 플래시 플레이어는 버전 9 업데이트 3부터 AAC 스트림을 재생할 수 있다. Rockbox 오픈 소스 펌웨어는 다양한 수준의 AAC 지원을 제공한다.

다음은 AAC를 지원하는 소프트웨어 플레이어 응용 프로그램 목록이다.

* 3ivx MPEG-4
* CorePlayer
* ffdshow
* foobar2000
* KMPlayer
* MediaMonkey
* AIMP
* Media Player Classic Home Cinema
* mp3tag
* MPlayer
* xine
* MusicBee
* RealPlayer
* Songbird
* 소니 소닉스테이지
* VLC 미디어 플레이어
* Winamp
* Windows Media Player 12
* Another Real
* XBMC
* XMMS

2006년 5월, 네로 AG(Nero AG)는 무료 AAC 인코딩 도구인 네로 디지털 오디오를 출시했다.

FAAC와 FAAD2는 각각 프리웨어 고급 오디오 코더(Freeware Advanced Audio Coder)와 디코더 2(Decoder 2)를 의미한다. FAAD2는 자유 소프트웨어이지만, FAAC는 자유 소프트웨어가 아니다.

프라운호퍼가 개발한 오픈 소스 인코더/디코더는 안드로이드에 포함되어 있다. FFmpeg와 Libav는 Fraunhofer FDK AAC 라이브러리를 사용할 수 있다.

9. 이용 상황 (일본 중심)

MPEG-2 AAC는 주로 일본의 BS/110도 CS 2K 디지털 방송과 지상파 디지털 방송의 ISDB 규격, SD-Audio의 AAC 형식, 유럽권의 DVD 등에서 사용된다. MPEG-4 AAC는 아이팟 등의 디지털 오디오 플레이어, PSP나 DSi 등의 게임기, 일본의 BS/110도 CS 4K/8K 디지털 방송, 휴대 전화 등 많은 기기 및 소프트웨어에서 지원하고 있다.

음악 배포 서비스에서는 PC, 아이팟용 iTunes Store 및 휴대 전화용 착신음에서 AAC가 채용되었다. 애플(Apple Inc.)에서는 아이튠즈에서의 음악 배포 외에도, 무선 이어폰 AirPods, 스마트 스피커HomePod, FaceTime 등에서 AAC를 사용하고 있다.