음성 부호화

3. 음성 부호화의 역사

A-law와 μ-law 알고리즘은 G.711 PCM 디지털 전화에 사용되는 초기 음성 부호화 방식으로, 샘플당 8비트만 필요하지만 12 비트 해상도를 제공한다.^[7] 1960년대에는 다양한 델타 변조 알고리즘이 시도되었지만, A-law/μ-law 알고리즘이 초기 디지털 전화 시스템에 채택되었다.

음성 부호화 기술의 역사는 19세기 말 그래험 벨의 전화기 발명(1876년)과 함께 시작되었다. 미국 벨 연구소의 호머 더들리(Homer Dudley)는 1928년에 보코더의 기본 아이디어를 발상하였다. 당시 대륙간 횡단 케이블의 주파수 대역폭 제한으로 인해 음성을 더 좁은 대역으로 보내기 위해 고안되었다.^[34]

더들리는 1939년에 음성의 주파수 스펙트럼을 여러 채널로 나누어 분석하고, 성대 소리의 기본 주기(피치)와 유성/무성 구별 정보를 함께 보내 수신 측에서 음성을 합성하는 채널 보코더를 발표했다.^[35][36] 또한, 음성 합성 부분과 건반을 조합한 건반 연주형 스피치 신시사이저인 보더(voder)를 1939년 뉴욕 세계 박람회에서 공개했다.

채널 보코더는 제2차 세계 대전 중인 1943년, 처칠 수상과 루즈벨트 대통령의 비밀 회담용 비화 통신 시스템 SIGSALY에 실용화되었다.^[34]

4. 음성 부호화 관련 기술

벡터 양자화는 음성을 표현하는 매개변수를 압축하는 방법 중 하나이다. 벡터 양자화에서는 매개변수 간의 상관 관계를 이용하여 벡터 단위로 양자화를 수행하여 정보량을 줄인다. 예를 들어 선형 예측 계수를 특정 비트 수로 양자화할 때 사용된다. 벡터 양자화의 응용으로, 양자화를 여러 단계로 나누어 최종 양자화 벡터를 여러 단계별 코드북의 합으로 나타내는 멀티 스테이지 벡터 양자화 등의 기술이 개발되었다.

선 스펙트럼 쌍(line spectral pairs)은 선형 예측 계수를 표현하기 위해 사용되며, 선형 예측 계수를 사용하는 부호화 방식의 대부분에서 사용된다. 선형 예측 필터의 계수는 양자화 오차에 민감하며, 오차가 크면 필터가 발진하는 문제가 있다. 선 스펙트럼 쌍은 선형 예측 계수와 등가인 계수로, 선 스펙트럼 쌍으로 표현된 필터는 양자화 오차의 영향을 적게 받으며, 또한 선형 예측 계수와 비교하여 변화가 부드럽고 보간이 용이하다. 따라서, CELP에 대표되는 많은 음성 부호화 방식에서 선형 예측 계수의 표현을 위해 이용되고 있다.

이론적으로, 성도를 고정 길이와 일정한 직경을 가진 음향관의 배열로 모델링했을 때, 선 스펙트럼 쌍은 성문을 열었을 때와 닫았을 때 각각의 공진 주파수 쌍에 해당하는 파라미터이다. 이러한 이유로 선 스펙트럼 쌍이라고 불린다.

음성 강조(speech enhancement|스피치 인핸스먼트^영어)는 다양한 알고리즘을 사용하여 음질을 개선하는 기술이다. 음성 부호화에서는 배경 잡음을 줄이기 위한 기술로 주로 사용된다.

분석 합성 부호화 방식이나 하이브리드 부호화 등 많은 음성 부호화 방식에서는 음성을 어떤 모델에 적용하여 파라미터화하기 때문에, 음성 신호에 배경 잡음이 포함되면 파라미터화가 제대로 이루어지지 않아 음질이 악화된다. 따라서, 휴대 전화나 무선 통신 등 비교적 낮은 비트 전송률의 부호화 방식이 사용되는 기기에서는, 어떤 음성 강조 처리를 한 후에 부호화를 하는 경우가 많다. 또한, 음성 인식 등의 프런트 엔드로도 자주 사용된다.

음성 신호는 신호 레벨의 변동이 크고 주파수별 레벨 차이도 큰 반면, 배경 잡음은 변동이 비교적 작다는 등 통계적인 성질의 차이를 이용한다. 서브 밴드별 배경 잡음의 레벨을 예측하고, 배경 잡음이 큰 서브 밴드의 레벨을 낮춤으로써 전체 잡음을 줄일 수 있다.

음성 강조는 휴대 전화용 부호화 방식인 EVRC (CDMA2000용), SMV (CDMA2000용) 등이나, 잡음이 많은 환경에서의 이용을 전제로 하는 MELPe 등에서 부호화 방식의 일부로 포함되어 있다.

5. 현대 음성 압축

현대 음성 압축 기술은 군사적 목적의 보안 음성 통신 연구에서 큰 영향을 받아 발전했다.^[9] 초고밀도 집적 회로(VLSI) 기술의 발전으로 복잡한 음성 압축 알고리즘을 구현하는 것이 가능해졌다.

선형 예측 코딩(LPC) 기반의 코드 여기 선형 예측(CELP) 코딩이 널리 사용된다.^[9] CELP는 스펙트럼 엔벨로프를 모델링하는 선형 예측 단계와 선형 예측 모델의 잔차에 대한 코드북 기반 모델의 두 단계로 나뉜다.

수정 이산 코사인 변환(MDCT) 기반의 코덱은 AAC-LD,^[10] G.729.1,^[11] CELT,^[13] Opus^[14][15] 등이 있으며, 보이스 오버 IP(VoIP) 및 화상 회의에 사용된다. Opus 코덱은 SILK와 CELT 알고리즘을 결합하여 다양한 환경에서 최적의 성능을 제공한다.

Codec2,^[20] MELPe,^[21] Lyra,^[22] Satin^[23] 등 저비트 전송률 코덱의 개발도 활발히 진행 중이다.

음성 부호화는 일반적인 오디오 압축 기술과, 음성 신호 처리를 통해 음성을 모델화하는 매개변수를 추출하는 기술을 조합한 것이다. 음성 부호화 알고리즘은 크게 파형 부호화, 하이브리드 부호화, 분석 합성 부호화(보코더)로 나눌 수 있다.

주파수 영역 부호화는 음성 신호를 주파수 영역의 데이터로 변환하고, 주파수별 전력 밀도의 차이와 인간의 청각 모델을 이용하여 주파수별 양자화 폭과 비트 할당을 변경하며, 불필요한 정보를 삭제한다.

'''하이브리드 부호화'''는 파형 부호화와 분석 합성 부호화를 조합한 방법으로, CELP(CELP)는 하이브리드 부호화 방식 중에서 가장 널리 사용되는 음성 부호화 알고리즘이다.

'''분석 합성 부호화'''는 보코더를 사용한 부호화 방식이다.

'''선형 예측 부호화'''(LPC)는 음성을 음원(잔차)과 선형 필터(계수)로 분석하고 재합성하여 부호화하는 기법으로, 이 기법을 사용한 보코더를 '''LPC 보코더'''라고 한다.

5. 1. 광대역 오디오 코딩

• 선형 예측 부호화(LPC)
• WCDMA 네트워크용 AMR-WB
• CDMA2000 네트워크용 VMR-WB
• VoIP 및 화상 회의용 Speex, IP-MR, SILK (일부 Opus), USAC/xHE-AAC
• 수정된 이산 코사인 변환(MDCT)
• VoIP 및 화상 회의용 AAC-LD, G.722.1, G.729.1, CELT 및 Opus
• 적응 차분 펄스 부호 변조(ADPCM)
• VoIP용 G.722
• 신경 음성 코딩
• Lyra (구글): V1은 로그멜 스펙트로그램의 신경망 재구성을 사용하고, V2는 종단간 오토인코더임.
• Satin (마이크로소프트)
• LPCNet (모질라, Xiph): LPC 특징의 신경망 재구성^[24]

5. 2. 협대역 오디오 코딩

• 선형 예측 부호화(LPC)
• 군사용 FNBDT
• CDMA 네트워크용 SMV
• GSM 네트워크용 Full Rate, Half Rate, EFR 및 AMR
• VoIP 또는 화상 회의용 G.723.1, G.728, G.729, G.729.1 및 iLBC
• 적응 차분 펄스 부호 변조(ADPCM)
• VoIP용 G.726
• Multi-Band Excitation(MBE)
• 디지털 이동 무선 통신 및 위성 전화용 AMBE+
• Codec 2

참조

_[1] 논문 Low bit rate speech coding Wiley
_[2] 간행물 "Technology and standards for low-bit-rate vocoding methods," in The Handbook of Computer Networks, H. Bidgoli, Ed., New York: Wiley, 2011, vol. 2, pp. 447–467.
_[3] 간행물 "Evaluation of speech coders," in Speech Coding and Synthesis, W. Bastiaan Kleijn and K. K. Paliwal, Ed., Amsterdam: Elsevier Science, 1995, pp. 467-494.
_[4] 간행물 A low-delay CELP coder for the CCITT 16 kb/s speech coding standard. IEEE J. Select. Areas Commun. 10(5): 830-849, June 1992.
_[5] 웹사이트 Soo Hyun Bae, ECE 8873 Data Compression & Modeling, Georgia Institute of Technology, 2004 http://users.ece.gat[...]
_[6] 논문 SoundStream: An End-to-End Neural Audio Codec 2022
_[7] 서적 Digital coding of waveforms Prentice-Hall
_[8] 간행물 G.711.1 : Wideband embedded extension for G.711 pulse code modulation http://www.itu.int/r[...] ITU-T 2022-12-24
_[9] 논문 Application of MFCC in Text Independent Speaker Recognition https://pdfs.semanti[...] 2019-10-18
_[10] 회의록 MPEG-4 Enhanced Low Delay AAC - A New Standard for High Quality Communication https://www.iis.frau[...] Audio Engineering Society 2019-10-20
_[11] 서적 VoIP Voice and Fax Signal Processing https://books.google[...] John Wiley & Sons 2008
_[12] 웹사이트 Inside iPhone 4: FaceTime video calling http://www.appleinsi[...] AppleInsider 2010-06-09
_[13] 웹사이트 Presentation of the CELT codec http://people.xiph.o[...]
_[14] Home page Opus Codec https://opus-codec.o[...] Xiph.org Foundation 2012-07-31
_[15] 회의록 High-Quality, Low-Delay Music Coding in the Opus Codec Audio Engineering Society 2013-10
_[16] 뉴스 WhatsApp laid bare: Info-sucking app's innards probed https://www.theregis[...] 2015-10-27
_[17] 서적 Security in Computing and Communications: 5th International Symposium, SSCC 2017 Springer 2017-09-13
_[18] 서적 Cyber Security in Parallel and Distributed Computing: Concepts, Techniques, Applications and Case Studies John Wiley & Sons 2019
_[19] 웹사이트 Open Source Software used in PlayStation4 https://doc.dl.plays[...] Sony Interactive Entertainment Inc. 2017-12-11
_[20] 웹사이트 GitHub - Codec2 https://github.com/x[...] 2019-11
_[21] 간행물 “A scalable phonetic vocoder framework using joint predictive vector quantization of MELP parameters,” in Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing, 2006, pp. I 705–708, Toulouse, France
_[22] 웹사이트 Google Makes Its Lyra Low Bitrate Speech Codec Public https://www.makeuseo[...] 2022-07-21
_[23] 웹사이트 Lyra, Satin and the future of voice codecs in WebRTC https://bloggeek.me/[...] 2022-07-21
_[24] 웹사이트 LPCNet: Efficient neural speech synthesis https://github.com/x[...] Xiph.Org Foundation 2023-08-08
_[25] 간행물 "High-Frequency Regeneration in Speech Coding Systems"
_[26] 문서 Springer Handbook of Speech Processing には、当時のスーパーコンピュータであるCRAY-1を用い1秒の信号を符号化するのに125秒必要だった、との記述がある。
_[27] 서적 Springer Handbook of Speech Processing Springer
_[28] 간행물 California Coding: Early LPC Speech in Santa Barbara, Marina del Rey, and Silicon Valley 1967-1982 2004-01
_[29] 간행물 Noise Pre-Processing for Tactical Secure Voice Communications 1999-11
_[30] 웹사이트 IMBE and AMBE http://www.dvsinc.co[...] Digital Voice Systems 2010-05-15
_[31] 간행물 Noise Pre-Processing for Tactical Secure Voice Communications 1999-11
_[32] 문서 例えば、LPCボコーダーやCELPなど多くの符号化で使われる線形予測法|線形予測係数は時間領域のパラメータだが、いったん線スペクトル対](LSP)という周波数領域の等価なパラメータに変換された後に処理される。線形予測係数と比べて量子化誤差の影響が小さく、また変化が滑らかで補間が行いやすい。
_[33] 웹사이트 Enhanced Variable Rate Codec, Speech Service Option 3 and 68 for Wideband Spread Spectrum Digital Systems http://www.3gpp2.org[...] 3rd Generation Partnership Project 2 2010-05-17
_[34] 문서 音声分析合成の基礎技術とその音声符号化への応用 http://www.murase.m.[...] 電子情報通信学会
_[35] 간행물 The Vocoder
_[36] 특허 Signal Transmission https://www.google.c[...] US Patent 1939-05-21
_[37] 간행물 A History of Secure Voice Coding http://www.nsa.gov/a[...] 1993-07
_[38] 웹사이트 Soo Hyun Bae, ECE 8873 Data Compression & Modeling, Georgia Institute of Technology , 2004 http://users.ece.gat[...]