스펙트로그램

3. 생성

스펙트로그램은 크게 두 가지 방법으로 생성할 수 있다.^[3][4][5] 하나는 대역 통과 필터군을 사용하는 방법이고, 다른 하나는 단시간 푸리에 변환(STFT)으로 계산하는 방법이다.

• 필터를 사용한 기법은 주로 아날로그 연속 신호에 사용된다. 신호의 주파수 범위를 등간격으로 나누는데, 선형 등간격과 대수 등간격이 있다. 각 필터의 출력을 시간에 따라 기록하고, 이를 주파수 대역 순서대로 쌓아 올리면 가로축을 시간, 세로축을 주파수로 하는 스펙트로그램이 완성된다.
• 디지털 신호에서는 STFT를 사용하여 스펙트로그램을 생성한다. 시간 계열에서 샘플링된 데이터를 덩어리로 나누고, 각 덩어리마다 푸리에 변환을 수행한다. 각 덩어리의 변환 결과(스펙트럼)를 수직으로 놓고 시계열로 배열하면 스펙트로그램이 완성된다.

4. 한계 및 재합성

스펙트로그램은 신호의 정확한 위상 정보를 포함하지 않기 때문에, 스펙트로그램만으로 원래 신호를 완벽하게 복원하는 것은 불가능하다.^[6] 하지만 위상이 중요하지 않은 경우에는 원래 신호의 근사치를 생성할 수 있다.^[6] Analysis & Resynthesis Sound Spectrograph^[6], 패턴 재생과 같은 소프트웨어를 사용하여 스펙트로그램으로부터 소리를 생성하거나, 이미지 형태의 스펙트로그램을 소리로 변환할 수 있다.

스펙트로그램에는 약간의 위상 정보가 시간 지연(또는 군 지연)과 같은 다른 형태로 나타나며, 이는 순시 주파수의 쌍대이다.^[7]

분석 창의 크기와 모양은 다양하게 변경될 수 있다. 더 작은(짧은) 창은 주파수 표현의 정밀도를 희생하면서 타이밍에서 더 정확한 결과를 생성한다. 더 큰(긴) 창은 타이밍 표현의 정밀도를 희생하면서 더 정확한 주파수 표현을 제공한다. 이것은 하이젠베르크 불확정성 원리의 한 예이다.^[8]

다음 프로그램들은 디지털 이미지를 스펙트로그램으로 해석하여 소리로 변환할 수 있다.

• [http://www.uisoftware.com/PAGES/acceuil_meta.html MetaSynth] (Macintosh)
• [https://www.abc.se/~re/Coagula/Coagula.html Coagula] (Windows)
• [http://www.coppercloudmusic.com/enscribe/ Enscribe] (Linux)
• [http://arss.sourceforge.net/ The Analysis & Resynthesis Sound Spectrograph] (크로스 플랫폼)
• [http://faculty.washington.edu/dillon/PhonResources/javoice/vowjavoice2.html JavOICe] (Java 애플릿)
• FL Studio의 "BeepMap"

5. 응용 분야

초기 아날로그 스펙트로그램은 박새와 같은 조류의 소리 연구를 포함한 광범위한 분야에 적용되었으며, 현대 디지털 장비를 사용한 현재 연구가 계속되고 있으며 모든 동물 소리에 적용되고 있다.^[9] 현대 디지털 스펙트로그램의 사용은 특히 동물 소리의 주파수 변조(FM) 연구에 유용하다. 구체적으로 FM 짹짹거림, 광대역 클릭 노이즈, 사회적 조화의 특징은 스펙트로그램으로 가장 쉽게 시각화할 수 있다.

스펙트로그램은 난청이 심한 인구 집단의 언어 결손을 극복하고 언어 훈련을 돕는 데 유용하다.^[10]

음성학과 음성 합성 연구는 종종 스펙트로그램의 사용을 통해 용이해진다.^[11][12]

딥 러닝 기반 음성 합성에서 시퀀스-투-시퀀스 모델로 먼저 스펙트로그램 (또는 멜 스케일의 스펙트로그램)을 예측한 다음, 스펙트로그램을 신경 보코더에 공급하여 합성된 원시 파형을 도출한다.

스펙트로그램 생성 과정을 반전시켜 스펙트로그램이 임의의 이미지가 되도록 신호를 만들 수 있다. 이 기술은 오디오 조각에 그림을 숨기는 데 사용될 수 있으며, 여러 전자 음악 아티스트가 사용해 왔다.^[13] 스테가노그래피도 참조하십시오.

일부 현대 음악은 스펙트로그램을 중간 매체로 사용하여 생성된다. 즉, 서로 다른 주파수의 강도를 시간 경과에 따라 변경하거나, 이를 그림으로 그린 다음 역 변환하여 새로운 주파수를 생성한다. 오디오 타임스케일-피치 변형 및 위상 보코더를 참조하십시오.

스펙트로그램은 필터와 같은 신호 프로세서를 통해 테스트 신호를 통과시켜 그 성능을 확인하는 결과를 분석하는 데 사용될 수 있다.^[14]

고해상도 스펙트로그램은 RF 및 마이크로파 시스템 개발에 사용된다.^[15]

스펙트로그램은 이제 벡터 네트워크 분석기로 측정된 산란 파라미터를 표시하는 데 사용된다.^[16]

미국 지질조사소(US Geological Survey)와 IRIS 컨소시엄은 지진 관측소를 모니터링하기 위해 거의 실시간 스펙트로그램 디스플레이를 제공한다.^[17][18]

스펙트로그램은 순환 신경망과 함께 음성 인식에 사용될 수 있다.^[19][20]

개인의 스펙트로그램은 중국 정부에 의해 중국의 대량 감시 프로그램의 일부로 수집된다.^[21]

진동 신호의 경우, 스펙트로그램의 색상 척도는 시간 경과에 따른 파형의 진폭 피크 주파수를 식별한다. 시간 또는 주파수 그래프와 달리 스펙트로그램은 피크 값을 시간 및 주파수와 상관시킨다. 진동 테스트 엔지니어는 스펙트로그램을 사용하여 연속 파형의 주파수 내용을 분석하고, 강한 신호를 찾아내며, 진동 동작이 시간 경과에 따라 어떻게 변하는지 결정한다.^[22]

스펙트로그램은 두 가지 다른 응용 분야에서 음성을 분석하는 데 사용될 수 있다. 바로 인공 와우 사용자에서 음성 결함을 자동 감지하고 음소-속성 특징을 추출하기 위한 음소 클래스 인식이다.^[23]

화자의 발음 특징을 얻기 위해 일부 연구자들은 바이오닉스에서 아이디어를 얻어 짧은 시간 스펙트로그램의 선형 중첩에서 화자의 발음을 안정적으로 표현하기 위해 스펙트로그램 통계를 사용하여 특징적인 스펙트로그램을 달성하는 방법을 제안했다.^[24]

연구자들은 스펙트로그램 기술을 활용하여 ECG 신호 분석에 대한 새로운 접근 방식을 모색하고 있으며, 아마도 향상된 시각화와 이해를 위해서일 것이다. 특징 추출을 위해 MFCC를 통합하면 오디오 처리에서 방법을 차용하여 생체 의학 신호에서 관련 정보를 추출하는 학제 간 응용이 가능하다는 것을 시사한다.^[25]

온도 표시 페인트(TIP)의 정확한 해석은 항공 및 기타 산업 응용 분야에서 매우 중요하다. TIP의 2D 스펙트로그램은 온도 해석에 사용될 수 있다.^[26]

스펙트로그램은 인간 흉부의 변화율에 대한 신호를 처리하는 데 사용될 수 있다. 스펙트로그램을 사용하여 호흡 신호를 시각화함으로써 연구자들은 신경망 모델을 기반으로 호흡 상태를 분류하는 접근 방식을 제안했다.^[27]

5. 1. 멜 스펙트로그램

6. 한국에서의 활용

한국에서는 스펙트로그램 기술이 음성학, 음성 합성, 음성 인식 등 다양한 분야에서 활용되고 있다.^{[11][12][19][20]} 특히 딥 러닝 기반 음성 합성에서는 시퀀스-투-시퀀스 모델을 통해 스펙트로그램을 예측하고, 이를 신경 보코더에 입력하여 합성된 음성 파형을 생성한다.^[13] 또한, 스펙트로그램은 인공 와우 사용자들의 음성 결함을 자동으로 감지하고, 음소-속성 특징을 추출하여 음소 클래스를 인식하는 등 음성 분석에도 활용된다.^[23]

일부 연구자들은 바이오닉스의 아이디어를 차용하여, 짧은 시간 스펙트로그램의 선형 중첩에서 화자의 발음을 안정적으로 표현하기 위해 스펙트로그램 통계를 활용하여 특징적인 스펙트로그램을 추출하는 방법을 제안하기도 했다.^[24]

최근에는 스펙트로그램 기술이 ECG 신호 분석과 같은 생체 의학 분야에도 활용되고 있으며, 오디오 처리에서 사용되는 MFCC(Mel-Frequency Cepstral Coefficients)를 특징 추출에 통합하여 학제 간 응용 가능성을 보여주고 있다.^[25]

참조

_[1] 서적 Speech Analysis, Synthesis and Perception Springer- Verlag 1972
_[2] 간행물 Quantitative Performance Analysis of Scalogram as Instantaneous Frequency Estimator 2008-08
_[3] 웹사이트 Spectrograph https://www.sfu.ca/s[...] 2018-04-07
_[4] 웹사이트 Spectrograms https://ccrma.stanfo[...] 2018-04-07
_[5] 웹사이트 STFT Spectrograms VI – NI LabVIEW 8.6 Help http://zone.ni.com/r[...] 2018-04-07
_[6] 웹사이트 The Analysis & Resynthesis Sound Spectrograph http://arss.sourcefo[...] 2018-04-07
_[7] 간행물 Estimating and interpreting the instantaneous frequency of a signal. I. Fundamentals Institute of Electrical and Electronics Engineers (IEEE)
_[8] 웹사이트 Heisenberg Uncertainty Principle http://fourier.eng.h[...] 2019-02-05
_[9] 웹사이트 BIRD SONGS AND CALLS WITH SPECTROGRAMS ( SONOGRAMS ) OF SOUTHERN TUSCANY ( Toscana – Italy ) http://www.birdsongs[...] 2018-04-07
_[10] 간행물 A wearable tactile sensory aid for profoundly deaf children 1981-12-01
_[11] 웹사이트 Spectrogram Reading http://cslu.cse.ogi.[...] 2018-04-07
_[12] 웹사이트 Praat: doing Phonetics by Computer http://www.fon.hum.u[...] 2018-04-07
_[13] 웹사이트 The Aphex Face – bastwood http://www.bastwood.[...] 2018-04-07
_[14] 웹사이트 SRC Comparisons http://src.infinitew[...] 2018-04-07
_[15] 웹사이트 constantwave.com – constantwave Resources and Information. http://www.constantw[...] 2018-04-07
_[16] 웹사이트 Spectrograms for vector network analyzers http://www.constantw[...]
_[17] 웹사이트 Real-time Spectrogram Displays https://earthquake.u[...] 2018-04-07
_[18] 웹사이트 IRIS: MUSTANG: Noise-Spectrogram: Docs: v. 1: Help https://service.iris[...]
_[19] 웹사이트 Machine Learning is Fun Part 6: How to do Speech Recognition with Deep Learning https://medium.com/@[...] 2016-12-24
_[20] 문서 See also [[Praat]].
_[21] 뉴스 China's enormous surveillance state is still growing https://www.economis[...] 2023-11-23
_[22] 웹사이트 What is a Spectrogram? https://vibrationres[...] 2023-12-18
_[23] 간행물 Multi-channel spectrograms for speech processing applications using deep learning methods 2021
_[24] 간행물 Speaker recognition based on characteristic spectrograms and an improved self-organizing feature map neural network 2021
_[25] 간행물 Spectrogram analysis of ECG signal and classification efficiency using MFCC feature extraction technique https://link.springe[...] 2022
_[26] 간행물 Temperature interpretation method for temperature indicating paint based on spectrogram https://www.scienced[...] 2023-09-30
_[27] 간행물 Classification of Respiratory States Using Spectrogram with Convolutional Neural Network 2022-02-11
_[28] 문서 A(m, k) は振幅スペクトログラム{{harv|小野順貴(2016)}}
_[29] 문서 "$\backslash left\backslash vert\; X(m,\; k)\; \backslash right\backslash vert\; ^2\; =\; A\; ^2\; (m,\; k)$ はパワースペクトログラムと呼ばれる。{{harv|小野順貴(2016)}}
_[30] 웹사이트 "Compute dB relative to peak power ... librosa.power_to_db(S**2, ref=np.max)" https://librosa.org/[...] librosa 0.9.1
_[31] 웹사이트 "compare to median power >>> librosa.power_to_db(S**2, ref=np.median)" https://librosa.org/[...] librosa 0.9.1
_[32] 기타 "ニューラルボコーダはメルスペクトログラムなどの音響特徴量から音声を復元するボコーダに深層学習を適用したもの" http://www.me.cs.sci[...] 日本音響学会
_[33] 학위논문 "メルフィルタバンクも不可逆な変換である．" 九州大学
_[34] 학위논문 "メルスペクトログラムから振幅スペクトルへの復元は非負拘束最小二乗法 ... によって得られる．" 九州大学
_[35] 웹사이트 "specgram = torch.relu(torch.linalg.lstsq" 2024-06-13