양자화 (정보 이론)

3. 양자화의 수학적 특성

실수 $x$를 가장 가까운 정수 값으로 반올림하는 것은 매우 기본적인 양자화기 유형 중 하나인 ''균일'' 양자화기를 형성한다. 전형적인 (''중앙 트레드'') 균일 양자화기는 양자화 ''단계 크기''가 어떤 값 $\backslash Delta$와 같을 때, 다음과 같이 표현할 수 있다.

:$Q(x)\; =\; \backslash Delta\; \backslash cdot\; \backslash left\backslash lfloor\; \backslash frac\{x\}\{\backslash Delta\}\; +\; \backslash frac\{1\}\{2\}\; \backslash right\backslash rfloor$

여기서 $\backslash lfloor\; \backslash \; \backslash rfloor$는 바닥 함수를 나타낸다.

같은 양자화기는 천장 함수를 사용하여 다음과 같이 표현할 수도 있다.

:$Q(x)\; =\; \backslash Delta\; \backslash cdot\; \backslash left\backslash lceil\; \backslash frac\{x\}\{\backslash Delta\}\; -\; \backslash frac\{1\}\{2\}\; \backslash right\backslash rceil$

($\backslash lceil\; \backslash \; \backslash rceil$는 천장 함수를 나타낸다).

양자화기의 필수적인 속성은 가능한 출력 값의 집합이 가능한 입력 값의 집합보다 작은 가산 집합을 갖는다는 것이다. 출력 값 집합의 구성원은 정수, 유리수 또는 실수 값을 가질 수 있다. 가장 가까운 정수로 단순하게 반올림할 경우, 단계 크기 $\backslash Delta$는 1과 같다. $\backslash Delta\; =\; 1$이거나 $\backslash Delta$가 다른 정수 값과 같으면 이 양자화기는 실수 입력과 정수 출력을 갖는다.

양자화 단계 크기(Δ)가 양자화되는 신호의 변동에 비해 작을 때, 이러한 반올림 연산으로 생성되는 평균 제곱 오차는 대략 $\backslash Delta^2/\; 12$가 된다.^{[1][2][3][4][5][6]} 평균 제곱 오차는 양자화 ''잡음 전력''이라고도 한다. 양자화기에 1비트를 추가하면 Δ 값이 절반으로 줄어들어 잡음 전력이 1/4배 감소한다. 데시벨로 표현하면, 잡음 전력 변화는 $\backslash scriptstyle\; 10\backslash cdot\; \backslash log\_\{10\}(1/4)\backslash \; \backslash approx\backslash \; -6\backslash \; \backslash mathrm\{dB\}.$이다.

모든 양자화기는 가능한 출력 값 집합이 가산 가능하므로, ''분류'' 단계 (''순방향 양자화'' 단계)와 ''재구성'' 단계 (''역 양자화'' 단계)의 두 가지 뚜렷한 단계로 분해될 수 있다. 분류 단계는 입력 값을 정수 ''양자화 인덱스'' $k$로 매핑하고, 재구성 단계는 인덱스 $k$를 입력 값의 출력 근사값인 ''재구성 값'' $y\_k$로 매핑한다. 위에 설명된 균일 양자화기 예제의 경우, 순방향 양자화 단계는 다음과 같이 표현될 수 있다.

:$k\; =\; \backslash left\backslash lfloor\; \backslash frac\{x\}\{\backslash Delta\}\; +\; \backslash frac\{1\}\{2\}\backslash right\backslash rfloor$

그리고 이 예제 양자화기의 재구성 단계는 다음과 같다.

:$y\_k\; =\; k\; \backslash cdot\; \backslash Delta$

이러한 2단계 분해는 양자화 동작의 설계 및 분석에 유용하며, 양자화된 데이터가 통신 채널을 통해 통신될 수 있는 방식을 보여준다. ''소스 인코더''는 순방향 양자화 단계를 수행하고 통신 채널을 통해 인덱스 정보를 보내며, ''디코더''는 재구성 단계를 수행하여 원래 입력 데이터의 출력 근사값을 생성한다. 일반적으로 순방향 양자화 단계는 입력 데이터를 양자화 인덱스 데이터의 정수 공간으로 매핑하는 어떠한 함수든 사용할 수 있으며, 역 양자화 단계는 개념적으로 (또는 문자 그대로) 각 양자화 인덱스를 해당 재구성 값에 매핑하는 테이블 조회 연산일 수 있다. 이 2단계 분해는 벡터 양자화와 스칼라 양자화기에 동일하게 적용된다.

양자화는 다대일 매핑이므로 본질적으로 비선형적이고 되돌릴 수 없는 과정이다. 즉, 동일한 출력 값을 여러 입력 값이 공유하기 때문에 일반적으로 출력 값만 주어졌을 때 정확한 입력 값을 복구하는 것은 불가능하다.

가능한 입력 값의 집합은 무한히 클 수 있으며, 연속적이고 따라서 비가산적일 수 있다 (예: 모든 실수 집합 또는 제한된 범위 내의 모든 실수). 가능한 출력 값의 집합은 유한 집합 또는 가산 무한일 수 있다.^[6] 예를 들어, 벡터 양자화는 다차원(벡터 값) 입력 데이터에 양자화를 적용한 것이다.^[7]

4. 양자화의 종류

양자화는 적용 분야 및 방법에 따라 다양한 종류로 나뉜다.

4. 1. 아날로그-디지털 변환기 (ADC)

4. 2. 율-왜곡 최적화

• 분류: 입력 신호 범위를 여러 개의 겹치지 않는 구간으로 나누는 과정이다. 각 구간은 특정 양자화 인덱스와 연결된다.
• 재구성: 각 구간을 대표하는 값을 선택하여 해당 구간에 속하는 모든 입력을 이 값으로 매핑한다.

• 구간 $I\_k$에 속할 확률:

• 비트 전송률:

• 왜곡 (평균 제곱 오차 기준):

5. 양자화 설계

양자화기 설계는 왜곡과 비트율 간의 균형을 고려하여 이루어진다. 부호가 있는 입력 데이터에 대한 대부분의 균일 양자화기는 미드-라이저(mid-riser)와 미드-트레드(mid-tread) 두 가지 유형으로 분류할 수 있다. 미드-트레드 양자화기는 0 값을 갖는 재구성 레벨(계단의 '트레드')을 가지는 반면, 미드-라이저 양자화기는 0 값을 갖는 분류 임계값(계단의 '라이저')을 갖는다.^[9]

미드-트레드 양자화는 반올림을 포함하며, 관련 공식은 다음과 같다.

:$Q(x)\; =\; \backslash Delta\; \backslash cdot\; \backslash left\backslash lfloor\; \backslash frac\{x\}\{\backslash Delta\}\; +\; \backslash frac\{1\}\{2\}\; \backslash right\backslash rfloor$

미드-라이저 양자화는 절단을 포함하며, 입출력 공식은 다음과 같다.

:$Q(x)\; =\; \backslash Delta\backslash cdot\backslash left(\backslash left\backslash lfloor\; \backslash frac\{x\}\{\backslash Delta\}\backslash right\backslash rfloor\; +\; \backslash frac1\{2\}\backslash right)$

분류 규칙은

:$k\; =\; \backslash left\backslash lfloor\; \backslash frac\{x\}\{\backslash Delta\}\; \backslash right\backslash rfloor$

이고, 재구성 규칙은

:$y\_k\; =\; \backslash Delta\backslash cdot\backslash left(k+\backslash tfrac1\{2\}\backslash right)$

이다.

미드-라이저 균일 양자화기는 0 출력 값을 갖지 않는 반면, 미드-트레드 양자화기는 0 출력 레벨을 갖는다. 일부 응용 분야에서는 0 출력 신호 표현이 필요할 수 있다.

일반적으로 미드-라이저 또는 미드-트레드 양자화기는 실제로 ''균일'' 양자화기가 아닐 수 있다. 즉, 양자화기의 분류 구간의 크기가 모두 동일하지 않거나, 가능한 출력 값 사이의 간격이 모두 동일하지 않을 수 있다. 미드-라이저 양자화기의 특징은 분류 임계 값의 정확한 값이 0이고, 미드-트레드 양자화기의 특징은 재구성 값의 정확한 값이 0이라는 것이다.^[9]

5. 1. 입자 왜곡과 과부하 왜곡

5. 2. 율-왜곡 양자화기 설계

• 최대 왜곡 제약 조건 $D\; \backslash le\; D\_\backslash max$이 주어지면 비트 전송률 $R$을 최소화한다.
• 최대 비트 전송률 제약 조건 $R\; \backslash le\; R\_\backslash max$이 주어지면 왜곡 $D$를 최소화한다.

• $\{\backslash partial\; D\; \backslash over\backslash partial\; b\_k\}\; =\; 0\; \backslash Rightarrow\; b\_k\; =\; \{y\_k\; +\; y\_\{k+1\}\; \backslash over\; 2\}$: 각 임계값을 각 재구성 값 쌍의 중간점에 배치한다.
• $\{\backslash partial\; D\; \backslash over\backslash partial\; y\_k\}\; =\; 0\; \backslash Rightarrow\; y\_k\; =\; \{\; \backslash int\_\{b\_\{k-1\}\}^\{b\_k\}\; x\; f(x)\; dx\; \backslash over\; \backslash int\_\{b\_\{k-1\}\}^\{b\_k\}\; f(x)dx\; \}\; =\; \backslash frac1\{p\_k\}\; \backslash int\_\{b\_\{k-1\}\}^\{b\_k\}\; x\; f(x)\; dx$: 각 재구성 값을 관련된 분류 간격의 중심에 배치한다.

6. 양자화의 응용

양자화는 다양한 분야에서 활용된다. 많은 물리량은 실제로 물리적 실체에 의해 양자화된다.

6. 1. 기타 분야

참조

_[1] 논문 On the Calculation of the most Probable Values of Frequency-Constants, for Data arranged according to Equidistant Division of a Scale https://zenodo.org/r[...] Wiley
_[2] 간행물 Spectra of Quantized Signals http://www.alcatel-l[...] Bell System Technical Journal 1948-07
_[3] 논문 The Philosophy of PCM Institute of Electrical and Electronics Engineers (IEEE)
_[4] 서적 Modern Communication Principles https://books.google[...] McGraw–Hill
_[5] 논문 Asymptotically efficient quantizing Institute of Electrical and Electronics Engineers (IEEE)
_[6] 논문 Quantization Institute of Electrical and Electronics Engineers (IEEE)
_[7] 서적 Vector Quantization and Signal Compression https://books.google[...] Springer Science+Business Media 1991
_[8] 서적 Understanding Records Berklee Press 2010
_[9] 논문 Quantization Institute of Electrical and Electronics Engineers (IEEE)
_[10] 서적 The JPEG 2000 Suite https://archive.org/[...] John Wiley & Sons 2009
_[11] 서적 JPEG2000: Image Compression Fundamentals, Standards and Practice https://archive.org/[...] Kluwer Academic Publishers 2002
_[12] 논문 A Study of Rough Amplitude Quantization by Means of Nyquist Sampling Theory Institute of Electrical and Electronics Engineers (IEEE)
_[13] 간행물 Statistical analysis of amplitude quantized sampled data systems http://www-isl.stanf[...] Trans. AIEE Pt. II: Appl. Ind. 1961-01
_[14] 논문 The Validity of the Additive Noise Model for Uniform Scalar Quantizers Institute of Electrical and Electronics Engineers (IEEE)
_[15] 서적 Principles of Digital Audio 2nd Edition https://books.google[...] SAMS 1989
_[16] 서적 The Art of Digital Audio 3rd Edition Focal Press 2001
_[17] 논문 Optimum quantizer performance for a class of non-Gaussian memoryless sources Institute of Electrical and Electronics Engineers (IEEE)
_[18] 논문 Efficient scalar quantization of exponential and Laplacian random variables Institute of Electrical and Electronics Engineers (IEEE)
_[19] 논문 Optimum quantizers and permutation codes Institute of Electrical and Electronics Engineers (IEEE)
_[20] 논문 Minimum entropy quantizers and permutation codes Institute of Electrical and Electronics Engineers (IEEE)
_[21] 논문 Least squares quantization in PCM Institute of Electrical and Electronics Engineers (IEEE)
_[22] 논문 Quantizing for minimum distortion Institute of Electrical and Electronics Engineers (IEEE)
_[23] 논문 Entropy-constrained vector quantization Institute of Electrical and Electronics Engineers (IEEE)