쿨백-라이블러 발산

3. 어원

솔로몬 쿨백과 리처드 라이블러는 1951년에 상대 엔트로피를 "μ₁으로부터의 관찰당 H₁과 H₂ 간의 차별을 위한 평균 정보"로 소개하였다.^[3] 여기서 H₁과 H₂는 각각 두 확률 측정 μ₁과 μ₂에서 선택하는 가설이다. 쿨백과 라이블러는 이를 I(1:2)로 표기했으며, 해럴드 제프리스가 1948년에 이미 정의하고 사용했던 대칭화된 양 J(1,2) = I(1:2) + I(2:1)을 "μ₁과 μ₂ 간의 '발산'"으로 정의했다. 쿨백은 1959년에 대칭화된 형태를 다시 "발산"으로 언급했고, 각 방향의 상대 엔트로피는 두 분포 간의 "방향성 발산"으로 언급했다. 쿨백은 '차별 정보'라는 용어를 선호했다. "발산"이라는 용어는 대칭화된 발산이 삼각 부등식을 만족하지 않기 때문에 거리(메트릭)와는 대조적이다. 비대칭 "방향성 발산"은 쿨백-라이블러 발산으로 알려지게 되었고, 대칭화된 "발산"은 현재 '''제프리스 발산'''이라고 불린다.

4. 직관적 의미

쿨백-라이블러 발산(KL 발산)은 확률분포 $P$를 근사적으로 표현하는 확률분포 $Q$를 $P$ 대신 사용할 때 발생하는 엔트로피 변화를 의미한다. 이는 $P$의 엔트로피 $H(P)$와 $P$ 대신 $Q$를 사용할 때의 교차 엔트로피 $H(P,\; Q)$의 차이로 계산된다.^[12]

:$D\_\{\backslash mathrm\{KL\}\}(P\backslash |Q)\; =\; H(P,\; Q)\; -\; H(P)$

:$=\; (-\backslash sum\_x\; p(x)\; \backslash log\; q(x))\; -\; (-\backslash sum\_x\; p(x)\; \backslash log\; p(x))$

일반적으로 $P$는 실제 데이터, $Q$는 이론 또는 $P$의 근사치를 나타낸다. KL 발산은 $Q$에 최적화된 코드로 $P$의 샘플을 부호화할 때 필요한 평균 비트 수의 차이로 해석된다.^[16][17][18]

4. 1. 통계학적 해석

5. 동기

정보 이론에서 크라프트-맥밀란 정리는 집합의 가능성 중 하나의 값 $x\_i$를 식별하기 위해 메시지를 코딩하기 위한 직접 해독 가능한 코딩 방식은 $x\_i$에 대한 코드의 길이 $\backslash ell\_i$가 비트 단위일 때, 암묵적인 확률 분포 $q(x\_i)=2^\{-\backslash ell\_i\}$를 나타내는 것으로 볼 수 있음을 확립한다. 따라서 쿨백-라이블러 발산은 주어진 (잘못된) 분포 에 최적인 코드를 사용했을 때, 참 분포 를 기반으로 한 코드를 사용하는 것과 비교하여 통신해야 하는 데이터당 예상 추가 메시지 길이로 해석될 수 있다. 즉, ''초과'' 엔트로피이다.^[16][17][18]

:$\backslash begin\{align\}$

D_\text{KL}(P\parallel Q) &= \sum_{x\in\mathcal{X}} p(x) \log \frac{1}{q(x)} - \sum_{x\in\mathcal{X}} p(x) \log \frac{1}{p(x)} \\[5pt]

&= \Eta(P, Q) - \Eta(P)

\end{align}

여기서 $\backslash Eta(P,Q)$는 에 대한 의 교차 엔트로피이고 $\backslash Eta(P)$는 의 엔트로피이다 (이는 P와 자체의 교차 엔트로피와 동일하다).

6. 속성

쿨백-라이블러 발산은 다음과 같은 중요한 속성들을 가진다.

• 음이 아닌 값: 쿨백-라이블러 발산은 항상 0보다 크거나 같다. 즉, $D\_\backslash text\{KL\}(P\; \backslash parallel\; Q)\; \backslash geq\; 0$ 이다. 이는 깁스 부등식으로 알려져 있으며, $D\_\backslash text\{KL\}(P\backslash parallel\; Q)$는 $P\; =\; Q$인 경우에만 0이 된다.^[19] 자세한 내용은 #음이 아닌 값 문단을 참조하라.
• 상한의 부재: 일반적인 경우 쿨백-라이블러 발산에 상한은 존재하지 않는다.^[19] 그러나 P와 Q가 동일한 이산량을 분배하여 생성된 두 개의 이산 확률 분포인 경우에는 $D\_\backslash text\{KL\}(P\backslash parallel\; Q)$의 최댓값을 계산할 수 있다.^[19] 자세한 내용은 #상한의 부재 문단을 참조하라.
• 변수 변환 불변성: 쿨백-라이블러 발산은 변수 변환에 대해 불변한다.^[20] 즉, 변수 x를 $y(x)$로 변환해도 쿨백-라이블러 발산의 값은 변하지 않는다. 자세한 내용은 #변수 변환 불변성 문단을 참조하라.
• 독립 확률 변수에 대한 가법성: $P\_1,\; P\_2$가 독립 분포이고 $P(dx,\; dy)\; =\; P\_1(dx)P\_2(dy)$이며, 마찬가지로 $Q\_1,\; Q\_2$가 독립 분포이고 $Q(dx,\; dy)\; =\; Q\_1(dx)Q\_2(dy)$이면, 다음이 성립한다.

• 볼록 함수: 쿨백-라이블러 발산 $D\_\backslash text\{KL\}(P\; \backslash parallel\; Q)$는 확률 측정 쌍 $(P,Q)$에 대해 볼록 함수이다. 즉, $(P\_1,Q\_1)$과 $(P\_2,Q\_2)$가 확률 측정 쌍이면, 다음 부등식이 성립한다.

• 테일러 전개: 쿨백-라이블러 발산은 최솟값($P=Q$)에 대해 다음과 같이 테일러 전개될 수 있다.^[19]

• 쿨백-라이블러 정보량은 거리라고 부르기도 하지만, 대칭성이 없고 삼각 부등식을 만족하지 않기 때문에 엄밀한 의미에서 거리라고 할 수는 없다.

6. 1. 음이 아닌 값

6. 2. 상한의 부재

6. 3. 변수 변환 불변성

6. 4. 독립 확률 변수에 대한 가법성

6. 5. 볼록 함수

6. 6. 테일러 전개

7. 변분 추론을 위한 이중성 공식

다음 결과는 돈스커(Donsker)와 바라단(Varadhan)에 의한 것으로,^[21] '''돈스커-바라단 변분 공식'''으로 알려져 있다.

:$\backslash Theta$가 적절한 $\backslash sigma$-체 $\backslash mathcal\{F\}$를 갖는 집합이고, 두 확률 측도 와 가 있어 두 확률 공간 $(\backslash Theta,\backslash mathcal\{F\},P)$와 $(\backslash Theta,\backslash mathcal\{F\},Q)$를 구성하며, $Q\; \backslash ll\; P$라고 하자. ($Q\; \backslash ll\; P$는 가 에 대해 절대적으로 연속임을 나타낸다.) 가 $(\backslash Theta,\backslash mathcal\{F\},P)$에서 실수 값을 갖는 적분 가능한 확률 변수라고 하자. 그러면 다음 등식이 성립한다.

:$\backslash log\; E\_P[\backslash exp\; h]\; =\; \backslash text\{sup\}\_\{Q\; \backslash ll\; P\}\; \backslash \{\; E\_Q[h]\; -\; D\_\backslash text\{KL\}(Q\; \backslash parallel\; P)\backslash \}.$

:또한, 우변의 상한은 다음이 성립하는 경우에만 달성된다.

:$\backslash frac\{Q(d\backslash theta)\}\{P(d\backslash theta)\}\; =\; \backslash frac\{\backslash exp\; h(\backslash theta)\}\{E\_P[\backslash exp\; h]\},$

:확률 측도 에 대해 거의 확실하며, 여기서 $\backslash frac\{Q(d\backslash theta)\}\{P(d\backslash theta)\}$는 에 대한 의 라돈-니코딤 도함수를 나타낸다.

:에 대해 $\backslash exp(h)$의 적분 가능성을 가정하는 간단한 증명을 위해, $Q^*$가 밀도 $\backslash frac\{\backslash exp\; h(\backslash theta)\}\{E\_P[\backslash exp\; h]\}$를 갖는다고 하자. 즉, $Q^*(d\backslash theta)\; =\; \backslash frac\{\backslash exp\; h(\backslash theta)\}\{E\_P[\backslash exp\; h]\}\; P(d\backslash theta)$이다. 그러면

:$D\_\backslash text\{KL\}(Q\; \backslash parallel\; Q^*)\; -\; D\_\backslash text\{KL\}(Q\; \backslash parallel\; P)\; =\; -E\_Q[h]\; +\; \backslash log\; E\_P[\backslash exp\; h].$

:따라서,

:$E\_Q[h]\; -\; D\_\backslash text\{KL\}(Q\; \backslash parallel\; P)\; =\; \backslash log\; E\_P[\backslash exp\; h]\; -\; D\_\backslash text\{KL\}(Q\; \backslash parallel\; Q^*)\; \backslash le\; \backslash log\; E\_P[\backslash exp\; h],$

:마지막 부등식은 $D\_\backslash text\{KL\}(Q\; \backslash parallel\; Q^*)\; \backslash ge\; 0$에서 비롯되며, 이는 $Q=Q^*$인 경우에만 등식이 성립한다. 결론이 따른다.

8. 예시

쿨백^[24]은 다음과 같은 예시를 제시한다(표 2.1, 예시 2.1). $P$와 $Q$를 표와 그림에 나타난 분포라고 하자. $P$는 그림의 왼쪽에 있는 분포로, $N\; =\; 2$이고 $p\; =\; 0.4$인 이항 분포이다. $Q$는 그림의 오른쪽에 있는 분포로, 가능한 세 가지 결과 $x\; =$ 0, 1, 2 (즉, $\backslash mathcal\{X\}=\backslash \{0,1,2\backslash \}$)를 가지는 이산 균등 분포이며, 각 결과는 확률 $p\; =\; 1/3$을 가진다.

자연 로그를 밑 e로 사용하여 nat 단위의 결과를 얻는다. (정보 단위 참조)

$D\_\backslash text\{KL\}(P\; \backslash parallel\; Q)$와 $D\_\backslash text\{KL\}(Q\; \backslash parallel\; P)$는 다음과 같이 계산된다.

:$\backslash begin\{align\}$

D_\text{KL}(P \parallel Q) &= \sum_{x\in\mathcal{X}} P(x) \ln\left(\frac{P(x)}{Q(x)}\right) \\

&= \frac{9}{25} \ln\left(\frac{9/25}{1/3}\right)

+ \frac{12}{25} \ln\left(\frac{12/25}{1/3}\right)

+ \frac{4}{25} \ln\left(\frac{4/25}{1/3}\right) \\

& = \frac{1}{25} \left(32 \ln(2) + 55 \ln(3) - 50 \ln(5) \right) \approx 0.0852996,

\end{align}

:$\backslash begin\{align\}$

D_\text{KL}(Q \parallel P) &= \sum_{x\in\mathcal{X}} Q(x) \ln\left(\frac{Q(x)}{P(x)}\right) \\

&= \frac{1}{3} \ln\left(\frac{1/3}{9/25}\right)

+ \frac{1}{3} \ln\left(\frac{1/3}{12/25}\right)

+ \frac{1}{3} \ln\left(\frac{1/3}{4/25}\right) \\

&= \frac{1}{3} \left(-4 \ln(2) - 6 \ln(3) + 6 \ln(5) \right) \approx 0.097455.

\end{align}

8. 1. 다변량 정규 분포

8. 1. 1. 대각 다변량 정규 분포와 표준 정규 분포

8. 2. 균등 분포

상대 엔트로피 $D\_\backslash text\{KL\}(P\; \backslash parallel\; Q)$와 $D\_\backslash text\{KL\}(Q\; \backslash parallel\; P)$는 다음과 같이 계산된다.

:$\backslash begin\{align\}$

D_\text{KL}(P \parallel Q) &= \sum_{x\in\mathcal{X}} P(x) \ln\left(\frac{P(x)}{Q(x)}\right) \\

&= \frac{9}{25} \ln\left(\frac{9/25}{1/3}\right)

+ \frac{12}{25} \ln\left(\frac{12/25}{1/3}\right)

+ \frac{4}{25} \ln\left(\frac{4/25}{1/3}\right) \\

& = \frac{1}{25} \left(32 \ln(2) + 55 \ln(3) - 50 \ln(5) \right) \approx 0.0852996,

\end{align}

:$\backslash begin\{align\}$

D_\text{KL}(Q \parallel P) &= \sum_{x\in\mathcal{X}} Q(x) \ln\left(\frac{Q(x)}{P(x)}\right) \\

&= \frac{1}{3} \ln\left(\frac{1/3}{9/25}\right)

+ \frac{1}{3} \ln\left(\frac{1/3}{12/25}\right)

+ \frac{1}{3} \ln\left(\frac{1/3}{4/25}\right) \\

&= \frac{1}{3} \left(-4 \ln(2) - 6 \ln(3) + 6 \ln(5) \right) \approx 0.097455.

\end{align}

두 개의 균등 분포에서 p=[A,B]의 지지 집합이 q=[C,D] (

:$$

D_\text{KL}\left(\mathcal{p} \parallel \mathcal{q}\right) = \log \frac{D-C}{B-A}



직관적으로^[24] ''k''배 더 좁은 균등 분포에 대한 정보 획득은 $\backslash log\_2\; k$ 비트를 포함한다. 이는 $\backslash log\_2k$ 비트가 ''k'' 길이의 스트림에서 하나의 요소를 식별하는 데 필요할 때, 컴퓨팅에서 비트를 사용하는 것과 관련이 있다.

9. 메트릭과의 관계

쿨백-라이블러 발산(KL 발산)은 미터법이 아니라 발산의 일종이다.^[9] 미터법은 대칭적이며 삼각 부등식을 만족하는 '선형' 거리를 일반화하는 반면, 발산은 비대칭적이며 경우에 따라 일반화된 피타고라스 정리를 만족하는 '제곱' 거리를 일반화한다. 일반적으로 $D\_\backslash text\{KL\}(P\; \backslash parallel\; Q)$는 $D\_\backslash text\{KL\}(Q\; \backslash parallel\; P)$와 같지 않으며, 이러한 비대칭성은 기하학의 중요한 부분이다.^[9]

상대 엔트로피의 무한소 형태, 특히 그 헤시안은 피셔 정보 메트릭과 같은 계량 텐서를 제공한다. 핀스커 부등식에 따르면 쿨백-라이블러 발산이 0으로 수렴하면, 전체 변동에서 일반적인 수렴을 의미한다.

9. 1. 피셔 정보량 척도

9. 1. 1. 피셔 정보량 척도 정리

9. 2. 정보 변동

9. 3. MAUVE 메트릭

10. 정보 이론의 다른 양과의 관계

크라프트-맥밀란 정리에 따르면, 특정 집합의 값 $x\_i$를 식별하기 위한 코딩 방식은 코드 길이 $\backslash ell\_i$ (비트 단위)를 가질 때, 그 집합에 대한 암묵적 확률 분포 $q(x\_i)=2^\{-\backslash ell\_i\}$를 나타낸다. 따라서 쿨백-라이블러 발산은 주어진 (잘못된) 분포 $Q$에 최적인 코드를 사용할 때, 참 분포 $P$를 기반으로 한 코드를 사용하는 것과 비교하여 추가로 필요한 데이터당 평균 메시지 길이를 의미하며, 이는 '초과' 엔트로피로 해석된다.

:$\backslash begin\{align\}$

D_\text{KL}(P\parallel Q) &= \sum_{x\in\mathcal{X}} p(x) \log \frac{1}{q(x)} - \sum_{x\in\mathcal{X}} p(x) \log \frac{1}{p(x)} \\[5pt]

&= \Eta(P, Q) - \Eta(P)

\end{align}

위 식에서 $\backslash Eta(P,Q)$는 $P$에 대한 $Q$의 교차 엔트로피이고, $\backslash Eta(P)$는 $P$의 엔트로피이다. (이는 $P$와 자체의 교차 엔트로피와 동일하다).

쿨백-라이블러 발산 $D\_\backslash text\{KL\}(P\; \backslash parallel\; Q)$는 분포 $Q$가 분포 $P$에서 얼마나 떨어져 있는지 측정하는 통계적 거리로, 기하학적으로는 발산 (비대칭적이고 일반화된 형태의 제곱 거리)이다. 교차 엔트로피 $H(P,Q)$ 자체도 이러한 측정값이지만, $H(P,P)=:H(P)$가 0이 아니므로 거리로 볼 수 없다. 따라서 $H(P)$를 빼서 $D\_\backslash text\{KL\}(P\; \backslash parallel\; Q)$를 거리 개념에 더 가깝게 만든다.

상대 엔트로피는 대편차 이론에서 "율 함수"와 관련이 있으며,^[16][17] 아서 홉슨은 상대 엔트로피가 엔트로피의 특징에 나타나는 속성의 표준적인 확장이면서, 확률 분포 간 차이를 측정하는 유일한 값임을 증명했다.^[18] 결과적으로, 상호 정보는 특정 관련 조건을 따르는 유일한 상호 의존성 측정값이며, 쿨백-라이블러 발산의 측면에서 정의될 수 있다.

자기 정보, 상호 정보, 섀넌 엔트로피, 조건부 엔트로피 등 정보 이론의 여러 다른 양들은 쿨백-라이블러 발산의 특수한 경우를 응용한 것으로 해석할 수 있다.

10. 1. 자기 정보

10. 2. 상호 정보

10. 3. 섀넌 엔트로피

10. 4. 조건부 엔트로피

10. 5. 교차 엔트로피

11. 베이즈 업데이트

베이즈 통계학에서 상대 엔트로피는 사전 확률 분포에서 사후 확률 분포: $p(x)\; \backslash to\; p(x\backslash mid\; I)$로 이동할 때 정보 획득의 척도로 사용될 수 있다. 새로운 사실 $Y\; =\; y$가 발견되면, 이를 사용하여 베이즈 정리를 통해 $X$에 대한 사후 확률 분포를 $p(x\backslash mid\; I)$에서 새로운 사후 확률 분포 $p(x\backslash mid\; y,I)$로 업데이트할 수 있다.

:$p(x\; \backslash mid\; y,\; I)\; =\; \backslash frac\{p(y\; \backslash mid\; x,\; I)\; p(x\; \backslash mid\; I)\}\{p(y\; \backslash mid\; I)\}$

이 분포는 새로운 엔트로피를 갖는다.

:$\backslash Eta\backslash big(p(x\; \backslash mid\; y,\; I)\backslash big)\; =\; -\backslash sum\_x\; p(x\; \backslash mid\; y,\; I)\; \backslash log\; p(x\; \backslash mid\; y,\; I),$

이는 원래 엔트로피 $\backslash Eta(p(x\backslash mid\; I))$보다 작거나 클 수 있다. 그러나 새로운 확률 분포의 관점에서 볼 때, $p(x\backslash mid\; I)$을 기반으로 한 원래 코드를 $p(x\backslash mid\; y,\; I)$를 기반으로 한 새로운 코드 대신 사용했다면 예상되는 비트 수가 다음과 같이 추가되었을 것으로 추정할 수 있다.

:$D\_\backslash text\{KL\}\backslash big(p(x\; \backslash mid\; y,\; I)\; \backslash parallel\; p(x\; \backslash mid\; I)\; \backslash big)\; =\; \backslash sum\_x\; p(x\; \backslash mid\; y,\; I)\; \backslash log\backslash left(\backslash frac\{p(x\; \backslash mid\; y,\; I)\}\{p(x\; \backslash mid\; I)\}\backslash right)$

이것은 메시지 길이에 유용한 정보의 양 또는 $Y\; =\; y$를 발견하여 얻은 $X$에 대한 정보 획득을 나타낸다.

만약 추가 데이터 $Y\_2\; =\; y\_2$가 차후에 들어오면, $X$에 대한 확률 분포를 더 업데이트하여 새로운 최상의 추측 $p(x\; \backslash mid\; y\_1,\; y\_2,\; I)$를 얻을 수 있다. $p(x\; \backslash mid\; I)$ 대신 $p(x\; \backslash mid\; y\_1,I)$을 사용하는 것에 대한 정보 획득을 다시 조사하면, 이전에 추정했던 것보다 더 크거나 작을 수 있다.

:$\backslash sum\_x\; p(x\; \backslash mid\; y\_1,\; y\_2,\; I)\; \backslash log\backslash left(\backslash frac\{p(x\; \backslash mid\; y\_1,\; y\_2,\; I)\}\{p(x\; \backslash mid\; I)\}\backslash right)$는 ≤ 또는 > $\backslash displaystyle\; \backslash sum\_x\; p(x\; \backslash mid\; y\_1,\; I)\; \backslash log\backslash left(\backslash frac\{p(x\; \backslash mid\; y\_1,\; I)\}\{p(x\; \backslash mid\; I)\}\backslash right)$ 일 수 있다.

따라서 결합된 정보 획득은 삼각 부등식을 따르지 않는다.

:$D\_\backslash text\{KL\}\; \backslash big(\; p(x\; \backslash mid\; y\_1,\; y\_2,\; I)\; \backslash parallel\; p(x\; \backslash mid\; I)\; \backslash big)$는 <, =, > $D\_\backslash text\{KL\}\backslash big(\; p(x\; \backslash mid\; y\_1,\; y\_2,\; I)\; \backslash parallel\; p(x\; \backslash mid\; y\_1,\; I)\backslash big)\; +\; D\_\backslash text\{KL\}\backslash big(p(x\; \backslash mid\; y\_1,\; I)\; \backslash parallel\; p(x\; \backslash mid\; I)\backslash big)$ 일 수 있다.

말할 수 있는 모든 것은 $p(y\_2\; \backslash mid\; y\_1,\; x,\; I)$를 사용하여 평균을 내면 두 변이 평균적으로 같아진다는 것이다.

12. 베이즈 실험 설계

베이즈 실험 설계에서 흔한 목표는 사전 확률과 사후 확률 사이의 기대 상대 엔트로피를 최대화하는 것이다.^[25] 사후 확률이 가우시안 분포로 근사될 때, 기대 상대 엔트로피를 최대화하는 설계를 베이즈 d-최적 설계라고 부른다.

13. 판별 정보

상대 엔트로피 $D\_\backslash text\{KL\}\backslash bigl(p(x\; \backslash mid\; H\_1)\; \backslash parallel\; p(x\; \backslash mid\; H\_0)\backslash bigr)$는 $H\_0$에 대한 $H\_1$에 대한 기대 '''차별 정보'''로 해석될 수도 있다. 이는 가설 $H\_1$이 참일 때 가설 $H\_0$에 대한 가설 $H\_1$을 옹호하기 위해 샘플당 평균 정보이다.^[26] I. J. Good은 이 양을 각 샘플에서 기대되는 $H\_0$에 대한 $H\_1$에 대한 증거의 기대 가중치라고도 불렀다.

$H\_0$에 대한 $H\_1$에 대한 증거의 기대 가중치는 가설 $p(H)$의 확률 분포에 대해 샘플당 기대되는 정보 이득과 '''같지 않다'''.

:$D\_\backslash text\{KL\}(p(x\; \backslash mid\; H\_1)\; \backslash parallel\; p(x\; \backslash mid\; H\_0))\; \backslash neq\; IG\; =\; D\_\backslash text\{KL\}(p(H\; \backslash mid\; x)\; \backslash parallel\; p(H\; \backslash mid\; I)).$

두 양 중 하나는 베이즈 실험 설계에서 다음으로 조사할 최적의 질문을 선택하기 위한 효용 함수로 사용될 수 있다. 그러나 일반적으로 상당히 다른 실험 전략으로 이어진다.

''정보 이득''의 엔트로피 척도에서 거의 확실성과 절대적인 확실성 사이에는 거의 차이가 없다. 거의 확실성에 따라 코딩하는 것은 절대적인 확실성에 따라 코딩하는 것보다 거의 더 많은 비트가 필요하지 않다. 반면에, 증거의 가중치에 의해 암시되는 로짓 척도에서 둘 사이의 차이는 엄청나다. 즉, 무한할 수 있다. 이는, 예를 들어, 리만 가설이 옳다는 것을 (확률적 수준에서) 거의 확신하는 것과 수학적 증명이 있기 때문에 그것이 옳다고 확신하는 것의 차이를 반영할 수 있다. 불확실성에 대한 이러한 두 가지 다른 손실 함수 척도는 각 척도가 문제의 특정 상황을 얼마나 잘 반영하는지에 따라 ''모두'' 유용하다.

14. 최소 판별 정보 원리

쿨백은 상대 엔트로피를 차별 정보로 간주하여 '''최소 차별 정보 원리(MDI)'''를 제안했다. 새로운 사실이 주어지면, 새로운 분포는 원래 분포 $f\_0$와 구별하기 어렵게 선택해야 한다. 즉, 새로운 데이터가 가능한 한 작은 정보 획득 $D\_\backslash text\{KL\}(f\; \backslash parallel\; f\_0)$을 생성하도록 해야 한다.^[27]

예를 들어, x와 a에 대한 사전 분포 $p(x,a)$가 있고, 이후 a의 실제 분포가 $u(a)$임을 알게 되었다면, x와 a에 대한 새로운 결합 분포 $q(x\backslash mid\; a)u(a)$와 이전 사전 분포 사이의 상대 엔트로피는 다음과 같다.

:$D\_\backslash text\{KL\}(q(x\; \backslash mid\; a)u(a)\; \backslash parallel\; p(x,\; a))\; =\; \backslash operatorname\{E\}\_\{u(a)\}\backslash left\backslash \{D\_\backslash text\{KL\}(q(x\; \backslash mid\; a)\; \backslash parallel\; p(x\; \backslash mid\; a))\backslash right\backslash \}\; +\; D\_\backslash text\{KL\}(u(a)\; \backslash parallel\; p(a)),$

즉, 업데이트된 분포 $u(a)$에서 a의 사전 분포 $p(a)$의 상대 엔트로피와, 새로운 조건부 분포 $q(x\backslash mid\; a)$에서 사전 조건부 분포 $p(x\backslash mid\; a)$의 상대 엔트로피의 기대값(확률 분포 $u(a)$ 사용)의 합이다. 여기서 후자의 기대값을 "조건부 상대 엔트로피"(또는 "조건부 쿨백-라이블러 발산")라고 부르며 $D\_\backslash text\{KL\}(q(x\backslash mid\; a)\; \backslash parallel\; p(x\backslash mid\; a))$로 표기한다.^[27] 이는 $u(a)$의 전체 지지 집합에서 $q(x\backslash mid\; a)=p(x\backslash mid\; a)$일 때 최소화된다. 이 결과는 새로운 분포 $u(a)$가 사실상 a가 특정 값을 갖는다는 확신을 나타내는 δ 함수인 경우 베이즈 정리를 포함한다.

MDI는 라플라스의 무차별 원리와 E.T. 제인스의 최대 엔트로피 원리의 확장으로 볼 수 있다. 특히, 섀넌 엔트로피가 더 이상 유용하지 않게 되는 연속 분포에 대한 최대 엔트로피 원리의 자연스러운 확장이다(''미분 엔트로피'' 참조).

공학 문헌에서 MDI는 때때로 '''최소 교차 엔트로피 원리'''(MCE) 또는 간단히 '''민센트'''라고 불린다.

15. 사용 가능한 작업과의 관계

16. 양자 정보 이론

힐베르트 공간에 대한 밀도 행렬 ''P''와 ''Q''에 대해 ''Q''에서 ''P''로의 양자 상대 엔트로피는 다음과 같이 정의된다.

:$D\_\backslash text\{KL\}(P\; \backslash parallel\; Q)\; =\; \backslash operatorname\{Tr\}(P(\backslash log(P)\; -\; \backslash log(Q))).$

양자 정보 과학에서 모든 분리 가능한 상태 ''Q''에 대한 $D\_\backslash text\{KL\}(P\backslash parallel\; Q)$의 최솟값은 상태 ''P''의 양자 얽힘의 척도로도 사용될 수 있다.

17. 모델과 현실 간의 관계

"주변 환경으로부터 실제"의 상대 엔트로피가 열역학적 가용성을 측정하는 것과 마찬가지로, "모델로부터 현실"의 상대 엔트로피는 현실에 대한 유일한 단서가 몇 가지 실험 측정값뿐일 때에도 유용하다. 전자의 경우 상대 엔트로피는 ''평형으로부터의 거리'' 또는 (주변 온도와 곱해질 때) ''가용 작업량''을 설명하는 반면, 후자의 경우 현실이 숨겨둔 놀라움, 즉 ''모델이 얼마나 더 배워야 하는지''를 알려준다.^[34][35]

실험적으로 접근 가능한 시스템에 대한 모델을 평가하는 이 도구는 어떤 분야에도 적용될 수 있지만, 아카이케 정보 기준을 통해 통계 모델을 선택하는 데 적용하는 것은 특히 잘 설명되어 있다. 간단히 말해서, 모델로부터 현실의 상대 엔트로피는 데이터와 모델의 예측 간에 관찰된 편차(예: 평균 제곱 편차)의 함수에 의해 상수 가산 항 내에서 추정될 수 있다. 동일한 가산 항을 공유하는 모델에 대한 이러한 발산 추정치는 차례로 모델 간의 선택에 사용될 수 있다.

매개변수화된 모델을 데이터에 맞추려고 할 때 최대 우도 및 최대 간격 추정 추정치와 같이 상대 엔트로피를 최소화하려는 다양한 추정기가 있다.

18. 대칭 발산

솔로몬 쿨백과 리처드 라이블러는 1951년에 쿨백-라이블러 발산을 처음 소개하면서, '발산'이라는 용어를 사용하여 대칭화된 형태인 $J(1,2)\; =\; I(1:2)\; +\; I(2:1)$를 정의했다.^[3] 여기서 $I(1:2)$는 두 확률 분포 $\backslash mu\_1$과 $\backslash mu\_2$를 비교했을 때, $\backslash mu\_1$으로부터의 관찰 당 $H\_1$과 $H\_2$ 간의 차별을 위한 평균 정보이다. 이 대칭 함수는 이미 1948년 해럴드 제프리스에 의해 정의되었으며, 현재는 제프리스 발산이라고 불린다.^[3]

쿨백-라이블러 발산의 비대칭성은 때때로 문제가 될 수 있다. 이러한 문제를 해결하기 위해 다음과 같은 대칭화된 발산들이 사용된다.

• 제프리스 발산: 쿨백과 라이블러가 "발산"으로 정의했던 함수로, 다음과 같이 정의된다.

• 람다 발산: 또 다른 대안으로, 다음과 같이 정의된다.

• 젠센-섀넌 발산: 람다 발산에서 $\backslash lambda\; =\; 0.5$인 경우로, 다음과 같이 정의된다.

19. 다른 확률 거리 측정과의 관계

다른 많은 중요한 확률 거리 척도가 있다. 이 중 일부는 상대 엔트로피와 특히 관련이 있다. 예를 들어:

• 전변동 거리 $\backslash delta(p,q)$는 핀스커 부등식을 통해 발산과 연결된다: $$\backslash delta(P,\; Q)\; \backslash le\; \backslash sqrt\{\backslash frac\{1\}\{2\}\; D\_\backslash text\{KL\}(P\; \backslash parallel\; Q)\}.$$ 핀스커 부등식은 $D\_\{\backslash mathrm\{KL\}\}(P\backslash parallel\; Q)>2$인 모든 분포에 대해 무의미한데, 전변동 거리가 최대 1이기 때문이다. 이러한 분포에 대해서는 브르타뇰-후버 부등식^[38](또한, Tsybakov^[39] 참조)에 의한 대체 경계를 사용할 수 있다: $$\backslash delta(P,Q)\; \backslash le\; \backslash sqrt\{1-e^\{\; -D\_\{\backslash mathrm\{KL\}\}(P\backslash parallel\; Q)\; \}\}.$$
• 레니 발산 계열은 상대 엔트로피를 일반화한다. 특정 매개변수 $\backslash alpha$의 값에 따라 다양한 부등식을 유추할 수 있다.

20. 데이터 차분

절대 엔트로피가 데이터 압축의 이론적 배경 역할을 하는 것처럼, 상대 엔트로피는 데이터 차분의 이론적 배경 역할을 한다. 이러한 맥락에서 데이터 집합의 절대 엔트로피는 데이터를 재구성하는 데 필요한 데이터(최소 압축 크기)이고, 소스 데이터 집합이 주어졌을 때 대상 데이터 집합의 상대 엔트로피는 소스를 '주어진' 대상을 재구성하는 데 필요한 데이터(패치의 최소 크기)이다.^[1]

참조

_[1] 논문 I-Divergence Geometry of Probability Distributions and Minimization Problems 1975-02
_[2] 논문 On information and sufficiency
_[3] 논문 Letter to the Editor: The Kullback–Leibler distance
_[4] 서적 Information Theory, Inference, and Learning Algorithms https://books.google[...] Cambridge University Press
_[5] 웹사이트 What's the maximum value of Kullback-Leibler (KL) divergence? https://stats.stacke[...]
_[6] 웹사이트 In what situations is the integral equal to infinity? https://math.stackex[...]
_[7] 서적 Pattern recognition and machine learning http://worldcat.org/[...]
_[8] 서적 Model Selection and Multi-Model Inference https://archive.org/[...] Springer
_[9] 논문 Survey of Optimization Algorithms in Modern Neural Networks 2023-01
_[10] 논문 Fubini-Study metrics and Levi-Civita connections on quantum projective spaces https://linkinghub.e[...] 2021-12
_[11] 논문 Policy mirror descent for reinforcement learning: linear convergence, new sampling complexity, and generalized problem classes https://link.springe[...] 2023-03
_[12] 논문 A New Interpretation of Information Rate
_[13] 논문 Economics of Disagreement—Financial Intuition for the Rényi Divergence
_[14] 논문 Information Geometry of Risks and Returns
_[15] 논문 Flow Rider: Tradable Ecosystems' Relative Entropy of Flows As a Determinant of Relative Value 2024-09-30
_[16] 논문 On the probability of large deviations of random magnitudes
_[17] 서적 Extreme Value Methods with Applications to Finance Chapman & Hall
_[18] 서적 Concepts in statistical mechanics. Gordon and Breach 1971
_[19] arXiv Kullback-Leibler divergence between quantum distributions, and its upper-bound
_[20] 문서 Relative Entropy video lecture http://videolectures[...]
_[21] 논문 Asymptotic evaluation of certain Markov process expectations for large time. IV.
_[22] 웹사이트 Derivations for Linear Algebra and Optimization https://web.stanford[...]
_[23] 논문 Distributions of the Kullback-Leibler divergence with applications http://dx.doi.org/10[...] 2011-04-15
_[24] 서적 An intuition for physicists: information gain from experiments http://worldcat.org/[...] 2022-04-29
_[25] 논문 Bayesian experimental design: a review
_[26] 서적 Numerical Recipes: The Art of Scientific Computing Cambridge University Press
_[27] 서적 Elements of Information Theory John Wiley & Sons 1991
_[28] 서적 Thermostatics and Thermodynamics: An Introduction to Energy, Information and States of Matter, with Engineering Applications https://books.google[...] Van Nostrand 1959
_[29] 논문 Information theory and statistical mechanics http://bayes.wustl.e[...]
_[30] 논문 Information theory and statistical mechanics II http://bayes.wustl.e[...]
_[31] 서적 A Method of Geometrical Representation of the Thermodynamic Properties of Substances by Means of Surfaces https://books.google[...] The Academy 1871
_[32] 논문 Energy and information
_[33] 논문 Thermal roots of correlation-based complexity http://www3.intersci[...]
_[34] 논문 Kullback–Leibler information as a basis for strong inference in ecological studies
_[35] 서적 Model selection and multimodel inference : a practical information-theoretic approach http://worldcat.org/[...] Springer 2010-12
_[36] 논문 On the Jensen–Shannon Symmetrization of Distances Relying on Abstract Means
_[37] 논문 On a Generalization of the Jensen–Shannon Divergence and the Jensen–Shannon Centroid
_[38] 서적 Séminaire de Probabilités XII http://dx.doi.org/10[...] Springer Berlin Heidelberg 2023-02-14
_[39] 서적 Introduction to nonparametric estimation http://worldcat.org/[...] Springer 2010
_[40] 논문 The earth mover's distance as a metric for image retrieval
_[41] 서적 Information, physics, and computation https://www.worldcat[...] Oxford University Press 2009