레니 엔트로피

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 정의
3. 역사
4. 특수한 경우
5. 부등식
6. 응용
참조

1. 개요

레니 엔트로피는 밀도 행렬로 표현되는 양자 상태의 엔트로피를 정의하는 데 사용되는 개념으로, 헝가리 수학자 레니 얼프레드에 의해 1960년에 도입되었다. 이는 폰 노이만 엔트로피를 일반화한 것으로, 알파(α) 값에 따라 여러 가지 특수한 경우를 가지며, 섀넌 엔트로피, 하틀리 엔트로피, 충돌 엔트로피, 최소 엔트로피 등이 이에 해당한다. 레니 엔트로피는 확률 변수의 정보량을 측정하는 데 사용되며, 레니 발산과 같은 관련 개념과 함께 다양한 부등식 관계를 가진다. 응용 분야로는 정보 이론, 양자 정보, 그리고 랜덤 추출기 등이 있다.

2. 정의

레니 엔트로피는 정보 이론에서 섀넌 엔트로피를 일반화하여 엔트로피를 측정하는 방법이다.

레니 엔트로피는 다음과 같이 정의된다.

일반적인 정의: 알파( $\alpha$ )차 레니 엔트로피는 $0 < \alpha < \infin$ 이고 $\alpha \neq 1$ 일 때 특정 공식으로 정의된다. $\alpha = 0, 1, \infin$ 일 때는 극한값을 통해 정의된다.
정보 단위: 확률 변수의 정보 단위는 로그의 밑에 따라 결정된다. 밑이 2이면 섀넌, 밑이 e이면 냇 단위를 사용한다.
균일 분포: 확률이 모두 동일한 경우( $p_i=1/n$ ), 레니 엔트로피는 $\log n$ 으로 계산된다.
감소하지 않는 함수: 레니 엔트로피는 $\alpha$ 에 대해 감소하지 않는 함수이다.
α-노름과의 관계: 레니 엔트로피는 확률 벡터의 α-노름과 특정 관계를 가진다.
슈어 오목 함수: 레니 엔트로피는 슈어 오목 함수이며, 이는 슈어-오스트로프스키 기준에 의해 증명된다.

2. 1. 레니 엔트로피

밀도 행렬

\rho

로 주어진 양자 상태의 ''n''-'''레니 엔트로피'''

S_n(\rho)

는 다음과 같다.

:

S_n(\rho)=\frac1{1-n}\ln\operatorname{tr}\rho^n

여기서

n=1+\epsilon

이라고 하고

\epsilon\to0

극한을 취하면 테일러 급수 전개를 통해

:

S_{1+\epsilon}(\rho)=-\frac1\epsilon\ln\operatorname{tr}(\rho+\epsilon\rho\ln\rho+O(\epsilon^2))=-\operatorname{tr}(\rho\ln\rho)+O(\epsilon)

이므로, 폰 노이만 엔트로피를 얻는다.

알파 차 레니 엔트로피는

0 < \alpha < \infin

이고

\alpha \neq 1

일 때 다음과 같이 정의된다.^[1]

:

\Eta_\alpha(X) = \frac{1}{1-\alpha}\log\Bigg(\sum_{i=1}^n p_i^\alpha\Bigg) .

또한

\alpha = 0, 1, \infin

에서 다음과 같이 정의된다.

:

\Eta_\alpha(X) = \lim_{\gamma \to \alpha} \Eta_\gamma(X) .

여기서,

X

는 집합

\mathcal{A} = \{x_1,x_2,...,x_n\}

내의 가능한 결과와

i=1,\dots,n

에 대한 해당 확률

p_i \doteq \Pr(X=x_i)

를 가진 이산 확률 변수이다. 결과 정보 단위는 로그의 밑에 의해 결정되며, 예를 들어 밑이 2인 경우 섀넌이고, 밑이 ''e''인 경우 냇이다.

i=1,\dots,n

에 대해 확률이

p_i=1/n

인 경우, 분포의 모든 레니 엔트로피는 동일하다:

\Eta_\alpha(X)=\log n

.

일반적으로, 모든 이산 확률 변수

X

에 대해,

\Eta_\alpha(X)

는

\alpha

에서 감소하지 않는 함수이다.

응용 분야에서는 종종 레니 엔트로피와 확률 벡터의 ''α''-노름 사이의 다음 관계를 활용한다.

:

\Eta_\alpha(X)=\frac{\alpha}{1-\alpha} \log  \left(\|P\|_\alpha\right) .

여기서, 이산 확률 분포

P=(p_1,\dots,p_n)

는

\R^n

의 벡터로 해석되며

p_i\geq 0

이고

\textstyle \sum_{i=1}^{n} p_i = 1

이다.

임의의

\alpha \geq 0

에 대한 레니 엔트로피는 슈어 오목 함수이다. 슈어-오스트로프스키 기준에 의해 증명되었다.

2. 2. 밀도 행렬의 레니 엔트로피

밀도 행렬

\rho

로 주어진 양자 상태의 ''n''-'''레니 엔트로피'''

S_n(\rho)

는 다음과 같다.

:

S_n(\rho)=\frac1{1-n}\ln\operatorname{tr}\rho^n

여기서

n=1+\epsilon

이라고 하고

\epsilon\to0

극한을 취하면 테일러 급수 전개를 통해

:

S_{1+\epsilon}(\rho)=-\frac1\epsilon\ln\operatorname{tr}(\rho+\epsilon\rho\ln\rho+O(\epsilon^2))=-\operatorname{tr}(\rho\ln\rho)+O(\epsilon)

이므로, 폰 노이만 엔트로피를 얻는다.

양자 물리학에서 레니 엔트로피는 밀도 행렬에 대한 비선형 의존성 때문에 관측 가능량으로 간주되지 않는다. (이 비선형 의존성은 섀넌 엔트로피의 특수한 경우에도 적용된다.) 그러나 에너지 전달의 두 번의 측정(전체 계수 통계라고도 함)을 통해 조작적 의미를 부여할 수 있다.

\alpha\to 1

일 때 양자 역학적 레니 엔트로피의 극한은 폰 노이만 엔트로피이다.

2. 3. 레니 발산

레니는 쿨백-라이블러 발산을 일반화한 일련의 발산 척도를 정의했다.^[13]

'''레니 발산'''은 차수 α^영어 또는 분포 Q^영어에 대한 분포 P^영어의 '''알파-발산'''으로 다음과 같이 정의된다.

:

D_\alpha (P \Vert Q) = \frac{1}{\alpha-1}\log\Bigg(\sum_{i=1}^n \frac{p_i^\alpha}{q_i^{\alpha-1}}\Bigg) = \frac{1}{\alpha-1}\log \mathbb E_{i \sim p}[(p_i/q_i)^{\alpha - 1}] \,

0 < α < ∞^영어이고 α ≠ 1^영어일 때이다. 극한을 취함으로써 특수한 값 α = 0, 1, ∞^영어에 대한 레니 발산을 정의할 수 있으며, 특히 극한 α → 1^영어은 쿨백-라이블러 발산을 제공한다.

몇 가지 특수한 경우:

: p_i > 0^영어인 경우 Q^영어 하에서 로그 확률의 음수;
D_1/2(P || Q) = -2log ∑_i=1ⁿ √p_iq_i^영어 : 바타차르야 계수의 음수 2배의 로그;
D₁(P || Q) = ∑_i=1ⁿ p_ilog (p_i/q_i)^영어 : 쿨백-라이블러 발산;
D₂(P || Q) = log ⟨p_i/q_i⟩^영어 : 확률의 기대 비율의 로그;
D_∞(P || Q) = log sup_i (p_i/q_i)^영어 : 확률의 최대 비율의 로그.

레니 발산은 실제로 발산이며, 이는 간단히

D_\alpha (P \| Q)

가 0보다 크거나 같고, P = Q^영어일 경우에만 0임을 의미한다. 임의의 고정된 분포 P^영어와 Q^영어에 대해, 레니 발산은 차수 α^영어의 함수로서 감소하지 않으며, 유한한 α^영어의 집합에서 연속적이며,^[13] 또는 간결하게, 분포 P^영어가 분포 Q^영어로 대체될 경우 얻는 차수 α^영어의 정보이다.^[1]

3. 역사

헝가리의 수학자 레니 얼프레드(hu)가 1960년에 도입하였다.^[16]

4. 특수한 경우

$\alpha$ 가 0에 가까워질수록 레니 엔트로피는 0이 아닌 확률을 가진 모든 사건에 대해 점점 더 균등하게 가중치를 부여한다. $\alpha \to 0$ 의 극한에서 레니 엔트로피는 지지 크기의 로그이다. $\alpha \to 1$ 의 극한은 섀넌 엔트로피이다. $\alpha$ 가 무한대에 가까워질수록 레니 엔트로피는 가장 높은 확률의 사건에 의해 점점 더 결정된다.

4. 1. 하틀리 엔트로피 (Hartley entropy)

\Eta_0(X)

는

n

이 0이 아닌 확률의 개수일 때

\log n

이다.^[6] 만약 모든 확률이 0이 아니라면, 이는 단순히 X의 기수(

\mathcal{A}

)의 로그이며, 때로는 X의 하틀리 엔트로피라고도 한다.

:

\Eta_0 (X) = \log n = \log |\mathcal{A}|\,

4. 2. 섀넌 엔트로피 (Shannon entropy)

Shannon entropy^영어는 레니 엔트로피에서

\alpha \to 1

일 때

\Eta_\alpha

의 극한값이다.^[7]

:

\Eta_1 (X) \equiv \lim_{\alpha \to 1} \Eta_{\alpha} (X) = - \sum_{i=1}^n p_i \log p_i

4. 3. 충돌 엔트로피 (Collision entropy)

'''충돌 엔트로피'''는 때때로 "레니 엔트로피"라고도 하며,

\alpha = 2

인 경우를 나타낸다.

:

\Eta_2 (X) = - \log \sum_{i=1}^n p_i^2 = - \log P(X = Y) ,

여기서

X

와

Y

는 독립적이고 동일한 분포를 갖는다. 충돌 엔트로피는 일치 지수와 관련이 있다. 이는 심슨 다양성 지수의 음의 로그 값이다.

4. 4. 최소 엔트로피 (Min-entropy)

Min-entropy|최소 엔트로피^영어는 레니 엔트로피

\Eta_\alpha

에서

\alpha \rightarrow \infty

일 때의 극한값으로,

\Eta_\infty

로 수렴한다.

:

\Eta_\infty(X) \doteq \min_i (-\log p_i) = -(\max_i \log p_i) = -\log \max_i p_i\,.

이는 모든 사건이

2^{-b}

이하의 확률로 발생하는 가장 큰 실수

b

값으로도 정의할 수 있다.

'최소 엔트로피'라는 명칭은 레니 엔트로피 값들 중에서 가장 작은 값을 가진다는 특성에서 유래했다. 이는 이산 확률 변수가 담고 있는 정보량을 측정하는 가장 보수적인(강력한) 방법으로, 섀넌 엔트로피보다 항상 작거나 같다.

최소 엔트로피는 이론 전산학에서 랜덤 추출기의 핵심적인 개념으로 활용된다. 추출기는 높은 최소 엔트로피를 가진 무작위 소스로부터 무작위성을 추출할 수 있는데, 이는 단순히 섀넌 엔트로피가 높은 것만으로는 불가능하다.

5. 부등식

젠센 부등식에 의해 다음 부등식을 증명할 수 있다.^[9]^[10]

: $\log n=\Eta_0\geq \Eta_1 \geq \Eta_2 \geq \Eta_\infty .$

$\alpha > 1$ 의 경우, 반대 방향의 부등식 또한 성립한다. 특히 다음이 성립한다.^[11]^[12]

: $\Eta_2 \le 2 \Eta_\infty .$

반면에, 섀넌 엔트로피 $\Eta_1$ 은 주어진 최소 엔트로피를 가진 임의의 변수 $X$ 에 대해 임의로 높을 수 있다. 이에 대한 예시는 $n \geq 1$ 에 대해 $P(X_n = 0) = 1/2$ 이고 $P(X_n = x) = 1/(2n)$ 인 일련의 임의 변수 $X_n \sim \{0, \ldots, n\}$ 에 의해 주어진다. 여기서 $\Eta_\infty(X_n) = \log 2$ 이지만 $\Eta_1(X_n) = (\log 2 + \log 2n)/2$ 이다.

6. 응용

확률 분포 쌍은 확률 분포 중 하나가 공식 배당률을 정의하고 다른 하나가 실제 확률을 포함하는 도박 게임으로 볼 수 있다. 실제 확률에 대한 지식은 플레이어가 게임에서 이익을 얻을 수 있도록 한다. 기대 이익률은 다음과 같이 레니 발산과 관련된다.^[14]

: ${\rm ExpectedRate} = \frac{1}{R}\, D_1(b\|m) + \frac{R-1}{R}\, D_{1/R}(b\|m) \,,$

여기서 $m$ 은 게임의 공식 배당률(예: "시장")을 정의하는 분포이고, $b$ 는 투자자가 믿는 분포이며, $R$ 은 투자자의 위험 회피도( 애로우-프랫 상대적 위험 회피)이다.

만약 실제 분포가 $p$ 라면(투자자의 믿음 b^영어와 반드시 일치하지는 않음), 장기 실현률은 유사한 수학적 구조를 가진 실제 기대값으로 수렴한다.^[14]

: ${\rm RealizedRate} = \frac{1}{R}\,\Big( D_1(p\|m) - D_1(p\|b) \Big) + \frac{R-1}{R}\, D_{1/R}(b\|m) \,.$

지수족에 대한 레니 엔트로피와 발산은 다음과 같은 간단한 표현을 가진다.^[15]

: $\Eta_\alpha(p_F(x;\theta)) = \frac{1}{1-\alpha} \left(F(\alpha\theta)-\alpha F(\theta)+\log E_p[e^{(\alpha-1)k(x)}]\right)$

그리고

: $D_\alpha(p:q) = \frac{J_{F,\alpha}(\theta:\theta')}{1-\alpha}$

여기서

: $J_{F,\alpha}(\theta:\theta')= \alpha F(\theta)+(1-\alpha) F(\theta')- F(\alpha\theta+(1-\alpha)\theta')$

는 젠센 차이 발산이다.

양자 물리학에서 레니 엔트로피는 밀도 행렬에 대한 비선형 의존성 때문에 관측 가능량으로 간주되지 않는다. (이 비선형 의존성은 섀넌 엔트로피의 특수한 경우에도 적용된다.) 그러나 에너지 전달의 두 번의 측정(전체 계수 통계라고도 함)을 통해 조작적 의미를 부여할 수 있다.

$\alpha\to 1$ 일 때 양자 역학적 레니 엔트로피의 극한은 폰 노이만 엔트로피이다.

참조

_[1] 텍스트 Rényi 1961
_[2] 텍스트 Rioul 2021
_[3] 학술지 Shortest Distance Between Multiple Orbits and Generalized Fractal Dimensions https://doi.org/10.1[...] 2021-06-01
_[4] 텍스트 Franchini 2008
_[5] 텍스트 Its 2010
_[6] 웹사이트 RFC 4086, page 6 http://tools.ietf.or[...]
_[7] 텍스트 Bromiley 2004
_[8] 텍스트 Beck 1993
_[9] 수식
_[10] 수식
_[11] 수식
_[12] 서적 A Probabilistic Theory of Pattern Recognition Springer 1996-04-04
_[13] 학술지 Rényi Divergence and Kullback–Leibler Divergence 2014
_[14] 텍스트 Soklakov 2018
_[15] 텍스트 Nielsen 2011
_[16] 서적 Proceedings of the fourth Berkeley Symposium on Mathematics, Statistics and Probability, vol. 1: Contributions to the Theory of Statistics http://projecteuclid[...] University of California Press 1961

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com