맨위로가기

피셔 정보

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

피셔 정보는 확률 변수가 미지의 모수를 따를 때, 관측값으로부터 모수에 대한 정보를 나타내는 척도이다. 스코어 함수의 2차 모멘트로 정의되며, 모수가 벡터일 경우 피셔 정보 행렬로 확장된다. 피셔 정보는 독립 확률 변수에 대해 가산적이며, 크라메르-라오 하한과 밀접한 관련이 있다. 또한 쿨백-라이블러 발산과의 관계를 통해 정보 기하학에서 중요한 역할을 한다. 최적 실험 설계, 베이즈 통계학, 신경 부호화, 기계 학습 등 다양한 분야에 응용되며, 한국에서는 기계 학습 분야에서 딥러닝 모델 최적화 등에 활용되고 있다.

더 읽어볼만한 페이지

  • 추정 이론 - 기댓값 최대화 알고리즘
  • 추정 이론 - 델파이 기법
    델파이 기법은 전문가들의 의견을 반복적인 피드백을 통해 수렴하여 문제를 해결하는 하향식 의견 도출 방법으로, 익명성, 정보 흐름의 구조화, 정기적인 피드백을 특징으로 하며 다양한 분야에서 활용된다.
  • 실험 설계 - 무작위 대조 시험
  • 실험 설계 - 실험군과 대조군
    실험군과 대조군은 임상 연구에서 새로운 방법이나 약물의 효과를 평가하기 위해 사용되는 두 그룹으로, 대조군은 비교 기준이 되며, 실험군은 새로운 치료법을 받는 그룹이다.
  • 정보 이론 - 양자 컴퓨터
    양자 컴퓨터는 양자역학적 현상을 이용하여 정보를 처리하는 컴퓨터로, 큐비트를 통해 0과 1을 동시에 표현하여 특정 연산에서 기존 컴퓨터보다 빠른 속도를 보이며 암호 해독, 신약 개발 등 다양한 분야에 혁신을 가져올 것으로 기대된다.
  • 정보 이론 - 정보 엔트로피
    정보 엔트로피는 확률 변수의 불확실성을 측정하는 방법으로, 사건 발생 가능성이 낮을수록 정보량이 커진다는 원리에 기반하며, 데이터 압축, 생물다양성 측정, 암호화 등 다양한 분야에서 활용된다.
피셔 정보
개요
유형통계적 모수
분야정보 이론, 통계학
정의
정의확률변수의 스코어의 분산
기호I(θ) 또는 F(θ)
차원스칼라 (모수가 스칼라인 경우) 또는 행렬 (모수가 벡터인 경우)
속성
덧셈성독립적인 관측값의 경우, 피셔 정보는 더해짐
불변성모수의 재매개변수화 하에서 변환됨
크래머-라오 하한추정량의 분산에 대한 하한을 설정
활용
활용최대 가능도 추정의 점근적 분산 계산
베이즈 추론에서 무정보 사전 분포 구성
통계적 검정의 검정력 분석
관련 개념
관련 개념크래머-라오 하한
정보량
스코어
최대 가능도 추정

2. 정의

확률변수 X가 미지의 모수 θ로 주어지는 분포를 따를 때, X의 관측값으로부터 얻어지는 θ에 대한 피셔 정보는 관찰 가능한 확률 변수 X가 θ에 대해 가지고 있는 정보량을 측정하는 방법이다.

확률 밀도 함수(또는 확률 질량 함수)를 f(X; θ)라고 하면, 이는 θ의 알려진 값을 '주어진' 상태에서 X의 특정 결과가 관찰될 확률을 나타낸다. f가 θ의 변화에 따라 급격하게 변하면, 데이터로부터 θ의 "정확한" 값을 쉽게 찾을 수 있다. 이는 데이터 X가 모수 θ에 대해 많은 정보를 제공한다는 의미이다. 반대로 f가 평평하고 넓게 퍼져 있다면, "진정한" θ 값을 추정하기 위해 더 많은 X 표본이 필요하다.

피셔 정보는 지지 곡선 (로그 가능도의 그래프)의 곡률로 볼 수 있다. 최대 가능도 추정치 근처에서 낮은 피셔 정보는 최대값이 "둔하다"는 것을 나타내며, 즉, 최대값이 얕고 유사한 로그 가능도를 가진 많은 근처 값이 있다는 것을 의미한다. 반대로, 높은 피셔 정보는 최대값이 날카롭다는 것을 나타낸다.

정규성 조건은 다음과 같다.[5]

1. ''θ''에 대한 ''f''(''X''; ''θ'')의 편미분은 거의 모든 곳에서 존재한다. (이 집합이 ''θ''에 의존하지 않는 한, 영 집합에서는 존재하지 않을 수 있다.)

2. ''f''(''X''; ''θ'')의 적분은 ''θ''에 대해 적분 기호 아래에서 미분될 수 있다.

3. ''f''(''X''; ''θ'')의 지지 집합은 ''θ''에 의존하지 않는다.

만약 ''θ''가 벡터라면, 규칙 조건은 ''θ''의 모든 성분에 대해 성립해야 한다. 규칙 조건을 만족하지 않는 밀도의 예는 쉽게 찾을 수 있다. Uniform(0, ''θ'') 변수의 밀도는 조건 1과 3을 만족하지 못한다. 이 경우, 피셔 정보를 정의로부터 계산할 수 있음에도 불구하고, 일반적으로 가정되는 속성을 갖지 못할 것이다.

2. 1. 스코어 함수

확률변수 X가 미지의 모수 \theta로 주어지는 분포를 따른다고 할 때, '''스코어 함수'''는 로그 우도 함수의 \theta에 대한 편미분으로 정의된다.

:V(x;\theta)=\frac{\partial}{\partial\theta} \ln L(\theta|x)

여기서 L(\theta|x)는 우도 함수이다.

스코어 함수는 다음 성질을 만족한다.

:\mathrm{E}[V(x;\theta)|\theta]=0\,

따라서, 피셔 정보는 스코어의 분산으로 정의된다.

:\mathcal{I}_X(\theta)=\mathrm{var}(V(x;\theta))

2. 2. 피셔 정보 (스칼라)

확률변수 X가 미지의 모수 \theta로 주어지는 분포를 따른다고 할 때, 관측값 X=x로부터 주어지는 \theta에 대한 '''피셔 정보''' \mathcal I(\theta)는 다음과 같이 정의된다.

:\mathcal I_x(\theta)=\operatorname E\left[\left(\frac{\partial}{\partial\theta}\ln\Pr(x|\theta)\right)^2\right]

피셔 정보는 스코어의 분산으로 정의된다.[4]

: \mathcal{I}(\theta) = \operatorname{E} \left[\left. \left(\frac{\partial}{\partial\theta} \log f(X;\theta)\right)^2 \,\, \right| \,\, \theta \right] = \int_{\mathbb{R}} \left(\frac{\partial}{\partial\theta} \log f(x;\theta)\right)^2 f(x; \theta)\,dx,

만약 \log f(X;\theta)가 ''θ''에 대해 두 번 미분 가능하고 특정 정규성 조건이 만족되면, 피셔 정보는 다음과 같이 쓸 수도 있다.

: \mathcal{I}(\theta) = - \operatorname{E} \left[\left. \frac{\partial^2}{\partial\theta^2} \log f(X;\theta) \,\, \right| \,\, \theta \right],

이는 다음 관계식과

:\frac{\partial^2}{\partial\theta^2} \log f(X;\theta) = \frac{\frac{\partial^2}{\partial\theta^2} f(X;\theta)}{f(X; \theta)} - \left( \frac{\frac{\partial}{\partial\theta} f(X;\theta)}{f(X; \theta)} \right)^2

= \frac{\frac{\partial^2}{\partial\theta^2} f(X;\theta)}{f(X; \theta)} - \left( \frac{\partial}{\partial\theta} \log f(X;\theta)\right)^2

다음 관계식에 의해 유도된다.

: \operatorname{E} \left[\left. \frac{\frac{\partial^2}{\partial\theta^2} f(X;\theta)}{f(X; \theta)} \,\, \right| \,\, \theta \right] = \frac{\partial^2}{\partial\theta^2} \int_{\mathbb{R}} f(x;\theta)\,dx = 0.

\theta를 모수로 하고, X를 확률 밀도 함수가 f(x|\theta)로 표시되는 확률 변수라고 하자. 이 때, \theta의 '''우도 함수''' L(\theta|x)는

:L(\theta|x)=f(x|\theta)\,

로 정의되고, '''스코어 함수'''는 로그 우도 함수의 미분

:V(x;\theta)=\frac{\partial}{\partial\theta} \ln L(\theta|x)

에 의해 정의된다. 이 때, '''피셔 정보량''' \mathcal{I}_X(\theta)는 스코어 함수의 2차 모멘트

:

\begin{align}

\mathcal{I}_X(\theta)

& =\mathrm{E}[V(x;\theta)^2|\theta] \\

& =\mathrm{E} \left[ \left. \biggl(\frac{\partial}{\partial\theta} \ln L(\theta|x) \biggr)^2 \right|\, \theta \right]

\end{align}



에 의해 정의된다.

또한 \ln f(x|\theta)가 두 번 미분 가능하고, 다음의 표준화 조건

:\int \frac{\partial^2}{\partial \theta^2}f(X ; \theta ) \, dx=0,

을 만족한다면, 피셔 정보량은 다음과 같이 다시 쓸 수 있다.

:

\mathcal{I}(\theta) =- \mathrm{E} \left[ \frac{\partial^2}{\partial\theta^2} \ln f(X;\theta) \right].


2. 3. 피셔 정보 행렬 (벡터)

모수가 N개인 경우, 즉 \theta가 N차원 열벡터 \theta = (\theta_1, \theta_2, \dots, \theta_N)^T일 때, 피셔 정보는 N × N 행렬로 확장되며, 다음과 같이 정의된다.

:

\mathcal{I}(\mathbf{\theta}) = \mathrm{E}\left[ \frac{\partial}{\partial\mathbf{\theta}} \ln f(X; \theta) \frac{\partial}{\partial\mathbf{\theta}^T} \ln f(X; \theta) \right].



이를 '''피셔 정보 행렬'''(FIM, Fisher Information Matrix)이라고 부른다. 피셔 정보 행렬의 (i, j) 성분은 다음과 같다.

:

[\mathcal{I}(\theta)]_{i,j} = \mathrm{E}\left[ \frac{\partial}{\partial\theta_i} \ln f(X; \theta) \frac{\partial}{\partial\theta_j} \ln f(X; \theta) \right].



피셔 정보 행렬은 N × N 반 양의 정부호 행렬이며, 양의 정부호인 경우 N-차원 매개변수 공간에 대한 리만 계량[6]을 정의한다. 정보 기하학에서는 이를 피셔 정보 계량이라 부르며, 미분 기하학과 연결시킨다.[7]

특정 정규 조건 하에서, 피셔 정보 행렬은 다음과 같이 표현할 수 있다.

:

[\mathcal{I}(\theta)]_{i,j} = -\operatorname{E}\left[ \frac{\partial^2}{\partial\theta_i \partial\theta_j} \log f(X; \theta) \right].



이는 다음과 같은 특징을 갖는다.

  • 상대 엔트로피의 헤세 행렬로 유도될 수 있다.
  • 양의 정부호일 때 피셔-라오 기하학을 정의하기 위한 리만 계량으로 사용될 수 있다.[7]
  • 적절한 변수 변환 후 유클리드 계량에서 유도된 계량으로 이해할 수 있다.
  • 복소수 값 형태에서는 푸비니-슈투디 계량이다.
  • 윌크스 정리 증명의 핵심 부분이며, 최대 우도 추정에 대한 신뢰 영역 추정을 가능하게 한다.
  • FIM의 분석적 계산이 어려운 경우, 음의 로그 우도 함수의 헤세 행렬의 몬테카를로 추정치의 평균을 FIM의 추정치로 사용할 수 있다.[8][9][10]


우도 함수가 p개의 매개변수를 가지고 있고, 피셔 정보 행렬의 i번째 행과 j번째 열의 요소가 0이면, 두 매개변수 \theta_i와 \theta_j는 직교한다. 매개변수가 직교하면 최대 우도 추정량이 독립적이 되어 개별적으로 계산할 수 있어 편리하다.

3. 성질

피셔 정보는 독립 확률변수에 대해 가법적(additive영어)이다. 즉, 동일한 분포를 가진 두 독립 확률변수 X,Y가 측정되었을 때, 다음이 성립한다.

:\mathcal I_{X,Y}(\theta)=\mathcal I_X(\theta)+\mathcal I_Y(\theta)

같은 실험을 ''n''번 반복하면, ''n''배의 피셔 정보를 얻는다.

값 ''X''는 단일 분포 또는 여러 분포에서 추출한 표본 집합을 나타낼 수 있다. 표본이 ''n''개이고 통계적 독립이면, 피셔 정보는 각 표본 분포의 피셔 정보 값의 합이 된다. 특히, ''n''개의 분포가 독립적이고 동일하게 분포되어 있다면, 피셔 정보는 공통 분포에서 추출한 단일 표본 피셔 정보의 ''n''배가 된다.

엔트로피 또는 상호 정보량과 유사하게, 피셔 정보량은 '''체인 규칙''' 분해를 갖는다. X와 Y가 결합 분포된 확률 변수라면, 다음이 성립한다.[17]

:\mathcal{I}_{X,Y}(\theta) = \mathcal{I}_X(\theta) + \mathcal{I}_{Y\mid X}(\theta),

여기서 \mathcal{I}_{Y\mid X}(\theta) = \operatorname{E}_{X} \left[ \mathcal{I}_{Y\mid X = x}(\theta) \right] 이고, \mathcal{I}_{Y\mid X = x}(\theta) 는 ''X'' = ''x''가 주어졌을 때 ''Y''의 조건부 밀도를 기준으로 계산된 \theta에 대한 ''Y''의 피셔 정보량이다.

두 확률 변수가 독립이면, 두 확률 변수에서 얻은 정보는 각 확률 변수에서 얻은 정보의 합과 같다.

:\mathcal{I}_{X,Y}(\theta) = \mathcal{I}_X(\theta) + \mathcal{I}_Y}(\theta).

''n''개의 독립적이고 동일하게 분포된 관측값의 확률 표본에서 얻는 정보는 크기가 1인 표본에서 얻는 정보의 ''n''배이다.

피셔 정보량은 다음을 만족한다.

:0 \leq \mathcal{I}(\theta) < \infty\,

X, Y가 독립인 확률 변수이면,

: \mathcal{I}_{X,Y}(\theta) = \mathcal{I}_X(\theta) + \mathcal{I}_Y(\theta) (피셔 정보량의 가산성)

이 성립한다. 즉, "(X,Y)가 \theta에 관해 가지는 정보의 양"은 "X가 \theta에 관해 가지는 정보의 양"과 "Y가 \theta에 관해 가지는 정보의 양"의 합이다.

무작위로 추출된 n개의 표본이 가지는 피셔 정보량은, 하나의 표본이 가지는 피셔 정보량의 n배이다(관측이 독립적인 경우).

3. 1. 크라메르-라오 하한

크라메르-라오 하한은 피셔 정보의 역수가 ''θ''의 모든 비편향 추정량의 분산에 대한 하한이라고 명시한다. 즉, θ의 임의의 불편 추정량 \hat{\theta}는 다음의 크라메르-라오 부등식을 만족한다.

:\mathrm{var}(\hat{\theta})\ge \frac{1}{\mathcal{I}(\theta)}\,

이 부등식의 직관적인 의미는 양변의 역수를 취하고 확률 변수 X에 대한 의존 관계를 명시하면 다음과 같다.

:\mathcal{I}_X(\theta)\ge\frac{1}{\mathrm{var}(\hat{\theta}(X))}\,

일반적으로 추정량은 그 분산이 작을수록 (따라서 분산의 역수가 클수록) 모수 \theta에 가까운 값을 내기 쉬우므로, "좋은" 추정량이라고 할 수 있다. \theta를 "추정한다"는 행위는 "좋은" 추정량 \hat{\theta}(X)를 사용하여 \theta를 가능한 한 복원하는 행위에 다름 아니지만, 위의 부등식은 X에서 산출된 어떤 불편 추정량이라도 X가 원래 가지고 있는 "정보" 이상으로 "좋은" 추정량이 될 수 없다는 것을 의미한다.

크라메르-라오 하한을 도출하는 방법은 다음과 같다.

비공식적으로, 비편향 추정량 \hat\theta(X)을 고려하는 것으로 시작한다. 수학적으로 "비편향"은 다음을 의미한다.

:

\operatorname{E}\left[ \left. \hat\theta(X) - \theta \,\, \right| \,\, \theta \right]

= \int \left(\hat\theta(x) - \theta\right) \, f(x ;\theta) \, dx = 0 \text{ regardless of the value of } \theta.



이 식은 ''θ''와 독립적으로 0이므로 ''θ''에 대한 편도함수도 0이어야 한다. 곱 규칙에 따라 이 편도함수는 다음과 같다.

:

0 = \frac{\partial}{\partial\theta} \int \left(\hat\theta(x) - \theta \right) \, f(x ;\theta) \,dx

= \int \left(\hat\theta(x)-\theta\right) \frac{\partial f}{\partial\theta} \, dx - \int f \,dx.



각 ''θ''에 대해 우도 함수는 확률 밀도 함수이므로 \int f\,dx = 1이다. \log f의 편도함수에 연쇄 규칙을 적용한 다음 f(x;\theta)로 나누고 곱하면 다음을 확인할 수 있다.

:\frac{\partial f}{\partial\theta} = f \, \frac{\partial \log f}{\partial\theta}.

위에서 이 두 사실을 사용하면 다음과 같다.

:

\int \left(\hat\theta-\theta\right) f \, \frac{\partial \log f}{\partial\theta} \, dx = 1.



피적분 함수를 인수 분해하면 다음을 얻는다.

:

\int \left(\left(\hat\theta-\theta\right) \sqrt{f} \right) \left( \sqrt{f} \, \frac{\partial \log f}{\partial\theta} \right) \, dx = 1.



적분 내의 식을 제곱하면 코시-슈바르츠 부등식이 다음과 같이 나타난다.

:

1 =

\biggl( \int \left[\left(\hat\theta-\theta\right) \sqrt{f} \right] \cdot \left[ \sqrt{f} \, \frac{\partial \log f}{\partial\theta} \right] \, dx \biggr)^2

\le

\left[ \int \left(\hat\theta - \theta\right)^2 f \, dx \right] \cdot \left[ \int \left( \frac{\partial \log f}{\partial\theta} \right)^2 f \, dx \right].



두 번째 괄호 안의 인수는 피셔 정보로 정의되는 반면, 첫 번째 괄호 안의 인수는 추정량 \hat\theta의 기대 평균 제곱 오차이다. 재정렬하면 부등식은 다음과 같다.

:

\operatorname{Var}\left(\hat\theta\right) \geq \frac{1}{\mathcal{I}\left(\theta\right)}.



다시 말해, ''θ''를 추정할 수 있는 정밀도는 우도 함수의 피셔 정보에 의해 근본적으로 제한된다.

또는, 동일한 결론은 확률 변수에 대한 코시-슈바르츠 부등식 |\operatorname{Cov}(A,B)|^2 \le \operatorname{Var}(A)\operatorname{Var}(B)을 확률 변수 \hat\theta(X) 및 \partial_\theta\log f(X;\theta)에 적용하고, 비편향 추정량에 대해 다음을 관찰하여 직접 얻을 수 있다.\operatorname{Cov}[\hat\theta(X),\partial_\theta \log f(X;\theta)] =

\int \hat\theta(x)\, \partial_\theta f(x;\theta)\, dx = \partial_\theta \operatorname E[\hat\theta] = 1.

3. 2. 충분통계량과의 관계

충분 통계량이 제공하는 정보는 표본 ''X''가 제공하는 정보와 동일하다. 이는 충분 통계량에 대한 네이먼의 인수분해 기준을 사용하여 알 수 있다. ''T''(''X'')가 ''θ''에 대해 충분 통계량이라면, 어떤 함수 ''g''와 ''h''에 대해 다음이 성립한다.[19]

:f(X; \theta) = g(T(X), \theta) h(X)

''h''(''X'')가 ''θ''로부터 독립이라는 것은 다음을 의미한다.

:\frac{\partial}{\partial\theta} \log \left[f(X; \theta)\right] = \frac{\partial}{\partial\theta} \log\left[g(T(X);\theta)\right],

그리고 정보의 등식은 피셔 정보의 정의로부터 따른다. 더 일반적으로, T = t(X)가 통계량이라면, 다음이 성립한다.

: \mathcal{I}_T(\theta) \leq \mathcal{I}_X(\theta)

위 식에서 등호는 충분 통계량일 경우에만 성립한다. 즉, "X로부터 계산되는 값 T=t(X)가 가지고 있는 \theta의 정보"는 "X 자신이 가지고 있는 \theta의 정보"보다 크지 않다.

위 식에서 등호가 성립할 필요충분 조건은 T가 충분통계량인 것이다. 이는 T(X)가 \theta에 대해 충분통계량이라면, 어떤 함수 f 및 g가 존재하여 다음이 성립한다(네이만 분해 정리)는 것을 사용하여 증명할 수 있다.

: f(X;\theta) = g(T(X), \theta) h(X)

3. 3. 재매개변수화

피셔 정보는 문제의 매개변수화에 따라 달라진다. ''θ''와 ''η''가 추정 문제의 두 가지 스칼라 매개변수화이고, ''θ''가 ''η''의 연속 미분 가능 함수라고 하면, 다음과 같은 관계가 성립한다.

:{\mathcal I}_\eta(\eta) = {\mathcal I}_\theta(\theta(\eta)) \left( \frac{d\theta}{d\eta} \right)^2

여기서 {\mathcal I}_\eta와 {\mathcal I}_\theta는 각각 ''η''와 ''θ''의 피셔 정보 척도이다.

벡터의 경우, {\boldsymbol \theta}와 {\boldsymbol \eta}가 추정 문제를 매개변수화하는 ''k''-벡터이고, {\boldsymbol \theta}가 {\boldsymbol \eta}의 연속 미분 가능한 함수라고 가정하면, 다음과 같다.

:{\mathcal I}_{\boldsymbol \eta}({\boldsymbol \eta}) = {\boldsymbol J}^\textsf{T} {\mathcal I}_{\boldsymbol \theta} ({\boldsymbol \theta}({\boldsymbol \eta})) {\boldsymbol J}



여기서 ''k'' × ''k'' 야코비 행렬 \boldsymbol J의 (''i'', ''j'') 번째 요소는 다음과 같이 정의된다.

:J_{ij} = \frac{\partial \theta_i}{\partial \eta_j},

그리고 {\boldsymbol J}^\textsf{T}는 {\boldsymbol J}의 행렬 전치이다.

정보 기하학에서 이것은 리만 다양체에서 좌표 변환으로 간주되며, 곡률의 고유한 속성은 다른 매개변수화에서도 변경되지 않는다. 일반적으로 피셔 정보 행렬은 열역학적 상태 다양체에 대한 리만 메트릭(보다 정확하게는 피셔-라오 메트릭)을 제공하며, 상전이 분류를 위한 정보 기하학적 복잡성 척도로 사용될 수 있다. 예를 들어, 열역학적 메트릭 텐서의 스칼라 곡률은 상전이점에서 (그리고 그 지점에서만) 발산한다.[20]

열역학적 맥락에서, 피셔 정보 행렬은 해당 차수 매개변수의 변화율과 직접 관련이 있다.[21] 특히, 이러한 관계는 피셔 정보 행렬의 개별 요소의 발산을 통해 2차 상전이를 식별한다.

3. 4. 쿨백-라이블러 발산과의 관계

쿨백-라이블러 발산(상대 엔트로피)은 두 분포 p와 q 사이에서 다음과 같이 나타낼 수 있다.[32]

:KL(p:q) = \int p(x)\log\frac{p(x)}{q(x)} \, dx.

\theta \in \Theta로 매개변수화된 확률 분포군 f(x; \theta)를 고려하면, 이 군에 속하는 두 분포 사이의 쿨백-라이블러 발산은 다음과 같이 쓸 수 있다.

:D(\theta,\theta') = KL(p({}\cdot{};\theta):p({}\cdot{};\theta'))= \int f(x; \theta)\log\frac{f(x;\theta)}{f(x; \theta')} \, dx.

\theta가 고정되어 있다면, 동일한 군에 속하는 두 분포 사이의 상대 엔트로피는 \theta'=\theta에서 최소화된다. \theta'가 \theta에 가까우면 이전 식을 2차까지 전개할 수 있다.

:D(\theta,\theta') = \frac{1}{2}(\theta' - \theta)^\textsf{T} \left(\frac{\partial^2}{\partial\theta'_i\, \partial\theta'_j} D(\theta,\theta')\right)_{\theta'=\theta}(\theta' - \theta) + o\left( (\theta'-\theta)^2 \right)

2차 미분은 다음과 같이 쓸 수 있다.

: \left(\frac{\partial^2}{\partial\theta'_i\, \partial\theta'_j} D(\theta,\theta')\right)_{\theta'=\theta} = - \int f(x; \theta) \left( \frac{\partial^2}{\partial\theta'_i\, \partial\theta'_j} \log(f(x; \theta'))\right)_{\theta'=\theta} \, dx = [\mathcal{I}(\theta)]_{i,j}.

따라서 피셔 정보는 조건부 분포의 매개변수에 대한 상대 엔트로피의 곡률을 나타낸다.

X_\theta를 모수 \vec{\theta}=(\theta_1,\ldots,\theta_n)를 갖는 확률 변수라고 하면, 쿨백-라이블러 발산 D_{\mathrm{KL}}과 피셔 정보 행렬은 다음과 같은 관계가 성립한다.

:D_{\mathrm{KL}}(X_{\vec{\theta} + \vec{h}}\|X_{\vec{\theta}}) = \frac{2} + o(|\vec{h}|^2)

즉, 피셔 정보 행렬은 쿨백-라이블러 발산을 테일러 전개했을 때 2차 항으로 등장한다. (0차, 1차 항은 0).

4. 응용

피셔 정보는 최적 실험 설계에서 널리 사용된다. 추정량 분산과 피셔 정보 사이의 상호 관계 때문에, 분산을 최소화하는 것은 정보를 최대화하는 것과 같다. 선형 모형 (또는 선형화된) 통계 모형이 여러 개의 모수를 가질 때, 모수 추정량의 기댓값은 열 벡터이고 그 공분산 행렬은 행렬이다. 분산 행렬의 역행렬을 "정보 행렬"이라고 한다.

베이즈 통계학에서 피셔 정보는 연속 확률 분포 모수의 표준적인 무정보 사전 분포인 제프리스 사전 분포를 계산하는 데 사용된다.[25]

피셔 정보는 신경 부호의 정확도에 대한 경계를 찾는 데 사용되어 왔으며,[26] 특히 신경 반응 잡음에서의 상관 관계의 역할이 연구되었다.

피셔 정보는 기계 학습 기술, 특히 인공 신경망에서 파국적 망각을 줄여주는 탄성 가중치 통합 등에 사용된다.[29]

4. 1. 정보 기하학

피셔 정보 행렬(FIM)은 반 양의 정부호 행렬이다. 양의 정부호라면, ''N''-차원 매개변수 공간에 대한 리만 계량[6]을 정의한다. 정보 기하학은 이를 사용하여 피셔 정보를 미분 기하학과 연결하며, 이 맥락에서 이 계량은 피셔 정보 계량으로 알려져 있다.

특정 정규 조건 하에서, 피셔 정보 행렬은 다음과 같이 쓸 수도 있다.

:

\bigl[\mathcal{I}(\theta) \bigr]_{i, j} =

  • \operatorname{E}\left[\left.

\frac{\partial^2}{\partial\theta_i\, \partial\theta_j} \log f(X;\theta)

\,\, \right| \,\, \theta\right]\,.



이 결과는 여러 면에서 흥미롭다.

  • 상대 엔트로피의 헤세 행렬로 유도될 수 있다.
  • 양의 정부호일 때 피셔-라오 기하학을 정의하기 위한 리만 계량으로 사용될 수 있다.[7]
  • 적절한 변수 변환 후 유클리드 계량에서 유도된 계량으로 이해할 수 있다.
  • 복소수 값 형태에서는 푸비니-슈투디 계량이다.
  • 윌크스 정리의 증명의 핵심 부분이며, 최대 우도 추정에 대한 신뢰 영역 추정을 가능하게 한다(해당 조건에 적용되는 경우). 우도 원리는 필요하지 않다.
  • 위의 FIM의 분석적 계산이 어려운 경우, FIM의 추정치로 음의 로그 우도 함수의 헤세 행렬의 쉬운 몬테카를로 추정치의 평균을 형성할 수 있다.[8][9][10] 추정치는 음의 로그 우도 함수 값 또는 음의 로그 우도 함수의 기울기를 기반으로 할 수 있으며, 음의 로그 우도 함수의 헤세 행렬의 분석적 계산은 필요하지 않다.

5. 예시

베르누이 시행은 0과 1 두 가지 결과를 가지는 확률 변수로, 1이 나올 확률은 ''θ''이다. ''X''를 베르누이 시행에서 추출한 하나의 표본이라고 할 때, ''X''에 포함된 피셔 정보는 다음과 같이 계산할 수 있다.

:\begin{align}

\mathcal{I}(\theta)

&= -\operatorname{E}\left[\left. \frac{\partial^2}{\partial\theta^2} \log\left(\theta^X (1 - \theta)^{1 - X}\right)\right|\theta\right] \\[5pt]

&= -\operatorname{E}\left[\left. \frac{\partial^2}{\partial\theta^2} \left(X\log\theta + (1 - X)\log(1 - \theta)\right) \,\, \right| \,\, \theta \right] \\[5pt]

&= \operatorname{E}\left[\left. \frac{X}{\theta^2} + \frac{1 - X}{(1 - \theta)^2} \,\, \right| \,\, \theta\right] \\[5pt]

&= \frac{\theta}{\theta^2} + \frac{1 - \theta}{(1 - \theta)^2} \\[5pt]

&= \frac{1}{\theta(1 - \theta)}.

\end{align}

피셔 정보는 가산적이므로, ''n''개의 독립적인 베르누이 시행에 포함된 피셔 정보는 다음과 같다.

:\mathcal{I}(\theta) = \frac{n}{\theta(1 - \theta)}.

이는 n번의 베르누이 시행에서 성공 횟수 평균의 분산의 역수와 같다.

다른 예로, 결과가 0과 1이고 각각 확률이 p_0=1-\sqrt\theta와 p_1=\sqrt\theta인 확률 변수 X (\theta\in[0,1])를 생각할 수 있다. 이때 피셔 정보량은 다음과 같다.

:\begin{align}

\mathcal I(\theta) &= \mathrm E\left[

\left(\frac{\partial}{\partial\theta} \log

f(X;\theta)\right)^2\Bigg| \,\theta

\right]

\\&= (1-\sqrt\theta)\left(\frac{-1}{2\sqrt\theta(1-\sqrt\theta)}\right)^2

+ \sqrt\theta\left(\frac{1}{2\theta}\right)^2 \\

&= \frac{1}{4\theta}\left(\frac{1}{1-\sqrt\theta} + \frac{1}{\sqrt\theta}\right)

\end{align}.

일반적으로 f(\theta)\in[0,1]인 충분히 규칙적인 함수 f에 대해, X\sim\operatorname{Bern}(f(\theta))로부터 \theta를 얻기 위한 피셔 정보량은 다음과 같이 계산된다.

:\mathcal I(\theta) = f'(\theta)^2 \left(\frac{1}{1-f(\theta)}+\frac{1}{f(\theta)} \right).

N개의 매개변수를 갖는 경우, θ는 열 벡터 \theta = \begin{bmatrix}\theta_1 & \theta_2 & \dots & \theta_N\end{bmatrix}^\textsf{T}로 표현되며, 피셔 정보는 행렬 형태를 갖는다. 이를 '''피셔 정보 행렬'''(FIM)이라 하며, 일반적인 요소는 다음과 같다.

:

\bigl[\mathcal{I}(\theta)\bigr]_{i, j} =

\operatorname{E}\left[\left.

\left(\frac{\partial}{\partial\theta_i} \log f(X;\theta)\right)

\left(\frac{\partial}{\partial\theta_j} \log f(X;\theta)\right)

\,\, \right| \,\,\theta\right].



N변량 다변량 정규 분포, \,X \sim N\left(\mu(\theta),\, \Sigma(\theta)\right)에 대한 피셔 정보 행렬(FIM)은 특별한 형태를 갖는다. K차원 벡터 매개변수 \theta = \begin{bmatrix} \theta_1 & \dots & \theta_K \end{bmatrix}^\textsf{T}, 정규 확률 변수 벡터 X = \begin{bmatrix} X_1 & \dots & X_N \end{bmatrix}^\textsf{T}, 평균값 \,\mu(\theta) = \begin{bmatrix} \mu_1(\theta) & \dots & \mu_N(\theta) \end{bmatrix}^\textsf{T}, 공분산 행렬 \,\Sigma(\theta)에 대해, FIM의 (''m'', ''n'') (1 \le m,\, n \le K) 항목은 다음과 같다.[15]

:

\mathcal{I}_{m,n} =

\frac{\partial\mu^\textsf{T}}{\partial\theta_m}\Sigma^{-1}

\frac{\partial\mu}{\partial\theta_n} +

\frac{1}{2}\operatorname{tr}\left(

\Sigma^{-1}\frac{\partial\Sigma}{\partial\theta_m}

\Sigma^{-1}\frac{\partial\Sigma}{\partial\theta_n}

\right),



여기서 (\cdot)^\textsf{T}는 벡터의 전치 행렬을, \operatorname{tr}(\cdot)는 대각합을 나타낸다.

5. 1. 베르누이 분포

베르누이 시행은 0과 1의 두 가지 가능한 결과를 갖는 확률 변수이며, 1이 나타날 확률은 ''θ''이다. 이 결과는 확률이 ''θ''인 앞면(1)과 확률이 인 뒷면(0)을 갖는 편향된 동전 던지기로 결정된 것으로 생각할 수 있다. 베르누이 분포는 "성공"(앞면) 확률이 θ이고 "실패"(뒷면) 확률이 1-θ인 확률변수의 분포를 의미한다.

''X''를 베르누이 시행에서 추출한 하나의 표본이라고 할 때, ''X''에 포함된 피셔 정보는 다음과 같이 계산할 수 있다.[1]

:\begin{align}

\mathcal{I}(\theta)

&= -\operatorname{E}\left[\left. \frac{\partial^2}{\partial\theta^2} \log\left(\theta^X (1 - \theta)^{1 - X}\right)\right|\theta\right] \\[5pt]

&= -\operatorname{E}\left[\left. \frac{\partial^2}{\partial\theta^2} \left(X\log\theta + (1 - X)\log(1 - \theta)\right) \,\, \right| \,\, \theta \right] \\[5pt]

&= \operatorname{E}\left[\left. \frac{X}{\theta^2} + \frac{1 - X}{(1 - \theta)^2} \,\, \right| \,\, \theta\right] \\[5pt]

&= \frac{\theta}{\theta^2} + \frac{1 - \theta}{(1 - \theta)^2} \\[5pt]

&= \frac{1}{\theta(1 - \theta)}.

\end{align}

피셔 정보는 가산적이므로, ''n''개의 독립적인 베르누이 시행에 포함된 피셔 정보는 다음과 같다.[1]

:\mathcal{I}(\theta) = \frac{n}{\theta(1 - \theta)}.

이는 n번의 베르누이 시행에서 성공 횟수 평균의 분산의 역수와 같다.

n번의 독립적인 베르누이 시행에서, 성공 횟수를 A, 실패 횟수를 B라고 하고, 시행의 총 횟수를 n = A + B라고 할 때, 피셔 정보는 다음과 같이 유도할 수도 있다.

:

\begin{align}

\frac{\partial^2}{\partial\theta^2} \ln{f(A;\theta)}

& =

\frac{\partial^2}{\partial\theta^2} \ln

\left[

\theta^A(1-\theta)^B\frac{(A+B)!}{A!B!}

\right] \\

& =

\frac{\partial^2}{\partial\theta^2}

\left[

A \ln (\theta) + B \ln(1-\theta)

\right] \\

& =

  • \frac{A}{\theta^2} - \frac{B}{(1-\theta)^2}

\end{align}



:

\begin{align}

\mathcal{I}(\theta)

& =

  • \mathrm{E}

\left[

\frac{\partial^2}{\partial\theta^2} \ln(f(A;\theta))

\right] \\

& =

\frac{n\theta}{\theta^2} + \frac{n(1-\theta)}{(1-\theta)^2}

\end{align}



여기서 ''A''의 기댓값은 ''n θ'', ''B''의 기댓값은 ''n'' (1-''θ'')임을 사용했다.

따라서, 최종 결과는 다음과 같다.[1]

:\mathcal{I}(\theta) = \frac{n}{\theta(1-\theta)}.

5. 2. 정규 분포

평균 μ, 분산 σ2인 정규 분포 N(μ, σ2)에서 피셔 정보는 다음과 같다.

:

\mathcal{I}(\mu, \sigma^2)

=

\begin{pmatrix}

\frac{1}{\sigma^2} & 0 \\

0 & \frac{1}{2(\sigma^2)^2}

\end{pmatrix}


5. 3. 다변량 정규 분포

N변량 다변량 정규 분포, \,X \sim N\left(\mu(\theta),\, \Sigma(\theta)\right)에 대한 피셔 정보 행렬(FIM)은 특별한 형태를 갖는다. 매개변수의 K차원 벡터를 \theta = \begin{bmatrix} \theta_1 & \dots & \theta_K \end{bmatrix}^\textsf{T}로 하고, 정규 확률 변수의 벡터를 X = \begin{bmatrix} X_1 & \dots & X_N \end{bmatrix}^\textsf{T}로 한다. 이 확률 변수의 평균값을 \,\mu(\theta) = \begin{bmatrix} \mu_1(\theta) & \dots & \mu_N(\theta) \end{bmatrix}^\textsf{T}로 하고, \,\Sigma(\theta)를 공분산 행렬로 둔다. 그러면 1 \le m,\, n \le K에 대해 FIM의 (''m'', ''n'') 항목은 다음과 같다.[15]

:

\mathcal{I}_{m,n} =

\frac{\partial\mu^\textsf{T}}{\partial\theta_m}\Sigma^{-1}

\frac{\partial\mu}{\partial\theta_n} +

\frac{1}{2}\operatorname{tr}\left(

\Sigma^{-1}\frac{\partial\Sigma}{\partial\theta_m}

\Sigma^{-1}\frac{\partial\Sigma}{\partial\theta_n}

\right),



여기서 (\cdot)^\textsf{T}는 벡터의 전치 행렬을 나타내고, \operatorname{tr}(\cdot)는 대각합을 나타낸다. 또한 다음과 같다.

: \begin{align}

\frac{\partial \mu}{\partial \theta_m} &=

\begin{bmatrix}

\dfrac{\partial\mu_1}{\partial\theta_m} &

\dfrac{\partial\mu_2}{\partial\theta_m} &

\cdots &

\dfrac{\partial\mu_N}{\partial\theta_m}

\end{bmatrix}^\textsf{T}; \\[8pt]

\dfrac{\partial \Sigma}{\partial \theta_m} &=

\begin{bmatrix}

\dfrac{\partial\Sigma_{1,1}}{\partial\theta_m} &

\dfrac{\partial\Sigma_{1,2}}{\partial\theta_m} &

\cdots &

\dfrac{\partial\Sigma_{1,N}}{\partial\theta_m} \\[5pt]

\dfrac{\partial\Sigma_{2,1}}{\partial\theta_m} &

\dfrac{\partial\Sigma_{2,2}}{\partial\theta_m} &

\cdots &

\dfrac{\partial\Sigma_{2,N}}{\partial\theta_m} \\

\vdots & \vdots & \ddots & \vdots \\

\dfrac{\partial\Sigma_{N,1}}{\partial\theta_m} &

\dfrac{\partial\Sigma_{N,2}}{\partial\theta_m} &

\cdots &

\dfrac{\partial\Sigma_{N,N}}{\partial\theta_m}

\end{bmatrix}.

\end{align}

특히, 매우 일반적인 경우는 \Sigma(\theta) = \Sigma로 상수인 경우이다. 그러면

:

\mathcal{I}_{m,n} =

\frac{\partial\mu^\textsf{T}}{\partial\theta_m}\Sigma^{-1}

\frac{\partial\mu}{\partial\theta_n}.\



이 경우 피셔 정보 행렬은 최소 제곱법 추정 이론의 정규 방정식의 계수 행렬과 동일하게 식별될 수 있다.

또 다른 특별한 경우는 평균과 공분산이 두 개의 서로 다른 벡터 매개변수, 예를 들어 ''β''와 ''θ''에 의존하는 경우이다. 이는 상관된 잔차를 사용하는 선형 모형을 자주 사용하는 공간 데이터 분석에서 특히 널리 사용된다.[16]

: \mathcal{I}(\beta, \theta) = \operatorname{diag}\left(\mathcal{I}(\beta), \mathcal{I}(\theta)\right)

여기서

: \begin{align}

\mathcal{I}{(\beta)_{m,n}} &= \frac{\partial\mu^\textsf{T}}{\partial\beta_m} \Sigma^{-1} \frac{\partial\mu}{\partial\beta_n}, \\[5pt]

\mathcal{I}{(\theta)_{m,n}} &= \frac{1}{2}\operatorname{tr}\left(\Sigma^{-1} \frac{\partial \Sigma}{\partial\theta_m}{\Sigma^{-1}}\frac{\partial\Sigma}{\partial\theta_n}\right)

\end{align}

6. 역사

피셔 정보는 F. Y. 에지워스를 포함한 여러 초기 통계학자들에 의해 논의되었다.[1] 세비지[1]는 "피셔 정보는 피셔에 의해 어느 정도 예측되었다(에지워스 1908–9 특히 502, 507–8, 662, 677–8, 82–5 및 그가 [에지워스] 인용한 참고 문헌에는 피어슨과 필론 1898 [. . .]이 포함된다)."라고 언급했다. 이러한 초기 연구에 대한 많은 역사적 자료와 여러 리뷰가 있다.

참조

[1] 서적 The Bayesian Choice Springer
[2] 서적 Asymptotic Methods in Statistical Decision Theory Springer
[3] 서적 Bayesian and Likelihood Methods in Statistics and Econometrics Elsevier
[4] 웹사이트 Lectures on statistical inference http://www.stat.tamu[...] 2013-04-12
[5] 서적 Theory of Statistics https://www.worldcat[...] Springer New York 1995
[6] 간행물 A Simple Approximation Method for the Fisher–Rao Distance between Multivariate Normal Distributions 2023
[7] 서적 Connected at Infinity II 2013
[8] 간행물 Monte Carlo Computation of the Fisher Information Matrix in Nonstandard Settings
[9] 문서 Improved Methods for Monte Carlo Estimation of the Fisher Information Matrix https://doi.org/10.1[...] Proceedings of the American Control Conference 2008-06-11
[10] 간행물 Efficient Monte Carlo Computation of Fisher Information Matrix Using Prior Information
[11] 서적 Inference and Asymptotics Chapman & Hall 1994
[12] 간행물 Parameter orthogonality and approximate conditional inference (with discussion) 1987
[13] 간행물 Algebraic geometrical method in singular statistical estimation World Scientific
[14] 간행물 A Widely Applicable Bayesian Information Criterion
[15] 서적 Proceedings of the 2015 ACM Conference on Foundations of Genetic Algorithms XIII
[16] 간행물 Maximum likelihood estimation of models for residual covariance in spatial regression
[17] 간행물 A proof of the Fisher information inequality via a data processing argument
[18] 웹사이트 Lecture notes on information theory, chapter 29, ECE563 (UIUC) https://people.lids.[...] 2017
[19] 서적 Theory of Statistics Springer-Verlag
[20] 간행물 Information Geometry and Phase Transitions
[21] 간행물 Relating Fisher information to order parameters
[22] 간행물 On the similarity of the entropy power inequality and the Brunn-Minkowski inequality https://ieeexplore.i[...] 1984-11
[23] 서적 Elements of information theory https://www.worldcat[...] Wiley-Interscience 2006
[24] 서적 Optimal Design of Experiments Wiley
[25] 서적 Bayesian Theory John Wiley & Sons
[26] 간행물 The effect of correlated variability on the accuracy of a population code
[27] 간행물 Quantifying the information in noisy epidemic curves
[28] 서적 Lost Causes in and beyond Physics Springer
[29] 간행물 Overcoming catastrophic forgetting in neural networks 2017-03-28
[30] 간행물 New Insights and Perspectives on the Natural Gradient Method 2020-08
[31] 간행물 Derivation of human chromatic discrimination ability from an information-theoretical notion of distance in color space 2016-12-01
[32] 문서 Gourieroux & Montfort (1995), page 87 https://books.google[...]


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com