크라메르-라오 하한

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 역사
3. 기본 개념
4. 다변수 경우
5. 정규성 조건
6. 증명
7. 응용 예시
- 7.1. 다변량 정규 분포
- 7.2. 알려진 평균을 가진 정규 분포의 분산 추정
8. 한국에서의 활용 및 중요성
참조

1. 개요

크라메르-라오 하한은 통계학에서 추정량의 분산에 대한 하한을 제시하는 중요한 개념이다. 이 하한은 추정량의 효율성을 평가하는 기준이 되며, 피셔 정보량을 사용하여 계산된다. 스칼라, 다변수 경우를 포함한 여러 형태로 확장되며, 정규성 조건과 증명 과정이 존재한다. 다변량 정규 분포, 알려진 평균을 가진 정규 분포의 분산 추정 등 다양한 응용 예시를 통해 그 활용성을 보여준다.

더 읽어볼만한 페이지

통계부등식 - 옌센 부등식
옌센 부등식은 볼록 함수 f에 대해 f의 기댓값은 f의 인수의 기댓값에 적용된 함수 값보다 크거나 같다는 부등식으로, 산술-기하 평균 부등식을 포함한 여러 부등식 유도에 사용되며 다양한 분야에 응용된다.
통계부등식 - 체비쇼프 부등식
체비쇼프 부등식은 확률 변수가 평균에서 얼마나 멀리 떨어져 있는지에 대한 확률의 상한을 제공하는 부등식으로, 이레네-쥘 비네메가 처음 공식화하고 체비쇼프와 안드레이 마르코프에 의해 일반화 및 증명되었으며, 확률론적 표현 외에도 측도 공간에 대한 명제로 확장될 수 있다.
추정 이론 - 기댓값 최대화 알고리즘
추정 이론 - 델파이 기법
델파이 기법은 전문가들의 의견을 반복적인 피드백을 통해 수렴하여 문제를 해결하는 하향식 의견 도출 방법으로, 익명성, 정보 흐름의 구조화, 정기적인 피드백을 특징으로 하며 다양한 분야에서 활용된다.
부등식 - 구매력 평가
구매력 평가는 일물일가의 법칙에 기반하여 국가 간 물가 수준을 비교하고 환율을 계산하는 경제 이론으로, GDP 비교나 환율 예측 등에 활용되지만 여러 한계점도 존재한다.
부등식 - 불확정성 원리
불확정성 원리는 1927년 베르너 하이젠베르크가 발표한 양자역학의 기본 원리로, 입자의 위치와 운동량 등 짝을 이루는 물리량들을 동시에 정확하게 측정하는 것이 불가능하며, 두 물리량의 불확정성은 플랑크 상수에 의해 제한된다.

크라메르-라오 하한
일반 정보
이름	크라메르-라오 하한
다른 이름	크라메르-라오 부등식, 프레셰-다르모아-크라메르-라오 부등식, 정보 부등식
영어 이름	Cramér–Rao bound
프랑스어 이름	Inégalité de Fréchet-Darmois-Cramér-Rao
분야	추정 이론
설명
내용	추정량의 분산에 대한 하한
관련 인물	해럴드 크라메르 C. 라다크리슈나 라오 모리스 프레셰 조르주 다르모아
공식
공식 표현 (불편 추정량)	var(T) ≥ I(θ)⁻¹
공식 표현 (편향 추정량)	var(T) ≥ (1 + b'(θ))² / I(θ)
변수 설명	T: 모수 θ의 추정량 var(T): T의 분산 I(θ): 피셔 정보 b(θ): T의 편향 함수
관련 개념
관련 개념	피셔 정보 유효 추정량 최소 분산 불편 추정량

2. 역사

크라메르-라오 하한은 20세기 중반, 인도의 통계학자 칼리암푸디 라다크리슈나 라오와 스웨덴의 수학자 하랄드 크라메르에 의해 독립적으로 발견되었다. 이들의 연구는 통계적 추론의 이론적 기초를 확립하는 데 중요한 기여를 했다.

3. 기본 개념

크라메르-라오 하한(Cramér–Rao lower bound, CRLB)은 무편향 추정량의 분산에 대한 하한을 제공한다.

만약 $\theta$ 가 알려지지 않은 결정론적 파라미터이고, 확률 밀도 함수 $f(x;\theta)$ 에 따라 분포하는 $x$ 의 $n$ 개 독립적인 관측값으로 추정해야 한다고 가정하자. 그러면 $\theta$ 의 모든 불편 추정량 $\hat{\theta}$ 의 분산은 피셔 정보량 $I(\theta)$ 의 역수에 의해 제한된다^[12]:

: $\operatorname{var}(\hat{\theta}) \geq \frac{1}{I(\theta)}$

피셔 정보량 $I(\theta)$ 는 다음과 같이 정의된다:

: $I(\theta) = n \operatorname{E}_{X;\theta} \left[ \left( \frac{\partial \ell(X;\theta)}{\partial\theta} \right)^2 \right]$

여기서 $\ell(x;\theta)=\log (f(x;\theta))$ 는 단일 표본 $x$ 에 대한 가능도 함수의 자연 로그이고, $\operatorname{E}_{x;\theta}$ 는 $X$ 의 밀도 $f(x;\theta)$ 에 대한 기댓값이다.

만약 $\ell(x;\theta)$ 가 두 번 미분 가능하고 특정 규칙성이 만족한다면, 피셔 정보량은 다음과 같이 정의될 수도 있다:^[13]

: $I(\theta) = -n \operatorname{E}_{X;\theta}\left[ \frac{\partial^2 \ell(X;\theta)}{\partial\theta^2} \right]$

불편 추정량 $\hat{\theta}$ 의 효율은 이 추정량의 분산이 이 하한에 얼마나 가까운지를 측정하며, 다음과 같이 정의된다.

: $e(\hat{\theta}) = \frac{I(\theta)^{-1}}{\operatorname{var}(\hat{\theta})}$

이는 불편 추정량에 대한 가능한 최소 분산을 실제 분산으로 나눈 값이며, 크라메르-라오 하한에 따르면,

: $e(\hat{\theta}) \le 1$

이다.

일반적으로, 바이어스 추정량 $T(X)$ 의 기대값이 $\theta$ 가 아닌 $\psi(\theta)$ 인 경우, 경계는 다음과 같다.

: $\operatorname{var}(T) \geq \frac{[\psi'(\theta)]^2}{I(\theta)}$

여기서 $\psi'(\theta)$ 는 $\psi(\theta)$ 의 $\theta$ 에 대한 미분이고, $I(\theta)$ 는 위에서 정의된 피셔 정보량이다.

추정량 $\hat{\theta}$ 의 편향이 $b(\theta) = E\{\hat{\theta}\} - \theta$ 로 주어지면, $\psi(\theta) = b(\theta) + \theta$ 일 때, 다음을 얻는다.^[14]^[15]

: $\operatorname{var} \left(\hat{\theta}\right) \geq \frac{[1+b'(\theta)]^2}{I(\theta)}.$

이 경계의 비편향 버전은 $b(\theta)=0$ 인 경우이다.

편향된 추정량의 평균 제곱 오차는 다음과 같이 경계가 있다.

: $\operatorname{E}\left((\hat{\theta}-\theta)^2\right)\geq\frac{[1+b'(\theta)]^2}{I(\theta)}+b(\theta)^2,$

이는 MSE의 표준 분해를 사용하여 얻어진다. $1+b'(\theta)<1$ 인 경우 이 경계는 비편향 크라메르-라오 하한 $1/I(\theta)$ 보다 작을 수 있다.

3. 1. 스칼라 불편 추정량

확률 밀도 함수

f(x;\theta)

에 따라 분포하는 양

x

의 관측값으로부터, 미지 모수

\theta

를 추정할 때,

\theta

의 모든 불편 추정량

\hat{\theta}

의 분산은 피셔 정보량

I(\theta)

의 역수 이상이다.^[12]

:

\operatorname{var}(\hat{\theta}) \geq \frac{1}{I(\theta)}

피셔 정보량

I(\theta)

는 다음과 같이 정의된다.

:

I(\theta) = \operatorname{E} \left[ \left( \frac{\partial \ell(X;\theta)}{\partial\theta} \right)^2 \right]

여기서

\ell(x;\theta)=\ln  (f(x;\theta))

는 우도의 자연 로그를 취한 것이고,

\operatorname{E}

는 기댓값을 나타낸다.

\frac{\partial \ell(x;\theta)}{\partial\theta}

는 라고도 한다.

만약

\ell(x;\theta)

가 두 번 미분 가능하고 특정 규칙성이 만족한다면, 피셔 정보량은 다음과 같이 정의될 수도 있다.^[13]

:

I(\theta) = -n \operatorname{E}_{X;\theta}\left[ \frac{\partial^2 \ell(X;\theta)}{\partial\theta^2} \right]

불편 추정량

\hat{\theta}

의 효율은 추정량의 분산이 이 하한에 얼마나 근접해 있는지를 측정하는 지표로, 다음과 같이 정의된다.

:

e(\hat{\theta}) = \frac{I(\theta)^{-1}}{\operatorname{Var}(\hat{\theta})}

이는 불편 추정량의 분산의 하한값을 실제 분산으로 나눈 값이라고도 할 수 있다. 크라메르-라오 하한에 의해

e(\hat{\theta}) \le 1

이 된다.

3. 2. 일반적인 스칼라 경우

어떤 확률 밀도 함수

f(x;\theta)

에 따라 분포하는 양

x

의 관측값으로, 미지 모수

\theta

를 추정한다고 가정하자. 이때,

\theta

에 대한 임의의 편향 추정량

T(X)

의 기댓값이

\theta

가 아닌

\psi(\theta)

로 주어질 때, 분산의 하한은 다음과 같다.

:

\operatorname{var}(T)\geq\frac{[\psi'(\theta)]^2}{I(\theta)}

여기서

\psi'(\theta)

는

\psi(\theta)

의

\theta

에 대한 미분이며,

I(\theta)

는 피셔 정보량이다.

모수

\theta

의 추정량

\hat{\theta}

에

b(\theta) = \operatorname{E} [ \hat{\theta} ] - \theta

만큼의 편향이 있다고 가정하면,

\psi(\theta) = b(\theta) + \theta

로 놓고 다음을 얻는다.

:

\operatorname{Var} ( \hat{\theta} )\geq\frac{[1+b'(\theta)]^2}{I(\theta)}

이는 불편 추정량일 때의 부등식(

b(\theta)=0

인 경우)을 포함하는 일반적인 경우이다.

만약 상수 함수를 "추정량"으로 선택하면 분산은 0이 되지만, 추정량의 평균 제곱 오차는 다음과 같은 하한을 갖는다.

:

\operatorname{E}\left[ (\hat{\theta}-\theta)^2 \right] \geq\frac{[1+b'(\theta)]^2}{I(\theta)}+b(\theta)^2

평균 제곱 오차의 표준적인 분해식은 다음과 같다.

:

\operatorname{MSE}(\hat{\theta}) := \operatorname{E} \left [(\hat{\theta}-\theta)^2 \right ] = \operatorname{E} \left[\left(\hat{\theta}-\operatorname{E}[\hat\theta]\right)^2\right]+\left(\operatorname{E}[\hat\theta]-\theta\right)^2

1+b'(\theta)<1

이라면, 불편 추정량일 때의 크라메르-라오 하한

1/I(\theta)

보다 작은 값을 가질 수 있다. 예를 들어, 후술할 예에서는

1+b'(\theta)= \frac{n}{n+2} <1

이 된다.

3. 3. 편향 추정량의 분산에 대한 하한

편향

b(\theta) = \operatorname{E} [ \hat{\theta} ] - \theta

를 가진 추정량

\hat{\theta}

의 분산에 대한 하한은 다음과 같다.^[14]^[15]

:

\operatorname{var} \left(\hat{\theta}\right)\geq\frac{[1+b'(\theta)]^2}{I(\theta)}.

여기서

I(\theta)

는 피셔 정보량이다. 이 경계는

b(\theta)=0

(즉, 추정량이 불편 추정량)인 경우의 특별한 경우이다.

상수인 "추정량"은 분산이 0이므로, 작은 분산을 갖는 것은 사소하다. 하지만, 편향된 추정량의 평균 제곱 오차는 다음 경계를 갖는다.

:

\operatorname{E}\left((\hat{\theta}-\theta)^2\right)\geq\frac{[1+b'(\theta)]^2}{I(\theta)}+b(\theta)^2,

이는 MSE의 표준 분해를 사용하여 얻을 수 있다.

만약

1+b'(\theta)<1

인 경우, 이 경계는 비편향 크라메르-라오 하한

1/I(\theta)

보다 작을 수 있다. 예를 들어, 아래의 알려진 평균을 가진 정규 분산 추정의 예에서,

1+b'(\theta)= \frac{n}{n+2} <1

이다.

4. 다변수 경우

모수가 벡터 $\boldsymbol{\theta} = \left[ \theta_1, \theta_2, \dots, \theta_d \right]^T$ 인 경우, 크라메르-라오 하한은 다음과 같이 확장된다.

피셔 정보 행렬은 $d \times d$ 행렬로, 원소 $I_{m, k}$ 는 다음과 같이 정의된다.

: $I_{m, k}= \operatorname{E} \left[\frac{\partial }{\partial \theta_m} \log f\left(x; \boldsymbol{\theta}\right)\frac{\partial }{\partial \theta_k} \log f\left(x; \boldsymbol{\theta}\right)\right] = -\operatorname{E} \left[\frac{\partial ^2}{\partial \theta_m \, \partial \theta_k} \log f\left(x; \boldsymbol{\theta}\right)\right].$

$\boldsymbol{T}(X)$ 를 매개변수의 임의의 벡터 함수, 즉 $\boldsymbol{T}(X) = (T_1(X), \ldots, T_d(X))^T$ 의 추정량이라고 하고, 그 기대 벡터 $\operatorname{E}[\boldsymbol{T}(X)]$ 를 $\boldsymbol{\psi}(\boldsymbol{\theta})$ 로 나타낸다. 그러면 크라메르-라오 하한은 $\boldsymbol{T}(X)$ 의 공분산 행렬이 다음 부등식을 만족함을 나타낸다.

: $\operatorname{cov}_{\boldsymbol{\theta}}\left(\boldsymbol{T}(X)\right)\geq\phi(\theta)I\left(\boldsymbol{\theta}\right)^{-1}\phi(\theta)^T$

여기서

행렬 부등식 $A \ge B$ 는 행렬 $A-B$ 가 반양정부호임을 의미하고,
$\phi(\theta) := \partial \boldsymbol{\psi}(\boldsymbol{\theta})/\partial \boldsymbol{\theta}$ 는 $ij$ 원소가 $\partial \psi_i(\boldsymbol{\theta})/\partial \theta_j$ 로 주어지는 야코비 행렬이다.

만약

\boldsymbol{T}(X)

가

\boldsymbol{\theta}

의 비편향 추정량이라면 (즉,

\boldsymbol{\psi}\left(\boldsymbol{\theta}\right) = \boldsymbol{\theta}

라면), 크라메르-라오 하한은 다음과 같이 간략화된다.

:

\operatorname{cov}_{\boldsymbol{\theta}}\left(\boldsymbol{T}(X)\right)\geqI\left(\boldsymbol{\theta}\right)^{-1}.

피셔 정보 행렬의 역행렬을 계산하는 것이 불편하다면, 해당 대각 원소의 역수를 취하여 (다소 느슨한) 하한을 구할 수도 있다.^[16]

:

\operatorname{var}_{\boldsymbol{\theta}}(T_m(X))=\left[\operatorname{cov}_{\boldsymbol{\theta}}\left(\boldsymbol{T}(X)\right)\right]_{mm}\geq\left[I\left(\boldsymbol{\theta}\right)^{-1}\right]_{mm}\geq\left(\left[I\left(\boldsymbol{\theta}\right)\right]_{mm}\right)^{-1}.

5. 정규성 조건

크라메르-라오 하한은 확률 밀도 함수 $f(x; \theta)$ 와 추정량 $T(X)$ 에 대해 다음과 같은 두 가지 정규성 조건을 만족해야 한다.

피셔 정보량은 항상 정의된다. 즉, $f(x; \theta) > 0$ 인 모든 $x$ 에 대해, 다음 식이 존재하고 유한해야 한다.

::

\frac{\partial}{\partial\theta} \log f(x;\theta)

$x$ 에 대한 적분과 $\theta$ 에 대한 미분 연산은 $T$ 의 기댓값에서 상호 교환될 수 있다. 즉, 다음 식이 성립해야 한다.

::

\frac{\partial}{\partial\theta}    \left[    \int T(x) f(x;\theta) \,dx    \right]    =    \int T(x)    \left[    \frac{\partial}{\partial\theta} f(x;\theta)    \right]    \,dx

:우변이 유한할 때 위 식이 성립한다.

이 조건은 다음 경우 중 하나에 해당하면 적분과 미분을 교환할 수 있다는 사실을 사용하여 확인할 수 있다.

1.

f(x;\theta)

는

x

에서 유계 지지 집합을 가지며, 경계는

\theta

에 의존하지 않는다.

2.

f(x;\theta)

는 무한 지지 집합을 가지며, 연속 미분 가능하고, 적분은 모든

\theta

에 대해 균일하게 수렴한다.

6. 증명

Chapman–Robbins bound|채프먼-로빈스 바운드^영어를 기반으로 증명하면 다음과 같다.^[17]

$\delta$ 를 무한소라고 하고, 임의의 $v\in \R^n$ 에 대해 $\theta' = \theta + \delta v$ 를 대입하면 $(E_{\theta'}[T] - E_{\theta}[T]) = v^T \phi(\theta)\delta; \quad \chi^2(\mu_{\theta'} ; \mu_\theta) = v^T I(\theta) v \delta^2$ 가 된다. 이를 다변량 채프먼-로빈스 바운드에 대입하면 $I(\theta) \geq \phi(\theta) \operatorname{Cov}_\theta[T]^{-1} \phi(\theta)^T$ 가 된다.

스칼라의 경우, $h(X)$ 가 $\R$ 값을 갖는 경우에 대해 증명하면 충분하다. 일반적인 $T(X)$ 에 대해, 임의의 $v \in \R^m$ 을 취한 다음, $h:= \sum_j v_j T_j$ 를 정의하면 스칼라의 경우 $\operatorname{Var}_\theta[h] = v^T \operatorname{Cov}_\theta[T]v \geq v^T \phi(\theta) I(\theta)^{-1}\phi(\theta)^T v$ 가 된다. 이는 모든 $v \in \R^m$ 에 대해 성립하므로, $\operatorname{Cov}_\theta[T] \geq \phi(\theta) I(\theta)^{-1}\phi(\theta)^T$ 로 결론 내릴 수 있다.

스칼라의 경우는 $\phi(\theta) := \nabla_\theta E_\theta[h]$ 로 정의될 때 $\operatorname{Var}_\theta[h] \geq \phi(\theta)^T I(\theta)^{-1} \phi(\theta)$ 임을 나타낸다. $\delta$ 를 무한소라고 하고, 임의의 $v\in \R^n$ 에 대해 단변량 채프먼-로빈스 바운드에 $\theta' = \theta + \delta v$ 를 대입하면

$\operatorname{Var}_\theta[h] \geq \frac{\langle v, \phi(\theta)\rangle^2}{v^T I(\theta) v}$ 가 된다.

선형대수학에 의해, 양의 정부호 행렬 $M$ 에 대해 $\sup_{v\neq 0} \frac{\langle w, v\rangle^2}{v^T M v} = w^T M^{-1}w$ 이므로, $\operatorname{Var}_\theta[h] \geq \phi(\theta)^T I(\theta)^{-1} \phi(\theta)$ 를 얻을 수 있다.

일반적인 스칼라 사례의 경우, $T=t(X)$ 를 기댓값 $\psi(\theta)$ 를 갖는 추정량이라고 가정한다. 즉, $\operatorname{E}(T) = \psi (\theta)$ 이다. 목표는 모든 $\theta$ 에 대해 다음을 증명하는 것이다.

: $\operatorname{var}(t(X)) \geq \frac{[\psi^\prime(\theta)]^2}{I(\theta)}.$

$X$ 를 확률 밀도 함수 $f(x; \theta)$ 를 갖는 확률 변수라고 하고, $T = t(X)$ 는 $\psi (\theta)$ 에 대한 추정량으로 사용되는 통계량이다. $V$ 를 스코어로 정의하면 다음과 같다.

: $V = \frac{\partial}{\partial\theta} \ln f(X;\theta) = \frac{1}{f(X;\theta)}\frac{\partial}{\partial\theta}f(X;\theta)$

위의 마지막 등식에 연쇄 법칙이 사용되었다. $V$ 의 기대값 $\operatorname{E}(V)$ 는 0이다.

: $\operatorname{E}(V) = \int f(x;\theta)\left[\frac{1}{f(x;\theta)}\frac{\partial }{\partial \theta} f(x;\theta)\right] \, dx = \frac{\partial}{\partial\theta}\int f(x;\theta) \, dx = 0$

여기서 적분과 편미분은 서로 교환되었다(두 번째 규칙 조건에 의해 정당화됨).

$V$ 와 $T$ 의 공분산 $\operatorname{cov}(V, T)$ 를 고려하면, $\operatorname{E}(V) = 0$ 이므로 $\operatorname{cov}(V, T) = \operatorname{E}(V T)$ 이다. 이 식을 확장하면 다음과 같다.

: $\begin{align}\operatorname{cov}(V,T)& = \operatorname{E}\left(T \cdot\left[\frac{1}{f(X;\theta)}\frac{\partial}{\partial\theta}f(X;\theta) \right]\right) \\[6pt]& = \int t(x) \left[\frac{1}{f(x;\theta)} \frac{\partial}{\partial\theta} f(x;\theta) \right] f(x;\theta)\, dx \\[6pt]& = \frac{\partial}{\partial\theta}\left[ \int t(x) f(x;\theta)\,dx \right]= \frac{\partial}{\partial\theta} E(T) = \psi^\prime(\theta)\end{align}$

적분 및 미분 연산이 교환 가능하기 때문이다(두 번째 조건).

코시-슈바르츠 부등식은 다음을 보여준다.

: $\sqrt{ \operatorname{var} (T) \operatorname{var} (V)} \geq \left| \operatorname{cov}(V,T) \right| = \left | \psi^\prime (\theta)\right |$

따라서

: $\operatorname{var} (T) \geq \frac{[\psi^\prime(\theta)]^2}{\operatorname{var} (V)}= \frac{[\psi^\prime(\theta)]^2}{I(\theta)}$

이것은 명제를 증명한다.

7. 응용 예시

크라메르-라오 하한은 다양한 통계적 추정 문제에 응용될 수 있다. 여기서는 몇 가지 구체적인 예시를 통해 그 응용 방법을 살펴본다.

모수가 하나이고 추정량이 불편추정량인 경우부터 시작하여 일반적인 경우로 확장한다. 이는 대부분의 확률 분포에 대해 성립한다.

7. 1. 다변량 정규 분포

d^영어-변량 정규 분포에서 피셔 정보 행렬의 원소는 다음과 같이 주어진다.^[18]^[27]

:

I_{m, k}= \frac{\partial \boldsymbol{\mu}^T}{\partial \theta_m}{\boldsymbol C}^{-1}\frac{\partial \boldsymbol{\mu}}{\partial \theta_k}+ \frac{1}{2}\operatorname{tr}\left({\boldsymbol C}^{-1}\frac{\partial {\boldsymbol C}}{\partial \theta_m}{\boldsymbol C}^{-1}\frac{\partial {\boldsymbol C}}{\partial \theta_k}\right)

여기서 "tr"은 대각합을 의미한다.

7. 2. 알려진 평균을 가진 정규 분포의 분산 추정

X^영어, X_i^영어를 평균

\mu

가 알려져 있고 분산

\sigma^2

이 알려지지 않은 정규 분포를 따르는 독립적인 확률 변수(열)라고 가정한다. 다음과 같은 통계량을 고려해 보자:

:

T=\frac{\sum_{i=1}^n (X_i-\mu)^2}{n}

이때

\operatorname{E}\left[ T \right] =\sigma^2

이므로,

T

는

\sigma^2

의 불편 추정량이 된다.

$T$ 의 '''분산'''은 다음과 같다.

:

\operatorname{Var}(T) = \frac{\operatorname{Var}(X-\mu)^2}{n}=\frac{1}{n}\left[\operatorname{E}\left[ (X-\mu)^4 \right] -\left( \operatorname{E}\left[ (X-\mu)^2 \right] \right)^2\right]

: (두 번째 등호는 분산의 정의). 첫 번째 항은 정규 분포의 4차 중심 모멘트이며,

3(\sigma^2)^2

에 해당한다. 두 번째 항은 분산의 제곱, 즉

(\sigma^2)^2

이다. 따라서

:

\operatorname{Var}(T)=\frac{2(\sigma^2)^2}{n}

한편 '''피셔 정보량'''은, 먼저 관측 1회당 스코어 함수 $V$ 가 우도 함수 $L$ 에서 다음과 같이 계산할 수 있다.

:

\begin{align}V& = \frac{\partial}{\partial (\sigma^2 ) }\ln L(\sigma^2,X) \\& = \frac{\partial}{\partial (\sigma^2) }\ln \left[\frac{1}{\sqrt{2\pi\sigma^2}}e^{-(X-\mu)^2 /{2\sigma^2}}\right] =\frac{(X-\mu)^2}{2(\sigma^2)^2}-\frac{1}{2\sigma^2}\end{align}

: 마지막 등호는 간단한 계산으로 알 수 있다. 이 정보량은

V

를 한 번 더 편미분한 다음 평균을 내고, 마이너스 1배 한 것과 같다.

:

\begin{align}I&=-\operatorname{E}\left[ \frac{\partial V}{\partial ( \sigma^2 ) }\right]=-\operatorname{E}\left[ -\frac{(X-\mu)^2}{(\sigma^2)^3}+\frac{1}{2(\sigma^2)^2}\right] \\&=\frac{\sigma^2}{(\sigma^2)^3}-\frac{1}{2(\sigma^2)^2}=\frac{1}{2(\sigma^2)^2}\end{align}

:

n

회의 독립적인 관측 정보량은, 이것을 단순히

n

배 한 것이며,

::

I_{n}= \frac{n}{2(\sigma^2)^2}

크라메르-라오 부등식은

\operatorname{Var}(T)\geq\frac{1}{I_{n}}

이지만, 이 경우에는 등호가 성립하기 때문에, 추정량이 유효 추정량임을 알 수 있다.

불편 추정량을 사용하지 않으면, 분산 및 평균 제곱 오차를 더 작게 할 수도 있다. 예를 들어,

T_{b} =\frac{\sum_{i=1}^n (X_i-\mu)^2}{n+2}

로 하면, 분산은 분명히 더 작아진다. 실제로는

:

\operatorname{Var}(T_{b})=\frac{2n(\sigma^2)^2}{(n+2)^2} < \operatorname{Var}(T)

여기에서 편향은

-b(\sigma^2) = \sigma^2 - \operatorname{E} [ T_{b} ] = \left(1-\frac{n}{n+2}\right)\sigma^2=\frac{2\sigma^2}{n+2}

이며, 평균 제곱 오차는, '（평균 제곱 오차(MSE)）=（분산）+（편향의 2제곱）'의 분해식에서

:

\operatorname{MSE}(T_{b})=\left(\frac{2n}{(n+2)^2}+\frac{4}{(n+2)^2}\right)(\sigma^2)^2=\frac{2(\sigma^4)}{n+2}

가 된다. 이 또한 불편 추정량일 때의

:

\operatorname{MSE}(T)=\left(\frac{2(\sigma^2)^2}{n}+0 \right) (\sigma^2)^2=\frac{2(\sigma^4)}{n}

보다 작다.

8. 한국에서의 활용 및 중요성

크라메르-라오 하한은 통계학 이론으로, 한국에서 구체적인 활용 사례나 중요성에 대한 직접적인 언급은 제한적이다. 그러나 통계학적 방법론이 널리 활용되는 현대 사회에서, 크라메르-라오 하한은 다양한 분야에서 간접적으로 중요한 역할을 할 수 있다. 예를 들어, 다음과 같은 분야에서 활용될 수 있다.

데이터 분석 및 예측: 크라메르-라오 하한은 데이터 분석에서 추정의 정확도에 대한 이론적인 기준을 제공한다. 이는 금융, 경제, 사회 과학 등 다양한 분야에서 예측 모델의 성능을 평가하고 개선하는 데 활용될 수 있다.
신호 처리 및 통신: 신호 처리 분야에서 크라메르-라오 하한은 잡음 환경에서 신호의 강도를 추정하는 데 사용될 수 있다. 이는 이동 통신, 위성 통신 등에서 신호 품질을 최적화하는 데 기여할 수 있다.
의료 영상 및 진단: 의료 영상 분야에서 크라메르-라오 하한은 영상의 품질을 평가하고 개선하는 데 사용될 수 있다. 이는 질병의 조기 진단 및 정확한 진단에 기여할 수 있다.

이처럼 크라메르-라오 하한은 특정 분야에 국한되지 않고, 데이터를 기반으로 의사 결정을 내리는 다양한 분야에서 활용될 수 있는 중요한 이론적 토대를 제공한다.

참조

_[1] 서적 Mathematical Methods of Statistics https://archive.org/[...] Princeton Univ. Press
_[2] 간행물 Information and the accuracy attainable in the estimation of statistical parameters Calcutta Mathematical Society
_[3] 서적 Selected Papers of C. R. Rao Wiley
_[4] 간행물 Sur l'extension de certaines évaluations statistiques au cas de petits échantillons 1943
_[5] 간행물 Sur les limites de la dispersion de certaines estimations 1945
_[6] 간행물 XV.—On the Estimation of Statistical Parameters https://www.cambridg[...] 1942
_[7] 간행물 The so-called Cramer–Rao inequality
_[8] 서적 The Oxford Dictionary of Statistical Terms https://books.google[...] Oxford University Press 2003
_[9] 간행물 On Some Analogues of the Amount of Information and Their Use in Statistical Estimation https://www.jstor.or[...]
_[10] 간행물 On Some Analogues of the Amount of Information and Their Use in Statistical Estimation (Contd.) https://www.jstor.or[...]
_[11] 간행물 On Some Analogues of the Amount of Information and Their Use in Statistical Estimation (Concluded) https://www.jstor.or[...]
_[12] 서적 Connected at Infinity II Hindustan Book Agency, Gurgaon
_[13] 웹사이트 Lectures on statistical inference http://www.stat.tamu[...] 2020-05-24
_[14] 웹사이트 Cramér Rao Lower Bound - Navipedia https://gssc.esa.int[...]
_[15] 웹사이트 Cramér-Rao Bound https://theoryandpra[...]
_[16] 간행물 Some classes of global Cramer–Rao bounds
_[17] 웹사이트 Lecture notes on information theory, chapter 29, ECE563 (UIUC) https://people.lids.[...] 2017
_[18] 서적 Fundamentals of Statistical Signal Processing: Estimation Theory Prentice Hall
_[19] 서적 Mathematical Methods of Statistics Princeton Univ. Press
_[20] 간행물 Information and the accuracy attainable in the estimation of statistical parameters
_[21] 서적 Selected Papers of C. R. Rao Wiley
_[22] 간행물 Sur les limites de la dispersion de certaines estimations 1945
_[23] 간행물 Sur l'extension de certaines évaluations statistiques au cas de petit échantillons 1943
_[24] 간행물 An extension of the Cramér–Rao inequality 1958
_[25] 간행물 Statistical methods and the subjective basis of scientific knowledge 1999
_[26] 간행물 Some classes of global Cramer–Rao bounds
_[27] 서적 Fundamentals of Statistical Signal Processing: Estimation Theory Prentice Hall

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com