경험적 누적 분포 함수

1. 개요

경험적 누적 분포 함수는 확률 공간에서 정의된, 표본 데이터를 기반으로 누적 분포 함수를 추정하는 방법이다. 표본의 원소 수를 통해 계산되며, 지시 함수를 사용하여 정의할 수 있다. 경험적 누적 분포 함수는 강한 대수의 법칙과 글리벤코-칸텔리 정리에 의해 참 누적 분포 함수로 수렴하며, 중심 극한 정리를 따른다. 또한, 드보레츠키-키퍼-울로위츠 부등식을 통해 경험적 누적 분포 함수와 참 누적 분포 함수 사이의 차이에 대한 확률 경계를 제공한다. 다양한 통계 소프트웨어에서 구현되어 시각화 및 분석에 활용되며, 글리벤코-칸텔리의 이름을 따서 명명되었다.

2. 정의

확률 공간 $(\Omega,\mathcal F,\operatorname{Pr})$ 위의 $n$개의 동일 분포 확률 변수 $X_1, X_2, \dots, X_n\colon\Omega\to(\mathbb R,\mathcal B(\mathbb R))$의 경험적 누적 분포 함수는 다음과 같이 정의된다.

:$F_n\colon\Omega\times\mathbb R\to[0,1]$
:$F_n\colon(\omega,x)\mapsto n^{-1}\sum_{k=1}^n1_{(-\infty,x]}(X_k(\omega))$

X₁, …, X_n^영어를 공통 누적 분포 함수 $F(t)$를 갖는 독립적이고 동일하게 분포된 실수형 확률 변수라고 할 때, 경험적 분포 함수는 다음과 같이 정의된다.

:$\widehat F_n(t) = \frac{\mbox{표본의 원소 수} \leq t}{n} = \frac{1}{n} \sum_{i=1}^n \mathbf{1}_{X_i \le t}$

여기서 $\mathbf{1}_{A}$는 지시 함수이며 사건 $A$에 대한 지시 함수이다. 고정된 $t$에 대해, 지시 함수 $\mathbf{1}_{X_i \le t}$는 모수 $p = F(t)$를 갖는 베르누이 분포 확률 변수이므로, $n \widehat F_n(t)$는 평균 $nF(t)$ 및 분산 $nF(t)(1 - F(t))$를 갖는 이항 분포 확률 변수이다. 이는 $\widehat F_n(t)$가 $F(t)$에 대한 비편향 추정량임을 의미한다.

일부 교과서에서는 다음과 같이 정의하기도 한다.

:$\widehat F_n(t) = \frac{1}{n+1} \sum_{i=1}^n \mathbf{1}_{X_i \le t}$

3. 성질

강한 대수의 법칙에 의해, 추정량 $\backslash scriptstyle\backslash widehat\{F\}\_n(t)$은 모든 $t$ 값에 대해 $F(t)$로 $n$이 무한대로 갈 때 거의 확실히 수렴한다. 따라서 $\backslash scriptstyle\backslash widehat\{F\}\_n(t)$는 일치추정량이다.

글리벤코-칸텔리 정리는 경험적 분포 함수가 참 누적 분포 함수로 점별 수렴할 뿐만 아니라, $t$에 대해 균일하게 수렴한다고 설명한다.

반복 로그 법칙에 따른 결과는 다음과 같다.
: $$
\limsup_{n\to\infty} \frac{\sqrt{n}\|\widehat{F}_n-F\|_\infty}{\sqrt{2\ln\ln n}} \leq \frac12, \quad \text{a.s.}

: $$
\liminf_{n\to\infty} \sqrt{2n\ln\ln n} \|\widehat{F}_n-F\|_\infty = \frac{\pi}{2}, \quad \text{a.s.}

3.1. 점근적 성질

글리벤코-칸텔리 정리에 따르면, 경험적 누적 분포 함수는 표본 크기가 무한대로 갈 때 모집단의 누적 분포 함수로 균등 수렴한다. 이는 거의 확실하게 수렴함을 의미한다.

큰 수의 강법칙에 의해, 경험적 누적 분포 함수 $\backslash scriptstyle\backslash widehat\{F\}\_n(t)$는 모든 $t$ 값에 대해 실제 누적 분포 함수 $F(t)$로 거의 확실히 수렴하며, 이는 일치추정량임을 나타낸다.

콜모고로프-스미르노프 검정은 경험적 분포 함수와 실제 누적 분포 함수 간의 적합도를 평가하는 데 사용되며, 크라메르-폰 미제스 기준은 L²-노름을 사용하여 유사한 측정을 제공한다.

중심 극한 정리에 따르면, 경험적 누적 분포 함수는 점별로 정규 분포로 수렴하며, 이 때 수렴 속도는 $\backslash sqrt\{n\}$이다.

동스커의 정리는 경험적 과정이 스코로호드 공간에서 평균이 0인 가우시안 과정으로 분포 수렴함을 보여준다. 이 가우시안 과정의 공분산은 다음과 같이 주어진다.

:$$
\operatorname{E}[\,G_F(t_1)G_F(t_2)\,] = F(t_1\wedge t_2) - F(t_1)F(t_2).


드보레츠키-키퍼-울로위츠 부등식은 경험적 누적 분포 함수와 모집단 누적 분포 함수 사이의 차이에 대한 확률 경계를 제공한다.

:$$
\Pr\!\Big( \sqrt{n}\|\widehat{F}_n-F\|_\infty > z \Big) \leq 2e^{-2z^2}.

4. 신뢰 구간

드보레츠키-키퍼-볼포위츠 부등식에 따르면, 참 CDF $F(x)$를 포함하는 구간은 확률 $1-\backslash alpha$로 다음과 같이 주어진다.

:$F\_n(x)\; -\; \backslash varepsilon\; \backslash le\; F(x)\; \backslash le\; F\_n(x)\; +\; \backslash varepsilon\; \backslash ;\; \backslash text\{\; 여기서\; \}\; \backslash varepsilon\; =\; \backslash sqrt\{\backslash frac\{\backslash ln\{\backslash frac\{2\}\{\backslash alpha\}\}\}\{2n\}\}.$

위의 경계에 따라, 여러 통계 프로그램들을 사용하여 다양한 분포에 대한 경험적 CDF, CDF 및 신뢰 구간을 도식화할 수 있다.

5. 통계적 구현

6. 역사

글리벤코-칸텔리 정리는 Вале́рий Ива́нович Гливе́нко^러시아어와 Francesco Paolo Cantelli^{이탈리아어}의 이름을 땄다.