큰 수의 법칙

3. 형태

3. 1. 약한 법칙 (Weak Law)

3. 2. 강한 법칙 (Strong Law)

4. 약한 법칙과 강한 법칙의 차이점

'''큰 수의 약한 법칙'''(Weak Law of Large Numbers, WLLN)과 '''큰 수의 강한 법칙'''(Strong Law of Large Numbers, SLLN)은 모두 독립적이고 동일한 분포(i.i.d.)를 따르는 확률 변수열 ''X''₁, ''X''₂, ... 의 표본 평균 $\backslash overline\{X\}\_n\; =\; \backslash frac\{1\}\{n\}(X\_1\; +\; \backslash cdots\; +\; X\_n)$ 이 기댓값 ''μ''로 수렴한다는 공통점을 가지지만, 수렴의 방식에서 중요한 차이를 보인다.^[15][1]

• '''큰 수의 약한 법칙'''은 표본 평균 $\backslash overline\{X\}\_n$이 기댓값 ''μ''로 '''확률 수렴'''함을 명시한다. 이는 어떤 작은 양수 ε > 0 에 대해서도, 표본 평균과 기댓값의 차이가 ε보다 클 확률이 표본 크기 ''n''이 무한대로 감에 따라 0으로 수렴한다는 의미이다.^[36]

• '''큰 수의 강한 법칙'''은 표본 평균 $\backslash overline\{X\}\_n$이 기댓값 ''μ''로 '''거의 확실하게 수렴'''함을 명시한다. 이는 표본 평균이 기댓값으로 수렴할 확률이 1이라는 의미이다.^[37]

5. 증명

'''큰 수의 약한 법칙'''에 대한 증명 방법은 여러 가지가 있다.

=== 체비쇼프 부등식을 이용한 증명 ===

이 증명은 확률 변수들이 유한한 분산 $\backslash operatorname\{Var\}\; (X\_i)=\backslash sigma^2$ (모든 $i$에 대해)를 가진다고 가정한다. 확률 변수들이 서로 독립이면 변수들 간의 상관 관계가 없음을 의미하며, 표본 평균 $\backslash overline\{X\}\_n$의 분산은 다음과 같이 계산된다.

$$$$

\operatorname{Var}(\overline{X}_n) = \operatorname{Var}(\tfrac1n(X_1+\cdots+X_n)) = \frac{1}{n^2} \operatorname{Var}(X_1+\cdots+X_n) = \frac{n\sigma^2}{n^2} = \frac{\sigma^2}{n}.



모든 확률 변수가 동일한 기댓값 μ를 가지므로, 표본 평균의 기댓값 역시 μ이다.

$$$$

E(\overline{X}_n) = \mu.



체비쇼프 부등식을 표본 평균 $\backslash overline\{X\}\_n$에 적용하면 다음과 같은 식을 얻는다.

$$$$

\operatorname{P}( \left| \overline{X}_n-\mu \right| \geq \varepsilon) \leq \frac{\sigma^2}{n\varepsilon^2}.



이 식을 이용하면, 표본 평균 $\backslash overline\{X\}\_n$이 기댓값 μ로부터 ε보다 작은 범위 안에 있을 확률은 다음과 같이 나타낼 수 있다.

$$$$

\operatorname{P}( \left| \overline{X}_n-\mu \right| < \varepsilon) = 1 - \operatorname{P}( \left| \overline{X}_n-\mu \right| \geq \varepsilon) \geq 1 - \frac{\sigma^2}{n \varepsilon^2 }.



표본의 크기 ''n''이 무한대로 커짐에 따라 이 확률은 1에 가까워진다. 확률 수렴의 정의에 따라, 표본 평균 $\backslash overline\{X\}\_n$은 기댓값 μ로 확률 수렴한다.

$$$$

\overline{X}_n\ \overset{P}{\rightarrow}\ \mu \qquad\textrm{when}\ n \to \infty.



=== 특성 함수를 이용한 증명 ===

테일러 정리에 따르면, 유한한 기댓값 μ를 갖는 임의의 확률 변수 ''X''의 특성 함수는 ''t''가 0으로 갈 때 다음과 같이 근사할 수 있다.

$$\backslash varphi\_X(t)\; =\; 1\; +\; it\backslash mu\; +\; o(t),\; \backslash quad\; t\; \backslash rightarrow\; 0.$$

모든 확률 변수 ''X''₁, ''X''₂, ...는 동일한 특성 함수를 가지므로, 이를 간단히 ''φ''_''X''로 표기한다. 특성 함수의 기본 성질에 따라, 독립적인 확률 변수들의 합과 상수를 곱한 확률 변수의 특성 함수는 다음과 같이 계산된다.

$$\backslash varphi\_\{\backslash frac\; 1\; n\; X\}(t)=\; \backslash varphi\_X(\backslash tfrac\; t\; n)\; \backslash quad\; \backslash text\{and\}\; \backslash quad$$

\varphi_{X+Y}(t) = \varphi_X(t) \varphi_Y(t) \quad 여기서 ''X''와 ''Y''는 독립이다.

이 성질들을 이용하여 표본 평균 $\backslash overline\{X\}\_n$의 특성 함수를 계산하면 다음과 같다.

$$\backslash varphi\_\{\backslash overline\{X\}\_n\}(t)=\; \backslash left[\backslash varphi\_X\backslash left(\{t\; \backslash over\; n\}\backslash right)\backslash right]^n\; =\; \backslash left[1\; +\; i\backslash mu\{t\; \backslash over\; n\}\; +\; o\backslash left(\{t\; \backslash over\; n\}\backslash right)\backslash right]^n\; \backslash ,\; \backslash rightarrow\; \backslash ,\; e^\{it\backslash mu\},\; \backslash quad\; \backslash text\{as\}\; \backslash quad\; n\; \backslash to\; \backslash infty.$$

여기서 극한값 ''e''^''itμ''는 값이 상수 μ인 확률 변수의 특성 함수이다. 레비 연속성 정리에 의해, 표본 평균 $\backslash overline\{X\}\_n$은 μ로 분포 수렴한다.

$$\backslash overline\{X\}\_n\; \backslash ,\; \backslash overset\{\backslash mathcal\; D\}\{\backslash rightarrow\}\; \backslash ,\; \backslash mu\; \backslash qquad\backslash text\{for\}\backslash qquad\; n\; \backslash to\; \backslash infty.$$

μ는 상수이므로, μ로의 분포 수렴은 μ로의 확률 수렴과 동일하다(확률 변수의 수렴 참조). 따라서 약한 법칙이 증명된다.

$$$$

\overline{X}_n\ \overset{P}{\rightarrow}\ \mu \qquad\textrm{when}\ n \to \infty.



이 증명은 표본 평균이 원점에서 특성 함수의 미분값(즉, 기댓값)으로 확률 수렴함을 보여준다. 단, 특성 함수가 원점에서 미분 가능해야 한다.

'''큰 수의 강한 법칙'''의 증명은 약한 법칙보다 더 복잡하다. 다음은 추가적인 가정을 통해 증명을 단순화한 예시이다.

=== 유한 4차 적률을 가정한 증명 ===

독립 동일 분포(iid)를 따르는 확률 변수열 $X\_i$가 , , 그리고 4차 적률 를 갖는다고 가정한다.

일반성을 잃지 않고, 확률 변수를 중심화하여 평균 $\backslash mu\; =\; 0$이라고 가정할 수 있다. 이 경우 강한 법칙은 표본 평균 $\backslash overline\{X\}\_n\; =\; S\_n/n$ (여기서 $S\_n\; =\; X\_1\; +\; \backslash cdots\; +\; X\_n$)이 0으로 거의 확실하게 수렴함을 의미한다.

$$$$

\Pr\!\left( \lim_{n\to\infty}\overline{X}_n = 0 \right) = 1.



이는 모든 $\backslash epsilon\; >\; 0$에 대해 다음을 보이는 것과 같다.

$$$$

\Pr\left(\omega: |S_n(\omega)| \ge n\epsilon \mbox{ 무한히 자주} \right) = 0.



사건 $A\_n\; =\; \backslash \{\backslash omega\; :\; |S\_n|\; \backslash ge\; n\backslash epsilon\backslash \}$를 정의하고, 보렐-칸텔리 보조정리에 따라 임을 보이면 증명이 완료된다.

$\backslash Pr(A\_n)$을 추정하기 위해 $\{\backslash mathbb\; E\}[S\_n^4]$를 계산한다. $X\_i$들이 독립이고 평균이 0이므로, $\{\backslash mathbb\; E\}[X\_i^a\; X\_j^b\; \backslash dots]\; =\; \{\backslash mathbb\; E\}[X\_i^a]\; \{\backslash mathbb\; E\}[X\_j^b]\; \backslash dots$ 이고 $\{\backslash mathbb\; E\}[X\_i]\; =\; 0$이다. 따라서 $\{\backslash mathbb\; E\}[S\_n^4]\; =\; \{\backslash mathbb\; E\}[(\backslash sum\; X\_i)^4]$를 전개했을 때, 0이 아닌 기댓값을 갖는 항은 $\{\backslash mathbb\; E\}[X\_i^4]$ 형태와 $\{\backslash mathbb\; E\}[X\_i^2\; X\_j^2]$ 형태뿐이다. $X\_i$는 동일하게 분포되어 있으므로, $\{\backslash mathbb\; E\}[X\_i^4]\; =\; \backslash tau$이고 $\{\backslash mathbb\; E\}[X\_i^2\; X\_j^2]\; =\; \{\backslash mathbb\; E\}[X\_i^2]\; \{\backslash mathbb\; E\}[X\_j^2]\; =\; \backslash sigma^2\; \backslash cdot\; \backslash sigma^2\; =\; \backslash sigma^4$ (단, $i\; \backslash neq\; j$)이다.

$\{\backslash mathbb\; E\}[S\_n^4]$에는 $\{\backslash mathbb\; E\}[X\_i^4]$ 형태의 항이 $n$개, $\{\backslash mathbb\; E\}[X\_i^2\; X\_j^2]$ 형태의 항이 $3n(n-1)$개 존재한다. 따라서,

$$$$

{\mathbb E}[S_n^4] = n \tau + 3n(n-1)\sigma^4.



이 식은 $n$에 대한 2차 다항식이므로, 충분히 큰 $n$에 대해 $\{\backslash mathbb\; E\}[S\_n^4]\; \backslash le\; Cn^2$을 만족하는 상수 $C>0$가 존재한다. 마르코프 부등식을 적용하면,

$$$$

\Pr(|S_n| \ge n \epsilon) = \Pr(S_n^4 \ge (n \epsilon)^4) \le \frac{{\mathbb E}[S_n^4]}{(n\epsilon)^4} \le \frac{Cn^2}{n^4\epsilon^4} = \frac{C}{\epsilon^4 n^2}.



따라서,

$$$$

\sum_{n=1}^\infty \Pr(A_n) = \sum_{n=1}^\infty \Pr(|S_n| \ge n \epsilon) \le \sum_{n=1}^\infty \frac{C}{\epsilon^4 n^2} = \frac{C}{\epsilon^4} \sum_{n=1}^\infty \frac{1}{n^2}.



급수 $\backslash sum\_\{n=1\}^\backslash infty\; \backslash frac\{1\}\{n^2\}$는 수렴하므로($\backslash pi^2/6$으로), $\backslash sum\_\{n=1\}^\backslash infty\; \backslash Pr(A\_n)$도 수렴한다. 보렐-칸텔리 보조정리에 의해, 사건 $A\_n$이 무한히 자주 발생할 확률은 0이다. 이는 모든 $\backslash epsilon\; >\; 0$에 대해 성립하므로, 강한 대수의 법칙이 증명되었다.

유한 4차 적률 가정이 없는 더 일반적인 증명 방법들도 존재한다.^[31][32]

6. 응용

큰 수의 법칙은 실제 세계의 다양한 문제를 해결하는 데 유용하게 사용되며, 특히 확률적인 현상을 분석하고 예측하는 데 중요한 도구가 된다.

=== 몬테 카를로 방법 ===

몬테 카를로 방법은 큰 수의 법칙을 활용하는 대표적인 예시다.^[4] 이 방법은 복잡한 계산 문제를 해결하기 위해 무작위 표본 추출을 반복적으로 사용하는 계산 알고리즘이다. 어떤 사건의 확률이나 함수의 기댓값 등을 직접 계산하기 어려울 때, 무작위로 수많은 표본을 생성하고 그 표본들의 평균을 통해 원하는 값을 근사적으로 구하는 방식이다. 큰 수의 법칙에 따라, 표본의 크기(반복 횟수)가 커질수록 표본 평균은 실제 값에 가까워지므로 근사치의 정확도가 높아진다.^[4][3]

예를 들어, 특정 구간 [a, b]에서 함수 f(x)의 적분 값을 구하는 경우, 이 구간에서 무작위로 X 값들(X₁, X₂, ..., X_n)을 뽑고 각 X 값에 해당하는 f(X) 값들을 계산한다. 이 f(X) 값들의 평균에 구간의 길이 (b-a)를 곱하면 적분 값의 근사치를 얻을 수 있다. 표본의 수 n이 커질수록 이 근사값은 실제 적분 값 $\backslash int\_\{a\}^\{b\}\; f(x)\; dx$에 수렴하게 된다.^[3]

실제로 [-1, 2] 구간에서 $f(x)\; =\; \backslash cos^2(x)\backslash sqrt\{x^3+1\}$ 와 같이 일반적인 방법으로 계산하기 어려운 적분을 몬테 카를로 방법을 이용해 근사할 수 있다. 표본의 개수(n)를 늘릴수록 (예: n=25일 때 0.905, n=250일 때 1.028) 근사값이 실제 적분 값(약 1.000194)에 더 가까워지는 것을 확인할 수 있다.^[3] 이는 표본 수가 증가함에 따라 큰 수의 법칙이 작용하여 근사의 정확도가 향상되기 때문이다.^[3][33]

=== 확률 분포의 특징 추정 ===

큰 수의 법칙은 알 수 없는 확률 분포의 특징, 예를 들어 기댓값 등을 추정하는 데 사용될 수 있다.^[1] 어떤 확률 변수의 값을 여러 번 독립적으로 관찰하여 얻은 표본 평균은 그 확률 변수의 기댓값으로 수렴한다.

보렐의 큰 수의 법칙을 응용하면, 반복적인 시행을 통해 특정 사건의 확률 질량 함수나 확률 밀도 함수를 근사적으로 알아낼 수 있다. 예를 들어, 어떤 사건이 일어날 확률을 알고 싶을 때, 동일한 조건에서 시행을 여러 번 반복하고 그 사건이 발생한 빈도(상대 도수)를 계산한다. 시행 횟수가 충분히 크다면, 이 상대 도수는 실제 사건 발생 확률에 가까워진다.^[1]

연속적인 확률 변수의 경우에도 비슷한 방법을 사용할 수 있다. 예를 들어, 특정 구간 $(a-h,\; a+h]$에 확률 변수의 값이 속할 확률을 추정하고 싶다고 하자. (여기서 h는 작은 양수) 많은 수의 표본(n개)을 관찰하여 이 구간에 속하는 표본의 개수 $N\_n(C)$를 센다. 그러면 비율 $\backslash frac\{N\_n(C)\}\{n\}$은 구간에 속할 확률 $P(X\backslash in\; C)\; =\; \backslash int\_\{a-h\}^\{a+h\}\; f(x)\; \backslash ,\; dx$에 가까워진다. 이 확률은 대략 $2hf(a)$와 비슷하므로, 확률 밀도 함수 f(x)의 값을 추정하는 데 활용될 수 있다. 이러한 방식으로 전체 구간을 작은 구간들로 나누어 각 구간에 속하는 표본의 빈도를 막대그래프로 나타내면 히스토그램을 얻을 수 있으며, 이는 확률 분포의 모양을 시각적으로 파악하는 데 도움을 준다.^[1]

7. 한계

큰 수의 법칙은 항상 성립하는 것은 아니다. 어떤 경우에는 많은 시행에서 얻은 평균이 특정 값으로 수렴하지 않을 수 있다. 대표적인 예는 기댓값이 존재하지 않거나 무한대인 경우이다.

예를 들어, 코시 분포나 꼬리가 두꺼운 분포의 특성을 가진 일부 파레토 분포(α<1)에서 추출한 표본의 평균은 시행 횟수 ''n''이 아무리 커져도 특정 값으로 수렴하지 않는다.^[5] 이는 코시 분포의 경우 기댓값이 정의되지 않고,^[6] 파레토 분포(''α''<1)는 기댓값이 무한대이기 때문이다.^[7]

8. 균등 큰 수의 법칙 (Uniform Law of Large Numbers)

균등 큰 수의 법칙은 추정량 모임에 대한 큰 수의 법칙의 확장으로, 수렴이 모임 전체에 대해 균등하게 이루어지는 경우를 다룬다.^[28][29]

어떤 함수 ''f''(''x'',''θ'')가 파라미터 ''θ'' ∈ Θ에 대해 정의되고 ''θ''에서 연속이라고 가정해 보자. 그러면 임의의 고정된 ''θ''에 대해, 수열 {''f''(''X''₁,''θ''), ''f''(''X''₂,''θ''), ...}는 독립적이고 동일하게 분포된 확률 변수의 수열이 된다. 따라서 이 수열의 표본 평균은 확률적으로 E[''f''(''X'',''θ'')]로 수렴한다. 이를 ''θ''에서의 점별 수렴(pointwise convergence)이라고 한다.

'''균등 큰 수의 법칙'''은 특정 조건 하에서 이러한 수렴이 ''θ'' 전체에 대해 균등하게(uniformly) 발생함을 보인다. 그 조건은 다음과 같다.^[28][29]

• # 파라미터 공간 ''Θ''는 콤팩트이다.
• # 함수 ''f''(''x'',''θ'')는 거의 모든 ''x''에 대해 각 ''θ'' ∈ Θ에서 연속이며, 각 ''θ''에서 ''x''의 가측 함수이다.
• # 기댓값이 유한한(E[''d''(''X'')] < ∞) 지배적인 함수 ''d''(''x'')가 존재하여, 모든 ''θ'' ∈ Θ에 대해 다음을 만족한다:

9. 보렐의 큰 수의 법칙 (Borel's Law of Large Numbers)

'''보렐의 큰 수의 법칙'''은 프랑스 수학자 에밀 보렐의 이름을 따서 명명된 정리이다.^[3] 이 법칙은 동일한 조건 하에서 독립적인 실험을 여러 번 반복할 때, 특정 사건이 발생하는 상대 빈도(비율)는 시행 횟수가 증가함에 따라 그 사건의 확률에 거의 확실하게 수렴한다는 것을 말한다. 시행 횟수가 많아질수록 그 근사치는 더욱 정확해지는 경향이 있다.

더 정확하게 표현하면, 어떤 사건 ''E''가 발생할 확률을 ''p''라고 하고, 처음 ''n''번의 시행에서 사건 ''E''가 발생한 횟수를 ''N_n''(''E'')라고 할 때, 확률 1로 다음 식이 성립한다.^[30]

$$\backslash frac\{N\_n(E)\}\{n\}\backslash to\; p\backslash text\{\; as\; \}n\backslash to\backslash infty.$$

이 정리는 확률에 대한 직관적인 개념, 즉 어떤 사건이 장기적으로 얼마나 자주 발생하는가를 수학적으로 엄밀하게 정의한다. 이는 확률을 사건 발생의 장기적인 상대 빈도로 해석하는 빈도주의적 관점의 중요한 수학적 근거를 제공한다.^[35] 예를 들어, 공정한 동전을 반복해서 던지는 시행을 생각해보자. 앞면이 나올 확률과 뒷면이 나올 확률은 모두 $\backslash frac\{1\}\{2\}$이다. 보렐의 큰 수의 법칙에 따르면, 동전을 던지는 횟수를 무한히 늘리면, 앞면이 나온 횟수의 비율은 $\backslash frac\{1\}\{2\}$에 거의 확실하게 가까워진다. 실제 유한한 횟수의 시행에서는 그 비율이 정확히 $\backslash frac\{1\}\{2\}$가 아닐 수 있지만, 시행 횟수가 많아질수록 $\backslash frac\{1\}\{2\}$이라는 값에 수렴하게 된다.

보렐의 큰 수의 법칙은 확률론에서 다루는 여러 큰 수의 법칙 중 하나이며, 특히 강한 큰 수의 법칙의 특수한 경우에 해당한다. 이는 에르고드 이론의 기본적인 형태 중 하나로 해석될 수도 있는데, 시간 평균(시행 횟수를 늘려갈 때의 평균)이 상평균(확률 분포에 따른 기댓값)과 일치함을 보여준다.

참조

_[1] 서적 A Modern Introduction to Probability and Statistics https://archive.org/[...] Springer
_[2] 간행물 Law of Large Numbers for Uncertain Random Variables 2016
_[3] 웹사이트 The Law of Large Numbers and its Applications https://www.lakehead[...]
_[4] 간행물 Why the Monte Carlo method is so important today 2014
_[5] 서적 A modern introduction to probability and statistics: understanding why and how Springer 2005
_[6] 서적 A Modern Introduction to Probability and Statistics https://archive.org/[...] Springer
_[7] 서적 A Modern Introduction to Probability and Statistics https://archive.org/[...] Springer
_[8] 간행물 Cauchy-Distributed Functions of Cauchy Variates 1967
_[9] 서적 The Drunkard's Walk Random House
_[10] 서적 Ars Conjectandi: Usum & Applicationem Praecedentis Doctrinae in Civilibus, Moralibus & Oeconomicis
_[11] 서적 Probabilité des jugements en matière criminelle et en matière civile, précédées des règles générales du calcul des probabilitiés Bachelier
_[12] 간행물 19th-century Cracks in the Concept of Determinism
_[13] 간행물 Démonstration élémentaire d'une proposition générale de la théorie des probabilités https://zenodo.org/r[...]
_[14] 웹사이트 Law of large numbers https://www.encyclop[...] EMS Press
_[15] 서적 A Course in Mathematical Statistics and Large Sample Theory Springer New York 2016
_[16] 웹사이트 The strong law of large numbers – What's new http://terrytao.word[...] Terrytao.wordpress.com 2012-06-09
_[17] 간행물 An elementary proof of the strong law of large numbers 1981
_[18] 간행물 Uses of Exchangeability 1978-04
_[19] 문서
_[20] 문서
_[21] 웹사이트 Strong law of large numbers https://www.encyclop[...]
_[22] 웹사이트 What Is the Law of Large Numbers? (Definition) {{!}} Built In https://builtin.com/[...] 2023-10-20
_[23] 문서
_[24] 서적 Weak law converges to constant https://books.google[...] Springer 2006-03-30
_[25] 간행물 A Note on the Weak Law of Large Numbers for Exchangeable Random Variables http://www.mathnet.o[...] 2014-06-28
_[26] 웹사이트 Law of large numbers http://www.isds.duke[...] 2014-06-28
_[27] 웹사이트 Law of large numbers http://www.stat.umn.[...]
_[28] 문서
_[29] 간행물 Asymptotic Properties of Non-Linear Least Squares Estimators
_[30] 간행물 An Analytic Technique to Prove Borel's Strong Law of Large Numbers https://www.jstor.or[...] 1991
_[31] 간행물 An elementary proof of the strong law of large numbers Springer 1981
_[32] 서적 Probability and Measure 1979
_[33] 서적 The Monte Carlo Method, an Introduction http://link.springer[...] Springer Berlin Heidelberg 2023-12-08
_[34] 문서 この名前は[[シメオン・ドニ・ポアソン]]に由来する。
_[35] 문서 つまり、[[独立 (確率論)|独立]]に[[ベルヌーイ分布]]に従う確率変数列が与えられた場合を例として考える。
_[36] 문서 X̄ₙ μ 확률 수렴
_[37] 문서 X̄ₙ μ 개수렴
_[38] 서적 확률론의 기초 경문사 2006
_[39] 서적 같은 책