확률 변수의 수렴
1. 개요
확률 변수의 수렴은 확률 변수들의 수열이 특정 확률 변수에 가까워지는 것을 의미하며, 다양한 유형의 수렴 개념이 존재한다. 주요 수렴 유형으로는 분포 수렴, 확률 수렴, 거의 확실한 수렴, 확실한 수렴, 평균 수렴 등이 있다. 분포 수렴은 누적 분포 함수의 수렴을, 확률 수렴은 확률 변수 결과물의 수렴을, 거의 확실한 수렴은 거의 모든 경우에 점별 수렴을 의미한다. 평균 수렴은 확률 변수와 목표 변수 간의 r차 절대 적률의 수렴을 나타낸다. 이러한 수렴 유형들은 서로 포함 관계를 가지며, 각 수렴 개념은 확률론의 다양한 정리와 추론에 활용된다.
-
수렴 -
극한
극한은 수학에서 함수의 값이나 수열의 항이 특정 값에 가까워지는 현상을 기술하는 개념으로, ε-δ 논법으로 엄밀하게 정의되며 수렴, 연속성, 미적분학 등 다양한 분야에서 활용되고, 고대 그리스에서 시작하여 19세기에 현대적 정의가 완성되었다. -
수렴 -
코시 열
코시 열은 무한수열에서 항들이 뒤로 갈수록 서로 가까워지는 수열로, 수렴열은 항상 코시 열이지만 그 역은 성립하지 않을 수 있으며, 실수의 완비성 정의 및 무한급수 수렴성 판정에 중요한 역할을 하는 개념이다. -
통계 이론 -
로지스틱 회귀
로지스틱 회귀는 범주형 종속 변수를 다루는 회귀 분석 기법으로, 특히 이항 종속 변수에 널리 사용되며, 오즈에 로짓 변환을 적용하여 결과값이 0과 1 사이의 값을 가지도록 하는 일반화 선형 모형의 특수한 경우이다. -
통계 이론 -
정보 엔트로피
정보 엔트로피는 확률 변수의 불확실성을 측정하는 방법으로, 사건 발생 가능성이 낮을수록 정보량이 커진다는 원리에 기반하며, 데이터 압축, 생물다양성 측정, 암호화 등 다양한 분야에서 활용된다. -
확률론 -
확률 밀도 함수
확률 밀도 함수는 연속 확률 변수의 확률 분포를 나타내는 함수로, 특정 구간에서 확률 변수가 값을 가질 확률은 해당 구간에 대한 함수의 적분으로 계산되며, 통계적 특성 계산 및 변수 변환 등에 활용되어 불확실성 모델링 및 분석에 중요한 역할을 한다. -
확률론 -
체비쇼프 부등식
체비쇼프 부등식은 확률 변수가 평균에서 얼마나 멀리 떨어져 있는지에 대한 확률의 상한을 제공하는 부등식으로, 이레네-쥘 비네메가 처음 공식화하고 체비쇼프와 안드레이 마르코프에 의해 일반화 및 증명되었으며, 확률론적 표현 외에도 측도 공간에 대한 명제로 확장될 수 있다.
2. 분포 수렴
분포 수렴(convergence in distribution)은 확률변수의 누적 분포 함수가 수렴하는 것을 의미한다. 이는 중심극한정리에서 핵심적인 역할을 한다.
확률변수 와 각각의 누적 분포 함수 에 대하여, 어떤 확률변수 와 확률 분포 함수 가 존재하여, 모든 실수 에 대하여
:
가 성립할 경우, 은 로 분포수렴한다고 정의한다.
분포 수렴은 다음과 같은 기호로 나타낸다.
:
여기에서 은 확률 분포를 가리키며, 예를 들어 가 표준정규분포라면 와 같이 표기할 수 있다.
확률변수를 다변수 확률변수로 확장할 경우, 위의 정의는 다음과 같이 바꿀 수 있다. 집합 가 일 때 (continuity set),
:
가 성립한다면 은 로 분포수렴한다.
분포 수렴은 확률변수들이 같은 확률 공간에 있을 필요가 없으며, 각 확률변수의 분포만이 고려된다. 분포 수렴의 대표적인 예시로는 중심극한정리가 있다.
2.1. 정의
확률변수 와 각각의 누적 분포 함수 에 대하여, 어떤 확률변수 와 확률 분포 함수 가 존재하여, 모든 실수 에 대하여 가 성립하면, 은 로 분포수렴한다고 정의한다. 이는 약한 수렴(weak convergence) 또는 법칙 수렴이라고도 한다.
분포 수렴은 다음과 같은 기호로 나타낸다.
:
여기에서 은 확률 분포를 가리키며, 예를 들어 가 표준정규분포라면 와 같이 표기할 수 있다.
의 연속점만 고려해야 한다는 요구 사항은 필수적이다. 예를 들어, 이 구간 에서 균등하게 분포되어 있다면, 이 수열은 퇴화 분포 확률 변수 에 분포 수렴한다.
확률변수를 다변수 확률변수로 확장할 경우, 위의 정의는 다음과 같이 바꿀 수 있다. 집합 가 일 때(continuity set),
:에 대하여
가 성립한다면 은 로 분포수렴한다.
분포 수렴은 확률변수들이 같은 확률 공간에 있을 필요가 없으며, 각 확률변수의 분포만이 고려된다. 분포 수렴의 예제로는 중심극한정리가 있다.
2.2. 성질
레비 연속성 정리에 따르면, 확률변수 가 로 분포수렴하는 것과 의 특성함수가 의 특성함수로 점마다 수렴하는 것은 동치이다. 분포수렴은 확률 밀도 함수의 수렴을 보장하지 않는다. 예를 들어, 에 대응하는 확률변수는 균등분포 로 수렴하지만, 은 수렴하지 않는다. 하지만 Scheffé의 정리에 따르면, 확률 밀도 함수의 수렴은 분포 수렴을 의미한다.
확률수렴이나 거의 확실한 수렴은 분포수렴을 포함한다.
포트만토 보조정리는 분포수렴에 대한 여러 동치 조건을 제공한다. 이 정리에 따르면, 다음 명제 중 어느 하나라도 참일 경우 이 로 분포 수렴한다:
* 모든 유계 연속 함수 에 대해
* 모든 유계 립시츠 연속 함수 에 대해
* 위로 유계이고 위에서 반연속인 함수 에 대해
* 아래로 유계이고 아래에서 반연속인 함수 에 대해
* 모든 닫힌 집합 에 대해
* 모든 열린 집합 에 대해
* 모든 의 continuity set에 대해
분포 수렴은 레비-프로호로프 거리에 의해 거리화 가능하다. 또한, 분포 수렴과 관련된 자연스러운 연결은 스코로호드의 표현 정리이다.
3. 확률 수렴
확률 수렴은 같은 확률 공간에 있는 확률변수들의 수렴을 다루며, 확률변수의 결과물이 수렴 결과물과 거의 동일하다는 것을 의미한다.
확률변수 와 에 대하여, 모든 에 대해
:
가 성립할 때, 은 로 확률 수렴한다고 정의한다.
확률 수렴의 표기는 다음과 같다.
:
정의를 확률변수뿐만이 아니라 분해 가능 공간에서 정의되는 확률변수(random element)로 확장하면 다음과 같다. 분해 가능 공간 가 주어졌을 때, 모든 에 대하여
:
가 성립하는 경우 확률 수렴한다고 정의한다.
"예외적"인 결과가 발생할 확률은, 수열이 진행될수록 더 작아진다는 생각이, 이 유형의 수렴의 배경에 있다.
확률 수렴의 개념은 통계학에서 매우 자주 사용된다. 예를 들어, 어떤 추정량이 일치추정량이라는 것은, 그것이 추정된 양으로 확률 수렴한다는 것을 의미한다. 확률 수렴은 또한 대수의 약한 법칙에 의해 확립되는 수렴 중 하나이기도 하다.
3.1. 정의
확률 수렴은 같은 확률 공간에 있는 확률변수들의 수렴을 다루며, 확률변수의 결과물이 수렴 결과물과 거의 동일하다는 것을 의미한다. 확률변수 와 에 대하여, 모든 에 대해 다음이 성립할 때, 은 로 확률 수렴한다고 정의한다.
:
확률 수렴의 표기는 다음과 같다.
:
분해 가능 공간 가 주어졌을 때, 모든 에 대하여
:
가 성립하는 경우 확률 수렴한다고 정의한다.
3.2. 성질
거의 확실한 수렴은 확률 수렴을 포함한다. 이산 확률 공간에서는 확률수렴과 거의 확실한 수렴이 동치이다. 분포 수렴을 포함한다. 상수로 수렴하는 경우, 분포 수렴과 확률 수렴은 동치이다. 연속 사상 정리(continuous mapping theorem)에 따르면, 임의의 연속 함수 에 대해, 이 로 확률 수렴한다면 은 로 확률 수렴한다. 확률 수렴은 고정된 확률 공간에서 확률 변수 공간에 대한 위상을 정의한다. 이 위상은 카이 판 거리에 의해 거리화 가능하다.
4. 거의 확실한 수렴
확률 공간 위의 확률변수 와 에 대하여,
:
이 성립할 경우, 은 로 거의 확실하게 수렴한다고 정의한다. 이는 거의 어디서나 점마다 수렴하는 것을 의미한다.
이 조건은 다음과 동치이다.
:
즉, 각 에 대하여 거의 어디서나 수렴한다는 의미이다.
거의 확실한 수렴은 로 표기한다.
예시 1
수명이 짧은 어떤 종의 동물을 생각해 보자. 우리는 이 동물이 하루에 소비하는 먹이의 양을 기록한다. 이 일련의 숫자들은 예측할 수 없겠지만, 언젠가는 그 숫자가 0이 되고 그 이후로 영원히 0으로 유지될 것이라고 거의 확신할 수 있다.
예시 2
매일 아침 일곱 개의 동전을 던지는 남자를 생각해 보자. 매일 오후, 그는 앞면이 나올 때마다 자선 단체에 1파운드를 기부한다. 하지만 처음 결과가 전부 뒷면이면 영구적으로 멈춘다.
X1, X2, …를 그가 자선 단체에 기부한 일일 금액이라고 하자.
언젠가 이 금액이 0이 되고 그 이후로 영원히 0으로 유지될 것이라고 우리는 거의 확신할 수 있다.
하지만, 어떤 유한한 수의 날들을 고려할 때, 종료 조건이 발생하지 않을 비영 확률이 존재한다.
이것은 기본적인 실해석학에서 알려진 점별 수렴과 가장 유사한 유형의 확률적 수렴이다.
4.1. 정의
확률 공간 위의 확률변수 와 에 대하여,
:
이 성립할 경우, 은 로 거의 확실하게 수렴한다고 정의한다. 이는 거의 어디서나 점마다 수렴(pointwise convergence)하는 것을 의미한다.
이 조건은 다음과 동치이다.
:
즉, 각 에 대하여 거의 어디서나 수렴한다는 의미이다.
거의 확실한 수렴은 로 표기한다.
집합열의 상한의 개념을 사용하여, 거의 확실한 수렴은 다음과 같이 정의될 수도 있다.
:
4.2. 성질
거의 확실한 수렴은 확률 수렴 및 분포 수렴을 포함한다. 이산 확률 공간에서는 확률수렴과 거의 확실한 수렴이 동치이다. 확률 수렴은 분포 수렴을 포함한다. 상수로 수렴하는 경우, 분포 수렴과 확률 수렴은 동치이다. 연속 사상 정리(continuous mapping theorem)에 따르면, 임의의 연속 함수 $g$에 대해, $X_n$이 $X$로 확률 수렴한다면 $g(X_n)$은 $g(X)$로 확률 수렴한다.
거의 확실한 수렴(almost sure convergence)은 거의 어디서나 점마다 수렴(pointwise convergence)하는 것을 의미한다. 확률 공간 $(\Omega, \mathcal{F}, P)$ 위의 확률변수 $X_1, X_2, \cdots$와 $X$에 대하여, $\operatorname{Pr}\!\left( \lim_{n\to\infty}\! X_n = X \right) = 1$이 성립할 경우, ${X_n}$은 $X$로 거의 확실하게 수렴한다고 정의한다. 이는 각 $\omega$에 대하여 거의 어디서나 수렴한다는 의미이다. 거의 확실한 수렴은 $X_n \, \xrightarrow{\mathrm{a.s.}} \, X$로 표기한다.
거의 확실 수렴은 파투 보조정리에 의해 확률 수렴을 함의하며, 따라서 분포 수렴을 함의한다. 이는 강 대수의 법칙에서 사용되는 수렴의 개념이다. 거의 확실 수렴의 개념은 확률 변수 공간의 위상에서 유래한 것이 아니다. 이는 거의 확실 수렴하는 수열이 해당 위상에 대해 정확히 수렴하는 수열이 되도록 하는 확률 변수 공간에 대한 위상이 없음을 의미한다. 특히, 거의 확실 수렴의 척도는 없다.
5. 확실한 수렴
확률공간 위의 확률변수 와 에 대하여
:
가 성립할 경우, 은 로 확실하게 수렴한다고 정의한다. 이는 함수의 점별 수렴의 개념을 확률 변수의 수열로 확장한 것이다. (확률 변수 자체가 함수라는 점에 유의).
확률 변수의 거의 확실한 수렴은 위에 언급된 다른 모든 종류의 수렴을 함축하지만, 거의 확실한 수렴을 사용하는 것과 비교했을 때 거의 확실한 수렴을 사용하는 것은 확률론에서 이점이 없다. 두 가지의 차이는 확률이 0인 집합에서만 존재한다. 이것이 확률 변수의 거의 확실한 수렴 개념이 거의 사용되지 않는 이유이다.
5.1. 정의
확률공간 위의 확률변수 와 에 대하여
:
가 성립할 경우, 은 로 확실하게 수렴한다고 정의한다. 이는 함수의 점별 수렴의 개념을 확률 변수의 수열로 확장한 것이다. (확률 변수 자체가 함수라는 점에 유의).
확률 변수의 거의 확실한 수렴은 위에 언급된 다른 모든 종류의 수렴을 함축하지만, 거의 확실한 수렴을 사용하는 것과 비교했을 때 거의 확실한 수렴을 사용하는 것은 확률론에서 이점이 없다. 두 가지의 차이는 확률이 0인 집합에서만 존재한다. 이것이 확률 변수의 거의 확실한 수렴 개념이 거의 사용되지 않는 이유이다.
6. 평균 수렴
확률변수 Xn이 X로 r차 평균 수렴한다는 것은, Xn과 X의 r차 절대 적률이 존재하고, 다음이 성립함을 의미한다.
:
여기서 는 기댓값 연산자이다. r차 평균 수렴은 과 의 차이의 r제곱의 기댓값이 0으로 수렴한다는 것을 의미하며, 다음과 같이 표기한다.
:
r = 1일 때, Xn이 X로 평균 수렴한다고 한다. r = 2일 때는 평균 제곱 수렴이라고 한다.
r ≥ 1일 때 r차 평균 수렴은 마르코프 부등식에 의해 확률 수렴을 함의한다. 또한, r > s ≥ 1이면, r차 평균 수렴은 s차 평균 수렴을 함의한다. 따라서, 평균 제곱 수렴은 평균 수렴을 함의한다.
또한, 다음이 성립한다:
:
6.1. 정의
6.2. 종류
6.3. 성질
r > 1일 때 r차 평균 수렴은 확률 수렴을 포함한다. r ≥ s ≥ 1이면, r차 평균 수렴은 s차 평균 수렴을 포함한다.
다음은 다양한 수렴 개념 간의 포함 관계를 화살표 기호를 사용하여 표현한 것이다.
:
* 거의 확실한 수렴은 확률 수렴을 의미한다.
* 확률 수렴은 거의 확실하게 수렴하는 부분 수열 이 존재함을 의미한다.
* 확률 수렴은 분포 수렴을 의미한다.
* Xn이 상수 c로 분포 수렴하면, Xn은 c로 확률 수렴한다.
* Xn이 X로 분포 수렴하고, Xn과 Yn의 차이가 0으로 확률 수렴하면, Yn도 X로 분포 수렴한다.
* Xn이 X로 분포 수렴하고, Yn이 상수 c로 분포 수렴하면, 결합 벡터 (Xn, Yn)는 (X, c)로 분포 수렴한다.
* Xn이 X로 확률 수렴하고, Yn이 Y로 확률 수렴하면, 결합 벡터 (Xn, Yn)는 (X, Y)로 확률 수렴한다.
* Xn이 X로 확률 수렴하고, 모든 n과 어떤 b에 대해 P(|Xn| ≤ b) = 1이 성립하면, Xn은 모든 r ≥ 1에 대해 X로 r차 평균 수렴한다.
* 모든 ε > 0에 대해, 일 때, Xn은 X로 거의 완전히(almost completely) 수렴한다고 한다. Xn이 X로 거의 완전히 수렴하면, 그것은 또한 X로 거의 확실하게 수렴한다.
* Sn을 n개의 실수 독립 확률 변수의 합 Sn = X1+⋯+Xn 로 정의하면, Sn이 거의 확실하게 수렴하는 것과 확률 수렴하는 것은 동치이다.
* 지배 수렴 정리는 거의 확실한 수렴이 L1-수렴을 의미하기 위한 충분 조건을 제공한다.
* L1 수렴의 필요충분 조건은 이고 수열 (Xn)이 균등 적분 가능한 것이다.
7. 수렴 간 관계
확률 변수의 수렴 간 관계는 다음과 같이 요약될 수 있다.
* 거의 확실한 수렴은 확률 수렴을 의미한다.[proof]
*:
* 확률 수렴은 분포 수렴을 의미한다.[proof]
*:
* r차 평균 수렴은 확률 수렴을 의미한다.
*:
* r차 평균 수렴은 더 낮은 차수 평균 수렴을 의미하며, 두 차수가 1보다 크거나 같다고 가정한다.
*: 단, r ≥ s ≥ 1.
* 만약 Xn이 상수 c로 분포 수렴한다면, Xn은 c로 확률 수렴한다.[proof]
*: 단, c는 상수이다.
* 확률 수렴은 거의 확실히 수렴하는 부분 수열 이 존재함을 의미한다.
*:
이러한 관계는 화살표 표기법을 사용하여 다음과 같이 나타낼 수 있다.
:
확률 공간이 완비인 경우, 다음이 성립한다.
* 이고 이면, 거의 확실히 성립한다.
* 이고 이면, 거의 확실히 성립한다.
* 이고 이면, 거의 확실히 성립한다.
* 이고 이면, (임의의 실수 및 에 대해) 그리고 이다.
* 이고 이면, (임의의 실수 및 에 대해) 그리고 이다.
* 이고 이면, (임의의 실수 및 에 대해)이다.
지배 수렴 정리는 거의 확실한 수렴이 L1 수렴을 의미하는 충분 조건을 제공한다.
또한, L1 수렴의 필요 충분 조건은 이고 수열 (Xn)이 균등 적분 가능하다는 것이다.
만약 이면, 다음은 동치이다
* ,
* ,
* 은 균등 적분 가능하다.