확률 변수의 수렴
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
1. 개요
확률 변수의 수렴은 확률 변수들의 수열이 특정 확률 변수에 가까워지는 것을 의미하며, 다양한 유형의 수렴 개념이 존재한다. 주요 수렴 유형으로는 분포 수렴, 확률 수렴, 거의 확실한 수렴, 확실한 수렴, 평균 수렴 등이 있다. 분포 수렴은 누적 분포 함수의 수렴을, 확률 수렴은 확률 변수 결과물의 수렴을, 거의 확실한 수렴은 거의 모든 경우에 점별 수렴을 의미한다. 평균 수렴은 확률 변수와 목표 변수 간의 r차 절대 적률의 수렴을 나타낸다. 이러한 수렴 유형들은 서로 포함 관계를 가지며, 각 수렴 개념은 확률론의 다양한 정리와 추론에 활용된다.
더 읽어볼만한 페이지
- 수렴 - 극한
극한은 수학에서 함수의 값이나 수열의 항이 특정 값에 가까워지는 현상을 기술하는 개념으로, ε-δ 논법으로 엄밀하게 정의되며 수렴, 연속성, 미적분학 등 다양한 분야에서 활용되고, 고대 그리스에서 시작하여 19세기에 현대적 정의가 완성되었다. - 수렴 - 코시 열
코시 열은 무한수열에서 항들이 뒤로 갈수록 서로 가까워지는 수열로, 수렴열은 항상 코시 열이지만 그 역은 성립하지 않을 수 있으며, 실수의 완비성 정의 및 무한급수 수렴성 판정에 중요한 역할을 하는 개념이다. - 통계 이론 - 로지스틱 회귀
로지스틱 회귀는 범주형 종속 변수를 다루는 회귀 분석 기법으로, 특히 이항 종속 변수에 널리 사용되며, 오즈에 로짓 변환을 적용하여 결과값이 0과 1 사이의 값을 가지도록 하는 일반화 선형 모형의 특수한 경우이다. - 통계 이론 - 정보 엔트로피
정보 엔트로피는 확률 변수의 불확실성을 측정하는 방법으로, 사건 발생 가능성이 낮을수록 정보량이 커진다는 원리에 기반하며, 데이터 압축, 생물다양성 측정, 암호화 등 다양한 분야에서 활용된다. - 확률 과정 - 마르코프 연쇄
마르코프 연쇄는 현재 상태가 주어졌을 때 과거와 미래 상태가 독립적인 확률 변수 순서열로, 시간 동질성, 상태 공간 유형, 시간 매개변수 유형에 따라 다양한 유형으로 분류되며 여러 분야에서 활용되는 확률적 모델링 방법이다. - 확률 과정 - 브라운 운동
브라운 운동은 액체나 기체 속 미세 입자가 매질 분자와 충돌하여 불규칙하게 움직이는 현상으로, 아인슈타인과 스몰루호프스키의 이론적 설명과 페랭의 실험적 검증을 통해 원자 존재 입증에 기여했으며, 확산/랑주뱅 방정식으로 모델링되어 다양한 분야에 응용된다.
확률 변수의 수렴 | |
---|---|
확률 변수의 수렴 | |
분야 | 확률론 |
유형 | |
유형 | 점별 수렴 거의 확실한 수렴 확률 수렴 분포 수렴 평균 수렴 |
2. 분포 수렴
'''분포 수렴'''(convergence in distribution)은 확률변수의 누적 분포 함수가 수렴하는 것을 의미한다. 이는 중심극한정리에서 핵심적인 역할을 한다.
확률변수 와 각각의 누적 분포 함수 에 대하여, 어떤 확률변수 와 확률 분포 함수 가 존재하여, 모든 실수 에 대하여
:
가 성립할 경우, 은 로 분포수렴한다고 정의한다.
분포 수렴은 다음과 같은 기호로 나타낸다.
:
여기에서 은 확률 분포를 가리키며, 예를 들어 가 표준정규분포라면 와 같이 표기할 수 있다.
확률변수를 다변수 확률변수로 확장할 경우, 위의 정의는 다음과 같이 바꿀 수 있다. 집합 가 일 때 (continuity set),
:
가 성립한다면 은 로 분포수렴한다.
분포 수렴은 확률변수들이 같은 확률 공간에 있을 필요가 없으며, 각 확률변수의 분포만이 고려된다. 분포 수렴의 대표적인 예시로는 중심극한정리가 있다.
2. 1. 정의
확률변수 와 각각의 누적 분포 함수 에 대하여, 어떤 확률변수 와 확률 분포 함수 가 존재하여, 모든 실수 에 대하여 가 성립하면, 은 로 분포수렴한다고 정의한다. 이는 '''약한 수렴'''(weak convergence) 또는 '''법칙 수렴'''이라고도 한다.분포 수렴은 다음과 같은 기호로 나타낸다.
:
여기에서 은 확률 분포를 가리키며, 예를 들어 가 표준정규분포라면 와 같이 표기할 수 있다.
의 연속점만 고려해야 한다는 요구 사항은 필수적이다. 예를 들어, 이 구간 에서 균등하게 분포되어 있다면, 이 수열은 퇴화 분포 확률 변수 에 분포 수렴한다.
확률변수를 다변수 확률변수로 확장할 경우, 위의 정의는 다음과 같이 바꿀 수 있다. 집합 가 일 때(continuity set),
:에 대하여
가 성립한다면 은 로 분포수렴한다.
분포 수렴은 확률변수들이 같은 확률 공간에 있을 필요가 없으며, 각 확률변수의 분포만이 고려된다. 분포 수렴의 예제로는 중심극한정리가 있다.
2. 2. 성질
레비 연속성 정리에 따르면, 확률변수 가 로 분포수렴하는 것과 의 특성함수가 의 특성함수로 점마다 수렴하는 것은 동치이다.[5] 분포수렴은 확률 밀도 함수의 수렴을 보장하지 않는다.[3] 예를 들어, 에 대응하는 확률변수는 균등분포 로 수렴하지만, 은 수렴하지 않는다. 하지만 ''Scheffé의 정리''에 따르면, 확률 밀도 함수의 수렴은 분포 수렴을 의미한다.[4]확률수렴이나 거의 확실한 수렴은 분포수렴을 포함한다.
포트만토 보조정리는 분포수렴에 대한 여러 동치 조건을 제공한다.[5][18] 이 정리에 따르면, 다음 명제 중 어느 하나라도 참일 경우 이 로 분포 수렴한다:
- 모든 유계 연속 함수 에 대해
- 모든 유계 립시츠 연속 함수 에 대해
- 위로 유계이고 위에서 반연속인 함수 에 대해
- 아래로 유계이고 아래에서 반연속인 함수 에 대해
- 모든 닫힌 집합 에 대해
- 모든 열린 집합 에 대해
- 모든 의 continuity set에 대해
분포 수렴은 레비-프로호로프 거리에 의해 거리화 가능하다. 또한, 분포 수렴과 관련된 자연스러운 연결은 스코로호드의 표현 정리이다.
3. 확률 수렴
확률 수렴은 같은 확률 공간에 있는 확률변수들의 수렴을 다루며, 확률변수의 결과물이 수렴 결과물과 거의 동일하다는 것을 의미한다.
확률변수 와 에 대하여, 모든 에 대해
:
가 성립할 때, 은 로 '''확률 수렴'''한다고 정의한다.
확률 수렴의 표기는 다음과 같다.
:
정의를 확률변수뿐만이 아니라 분해 가능 공간에서 정의되는 확률변수(random element)로 확장하면 다음과 같다. 분해 가능 공간 가 주어졌을 때, 모든 에 대하여
:
가 성립하는 경우 확률 수렴한다고 정의한다.
"예외적"인 결과가 발생할 확률은, 수열이 진행될수록 더 작아진다는 생각이, 이 유형의 수렴의 배경에 있다.
확률 수렴의 개념은 통계학에서 매우 자주 사용된다. 예를 들어, 어떤 추정량이 일치추정량이라는 것은, 그것이 추정된 양으로 확률 수렴한다는 것을 의미한다. 확률 수렴은 또한 대수의 약한 법칙에 의해 확립되는 수렴 중 하나이기도 하다.
3. 1. 정의
확률 수렴은 같은 확률 공간에 있는 확률변수들의 수렴을 다루며, 확률변수의 결과물이 수렴 결과물과 거의 동일하다는 것을 의미한다. 확률변수 와 에 대하여, 모든 에 대해 다음이 성립할 때, 은 로 '''확률 수렴'''한다고 정의한다.:
확률 수렴의 표기는 다음과 같다.[6]
:
분해 가능 공간 가 주어졌을 때, 모든 에 대하여
:
가 성립하는 경우 확률 수렴한다고 정의한다.[6]
3. 2. 성질
거의 확실한 수렴은 확률 수렴을 포함한다. 이산 확률 공간에서는 확률수렴과 거의 확실한 수렴이 동치이다. 분포 수렴을 포함한다. 상수로 수렴하는 경우, 분포 수렴과 확률 수렴은 동치이다. 연속 사상 정리(continuous mapping theorem)에 따르면, 임의의 연속 함수 에 대해, 이 로 확률 수렴한다면 은 로 확률 수렴한다. 확률 수렴은 고정된 확률 공간에서 확률 변수 공간에 대한 위상을 정의한다. 이 위상은 ''카이 판 거리''에 의해 거리화 가능하다.4. 거의 확실한 수렴
확률 공간 위의 확률변수 와 에 대하여,
:
이 성립할 경우, 은 로 거의 확실하게 수렴한다고 정의한다. 이는 거의 어디서나 점마다 수렴하는 것을 의미한다.
이 조건은 다음과 동치이다.
:
즉, 각 에 대하여 거의 어디서나 수렴한다는 의미이다.
거의 확실한 수렴은 로 표기한다.
예시 1
수명이 짧은 어떤 종의 동물을 생각해 보자. 우리는 이 동물이 하루에 소비하는 먹이의 양을 기록한다. 이 일련의 숫자들은 예측할 수 없겠지만, 언젠가는 그 숫자가 0이 되고 그 이후로 영원히 0으로 유지될 것이라고 ''거의 확신''할 수 있다.
예시 2
매일 아침 일곱 개의 동전을 던지는 남자를 생각해 보자. 매일 오후, 그는 앞면이 나올 때마다 자선 단체에 1파운드를 기부한다. 하지만 처음 결과가 전부 뒷면이면 영구적으로 멈춘다.
''X''1, ''X''2, …를 그가 자선 단체에 기부한 일일 금액이라고 하자.
언젠가 이 금액이 0이 되고 그 이후로 영원히 0으로 유지될 것이라고 우리는 ''거의 확신''할 수 있다.
하지만, ''어떤 유한한 수''의 날들을 고려할 때, 종료 조건이 발생하지 않을 비영 확률이 존재한다.
이것은 기본적인 실해석학에서 알려진 점별 수렴과 가장 유사한 유형의 확률적 수렴이다.
4. 1. 정의
확률 공간 위의 확률변수 와 에 대하여,:
이 성립할 경우, 은 로 거의 확실하게 수렴한다고 정의한다. 이는 거의 어디서나 점마다 수렴(pointwise convergence)하는 것을 의미한다.
이 조건은 다음과 동치이다.
:
즉, 각 에 대하여 거의 어디서나 수렴한다는 의미이다.
거의 확실한 수렴은 로 표기한다.
집합열의 상한의 개념을 사용하여, 거의 확실한 수렴은 다음과 같이 정의될 수도 있다.
:
4. 2. 성질
거의 확실한 수렴은 확률 수렴 및 분포 수렴을 포함한다. 이산 확률 공간에서는 확률수렴과 거의 확실한 수렴이 동치이다. 확률 수렴은 분포 수렴을 포함한다. 상수로 수렴하는 경우, 분포 수렴과 확률 수렴은 동치이다. 연속 사상 정리(continuous mapping theorem)에 따르면, 임의의 연속 함수 $g$에 대해, $X_n$이 $X$로 확률 수렴한다면 $g(X_n)$은 $g(X)$로 확률 수렴한다.거의 확실한 수렴(almost sure convergence)은 거의 어디서나 점마다 수렴(pointwise convergence)하는 것을 의미한다. 확률 공간 $(\Omega, \mathcal{F}, P)$ 위의 확률변수 $X_1, X_2, \cdots$와 $X$에 대하여, $\operatorname{Pr}\!\left( \lim_{n\to\infty}\! X_n = X \right) = 1$이 성립할 경우, ${X_n}$은 $X$로 거의 확실하게 수렴한다고 정의한다. 이는 각 $\omega$에 대하여 거의 어디서나 수렴한다는 의미이다. 거의 확실한 수렴은 $X_n \, \xrightarrow{\mathrm{a.s.}} \, X$로 표기한다.
거의 확실 수렴은 파투 보조정리에 의해 확률 수렴을 함의하며, 따라서 분포 수렴을 함의한다. 이는 강 대수의 법칙에서 사용되는 수렴의 개념이다. 거의 확실 수렴의 개념은 확률 변수 공간의 위상에서 유래한 것이 아니다. 이는 거의 확실 수렴하는 수열이 해당 위상에 대해 정확히 수렴하는 수열이 되도록 하는 확률 변수 공간에 대한 위상이 없음을 의미한다. 특히, 거의 확실 수렴의 척도는 없다.
5. 확실한 수렴
확률공간 위의 확률변수 와 에 대하여
:
가 성립할 경우, 은 로 확실하게 수렴한다고 정의한다. 이는 함수의 점별 수렴의 개념을 확률 변수의 수열로 확장한 것이다. (확률 변수 자체가 함수라는 점에 유의).
확률 변수의 거의 확실한 수렴은 위에 언급된 다른 모든 종류의 수렴을 함축하지만, 거의 확실한 수렴을 사용하는 것과 비교했을 때 거의 확실한 수렴을 사용하는 것은 확률론에서 이점이 없다. 두 가지의 차이는 확률이 0인 집합에서만 존재한다. 이것이 확률 변수의 거의 확실한 수렴 개념이 거의 사용되지 않는 이유이다.
5. 1. 정의
확률공간 위의 확률변수 와 에 대하여:
가 성립할 경우, 은 로 확실하게 수렴한다고 정의한다. 이는 함수의 점별 수렴의 개념을 확률 변수의 수열로 확장한 것이다. (확률 변수 자체가 함수라는 점에 유의).
확률 변수의 거의 확실한 수렴은 위에 언급된 다른 모든 종류의 수렴을 함축하지만, 거의 확실한 수렴을 사용하는 것과 비교했을 때 거의 확실한 수렴을 사용하는 것은 확률론에서 이점이 없다. 두 가지의 차이는 확률이 0인 집합에서만 존재한다. 이것이 확률 변수의 거의 확실한 수렴 개념이 거의 사용되지 않는 이유이다.
6. 평균 수렴
확률변수 ''Xn''이 ''X''로 '''r차 평균 수렴'''한다는 것은, ''Xn''과 ''X''의 r차 절대 적률이 존재하고, 다음이 성립함을 의미한다.
:
여기서 는 기댓값 연산자이다. r차 평균 수렴은 과 의 차이의 r제곱의 기댓값이 0으로 수렴한다는 것을 의미하며, 다음과 같이 표기한다.
:
''r'' = 1일 때, ''Xn''이 ''X''로 '''평균 수렴'''한다고 한다. ''r'' = 2일 때는 '''평균 제곱 수렴'''이라고 한다.
''r'' ≥ 1일 때 r차 평균 수렴은 마르코프 부등식에 의해 확률 수렴을 함의한다. 또한, ''r'' > ''s'' ≥ 1이면, r차 평균 수렴은 s차 평균 수렴을 함의한다. 따라서, 평균 제곱 수렴은 평균 수렴을 함의한다.
또한, 다음이 성립한다:
:
6. 1. 정의
6. 2. 종류
6. 3. 성질
r > 1일 때 r차 평균 수렴은 확률 수렴을 포함한다.[21] r ≥ s ≥ 1이면, r차 평균 수렴은 s차 평균 수렴을 포함한다.[21]다음은 다양한 수렴 개념 간의 포함 관계를 화살표 기호를 사용하여 표현한 것이다.
:
- 거의 확실한 수렴은 확률 수렴을 의미한다.[21]
- 확률 수렴은 거의 확실하게 수렴하는 부분 수열 이 존재함을 의미한다.[22]
- 확률 수렴은 분포 수렴을 의미한다.[21]
- Xn이 상수 c로 분포 수렴하면, Xn은 c로 확률 수렴한다.[21]
- Xn이 X로 분포 수렴하고, Xn과 Yn의 차이가 0으로 확률 수렴하면, Yn도 X로 분포 수렴한다.[21]
- Xn이 X로 분포 수렴하고, Yn이 상수 c로 분포 수렴하면, 결합 벡터 (Xn, Yn)는 (X, c)로 분포 수렴한다.[21]
- Xn이 X로 확률 수렴하고, Yn이 Y로 확률 수렴하면, 결합 벡터 (Xn, Yn)는 (X, Y)로 확률 수렴한다.[21]
- Xn이 X로 확률 수렴하고, 모든 n과 어떤 b에 대해 P(|Xn| ≤ b) = 1이 성립하면, Xn은 모든 r ≥ 1에 대해 X로 r차 평균 수렴한다.
- 모든 ε > 0에 대해, 일 때, Xn은 X로 거의 완전히(almost completely) 수렴한다고 한다. Xn이 X로 거의 완전히 수렴하면, 그것은 또한 X로 거의 확실하게 수렴한다.
- Sn을 n개의 실수 독립 확률 변수의 합 Sn = X1+⋯+Xn 로 정의하면, Sn이 거의 확실하게 수렴하는 것과 확률 수렴하는 것은 동치이다.
- 지배 수렴 정리는 거의 확실한 수렴이 L1-수렴을 의미하기 위한 충분 조건을 제공한다.
- L1 수렴의 필요충분 조건은 이고 수열 (Xn)이 균등 적분 가능한 것이다.
7. 수렴 간 관계
확률 변수의 수렴 간 관계는 다음과 같이 요약될 수 있다.
- ''r''차 평균 수렴은 확률 수렴을 의미한다.
- :
- ''r''차 평균 수렴은 더 낮은 차수 평균 수렴을 의미하며, 두 차수가 1보다 크거나 같다고 가정한다.
- : 단, ''r'' ≥ ''s'' ≥ 1.
이러한 관계는 화살표 표기법을 사용하여 다음과 같이 나타낼 수 있다.
:
확률 공간이 완비인 경우, 다음이 성립한다.
- 이고 이면, 거의 확실히 성립한다.
- 이고 이면, 거의 확실히 성립한다.
- 이고 이면, 거의 확실히 성립한다.
- 이고 이면, (임의의 실수 및 에 대해) 그리고 이다.
- 이고 이면, (임의의 실수 및 에 대해) 그리고 이다.
- 이고 이면, (임의의 실수 및 에 대해)이다.
지배 수렴 정리는 거의 확실한 수렴이 ''L''1 수렴을 의미하는 충분 조건을 제공한다.
또한, ''L''1 수렴의 필요 충분 조건은 이고 수열 (''Xn'')이 균등 적분 가능하다는 것이다.
만약 이면, 다음은 동치이다[15]
- ,
- ,
참조
[1]
서적
1998
[2]
서적
1996
[3]
서적
1985
[4]
서적
Probability: Theory and Examples
2010
[5]
서적
1998
[6]
서적
2002
[7]
서적
2002
[8]
서적
1998
[9]
서적
Probability: A graduate course
Springer
[10]
서적
2020
[11]
서적
1998
[12]
서적
1997
[13]
서적
A Course in Probability Theory
2001
[14]
웹사이트
Proofs of convergence of random variables
https://en.wikipedia[...]
2024-09-23
[15]
웹사이트
real analysis - Generalizing Scheffe's Lemma using only Convergence in Probability
https://math.stackex[...]
2022-03-12
[16]
서적
1998
[17]
서적
1996
[18]
서적
1985
[19]
서적
2002
[20]
서적
Digital Processing of Random Signals: Theory & Methods
Prentice Hall
[21]
서적
1998
[22]
서적
Probability: A graduate course
Springer
[23]
서적
1998
본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.
문의하기 : help@durumis.com