확률론

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요

확률론은 16세기 도박 분석 시도에서 시작되어, 안드레이 콜모고로프에 의해 현대적인 공리적 확률론으로 정립되었다. 확률의 종류로는 수학적 확률, 통계적 확률이 있으며, 큰 수의 법칙과 같은 중요한 정리가 존재한다. 주요 개념으로는 표본 공간, 사건, 확률 변수, 확률 분포, 확률 과정 등이 있으며, 확률 변수의 수렴에는 약한 수렴, 확률 수렴, 강한 수렴이 있다. 확률론은 조건부 확률, 독립성, 특성 함수 등의 개념을 포함하며, 큰 수의 법칙, 중심 극한 정리, 대편차 이론과 같은 중요한 정리를 다룬다.

더 읽어볼만한 페이지

확률론 - 확률 밀도 함수
확률 밀도 함수는 연속 확률 변수의 확률 분포를 나타내는 함수로, 특정 구간에서 확률 변수가 값을 가질 확률은 해당 구간에 대한 함수의 적분으로 계산되며, 통계적 특성 계산 및 변수 변환 등에 활용되어 불확실성 모델링 및 분석에 중요한 역할을 한다.
확률론 - 체비쇼프 부등식
체비쇼프 부등식은 확률 변수가 평균에서 얼마나 멀리 떨어져 있는지에 대한 확률의 상한을 제공하는 부등식으로, 이레네-쥘 비네메가 처음 공식화하고 체비쇼프와 안드레이 마르코프에 의해 일반화 및 증명되었으며, 확률론적 표현 외에도 측도 공간에 대한 명제로 확장될 수 있다.
수학 - 회귀 분석
회귀 분석은 종속 변수와 하나 이상의 독립 변수 간의 관계를 모델링하고 분석하는 통계적 기법으로, 최소 제곱법 개발 이후 골턴의 연구로 '회귀' 용어가 도입되어 다양한 분야에서 예측 및 인과 관계 분석에 활용된다.
수학 - 수학적 최적화
수학적 최적화는 주어진 집합에서 실수 또는 정수 변수를 갖는 함수의 최댓값이나 최솟값을 찾는 문제로, 변수 종류, 제약 조건, 목적 함수 개수에 따라 다양한 분야로 나뉘며 여러 학문 분야에서 활용된다.

확률론
개요
확률론의 기본적인 아이디어를 묘사하는 그림
학문 분야	수학, 통계학
연구 대상	확률
주요 개념	확률 공간 확률 변수 확률 분포 기댓값 분산 확률 과정
주요 정리	큰 수의 법칙 중심 극한 정리 베이즈 정리
역사
기원	도박 문제에 대한 연구
발전	통계역학, 양자역학 등 다양한 분야에 응용
주요 응용 분야
응용 분야	통계학 금융공학 보험수리학 컴퓨터 과학 물리학 생물학 경제학
관련 학문
관련 학문	실해석학 측도론 통계학 정보 이론 게임 이론
확률론의 주요 분야
분야	확률론적 해석학 확률 미적분학 대규모 편차 이론 확률 과정 랜덤 행렬 이론
확률론의 공리
공리	콜모고로프의 공리
관련 항목
관련 항목	통계학 수학 랜덤

2. 확률의 역사

현대 수학적 확률론은 16세기에 지롤라모 카르다노, 17세기에 피에르 드 페르마와 블레즈 파스칼이 도박을 분석하려는 시도에서 비롯되었다(예: "점 문제").^[3] 크리스티안 호이겐스는 1657년에 이 주제에 관한 책을 출판했다.^[4] 19세기에는 피에르시몽 라플라스가 확률의 고전적 정의를 완성했다.^[5]

초기 확률론은 주로 이산 사건을 고려했으며, 그 방법은 주로 조합론이었다. 결국, 해석학적 고려사항으로 인해 연속 변수를 이론에 통합하게 되었다.

이는 안드레이 콜모고로프가 기초를 다진 현대 확률론으로 귀결되었다. 콜모고로프는 리하르트 폰 미제스가 도입한 표본 공간의 개념과 측도론을 결합하여 1933년에 확률론에 대한 공리계를 제시했다. 이것은 현대 확률론의 대부분 논쟁의 여지가 없는 공리계가 되었지만, 브루노 데 피네티의 가산 가산성을 채택하는 등 대안도 존재한다.^[6]

2. 1. 고전적 확률론

카르다노는 1560년대에 『주사위 놀이에 관하여』(리베르 데 루도 알레아에/Liber de ludo aleae^la)를 저술하여 처음으로 체계적으로 확률론을 논했다. 이 책은 그가 사망한 후인 1663년에 출판되었다. 라플라스는 1814년 2월에 『확률의 철학적 시론』을 저술하여 고전적 확률론을 정립했다.

2. 2. 공리적 확률론

현대 수학의 확률론은 안드레이 콜모고로프의 『확률론의 기초 개념』(1933년)에서 시작된 '''공리적 확률론'''이다. 이 확률론에서는 "확률"이 직접적으로 무엇을 의미하는지에 대한 문제는 다루지 않고, "확률"이 만족해야 할 최소한의 성질을 몇 가지 규정하고, 그 성질로부터 유도할 수 있는 정리를 탐구한다. 이 확률론의 기초에는 집합론, 측도론, 르베그 적분이 있다.

확률론 입문서는 대개 이산 확률 분포와 연속 확률 분포를 별도로 다루지만, 측도론에 기반한 확률론은 이산 확률 분포, 연속 확률 분포, 두 분포의 혼합 등 다양한 경우를 포괄한다. 확률론의 측도론적 처리는 이산적인 경우와 연속적인 경우를 통합하고, 그 차이를 어떤 측도를 사용하는가의 문제로 만든다는 점에서 유용하다. 또한 이산적이지도 않고 연속적이지도 않으며, 이 둘의 혼합도 아닌 분포(예: 칸토어 분포)도 다룬다.

측도론을 사용하여 확률 공간을 정의함으로써 이러한 문제들을 해결한다. 임의의 집합

\Omega

(표본 공간)와 이에 대한 σ-대수

\mathcal{F}

가 주어지면,

\mathcal{F}

위에 정의된 측도

P

가

P(\Omega)=1

인 경우 확률 측도라고 한다. 만약

\mathcal{F}

가 실수 집합에 대한 보렐 σ-대수이면, 모든 CDF에 대해

\mathcal{F}

위에 유일한 확률 측도가 존재하며, 그 역도 성립한다.

σ-대수

\mathcal{F}

내의 집합

E

의 ''확률''은 다음과 같이 정의된다.

:

P(E) = \int_{\omega\in E} \mu_F(d\omega)

여기서 적분은

F

에 의해 유도된 측도

\mu_F

에 대한 것이다.

측도론적 처리는 확률 과정 이론과 같이

\mathbb{R}^n

외부의 확률에 대해서도 작업할 수 있게 해준다. 예를 들어, 브라운 운동을 연구하기 위해 확률은 함수의 공간에서 정의된다.

라돈-니코딤 정리는 지배 측도에 대한 관심 있는 확률 분포의 라돈-니코딤 도함수를 밀도로 정의하는 데 사용된다. 절대 연속 분포에 대한 밀도는 일반적으로 르베그 측도에 대한 이 도함수로 정의된다. 만약 정리가 이러한 일반적인 설정에서 증명될 수 있다면, 이산 및 연속 분포뿐만 아니라 다른 분포에도 적용된다.

현재, 확률론은 해석학의 한 분야로 분류된다. 특히 르베그 적분론과 함수 해석학과는 밀접한 관련이 있다.

3. 확률의 종류

3. 1. 수학적 확률 (선험적 확률)

수학적 확률(mathematical probability)은 각 사건이 발생하는 확률이 같다고 가정하여 계산하는 확률로, 선험적 확률이라고도 한다. 시행에서 일어날 수 있는 모든 경우의 수가 N가지이고, 어떤 사건이 일어나는 경우의 수가 K가지일 때, 그 사건의 확률은 K/N이다. 예를 들어 주사위 하나를 던질 때 나올 수 있는 경우의 수는 총 1, 2, 3, 4, 5, 6으로 6가지이고 1이 나오는 경우의 수는 1가지이다. 따라서 수학적 확률에 따르면 주사위 눈 1이 나올 확률은 1/6이다.

3. 2. 통계적 확률 (경험적 확률)

어떤 시행의 경우 수학적 확률처럼 각 사건이 같은 정도로 일어날 것이라고 할 수 없는 경우들이 있다. 예를 들어 주사위를 실제로 6번 던져보면 1, 2, 3, 4, 5, 6이 각각 한번씩 나오리라는 보장은 없다. 따라서 실제로 같은 시행을 여러 번 반복하여 얻을 수 있는 횟수를 통해 나오는 확률이 통계적 확률(empirical probability)이다.

3. 3. 큰 수의 법칙

'''큰 수의 법칙'''(law of large number)은 통계적 확률과 수학적 확률 사이의 관계를 나타내는 정리이며, 대수의 법칙이라고도 한다. 어떤 독립시행에서 사건 K가 일어날 횟수를 k라고 하고 시행 횟수를 n이라고 하면, 통계적 확률에 따른 확률

\frac{k}{n}

는 n이 한없이 커질 때

\frac{k}{n}

는 일정한 값 a에 가까워진다. 따라서 이를 식으로 나타내면 다음과 같다.^[9]

: P(A)=

\lim_{n \to \infty}\frac{k}{n}

일반적으로 공정한 동전을 여러 번 던지면, ''대략'' 절반은 ''앞면'', 나머지는 ''뒷면''이 나올 것이다. 또한 동전을 더 자주 던질수록 ''앞면''의 수와 ''뒷면''의 수의 비율이 1에 가까워질 가능성이 더 높을 것이다. 현대 확률론은 이러한 직관적인 아이디어를 큰 수의 법칙으로 형식화 한다. 이 법칙은 확률론의 기초에서 가정되는 것이 아니라, 이러한 기초로부터 정리가 되어 나타난다는 점에서 주목할 만하다. 이론적으로 도출된 확률과 실제 발생 빈도를 연결하기 때문에, 큰 수의 법칙은 통계 이론의 역사에서 중요한 기둥으로 간주되며 광범위한 영향을 미쳤다.^[9]

큰 수의 법칙(LLN)은 표본 평균

:

\overline{X}_n=\frac1n{\sum_{k=1}^n X_k}

이 독립적이고 동일한 분포를 가진 확률 변수

X_k

의 수열에서 공통 기댓값

\mu

로 수렴한다고 명시한다. 단,

|X_k|

의 기댓값은 유한해야 한다.

'약'과 '강' 큰 수의 법칙을 구분하는 것은 확률 변수의 수렴의 서로 다른 형태이다.^[10]

LLN에 따르면, 확률이 ''p''인 사건이 독립적인 실험에서 반복적으로 관찰되는 경우, 해당 사건의 관찰 빈도의 비율은 총 반복 횟수에 대해 ''p''로 수렴한다.

예를 들어,

Y_1,Y_2,...\,

이 확률 ''p''로 1의 값을 갖고, 확률 1-''p''로 0의 값을 갖는 독립적인 베르누이 분포 확률 변수인 경우, 모든 ''i''에 대해

\textrm{E}(Y_i)=p

이므로,

\bar Y_n

은 ''p''로 거의 확실하게 수렴한다.

4. 확률의 기초 개념

실험을 통해 다음과 같은 결과를 얻을 수 있다. 모든 결과의 집합을 실험의 ''표본 공간''이라고 한다. 표본 공간의 ''멱집합''(또는 동등하게, 사건 공간)은 가능한 모든 결과의 서로 다른 모음을 고려하여 형성된다. 예를 들어, 정직한 주사위를 굴리면 여섯 가지 가능한 결과 중 하나가 나온다. 가능한 결과의 한 모음은 홀수가 나오는 것에 해당한다. 따라서 부분 집합 {1,3,5}는 주사위 굴림의 표본 공간의 멱집합의 원소이다. 이러한 모음을 ''사건''이라고 한다. 이 경우, {1,3,5}는 주사위가 어떤 홀수에 떨어지는 사건이다. 실제로 발생하는 결과가 주어진 사건에 속하면, 그 사건이 발생했다고 한다.

확률은 모든 "사건"에 0과 1 사이의 값을 할당하는 방법이며, 가능한 모든 결과로 구성된 사건(예: {1,2,3,4,5,6} 사건)에 값 1을 할당해야 한다. 확률 분포로 자격을 얻으려면 값 할당은 상호 배타적인 사건의 모음(공통 결과가 없는 사건, 예를 들어 사건 {1,6}, {3}, {2,4}는 모두 상호 배타적임)을 살펴보면 이러한 사건 중 어느 것이든 발생할 확률은 사건의 확률의 합으로 주어진다는 요구 사항을 충족해야 한다.^[7]

사건 {1,6}, {3}, 또는 {2,4} 중 하나가 발생할 확률은 5/6이다. 이것은 사건 {1,2,3,4,6}의 확률이 5/6이라는 것과 같다. 이 사건은 5를 제외한 모든 숫자가 굴러갈 가능성을 포함한다. 상호 배타적인 사건 {5}의 확률은 1/6이고, 사건 {1,2,3,4,5,6}의 확률은 1, 즉 절대적인 확실성이다.

실험의 결과로 계산을 수행할 때, 모든 기본 사건에 숫자가 할당되어야 한다. 이것은 확률 변수를 사용하여 수행된다. 확률 변수는 표본 공간의 각 기본 사건에 실수를 할당하는 함수이다. 이 함수는 일반적으로 대문자로 표시한다.^[8] 주사위의 경우, 특정 기본 사건에 숫자를 할당하는 것은 항등 함수를 사용하여 수행할 수 있다. 이것이 항상 작동하는 것은 아니다. 예를 들어, 동전 던지기에서 가능한 두 가지 결과는 "앞면"과 "뒷면"이다. 이 예에서, 확률 변수 ''X''는 결과 "앞면"에 숫자 "0"을 할당하고 결과 "뒷면"에 숫자 "1"을 할당할 수 있다.

; 용어

확률론에서 사용되는 용어는 다음과 같다.

실험: 관찰하거나 측정값을 얻는 과정이다.
사건: 실험의 결과이다.

기본사건**: 둘 이상의 다른 사건들로 나뉠 수 없는 사건이다.

표본 공간: 실험의 결과로 얻어진 모든 기본사건들의 집합이다.

; 확률 공간

확률론에서 확률 공간은 표본 공간, 사건의 전체, 확률 측도의 짝으로 정의된다. 확률 문제는 확률 공간을 설정함으로써 정형화된다.

측도론적 접근은 이산 확률과 연속 확률을 통합하고, 확률 과정 이론과 같이

\mathbb{R}^n

외부의 확률도 다룰 수 있게 해준다. 예를 들어 브라운 운동 연구에서 확률은 함수의 공간에 정의된다.

확률 공간은 다음과 같이 세 가지 요소로 구성된다.

표본 공간 ( $\Omega$ ): 가능한 모든 결과의 집합이다. 공집합이 아니어야 한다.
사건 공간 ( $\mathcal{F}$ ): 표본 공간의 부분집합들로 구성된 σ-대수이다. 사건들의 집합이다.
$\Omega \in \mathcal{F}$
$A \in \mathcal{F}$ 이면, 여집합 $A^c =\Omega \setminus A \in \mathcal{F}$
$( A_n )_{n \in \mathbb{N}} \subset \mathcal{F}$ 이면, $\textstyle\bigcup\limits_{n=1}^{\infty} A_n \in \mathcal{F}$
확률 측도 ( $P$ ): 사건 공간 $\mathcal{F}$ 의 각 사건에 0과 1 사이의 확률을 할당하는 함수이다. 다음의 성질을 만족해야 한다.
('''완전 가법성'''): 서로소인 사건들 $A_n \in \mathcal{F} , n=1,2,\ldots$ 에 대해, $P \Bigl( \textstyle\bigcup\limits_{n=1}^\infty A_n \Bigr) = \sum\limits_{n=1}^\infty P ( A_n )$
('''정규성'''): 전체 표본 공간의 확률은 1이다. 즉, $P(\Omega) = 1$

예를 들어, 동전 던지기에서 앞면과 뒷면이 나올 확률이 각각 1/2인 경우, 다음과 같이 확률 공간으로 나타낼 수 있다.

$\Omega := \{ 0,1 \}$ (0은 뒷면, 1은 앞면)
$\mathcal{F} := 2^\Omega = \{ \emptyset, \{ 0 \} , \{ 1 \} , \{ 0 , 1 \} \}$
$P( \{ 0 \} )=P( \{ 1 \} )=1/2$

보렐 집합족과 르베그 측도를 이용하여 다른 표현도 가능하다.

지배 측도와 함께 작업할 때, 라돈-니코딤 정리는 관심 있는 확률 분포의 밀도를 정의하는 데 사용된다.

; 확률 측도

확률은 모든 "사건"에 0과 1 사이의 값을 할당하는 방법이며, 가능한 모든 결과로 구성된 사건(예: {1,2,3,4,5,6} 사건)에 값 1을 할당해야 한다.^[7] 확률 분포로 자격을 얻으려면 값 할당은 상호 배타적인 사건의 모음(공통 결과가 없는 사건, 예를 들어 사건 {1,6}, {3}, {2,4}는 모두 상호 배타적임)을 살펴보면 이러한 사건 중 어느 것이든 발생할 확률은 사건의 확률의 합으로 주어진다는 요구 사항을 충족해야 한다.^[7]

사건 {1,6}, {3}, 또는 {2,4} 중 하나가 발생할 확률은 5/6이다. 이것은 사건 {1,2,3,4,6}의 확률이 5/6이라는 것과 같다. 이 사건은 5를 제외한 모든 숫자가 굴러갈 가능성을 포함한다. 상호 배타적인 사건 {5}의 확률은 1/6이고, 사건 {1,2,3,4,5,6}의 확률은 1, 즉 절대적인 확실성이다.

; 확률 변수

확률 변수는 확률 공간

( \Omega , \mathcal{F} , P)

위의 가측 함수이다. 즉, 가측 공간

(E,\mathcal{E})

에 대하여, 사상

X: \Omega \to E

이고 임의의

A\in \mathcal{E}

에 대하여

X^{-1} (A):= \{ \omega \in \Omega \mid X(\omega )\in A\}\in \mathcal{F}

를 만족하는 것을 말한다. 많은 경우,

E

는 위상 공간이고, 이때의 완전 가법족

\mathcal{E}

로는 보렐 집합족

\mathcal{B} (E)

를 채택한다.

E=\mathbb{R}^d

일 때,

X

를

d

차원 확률 변수라고 하며, 특히

d=1

일 때는 단순히 확률 변수라고 부르는 경우가 많다.

확률 변수

X : \Omega \to E

의 확률 분포, 또는 분포, 법칙은

P_X (A):=P( X^{-1} (A)), \; A\in \mathcal{E}

에 의해 정해지는, 가측 공간

(E,\mathcal{E})

위의 확률 측도

P_X

를 말한다. 즉,

P_X

는 확률 변수

X

에 의한 확률 측도

P

의 상 측도(image measure), 밀어내기 측도(push-forward measure)를 말한다. 종종

P(X \in A)

로 줄여서 표기한다. 일반적인

( \mathbb{R}^d ,\mathcal{B} (\mathbb{R}^d ))

위의 확률 측도도 분포라고 불린다.

; 확률 분포

확률 변수의 각 값에 대해, 그 값이 나타날 가능성을 기술한다. 현대 확률론은 측도론을 기반으로 한다.

; 확률 과정

확률 과정은 시간과 함께 변화하는 확률 변수이다.

4. 1. 용어

확률론에서 사용되는 용어는 다음과 같다.

실험: 관찰하거나 측정값을 얻는 과정이다.
사건: 실험의 결과이다.

기본사건**: 둘 이상의 다른 사건들로 나뉠 수 없는 사건이다.

표본 공간: 실험의 결과로 얻어진 모든 기본사건들의 집합이다.

4. 2. 확률 공간

확률론에서 확률 공간은 표본 공간, 사건의 전체, 확률 측도의 짝으로 정의된다. 확률 문제는 확률 공간을 설정함으로써 정형화된다.

측도론적 접근은 이산 확률과 연속 확률을 통합하고, 확률 과정 이론과 같이

\mathbb{R}^n

외부의 확률도 다룰 수 있게 해준다. 예를 들어 브라운 운동 연구에서 확률은 함수의 공간에 정의된다.

확률 공간은 다음과 같이 세 가지 요소로 구성된다.

표본 공간 ( $\Omega$ ): 가능한 모든 결과의 집합이다. 공집합이 아니어야 한다.
사건 공간 ( $\mathcal{F}$ ): 표본 공간의 부분집합들로 구성된 σ-대수이다. 사건들의 집합이다.
$\Omega \in \mathcal{F}$
$A \in \mathcal{F}$ 이면, 여집합 $A^c =\Omega \setminus A \in \mathcal{F}$
$( A_n )_{n \in \mathbb{N}} \subset \mathcal{F}$ 이면, $\textstyle\bigcup\limits_{n=1}^{\infty} A_n \in \mathcal{F}$
확률 측도 ( $P$ ): 사건 공간 $\mathcal{F}$ 의 각 사건에 0과 1 사이의 확률을 할당하는 함수이다. 다음의 성질을 만족해야 한다.
('''완전 가법성'''): 서로소인 사건들 $A_n \in \mathcal{F} , n=1,2,\ldots$ 에 대해, $P \Bigl( \textstyle\bigcup\limits_{n=1}^\infty A_n \Bigr) = \sum\limits_{n=1}^\infty P ( A_n )$
('''정규성'''): 전체 표본 공간의 확률은 1이다. 즉, $P(\Omega) = 1$

예를 들어, 동전 던지기에서 앞면과 뒷면이 나올 확률이 각각 1/2인 경우, 다음과 같이 확률 공간으로 나타낼 수 있다.

$\Omega := \{ 0,1 \}$ (0은 뒷면, 1은 앞면)
$\mathcal{F} := 2^\Omega = \{ \emptyset, \{ 0 \} , \{ 1 \} , \{ 0 , 1 \} \}$
$P( \{ 0 \} )=P( \{ 1 \} )=1/2$

보렐 집합족과 르베그 측도를 이용하여 다른 표현도 가능하다.

지배 측도와 함께 작업할 때, 라돈-니코딤 정리는 관심 있는 확률 분포의 밀도를 정의하는 데 사용된다.

4. 3. 확률 측도

확률은 모든 "사건"에 0과 1 사이의 값을 할당하는 방법이며, 가능한 모든 결과로 구성된 사건(예: {1,2,3,4,5,6} 사건)에 값 1을 할당해야 한다.^[7] 확률 분포로 자격을 얻으려면 값 할당은 상호 배타적인 사건의 모음(공통 결과가 없는 사건, 예를 들어 사건 {1,6}, {3}, {2,4}는 모두 상호 배타적임)을 살펴보면 이러한 사건 중 어느 것이든 발생할 확률은 사건의 확률의 합으로 주어진다는 요구 사항을 충족해야 한다.^[7]

사건 {1,6}, {3}, 또는 {2,4} 중 하나가 발생할 확률은 5/6이다. 이것은 사건 {1,2,3,4,6}의 확률이 5/6이라는 것과 같다. 이 사건은 5를 제외한 모든 숫자가 굴러갈 가능성을 포함한다. 상호 배타적인 사건 {5}의 확률은 1/6이고, 사건 {1,2,3,4,5,6}의 확률은 1, 즉 절대적인 확실성이다.

4. 4. 확률 변수

확률 변수는 확률 공간

( \Omega , \mathcal{F} , P)

위의 가측 함수이다. 즉, 가측 공간

(E,\mathcal{E})

에 대하여, 사상

X: \Omega \to E

이고 임의의

A\in \mathcal{E}

에 대하여

X^{-1} (A):= \{ \omega \in \Omega \mid X(\omega )\in A\}\in \mathcal{F}

를 만족하는 것을 말한다. 많은 경우,

E

는 위상 공간이고, 이때의 완전 가법족

\mathcal{E}

로는 보렐 집합족

\mathcal{B} (E)

를 채택한다.

E=\mathbb{R}^d

일 때,

X

를

d

차원 확률 변수라고 하며, 특히

d=1

일 때는 단순히 확률 변수라고 부르는 경우가 많다.

확률 변수

X : \Omega \to E

의 확률 분포, 또는 분포, 법칙은

P_X (A):=P( X^{-1} (A)), \; A\in \mathcal{E}

에 의해 정해지는, 가측 공간

(E,\mathcal{E})

위의 확률 측도

P_X

를 말한다. 즉,

P_X

는 확률 변수

X

에 의한 확률 측도

P

의 상 측도(image measure), 밀어내기 측도(push-forward measure)를 말한다. 종종

P(X \in A)

로 줄여서 표기한다. 일반적인

( \mathbb{R}^d ,\mathcal{B} (\mathbb{R}^d ))

위의 확률 측도도 분포라고 불린다.

4. 5. 확률 분포

확률 변수의 각 값에 대해, 그 값이 나타날 가능성을 기술한다. 현대 확률론은 측도론을 기반으로 한다.

4. 6. 확률 과정

확률 과정은 시간과 함께 변화하는 확률 변수이다.

5. 확률 분포

특정 확률 변수는 많은 자연 또는 물리적 과정을 잘 설명하기 때문에 확률론에서 매우 자주 발생한다. 따라서 이러한 변수들의 분포는 확률론에서 ''특별한 중요성''을 갖게 되었다. 몇 가지 기본적인 ''이산 분포''는 이산 균등 분포, 베르누이 분포, 이항 분포, 음이항 분포, 푸아송 분포 및 기하 분포이다. 중요한 ''연속 분포''에는 연속 균등 분포, 정규 분포, 지수 분포, 감마 분포 및 베타 분포가 있다.

5. 1. 이산 확률 분포

이산 확률 이론은 가산 표본 공간에서 발생하는 사건을 다룬다. 예를 들어 주사위 던지기, 카드 덱을 사용한 실험, 랜덤워크, 동전 던지기 등이 있다.

고전적 정의에서 사건 발생 확률은 특정 사건에 유리한 경우의 수를 가능한 총 결과의 수로 나눈 값으로 정의되었다. 예를 들어 주사위를 굴렸을 때 짝수가 나올 확률은 3/6 = 1/2이다.

현대적 정의는 표본 공간을 유한 또는 가산 집합으로 정의하고, 각 요소에 고유한 "확률" 값을 할당한다. 이 확률 함수는 0과 1 사이의 값을 가지며, 모든 값의 합은 1이 된다. 사건은 표본 공간의 부분 집합으로 정의되며, 사건의 확률은 해당 부분 집합에 속하는 요소들의 확률 값을 모두 더한 값이다. 표본 공간의 한 점을 "확률" 값에 매핑하는 함수는 확률 질량 함수 (pmf)라고 불린다.

특정 확률 변수는 자연 현상이나 물리적 과정을 잘 설명하기 때문에 확률론에서 중요하게 다뤄진다. 몇 가지 기본적인 이산 분포에는 이산 균등 분포, 베르누이 분포, 이항 분포, 음이항 분포, 푸아송 분포, 기하 분포가 있다.

5. 2. 연속 확률 분포

연속 확률 이론은 연속적인 표본 공간에서 발생하는 사건을 다룬다. 확률 변수 ''X''의 표본 공간이 실수 집합(

\mathbb{R}

) 또는 그 부분 집합인 경우, 누적 분포 함수(CDF)

F(x) = P(X\le x) \,

로 정의된다. 즉, ''F''(''x'')는 ''X''가 ''x''보다 작거나 같을 확률을 반환한다.

CDF는 다음 속성을 만족한다.

#

F\,

는 단조 감소하지 않는, 우연속 함수이다.

#

\lim_{x\rightarrow -\infty} F(x)=0\,;

#

\lim_{x\rightarrow \infty} F(x)=1\,.

확률 변수

X

가 해당 CDF

F

가 연속적이면 연속 확률 분포를 갖는다고 한다. 만약

F\,

가 절대 연속이면, 즉, 그 도함수가 존재하고 도함수를 적분하면 다시 CDF가 나오면, 확률 변수 ''X''는 확률 밀도 함수(PDF)

f(x)=\frac{dF(x)}{dx}\,.

를 갖는다고 한다.

집합

E \subseteq \mathbb{R}

에 대해, 확률 변수 ''X''가

E\,

에 속할 확률은 다음과 같다.

:

P(X\in E) = \int_{x\in E} dF(x)\,.

PDF가 존재하는 경우, 이것은 다음과 같이 쓸 수 있다.

:

P(X\in E) = \int_{x\in E} f(x)\,dx\,.

PDF는 연속 확률 변수에 대해서만 존재하지만, CDF는

\mathbb{R}\,.

에서 값을 가지는 모든 확률 변수(이산 확률 변수 포함)에 대해 존재한다.

중요한 연속 분포에는 연속 균등 분포, 정규 분포, 지수 분포, 감마 분포 및 베타 분포가 있다.

6. 확률 변수의 수렴

확률 변수의 수렴

확률론에서, 확률 변수의 수렴에 대한 몇 가지 개념이 있다. 이들은 강도 순서대로 나열되어 있다. 즉, 목록에 있는 모든 후속 수렴 개념은 앞선 모든 개념에 따른 수렴을 의미한다.

;약한 수렴: 확률 변수 수열 $X_1,X_2,\dots,\,$ 의 누적 분포 함수 $F_1,F_2,\dots\,$ 가 $X\,$ 의 누적 분포 함수 $F\,$ 로 수렴하면 $X\,$ 에 약하게 수렴한다고 한다. 여기서 $F\,$ 는 연속 함수이다. 약한 수렴은 분포 수렴이라고도 한다.

:가장 일반적인 축약 표기법: $\displaystyle X_n \, \xrightarrow{\mathcal D} \, X$

;확률 수렴: 확률 변수 수열 $X_1,X_2,\dots\,$ 는 모든 ε > 0에 대해 $\lim_{n\rightarrow\infty}P\left(\left|X_n-X\right|\geq\varepsilon\right)=0$ 이면 확률 변수 $X\,$ 로 확률 수렴한다고 한다.

:가장 일반적인 축약 표기법: $\displaystyle X_n \, \xrightarrow{P} \, X$

;강한 수렴: 확률 변수 수열 $X_1,X_2,\dots\,$ 는 $P(\lim_{n\rightarrow\infty} X_n=X)=1$ 이면 확률 변수 $X\,$ 로 강하게 수렴한다고 한다. 강한 수렴은 거의 확실한 수렴이라고도 한다.

:가장 일반적인 축약 표기법: $\displaystyle X_n \, \xrightarrow{\mathrm{a.s.}} \, X$

이름에서 알 수 있듯이 약한 수렴은 강한 수렴보다 약하다. 실제로 강한 수렴은 확률 수렴을 의미하고 확률 수렴은 약한 수렴을 의미한다. 반대 명제는 항상 참인 것은 아니다.

확률 변수의 수렴을 참고하라.

6. 1. 약한 수렴 (분포 수렴)

확률론에서 확률 변수의 수렴에는 여러 개념이 있다. 확률 변수 수열

X_1, X_2, \dots

의 누적 분포 함수

F_1, F_2, \dots

가

X

의 누적 분포 함수

F

로 수렴하고,

F

가 연속 함수이면,

X

에 약하게 수렴한다고 한다. 약한 수렴은 분포 수렴이라고도 한다.

가장 일반적인 축약 표기법은

\displaystyle X_n \, \xrightarrow{\mathcal D} \, X

이다.

약한 수렴은 강한 수렴보다 약한데, 강한 수렴은 확률 수렴을 의미하고 확률 수렴은 약한 수렴을 의미하지만, 역은 항상 성립하지 않는다.

6. 2. 확률 수렴

확률론에서 확률 변수 수열이 극한 확률 변수와의 차이가 ε 이상일 확률이 0으로 수렴하는 것을 확률 수렴이라고 한다.

X_1, X_2, \dots

가 확률 변수 수열이고, 모든 ε > 0에 대해

\lim_{n\rightarrow\infty}P\left(\left|X_n-X\right|\geq\varepsilon\right)=0

이면 확률 변수

X\,

로 확률 수렴한다고 한다.

확률 수렴의 축약 표기법은 다음과 같다.

:

\displaystyle X_n \, \xrightarrow{P} \, X

확률 수렴은 약한 수렴보다 강한 수렴이다.

6. 3. 강한 수렴 (거의 확실한 수렴)

확률 변수 수열

X_1, X_2, \dots

가

P(\lim_{n\rightarrow\infty} X_n=X)=1

이면 확률 변수

X

로 강하게 수렴한다고 한다. 강한 수렴은 거의 확실한 수렴이라고도 한다.

:가장 일반적인 축약 표기법:

\displaystyle X_n \, \xrightarrow{\mathrm{a.s.}} \, X

약한 수렴은 강한 수렴보다 약하다. 실제로 강한 수렴은 확률 수렴을 의미하고 확률 수렴은 약한 수렴을 의미한다. 반대 명제는 항상 참인 것은 아니다. 확률 변수의 수렴을 참고하라.

7. 중요한 정리

7. 1. 큰 수의 법칙 (LLN)

'''큰 수의 법칙'''(또는 대수의 법칙)은 통계적 확률과 수학적 확률 사이의 관계를 나타내는 정리이다. 어떤 독립시행에서 사건 K가 일어날 횟수를 k라고 하고 시행 횟수를 n이라고 하면, 통계적 확률에 따른 확률

\frac{k}{n}

는 n이 한없이 커질 때 일정한 값 a에 가까워진다. 이를 식으로 나타내면 P(A)=

\lim_{n \to \infty}\frac{k}{n}

와 같다.^[9]

일반적으로 공정한 동전을 여러 번 던지면, ''대략'' 절반은 ''앞면'', 나머지는 ''뒷면''이 나올 것이라는 직관이 있다. 또한 동전을 더 자주 던질수록 ''앞면''의 수와 ''뒷면''의 수의 비율이 1에 가까워질 가능성이 더 높을 것이다. 현대 확률론은 이러한 직관을 큰 수의 법칙으로 형식화한다. 이 법칙은 확률론의 기초에서 가정되는 것이 아니라, 기초로부터 도출된 정리라는 점에서 주목할 만하다. 이론적으로 도출된 확률과 실제 발생 빈도를 연결하기 때문에, 큰 수의 법칙은 통계 이론의 역사에서 중요한 기둥으로 간주되며 광범위한 영향을 미쳤다.^[9]

큰 수의 법칙(LLN)은 독립적이고 동일한 분포를 가진 확률 변수

X_k

의 수열에서 표본 평균

\overline{X}_n=\frac1n{\sum_{k=1}^n X_k}

이 공통 기댓값

\mu

로 수렴한다고 명시한다. 단,

|X_k|

의 기댓값은 유한해야 한다.

확률 변수의 수렴의 형태에 따라 '약한 법칙'과 '강한 법칙'으로 구분된다.^[10]

약한 법칙: $\displaystyle \overline{X}_n \, \xrightarrow{P} \, \mu$ ( $n \to \infty$ )

강한 법칙: $\displaystyle \overline{X}_n \, \xrightarrow{\mathrm{a.\,s.}} \, \mu$ ( $n \to \infty .$ )

LLN에 따르면, 확률이 ''p''인 사건이 독립적인 실험에서 반복적으로 관찰되는 경우, 해당 사건의 관찰 빈도의 비율은 총 반복 횟수에 대해 ''p''로 수렴한다.

예를 들어,

Y_1,Y_2,...\,

이 확률 ''p''로 1의 값을 갖고, 확률 1-''p''로 0의 값을 갖는 독립적인 베르누이 분포 확률 변수인 경우, 모든 ''i''에 대해

\textrm{E}(Y_i)=p

이므로,

\bar Y_n

은 ''p''로 거의 확실하게 수렴한다.

7. 2. 중심 극한 정리 (CLT)

중심 극한 정리(CLT)는 정규 분포가 널리 나타나는 이유를 설명하며, 데이비드 윌리엄스에 따르면 이 정리는 "수학의 위대한 결과 중 하나"이다.^[11]

이 정리는 유한한 분산을 가진, 서로 독립적이고 동일한 분포를 따르는 많은 확률 변수들의 평균이 원래 확률 변수가 따르는 분포와 ''상관없이'' 정규 분포에 가까워진다고 말한다. 독립적인 확률 변수들의 수열에서 확률 변수 수열은 표준 정규 분포 확률 변수로 분포 수렴한다.

일부 종류의 확률 변수들에 대해, 고전적인 중심 극한 정리는 매우 빠르게 적용되는데, 이는 베리-에센 정리에서 보여진다. 예를 들어, 지수족에 속하는 유한한 1차, 2차, 3차 모멘트를 가진 분포들이 그렇다. 반면에, 헤비 테일 및 팻 테일 종류의 일부 확률 변수들에 대해서는 매우 느리게 적용되거나 전혀 적용되지 않을 수 있는데, 이러한 경우에는 일반화된 중심 극한 정리 (GCLT)를 사용할 수 있다.

8. 기타 개념

8. 1. 조건부 확률

사건 ''E'', ''F''에 대해, 그들의 곱사건 ''E'' ∩ ''F''의 발생 확률이

:

\operatorname{P}(E \cap F) = \operatorname{P}(E) \operatorname{P}_E (F)

가 되는 것을 확률의 곱셈 정리라고 한다.

확률 사건 ''E''와 ''F''가 독립일 경우에 한해, 다음 관계가 성립한다.

:

\operatorname{P}(E \cap F) = \operatorname{P}(E)\operatorname{P}(F).

8. 2. 독립성

확률론에서 '''독립성'''(獨立性, 인디펜던스/independence^영어)은 두 사건이 서로에게 영향을 주지 않는 성질이다. 예를 들어, 주사위를 두 번 던지는 경우, 첫 번째에 6이 나오는 사건은 두 번째에 6이 나오는 사건과 서로 독립적이다. 반대로, 표본 공간이 52장의 카드 가운데 하나를 뽑는 시행이라고 하자. 처음에 에이스가 나오는 사건과, 두 번째에 에이스가 나오는 사건은 서로 독립적이지 않다.

8. 3. 특성 함수

확률 분포를 나타내는 함수이다.

9. 한국 민주주의와의 관련성

참조

_[1] 웹사이트 Inferring From Data http://home.ubalt.ed[...]
_[2] 간행물 Quantum Logic and Probability Theory https://plato.stanfo[...] 2021-08-10
_[3] 학술지 A Brief Look at the History of Probability and Statistics https://www.jstor.or[...] 1991
_[4] 서적 Introduction to Probability
_[5] 학술지 Probabilistic Expectation and Rationality in Classical Probability Theory https://dx.doi.org/1[...] 1980
_[6] 웹사이트 "The origins and legacy of Kolmogorov's Grundbegriffe", by Glenn Shafer and Vladimir Vovk http://www.probabili[...] 2012-02-12
_[7] 서적 A First Course in Probability https://books.google[...] Pearson Prentice Hall 2016-02-28
_[8] 서적 Introduction to Probability and Mathematical Statistics Brooks/Cole 1992
_[9] 웹사이트 Leithner & Co Pty Ltd - Value Investing, Risk and Risk Management - Part I http://www.leithner.[...] Leithner.com.au 2000-09-15
_[10] 서적 A modern introduction to probability and statistics : understanding why and how http://archive.org/d[...] London : Springer 2005
_[11] 문서 David Williams, Probability with martingales Cambridge 1991/2008

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com