확률 변수

3. 확장

확률 변수는 실수값뿐만 아니라, 벡터, 행렬, 수열, 트리, 집합, 함수 등 다양한 값을 가질 수 있다. 이러한 일반적인 확률 요소를 확률 요소라고 부른다. 확률 과정은 시간이나 공간 등으로 첨자가 붙은 확률 변수이다.

이러한 개념은 그래프 이론, 기계 학습, 자연어 처리, 이산 수학 및 컴퓨터 과학과 같이 비수치적 데이터 구조의 확률적 변화를 모델링하는 데 유용하다.^[4]

4. 분포 함수

확률 변수의 확률 분포는 누적 분포 함수로 나타낼 수 있다.

:$F\_X(x)\; =\; \backslash operatorname\{P\}(X\; \backslash le\; x)$

연속 확률 변수의 경우 확률 밀도 함수 $f\_X$를 사용하기도 한다.^[9] 측도론적 용어로는, 확률 변수 $X$를 사용하여 $\backslash Omega$상의 측도 $P$를 $\backslash mathbb\{R\}$상의 측도 $p\_X$로 "푸시포워드(push-forward)"한다. 이때, $p\_X$를 $X$의 확률 분포라고 한다.

기저 확률 공간 $\backslash Omega$는 확률 변수의 존재를 보장하고, 때로는 확률 변수를 구성하며, 동일한 확률 공간 상의 두 개 이상의 확률 변수의 결합 분포를 기반으로 상관 관계 및 종속성 또는 독립성과 같은 개념을 정의하는 데 사용되는 기술적인 장치이다.

5. 예시

임의의 사람을 선택하는 실험에서 그 사람의 키는 확률 변수의 예시가 될 수 있다. 수학적으로 확률 변수는 사람을 키에 대응시키는 함수로 해석된다. 이 확률 변수에는 확률 분포가 따르며, 이를 통해 키가 특정 범위(예: 180~190cm)에 속할 확률을 계산할 수 있다.^[16]

다른 예시로, 한 사람의 자녀 수 역시 음이 아닌 정수 값을 갖는 이산 확률 변수로 볼 수 있다. 확률 질량 함수(PMF)를 통해 특정 자녀 수를 가질 확률이나, "짝수 자녀 수"와 같이 특정 조건을 만족하는 확률을 계산할 수 있다. 이때 확률은 PMF(0) + PMF(2) + PMF(4) + ... 와 같이 무한 합으로 계산된다.^[16]

표본 공간은 수학적으로 설명하기 어려워 생략되기도 하지만, 같은 표본 공간에서 두 확률 변수(예: 키와 자녀 수)를 측정할 때는 두 변수의 관계(상관관계 등)를 파악하는 것이 중요하다.^[16]

$\backslash \{a\_n\backslash \},\; \backslash \{b\_n\backslash \}$이 실수의 가산 집합이고, $b\_n\; >0$이며 $\backslash sum\_n\; b\_n=1$이면, $F=\backslash sum\_n\; b\_n\; \backslash delta\_\{a\_n\}(x)$는 이산형 분포 함수이다. 여기서 $\backslash delta\_t(x)\; =\; 0$은 이고, $\backslash delta\_t(x)\; =\; 1$은 $x\; \backslash ge\; t$일 때이다. 예를 들어, 모든 유리수의 열거를 $\backslash \{a\_n\backslash \}$으로 하면, 단계 함수(구간별 상수 함수)가 아닐 수도 있는 이산형 함수를 얻게 된다.^[16]

혼합형 확률 변수의 예로는 동전 던지기를 하여 앞면이 나올 때만 룰렛을 돌리는 경우를 생각할 수 있다. 동전이 뒷면이면 확률 변수는 -1, 앞면이면 룰렛의 각도가 된다. 이 경우 -1이 나올 확률은 1/2이고, 다른 숫자가 나올 확률은 룰렛 예시의 절반이 된다.^[10]

5. 1. 주사위 던지기

• 짝수가 나오면 0, 홀수가 나오면 1을 값으로 갖는 확률 변수 X를 정의할 수 있다. 이 경우, X=0 (짝수)일 확률과 X=1 (홀수)일 확률은 각각 1/2이다.

• 두 개의 주사위를 던질 때, 두 눈의 합을 나타내는 확률 변수 Y를 정의할 수 있다. 이때, Y의 확률 분포는 다음과 같다.

만약 표본 공간이 두 개의 주사위를 굴렸을 때 나올 수 있는 숫자들의 집합이고, 관심 있는 확률 변수가 두 주사위 숫자의 합 ''S''라면, ''S''는 위 그림의 막대 높이로 나타낸 확률 질량 함수로 설명되는 이산 확률 변수이다.^[16]

5. 2. 동전 던지기

5. 3. 회전판

6. 측도론적 정의

확률 공간 $(\backslash Omega,\; \backslash mathcal\{F\},\; \backslash Pr)$ 위의, 가측 공간 $(E,\; \backslash mathcal\{E\})$의 값을 가지는 '''확률 변수'''는 가측 함수 $X\backslash colon\; (\backslash Omega,\; \backslash mathcal\{F\})\; \backslash to\; (E,\; \backslash mathcal\{E\})$를 뜻한다. 즉, 임의의 가측 집합 $S\backslash in\backslash mathcal\; E$에 대하여, 사건 $X^\{-1\}(S)\backslash in\backslash mathcal\; F$ 및 그 확률을 생각할 수 있다. 확률론에서는 측도론의 용어를 다음과 같이 대체한다.

• 확률 변수의 정의역 $(\backslash Omega,\backslash mathcal\; F,\backslash Pr)$은 확률 변수의 '''확률 공간'''이다.
• 확률 변수의 공역 $(E,\backslash mathcal\; E)$은 확률 변수의 '''상태 공간'''(狀態空間, state space^영어)이다.

7. 모멘트

확률 변수의 확률 분포는 기댓값, 분산 등의 모멘트로 특징지을 수 있다. 모멘트는 실수값 함수뿐만 아니라, 일반적인 확률 변수의 실수값 함수에 대해서도 정의할 수 있다.^[1]

수학적으로, 주어진 확률 변수 ''X''가 속한 모집단에 대한 (일반화된) 모멘트 문제^[1]는 확률 변수 ''X''의 분포의 성질을 나타내는 기댓값의 함수들의 집합으로 정의된다.^[1]

모멘트는 확률 변수가 실수 함수일 경우(복소수 등에 대해서도) 정의할 수 있다.^[1] 확률 변수 자체가 연속적이라면, 변수의 모멘트 자체는 확률 변수의 항등 함수와 같다.^[1] 그러나, 비실수 확률 변수의 경우에도, 모멘트를 그 변수의 실수 함수로 얻을 수 있다.^[1] 예를 들어, 명목척도 변수 ''X''로 "빨강", "파랑", "녹색"이 있다면, 실수 함수를 생각할 수 있다.^[1] 아이버슨의 기호를 사용함으로써, ''X''가 "녹색"일 때 1, 그 외에는 0으로 기술할 수 있으므로, 기댓값 및 다른 모멘트를 정의할 수 있다.^[1]

8. 확률 변수의 함수

보렐 가측 함수를 확률 변수에 적용하여 새로운 확률 변수를 정의할 수 있다. 실수값 확률 변수 $X$에 실수값 보렐 가측 함수 $g\backslash colon\; \backslash mathbb\{R\}\; \backslash rightarrow\; \backslash mathbb\{R\}$를 적용하면, $Y=g(X)$와 같이 새로운 확률 변수 $Y$를 얻을 수 있다. 이때 $Y$의 누적 분포 함수는 다음과 같이 표현된다.

:$F\_Y(y)\; =\; \backslash operatorname\{P\}(g(X)\; \backslash le\; y).$

만약 함수 $g$가 역함수 $h\; =\; g^\{-1\}$를 가지고, 이 역함수가 증가하거나 감소하는 함수라면, 위 식은 다음과 같이 확장될 수 있다.

:$F\_Y(y)\; =\; \backslash operatorname\{P\}(g(X)\; \backslash le\; y)\; =$

\begin{cases}

\operatorname{P}(X \le h(y)) = F_X(h(y)),

& \text{만약 } h = g^{-1} \text{ 이 증가하는 경우},\\

\\

\operatorname{P}(X \ge h(y)) = 1 - F_X(h(y)),

& \text{만약 } h = g^{-1} \text{ 이 감소하는 경우} .

\end{cases}

$g$의 가역성과 미분 가능성을 가정하면, 양변을 $y$에 대해 미분하여 확률 밀도 함수 사이의 관계를 얻을 수 있다.^[10]

:$f\_Y(y)\; =\; f\_X\backslash bigl(h(y)\backslash bigr)\; \backslash left|\; \backslash frac\{d\; h(y)\}\{d\; y\}\; \backslash right|.$

만약 $g$가 가역적이지 않지만, 각 $y$에 대해 유한하거나 가산적으로 무한한 수의 $x\_i$가 존재하여 $y\; =\; g(x\_i)$를 만족한다면, 확률 밀도 함수 사이의 관계는 다음과 같이 일반화된다.

:$f\_Y(y)\; =\; \backslash sum\_\{i\}\; f\_X(g\_\{i\}^\{-1\}(y))\; \backslash left|\; \backslash frac\{d\; g\_\{i\}^\{-1\}(y)\}\{d\; y\}\; \backslash right|$

여기서 $x\_i\; =\; g\_i^\{-1\}(y)$이며, 이는 역함수 정리에 따른다. 이 공식은 $g$가 증가 함수일 필요는 없다.

측도 이론적 공리적 접근법에서는, $\backslash Omega$에 대한 확률 변수 $X$와 보렐 가측 함수 $g\backslash colon\; \backslash mathbb\{R\}\; \backslash rightarrow\; \backslash mathbb\{R\}$가 주어지면, $Y\; =\; g(X)$는 가측 함수의 합성도 가측이므로 $\backslash Omega$에 대한 확률 변수이다. 확률 공간 $(\backslash Omega,\; P)$에서 $(\backslash mathbb\{R\},\; dF\_\{X\})$로 이동하는 절차를 통해 $Y$의 분포를 구할 수 있다.
예시

• $X$가 연속 확률 변수이고 $Y\; =\; X^2$일 때,
• 이면, $F\_Y(y)\; =\; 0$
• $y\; \backslash ge\; 0$이면, $F\_Y(y)\; =\; F\_X(\backslash sqrt\{y\})\; -\; F\_X(-\backslash sqrt\{y\})$
• $X$의 누적분포함수가 $F\_\{X\}(x)\; =\; P(X\; \backslash leq\; x)\; =\; \backslash frac\{1\}\{(1\; +\; e^\{-x\})^\{\backslash theta\}\}$ ($\backslash theta\; >\; 0$는 상수)이고, $Y\; =\; \backslash mathrm\{log\}(1\; +\; e^\{-X\})$이면, $F\_Y(y)\; =\; 1\; -\; e^\{-y\; \backslash theta\}$이며, 이는 지수분포를 따른다.
• $X$가 표준 정규 분포를 따르고 확률 밀도 함수가 $f\_X(x)\; =\; \backslash frac\{1\}\{\backslash sqrt\{2\backslash pi\}\}e^\{-x^2/2\}$일 때, $Y\; =\; X^2$의 밀도 함수는 $f\_Y(y)\; =\; \backslash frac\{1\}\{\backslash sqrt\{2\backslash pi\; y\}\}e^\{-y/2\}$이며, 이는 자유도가 1인 카이제곱 분포이다.
• $X$가 정규분포를 따르고 그 확률밀도함수가$f\_X(x)\; =\; \backslash frac\{1\}\{\backslash sqrt\{2\backslash pi\backslash sigma^2\}\}e^\{-(x-\backslash mu)^2/(2\backslash sigma^2)\}$일때, 확률변수 $Y\; =\; X^2$의 확률밀도함수는$f\_Y(y)\; =\; \backslash frac\{1\}\{\backslash sqrt\{2\backslash pi\backslash sigma^2\}\}\; \backslash frac\{1\}\{2\backslash sqrt\{y\}\}\; (e^\{-(\backslash sqrt\{y\}-\backslash mu)^2/(2\backslash sigma^2)\}+e^\{-(-\backslash sqrt\{y\}-\backslash mu)^2/(2\backslash sigma^2)\})$이며, 이는 자유도가 1인 비중심 카이제곱 분포이다.

9. 확률 변수의 동치성

두 확률 변수는 분포가 같거나, 거의 확실하게 같거나, 함수로서 같을 수 있다.

• 분포가 같다: 표본 공간이 실수 집합의 부분집합인 경우, 확률 변수 ''X''와 ''Y''가 모든 x에 대해 $\backslash operatorname\{P\}(X\; \backslash le\; x)\; =\; \backslash operatorname\{P\}(Y\; \backslash le\; x)$를 만족하면, 즉 동일한 누적분포함수를 가지면 분포가 같다고 한다. ($X\; \backslash stackrel\{d\}\{=\}\; Y$ 로 표기). 두 확률 변수가 같은 적률 생성 함수를 가질 때도 같은 분포를 갖는다.
• 거의 확실하게 같다: 두 확률 변수 ''X''와 ''Y''가 $\backslash operatorname\{P\}(X\; \backslash neq\; Y)\; =\; 0$를 만족하면, 즉 서로 다를 확률이 0이면 거의 확실하게 같다고 한다. ($X\; \backslash ;\; \backslash stackrel\{\backslash text\{a.s.\}\}\{=\}\; \backslash ;\; Y$ 로 표기). 이는 확률론에서 실제 등식만큼 강력하다.
• 같다: 두 확률 변수 ''X''와 ''Y''가 측정 가능 공간에서 함수로서 같을 때, 즉 모든 ω에 대해 $X(\backslash omega)=Y(\backslash omega)$를 만족하면 같다고 한다. 이 개념은 확률 공간이 명시적으로 특징지어지는 경우가 드물기 때문에 확률 이론에서 가장 유용하지 않다.

10. 확률 변수의 수렴

수리통계학에서 중요한 주제는 특정 확률변수들의 수열에 대한 수렴 결과를 얻는 것이다. 예를 들어, 대수의 법칙과 중심극한정리가 있다.

확률변수열 $X\_n$이 확률변수 $X$로 수렴하는 다양한 의미가 있다. 이는 확률변수의 수렴 문서에서 설명한다.

참조

_[1] 서적 Introduction to Probability CRC Press 2014
_[2] 서적 Mathematics for machine learning https://www.worldcat[...] Cambridge University Press 2020
_[3] 학술지 Harmonic analysis as the exploitation of symmetry – a historical survey 1980-07-01
_[4] 웹사이트 Random Variables https://www.mathsisf[...] 2020-08-21
_[5] 서적 The Practice of Statistics https://web.archive.[...] Freeman
_[6] 웹사이트 Random Variables http://www.stat.yale[...] 2020-08-21
_[7] 학술지 A Modern Introduction to Probability and Statistics https://doi.org/10.1[...] 2005
_[8] 서적 Introduction to Probability and Stochastic Processes with Applications https://books.google[...] Wiley
_[9] 서적 Probability and Measure Wiley 1995
_[10] 서적 Introduction to Probability Athena Scientific 2002
_[11] 웹사이트 Economics 245A – Introduction to Measure Theory http://faculty.econ.[...] University of California, Santa Barbara 2013-04-26
_[12] harvtxt
_[13] 서적 The Practice of Statistics http://bcs.whfreeman[...] Freeman
_[14] 웹사이트 Economics 245A – Introduction to Measure Theory http://econ.ucsb.edu[...] University of California, Santa Barbara 2013-04-26
_[15] 서적 Introduction to Probability and Stochastic Processes with Applications https://books.google[...] Wiley
_[16] 기타
_[17] harvtxt
_[18] 기타
_[19] 웹인용 Economics 245A – Introduction to Measure Theory http://econ.ucsb.edu[...] University of California, Santa Barbara 2013-04-26
_[20] 서적 Introduction to Probability CRC Press 2014