독립 (확률론)

1. 개요

확률론에서 독립은 여러 사건 또는 확률 변수 간의 관계를 설명하는 중요한 개념이다. 사건의 독립은 두 사건의 결합 확률이 각 사건의 확률의 곱과 같을 때 성립하며, 한 사건의 발생이 다른 사건의 발생에 영향을 미치지 않음을 의미한다. 확률 변수의 독립은 결합 누적 분포 함수가 각 확률 변수의 누적 분포 함수의 곱으로 분해될 때 정의된다. 독립은 쌍별 독립, 상호 독립, 조건부 독립 등의 형태로 확장되며, 독립성은 카이 제곱 검정, 분할표 등 다양한 통계적 방법을 통해 검정할 수 있다. 독립의 개념은 주사위 던지기, 카드 뽑기 등의 예시를 통해 쉽게 이해할 수 있으며, 1933년 안드레이 콜모고로프의 확률 공리화 이후 표준 정의로 자리 잡았다.

2. 정의

확률 공간 $(\Omega, \mathcal{F}, P)$에서 정의되는 사건, 확률 변수, 시그마 대수의 독립성은 각각 다음과 같이 정의된다.

* 사건의 독립: 두 사건 $A$와 $B$가 독립이라는 것은 $P(A \cap B) = P(A)P(B)$가 성립하는 것을 의미한다. 여기서 $A \cap B$는 $A$와 $B$가 모두 일어나는 사건(곱사건)을 나타낸다. $P(B) \neq 0$이라면, 조건부 확률을 사용하여 $P(A|B) = P(A)$로 표현할 수 있는데, 이는 사건 $B$가 일어나는 것이 사건 $A$의 확률에 영향을 주지 않는다는 것을 의미한다. 사건 $A$와 $B$가 독립임을 나타내는 기호는 $A$ ⫫ $B$이다. 사건이 독립이 아닌 경우 종속이라고 한다. 일반적으로, 사건의 족 $\{A_\lambda\}$가 독립이라는 것은, 그 부분 유한족 $\{ A_{\lambda_1}, A_{\lambda_2}, ..., A_{\lambda_n} \}$에 대해 $P(A_{\lambda_1} \cap A_{\lambda_2} \cap \dotsb \cap A_{\lambda_n}) = P(A_{\lambda_1})P(A_{\lambda_2}) \dotsm P(A_{\lambda_n})$가 성립하는 것을 의미한다.

* 확률 변수의 독립: 두 확률 변수 $X$와 $Y$가 독립이라는 것은, 임의의 실수 $a, b$에 대해 $P(X누적 분포 함수가 주변 누적 분포 함수의 곱으로 분해될 때 독립이라고 한다. 확률 변수 $X$와 $Y$가 독립임을 나타내는 기호는 $X$ ⫫ $Y$이다. 일반적으로, 확률 변수의 족 $\{ X_\lambda | \lambda \in \Lambda \}$가 독립이라는 것은, 임의의 실수 $a_\lambda$에 대해 사건의 족 $\bigl\{ \{\, X_\lambda < a_\lambda \} \mathrel{\big|} \lambda \in \Lambda \, \bigr\}$가 독립임을 의미한다.

* 시그마 대수의 독립: 완전 가법족의 족 $\{F_\lambda\}$가 독립이라는 것은, 임의의 유한 부분족 $\{ \mathcal{F}_{\lambda_1}, \mathcal{F}_{\lambda_2}, \dotsc, \mathcal{F}_{\lambda_n} \}$에 대해, $P(A_1 \cap A_2 \cap \dotsb \cap A_n) = P(A_1)P(A_2) \dotsm P(A_n),\quad {}^\forall A_1 \in \mathcal{F}_{\lambda_1}, {}^\forall A_2 \in \mathcal{F}_{\lambda_2}, \dotsc, {}^\forall A_n \in \mathcal{F}_{\lambda_n}$이 성립하는 것을 의미한다.

2.1. 사건의 독립

확률 공간 $(\backslash Omega,\backslash mathcal\; F,\backslash Pr)$ 위의 사건들의 집합 $\backslash mathcal\; S\backslash subset\backslash mathcal\; F$가 다음 조건을 만족시킨다면, $\backslash mathcal\; S$가 서로 독립이라고 한다.

* 모든 유한 집합 $\backslash \{S\_1,\backslash dots,S\_n\backslash \}\backslash subset\backslash mathcal\; S$에 대하여,
*:$\backslash Pr(S\_1\backslash cap\; S\_2\backslash cap\backslash cdots\backslash cap\; S\_n)=\backslash Pr(S\_1)\backslash Pr(S\_2)\backslash cdots\backslash Pr(S\_n)$

두 사건 $A$와 $B$는 독립적이며(종종 $A\; \backslash perp\; B$ 또는 $A\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; B$로 표기하며, 후자의 기호는 종종 조건부 독립에도 사용됨), 이는 두 사건의 결합 확률이 각 확률의 곱과 같을 경우에만 해당된다.

:$\backslash mathrm\{P\}(A\; \backslash cap\; B)\; =\; \backslash mathrm\{P\}(A)\backslash mathrm\{P\}(B)$

$A\; \backslash cap\; B\; \backslash neq\; \backslash emptyset$는 두 독립 사건 $A$와 $B$가 표본 공간에서 공통 요소를 가지고 있어 상호 배타적이지 않음을 나타낸다(상호 배타적인 경우는 $A\; \backslash cap\; B\; =\; \backslash emptyset$).

이 정의가 독립성을 어떻게 정의하는지는 조건부 확률 $P(A\; \backslash mid\; B)\; =\; \backslash frac\{P(A\; \backslash cap\; B)\}\{P(B)\}$를 사용하여, 사건 $B$가 발생했거나 발생했다고 가정했을 때 사건 $A$가 발생할 확률로 다시 작성하면 명확해진다.

:$\backslash mathrm\{P\}(A\; \backslash cap\; B)\; =\; \backslash mathrm\{P\}(A)\backslash mathrm\{P\}(B)\; \backslash iff\; \backslash mathrm\{P\}(A\backslash mid\; B)\; =\; \backslash frac\{\backslash mathrm\{P\}(A\; \backslash cap\; B)\}\{\backslash mathrm\{P\}(B)\}\; =\; \backslash mathrm\{P\}(A).$

유사하게 다음이 성립한다.

:$\backslash mathrm\{P\}(A\; \backslash cap\; B)\; =\; \backslash mathrm\{P\}(A)\backslash mathrm\{P\}(B)\; \backslash iff\backslash mathrm\{P\}(B\backslash mid\; A)\; =\; \backslash frac\{\backslash mathrm\{P\}(A\; \backslash cap\; B)\}\{\backslash mathrm\{P\}(A)\}\; =\; \backslash mathrm\{P\}(B).$

따라서, $B$의 발생은 $A$의 확률에 영향을 미치지 않으며, 그 반대도 마찬가지이다. 즉, $A$와 $B$는 서로 독립적이다. 파생된 표현이 더 직관적으로 보일 수 있지만, $\backslash mathrm\{P\}(A)$ 또는 $\backslash mathrm\{P\}(B)$가 0이면 조건부 확률이 정의되지 않을 수 있으므로 선호되는 정의는 아니다. 또한, 선호되는 정의는 대칭성을 통해 $A$가 $B$와 독립적일 때 $B$도 $A$와 독립적이라는 것을 명확하게 보여준다.

오즈의 관점에서 말하면, 두 사건 A^영어와 B^영어의 오즈비가 1일 때 두 사건은 독립이다. 확률과 유사하게, 이는 조건부 오즈가 무조건부 오즈와 같다는 것과 같다.

:$O(A\; \backslash mid\; B)\; =\; O(A)\; \backslash text\{\; and\; \}\; O(B\; \backslash mid\; A)\; =\; O(B),$

또는 한 사건의 오즈가 다른 사건이 주어졌을 때 다른 사건이 발생하지 않았을 때의 오즈와 같다는 것과 같다.

:$O(A\; \backslash mid\; B)\; =\; O(A\; \backslash mid\; \backslash neg\; B)\; \backslash text\{\; and\; \}\; O(B\; \backslash mid\; A)\; =\; O(B\; \backslash mid\; \backslash neg\; A).$

오즈비는 다음과 같이 정의될 수 있다.

:$O(A\; \backslash mid\; B)\; :\; O(A\; \backslash mid\; \backslash neg\; B),$

또는 A^영어가 주어졌을 때 B^영어의 오즈에 대해 대칭적으로 정의되며, 따라서 사건이 독립일 때 1이다.

유한 개의 사건 집합 $\backslash \{\; A\_i\; \backslash \}\; \_\{i=1\}^\{n\}$는 모든 사건의 쌍이 독립일 때, 즉, 서로 다른 모든 쌍의 인덱스 $m,k$에 대해 다음과 같을 때 쌍별 독립이라고 한다.

:$\backslash mathrm\{P\}(A\_m\; \backslash cap\; A\_k)\; =\; \backslash mathrm\{P\}(A\_m)\backslash mathrm\{P\}(A\_k)$

유한 개의 사건 집합은 모든 사건이 다른 사건들의 교집합과 독립일 때 상호 독립이라고 한다. 즉, 모든 $k\; \backslash leq\; n$과 모든 k개의 인덱스 에 대해 다음이 성립한다.

:$\backslash mathrm\{P\}\backslash left(\backslash bigcap\_\{j=1\}^k\; A\_\{i\_j\}\; \backslash right)=\backslash prod\_\{j=1\}^k\; \backslash mathrm\{P\}(A\_\{i\_j\}\; )$

이것을 독립 사건에 대한 곱셈 규칙이라고 한다. 이것은 모든 단일 사건의 모든 확률의 곱만을 포함하는 단일 조건이 아니며, 사건의 모든 부분 집합에 대해 참이어야 한다.

사건이 세 개 이상일 때, 상호 독립인 사건 집합은 (정의에 따라) 쌍별 독립이지만, 그 역은 반드시 참인 것은 아니다.

로그 확률로 표현하면, 두 사건은 결합 사건의 로그 확률이 개별 사건의 로그 확률의 합과 같을 때, 즉 다음과 같을 때 독립이다.

:$\backslash log\; \backslash mathrm\{P\}(A\; \backslash cap\; B)\; =\; \backslash log\; \backslash mathrm\{P\}(A)\; +\; \backslash log\; \backslash mathrm\{P\}(B)$

정보 이론에서, 음의 로그 확률은 정보량으로 해석되며, 따라서 두 사건은 결합 사건의 정보량이 개별 사건의 정보량의 합과 같을 때 독립이다.

:$\backslash mathrm\{I\}(A\; \backslash cap\; B)\; =\; \backslash mathrm\{I\}(A)\; +\; \backslash mathrm\{I\}(B)$

자세한 내용은 생략한다.

사건의 독립을 정의하는 데 가장 기본적인 것은 사건의 독립이다. 두 사건 A^한국어와 B^한국어가 독립이라는 것은

:$P(A\; \backslash cap\; B)\; =\; P(A)P(B)$

가 성립하는 것이다. 여기서, 좌변의 A ∩ B^한국어는 사건 A^한국어와 B^한국어가 모두 일어나는 사건(곱사건)을 나타내며, 예를 들어 P(A)^한국어는 사건 A^한국어의 확률을 나타낸다. 사건 A^한국어와 B^한국어가 독립임을 기호 A ⫫ B^한국어로 나타내기도 한다. 만약 P(B) ≠ 0^한국어이라면, 조건부 확률 P(A {{!}} B) {{coloneqq}} P(A ∩ B)/P(B)^한국어를 사용하여 정의식을

:$P(A\; \backslash mid\; B)\; =\; P(A)$

로 바꿔 쓸 수도 있다. 이는 사건 A^한국어와 B^한국어가 독립이라는 것은, 사건 B^한국어가 일어나는 것이 사건 A^한국어의 확률에 아무런 영향을 주지 않는다는 것을 의미한다. 위의 정의는 P(B) {{=}} 0^한국어일 때에도 대응하므로, 일반적으로 위의 정의를 사용한다. 사건이 독립이 아닌 것을 종속이라고 한다.

일반적으로, (유한하지 않은) 사건의 족 {{mset^한국어가 독립이라는 것은, 그 부분 유한족 {{mset^한국어에 대해

:$P(A\_\{\backslash lambda\_1\}\; \backslash cap\; A\_\{\backslash lambda\_2\}\; \backslash cap\; \backslash dotsb\; \backslash cap\; A\_\{\backslash lambda\_n\})\; =\; P(A\_\{\backslash lambda\_1\})P(A\_\{\backslash lambda\_2\})\; \backslash dotsm\; P(A\_\{\backslash lambda\_n\})$

가 성립하는 것을 말한다.

2.2. 확률 변수의 독립

두 확률 변수 ${\displaystyle X}$와 ${\displaystyle Y}$가 독립이라는 것은, 모든 실수 ${\displaystyle a,b}$에 대하여 다음 식이 성립하는 것을 의미한다.

:

즉, 두 확률 변수의 결합 누적 분포 함수가 각 확률 변수의 누적 분포 함수의 곱으로 분해됨을 의미한다.

확률 변수들의 집합 ${\displaystyle \{X_{i}\}_{i\in I}}$가 서로 독립이라는 것은, 각 확률 변수 ${\displaystyle X_{i}}$에 의해 생성되는 시그마 대수 ${\displaystyle {\mathcal {F}}_{i}=\{X_{i}^{-1}(T):T\in {\mathcal {G}}_{i}\}}$들의 집합 ${\displaystyle \_{i}\}_{i\in I}}$가 서로 독립인 시그마 대수 집합을 이루는 것을 의미한다.

유한 개의 확률 변수 집합 ${\displaystyle \{X_{1},\ldots ,X_{n}\}}$에서 모든 확률 변수 쌍이 독립이면 쌍별 독립이라고 한다. 하지만, 확률 변수 집합이 쌍별 독립이라고 해서 반드시 "상호 독립"인 것은 아니다.

유한 개의 ${\displaystyle n}$ 확률 변수 집합 ${\displaystyle \{X_{1},\ldots ,X_{n}\}}$은 모든 수열 ${\displaystyle \{x_{1},\ldots ,x_{n}\}}$에 대해 사건 ${\displaystyle \{X_{1}\leq x_{1}\},\ldots ,\{X_{n}\leq x_{n}\}}$이 상호 독립 사건일 경우에만 상호 독립이다. 이는 결합 누적 분포 함수 ${\displaystyle F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})}$에 대한 다음 조건과 동등하다.

:$F\_\{X\_\{1\},\backslash ldots\; ,X\_\{n\}\}(x\_\{1\},\backslash ldots\; ,x\_\{n\})=F\_\{X\_\{1\}\}(x\_\{1\})\backslash cdot\; \backslash ldots\; \backslash cdot\; F\_\{X\_\{n\}\}(x\_\{n\})\backslash quad\; \{\backslash text\{for\; all\; \}\}x\_\{1\},\backslash ldots\; ,x\_\{n\}$

2.3. 시그마 대수의 독립

확률 공간 $(\backslash Omega,\backslash mathcal\; F,\backslash Pr)$ 위의, $\backslash mathcal\; F$의 부분 시그마 대수들의 집합 $\backslash mathfrak\; G\backslash subset\backslash mathcal\; P(\backslash mathcal\; F)$이 다음 성질을 만족시킬 경우, $\backslash mathfrak\; G$가 서로 독립이라고 한다.

* 모든 유한 집합 $\backslash \{\backslash mathcal\; G\_1,\backslash dots,\backslash mathcal\; G\_n\backslash \}\backslash subset\backslash mathfrak\; G$ 및 $S\_i\backslash in\backslash mathcal\; G\_i$ ($i=1,\backslash dots,n$)에 대하여, $\backslash textstyle\backslash Pr(\backslash bigcap\_\{i=1\}^nS\_i)=\backslash prod\_\{i=1\}^n\backslash Pr(S\_i)$이다.

$I$가 인덱스 집합인 σ-대수의 유한족 $(\backslash tau\_i)\_\{i\backslash in\; I\}$는 다음과 같은 경우에만 독립이라고 한다.

:$\backslash forall\; \backslash left(A\_i\backslash right)\_\{i\backslash in\; I\}\; \backslash in\; \backslash prod\backslash nolimits\_\{i\backslash in\; I\}\backslash tau\_i\; \backslash \; :\; \backslash \; \backslash mathrm\{P\}\backslash left(\backslash bigcap\backslash nolimits\_\{i\backslash in\; I\}A\_i\backslash right)\; =\; \backslash prod\backslash nolimits\_\{i\backslash in\; I\}\backslash mathrm\{P\}\backslash left(A\_i\backslash right)$

그리고 σ-대수의 무한족은 모든 유한 부분족이 독립일 경우 독립이라고 한다.

3. 성질

사건 $A$가 자기 자신과 독립일 필요충분조건은 다음과 같다.

:$\backslash mathrm\{P\}(A)\; =\; \backslash mathrm\{P\}(A\; \backslash cap\; A)\; =\; \backslash mathrm\{P\}(A)\; \backslash cdot\; \backslash mathrm\{P\}(A)\; \backslash iff\; \backslash mathrm\{P\}(A)\; =\; 0\; \backslash text\{\; or\; \}\; \backslash mathrm\{P\}(A)\; =\; 1.$

따라서 사건은 거의 확실히 일어나거나, 그 여집합이 거의 확실히 일어날 경우에만 자기 자신과 독립적이다. 이 사실은 0-1 법칙을 증명할 때 유용하다.

만약 $X$와 $Y$가 통계적으로 독립적인 확률 변수라면, 기대 연산자 $\backslash operatorname\{E\}$는 다음과 같은 특징을 갖는다.

:$\backslash operatorname\{E\}[X^n\; Y^m]\; =\; \backslash operatorname\{E\}[X^n]\; \backslash operatorname\{E\}[Y^m]$

그리고 공분산 $\backslash operatorname\{cov\}[X,Y]$는 다음과 같이 0이 된다.

:$\backslash operatorname\{cov\}[X,Y]\; =\; \backslash operatorname\{E\}[X\; Y]\; -\; \backslash operatorname\{E\}[X]\; \backslash operatorname\{E\}[Y].$

역은 성립하지 않는다. 두 확률 변수의 공분산이 0이라고 해서 반드시 독립적인 것은 아니다.

마찬가지로 두 확률 과정 $\backslash left\backslash \{\; X\_t\; \backslash right\backslash \}\_\{t\backslash in\backslash mathcal\{T\}\}$와 $\backslash left\backslash \{\; Y\_t\; \backslash right\backslash \}\_\{t\backslash in\backslash mathcal\{T\}\}$의 경우, 만약 이들이 독립적이라면, 비상관이다.

두 개의 확률 변수 $X$와 $Y$는 확률 벡터 $(X,Y)$의 특성 함수가 다음을 만족할 때 서로 독립이다.

:$\backslash varphi\_\{(X,Y)\}(t,s)\; =\; \backslash varphi\_\{X\}(t)\backslash cdot\; \backslash varphi\_\{Y\}(s).$

특히, 두 변수의 합의 특성 함수는 각 변수의 주변 특성 함수의 곱이다.

:$\backslash varphi\_\{X+Y\}(t)\; =\; \backslash varphi\_X(t)\backslash cdot\backslash varphi\_Y(t),$

하지만 역은 성립하지 않는다. 후자의 조건을 만족하는 확률 변수는 준독립이라고 한다.

두 확률 변수 $X$ 와 $Y$ 가 서로 독립인 경우 다음이 성립한다.
* 함수 $f$ 와 $g$ 에 대해, $f(X)$ 와 $g(Y)$ 도 독립이 된다.
* 곱셈과 기댓값은 교환 가능하다. 즉,
:$E[XY]\; =\; E[X]E[Y]$
* 동시 누적 분포 함수와 동시 확률 밀도 함수가 곱으로 분리된다.
:$F\_\{X,Y\}(x,y)\; =\; F\_X(x)\; F\_Y(y),\backslash quad\; f\_\{X,Y\}(x,y)\; =\; f\_X(x)\; f\_Y(y)$
* 합과 분산은 교환 가능하다. 즉,
:$V(X+Y)\; =\; V(X)\; +\; V(Y)$

다음 조건을 만족할 때 확률 변수 $X$ 와 $Y$ 는 독립이 된다.
* 임의의 유계 함수 $f$ 와 $g$ 에 대해
:$E[f(X)g(Y)]\; =\; E[f(X)]E[g(Y)]$
* 특성 함수가 곱으로 분리된다.
:$E[\backslash exp(i(\backslash xi\; X\; +\; \backslash eta\; Y))]\; =\; E[\backslash exp(i\backslash xi\; X)]\; E[\backslash exp(i\backslash eta\; Y)]$

4. 독립성의 검정

두 사건 또는 확률 변수의 독립성은 카이 제곱 검정, 분할표 등 다양한 통계적 방법을 통해 검정할 수 있다. 그러나 독립성 검정은 두 변수 간의 종속성을 확인하는 데는 유용하지만, 독립성을 확정적으로 증명하는 것은 어렵다.

5. 조건부 독립

사건 $A$와 $B$는 사건 $C$가 주어졌을 때 조건부 독립일 경우 다음과 같다.

:$\backslash mathrm\{P\}(A\; \backslash cap\; B\; \backslash mid\; C)\; =\; \backslash mathrm\{P\}(A\; \backslash mid\; C)\; \backslash cdot\; \backslash mathrm\{P\}(B\; \backslash mid\; C)$.

직관적으로, 두 확률 변수 $X$와 $Y$는 $Z$가 주어졌을 때, $Z$를 알고 나면 $Y$의 값은 $X$에 대한 추가 정보를 더하지 않는 경우, $Z$에 대해 조건부 독립이다. 예를 들어, 동일한 기본 양 $Z$에 대한 두 측정값 $X$와 $Y$는 독립적이지 않지만, $Z$가 주어지면 조건부 독립이다(두 측정값의 오차가 어떻게든 연결되지 않는 한).

조건부 독립의 공식적인 정의는 조건부 분포의 개념에 기반한다. 만약 $X$, $Y$ 및 $Z$가 이산 확률 변수라면, 다음이 성립할 경우 $X$와 $Y$는 $Z$가 주어졌을 때 조건부 독립이라고 정의한다.

:$\backslash mathrm\{P\}(X\; \backslash le\; x,\; Y\; \backslash le\; y\backslash ;|\backslash ;Z\; =\; z)\; =\; \backslash mathrm\{P\}(X\; \backslash le\; x\backslash ;|\backslash ;Z\; =\; z)\; \backslash cdot\; \backslash mathrm\{P\}(Y\; \backslash le\; y\backslash ;|\backslash ;Z\; =\; z)$

여기서 $\backslash mathrm\{P\}(Z=z)>0$인 모든 $x$, $y$ 및 $z$에 대해 성립한다. 반면에, 확률 변수가 연속 확률 변수이고 결합 확률 밀도 함수 $f\_\{XYZ\}(x,y,z)$를 갖는 경우, $X$와 $Y$는 다음이 성립할 경우 $Z$가 주어졌을 때 조건부 독립이다.

:$f\_\{XY|Z\}(x,\; y\; |\; z)\; =\; f\_\{X|Z\}(x\; |\; z)\; \backslash cdot\; f\_\{Y|Z\}(y\; |\; z)$

여기서 $f\_Z(z)>0$인 모든 실수 $x$, $y$ 및 $z$에 대해 성립한다.

만약 이산 $X$와 $Y$가 $Z$가 주어졌을 때 조건부 독립이라면,

:$\backslash mathrm\{P\}(X\; =\; x\; |\; Y\; =\; y\; ,\; Z\; =\; z)\; =\; \backslash mathrm\{P\}(X\; =\; x\; |\; Z\; =\; z)$

는 $\backslash mathrm\{P\}(Z=z)>0$인 모든 $x$, $y$ 및 $z$에 대해 성립한다. 즉, $Y$와 $Z$가 주어졌을 때 $X$의 조건부 분포는 $Z$만 주어졌을 때와 동일하다. 유사한 방정식이 연속적인 경우의 조건부 확률 밀도 함수에도 적용된다.

독립은 조건 없는 사건이 주어졌을 때 확률이 일종의 조건부 확률로 간주될 수 있으므로 조건부 독립의 특별한 경우로 볼 수 있다.

6. 예시

확률론에서 독립의 예시는 다음과 같다.

* 주사위를 두 번 던질 때, 첫 번째 던지기에서 6이 나오는 사건과 두 번째 던지기에서 6이 나오는 사건은 서로 독립이다.
* 카드 한 벌에서 카드를 한 장 뽑고 다시 넣는 경우(복원 추출)에는 첫 번째 시행에서 빨간색 카드를 뽑는 사건과 두 번째 시행에서 빨간색 카드를 뽑는 사건은 서로 독립이다. 반대로 카드를 한 장 뽑고 다시 넣지 않는 경우(비복원 추출)에는 첫 번째 시행에서 빨간색 카드를 뽑는 사건과 두 번째 시행에서 빨간색 카드를 뽑는 사건은 서로 독립이 아니다. 왜냐하면 빨간색 카드가 제거된 덱에는 상대적으로 더 적은 수의 빨간색 카드가 남아있기 때문이다.
* 세 사건 $A$, $B$, $C$는 쌍별 독립(pairwise independent)일 수는 있지만, 상호 독립(mutually independent)이 아닐 수 있다.

예를 들어, 두 확률 공간에서 $\backslash mathrm\{P\}(A)\; =\; \backslash mathrm\{P\}(B)\; =\; 1/2$이고 $\backslash mathrm\{P\}(C)\; =\; 1/4$일 때, 첫 번째 공간의 사건들은 쌍별 독립이지만 세 사건은 상호 독립이 아니다. 반면 두 번째 공간의 사건들은 쌍별 독립이면서 상호 독립이다.

쌍별 독립의 경우, 어떤 하나의 사건이 다른 두 사건 각각과는 독립적이지만, 다른 두 사건의 교집합과는 독립적이지 않다.

:$\backslash mathrm\{P\}(A|BC)\; =\; \backslash frac\{\backslash frac\{4\}\{40\}\}\{\backslash frac\{4\}\{40\}\; +\; \backslash frac\{1\}\{40\}\}\; =\; \backslash tfrac\{4\}\{5\}\; \backslash ne\; \backslash mathrm\{P\}(A)$
:$\backslash mathrm\{P\}(B|AC)\; =\; \backslash frac\{\backslash frac\{4\}\{40\}\}\{\backslash frac\{4\}\{40\}\; +\; \backslash frac\{1\}\{40\}\}\; =\; \backslash tfrac\{4\}\{5\}\; \backslash ne\; \backslash mathrm\{P\}(B)$
:$\backslash mathrm\{P\}(C|AB)\; =\; \backslash frac\{\backslash frac\{4\}\{40\}\}\{\backslash frac\{4\}\{40\}\; +\; \backslash frac\{6\}\{40\}\}\; =\; \backslash tfrac\{2\}\{5\}\; \backslash ne\; \backslash mathrm\{P\}(C)$

그러나 상호 독립의 경우,

:$\backslash mathrm\{P\}(A|BC)\; =\; \backslash frac\{\backslash frac\{1\}\{16\}\}\{\backslash frac\{1\}\{16\}\; +\; \backslash frac\{1\}\{16\}\}\; =\; \backslash tfrac\{1\}\{2\}\; =\; \backslash mathrm\{P\}(A)$
:$\backslash mathrm\{P\}(B|AC)\; =\; \backslash frac\{\backslash frac\{1\}\{16\}\}\{\backslash frac\{1\}\{16\}\; +\; \backslash frac\{1\}\{16\}\}\; =\; \backslash tfrac\{1\}\{2\}\; =\; \backslash mathrm\{P\}(B)$
:$\backslash mathrm\{P\}(C|AB)\; =\; \backslash frac\{\backslash frac\{1\}\{16\}\}\{\backslash frac\{1\}\{16\}\; +\; \backslash frac\{3\}\{16\}\}\; =\; \backslash tfrac\{1\}\{4\}\; =\; \backslash mathrm\{P\}(C)$

와 같이 조건부 확률과 무조건부 확률이 같아진다.

6.1. 주사위 던지기

주사위를 두 번 던질 때, 첫 번째 던지기에서 6이 나오는 사건과 두 번째 던지기에서 6이 나오는 사건은 서로 독립이다.

6.2. 카드 뽑기

카드 한 벌에서 카드를 한 장 뽑고 다시 넣는 경우(복원 추출)에는 첫 번째 시행에서 빨간색 카드를 뽑는 사건과 두 번째 시행에서 빨간색 카드를 뽑는 사건은 서로 독립이다. 반대로 카드를 한 장 뽑고 다시 넣지 않는 경우(비복원 추출)에는 첫 번째 시행에서 빨간색 카드를 뽑는 사건과 두 번째 시행에서 빨간색 카드를 뽑는 사건은 서로 독립이 아니다. 왜냐하면 빨간색 카드가 제거된 덱에는 상대적으로 더 적은 수의 빨간색 카드가 남아있기 때문이다.

6.3. 쌍별 독립과 상호 독립

세 사건 $A$, $B$, $C$는 쌍별 독립(pairwise independent)일 수는 있지만, 상호 독립(mutually independent)이 아닐 수 있다.

유한 개의 사건 집합 $\backslash \{\; A\_i\; \backslash \}\; \_\{i=1\}^\{n\}$에서 모든 사건의 쌍이 독립일 때, 즉, 서로 다른 모든 쌍의 인덱스 $m,k$에 대해 다음이 성립할 때 쌍별 독립이라고 한다.

:$\backslash mathrm\{P\}(A\_m\; \backslash cap\; A\_k)\; =\; \backslash mathrm\{P\}(A\_m)\backslash mathrm\{P\}(A\_k)$

유한 개의 사건 집합은 모든 사건이 다른 사건들의 교집합과 독립일 때 상호 독립이라고 한다. 즉, 모든 $k\; \backslash leq\; n$과 모든 k개의 인덱스 에 대해 다음이 성립한다.

:$\backslash mathrm\{P\}\backslash left(\backslash bigcap\_\{j=1\}^k\; A\_\{i\_j\}\; \backslash right)=\backslash prod\_\{j=1\}^k\; \backslash mathrm\{P\}(A\_\{i\_j\}\; )$

이를 독립 사건에 대한 곱셈 규칙이라고 한다.

사건이 세 개 이상일 때, 상호 독립인 사건 집합은 (정의에 따라) 쌍별 독립이지만, 그 역은 반드시 참인 것은 아니다.

예를 들어, 두 확률 공간에서 $\backslash mathrm\{P\}(A)\; =\; \backslash mathrm\{P\}(B)\; =\; 1/2$이고 $\backslash mathrm\{P\}(C)\; =\; 1/4$일 때, 첫 번째 공간의 사건들은 쌍별 독립이지만 세 사건은 상호 독립이 아니다. 반면 두 번째 공간의 사건들은 쌍별 독립이면서 상호 독립이다.

쌍별 독립의 경우, 어떤 하나의 사건이 다른 두 사건 각각과는 독립적이지만, 다른 두 사건의 교집합과는 독립적이지 않다.

:$\backslash mathrm\{P\}(A|BC)\; =\; \backslash frac\{\backslash frac\{4\}\{40\}\}\{\backslash frac\{4\}\{40\}\; +\; \backslash frac\{1\}\{40\}\}\; =\; \backslash tfrac\{4\}\{5\}\; \backslash ne\; \backslash mathrm\{P\}(A)$
:$\backslash mathrm\{P\}(B|AC)\; =\; \backslash frac\{\backslash frac\{4\}\{40\}\}\{\backslash frac\{4\}\{40\}\; +\; \backslash frac\{1\}\{40\}\}\; =\; \backslash tfrac\{4\}\{5\}\; \backslash ne\; \backslash mathrm\{P\}(B)$
:$\backslash mathrm\{P\}(C|AB)\; =\; \backslash frac\{\backslash frac\{4\}\{40\}\}\{\backslash frac\{4\}\{40\}\; +\; \backslash frac\{6\}\{40\}\}\; =\; \backslash tfrac\{2\}\{5\}\; \backslash ne\; \backslash mathrm\{P\}(C)$

그러나 상호 독립의 경우,

:$\backslash mathrm\{P\}(A|BC)\; =\; \backslash frac\{\backslash frac\{1\}\{16\}\}\{\backslash frac\{1\}\{16\}\; +\; \backslash frac\{1\}\{16\}\}\; =\; \backslash tfrac\{1\}\{2\}\; =\; \backslash mathrm\{P\}(A)$
:$\backslash mathrm\{P\}(B|AC)\; =\; \backslash frac\{\backslash frac\{1\}\{16\}\}\{\backslash frac\{1\}\{16\}\; +\; \backslash frac\{1\}\{16\}\}\; =\; \backslash tfrac\{1\}\{2\}\; =\; \backslash mathrm\{P\}(B)$
:$\backslash mathrm\{P\}(C|AB)\; =\; \backslash frac\{\backslash frac\{1\}\{16\}\}\{\backslash frac\{1\}\{16\}\; +\; \backslash frac\{3\}\{16\}\}\; =\; \backslash tfrac\{1\}\{4\}\; =\; \backslash mathrm\{P\}(C)$

와 같이 조건부 확률과 무조건부 확률이 같아진다.

7. 역사

확률론에서 1933년 이전에는 독립은 언어적으로 정의되었다. 예를 들어, 드 무아브르는 "두 사건은 서로 아무런 관련이 없고, 하나의 발생이 다른 하나의 발생을 촉진하거나 방해하지 않을 때 독립이다."라고 정의했다. 만약 n개의 독립 사건이 있다면, 이들 모두가 일어날 사건의 확률은 이 n개 사건들의 확률의 곱으로 계산되었다.

이 문서에서 제시된 독립의 정의는 1933년 콜모고로프의 확률 공리화의 일부로 등장한 후 표준 정의(현재 모든 책에서 사용됨)가 되었다. 콜모고로프는 이를 S.N. 베르스타인의 공로로 돌리고, 1927년에 러시아어로 출판된 간행물을 인용했다.

불행히도, 베르스타인과 콜모고로프는 모두 게오르그 볼만의 연구를 알지 못했다. 볼만은 1901년에 두 사건에 대한 동일한 정의를, 1908년에는 n개의 사건에 대한 동일한 정의를 제시했다. 후자의 논문에서 그는 자신의 개념을 자세히 연구했다. 예를 들어, 그는 쌍별 독립성이 상호 독립성을 의미하지 않는다는 것을 보여주는 첫 번째 예를 제시했다.

오늘날에도 볼만은 거의 인용되지 않는다. 그의 작업에 대한 더 많은 정보는 :de:Ulrich Krengel의 "확률론에 대한 게오르그 볼만의 기여에 관하여"에서 찾을 수 있다.