조건부 독립

1. 개요

조건부 독립은 확률론에서 특정 사건이나 변수가 주어졌을 때 다른 사건이나 변수가 독립인 상태를 의미한다. 사건 A, B, C에 대해 P(A|B,C) = P(A|C)가 성립하면 A와 B는 C에 대해 조건부 독립이라고 하며, 기호로는 (A ⊥⊥ B | C)로 나타낸다. 조건부 독립은 베이즈 추론, 여론 조사, 인과 관계 분석, 머신 러닝 등 다양한 분야에서 활용되며, 대칭성, 분해, 약한 결합, 축약, 교차 등의 규칙을 따른다.

2. 조건부 독립의 정의

조건부 확률을 사용하여 조건부 독립을 정의할 수 있다.

:$P(A\backslash mid\; B,C)\; =\; P(A\; \backslash mid\; C)$

위 식에서 $P(A\backslash mid\; B,C)$는 B와 C가 주어졌을 때 A의 확률이다. 이 경우 B는 정보 유무와 관계없이 A에 대한 C의 확률에 아무런 영향을 주지 않으므로 '불필요한' 값으로 간주된다.

조건부 독립은 다음과 같이 나타낼 수도 있다.

:$P(A,B|C)\; =\; P(A|C)P(B|C)$

여기서 $P(A,B|C)$는 $C$가 주어졌을 때 $A$와 $B$의 결합 확률이다. 이 표현은 $A$와 $B$가 $C$가 주어졌을 때 독립 사건임을 나타낸다.

위 식은 다음과 같이 증명할 수 있다.

:$P(A,\; B\; \backslash mid\; C)\; =\; P(A\backslash mid\; C)P(B\backslash mid\; C)$

:iff $\backslash frac\{P(A,\; B,\; C)\}\{P(C)\}\; =\; \backslash left(\backslash frac\{P(A,\; C)\}\{P(C)\}\backslash right)\; \backslash left(\backslash frac\{P(B,\; C)\}\{P(C)\}\; \backslash right)$      (조건부 확률의 정의)

:iff $P(A,\; B,\; C)\; =\; \backslash frac\{P(A,\; C)\; P(B,\; C)\}\{P(C)\}$       ($P(C)$를 양변에 곱함)

:iff $\backslash frac\{P(A,\; B,\; C)\}\{P(B,\; C)\}=\; \backslash frac\{P(A,\; C)\}\{P(C)\}$       ($P(B,\; C)$로 양변을 나눔)

:iff $P(A\; \backslash mid\; B,\; C)\; =\; P(A\; \backslash mid\; C)$       (조건부 확률의 정의)

이러한 속성은 $(A\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; B\; \backslash mid\; C)$로 표기하며, 이는 $(B\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; A\; \backslash mid\; C)$와 동등하다.

확률 변수의 경우, $Z$가 주어졌을 때 두 확률 변수 $X$와 $Y$가 조건부 독립이라는 것은, $Z$ 아래에서의 $X$와 $Y$의 조건부 확률 분포가 독립이라는 것과 같다.

: $X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; Y\; \backslash mid\; Z\; \backslash quad\; \backslash iff\; \backslash quad\; F\_\{X,\backslash ,Y\; \backslash mid\; Z=z\}(x,\backslash ,y)\; =\; F\_\{X\; \backslash mid\; Z=z\}(x)\; \backslash ,\; F\_\{Y\; \backslash mid\; Z=z\}(y)\; \backslash quad\; \backslash mathrm\{for\backslash \; all\}\backslash ;\; x,\backslash ,y,\backslash ,z$

여기서 $F\_\{X,Y\backslash ,\backslash mid\backslash ,Z\backslash ,=\backslash ,z\}(x,y)=\backslash Pr(X\; \backslash leq\; x,\; Y\; \backslash leq\; y\; \backslash mid\; Z=z)$는 $Z$를 조건으로 한 $X$와 $Y$의 누적 분포 함수이다.

σ-대수를 이용한 조건부 독립, 확률 변수 벡터의 조건부 독립도 유사하게 정의된다.

2.1. 사건의 조건부 독립

조건부 확률과 연관지어 다음과 같이 형식화할 수 있다. 사건 A, B, C에 대해 A와 B가 C에 대해 조건부 독립이라는 것은 다음을 의미한다.

:$P(A\backslash mid\; B,C)\; =\; P(A\; \backslash mid\; C)$

여기서 $P(A\backslash mid\; B,C)$는 B와 C가 주어졌을 때 A의 확률이다. 이 경우 B는 정보가 있든 없든 A의 가정에 대한 C의 확률에 대해서는 아무런 기여를 하지 않으므로 '불필요한' 값이다.

사건 $A$와 $B$는 $C$가 주어졌을 때, 즉 $P(C)\; >\; 0$이고 위 식을 만족할 때 조건부 독립이라고 한다. 이 속성은 종종 $(A\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; B\; \backslash mid\; C)$로 표기하며, 이는 $((A\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; B)\; \backslash vert\; C)$로 읽는다.

조건부 독립은 다음과 같이 나타낼 수도 있다.

:$P(A,B|C)\; =\; P(A|C)P(B|C)$

여기서 $P(A,B|C)$는 $C$가 주어졌을 때 $A$와 $B$의 결합 확률이다. 이 표현은 $A$와 $B$가 $C$가 주어졌을 때 독립 사건임을 나타낸다.

이는 $(A\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; B\; \backslash mid\; C)$가 $(B\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; A\; \backslash mid\; C)$와 동등함을 보여준다.

2.2. 확률 변수의 조건부 독립

두 확률 변수 X와 Y가 세 번째 확률 변수 Z가 주어졌을 때 조건부 독립이라는 것은, Z의 값이 주어졌을 때 X와 Y의 조건부 확률 분포가 독립인 경우를 의미한다. 즉, Z의 모든 값에 대해, X의 확률 분포는 Y의 모든 값에 대해 동일하고, Y의 확률 분포는 X의 모든 값에 대해 동일해야 한다. 공식적으로는 다음과 같이 표현할 수 있다.

:$(X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; Y)\; \backslash mid\; Z\; \backslash quad\; \backslash iff\; \backslash quad\; F\_\{X,Y\backslash ,\backslash mid\backslash ,Z\backslash ,=\backslash ,z\}(x,y)\; =\; F\_\{X\backslash ,\backslash mid\backslash ,Z\backslash ,=\backslash ,z\}(x)\; \backslash cdot\; F\_\{Y\backslash ,\backslash mid\backslash ,Z\backslash ,=\backslash ,z\}(y)\; \backslash quad\; \backslash text\{for\; all\; \}\; x,y,z$

여기서 $F\_\{X,Y\backslash ,\backslash mid\backslash ,Z\backslash ,=\backslash ,z\}(x,y)=\backslash Pr(X\; \backslash leq\; x,\; Y\; \backslash leq\; y\; \backslash mid\; Z=z)$는 Z가 주어졌을 때 X와 Y의 조건부 누적 분포 함수이다.

쉽게 설명하자면, Z의 값이 알려졌을 때, Y의 값을 알더라도 X의 확률 분포에 대한 추가적인 정보를 얻을 수 없고, 반대로 X의 값을 알더라도 Y의 확률 분포에 대한 추가적인 정보를 얻을 수 없는 경우를 말한다.

일반적으로 조건부 독립은 다음과 같이 표기한다.

:$X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; Y\; \backslash mid\; W$

이는 "$W$가 주어졌을 때, $X$는 $Y$와 독립이다"라고 읽는다.

만약 $W$가 가산 가능한 값 집합을 가정한다면, 이는 형식 $[W=w]$의 사건에 대한 X와 Y의 조건부 독립과 동일하다.

하지만, $X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; Y$ (X와 Y가 서로 독립)가 $(X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; Y)\; \backslash mid\; W$ (W가 주어졌을 때 X와 Y가 조건부 독립)를 의미하지 않으며, 그 반대도 성립하지 않는다는 점에 유의해야 한다.

2.3. 확률 벡터의 조건부 독립

두 확률 벡터 $\backslash mathbf\{X\}=(X\_1,\backslash ldots,X\_l)^\{\backslash mathrm\; T\}$와 $\backslash mathbf\{Y\}=(Y\_1,\backslash ldots,Y\_m)^\{\backslash mathrm\; T\}$가 세 번째 확률 벡터 $\backslash mathbf\{Z\}=(Z\_1,\backslash ldots,Z\_n)^\{\backslash mathrm\; T\}$가 주어졌을 때 조건부 독립이라는 것은 $\backslash mathbf\{Z\}$가 주어졌을 때의 조건부 누적 분포에서 독립일 때와 동일하다. 공식적으로는 다음과 같다.

:$(\backslash mathbf\{X\}\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; \backslash mathbf\{Y\})\; \backslash mid\; \backslash mathbf\{Z\}\; \backslash quad\; \backslash iff\; \backslash quad\; F\_\{\backslash mathbf\{X\},\backslash mathbf\{Y\}|\backslash mathbf\{Z\}=\backslash mathbf\{z\}\}(\backslash mathbf\{x\},\backslash mathbf\{y\})\; =\; F\_\{\backslash mathbf\{X\}\backslash ,\backslash mid\backslash ,\backslash mathbf\{Z\}\backslash ,=\backslash ,\backslash mathbf\{z\}\}(\backslash mathbf\{x\})\; \backslash cdot\; F\_\{\backslash mathbf\{Y\}\backslash ,\backslash mid\backslash ,\backslash mathbf\{Z\}\backslash ,=\backslash ,\backslash mathbf\{z\}\}(\backslash mathbf\{y\})\; \backslash quad\; \backslash text\{for\; all\; \}\; \backslash mathbf\{x\},\backslash mathbf\{y\},\backslash mathbf\{z\}$

여기서 $\backslash mathbf\{x\}=(x\_1,\backslash ldots,x\_l)^\{\backslash mathrm\; T\}$, $\backslash mathbf\{y\}=(y\_1,\backslash ldots,y\_m)^\{\backslash mathrm\; T\}$ 및 $\backslash mathbf\{z\}=(z\_1,\backslash ldots,z\_n)^\{\backslash mathrm\; T\}$이며, 조건부 누적 분포는 다음과 같이 정의된다.

:$\backslash begin\{align\}$
F_{\mathbf{X},\mathbf{Y}\,\mid\,\mathbf{Z}\,=\,\mathbf{z}}(\mathbf{x},\mathbf{y}) &= \Pr(X_1 \leq x_1,\ldots,X_l \leq x_l, Y_1 \leq y_1,\ldots,Y_m \leq y_m \mid Z_1=z_1,\ldots,Z_n=z_n) \\[6pt]
F_{\mathbf{X}\,\mid\,\mathbf{Z}\,=\,\mathbf{z}}(\mathbf{x}) &= \Pr(X_1 \leq x_1,\ldots,X_l \leq x_l \mid Z_1=z_1,\ldots,Z_n=z_n) \\[6pt]
F_{\mathbf{Y}\,\mid\,\mathbf{Z}\,=\,\mathbf{z}}(\mathbf{y}) &= \Pr(Y_1 \leq y_1,\ldots,Y_m \leq y_m \mid Z_1=z_1,\ldots,Z_n=z_n)
\end{align}

위 식들을 한국어로 풀어서 설명하면 다음과 같다.

* $F\_\{\backslash mathbf\{X\},\backslash mathbf\{Y\}\backslash ,\backslash mid\backslash ,\backslash mathbf\{Z\}\backslash ,=\backslash ,\backslash mathbf\{z\}\}(\backslash mathbf\{x\},\backslash mathbf\{y\})$는 확률 벡터 $\backslash mathbf\{Z\}$의 모든 값이 $\backslash mathbf\{z\}$로 주어졌을 때, 확률 벡터 $\backslash mathbf\{X\}$의 모든 요소가 $\backslash mathbf\{x\}$ 이하이고, 동시에 확률 벡터 $\backslash mathbf\{Y\}$의 모든 요소가 $\backslash mathbf\{y\}$ 이하일 확률을 나타낸다.

* $F\_\{\backslash mathbf\{X\}\backslash ,\backslash mid\backslash ,\backslash mathbf\{Z\}\backslash ,=\backslash ,\backslash mathbf\{z\}\}(\backslash mathbf\{x\})$는 확률 벡터 $\backslash mathbf\{Z\}$의 모든 값이 $\backslash mathbf\{z\}$로 주어졌을 때, 확률 벡터 $\backslash mathbf\{X\}$의 모든 요소가 $\backslash mathbf\{x\}$ 이하일 확률을 나타낸다.

* $F\_\{\backslash mathbf\{Y\}\backslash ,\backslash mid\backslash ,\backslash mathbf\{Z\}\backslash ,=\backslash ,\backslash mathbf\{z\}\}(\backslash mathbf\{y\})$는 확률 벡터 $\backslash mathbf\{Z\}$의 모든 값이 $\backslash mathbf\{z\}$로 주어졌을 때, 확률 벡터 $\backslash mathbf\{Y\}$의 모든 요소가 $\backslash mathbf\{y\}$ 이하일 확률을 나타낸다.

3. 조건부 독립의 예시

조건부 독립은 일상생활이나 다양한 분야에서 찾아볼 수 있다. 조건부 독립의 개념을 쉽게 이해하기 위한 몇 가지 예시는 다음과 같다.

* 색깔 있는 상자: 색깔 있는 상자는 조건부 독립과 종속을 시각적으로 보여준다.
* 저녁 식사 도착 시간: 저녁 식사 도착 시간은 교통 상황과 같은 외부 요인이 조건부 독립에 어떤 영향을 미치는지 설명한다.
* 주사위 던지기: 주사위 던지기는 독립적인 사건도 조건에 따라 조건부 독립이 아닐 수 있음을 보여준다.
* 키와 어휘력: 키와 어휘력은 나이라는 조건이 주어졌을 때 키와 어휘력이 조건부 독립이 되는 상황을 설명한다.

이 외에도 Stack Exchange에서 조건부 독립에 대한 논의를 참고할 수 있다.

3.1. 색깔 있는 상자

각 셀은 가능한 결과를 나타낸다. 사건 $\backslash color\{red\}R$, $\backslash color\{blue\}B$, $\backslash color\{gold\}Y$는 각각 빨간색, 파란색, 노란색으로 음영 처리된 영역으로 표시된다. 사건 $\backslash color\{red\}R$과 $\backslash color\{blue\}B$ 사이의 겹침은 보라색으로 음영 처리된다. 이러한 사건의 확률은 전체 영역에 대한 음영 처리된 영역의 비율이다.

3.2. 저녁 식사 도착 시간

사건 A와 B를 각각 무작위로 추출된 사람 A와 사람 B가 저녁 식사에 맞춰 집에 도착할 확률이라고 정의해보자. 이 두 사건은 서로 독립적이라고 가정할 수 있다. 즉, A가 늦었다는 정보는 B가 늦을 확률에 거의 영향을 미치지 않는다.

그러나 "사람 A와 사람 B가 같은 동네에 산다"는 세 번째 사건이 추가되면, 두 사건은 더 이상 조건부 독립이 아니게 된다. 예를 들어, 서울 강남 지역과 같이 퇴근길 교통 체증이 심한 곳이라면, A를 늦게 만드는 교통 상황이나 날씨는 B도 늦게 만들 가능성이 높다. 따라서 세 번째 사건이 주어지고 A가 늦었다는 것을 알게 되면, B가 늦을 확률이 높아진다.

또 다른 예로, "눈보라가 도시를 덮쳤다"는 사건을 생각해보자. 이 사건 하에서 A와 B가 저녁 식사에 맞춰 귀가할 확률은 모두 낮아진다. 이처럼 확률이 낮아진 상태에서, A가 저녁 식사에 맞춰 귀가하는지가 B의 귀가 여부에 영향을 미치지 않는 경우 조건부 독립이라고 한다. 하지만, 두 사람이 같은 지역에서, 같은 교통 수단을 이용하여, 같은 직장으로 통근하는 경우에는 교통 체증이나 사고 등의 외부 요인으로 인해 A가 늦으면 B도 늦을 확률이 높아지므로 조건부 독립이라고 할 수 없다.

3.3. 주사위 던지기

두 개의 주사위를 던질 때, 각 주사위는 서로 독립적으로 작동한다. 따라서 한 주사위의 눈을 알아도 다른 주사위의 눈은 알 수 없다. 즉, 두 주사위는 서로 독립이다. 그러나 두 눈의 합이 짝수라는 조건이 주어진 상황에서, 첫 번째 주사위의 눈이 3이라는 것을 알게 되면 두 번째 주사위의 눈은 홀수일 수밖에 없다. 이처럼 독립적인 사건이라도 조건에 따라 조건부 독립이 아닐 수 있다.

3.4. 키와 어휘력

나이는 조건부 독립을 설명하는 예시이다. 키가 아주 작은 사람은 어휘력이 부족한 어린이일 가능성이 높다. 따라서 키와 어휘력은 서로 독립이 아니다. 하지만 두 사람 모두 19세라는 조건이 주어진다면, 키가 크다고 해서 어휘력이 더 풍부하다고 생각할 이유가 없다. 즉, 나이를 조건으로 하면 키와 어휘력은 조건부 독립이 된다.

4. 조건부 독립의 활용

베이즈 추론은 모수에 대한 믿음의 정도를 확률 분포로 나타낸다. 여론 조사에서 "찬성"표를 던질 유권자 비율을 p라 할 때, 베이즈 추론에서는 p에 확률 분포를 할당한다. 이 확률은 "p가 특정 구간에 속한다는 확신의 정도"로 해석된다. 모집단에서 무작위로 n명의 유권자를 선택해 여론 조사를 할 때, 각 유권자가 "찬성"표를 던질지 여부를 나타내는 확률 변수 X₁, ..., X_n은 p 값을 조건으로 할 때 조건부 독립이다. 즉, p 값이 주어지면 각 유권자의 투표 결과는 서로 독립적이다.

빈도주의 확률에 기반한 통계적 추론 접근 방식에서는 p에 확률 분포를 부여하지 않으며, X₁, ..., X_n을 통계적 독립 확률 변수라고 한다. 반면, 베이즈 추론 접근 방식에서는 p에 확률 분포를 할당하고, 이 확률을 p가 특정 구간에 있다는 믿음의 정도로 해석한다. 이 모델에서 확률 변수 X₁, ..., X_n은 독립이 아니지만, p 값을 조건으로 할 때 조건부 독립이다.

4.1. 베이즈 추론

베이즈 추론에서는 확률 분포를 사용하여 모수에 대한 믿음의 정도를 나타낸다. 여론 조사에서 "찬성"표를 던질 유권자의 비율 p를 예로 들면, 베이즈 추론에서는 p에 확률 분포를 할당한다. 이 확률은 "p가 특정 구간에 속한다는 확신의 정도"로 해석된다.

모집단에서 무작위로 n명의 유권자를 선택하여 여론 조사를 할 때, 각 유권자가 "찬성"표를 던질지 여부를 나타내는 확률 변수 X₁, ..., X_n은 p의 값을 조건으로 할 때 조건부 독립이다. 즉, p의 값이 주어지면 각 유권자의 투표 결과는 서로 독립적이다.

예를 들어, 많은 수의 X가 1 (찬성)로 관찰되면, p가 1에 가깝다는 것을 의미하며, 이는 다음 유권자가 "찬성"표를 던질 조건부 확률이 높아짐을 의미한다.

20대 대통령 선거와 관련하여 특정 후보 지지율 예측에 조건부 독립 개념을 활용할 수 있다. 예를 들어, 특정 후보의 지지율을 p라고 하고, 여론 조사에서 무작위로 선택된 유권자들의 지지 여부를 X₁, ..., X_n으로 나타낼 수 있다. 이때, p의 값을 조건으로 하면 각 유권자의 지지 여부는 조건부 독립이 된다. 따라서, 여론 조사 결과를 바탕으로 p에 대한 확률 분포를 추정하고, 이를 통해 특정 후보의 최종 지지율을 예측할 수 있다.

5. 조건부 독립의 규칙

조건부 독립의 규칙은 기본적인 정의로부터 도출되었다. 펄(Pearl)과 파즈(Paz)는 이 규칙들을 "그래포이드 공리"라고 불렀는데, 그 이유는 그래프에서 이 규칙들이 성립하기 때문이다. 여기서 $X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; A\backslash mid\; B$는 "X에서 A로 가는 모든 경로는 집합 B에 의해 차단된다"로 해석된다.

다른 조건 $K$를 추가하여 조건부 독립을 설정한 부분 공간에서도 이 규칙들은 동일하게 성립한다. 예를 들어, $X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; Y\; \backslash quad\; \backslash implies\; \backslash quad\; Y\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; X$가 성립하면, $X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; Y\; \backslash mid\; K\; \backslash quad\; \backslash implies\; \backslash quad\; Y\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; X\; \backslash mid\; K$ 또한 성립한다.

5.1. 대칭성

조건부 독립은 다음이 성립하는 경우 대칭성을 만족한다.

:$X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; Y\; \backslash mid\; Z\; \backslash quad\; \backslash implies\; \backslash quad\; Y\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; X\; \backslash mid\; Z$

여기서, $X,\; Y,\; Z$는 확률 변수이다.

증명:

:$P(X|Y,\; Z)\; =\; P(X|Z)$이면 $P(Y|X,\; Z)=P(Y|Z)$임을 증명해야 한다. $P(X|Y,\; Z)\; =\; P(X|Z)$이면 $P(X,\; Y|Z)\; =\; P(X|Z)P(Y|Z)$임을 보일 수 있다. 따라서 $P(Y|X,\; Z)\; =\; P(X,\; Y|Z)/P(X|Z)\; =\; P(X|Z)P(Y|Z)/P(X|Z)\; =\; P(Y|Z)$이므로 증명이 완료되었다.

5.2. 분해

decomposition^영어은 조건부 독립 관계에서 다음과 같이 변수를 분해할 수 있음을 의미한다.

:$$
X \perp\!\!\!\perp A,B
\quad \Rightarrow \quad
\begin{cases}
X \perp\!\!\!\perp A \\
X \perp\!\!\!\perp B
\end{cases}


증명

* $$
p_{X,A,B}(x,a,b) = p_X(x) p_{A,B}(a,b)
     ($X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; A,B$의 의미)
* $$
\int_B p_{X,A,B}(x,a,b)\,db = \int_B p_X(x) p_{A,B}(a,b)\,db
     (변수 B를 적분하여 제거)
* $$
p_{X,A}(x,a) = p_X(x) p_A(a)
    

비슷한 증명으로 X와 B의 독립성을 보일 수 있다.

:$$
X \perp\!\!\!\perp A,B \quad \implies \quad X \perp\!\!\!\perp A \quad \land \quad X \perp\!\!\!\perp B


:$$
\begin{align}
& X \perp\!\!\!\perp A,B \\
&\iff p_{X,\,A,\,B}(x,\,a,\,b) = p_X(x)\,p_{A,\,B}(a,\,b) \\
&\implies \int_B p_{X,\,A,\,B}(x,\,a,\,b)\,db = \int_B p_X(x)\,p_{A,\,B}(a,\,b)\,db \\
&\iff p_{X,\,A}(x,\,a) = p_X(x)\,p_A(a) \\
&\iff X \perp\!\!\!\perp A
\end{align}

5.3. 약한 결합

Weak union^영어은 조건부 독립 관계에서 변수를 결합하는 규칙을 설명한다.

:$$
X \perp\!\!\!\perp A,B
\quad \Rightarrow \quad
\text{ 그리고 }
\begin{cases}
X \perp\!\!\!\perp A \mid B\\
X \perp\!\!\!\perp B \mid A
\end{cases}


증명
* 가정에 의해, $\backslash Pr(X)\; =\; \backslash Pr(X\; \backslash mid\; A,\; B)$이다.
* 분해 속성 $X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; B$에 의해, $\backslash Pr(X)\; =\; \backslash Pr(X\; \backslash mid\; B)$이다.
* 위 두 개의 등식을 결합하면 $\backslash Pr(X\; \backslash mid\; B)\; =\; \backslash Pr(X\; \backslash mid\; A,\; B)$가 되며, 이는 $X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; A\; \backslash mid\; B$를 성립시킨다.
* 두 번째 조건은 유사하게 증명할 수 있다.

:$$
X \perp\!\!\!\perp A,\,B \quad \implies \quad X \perp\!\!\!\perp A \mid B \quad \land \quad X \perp\!\!\!\perp B \mid A


:$$
X \perp\!\!\!\perp A,\,B \quad \iff \quad \Pr(X) = \Pr(X \mid A,\,B)


또한,

:$$
\begin{align}
&X \perp\!\!\!\perp A,\,B \\
&\implies X \perp\!\!\!\perp B \\
&\iff \Pr(X) = \Pr(X \mid B)
\end{align}


이상으로부터, $\backslash Pr(X\; \backslash mid\; B)\; =\; \backslash Pr(X\; \backslash mid\; A,\backslash ,B)\; \backslash quad\; (\backslash iff\; X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; A\; \backslash mid\; B)$

5.4. 축약

조건부 독립 관계에서 중복되는 조건을 제거하는 규칙은 다음과 같이 표현할 수 있다.

:$$
\left.\begin{align}
X \perp\!\!\!\perp A \mid B \\
X \perp\!\!\!\perp B
\end{align}\right\}
\quad \Rightarrow \quad
X \perp\!\!\!\perp A,B


증명

이 속성은 $\backslash Pr(X\backslash mid\; A,B)\; =\; \backslash Pr(X\backslash mid\; B)\; =\; \backslash Pr(X)$임을 관찰함으로써 증명할 수 있다. 각 등식은 각각 $X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; A\; \backslash mid\; B$ 및 $X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; B$에 의해 주장된다.

:$X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; A\; \backslash mid\; B\; \backslash quad\; \backslash land\; \backslash quad\; X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; B\; \backslash implies\; \backslash quad$
X \perp\!\!\!\perp A,\,B


:$X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; A\; \backslash mid\; B\; \backslash quad\; \backslash iff\; \backslash quad\; \backslash Pr(X\; \backslash mid\; A,\backslash ,B)\; =\; \backslash Pr(X\; \backslash mid\; B)$

또한,

:$X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; B\; \backslash quad\; \backslash iff\; \backslash quad\; \backslash Pr(X\; \backslash mid\; B)\; =\; \backslash Pr(X)$

이때,

:$\backslash Pr(X\; \backslash mid\; A,\backslash ,B)\; =\; \backslash Pr(X)\; \backslash quad\; (\backslash iff\; X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; A,\backslash ,B)$

5.5. 교차

엄밀히 양의 확률 분포의 경우, 다음이 성립한다.

:$$
\left.\begin{align}
X \perp\!\!\!\perp Y \mid Z, W\\
X \perp\!\!\!\perp W \mid Z, Y
\end{align}\right\}
\quad \Rightarrow \quad
X \perp\!\!\!\perp W, Y \mid Z


증명

가정에 따르면 다음과 같다.

:$P(X|Z,\; W,\; Y)\; =\; P(X|Z,\; W)\; \backslash land\; P(X|Z,\; W,\; Y)\; =\; P(X|Z,\; Y)\; \backslash implies\; P(X|Z,\; Y)\; =\; P(X|Z,\; W)$

이 등식과 전체 확률의 법칙을 $P(X|Z)$에 적용하면 다음과 같다.

:$\backslash begin\{align\}$
P(X|Z) &= \sum_{w \in W} P(X|Z, W=w)P(W=w|Z) \\[4pt]
&= \sum_{w \in W} P(X|Y, Z)P(W=w|Z) \\[4pt]
&= P(X|Z, Y) \sum_{w \in W} P(W=w|Z) \\[4pt]
&= P(X|Z, Y)
\end{align}

$P(X|Z,\; W,\; Y)\; =\; P(X|Z,\; Y)$이고 $P(X|Z,\; Y)\; =\; P(X|Z)$이므로, 다음이 성립한다.

:$P(X|Z,\; W,\; Y)\; =\; P(X|Z)\; \backslash iff\; X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; Y,W\; |\; Z$

5.6. 부분 공간

엄밀히 양의 확률 분포의 경우, 다음이 성립한다.

:$$
\left.\begin{align}
X \perp\!\!\!\perp Y \mid Z, W\\
X \perp\!\!\!\perp W \mid Z, Y
\end{align}\right\}\text{ and }
\quad \Rightarrow \quad
X \perp\!\!\!\perp W, Y \mid Z


이는 모든 확률 공간에 대해 성립하므로, 다른 변수 K에 모든 것을 조건화하여 부분 공간을 고려하더라도 여전히 성립한다. 예를 들어,

:$X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; Y\; \backslash quad\; \backslash implies\; \backslash quad\; Y\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; X$

는

:$X\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; Y\; \backslash mid\; K\; \backslash quad\; \backslash implies\; \backslash quad\; Y\; \backslash perp\backslash !\backslash !\backslash !\backslash perp\; X\; \backslash mid\; K$

를 의미하기도 한다. 즉, 다른 조건 $K$로 조건부 독립을 설정한 부분 공간에서도 동일한 규칙이 성립한다.