조건부 독립

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요

조건부 독립은 확률론에서 특정 사건이나 변수가 주어졌을 때 다른 사건이나 변수가 독립인 상태를 의미한다. 사건 A, B, C에 대해 P(A|B,C) = P(A|C)가 성립하면 A와 B는 C에 대해 조건부 독립이라고 하며, 기호로는 (A ⊥⊥ B | C)로 나타낸다. 조건부 독립은 베이즈 추론, 여론 조사, 인과 관계 분석, 머신 러닝 등 다양한 분야에서 활용되며, 대칭성, 분해, 약한 결합, 축약, 교차 등의 규칙을 따른다.

2. 조건부 독립의 정의

조건부 확률을 사용하여 조건부 독립을 정의할 수 있다.

: $P(A\mid B,C) = P(A \mid C)$

위 식에서 $P(A\mid B,C)$ 는 B와 C가 주어졌을 때 A의 확률이다. 이 경우 B는 정보 유무와 관계없이 A에 대한 C의 확률에 아무런 영향을 주지 않으므로 '불필요한' 값으로 간주된다.

조건부 독립은 다음과 같이 나타낼 수도 있다.

: $P(A,B|C) = P(A|C)P(B|C)$

여기서 $P(A,B|C)$ 는 $C$ 가 주어졌을 때 $A$ 와 $B$ 의 결합 확률이다. 이 표현은 $A$ 와 $B$ 가 $C$ 가 '''주어졌을 때''' 독립 사건임을 나타낸다.

위 식은 다음과 같이 증명할 수 있다.

: $P(A, B \mid C) = P(A\mid C)P(B\mid C)$

:iff $\frac{P(A, B, C)}{P(C)} = \left(\frac{P(A, C)}{P(C)}\right) \left(\frac{P(B, C)}{P(C)} \right)$      (조건부 확률의 정의)

:iff $P(A, B, C) = \frac{P(A, C) P(B, C)}{P(C)}$       ( $P(C)$ 를 양변에 곱함)

:iff $\frac{P(A, B, C)}{P(B, C)}= \frac{P(A, C)}{P(C)}$       ( $P(B, C)$ 로 양변을 나눔)

:iff $P(A \mid B, C) = P(A \mid C)$       (조건부 확률의 정의)

이러한 속성은 $(A \perp\!\!\!\perp B \mid C)$ 로 표기하며, 이는 $(B \perp\!\!\!\perp A \mid C)$ 와 동등하다.

확률 변수의 경우, $Z$ 가 주어졌을 때 두 확률 변수 $X$ 와 $Y$ 가 조건부 독립이라는 것은, $Z$ 아래에서의 $X$ 와 $Y$ 의 조건부 확률 분포가 독립이라는 것과 같다.

: $X \perp\!\!\!\perp Y \mid Z \quad \iff \quad F_{X,\,Y \mid Z=z}(x,\,y) = F_{X \mid Z=z}(x) \, F_{Y \mid Z=z}(y) \quad \mathrm{for\ all}\; x,\,y,\,z$

여기서 $F_{X,Y\,\mid\,Z\,=\,z}(x,y)=\Pr(X \leq x, Y \leq y \mid Z=z)$ 는 $Z$ 를 조건으로 한 $X$ 와 $Y$ 의 누적 분포 함수이다.

σ-대수를 이용한 조건부 독립, 확률 변수 벡터의 조건부 독립도 유사하게 정의된다.

2. 1. 사건의 조건부 독립

조건부 확률과 연관지어 다음과 같이 형식화할 수 있다. 사건 A, B, C에 대해 A와 B가 C에 대해 조건부 독립이라는 것은 다음을 의미한다.

:

P(A\mid B,C) = P(A \mid C)

여기서

P(A\mid B,C)

는 B와 C가 주어졌을 때 A의 확률이다. 이 경우 B는 정보가 있든 없든 A의 가정에 대한 C의 확률에 대해서는 아무런 기여를 하지 않으므로 '불필요한' 값이다.

사건

A

와

B

는

C

가 주어졌을 때, 즉

P(C) > 0

이고 위 식을 만족할 때 '''조건부 독립'''이라고 한다.^[1] 이 속성은 종종

(A \perp\!\!\!\perp B \mid C)

로 표기하며, 이는

((A \perp\!\!\!\perp B) \vert C)

로 읽는다.^[2]

조건부 독립은 다음과 같이 나타낼 수도 있다.^[3]

:

P(A,B|C) = P(A|C)P(B|C)

여기서

P(A,B|C)

는

C

가 주어졌을 때

A

와

B

의 결합 확률이다. 이 표현은

A

와

B

가

C

가 '''주어졌을 때''' 독립 사건임을 나타낸다.^[3]

이는

(A \perp\!\!\!\perp B \mid C)

가

(B \perp\!\!\!\perp A \mid C)

와 동등함을 보여준다.^[3]

2. 2. 확률 변수의 조건부 독립

두 확률 변수 ''X''와 ''Y''가 세 번째 확률 변수 ''Z''가 주어졌을 때 조건부 독립이라는 것은, ''Z''의 값이 주어졌을 때 ''X''와 ''Y''의 조건부 확률 분포가 독립인 경우를 의미한다. 즉, ''Z''의 모든 값에 대해, ''X''의 확률 분포는 ''Y''의 모든 값에 대해 동일하고, ''Y''의 확률 분포는 ''X''의 모든 값에 대해 동일해야 한다. 공식적으로는 다음과 같이 표현할 수 있다.

:

(X \perp\!\!\!\perp Y) \mid Z \quad \iff \quad F_{X,Y\,\mid\,Z\,=\,z}(x,y) = F_{X\,\mid\,Z\,=\,z}(x) \cdot F_{Y\,\mid\,Z\,=\,z}(y) \quad \text{for all } x,y,z

여기서

F_{X,Y\,\mid\,Z\,=\,z}(x,y)=\Pr(X \leq x, Y \leq y \mid Z=z)

는 ''Z''가 주어졌을 때 ''X''와 ''Y''의 조건부 누적 분포 함수이다.

쉽게 설명하자면, ''Z''의 값이 알려졌을 때, ''Y''의 값을 알더라도 ''X''의 확률 분포에 대한 추가적인 정보를 얻을 수 없고, 반대로 ''X''의 값을 알더라도 ''Y''의 확률 분포에 대한 추가적인 정보를 얻을 수 없는 경우를 말한다.

일반적으로 조건부 독립은 다음과 같이 표기한다.

:

X \perp\!\!\!\perp Y \mid W

이는 "

W

가 주어졌을 때,

X

는

Y

와 독립이다"라고 읽는다.

만약

W

가 가산 가능한 값 집합을 가정한다면, 이는 형식

[W=w]

의 사건에 대한 ''X''와 ''Y''의 조건부 독립과 동일하다.

하지만,

X \perp\!\!\!\perp Y

(''X''와 ''Y''가 서로 독립)가

(X \perp\!\!\!\perp Y) \mid W

(''W''가 주어졌을 때 ''X''와 ''Y''가 조건부 독립)를 의미하지 않으며, 그 반대도 성립하지 않는다는 점에 유의해야 한다.

2. 3. 확률 벡터의 조건부 독립

두 확률 벡터

\mathbf{X}=(X_1,\ldots,X_l)^{\mathrm T}

와

\mathbf{Y}=(Y_1,\ldots,Y_m)^{\mathrm T}

가 세 번째 확률 벡터

\mathbf{Z}=(Z_1,\ldots,Z_n)^{\mathrm T}

가 주어졌을 때 조건부 독립이라는 것은

\mathbf{Z}

가 주어졌을 때의 조건부 누적 분포에서 독립일 때와 동일하다. 공식적으로는 다음과 같다.

:

(\mathbf{X} \perp\!\!\!\perp \mathbf{Y}) \mid \mathbf{Z} \quad \iff \quad F_{\mathbf{X},\mathbf{Y}|\mathbf{Z}=\mathbf{z}}(\mathbf{x},\mathbf{y}) = F_{\mathbf{X}\,\mid\,\mathbf{Z}\,=\,\mathbf{z}}(\mathbf{x}) \cdot F_{\mathbf{Y}\,\mid\,\mathbf{Z}\,=\,\mathbf{z}}(\mathbf{y}) \quad \text{for all } \mathbf{x},\mathbf{y},\mathbf{z}

여기서

\mathbf{x}=(x_1,\ldots,x_l)^{\mathrm T}

,

\mathbf{y}=(y_1,\ldots,y_m)^{\mathrm T}

및

\mathbf{z}=(z_1,\ldots,z_n)^{\mathrm T}

이며, 조건부 누적 분포는 다음과 같이 정의된다.

:

\begin{align}F_{\mathbf{X},\mathbf{Y}\,\mid\,\mathbf{Z}\,=\,\mathbf{z}}(\mathbf{x},\mathbf{y}) &= \Pr(X_1 \leq x_1,\ldots,X_l \leq x_l, Y_1 \leq y_1,\ldots,Y_m \leq y_m \mid Z_1=z_1,\ldots,Z_n=z_n) \\[6pt]F_{\mathbf{X}\,\mid\,\mathbf{Z}\,=\,\mathbf{z}}(\mathbf{x}) &= \Pr(X_1 \leq x_1,\ldots,X_l \leq x_l \mid Z_1=z_1,\ldots,Z_n=z_n) \\[6pt]F_{\mathbf{Y}\,\mid\,\mathbf{Z}\,=\,\mathbf{z}}(\mathbf{y}) &= \Pr(Y_1 \leq y_1,\ldots,Y_m \leq y_m \mid Z_1=z_1,\ldots,Z_n=z_n)\end{align}

위 식들을 한국어로 풀어서 설명하면 다음과 같다.

$F_{\mathbf{X},\mathbf{Y}\,\mid\,\mathbf{Z}\,=\,\mathbf{z}}(\mathbf{x},\mathbf{y})$ 는 확률 벡터 $\mathbf{Z}$ 의 모든 값이 $\mathbf{z}$ 로 주어졌을 때, 확률 벡터 $\mathbf{X}$ 의 모든 요소가 $\mathbf{x}$ 이하이고, 동시에 확률 벡터 $\mathbf{Y}$ 의 모든 요소가 $\mathbf{y}$ 이하일 확률을 나타낸다.

$F_{\mathbf{X}\,\mid\,\mathbf{Z}\,=\,\mathbf{z}}(\mathbf{x})$ 는 확률 벡터 $\mathbf{Z}$ 의 모든 값이 $\mathbf{z}$ 로 주어졌을 때, 확률 벡터 $\mathbf{X}$ 의 모든 요소가 $\mathbf{x}$ 이하일 확률을 나타낸다.

$F_{\mathbf{Y}\,\mid\,\mathbf{Z}\,=\,\mathbf{z}}(\mathbf{y})$ 는 확률 벡터 $\mathbf{Z}$ 의 모든 값이 $\mathbf{z}$ 로 주어졌을 때, 확률 벡터 $\mathbf{Y}$ 의 모든 요소가 $\mathbf{y}$ 이하일 확률을 나타낸다.

3. 조건부 독립의 예시

조건부 독립은 일상생활이나 다양한 분야에서 찾아볼 수 있다. 조건부 독립의 개념을 쉽게 이해하기 위한 몇 가지 예시는 다음과 같다.

색깔 있는 상자: 색깔 있는 상자는 조건부 독립과 종속을 시각적으로 보여준다.
저녁 식사 도착 시간: 저녁 식사 도착 시간은 교통 상황과 같은 외부 요인이 조건부 독립에 어떤 영향을 미치는지 설명한다.
주사위 던지기: 주사위 던지기는 독립적인 사건도 조건에 따라 조건부 독립이 아닐 수 있음을 보여준다.^[2]
키와 어휘력: 키와 어휘력은 나이라는 조건이 주어졌을 때 키와 어휘력이 조건부 독립이 되는 상황을 설명한다.

이 외에도 Stack Exchange에서 조건부 독립에 대한 논의를 참고할 수 있다.^[8]

3. 1. 색깔 있는 상자

각 셀은 가능한 결과를 나타낸다. 사건

\color{red}R

,

\color{blue}B

,

\color{gold}Y

는 각각 빨간색, 파란색, 노란색으로 음영 처리된 영역으로 표시된다. 사건

\color{red}R

과

\color{blue}B

사이의 겹침은 보라색으로 음영 처리된다. 이러한 사건의 확률은 전체 영역에 대한 음영 처리된 영역의 비율이다.

두 예시 모두에서

\color{red}R

과

\color{blue}B

는

\color{gold}Y

가 주어졌을 때 조건부 독립이다. 왜냐하면:^[1]

:

\Pr({\color{red}R}, {\color{blue}B} \mid {\color{gold}Y}) =  \Pr({\color{red}R} \mid {\color{gold}Y})\Pr({\color{blue}B} \mid {\color{gold}Y})

하지만

\left[ \text{not }{\color{gold}Y}\right]

가 주어졌을 때는 조건부 독립이 아니기 때문이다.

:

\Pr({\color{red}R}, {\color{blue}B} \mid \text{not } {\color{gold}Y}) \not= \Pr({\color{red}R} \mid \text{not } {\color{gold}Y})\Pr({\color{blue}B} \mid \text{not } {\color{gold}Y})

3. 2. 저녁 식사 도착 시간

사건 A와 B를 각각 무작위로 추출된 사람 A와 사람 B가 저녁 식사에 맞춰 집에 도착할 확률이라고 정의해보자. 이 두 사건은 서로 독립적이라고 가정할 수 있다. 즉, A가 늦었다는 정보는 B가 늦을 확률에 거의 영향을 미치지 않는다.

그러나 "사람 A와 사람 B가 같은 동네에 산다"는 세 번째 사건이 추가되면, 두 사건은 더 이상 조건부 독립이 아니게 된다. 예를 들어, 서울 강남 지역과 같이 퇴근길 교통 체증이 심한 곳이라면, A를 늦게 만드는 교통 상황이나 날씨는 B도 늦게 만들 가능성이 높다. 따라서 세 번째 사건이 주어지고 A가 늦었다는 것을 알게 되면, B가 늦을 확률이 높아진다.

또 다른 예로, "눈보라가 도시를 덮쳤다"는 사건을 생각해보자. 이 사건 하에서 A와 B가 저녁 식사에 맞춰 귀가할 확률은 모두 낮아진다. 이처럼 확률이 낮아진 상태에서, A가 저녁 식사에 맞춰 귀가하는지가 B의 귀가 여부에 영향을 미치지 않는 경우 조건부 독립이라고 한다. 하지만, 두 사람이 같은 지역에서, 같은 교통 수단을 이용하여, 같은 직장으로 통근하는 경우에는 교통 체증이나 사고 등의 외부 요인으로 인해 A가 늦으면 B도 늦을 확률이 높아지므로 조건부 독립이라고 할 수 없다.

3. 3. 주사위 던지기

두 개의 주사위를 던질 때, 각 주사위는 서로 독립적으로 작동한다. 따라서 한 주사위의 눈을 알아도 다른 주사위의 눈은 알 수 없다. 즉, 두 주사위는 서로 독립이다.^[2] 그러나 두 눈의 합이 짝수라는 조건이 주어진 상황에서, 첫 번째 주사위의 눈이 3이라는 것을 알게 되면 두 번째 주사위의 눈은 홀수일 수밖에 없다. 이처럼 독립적인 사건이라도 조건에 따라 조건부 독립이 아닐 수 있다.^[2]

3. 4. 키와 어휘력

나이는 조건부 독립을 설명하는 예시이다. 키가 아주 작은 사람은 어휘력이 부족한 어린이일 가능성이 높다. 따라서 키와 어휘력은 서로 독립이 아니다. 하지만 두 사람 모두 19세라는 조건이 주어진다면, 키가 크다고 해서 어휘력이 더 풍부하다고 생각할 이유가 없다. 즉, 나이를 조건으로 하면 키와 어휘력은 조건부 독립이 된다.^[1]

4. 조건부 독립의 활용

베이즈 추론은 모수에 대한 믿음의 정도를 확률 분포로 나타낸다. 여론 조사에서 "찬성"표를 던질 유권자 비율을 ''p''라 할 때, 베이즈 추론에서는 ''p''에 확률 분포를 할당한다. 이 확률은 "''p''가 특정 구간에 속한다는 확신의 정도"로 해석된다. 모집단에서 무작위로 ''n''명의 유권자를 선택해 여론 조사를 할 때, 각 유권자가 "찬성"표를 던질지 여부를 나타내는 확률 변수 ''X''₁, ..., ''X''_''n''은 ''p'' 값을 조건으로 할 때 조건부 독립이다. 즉, ''p'' 값이 주어지면 각 유권자의 투표 결과는 서로 독립적이다.^[1]

빈도주의 확률에 기반한 통계적 추론 접근 방식에서는 ''p''에 확률 분포를 부여하지 않으며, ''X''₁, ..., ''X''_''n''을 통계적 독립 확률 변수라고 한다. 반면, 베이즈 추론 접근 방식에서는 ''p''에 확률 분포를 할당하고, 이 확률을 ''p''가 특정 구간에 있다는 믿음의 정도로 해석한다. 이 모델에서 확률 변수 ''X''₁, ..., ''X''_''n''은 독립이 아니지만, ''p'' 값을 조건으로 할 때 조건부 독립이다.^[1]

4. 1. 베이즈 추론

베이즈 추론에서는 확률 분포를 사용하여 모수에 대한 믿음의 정도를 나타낸다. 여론 조사에서 "찬성"표를 던질 유권자의 비율 ''p''를 예로 들면, 베이즈 추론에서는 ''p''에 확률 분포를 할당한다. 이 확률은 "''p''가 특정 구간에 속한다는 확신의 정도"로 해석된다.

모집단에서 무작위로 ''n''명의 유권자를 선택하여 여론 조사를 할 때, 각 유권자가 "찬성"표를 던질지 여부를 나타내는 확률 변수 ''X''₁, ..., ''X''_''n''은 ''p''의 값을 조건으로 할 때 '''조건부 독립'''이다. 즉, ''p''의 값이 주어지면 각 유권자의 투표 결과는 서로 독립적이다.

예를 들어, 많은 수의 ''X''가 1 (찬성)로 관찰되면, ''p''가 1에 가깝다는 것을 의미하며, 이는 다음 유권자가 "찬성"표를 던질 조건부 확률이 높아짐을 의미한다.

20대 대통령 선거와 관련하여 특정 후보 지지율 예측에 조건부 독립 개념을 활용할 수 있다. 예를 들어, 특정 후보의 지지율을 ''p''라고 하고, 여론 조사에서 무작위로 선택된 유권자들의 지지 여부를 ''X''₁, ..., ''X''_''n''으로 나타낼 수 있다. 이때, ''p''의 값을 조건으로 하면 각 유권자의 지지 여부는 조건부 독립이 된다. 따라서, 여론 조사 결과를 바탕으로 ''p''에 대한 확률 분포를 추정하고, 이를 통해 특정 후보의 최종 지지율을 예측할 수 있다.

5. 조건부 독립의 규칙

조건부 독립의 규칙은 기본적인 정의로부터 도출되었다.^[4]^[5] 펄(Pearl)과 파즈(Paz)는 이 규칙들을 "그래포이드 공리"라고 불렀는데,^[6] 그 이유는 그래프에서 이 규칙들이 성립하기 때문이다. 여기서 $X \perp\!\!\!\perp A\mid B$ 는 "X에서 A로 가는 모든 경로는 집합 B에 의해 차단된다"로 해석된다.^[7]

다른 조건 $K$ 를 추가하여 조건부 독립을 설정한 부분 공간에서도 이 규칙들은 동일하게 성립한다. 예를 들어, $X \perp\!\!\!\perp Y \quad \implies \quad Y \perp\!\!\!\perp X$ 가 성립하면, $X \perp\!\!\!\perp Y \mid K \quad \implies \quad Y \perp\!\!\!\perp X \mid K$ 또한 성립한다.

5. 1. 대칭성

조건부 독립은 다음이 성립하는 경우 대칭성을 만족한다.^[1]

:

X \perp\!\!\!\perp Y \mid Z \quad \implies \quad Y \perp\!\!\!\perp X \mid Z

^[2]

여기서,

X, Y, Z

는 확률 변수이다.^[3]

'''증명:'''^[4]

:

P(X|Y, Z) = P(X|Z)

이면

P(Y|X, Z)=P(Y|Z)

임을 증명해야 한다.

P(X|Y, Z) = P(X|Z)

이면

P(X, Y|Z) = P(X|Z)P(Y|Z)

임을 보일 수 있다. 따라서

P(Y|X, Z) = P(X, Y|Z)/P(X|Z) = P(X|Z)P(Y|Z)/P(X|Z) = P(Y|Z)

이므로 증명이 완료되었다.^[5]

5. 2. 분해

decomposition|디컴포지션^영어은 조건부 독립 관계에서 다음과 같이 변수를 분해할 수 있음을 의미한다.^[1]

:

X \perp\!\!\!\perp A,B\quad \Rightarrow \quad\begin{cases}X \perp\!\!\!\perp A \\X \perp\!\!\!\perp B\end{cases}

'''증명'''

p_{X,A,B}(x,a,b) = p_X(x) p_{A,B}(a,b) (

X \perp\!\!\!\perp A,B

의 의미)

\int_B p_{X,A,B}(x,a,b)\,db = \int_B p_X(x) p_{A,B}(a,b)\,db (변수 ''B''를 적분하여 제거)

p_{X,A}(x,a) = p_X(x) p_A(a)

비슷한 증명으로 ''X''와 ''B''의 독립성을 보일 수 있다.^[1]

:

X \perp\!\!\!\perp A,B \quad \implies \quad X \perp\!\!\!\perp A \quad \land \quad X \perp\!\!\!\perp B

:

\begin{align}& X \perp\!\!\!\perp A,B \\&\iff p_{X,\,A,\,B}(x,\,a,\,b) = p_X(x)\,p_{A,\,B}(a,\,b) \\&\implies \int_B p_{X,\,A,\,B}(x,\,a,\,b)\,db = \int_B p_X(x)\,p_{A,\,B}(a,\,b)\,db \\&\iff p_{X,\,A}(x,\,a) = p_X(x)\,p_A(a) \\&\iff X \perp\!\!\!\perp A\end{align}

^[1]

5. 3. 약한 결합

Weak union^영어은 조건부 독립 관계에서 변수를 결합하는 규칙을 설명한다.

:

X \perp\!\!\!\perp A,B\quad \Rightarrow \quad\text{ 그리고 }\begin{cases}X \perp\!\!\!\perp A \mid B\\X \perp\!\!\!\perp B \mid A\end{cases}

'''증명'''

가정에 의해, $\Pr(X) = \Pr(X \mid A, B)$ 이다.
분해 속성 $X \perp\!\!\!\perp B$ 에 의해, $\Pr(X) = \Pr(X \mid B)$ 이다.
위 두 개의 등식을 결합하면 $\Pr(X \mid B) = \Pr(X \mid A, B)$ 가 되며, 이는 $X \perp\!\!\!\perp A \mid B$ 를 성립시킨다.
두 번째 조건은 유사하게 증명할 수 있다.

:

X \perp\!\!\!\perp A,\,B \quad \implies \quad X \perp\!\!\!\perp A \mid B \quad \land \quad X \perp\!\!\!\perp B \mid A

:

X \perp\!\!\!\perp A,\,B \quad \iff \quad \Pr(X) = \Pr(X \mid A,\,B)

또한,

:

\begin{align}&X \perp\!\!\!\perp A,\,B \\&\implies X \perp\!\!\!\perp B \\&\iff \Pr(X) = \Pr(X \mid B)\end{align}

이상으로부터,

\Pr(X \mid B) = \Pr(X \mid A,\,B) \quad (\iff X \perp\!\!\!\perp A \mid B)

5. 4. 축약

조건부 독립 관계에서 중복되는 조건을 제거하는 규칙은 다음과 같이 표현할 수 있다.

:

\left.\begin{align}X \perp\!\!\!\perp A \mid B \\X \perp\!\!\!\perp B\end{align}\right\}\quad \Rightarrow \quadX \perp\!\!\!\perp A,B

증명이 속성은

\Pr(X\mid A,B) = \Pr(X\mid B) = \Pr(X)

임을 관찰함으로써 증명할 수 있다. 각 등식은 각각

X \perp\!\!\!\perp A \mid B

및

X \perp\!\!\!\perp B

에 의해 주장된다.

:

X \perp\!\!\!\perp A \mid B \quad \land \quad X \perp\!\!\!\perp B \implies \quadX \perp\!\!\!\perp A,\,B

:

X \perp\!\!\!\perp A \mid B \quad \iff \quad  \Pr(X \mid A,\,B) = \Pr(X \mid B)

또한,

:

X \perp\!\!\!\perp B \quad \iff \quad \Pr(X \mid B) = \Pr(X)

이때,

:

\Pr(X \mid A,\,B) = \Pr(X) \quad (\iff X \perp\!\!\!\perp A,\,B)

5. 5. 교차

엄밀히 양의 확률 분포의 경우, 다음이 성립한다.^[5]^[13]

:

\left.\begin{align}X \perp\!\!\!\perp Y \mid Z, W\\X \perp\!\!\!\perp W \mid Z, Y\end{align}\right\}\quad \Rightarrow \quadX \perp\!\!\!\perp W, Y \mid Z

'''증명'''

가정에 따르면 다음과 같다.

:

P(X|Z, W, Y) = P(X|Z, W) \land P(X|Z, W, Y) = P(X|Z, Y) \implies P(X|Z, Y) = P(X|Z, W)

이 등식과 전체 확률의 법칙을

P(X|Z)

에 적용하면 다음과 같다.

:

\begin{align}P(X|Z) &= \sum_{w \in W} P(X|Z, W=w)P(W=w|Z) \\[4pt]&= \sum_{w \in W} P(X|Y, Z)P(W=w|Z) \\[4pt]&= P(X|Z, Y) \sum_{w \in W} P(W=w|Z) \\[4pt]&= P(X|Z, Y)\end{align}

P(X|Z, W, Y) = P(X|Z, Y)

이고

P(X|Z, Y) = P(X|Z)

이므로, 다음이 성립한다.

:

P(X|Z, W, Y) = P(X|Z) \iff X \perp\!\!\!\perp Y,W | Z

5. 6. 부분 공간

엄밀히 양의 확률 분포의 경우, 다음이 성립한다.^[5]

:

\left.\begin{align}X \perp\!\!\!\perp Y \mid Z, W\\X \perp\!\!\!\perp W \mid Z, Y\end{align}\right\}\text{ and }\quad \Rightarrow \quadX \perp\!\!\!\perp W, Y \mid Z

이는 모든 확률 공간에 대해 성립하므로, 다른 변수 ''K''에 모든 것을 조건화하여 부분 공간을 고려하더라도 여전히 성립한다. 예를 들어,

:

X \perp\!\!\!\perp Y \quad \implies \quad Y \perp\!\!\!\perp X

는

:

X \perp\!\!\!\perp Y \mid K \quad \implies \quad Y \perp\!\!\!\perp X \mid K

를 의미하기도 한다. 즉, 다른 조건

K

로 조건부 독립을 설정한 부분 공간에서도 동일한 규칙이 성립한다.

참조

_[1] 문서
_[2] Stack Exchange Could someone explain conditional independence? https://math.stackex[...]
_[3] 웹사이트 Graphical Models http://people.cs.ubc[...]
_[4] 간행물 Conditional Independence in Statistical Theory
_[5] 서적 Causality: Models, Reasoning, and Inference Cambridge University Press
_[6] 학회 Advances in Artificial Intelligence II, Seventh European Conference on Artificial Intelligence, ECAI 1986, Brighton, UK, July 20–25, 1986, Proceedings https://ftp.cs.ucla.[...] North-Holland
_[7] 서적 Probabilistic reasoning in intelligent systems: networks of plausible inference https://archive.org/[...] Morgan Kaufmann 1988
_[8] Stack Exchange Could someone explain conditional independence? https://math.stackex[...]
_[9] 문서
_[10] 간행물 Conditional Independence in Statistical Theory
_[11] 서적 Causality: Models, Reasoning, and Inference Cambridge University Press
_[12] 서적 Probabilistic reasoning in intelligent systems: networks of plausible inference https://archive.org/[...] Morgan Kaufmann 1988
_[13] 서적 Causality: Models, Reasoning, and Inference Cambridge University Press

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com