사후 확률

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 정의
- 2.1. 베이즈 정리를 이용한 계산
3. 예시
4. 계산
5. 신뢰 구간
6. 분류
7. 베이즈 갱신
참조

1. 개요

사후 확률은 베이즈 통계학에서 증거가 주어졌을 때 모수의 확률을 의미하며, 가능도 함수와 사전 확률을 통해 계산된다. 사후 확률은 사전 확률에 새로운 정보를 더하여 갱신하는 베이즈 갱신을 가능하게 하며, 사후 확률의 분포를 사후 확률 분포 또는 사후 분포라고 한다. 베이즈 정리를 이용하여 계산하며, 학생, 주사위, 몬티 홀 문제 등 다양한 예시를 통해 사후 확률의 개념을 설명한다. 사후 확률은 신뢰 구간을 통해 불확실성을 요약하고, 통계적 분류에서 관측값 평가의 불확실성을 반영하는 데 사용된다.

더 읽어볼만한 페이지

베이즈 통계학 - 주관주의
주관주의는 현실이 인식에 의존한다는 철학적 입장으로, 형이상학에서는 궁극적 실재가 인식에 달려있다고 보며, 윤리학에서는 윤리적 판단이 개인의 태도에 따라 달라진다고 보고, 확률론에서는 확률을 개인의 신념으로 해석한다.
베이즈 통계학 - 최대 엔트로피 원리
최대 엔트로피 원리는 주어진 제약 조건에서 정보 엔트로피를 최대화하는 확률 분포를 선택하는 원리로, 불완전한 정보나 불확실성 하에서 시스템의 확률 분포를 추정하거나 최적의 결정을 내리는 데 활용되며 다양한 분야에 응용된다.

사후 확률

2. 정의

베이즈 통계학에서 사후 확률은 어떤 사건이 일어났다는 조건 하에서 특정 모수에 대한 확률을 의미하며, $p(\theta|X)$ 로 나타낸다. 이는 모수가 주어졌을 때 그 사건이 발생할 확률인 가능도 함수( $p(X|\theta)$ )와는 반대되는 개념이다.^[6] 사후 확률은 사전 확률 분포에 가능도 함수를 곱하고, 이를 정규화하여 얻을 수 있다. 사전 확률과 사후 확률은 고전적인 빈도주의 통계학에서는 사용되지 않고, 베이즈 통계학에서 사용되는 용어이다.

2. 1. 베이즈 정리를 이용한 계산

베이즈 통계학에서 사후 확률은 증거

X

가 주어졌을 때 모수

\theta

의 확률이며,

p(\theta |X)

로 표시된다.^[6] 이는 모수가 주어졌을 때 증거의 확률인 가능도 함수

p(X|\theta)

와 대조된다.

사전 신념에 따라 확률 분포 함수가

p(\theta)

이고 관측치

x

가 가능도

p(x|\theta)

를 가진다면, 사후 확률은 다음과 같이 정의된다.^[6]

:

p(\theta|x) = \frac{p(x|\theta)}{p(x)}p(\theta)

여기서

p(x)

는 정규화 상수이며 다음과 같이 계산된다.^[7]

:

p(x) = \int p(x|\theta)p(\theta)d\theta

이는 연속적인

\theta

의 경우이고, 이산적인

\theta

에 대해서는 모든 가능한

\theta

값에 대해

p(x|\theta)p(\theta)

를 합산하여 계산한다.^[7]

따라서 사후 확률은 '가능도 · 사전 확률'의 곱에 정비례한다.^[8]

어떤 확률 변수의 사후 확률 분포는 다른 확률 변수의 값에 따라 베이즈 정리를 사용하여 계산할 수 있다. 이는 사전 확률 분포에 가능도 함수를 곱한 다음 정규화 상수로 나누어 계산한다.^[10]

:

f_{X\mid Y=y}(x)={f_X(x) \mathcal L_{X\mid Y=y}(x) \over {\int_{-\infty}^\infty f_X(u) \mathcal L_{X\mid Y=y}(u)\,du}}

위 식은 데이터

Y=y

가 주어졌을 때 확률 변수

X

의 사후 확률 밀도 함수를 제공하며, 여기서 각 항목은 다음과 같다.^[10]

$f_X(x)$ 는 $X$ 의 사전 밀도
$\mathcal L_{X\mid Y=y}(x) = f_{Y\mid X=x}(y)$ 는 $x$ 의 함수로서의 가능도 함수
$\int_{-\infty}^\infty f_X(u) \mathcal L_{X\mid Y=y}(u)\,du$ 는 정규화 상수
$f_{X\mid Y=y}(x)$ 는 데이터 $Y=y$ 가 주어졌을 때 $X$ 의 사후 밀도

사전 확률과 사후 확률의 관계는 상대적인 것으로, 사후 확률을 사전 확률로 하여 추가 정보를 더하고 새로운 사후 확률을 구할 수 있다.

사후 확률의 확률 분포가 '''사후 확률 분포'''(posterior probability distribution^영어)이며, '''사후 분포'''(posterior^영어)로 줄여 부른다. 이는 사전 확률 분포에 우도 함수를 곱하고, 이를 정규화(합계 값 또는 적분 값을 1로)하여 얻을 수 있다. 사전 확률과 사후 확률은 고전적인 빈도주의 통계학에서는 사용되지 않고, 베이즈 통계학의 용어이다.

예를 들어,

:

f_{X\mid Y=y}(x)={f_X(x) L_{X\mid Y=y}(x) \over {\int_{-\infty}^\infty f_X(x) L_{X\mid Y=y}(x)\,dx}}

에 의해, 데이터 ''Y''='y'가 주어졌을 경우 변수 ''X''에 대한 사후 확률의 확률 밀도 함수를 얻을 수 있다. 단, 여기서

$f_X(x)$ 는 X의 사전 확률 분포
$L_{X\mid Y=y}(x) = f_{Y\mid X=x}(y)$ 는 ''x''의 함수로서의 우도 함수(데이터 ''Y''='y'가 주어졌을 때, ''X''의 값이 ''x''라고 생각하는 타당성을 나타냄)
$\int_{-\infty}^\infty f_X(x) L_{X\mid Y=y}(x)\,dx$ 는 정규화(적분 값을 1로 만들기 위한) 계수
$f_{X\mid Y=y}(x)$ 는 ''X''의 사후 확률 분포

이다. 이처럼, 사전 확률에 증거가 되는 정보를 더하여 보다 그럴듯한 사후 확률을 구하는 것을 베이즈 갱신(또는 베이즈 업데이트)이라고 하며, 이 방법을 사용하는 추정을 베이즈 추정이라고 한다.

3. 예시

어떤 학교에 남학생 60%, 여학생 40%가 있다고 가정할 때, 여학생들은 바지나 치마를 같은 비율로 입고 모든 남학생은 바지를 입는다고 하자. 이때 무작위로 한 학생을 멀리서 보았을 때, 그 학생이 바지를 입고 있다면 이 학생이 여학생일 확률은 얼마일까? 이 문제는 베이즈 정리를 사용하여 계산할 수 있다.^[9]

이러한 유형의 문제는 베이즈 정리를 활용하여 사후 확률을 계산하는 전형적인 예시이다. 주어진 조건과 확률을 이용하여, 관찰된 사건(바지 착용)이 특정 조건(여학생)에 해당할 확률을 구할 수 있다. (자세한 풀이 과정은 하위 섹션인 '학생 예제'에서 다룬다.)

3. 1. 학생 예제

어떤 학교에 남학생이 60%, 여학생이 40% 있다고 가정해 보자. 여학생들은 바지나 치마를 같은 비율로 입고, 모든 남학생은 바지를 입는다. 관찰자가 멀리서 한 학생을 보았는데, 바지를 입고 있다면 이 학생이 여학생일 확률은 얼마일까? 베이즈 정리를 사용하면 이 확률을 계산할 수 있다.

관찰된 학생이 여학생인 사건을 ''G'', 바지를 입고 있는 사건을 ''T''라고 하자. 사후 확률 ''P(G|T)''를 계산하려면 다음 정보가 필요하다.

''P(G)'': 다른 정보 없이 학생이 여학생일 확률. 여학생 비율이 40%이므로 0.4이다.
''P(B)'': 다른 정보 없이 학생이 남학생일 확률 (''G''의 여사건). 남학생 비율이 60%이므로 0.6이다.
''P(T|G)'': 학생이 여학생일 때 바지를 입을 확률. 치마와 바지를 입을 확률이 같으므로 0.5이다.
''P(T|B)'': 학생이 남학생일 때 바지를 입을 확률. 문제에서 1로 주어졌다.
''P(T)'': 다른 정보 없이 학생이 바지를 입을 확률. 전확률의 법칙에 의해 ''P(T) = P(T|G)P(G) + P(T|B)P(B) = 0.5 × 0.4 + 1 × 0.6 = 0.8''이다.

이 정보를 바탕으로 사후 확률을 계산하면 다음과 같다.

:

P(G|T) = \frac{P(T|G) P(G)}{P(T)} = \frac{0.5 \times 0.4}{0.8} = 0.25.

즉, 관찰자가 바지를 입은 학생을 보았을 때 그 학생이 여학생일 확률은 0.25 (25%)이다.

이 문제를 직관적으로 해결하는 방법은 학교에 N명의 학생이 있다고 가정하는 것이다. 남학생 수는 0.6N, 여학생 수는 0.4N이다. N이 충분히 크면, 바지 착용자 총 수는 0.6N + (0.4N의 50%)이다. 그리고 바지를 입은 여학생 수는 0.4N의 50%이다. 따라서 바지를 입은 학생들 중에서 여학생은 (0.4N의 50%) / (0.6N + (0.4N의 50%)) = 25%이다. 즉, 바지를 입은 학생들의 그룹을 분리하면, 그 그룹의 1/4이 여학생이다. 그러므로 바지를 보면, 여학생이 25%인 학생의 부분집합에서 단일 샘플을 보고 있다는 것을 추론할 수 있다. 정의에 따르면, 이 무작위 학생이 여학생일 확률은 25%이다. 모든 베이즈 정리 문제는 이런 방식으로 해결할 수 있다.^[9]

3. 2. 주사위 예제

A씨가 주사위를 두 번 굴려 나온 눈을 기록한다. 그 결과를 모르는 B씨에게 "둘 중 하나라도 2가 나올 확률은?"이라고 묻는다. (주사위가 완전히 무작위라고 가정하면) 답은 11/36이다. 이것이 사전 확률이다.

다음으로 A씨는 "나온 눈의 합은 6이었다"는 힌트(새로운 정보)를 제시한다. 그러면 2가 나올 확률은 2/5가 된다. 이것이 사후 확률이다.

3. 3. 몬티 홀 문제

몬티 홀 문제는 사후 확률의 대표적인 예시 중 하나이다. 세 개의 문 뒤에는 각각 한 대의 자동차와 두 마리의 염소가 숨겨져 있다. 참가자가 한 문을 선택하면, 사회자는 선택되지 않은 문 중에서 염소가 있는 문 하나를 열어 보여준다. 이때, 참가자가 처음에 선택한 문을 바꾸는 것이 유리할까, 아니면 그대로 유지하는 것이 유리할까? 베이즈 정리를 이용하면, 문을 바꾸는 경우 당첨 확률은 2/3, 바꾸지 않는 경우 당첨 확률은 1/3이 된다.^[1]

세 개의 커튼 안에 하나의 "당첨"과 두 개의 "꽝"이 숨겨져 있다고 가정해 보자. 먼저 아무런 정보가 없을 경우, 세 개 중 어느 하나가 당첨될 확률은 (위치에 관해 완전히 무작위라고 가정하면) 1/3이 된다. 이것이 사전 확률이다.^[1]

답변자가 세 개 중에서 하나를 선택한 후에, 사회자가 답변자가 선택하지 않은 꽝 중 하나(이것이 꽝이라는 새로운 정보)를 보여준다. 그러면 처음에 선택한 하나가 당첨일 확률은 1/3, 나머지 하나가 당첨일 확률은 2/3이 된다. 이 1/3 및 2/3이 사후 확률이다. (이것은 직관적으로 생각하면 오해하기 쉽다.)^[1]

4. 계산

어떤 확률 변수의 사후 확률 분포는 다른 확률 변수의 값에 따라 베이즈 정리를 사용하여 계산할 수 있다. 이는 사전 확률 분포에 가능도 함수를 곱한 다음 정규화 상수로 나누어 계산한다.^[10]

: $f_{X\mid Y=y}(x)={f_X(x) \mathcal L_{X\mid Y=y}(x) \over {\int_{-\infty}^\infty f_X(u) \mathcal L_{X\mid Y=y}(u)\,du}}$

위 식은 데이터 $Y=y$ 가 주어졌을 때 확률 변수 $X$ 의 사후 확률 밀도 함수를 제공하며, 여기서

$f_X(x)$ 는 $X$ 의 사전 밀도이고,
$\mathcal L_{X\mid Y=y}(x) = f_{Y\mid X=x}(y)$ 는 $x$ 의 함수로서의 가능도 함수이고,
$\int_{-\infty}^\infty f_X(u) \mathcal L_{X\mid Y=y}(u)\,du$ 는 정규화 상수이고,
$f_{X\mid Y=y}(x)$ 는 데이터 $Y=y$ 가 주어졌을 때 $X$ 의 사후 밀도이다.^[10]

5. 신뢰 구간

사후 확률은 임의로 관찰된 데이터를 조건으로 하는 조건부 확률이므로, 확률 변수이다. 따라서 불확실성의 정도를 요약하는 것이 중요하며, 이를 위해 사후 확률의 신뢰 구간을 제공할 수 있다.^[11]

6. 분류

통계적 분류에서 사후 확률은 특정 클래스에 대한 관측값 평가의 불확실성을 반영하며, 클래스 소속 확률도 참조할 수 있다.^[12]

통계적 분류 방법은 정의상 사후 확률을 생성하지만, 기계 학습자는 일반적으로 확률적 신뢰도를 유도하지 않는 소속 값을 제공한다.^[12] 소속 값은 비교 가능하며 추가적으로 후처리에 더 쉽게 적용할 수 있으므로 클래스 소속 확률로 변환하거나 다시 조정하는 것이 바람직하다.^[12]

7. 베이즈 갱신

사전 확률과 사후 확률의 관계는 상대적이어서, 한 단계에서의 사후 확률을 다음 단계의 사전 확률로 하여 추가 정보를 더하고 새로운 사후 확률을 구할 수 있다.

예를 들어,

: $f_{X\mid Y=y}(x)={f_X(x) L_{X\mid Y=y}(x) \over {\int_{-\infty}^\infty f_X(x) L_{X\mid Y=y}(x)\,dx}}$

에 의해, 데이터 ''Y''='y'가 주어졌을 경우 변수 ''X''에 대한 사후 확률의 확률 밀도 함수를 얻을 수 있다. 여기서

$f_X(x)$ 는 X의 사전 확률 분포
$L_{X\mid Y=y}(x) = f_{Y\mid X=x}(y)$ 는 ''x''의 함수로서의 우도 함수(데이터 ''Y''='y'가 주어졌을 때, ''X''의 값이 ''x''라고 생각하는 타당성을 나타냄)
$\int_{-\infty}^\infty f_X(x) L_{X\mid Y=y}(x)\,dx$ 는 정규화(적분 값을 1로 만들기 위한) 계수
$f_{X\mid Y=y}(x)$ 는 ''X''의 사후 확률 분포

이다. 이처럼, 사전 확률에 증거가 되는 정보를 더하여 보다 그럴듯한 사후 확률을 구하는 것을 베이즈 갱신(또는 베이즈 업데이트)이라고 하며, 이 방법을 사용하는 추정을 베이즈 추정이라고 한다.

참조

_[1] 서적 A Student's Guide to Bayesian Statistics Sage
_[2] 간행물 Inferences from observations to simple statistical hypotheses University of Sydney
_[3] 웹사이트 Understanding Bayes: Updating priors via the likelihood https://alexanderetz[...] 2015-07-25
_[4] 서적 Bayesian Methods: A Social and Behavioral Sciences Approach Chapman & Hall
_[5] 서적 Bayesian Statistics : Principles, Models, and Applications John Wiley & Sons
_[6] 서적 Pattern Recognition and Machine Learning Springer
_[7] 서적 Bayesian Data Analysis CRC Press
_[8] 서적 Chapter 8 Introduction to Continuous Prior and Posterior Distributions https://bookdown.org[...]
_[9] 웹사이트 Bayes' theorem - C o r T e x T https://sites.google[...] 2022-08-18
_[10] 웹사이트 Posterior probability - formulasearchengine https://formulasearc[...] 2022-08-19
_[11] 서적 Chapter 1 The Basics of Bayesian Statistics https://statswithr.g[...]
_[12] 학술지 Linear Discriminant Analysis for Prediction of Group Membership: A User-Friendly Primer http://journals.sage[...] 2019-07-09

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com