베르누이 분포

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 성질
3. 관련 분포
참조

1. 개요

베르누이 분포는 성공 확률 p와 실패 확률 q = 1-p로 결정되는 이산 확률 분포이다. 확률 변수 X가 베르누이 분포를 따를 때, X=1일 확률은 p, X=0일 확률은 q이며, 확률 질량 함수는 k=1일 때 p, k=0일 때 q이다. 베르누이 분포는 이항 분포의 특수한 경우이며, 기댓값은 p, 분산은 p(1-p)이다. 또한 왜도, 첨도, 고차 적률, 엔트로피, 피셔 정보량 등의 성질을 가지며, 이항 분포, 기하 분포, 범주형 분포, 베타 분포, 라데마허 분포와 관련이 있다.

2. 성질

베르누이 분포는 성공 확률 $p$ 와 실패 확률 $q = 1-p$ 로 완전히 결정된다.^[3] 이 분포는 $n = 1$ 인 이항 분포의 특수한 경우이다.^[4]

0 \le p \le 1

범위에서 베르누이 분포는 지수족을 형성한다. 임의 표본을 기반으로 한

p

의 최대우도추정량은 표본 평균이다.

2. 1. 확률 질량 함수

만약 X가 베르누이 분포를 따르는 확률변수라면 다음이 성립한다.^[3]

:

\Pr(X=1) = p = 1 - \Pr(X=0) = 1 - q.

이 분포의 확률 질량 함수

f

는 가능한 결과값 ''k''에 대해 다음과 같다.^[3]

:

f(k;p) = \begin{cases}p & \text{if }k=1, \\q = 1-p & \text {if } k = 0.\end{cases}

이는 다음과 같이 표현될 수도 있다.^[3]

:

f(k;p) = p^k (1-p)^{1-k} \quad \text{for } k\in\{0,1\}

또는

:

f(k;p)=pk+(1-p)(1-k) \quad \text{for } k\in\{0,1\}.

베르누이 분포는

n = 1

인 이항 분포의 특수한 경우이다.^[4]

2. 2. 기댓값

베르누이 확률 변수 X의 기댓값은 다음과 같다.

:

\operatorname{E}[X]=p

이는

\Pr(X=1)=p

와

\Pr(X=0)=q

인 베르누이 분포를 따르는 확률 변수 X에 대해 다음과 같이 구할 수 있기 때문이다.

:

\operatorname{E}[X] = \Pr(X=1)\cdot 1 + \Pr(X=0)\cdot 0= p \cdot 1 + q\cdot 0 = p.

^[3]

2. 3. 분산

베르누이 분포를 따르는 확률 변수

X

의 분산은 다음과 같다.

:

\operatorname{Var}[X] = pq = p(1-p)

먼저 다음을 구한다.

:

\operatorname{E}[X^2] = \Pr(X=1)\cdot 1^2 + \Pr(X=0)\cdot 0^2

:

= p \cdot 1^2 + q\cdot 0^2 = p = \operatorname{E}[X]

따라서 다음이 성립한다.

:

\operatorname{Var}[X] = \operatorname{E}[X^2]-\operatorname{E}[X]^2 = \operatorname{E}[X]-\operatorname{E}[X]^2

:

= p-p^2 = p(1-p) = pq

^[3]

이 결과를 이용하면, 임의의 베르누이 분포에 대해 그 분산의 값이

[0,1/4]

범위 내에 있음을 쉽게 증명할 수 있다.

2. 4. 왜도

왜도는

\frac{1-2p}{\sqrt{pq}}

이다. 표준화된 베르누이 분포를 따르는 확률변수

\frac{X-\operatorname{E}[X]}{\sqrt{\operatorname{Var}[X]}}

를 생각해보면, 이 확률변수는 확률

p

로

\frac{q}{\sqrt{pq}}

의 값을 가지고, 확률

q

로

-\frac{p}{\sqrt{pq}}

의 값을 가짐을 알 수 있다. 따라서 다음을 얻는다.

:

\begin{align}\gamma_1 &= \operatorname{E} \left[\left(\frac{X-\operatorname{E}[X]}{\sqrt{\operatorname{Var}[X]}}\right)^3\right] \\&= p \cdot \left(\frac{q}{\sqrt{pq}}\right)^3 + q \cdot \left(-\frac{p}{\sqrt{pq}}\right)^3 \\&= \frac{1}{\sqrt{pq}^3} \left(pq^3-qp^3\right) \\&= \frac{pq}{\sqrt{pq}^3} (q^2-p^2) \\&= \frac{(1-p)^2-p^2}{\sqrt{pq}} \\&= \frac{1-2p}{\sqrt{pq}} = \frac{q-p}{\sqrt{pq}}.\end{align}

2. 5. 첨도

베르누이 분포의 첨도는

\frac{1-6p(1-p)}{p(1-p)}

이다.^[3]

p

가 0 또는 1에 가까워질수록 첨도는 무한대에 가까워지고,

p=1/2

일 때 -2로 가장 작은 값을 가진다. 이는 베르누이 분포를 포함한 이점 분포가 다른 어떤 확률 분포보다 낮은 초과 첨도를 갖는다는 것을 의미한다.^[3]

2. 6. 고차 적률과 누율

원시 적률은 E^영어[X^k] = p이다.

''k''차 중심 적률은 다음과 같이 주어진다.

:μ_k = (1-p)(-p)^k + p(1-p)^k

처음 여섯 개의 중심 적률은 다음과 같다.

:μ₁ = 0

:μ₂ = p(1-p)

:μ₃ = p(1-p)(1-2p)

:μ₄ = p(1-p)(1-3p(1-p))

:μ₅ = p(1-p)(1-2p)(1-2p(1-p))

:μ₆ = p(1-p)(1-5p(1-p)(1-p(1-p)))

더 높은 차수의 중심 적률은 μ₂와 μ₃로 더 간결하게 표현할 수 있다.

:μ₄ = μ₂ (1-3μ₂)

:μ₅ = μ₃ (1-2μ₂)

:μ₆ = μ₂ (1-5μ₂ (1-μ₂))

처음 여섯 개의 누율은 다음과 같다.

:κ₁ = p

:κ₂ = μ₂

:κ₃ = μ₃

:κ₄ = μ₂ (1-6μ₂)

:κ₅ = μ₃ (1-12μ₂)

:κ₆ = μ₂ (1-30μ₂ (1-4μ₂))

2. 7. 엔트로피

성공 확률이

p

이고 실패 확률이

q = 1 - p

인 베르누이 확률 변수

X

의 경우, 엔트로피

H(X)

는 다음과 같이 정의된다.

:

\begin{align}H(X) &= \mathbb{E}_p \ln (\frac{1}{P(X)}) = - [P(X = 0) \ln P(X = 0) + P(X = 1) \ln P(X = 1)] \\H(X) &= - (q \ln q + p \ln p) , \quad  q = P(X = 0),  p = P(X = 1)\end{align}

p = 0.5

일 때 엔트로피가 최대가 되는데, 이는 두 결과가 동일한 확률을 가질 때 불확실성이 가장 높음을 나타낸다.

p = 0

또는

p = 1

일 때, 즉 한 가지 결과가 확실할 때 엔트로피는 0이 된다.

2. 8. 피셔 정보량

베르누이 분포에서 모수 ''p''에 대한 피셔 정보량은 다음과 같이 정의된다.^[1]

:

I(p) = \frac{1}{pq}

여기서 ''q''는 1 - ''p''이다.

이는 ''p''가 0.5일 때 최대값을 가지는데, 이는 최대 불확실성과 따라서 모수 ''p''에 대한 최대 정보를 반영한다.^[1]

3. 관련 분포

이항 분포는 베르누이 시행을 독립적으로 n번 반복했을 때 성공 횟수를 나타내는 분포이며, 베르누이 분포는 이항 분포에서 n=1인 특수한 경우이다.^[3]
기하 분포는 첫 번째 성공을 얻기 위해 필요한 독립적인 베르누이 시행의 횟수를 나타내는 분포이다.^[3]
범주형 분포는 베르누이 분포를 2개 이상의 결과를 갖는 경우로 일반화한 것이다.
베타 분포는 베르누이 분포의 켤레 사전 분포이다.^[5]
$Y \sim \mathrm{Bernoulli}\left(\frac{1}{2}\right)$ 이면, $2Y - 1$ 은 라데마허 분포를 따른다.

3. 1. 이항 분포

베르누이 시행을 n번 독립적으로 반복했을 때 성공 횟수는 이항 분포를 따른다.^[3] 베르누이 분포는 이항 분포 B(n,p)에서 n=1인 특수한 경우이다.^[4] 즉, 베르누이 분포는

\operatorname{B}(1, p)

로 표기할 수 있다.

만약

X_1,\dots,X_n

이 모두 성공 확률이 ''p''인 베르누이 시행이고, 독립적으로 동일하게 분포된(i.i.d.) 확률 변수이면, 그들의 합은 매개변수 ''n''과 ''p''를 갖는 이항 분포를 따른다.^[3]

:

\sum_{k=1}^n X_k \sim \operatorname{B}(n,p)

(이항 분포).

3. 2. 기하 분포

첫 번째 성공을 얻기 위해 필요한, 독립적이고 동일한 베르누이 시행의 수는 기하 분포를 따른다.^[3]

3. 3. 범주형 분포

범주형 분포는 2개 이상의 결과를 가지는 경우로 베르누이 분포를 일반화한 것이다.

3. 4. 베타 분포

베타 분포는 베르누이 분포의 켤레 사전 분포이다.^[5]

3. 5. 라데마허 분포

Y \sim \mathrm{Bernoulli}\left(\frac{1}{2}\right)

이면,

2Y - 1

은 라데마허 분포를 따른다.

참조

_[1] 서적 Introduction to Mathematical Probability McGraw-Hill
_[2] 서적 A Modern Introduction to Probability and Statistics Springer London 2010-10-09
_[3] 서적 Introduction to Probability Athena Scientific 2002
_[4] 서적 Generalized Linear Models, Second Edition Boca Raton: Chapman and Hall/CRC
_[5] 웹사이트 Conjugate priors: Beta and normal https://math.mit.edu[...] 2023-10-20

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com