모멘트 생성 함수

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 정의
3. 계산
4. 주요 성질
5. 다른 함수와의 관계
6. 예제
참조

1. 개요

모멘트 생성 함수는 확률 변수의 분포를 나타내는 함수로, 변수의 적률을 계산하는 데 사용된다. 확률 변수 X의 모멘트 생성 함수 M_X(t)는 E[e^tX]로 정의되며, 0 근방에서 t에 대해 존재한다. 모멘트 생성 함수는 확률 분포의 모멘트의 지수적 생성 함수이므로, n번째 모멘트는 모멘트 생성 함수를 t=0에서 평가한 n번째 도함수이다. 모멘트 생성 함수는 선형 변환, 독립 확률 변수의 합, 벡터 값 확률 변수 등 다양한 경우에 적용될 수 있으며, 특성 함수, 큐물런트 생성 함수, 확률 생성 함수 등 다른 함수와 밀접한 관련을 맺는다.

더 읽어볼만한 페이지

모멘트 (수학) - 분산
분산은 확률 변수의 흩어진 정도를 나타내는 값으로, 확률 변수 제곱의 기댓값에서 기댓값의 제곱을 뺀 것과 같으며, 0 이상의 값을 갖고, 표준 편차의 제곱이다.
모멘트 (수학) - 모멘트 문제
모멘트 문제는 측도 공간에서 특정 조건을 만족하는 적분 가능 함수가 존재하는지, 존재한다면 유일한지 묻는 문제로, 고전적인 형태로는 실수선 위의 측도와 수열을 다루며, 유일성 판별에는 칼레만 조건과 크레인 조건 등이 사용된다.
확률론 - 확률 밀도 함수
확률 밀도 함수는 연속 확률 변수의 확률 분포를 나타내는 함수로, 특정 구간에서 확률 변수가 값을 가질 확률은 해당 구간에 대한 함수의 적분으로 계산되며, 통계적 특성 계산 및 변수 변환 등에 활용되어 불확실성 모델링 및 분석에 중요한 역할을 한다.
확률론 - 체비쇼프 부등식
체비쇼프 부등식은 확률 변수가 평균에서 얼마나 멀리 떨어져 있는지에 대한 확률의 상한을 제공하는 부등식으로, 이레네-쥘 비네메가 처음 공식화하고 체비쇼프와 안드레이 마르코프에 의해 일반화 및 증명되었으며, 확률론적 표현 외에도 측도 공간에 대한 명제로 확장될 수 있다.

모멘트 생성 함수

2. 정의

확률변수 ''X''의 누적 분포 함수(CDF)를 $F_X$ 라고 할 때, ''X'' (또는 $F_X$ )의 적률생성함수(mgf) $M_X(t)$ 는 $e^{tX}$ 의 기대값으로 정의된다.^[1]

: $M_X(t) = \operatorname E \left[e^{tX}\right]$

이는 0의 어떤 열린 근방에서 $t$ 에 대해 존재한다고 가정한다. 즉, $-h 인 모든 t 에 대해 \operatorname E \left[e^{tX}\right] 가 존재하게 하는 h>0 이 있다.$

$n$ 차원 확률 벡터 $\mathbf X = ( X_1, \ldots, X_n)^{\mathrm{T}}$ 에 대해서는, $tX$ 대신 $\mathbf t \cdot \mathbf X = \mathbf t^\mathrm T\mathbf X$ 를 사용하여 적률생성함수를 정의한다.

: $M_{\mathbf X}(\mathbf t) := \operatorname E \left(e^{\mathbf t^\mathrm T\mathbf X}\right).$

$M_X(0)$ 는 항상 존재하며 1과 같다. 그러나 적률생성함수의 주요 문제점은 적률과 적률생성함수가 존재하지 않을 수 있다는 점인데, 적분은 절대적으로 수렴할 필요가 없기 때문이다. 반대로, 특성 함수는 항상 존재하며, 어떤 목적을 위해서는 대신 사용할 수 있다.

적률생성함수는 분포의 적률을 찾는 데 사용할 수 있기 때문에 이러한 이름이 붙었다.^[2] $e^{tX}$ 의 급수 전개는 다음과 같다.

: $e^{t\,X} = 1 + t\,X + \frac{t^2\,X^2}{2!} + \frac{t^3\,X^3}{3!} + \cdots +\frac{t^n\,X^n}{n!} + \cdots.$

따라서,

: $\begin{align}M_X(t) = \operatorname E (e^{t\,X}) &= 1 + t \operatorname E (X) + \frac{t^2 \operatorname E (X^2)}{2!} + \frac{t^3\operatorname E (X^3)}{3!}+\cdots + \frac{t^n\operatorname E (X^n)}{n!}+\cdots \\& = 1 + tm_1 + \frac{t^2m_2}{2!} + \frac{t^3m_3}{3!}+\cdots + \frac{t^nm_n}{n!} + \cdots,\end{align}$

여기서 $m_n$ 은 $n$ 번째 적률이다.

$X$ 가 연속 확률 변수이면, 적률생성함수 $M_X(t)$ 와 확률 밀도 함수 $f_X(x)$ 의 양측 라플라스 변환 사이에는 다음과 같은 관계가 성립한다.

: $M_X(t) = \mathcal{L}\{f_X\}(-t),$

이는 적률생성함수가 존재할 때 $X$ 의 특성 함수가 $M_X(t)$ 의 윅 회전인 것과 일치한다.

3. 계산

''X''의 확률밀도함수가 $f(x)\$ 이면 적률생성함수는 다음과 같이 구한다.

: $M_X(t) = \int_{-\infty}^\infty e^{tx} f(x)\,\mathrm{d}x$

::: $= \int_{-\infty}^\infty \left( 1+ tx + \frac{t^2x^2}{2!} + \cdots\right) f(x)\,\mathrm{d}x$

::: $= 1 + tm_1 + \frac{t^2m_2}{2!} +\cdots,$

이때 $m_i\$ 는 ''i''번째 적률이며 $M_X(-t)\$ 는 $f(x)\$ 의 양측라플라스변환이다.

확률분포가 연속이든 아니든 ''F''가 누적분포함수이면 적률생성함수는 다음과 같은 리만-스틸체스 적분으로 구할 수 있다.

:: $M_X(t) = \int_{-\infty}^\infty e^{tx}\,dF(x)$

모멘트 생성 함수는 확률 변수의 함수의 기댓값이며 다음과 같이 쓸 수 있다.

확률 질량 함수가 이산적인 경우, $M_X(t)=\sum_{i=0}^\infty e^{tx_i}\, p_i$
확률 밀도 함수가 연속적인 경우, $M_X(t) = \int_{-\infty}^\infty e^{tx} f(x)\,dx$
일반적인 경우, $M_X(t) = \int_{-\infty}^\infty e^{tx}\,dF(x)$ 로, 리만-스틸체스 적분을 사용하며, 여기서 $F$ 는 누적 분포 함수이다. 이는 단순히 $F$ 의 라플라스-스틸체스 변환이지만, 인수의 부호가 반대로 되어 있다.

X

가 연속적인 확률 밀도 함수

f(x)

를 갖는 경우,

M_X(-t)

는

f(x)

의 양방향 라플라스 변환이다.

:

\begin{align}M_X(t) & = \int_{-\infty}^\infty e^{tx} f(x)\,dx \\& = \int_{-\infty}^\infty \left( 1+ tx + \frac{t^2x^2}{2!} + \cdots + \frac{t^nx^n}{n!} + \cdots\right) f(x)\,dx \\& = 1 + tm_1 + \frac{t^2m_2}{2!} +\cdots + \frac{t^nm_n}{n!} +\cdots,\end{align}

여기서

m_n

은

n

번째 모멘트이다.

모멘트 생성 함수는 ''t'' = 0 주변의 열린 구간에서 존재할 경우, 확률 분포의 모멘트의 지수적 생성 함수이기 때문에 그렇게 불린다.

:

m_n = E \left( X^n \right) = M_X^{(n)}(0) = \left. \frac{d^n M_X}{dt^n}\right|_{t=0}.

즉, ''n''이 음이 아닌 정수일 때, 0에 대한 ''n''번째 모멘트는 모멘트 생성 함수를 ''t'' = 0에서 평가한 ''n''번째 도함수이다.

적률생성함수는 리만-스틸체스 적분으로 다음과 같이 주어진다.

:

M_X(t) = \int_{-\infty}^\infty e^{tx}\,dF(x)

여기서 ''F''는 누적 분포 함수이다.

''X''가 연속적인 확률 밀도 함수 ''f''(''X'')를 갖는 경우,

M_X(-t)

는 ''f''(''x'')의 양측 라플라스 변환이다.

:

\begin{align}M_X(t) &= \int_{-\infty}^\infty e^{tx} f(x)\,\mathrm{d}x \\&= \int_{-\infty}^\infty \left( 1 + tx + \frac{t^2x^2}{2!} + \dotsb \right) f(x)\,\mathrm{d}x \\&= 1 + tm_1 + \frac{t^2m_2}{2!} + \dotsb\end{align}

여기서,

m_i

는 ''i''번째 적률이다.

3. 1. 선형 변환

확률 변수

X

가 적률 생성 함수

M_X(t)

를 갖는다면,

\alpha X + \beta

는 적률 생성 함수

M_{\alpha X + \beta}(t) = e^{\beta t}M_X(\alpha t)

를 갖는다.

:

M_{\alpha X + \beta}(t) = E[e^{(\alpha X + \beta)t}] = e^{\beta t}E[e^{\alpha Xt}] = e^{\beta t}M_X(\alpha t)

3. 2. 독립 확률 변수의 합

S_n = \sum_{i=1}^{n} a_i X_i

이고, 여기서 ''X''_''i''는 서로 독립인 확률 변수이고 ''a''_''i''는 상수라면, ''S''_''n''의 확률 밀도 함수는 각 ''X''_''i''의 확률 밀도 함수의 합성곱이며, ''S''_''n''의 적률 생성 함수는 다음과 같이 주어진다.

:

M_{S_n}(t)=M_{X_1}(a_1t)M_{X_2}(a_2t)\cdots M_{X_n}(a_nt) \, .

두 개의 독립적인 확률 변수의 합의 적률 생성 함수는 다음과 같다.

:

M_{X+Y}(t) = E\left(e^{t(X+Y)}\right) = E(e^{tX})E(e^{tY}) = M_X(t)M_Y(t)

3. 3. 벡터 값 확률 변수

벡터 값 확률 변수

\mathbf X

가 실수 성분을 가질 때, 모멘트 생성 함수는 다음과 같이 주어진다.

:

M_X(\mathbf t) = E\left(e^{\langle \mathbf t, \mathbf X \rangle}\right)

여기서

\mathbf t

는 벡터이고,

\langle \cdot, \cdot \rangle

는 내적이다.

4. 주요 성질

적률생성함수는 양수이며 로그 볼록이다. ''M''(0) = 1이다.

두 확률변수 ''X''와 ''Y''의 적률생성함수가 모든 ''t''에 대해 같다면, 두 확률변수의 분포는 같다. 즉, 모든 값 ''t''에 대해,

: $M_X(t) = M_Y(t),\,$

이면,

: $F_X(x) = F_Y(x) \,$

이다.

로그 정규 분포처럼 어떤 경우에는 모멘트가 존재하지만 극한

: $\lim_{n \rightarrow \infty} \sum_{i=0}^n \frac{t^im_i}{i!}$

이 존재하지 않아 모멘트 생성 함수가 존재하지 않기도 한다.

적률생성함수를 이용하여 확률분포의 모멘트를 계산할 수 있다. ''n''이 음이 아닌 정수일 때, 0에 대한 ''n''번째 모멘트는 모멘트 생성 함수를 ''t'' = 0에서 평가한 ''n''번째 도함수이다.

: $m_n = E \left( X^n \right) = M_X^{(n)}(0) = \left. \frac{d^n M_X}{dt^n}\right|_{t=0}.$

5. 다른 함수와의 관계

특성 함수 $\varphi_X(t)$ 는 모멘트 생성 함수와 $\varphi_X(t) = M_{iX}(t) = M_X(it)$ 라는 관계에 있다. 즉, 특성 함수는 ''iX''의 모멘트 생성 함수이며, ''X''의 모멘트 생성 함수를 허수 축에서 평가한 것이다. 이 함수는 확률 밀도 함수의 푸리에 변환으로 볼 수도 있으며, 따라서 역 푸리에 변환을 통해 이를 추론할 수 있다.

큐물런트 생성 함수는 적률생성함수의 로그로 정의된다. 일부에서는 큐물런트 생성 함수를 특성 함수의 로그로 정의하며, 다른 사람들은 후자를 ''두 번째'' 큐물런트 생성 함수라고 부른다.

확률 생성 함수 ''G(''z'')''는 $G(z) = E\left[z^X\right]$ 로 정의된다. 이는 $G(e^t) = E\left[e^{tX}\right] = M_X(t)$ 임을 의미한다.

5. 1. 특성 함수

특성 함수

\varphi_X(t)

는 모멘트 생성 함수와

\varphi_X(t) = M_{iX}(t) = M_X(it)

라는 관계에 있다. 즉, 특성 함수는 ''iX''의 모멘트 생성 함수이며, ''X''의 모멘트 생성 함수를 허수 축에서 평가한 것이다. 이 함수는 확률 밀도 함수의 푸리에 변환으로 볼 수도 있으며, 따라서 역 푸리에 변환을 통해 이를 추론할 수 있다.

5. 2. 큐물런트 생성 함수

큐물런트 생성 함수는 적률생성함수의 로그로 정의된다. 일부에서는 큐물런트 생성 함수를 특성 함수의 로그로 정의하며, 다른 사람들은 후자를 ''두 번째'' 큐물런트 생성 함수라고 부른다.

5. 3. 확률 생성 함수

확률 생성 함수 ''G(''z'')''는

G(z) = E\left[z^X\right]

로 정의된다. 이는

G(e^t) = E\left[e^{tX}\right] = M_X(t)

임을 의미한다.

6. 예제

다음은 자주 사용되는 확률분포의 적률생성함수와 특성함수 목록이다.

|-

| 음이항 분포 NB(''r, p'')

|

\, \frac{(pe^t)^r}{(1-(1-p)e^t)^r}

|

\, \frac{p^r}{(1-(1-p)e^{it})^r}

|-

|}

참조

_[1] 서적 Statistical Inference Wadsworth & Brooks/Cole
_[2] 서적 Principles of Statistics Dover
_[3] 문서 Kotz et al. p. 37 using 1 as the number of degree of freedom to recover the Cauchy distribution 2019-12
_[4] 서적 Probability: A Graduate Course Springer-Verlag

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com

분포	모멘트생성함수	특성함수
이항 분포 B(n, p)	$\, (1-p+pe^t)^n$	$\, (1-p+pe^{it})^n$
푸아송 분포 Pois(λ)	$\, e^{\lambda(e^t-1)}$	$\, e^{\lambda(e^{it}-1)}$
연속균등분포 U(a, b)	$\, \frac{e^{tb} - e^{ta}}{t(b-a)}$	$\, \frac{e^{itb} - e^{ita}}{it(b-a)}$
정규분포 N(μ, σ²)	$\, e^{t\mu + \frac{1}{2}\sigma^2t^2}$	$\, e^{it\mu - \frac{1}{2}\sigma^2t^2}$
카이제곱 분포 χ²_k	$\, (1 - 2t)^{-k/2}$	$\, (1 - 2it)^{-k/2}$
감마 분포 Γ(k, θ)	$\, (1 - t\theta)^{-k}$	$\, (1 - it\theta)^{-k}$
지수분포 Exp(λ)	$\, (1 - t\lambda^{-1})^{-1}$	$\, (1 - it\lambda^{-1})^{-1}$
다변량 정규분포 N(μ, Σ)	$\, e^{t^\mathrm{T} \mu + \frac{1}{2} t^\mathrm{T} \Sigma t}$	$\, e^{i t^\mathrm{T} \mu - \frac{1}{2} t^\mathrm{T} \Sigma t}$
퇴화분포 δ_a	$\, e^{ta}$	$\, e^{ita}$
라플라스 분포 L(μ, b)	$\, \frac{e^{t\mu}}{1 - b^2t^2}$	$\, \frac{e^{it\mu}}{1 + b^2t^2}$
코시 분포 Cauchy(μ, θ)	정의되지 않음	\, e^{it\mu -\theta>t\|}