모멘트 생성 함수

1. 개요

모멘트 생성 함수는 확률 변수의 분포를 나타내는 함수로, 변수의 적률을 계산하는 데 사용된다. 확률 변수 X의 모멘트 생성 함수 M_X(t)는 E[e^tX]로 정의되며, 0 근방에서 t에 대해 존재한다. 모멘트 생성 함수는 확률 분포의 모멘트의 지수적 생성 함수이므로, n번째 모멘트는 모멘트 생성 함수를 t=0에서 평가한 n번째 도함수이다. 모멘트 생성 함수는 선형 변환, 독립 확률 변수의 합, 벡터 값 확률 변수 등 다양한 경우에 적용될 수 있으며, 특성 함수, 큐물런트 생성 함수, 확률 생성 함수 등 다른 함수와 밀접한 관련을 맺는다.

2. 정의

확률변수 X의 누적 분포 함수(CDF)를 $F\_X$라고 할 때, X (또는 $F\_X$)의 적률생성함수(mgf) $M\_X(t)$는 $e^\{tX\}$의 기대값으로 정의된다.

:$M\_X(t)\; =\; \backslash operatorname\; E\; \backslash left[e^\{tX\}\backslash right]$

이는 0의 어떤 열린 근방에서 $t$에 대해 존재한다고 가정한다. 즉,

$n$차원 확률 벡터 $\backslash mathbf\; X\; =\; (\; X\_1,\; \backslash ldots,\; X\_n)^\{\backslash mathrm\{T\}\}$에 대해서는, $tX$ 대신 $\backslash mathbf\; t\; \backslash cdot\; \backslash mathbf\; X\; =\; \backslash mathbf\; t^\backslash mathrm\; T\backslash mathbf\; X$를 사용하여 적률생성함수를 정의한다.

:$M\_\{\backslash mathbf\; X\}(\backslash mathbf\; t)\; :=\; \backslash operatorname\; E\; \backslash left(e^\{\backslash mathbf\; t^\backslash mathrm\; T\backslash mathbf\; X\}\backslash right).$

$M\_X(0)$는 항상 존재하며 1과 같다. 그러나 적률생성함수의 주요 문제점은 적률과 적률생성함수가 존재하지 않을 수 있다는 점인데, 적분은 절대적으로 수렴할 필요가 없기 때문이다. 반대로, 특성 함수는 항상 존재하며, 어떤 목적을 위해서는 대신 사용할 수 있다.

적률생성함수는 분포의 적률을 찾는 데 사용할 수 있기 때문에 이러한 이름이 붙었다. $e^\{tX\}$의 급수 전개는 다음과 같다.

:$$
e^{t\,X} = 1 + t\,X + \frac{t^2\,X^2}{2!} + \frac{t^3\,X^3}{3!} + \cdots +\frac{t^n\,X^n}{n!} + \cdots.


따라서,

:$$
\begin{align}
M_X(t) = \operatorname E (e^{t\,X}) &= 1 + t \operatorname E (X) + \frac{t^2 \operatorname E (X^2)}{2!} + \frac{t^3\operatorname E (X^3)}{3!}+\cdots + \frac{t^n\operatorname E (X^n)}{n!}+\cdots \\
& = 1 + tm_1 + \frac{t^2m_2}{2!} + \frac{t^3m_3}{3!}+\cdots + \frac{t^nm_n}{n!} + \cdots,
\end{align}


여기서 $m\_n$은 $n$번째 적률이다.

$X$가 연속 확률 변수이면, 적률생성함수 $M\_X(t)$와 확률 밀도 함수 $f\_X(x)$의 양측 라플라스 변환 사이에는 다음과 같은 관계가 성립한다.

:$$
M_X(t) = \mathcal{L}\{f_X\}(-t),


이는 적률생성함수가 존재할 때 $X$의 특성 함수가 $M\_X(t)$의 윅 회전인 것과 일치한다.

3. 계산

X의 확률밀도함수가 $f(x)\backslash$이면 적률생성함수는 다음과 같이 구한다.

:$M\_X(t)\; =\; \backslash int\_\{-\backslash infty\}^\backslash infty\; e^\{tx\}\; f(x)\backslash ,\backslash mathrm\{d\}x$
:::$=\; \backslash int\_\{-\backslash infty\}^\backslash infty\; \backslash left(\; 1+\; tx\; +\; \backslash frac\{t^2x^2\}\{2!\}\; +\; \backslash cdots\backslash right)\; f(x)\backslash ,\backslash mathrm\{d\}x$
:::$=\; 1\; +\; tm\_1\; +\; \backslash frac\{t^2m\_2\}\{2!\}\; +\backslash cdots,$

이때 $m\_i\backslash$는 i번째 적률이며 $M\_X(-t)\backslash$는 $f(x)\backslash$의 양측라플라스변환이다.

확률분포가 연속이든 아니든 F가 누적분포함수이면 적률생성함수는 다음과 같은 리만-스틸체스 적분으로 구할 수 있다.

::$M\_X(t)\; =\; \backslash int\_\{-\backslash infty\}^\backslash infty\; e^\{tx\}\backslash ,dF(x)$

모멘트 생성 함수는 확률 변수의 함수의 기댓값이며 다음과 같이 쓸 수 있다.

* 확률 질량 함수가 이산적인 경우, $M\_X(t)=\backslash sum\_\{i=0\}^\backslash infty\; e^\{tx\_i\}\backslash ,\; p\_i$
* 확률 밀도 함수가 연속적인 경우, $M\_X(t)\; =\; \backslash int\_\{-\backslash infty\}^\backslash infty\; e^\{tx\}\; f(x)\backslash ,dx$
* 일반적인 경우, $M\_X(t)\; =\; \backslash int\_\{-\backslash infty\}^\backslash infty\; e^\{tx\}\backslash ,dF(x)$로, 리만-스틸체스 적분을 사용하며, 여기서 $F$는 누적 분포 함수이다. 이는 단순히 $F$의 라플라스-스틸체스 변환이지만, 인수의 부호가 반대로 되어 있다.

$X$가 연속적인 확률 밀도 함수 $f(x)$를 갖는 경우, $M\_X(-t)$는 $f(x)$의 양방향 라플라스 변환이다.

: $$
\begin{align}
M_X(t) & = \int_{-\infty}^\infty e^{tx} f(x)\,dx \\
& = \int_{-\infty}^\infty \left( 1+ tx + \frac{t^2x^2}{2!} + \cdots + \frac{t^nx^n}{n!} + \cdots\right) f(x)\,dx \\
& = 1 + tm_1 + \frac{t^2m_2}{2!} +\cdots + \frac{t^nm_n}{n!} +\cdots,
\end{align}


여기서 $m\_n$은 $n$번째 모멘트이다.

모멘트 생성 함수는 t = 0 주변의 열린 구간에서 존재할 경우, 확률 분포의 모멘트의 지수적 생성 함수이기 때문에 그렇게 불린다.

:$m\_n\; =\; E\; \backslash left(\; X^n\; \backslash right)\; =\; M\_X^\{(n)\}(0)\; =\; \backslash left.\; \backslash frac\{d^n\; M\_X\}\{dt^n\}\backslash right|\_\{t=0\}.$

즉, n이 음이 아닌 정수일 때, 0에 대한 n번째 모멘트는 모멘트 생성 함수를 t = 0에서 평가한 n번째 도함수이다.

적률생성함수는 리만-스틸체스 적분으로 다음과 같이 주어진다.

: $M\_X(t)\; =\; \backslash int\_\{-\backslash infty\}^\backslash infty\; e^\{tx\}\backslash ,dF(x)$

여기서 F는 누적 분포 함수이다.

X가 연속적인 확률 밀도 함수 f(X)를 갖는 경우, $M\_X(-t)$는 f(x)의 양측 라플라스 변환이다.

:$\backslash begin\{align\}$
M_X(t) &= \int_{-\infty}^\infty e^{tx} f(x)\,\mathrm{d}x \\
&= \int_{-\infty}^\infty \left( 1 + tx + \frac{t^2x^2}{2!} + \dotsb \right) f(x)\,\mathrm{d}x \\
&= 1 + tm_1 + \frac{t^2m_2}{2!} + \dotsb
\end{align}

여기서, $m\_i$는 i번째 적률이다.

3.1. 선형 변환

확률 변수 $X$가 적률 생성 함수 $M\_X(t)$를 갖는다면, $\backslash alpha\; X\; +\; \backslash beta$는 적률 생성 함수 $M\_\{\backslash alpha\; X\; +\; \backslash beta\}(t)\; =\; e^\{\backslash beta\; t\}M\_X(\backslash alpha\; t)$를 갖는다.

:$M\_\{\backslash alpha\; X\; +\; \backslash beta\}(t)\; =\; E[e^\{(\backslash alpha\; X\; +\; \backslash beta)t\}]\; =\; e^\{\backslash beta\; t\}E[e^\{\backslash alpha\; Xt\}]\; =\; e^\{\backslash beta\; t\}M\_X(\backslash alpha\; t)$

3.2. 독립 확률 변수의 합

$S\_n\; =\; \backslash sum\_\{i=1\}^\{n\}\; a\_i\; X\_i$이고, 여기서 X_i는 서로 독립인 확률 변수이고 a_i는 상수라면, S_n의 확률 밀도 함수는 각 X_i의 확률 밀도 함수의 합성곱이며, S_n의 적률 생성 함수는 다음과 같이 주어진다.

:$M\_\{S\_n\}(t)=M\_\{X\_1\}(a\_1t)M\_\{X\_2\}(a\_2t)\backslash cdots\; M\_\{X\_n\}(a\_nt)\; \backslash ,\; .$

두 개의 독립적인 확률 변수의 합의 적률 생성 함수는 다음과 같다.

:$M\_\{X+Y\}(t)\; =\; E\backslash left(e^\{t(X+Y)\}\backslash right)\; =\; E(e^\{tX\})E(e^\{tY\})\; =\; M\_X(t)M\_Y(t)$

3.3. 벡터 값 확률 변수

벡터 값 확률 변수 $\backslash mathbf\; X$가 실수 성분을 가질 때, 모멘트 생성 함수는 다음과 같이 주어진다.

:$M\_X(\backslash mathbf\; t)\; =\; E\backslash left(e^\{\backslash langle\; \backslash mathbf\; t,\; \backslash mathbf\; X\; \backslash rangle\}\backslash right)$

여기서 $\backslash mathbf\; t$는 벡터이고, $\backslash langle\; \backslash cdot,\; \backslash cdot\; \backslash rangle$는 내적이다.

4. 주요 성질

적률생성함수는 양수이며 로그 볼록이다. M(0) = 1이다.

두 확률변수 X와 Y의 적률생성함수가 모든 t에 대해 같다면, 두 확률변수의 분포는 같다. 즉, 모든 값 t에 대해,

:$M\_X(t)\; =\; M\_Y(t),\backslash ,$

이면,

:$F\_X(x)\; =\; F\_Y(x)\; \backslash ,$

이다.

로그 정규 분포처럼 어떤 경우에는 모멘트가 존재하지만 극한

:$\backslash lim\_\{n\; \backslash rightarrow\; \backslash infty\}\; \backslash sum\_\{i=0\}^n\; \backslash frac\{t^im\_i\}\{i!\}$

이 존재하지 않아 모멘트 생성 함수가 존재하지 않기도 한다.

적률생성함수를 이용하여 확률분포의 모멘트를 계산할 수 있다. n이 음이 아닌 정수일 때, 0에 대한 n번째 모멘트는 모멘트 생성 함수를 t = 0에서 평가한 n번째 도함수이다.

:$m\_n\; =\; E\; \backslash left(\; X^n\; \backslash right)\; =\; M\_X^\{(n)\}(0)\; =\; \backslash left.\; \backslash frac\{d^n\; M\_X\}\{dt^n\}\backslash right|\_\{t=0\}.$

5. 다른 함수와의 관계

특성 함수 $\backslash varphi\_X(t)$는 모멘트 생성 함수와 $\backslash varphi\_X(t)\; =\; M\_\{iX\}(t)\; =\; M\_X(it)$라는 관계에 있다. 즉, 특성 함수는 iX의 모멘트 생성 함수이며, X의 모멘트 생성 함수를 허수 축에서 평가한 것이다. 이 함수는 확률 밀도 함수의 푸리에 변환으로 볼 수도 있으며, 따라서 역 푸리에 변환을 통해 이를 추론할 수 있다.

큐물런트 생성 함수는 적률생성함수의 로그로 정의된다. 일부에서는 큐물런트 생성 함수를 특성 함수의 로그로 정의하며, 다른 사람들은 후자를 두 번째 큐물런트 생성 함수라고 부른다.

확률 생성 함수 G(z)는 $G(z)\; =\; E\backslash left[z^X\backslash right]$로 정의된다. 이는 $G(e^t)\; =\; E\backslash left[e^\{tX\}\backslash right]\; =\; M\_X(t)$임을 의미한다.

5.1. 특성 함수

특성 함수 $\backslash varphi\_X(t)$는 모멘트 생성 함수와 $\backslash varphi\_X(t)\; =\; M\_\{iX\}(t)\; =\; M\_X(it)$라는 관계에 있다. 즉, 특성 함수는 iX의 모멘트 생성 함수이며, X의 모멘트 생성 함수를 허수 축에서 평가한 것이다. 이 함수는 확률 밀도 함수의 푸리에 변환으로 볼 수도 있으며, 따라서 역 푸리에 변환을 통해 이를 추론할 수 있다.

5.2. 큐물런트 생성 함수

큐물런트 생성 함수는 적률생성함수의 로그로 정의된다. 일부에서는 큐물런트 생성 함수를 특성 함수의 로그로 정의하며, 다른 사람들은 후자를 두 번째 큐물런트 생성 함수라고 부른다.

5.3. 확률 생성 함수

확률 생성 함수 G(z)는 $G(z)\; =\; E\backslash left[z^X\backslash right]$로 정의된다. 이는 $G(e^t)\; =\; E\backslash left[e^\{tX\}\backslash right]\; =\; M\_X(t)$임을 의미한다.

6. 예제

다음은 자주 사용되는 확률분포의 적률생성함수와 특성함수 목록이다.