특성함수 (확률론)

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요

특성 함수(Characteristic function)는 확률 변수의 분포를 나타내는 데 사용되는 함수로, 확률 변수 X에 대해 e^itX의 기댓값으로 정의된다. 특성 함수는 항상 존재하며, 유한한 측도를 가진 공간에서 유계 연속 함수의 적분이기 때문에 전체 공간에서 균등 연속이다. 특성 함수는 확률 분포와 일대일 대응 관계를 가지며, 레비의 연속성 정리를 통해 확률 변수의 수렴을 분석하는 데 사용된다. 특성 함수는 독립적인 확률 변수의 선형 함수를 다루는 데 유용하며, 모멘트 계산 및 데이터 분석에도 활용된다. 보흐너의 정리, 힌친의 기준, 마티아스의 정리, 폴리아의 정리는 특성 함수를 판정하는 데 사용되는 기준이다.

더 읽어볼만한 페이지

확률론 - 확률 밀도 함수
확률 밀도 함수는 연속 확률 변수의 확률 분포를 나타내는 함수로, 특정 구간에서 확률 변수가 값을 가질 확률은 해당 구간에 대한 함수의 적분으로 계산되며, 통계적 특성 계산 및 변수 변환 등에 활용되어 불확실성 모델링 및 분석에 중요한 역할을 한다.
확률론 - 체비쇼프 부등식
체비쇼프 부등식은 확률 변수가 평균에서 얼마나 멀리 떨어져 있는지에 대한 확률의 상한을 제공하는 부등식으로, 이레네-쥘 비네메가 처음 공식화하고 체비쇼프와 안드레이 마르코프에 의해 일반화 및 증명되었으며, 확률론적 표현 외에도 측도 공간에 대한 명제로 확장될 수 있다.

특성함수 (확률론)
개요
정의	확률 변수의 분포를 고유하게 결정하는 함수
유형	복소 함수
관련 개념	모멘트 생성 함수, 큐뮬런트 생성 함수
정의
확률 변수	임의의 확률 변수 X에 대해, 특성 함수 φX(t)는 다음과 같이 정의된다.
공식	φX(t) = E[eitX]
설명	여기서 t는 실수이고, E는 기댓값을 나타낸다. 복소수 지수 eitX는 오일러 공식 eitX = cos(tX) + i sin(tX)를 사용하여 표현할 수 있다.
다른 표현	φX(t) = E[cos(tX)] + iE[sin(tX)]
실수 값 확률 변수	X가 실수 값을 갖는 확률 변수일 때, 특성 함수는 다음과 같이 표현할 수도 있다.
표현식	φX(t) = ∫eitx dFX(x)
설명	여기서 FX(x)는 X의 누적 분포 함수이다. X가 확률 밀도 함수 fX(x)를 갖는 경우, 특성 함수는 다음과 같이 표현된다.
확률 밀도 함수	φX(t) = ∫eitx fX(x) dx
이산 확률 변수	특히, X가 이산 확률 변수이고 가능한 값들이 xk이며 해당 확률이 pk인 경우, 특성 함수는 다음과 같이 주어진다.
이산 확률 변수 표현	φX(t) = Σpk eitxk
예시
정규 분포	평균 μ와 분산 σ²을 갖는 정규 분포의 특성 함수는 다음과 같다.
정규 분포 공식	φX(t) = exp(iμt − σ²t²/2)
균등 분포 U(−1, 1)	구간 [−1, 1]에서의 균등 분포의 특성 함수는 다음과 같다.
균등 분포 공식	φX(t) = sin(t)/t
속성
균등 연속	특성 함수는 항상 균등 연속이다.
값 범위	\|φX(t)\| ≤ 1이며, φX(0) = 1이다.
대칭	X가 대칭 확률 변수이면, 특성 함수는 실수 값을 갖는다.
독립성	X와 Y가 독립적인 확률 변수이면, X + Y의 특성 함수는 X와 Y의 특성 함수의 곱이다.
곱셈	φX+Y(t) = φX(t) φY(t)
선형 변환	a와 b가 상수이면, aX + b의 특성 함수는 다음과 같다.
선형 변환 공식	φaX+b(t) = eitb φX(at)
역전 공식
누적 분포 함수	특성 함수를 알면, 누적 분포 함수를 구할 수 있다.
공식	FX(x) - FX(y) = (1/(2π)) limT→∞ ∫−T to T (e−ity − e−itx)/it φX(t) dt
밀도 함수	X가 연속적이고 밀도 함수 fX를 가지면,
밀도 함수 공식	fX(x) = (1/(2π)) ∫−∞ to ∞ e−itx φX(t) dt
활용
분포 결정	특성 함수는 확률 분포를 고유하게 결정한다.
극한 정리 증명	중심 극한 정리와 같은 극한 정리 증명에 유용하게 사용된다.
계산 단순화	특정 확률 변수의 합의 분포를 쉽게 계산할 수 있다.
참고 문헌
참고 문헌	(영어) Characteristic function - Encyclopedia of Mathematics

2. 정의

특성 함수는 확률 변수 ''X''를 설명하는 한 가지 방법이다. 실수 ''t''에 대한 '''특성 함수''' $\varphi_X(t)$ 는 다음과 같이 정의된다.

: $\varphi_X(t) = \operatorname{E} \left [ e^{itX} \right ]$

여기서 ''i''는 허수 단위이고, $\operatorname{E}$ 는 기댓값 연산을 의미한다. 특성 함수는 확률 변수 ''X''의 확률 분포의 모든 정보를 담고 있으며, 누적 분포 함수(CDF)나 확률 밀도 함수(PDF)와 동등한 역할을 한다. 즉, 이들 중 하나를 알면 나머지 함수들도 유도할 수 있다.

확률 변수 ''X''가 확률 밀도 함수 ''f_X''(''x'')를 가질 경우, 특성 함수는 ''f_X''(''x'')의 푸리에 변환과 밀접한 관련이 있다 (정확히는 푸리에 변환의 푸리에 쌍대이다). 또한, ''X''가 모멘트 생성 함수 $M_X(t)$ 를 가지는 경우, 특성 함수는 복소 평면으로 확장될 수 있으며 다음과 같은 관계를 만족한다.

: $\varphi_X(-it) = M_X(t)$ ^[5]

그러나 특성 함수는 모멘트 생성 함수가 존재하지 않는 경우에도 항상 존재한다는 중요한 장점이 있다. 예를 들어 코시 분포는 모멘트 생성 함수를 가지지 않지만 특성 함수는 존재한다.

특성 함수는 여러 확률 이론 분야에서 유용하게 사용된다. 특히 서로 독립인 확률 변수들의 선형 결합의 분포를 다룰 때 매우 편리하다. 또한 중심 극한 정리의 고전적인 증명은 특성 함수와 레비의 연속성 정리를 활용하며, 확률 변수의 분해 가능성 이론에서도 중요한 도구로 사용된다.

특성 함수의 정의는 스칼라 확률 변수뿐만 아니라 다차원 확률 벡터, 확률 행렬, 복소 확률 변수, 확률 과정 등 더 일반적인 경우로 확장될 수 있다.

2. 1. 스칼라 확률 변수

스칼라 확률 변수

X

에 대한 '''특성 함수'''는

e^{itX}

의 기댓값으로 정의된다. 여기서

i

는 허수 단위이며,

t \in \mathbb{R}

는 특성 함수의 인수이다.

:

\varphi_X : \mathbb{R} \to \mathbb{C}; \quad \varphi_X(t) = \operatorname{E}\left[e^{itX}\right] = \int_{-\infty}^\infty e^{itx}\,dF_X(x)

만약 확률 변수

X

가 확률 밀도 함수

f_X

를 가진다면, 위 식은 다음과 같이 표현할 수도 있다.

:

\varphi_X(t) = \int_{-\infty}^\infty e^{itx} f_X(x)\,dx

또한, 분위 함수(역 누적 분포 함수)

Q_X(p)

를 이용하여 다음과 같이 표현할 수도 있다.^[1]

:

\varphi_X(t) = \int_0^1 e^{it Q_X(p)}\,dp

여기서

F_X

는

X

의 누적 분포 함수이며, 첫 번째 적분은 리만-스틸체스 적분 형식이다. 확률 변수

X

가 확률 밀도 함수를 가지는 경우, 특성 함수는 확률 밀도 함수의 푸리에 변환과 유사하나, 복소 지수 항의 부호가 반대이다.^[2]

특성 함수의 정의에 사용되는 상수는 일반적인 푸리에 변환의 상수 표기법과 다를 수 있다. 예를 들어, 일부 문헌에서는

\varphi_X(t) = E[e^{-2\pi itX}]

와 같이 정의하기도 하는데, 이는 본질적으로 매개변수를 변경한 것이다. 또한 확률 측도

p

의 특성 함수를

\hat p

로, 확률 밀도 함수

f

에 대응하는 특성 함수를

\hat f

로 표기하기도 한다.

2. 2. 확률 벡터

`X`가 `k`차원 확률 벡터일 경우, 그것의 특성 함수 `φ_X(t)`는 `k`차원 실수 벡터 `t` ∈ '''R'''^''k'' 에 대해 다음과 같이 정의된다.

\varphi_X(t) = \operatorname{E}\left[\exp( i t^T\!X)\right]

여기서 `t^T`는 벡터 `t`의 전치 행렬이며, `t^TX`는 벡터의 내적을 나타낸다. `E`는 기댓값 연산을 의미하고, `i`는 허수 단위이다. 즉, 특성 함수는 스칼라 값 `e^{it^TX}`의 기댓값으로 계산된다.

2. 3. 확률 행렬

X가 ''k'' × ''p'' 차원 확률 행렬인 경우, 특성 함수의 인수는 같은 차원의 실수 행렬 ''t''가 된다. 이 경우 특성 함수는 다음과 같이 정의된다.

\varphi_X (t)=\operatorname{\mathbb{E}} [e^{i\operatorname{tr} (t'X)}]

여기서 tr(·)는 행렬의 대각합 연산자이고, ''t''′는 행렬 ''t''의 전치 행렬을 의미한다.^[6] 이는 기댓값 E 안에 지수 함수 e가 있으며, 지수 함수의 지수 부분에는 허수 단위 ''i''와 행렬 ''t''의 전치와 ''X''의 곱의 대각합이 포함된 형태이다.

2. 4. 복소 확률 변수

복소 확률 변수 ''X''에 대해, ''t'' ∈ '''C'''일 경우 특성함수는 다음과 같이 정의된다.^[6]

\varphi_X (t)=\operatorname{\mathbb{E}} [e^{i\operatorname{Re}(\overline{t}X)}],

여기서

\operatorname{\mathbb{E}}

는 기댓값,

\operatorname{Re}

는 복소수의 실수 부분,

\overline{t}

는 ''t''의 켤레 복소수를 의미한다.

2. 5. 복소 확률 벡터

''X''가 ''k''차원 복소 확률 벡터인 경우, 특성 함수는 다음과 같이 정의된다.^[6]

:

\varphi_X (t)=\operatorname{\mathbb{E}} [e^{i\operatorname{Re} (t^* X)}]

여기서 ''t''는 ''k''차원 복소 벡터 (

t \in \mathbb{C}^k

)이며,

t^*

는 ''t''의 켤레 전치 행렬을 의미한다.

\operatorname{\mathbb{E}}

는 기댓값을 나타내고,

\operatorname{Re}

는 복소수의 실수부를 의미한다.

2. 6. 확률 과정

''X''(''s'')가 확률 과정인 경우, 적분

\int_{\mathbb R} t(s)X(s)\,\mathrm{d}s

가 ''X''의 거의 모든 실현에 대해 수렴하는 모든 함수 ''t''(''s'')에 대해 특성 함수는 다음과 같이 정의된다.

\varphi_X(t) = \operatorname{E}\left[\exp \left ( i\int_\mathbf{R} t(s)X(s) \, ds \right ) \right].

3. 성질

확률 변수의 특성 함수는 그 분포의 중요한 정보들을 담고 있으며, 다음과 같은 여러 유용한 성질을 가진다.

존재성 및 연속성: 어떤 확률 변수라도 특성 함수는 항상 존재한다. 이는 특성 함수가 유한한 측도를 가진 공간 위에서 정의된, 절댓값이 1 이하인 연속 함수의 기댓값으로 정의되기 때문이다. 또한, 특성 함수는 모든 실수 $t$ 에 대해 균등 연속이다.
기본적인 값:
$\varphi(0) = 1$ 이다. 즉, $t=0$ 에서 특성 함수의 값은 항상 1이다.
특성 함수의 절댓값은 항상 1보다 작거나 같다: $|\varphi_X(t)| \le 1$ . 따라서 특성 함수는 유계 함수이다.
에르미트 성질: 특성 함수는 $\varphi_X(-t) = \overline{\varphi_X(t)}$ 를 만족한다. 여기서 $\overline{z}$ 는 켤레 복소수를 의미한다. 만약 확률 변수 $X$ 의 분포가 원점에 대해 대칭이라면 (즉, $X$ 와 $-X$ 가 같은 분포를 가진다면), 특성 함수 $\varphi_X(t)$ 는 실수 값을 가지는 짝함수이다.
분포와의 관계: 확률 분포와 특성 함수 사이에는 일대일 대응 관계가 성립한다. 즉, 두 확률 변수 $X_1$ 과 $X_2$ 가 동일한 누적 분포 함수를 가질 필요충분조건은 모든 $t$ 에 대해 동일한 특성 함수 $\varphi_{X_1}(t) = \varphi_{X_2}(t)$ 를 가지는 것이다. 이는 특성 함수가 확률 분포를 유일하게 결정한다는 것을 의미한다.
모멘트와의 관계: 확률 변수 $X$ 가 $k$ 차 모멘트 $\operatorname{E}[X^k]$ 를 가진다면, 특성 함수 $\varphi_X(t)$ 는 실수 전체에서 $k$ 번 미분 가능하며, $t=0$ 에서의 $k$ 계 도함수는 다음과 같이 모멘트와 연결된다:

\operatorname{E}[X^k] = i^{-k} \varphi_X^{(k)}(0)

여기서

\varphi_X^{(k)}(0)

은

\varphi_X(t)

를

t

에 대해

k

번 미분한 후

t=0

을 대입한 값이다. 역으로, 만약 특성 함수

\varphi_X(t)

가

t=0

에서

k

번 미분 가능하다면, 확률 변수

X

는

k

가 짝수일 경우

k

차까지의 모든 모멘트를 가지고,

k

가 홀수일 경우

k-1

차까지의 모멘트를 가진다.^[5]

독립 확률 변수의 합: 만약 $X_1, \dots, X_n$ 이 서로 독립인 확률 변수들이고 $a_1, \dots, a_n$ 이 상수라면, 이들의 선형 결합 $S_n = \sum_{i=1}^n a_i X_i$ 의 특성 함수는 각 확률 변수의 특성 함수의 곱으로 표현된다:

\varphi_{S_n}(t) = \varphi_{X_1}(a_1t)\cdots \varphi_{X_n}(a_nt)

독립성은 기댓값

\operatorname{E}[e^{itS_n}]

을 계산할 때

\operatorname{E}[e^{ita_1X_1}\cdots e^{ita_nX_n}] = \operatorname{E}[e^{ita_1X_1}] \cdots \operatorname{E}[e^{ita_nX_n}]

와 같이 분리할 수 있게 해준다. 특히, 두 독립 확률 변수

X_1

과

X_2

의 합

X_1+X_2

의 특성 함수는 각각의 특성 함수의 곱과 같다:

\varphi_{X_1+X_2}(t) = \varphi_{X_1}(t)\varphi_{X_2}(t)

.

선형 변환: 확률 변수 $X$ 의 선형 변환 $Y = aX + b$ (여기서 $a, b$ 는 상수)의 특성 함수는 $\varphi_Y(t) = e^{itb}\varphi_X(at)$ 이다. 다변량의 경우, 확률 벡터 $X$ 와 $Y = AX + B$ (여기서 $A$ 는 상수 행렬, $B$ 는 상수 벡터)에 대해 $\varphi_Y(t) = e^{it^\top B}\varphi_X(A^\top t)$ 가 성립한다.^[4]
레비의 연속성 정리: 확률 분포열의 수렴과 특성 함수열의 수렴 사이의 관계를 설명하는 중요한 정리이다. 확률 변수의 열 $\{X_j\}$ 가 어떤 확률 변수 $X$ 로 분포 수렴할 필요충분조건은, 해당 특성 함수의 열 $\{\varphi_{X_j}(t)\}$ 가 모든 $t$ 에 대해 어떤 함수 $\varphi(t)$ 로 점별 수렴하고, 그 극한 함수 $\varphi(t)$ 가 $t=0$ 에서 연속인 것이다. 이 경우, 극한 함수 $\varphi(t)$ 는 바로 확률 변수 $X$ 의 특성 함수가 된다. 이 정리는 대수의 법칙이나 중심 극한 정리를 증명하는 데 핵심적인 역할을 한다.

4. 역변환

확률 분포와 특성 함수 사이에는 전단사 관계가 성립하며, 이는 순차적으로 연속적이다. 즉, 분포 함수열 $F_j(x)$ 가 어떤 분포 $F(x)$ 로 약하게 수렴하면, 해당 특성 함수열 $\varphi_j(t)$ 역시 수렴하며 그 극한 $\varphi(t)$ 는 분포 $F$ 의 특성 함수가 된다. 이를 공식화한 것이 레비의 연속성 정리이다.

'''레비의 연속성 정리''': $n$ -변수 확률 변수의 수열 $X_j$ 가 확률 변수 $X$ 로 분포 수렴하기 위한 필요충분조건은, 해당 특성 함수열 $\varphi_{X_j}$ 가 원점에서 연속인 함수 $\varphi$ 로 점별 수렴하는 것이다. 이때 $\varphi$ 는 $X$ 의 특성 함수이다.

이 정리는 대수의 법칙이나 중심 극한 정리를 증명하는 데 유용하게 사용된다.

특성 함수와 누적 분포 함수 사이의 전단사 관계 때문에, 어느 한쪽을 알면 다른 쪽을 구할 수 있다. 특성 함수의 정의는 분포 함수 $F$ 나 확률 밀도 함수 $f$ 로부터 특성 함수 $\varphi$ 를 계산하는 방법을 제공한다. 반대로 특성 함수 $\varphi$ 를 알고 있을 때 해당 분포 함수를 찾으려면 다음과 같은 역변환 정리들을 사용할 수 있다.

특성 함수 $\varphi_X$ 가 적분 가능 함수일 경우, 확률 변수 $X$ 는 확률 밀도 함수를 가지며, 이 밀도 함수는 특성 함수의 푸리에 역변환과 유사한 공식을 통해 구할 수 있다.
레비의 역변환 정리 (프랑스 수학자 폴 레비의 이름을 따서 명명됨)는 분포 함수 $F_X$ 가 연속인 두 점 $a, b$ 사이의 확률 $F_X(b) - F_X(a)$ 를 특성 함수를 이용하여 계산하는 공식을 제공한다.
만약 $a$ 가 $X$ 의 원자(atom)일 경우 (즉, $F_X$ 가 불연속인 점), 해당 점에서 확률 질량 $P(X=a)$ 을 구하는 공식도 존재한다.
길-펠라에즈 정리는 분포 함수 $F_X$ 의 연속점 $x$ 에서 $F_X(x)$ 값과 확률 밀도 함수 $f_X(x)$ 를 특성 함수를 이용하여 구하는 공식을 제공한다.

이러한 역변환 공식들은 특성 함수로부터 확률 분포의 다양한 정보를 얻는 데 사용된다. 각 정리에 대한 자세한 내용과 공식은 하위 섹션에서 다룬다. 다변수 분포에 대한 역변환 공식 또한 존재한다.

4. 1. 적분 가능 특성 함수

확률 변수 ''X''의 특성 함수 ''φ_X''가 적분 가능 함수이면, ''X''의 누적 분포 함수 ''F_X''는 절대 연속이며, 따라서 ''X''는 확률 밀도 함수 ''f_X''를 갖는다. 이 확률 밀도 함수는 특성 함수의 푸리에 역변환과 유사한 형태로 계산할 수 있다.

'''일변수''' (''X''가 스칼라 값을 가질 경우):

f_X(x) = F_X'(x) = \frac{1}{2\pi}\int_{\mathbf{R}} e^{-itx}\varphi_X(t)\,dt

'''다변수''' (''X''가 벡터 값을 가질 경우):

f_X(x) = \frac{1}{(2\pi)^n} \int_{\mathbf{R}^n} e^{-i(t\cdot x)}\varphi_X(t)\lambda(dt)

여기서

t \cdot x

는 내적이며, 적분은 ''n''차원 르베그 측도 ''λ''에 대해 수행된다.

이때 확률 밀도 함수 ''f_X''는 르베그 측도 ''λ''에 대한 분포 ''μ_X''의 라돈-니코딤 도함수로 이해할 수 있다.

f_X(x) = \frac{d\mu_X}{d\lambda}(x)

즉, 특성 함수가 르베그 적분 가능하다는 조건 하에서, 확률 밀도 함수는 특성 함수로부터 직접 계산될 수 있다.

4. 2. 레비 역변환 정리

프랑스 수학자 폴 레비의 이름을 따서 명명된 정리이다. 누적 분포 함수

F_X

의 특성 함수를

\varphi_X

라 하자. 두 점

a < b

에 대해 구간

\{ x \mid a < x < b \}

가 측도

\mu_X

에 대한 연속 집합이라면 다음이 성립한다. (일변량의 경우, 이 조건은

F_X

가

a

와

b

에서 연속인 것과 동등하다.)

만약 $X$ 가 스칼라 확률 변수라면:

F_X(b) - F_X(a) = \frac{1} {2\pi} \lim_{T \to \infty} \int_{-T}^{+T} \frac{e^{-ita} - e^{-itb}} {it}\, \varphi_X(t)\, dt.

이 공식은 수치 계산에 더 편리한 형태로 다시 표현할 수 있다:

\frac{F(x+h) - F(x-h)}{2h} = \frac{1}{2\pi} \int_{-\infty}^{\infty} \frac{\sin ht}{ht} e^{-itx} \varphi_X(t) \, dt .

아래로 제한된 확률 변수의 경우,

F(a)=0

이 되도록

a

를 선택하여

F(b)

를 얻을 수 있다. 그렇지 않고 확률 변수가 아래로 제한되지 않은 경우,

a\to-\infty

일 때의 극한값이

F(b)

를 제공하지만 수치적으로는 실용적이지 않다.

만약 $X$ 가 벡터 확률 변수라면:

\mu_X\big(\{a

4. 3. 길-펠라에즈 정리

일변수 확률 변수 X에 대해, x가 누적 분포 함수 F_X의 연속점이라면 다음이 성립한다.

:

F_X(x) = \frac{1}{2} - \frac{1}{\pi}\int_0^\infty \frac{\operatorname{Im}[e^{-itx}\varphi_X(t)]}{t}\,dt

여기서 복소수

z

의 허수 부분은

\mathrm{Im}(z) = (z - z^*)/2i

로 주어진다.

그리고 해당 확률 밀도 함수는 다음과 같다.

:

f_X(x) = \frac{1}{\pi}\int_0^\infty \operatorname{Re}[e^{-itx}\varphi_X(t)]\,dt

이 적분은 르베그 적분 가능하지 않을 수 있다. 예를 들어, X가 항상 0인 이산 랜덤 변수인 경우, 이 식은 디리클레 적분이 된다.

다변수 분포에 대한 역변환 공식도 존재한다.

5. 판정 기준

càdlàg 함수 $F$ 가 감소하지 않고, 극한이 $F(-\infty) = 0$ , $F(+\infty) = 1$ 이면, 이는 어떤 누적 분포 함수에 해당한다는 것이 잘 알려져 있다. 이와 유사하게 주어진 함수 $\varphi$ 가 어떤 확률 변수의 특성 함수가 될 수 있는지 판정하는 간단한 기준을 찾는 것이 중요하다.

이에 대한 중심적인 결과로 보흐너의 정리가 있지만, 정리의 주요 조건인 양의 정부호성을 확인하기가 매우 어려워 실제 적용에는 한계가 있다. 다른 정리들, 예를 들어 힌친의 기준, 마티아스의 정리, 또는 크라메르(Cramér)의 정리 등도 존재하지만, 이들 역시 적용이 쉽지 않다. 반면에 폴리아의 정리는 특성 함수가 되기 위한 매우 간단한 볼록성 조건을 제시하지만, 이는 충분조건일 뿐 필요조건은 아니다. 이 조건을 만족하는 특성 함수는 폴리아형(Pólya-type)이라고 불린다.^[5]

5. 1. 보흐너의 정리

주어진 함수

\varphi

가 어떤 확률 변수의 특성 함수가 될 수 있는지에 대한 기준 중 중심적인 결과는 보흐너의 정리이다. 그러나 정리의 주요 조건인 양의 정부호 함수임을 확인하기가 매우 어려워 그 유용성은 제한적이다.^[5]

'''보흐너의 정리''': 임의의 함수

\varphi : \mathbb{R}^n \to \mathbb{C}

가 어떤 확률 변수의 특성 함수가 되기 위한 필요충분 조건은

\varphi

가 양의 정부호 함수이고, 원점에서 연속이며,

\varphi(0) = 1

인 것이다.

5. 2. 힌친의 기준

힌친의 기준(Khinchine's criterion)은 어떤 함수가 특성 함수가 될 수 있는지를 판별하는 한 가지 충분 조건이다.^[5] 복소수 값을 가지며 절대적으로 연속인 함수

\varphi

가 다음 두 조건을 만족하면 특성 함수이다.

# 원점에서 함수의 값이 1이다. 즉,

\varphi(0) = 1

이다.

# 함수

\varphi

가 어떤 함수

g

를 이용하여 다음과 같은 적분 형태로 표현될 수 있다.

::

\varphi(t) = \int_{-\infty}^\infty g(t+\theta)\overline{g(\theta)} \, d\theta

여기서

\overline{g(\theta)}

는

g(\theta)

의 켤레 복소수를 나타내며, 적분은 실수 전체 구간에 대해 수행된다.

5. 3. 마티아스의 정리

실수 값을 가지며 짝함수이고 연속적이며 절대적으로 적분 가능한 함수

\varphi

가

\varphi(0) = 1

일 때, 다음 조건을 만족하면 특성 함수이다.

:

(-1)^n \left ( \int_{\mathbf{R}} \varphi(pt)e^{-t^2/2} H_{2n}(t) \, dt \right ) \geq 0

이때

n = 0, 1, 2, \dots

이고 모든

p > 0

이다. 여기서

H_{2n}

은 차수

2n

의 에르미트 다항식을 나타낸다.

5. 4. 폴리아의 정리

주어진 함수가 어떤 확률 변수의 특성 함수가 될 수 있는지 판정하는 간단한 기준을 찾는 것은 중요한 문제이다. 보흐너의 정리가 중심적인 결과를 제공하지만, 주요 조건인 비음정치성을 확인하기 어려워 실제 적용에는 한계가 있다. 힌친(Khinchine), 마티아스(Mathias), 크라메르(Cramér) 등의 다른 정리들도 있지만 적용이 쉽지 않다.^[5]

이에 비해 폴리아(George Pólya)의 정리는 특성 함수가 되기 위한 매우 간단한 볼록성 조건을 제시한다. 이 조건은 충분조건이지만 필요조건은 아니다. 폴리아의 조건을 만족하는 특성 함수를 폴리아형(Pólya-type)이라고 부른다.^[5]

'''폴리아의 정리''' Pólya's theorem^영어는 다음과 같다: 만약

\varphi

가 실수 값을 가지며 연속적인 함수이고 다음 조건들을 모두 만족한다면,

$\varphi(0) = 1$
$\varphi$ 는 짝함수이다. 즉, 모든 $t$ 에 대해 $\varphi(t) = \varphi(-t)$ 이다.
$\varphi$ 는 $t > 0$ 에서 볼록 함수이다.
$\lim_{t \to \infty} \varphi(t) = 0$

이 함수

\varphi(t)

는 절대적으로 연속이고 원점에 대해 대칭인 어떤 확률 분포의 특성 함수이다.

6. 응용

연속성 정리가 있기 때문에, 특성함수는 중심 극한 정리의 증명에 자주 사용된다.

6. 1. 기본 조작

연속성 정리로 인해 특성 함수는 중심 극한 정리의 증명에 자주 사용된다. 특성 함수를 다루는 주요 기법 중 하나는 주어진 함수가 특정 분포의 특성 함수임을 인지하는 것이다.

특성 함수는 독립인 확률 변수들의 선형 결합을 다룰 때 특히 유용하다. 예를 들어,

X_1, X_2, \dots, X_n

이 독립인 확률 변수열이고 (이 변수들이 반드시 독립동일분포를 따를 필요는 없다), 상수

a_i

에 대해 다음과 같은 선형 결합을 정의하자.

:

S_n = \sum_{i=1}^n a_i X_i

이때 확률 변수

S_n

의 특성 함수는 각 확률 변수의 특성 함수를 이용하여 다음과 같이 표현할 수 있다.

:

\varphi_{S_n}(t) = \varphi_{X_1}(a_1 t) \varphi_{X_2}(a_2 t) \cdots \varphi_{X_n}(a_n t)

특히, 두 독립인 확률 변수

X

와

Y

의 합

X+Y

의 특성 함수는 각각의 특성 함수의 곱과 같다.

:

\varphi_{X+Y}(t) = \varphi_X(t) \varphi_Y(t)

이는 특성 함수의 정의를 통해 확인할 수 있다.

:

\varphi_{X+Y}(t) = E[e^{it(X+Y)}] = E[e^{itX} e^{itY}]

여기서

X

와

Y

가 독립이므로 기댓값의 성질에 의해 다음 등식이 성립한다.

:

E[e^{itX} e^{itY}] = E[e^{itX}] E[e^{itY}] = \varphi_X(t) \varphi_Y(t)

따라서

\varphi_{X+Y}(t) = \varphi_X(t) \varphi_Y(t)

가 성립하며, 이 유도 과정에서

X

와

Y

의 독립성 가정이 필수적으로 사용된다.

또 다른 중요한 예는 확률 변수들이 독립동일분포이며

a_i = 1/n

인 경우이다. 이때

S_n

은 표본 평균이 되며, 이를

\overline{X}

로 표기하면 표본 평균의 특성 함수는 다음과 같다.

:

\varphi_{\overline{X}}(t) = \left( \varphi_X(t/n) \right)^n

6. 2. 모멘트 계산

특성 함수는 확률 변수의 모멘트를 계산하는 데 유용하게 사용된다. 만약 확률 변수 ''X''의 ''n''차 모멘트

\operatorname{E}[X^n]

가 존재한다면, 특성 함수 ''φ''_''X''(''t'')는 ''t'' = 0에서 ''n''번 미분 가능하며, 그 역도 성립한다. 구체적으로, 특성 함수 ''φ''_''X''가 ''t'' = 0에서 ''n''차 도함수를 가지면, 확률 변수 ''X''는 ''n''이 짝수일 경우 최대 ''n''차까지의 모든 모멘트를 가지고, ''n''이 홀수일 경우 최대 ''n'' – 1차까지의 모멘트를 가진다.

이때 모멘트는 특성 함수의 도함수를 이용하여 다음과 같이 계산할 수 있다.

\operatorname{E}[X^n] = i^{-n} \left[ \frac{d^n}{dt^n} \varphi_X(t) \right]_{t=0} = i^{-n} \varphi_X^{(n)}(0)

여기서

\varphi_X^{(n)}(0)

는 ''t'' = 0에서의 ''n''계 도함수를 의미한다.

예를 들어, ''X''가 표준 코시 분포를 따른다고 하자. 특성 함수는

\varphi_X(t) = e^{-|t|}

이다. 이 함수는 절댓값 함수를 포함하고 있어 ''t'' = 0에서 미분 가능하지 않다. 이는 코시 분포가 기댓값(1차 모멘트)을 가지지 않음을 의미한다.

다른 예로, ''X''가 가우스 분포

X \sim \mathcal{N}(\mu,\sigma^2)

를 따른다고 하자. 특성 함수는

\varphi_X(t) = e^{i\mu t - \frac{1}{2}\sigma^2 t^2}

이다. 이를 미분하여 모멘트를 계산할 수 있다.

1차 모멘트 (기댓값):

\operatorname{E}[X] = i^{-1} \varphi_X'(0) = i^{-1} \left[ \frac{d}{dt} (e^{i\mu t - \frac{1}{2}\sigma^2 t^2}) \right]_{t=0}

= i^{-1} \left[ (i\mu - \sigma^2 t) e^{i\mu t - \frac{1}{2}\sigma^2 t^2} \right]_{t=0} = i^{-1} (i\mu e^0) = \mu

2차 모멘트:

\operatorname{E}[X^2] = i^{-2} \varphi_X''(0) = (-1) \left[ \frac{d^2}{dt^2} (e^{i\mu t - \frac{1}{2}\sigma^2 t^2}) \right]_{t=0}

= (-1) \left[ \frac{d}{dt} \left( (i\mu - \sigma^2 t) e^{i\mu t - \frac{1}{2}\sigma^2 t^2} \right) \right]_{t=0}

= (-1) \left[ (-\sigma^2) e^{i\mu t - \frac{1}{2}\sigma^2 t^2} + (i\mu - \sigma^2 t)^2 e^{i\mu t - \frac{1}{2}\sigma^2 t^2} \right]_{t=0}

= (-1) [ (-\sigma^2)e^0 + (i\mu - 0)^2 e^0 ] = (-1) [-\sigma^2 + (i\mu)^2] = (-1) [-\sigma^2 - \mu^2] = \mu^2 + \sigma^2

이처럼 특성 함수를 이용하면 기댓값의 정의나 부분 적분과 같은 방법을 직접 사용하는 것보다 모멘트 계산이 더 간편한 경우가 많다.

특성 함수의 로그는 큐멀런트 생성 함수라고 하며, 큐멀런트를 계산하는 데 사용된다. (참고: 때때로 모멘트 생성 함수의 로그를 큐물런트 생성 함수로 정의하기도 하며, 이 경우 특성 함수의 로그는 '''제2''' 큐물런트 생성 함수라고 부르기도 한다.)

6. 3. 데이터 분석

특성 함수는 데이터 표본에 확률 분포를 적합시키는 절차의 일부로 사용될 수 있다. 특히 확률 밀도 함수에 대한 폐쇄형 표현식이 없어 최대 우도 추정을 적용하기 어려운 경우, 예를 들어 안정 분포를 적합시키는 경우에 특성 함수를 이용한 방법이 유용하다. 이 추정 절차는 데이터로부터 계산된 경험적 특성 함수를 이론적 특성 함수에 일치시키는 방식으로 이루어진다. Paulson 등(1975)과 Heathcote(1977)는 이러한 추정 절차에 대한 이론적 배경을 제공했다. 또한 Yu(2004)는 우도 절차를 적용하기 어려운 시계열 모델을 적합시키기 위해 경험적 특성 함수를 활용하는 방법을 설명했다. 최근에는 Ansari 등(2020)과 Li 등(2020)이 생성적 적대 신경망을 훈련하는 데 경험적 특성 함수를 사용하기도 했다.

7. 예제

다음은 자주 사용되는 확률 분포들의 특성 함수 $\phi(t)$ 목록이다.^[3] Oberhettinger (1973)는 특성 함수에 대한 광범위한 표를 제공한다.

|-

| 감마 Γ(''k'', ''θ'')

|

(1 - it\theta)^{-k}

|-

| 지수 Exp(''λ'')

|

(1 - it\lambda^{-1})^{-1}

|-

| 기하 Gf(''p'') (실패 횟수)

|

\frac{p}{1-e^{it}(1-p)}

|-

| 기하 Gt(''p'') (시행 횟수)

|

\frac{p}{e^{-it}-(1-p)}

|-

| 다변량 정규 ''N''('''''μ''''', '''''Σ''''')

|

e^{i{ \mathbf{t}^{\mathrm{T}} \boldsymbol{\mu}}-\frac {1}{2} \mathbf{t}^{\mathrm{T}}\boldsymbol{\Sigma} \mathbf{t}}

|-

| 다변량 코시 MultiCauchy('''''μ''''', '''''Σ''''')^[3]

|

e^{i\mathbf{t}^{\mathrm{T}}\boldsymbol\mu - \sqrt{\mathbf{t}^{\mathrm{T}}\boldsymbol{\Sigma} \mathbf{t}}}

|}

척도 모수 ''θ''와 형상 모수 ''k''를 갖는 감마 분포는 다음과 같은 특성 함수를 갖는다.

:

(1 - \theta i t)^{-k}.

이제 다음과 같이 두 독립적인 확률 변수 ''X''와 ''Y''가 각각 감마 분포를 따른다고 가정해 보자.

:

X ~\sim \Gamma(k_1,\theta) \mbox{ 이고 } Y \sim \Gamma(k_2,\theta)

이때 두 확률 변수의 합 ''X'' + ''Y''의 분포를 알고 싶다고 하자. 각 확률 변수의 특성 함수는 다음과 같다.

:

\varphi_X(t)=(1 - \theta i t)^{-k_1},\,\qquad \varphi_Y(t)=(1 - \theta it)^{-k_2}

독립적인 확률 변수 합의 특성 함수는 각 특성 함수의 곱과 같다는 성질에 의해 다음이 성립한다.

:

\varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t)=(1 - \theta i t)^{-k_1}(1 - \theta i t)^{-k_2}=\left(1 - \theta i t\right)^{-(k_1+k_2)}.

이것은 척도 모수 ''θ''와 형상 모수 ''k''₁ + ''k''₂를 갖는 감마 분포의 특성 함수이다. 따라서, 다음과 같은 결론을 내릴 수 있다.

:

X+Y \sim \Gamma(k_1+k_2,\theta)

이 결과는 동일한 척도 모수를 갖는 ''n''개의 독립적인 감마 분포 확률 변수로 확장될 수 있으며, 다음과 같은 결과를 얻는다.

:

\forall i \in \{1,\ldots, n\} :  X_i \sim \Gamma(k_i,\theta) \qquad \Rightarrow \qquad \sum_{i=1}^n X_i \sim \Gamma\left(\sum_{i=1}^nk_i,\theta\right).

8. 관련 개념

관련 개념으로는 적률생성함수와 확률생성함수가 있다. 특성함수는 모든 확률 분포에 대해 존재하지만, 적률생성함수는 그렇지 않다는 점에서 차이가 있다. 만약 어떤 확률 변수가 적률생성함수 ''M''_X(''t'')를 가진다면, 특성함수는 복소수 범위로 확장될 수 있으며 다음 관계가 성립한다.

''φ''_X(-''it'') = ''M''_X(''t'')^[5]

즉, 특성함수의 변수에 -''i''를 곱한 값을 대입하면 적률생성함수와 같아진다. 확률 밀도 함수나 적률 생성 함수가 존재하지 않는 경우에도, 어떤 확률 분포의 특성 함수는 항상 존재한다.

특성함수는 푸리에 변환과 밀접한 관계를 가진다. 확률 변수 ''X''가 확률 밀도 함수 ''p''(''x'')를 가질 경우, 특성함수 ''φ''_X(''t'')는 확률 밀도 함수 ''p''(''x'')의 연속 푸리에 변환 ''P''(''t'')의 켤레 복소수와 같다.

''φ''_X(''t'') = E[''e''^''itX''] = ∫_-∞^∞ ''e''^''itx''''p''(''x'') d''x'' = (∫_-∞^∞ ''e''^-''itx''''p''(''x'') d''x'')^* = ''P''(''t'')^*

여기서 ''P''(''t'')는 확률 밀도 함수 ''p''(''x'')의 연속 푸리에 변환을 나타내며, 윗첨자 *는 켤레 복소수를 의미한다. 반대로, 특성함수 ''φ''_X(''t'')로부터 역 푸리에 변환을 통해 확률 밀도 함수 ''p''(''x'')를 복구할 수 있다.

''p''(''x'') = (1/2π) ∫_-∞^∞ ''e''^-''itx'' ''P''(''t'') d''t'' = (1/2π) ∫_-∞^∞ ''e''^-''itx'' ''φ''_X(''t'')^* d''t''

확률 변수가 밀도 함수를 갖지 않는 경우에도, 특성함수는 해당 확률 변수에 대응하는 확률 측도의 푸리에 변환으로 간주할 수 있다.

특성 함수는 누적 분포 함수와 마찬가지로 확률 변수의 분포를 완전히 결정하는 또 다른 방법이다. 누적 분포 함수 ''F''_X(''x'') = E[1_{{''X''≤''x''}}]가 확률 변수 ''X''의 분포를 결정하는 것처럼, 특성 함수 ''φ''_X(''t'') = E[''e''^''itX''] 역시 확률 변수 ''X''의 분포를 완전히 결정한다. 둘 중 하나를 알면 다른 하나를 구할 수 있으며, 각각 분포의 특징에 대한 다른 통찰력을 제공한다.

참조

_[1] arXiv Monte Carlo sampling given a Characteristic Function: Quantile Mechanics in Momentum Space
_[2] 서적 Statistical and Adaptive Signal Processing
_[3] 서적 Kotz Nadarajah
_[4] 웹사이트 Joint characteristic function https://www.statlect[...] 2018-04-07
_[5] 서적 Lukacs
_[6] 서적 Andersen Højbjerre Sørensen Eriksen

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com

분포	특성 함수 $\phi(t)$
퇴화 δ_a	$e^{ita}$
베르누이 Bern(p)	$1-p+pe^{it}$
이항 B(n, p)	$(1-p+pe^{it})^n$
음이항 NB(r, p)	$\left(\frac{p}{1 - e^{it} + pe^{it}}\right)^r$ 또는 $\frac{p^r}{(1-(1-p)e^{it})^r}$
푸아송 Pois(λ)	$e^{\lambda(e^{it}-1)}$
균등(연속) U(a, b)	$\frac{e^{itb} - e^{ita}}{it(b-a)}$
균등(이산) DU(a, b)	$\frac{e^{ita} - e^{it(b + 1)}}{(1 - e^{it})(b - a + 1)}$
라플라스 L(μ, b)	$\frac{e^{it\mu}}{1 + b^2t^2}$
로지스틱 Logistic(μ,s)	$e^{i\mu t}\frac{\pi s t}{\sinh(\pi s t)}$
정규 N(μ, σ²)	$e^{it\mu - \frac{1}{2}\sigma^2t^2}$
카이제곱 χ²_k	$(1 - 2it)^{-k/2}$
비중심 카이제곱 ²_k	$e^{\frac{i\lambda t}{1-2it}}(1 - 2it)^{-k/2}$
일반화된 카이제곱 $\tilde{\chi}(\boldsymbol{w}, \boldsymbol{k}, \boldsymbol{\lambda},s,m)$	$\frac{\exp\left[it \left( m + \sum_j \frac{w_j \lambda_j}{1-2i w_j t} \right)-\frac{s^2 t^2}{2}\right]}{\prod_j \left(1-2i w_j t \right)^{k_j/2}}$
코시 C(μ, θ)	e^{it\mu -\theta>t\|}