공분산 행렬

3. 성질

열 벡터 $\backslash mathbf\{X\}\; =\; (X\_1,\; X\_2,\; \backslash dots,\; X\_n)^\backslash mathsf\{T\}$의 각 확률 변수 $X\_i$가 유한한 분산과 기댓값을 가질 때, 공분산 행렬 $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}$는 $(i,j)$ 성분이 공분산 $\backslash operatorname\{cov\}[X\_i,\; X\_j]$인 행렬이다.^[1]

'''자기상관 행렬과의 관계'''

공분산 행렬 $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}$는 자기상관 행렬 $\backslash operatorname\{R\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\; =\; \backslash operatorname\{E\}[\backslash mathbf\{X\}\; \backslash mathbf\{X\}^\backslash mathsf\{T\}]$와 다음과 같은 관계를 가진다.

$$\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\; =\; \backslash operatorname\{E\}[(\backslash mathbf\{X\}\; -\; \backslash operatorname\{E\}[\backslash mathbf\{X\}])(\backslash mathbf\{X\}\; -\; \backslash operatorname\{E\}[\backslash mathbf\{X\}])^\backslash mathsf\{T\}]\; =\; \backslash operatorname\{R\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\; -\; \backslash operatorname\{E\}[\backslash mathbf\{X\}]\; \backslash operatorname\{E\}[\backslash mathbf\{X\}]^\backslash mathsf\{T\}$$

'''상관 행렬과의 관계'''

공분산 행렬과 밀접하게 관련된 것은 무작위 벡터 $\backslash mathbf\{X\}$의 각 성분 간의 피어슨 상관 계수를 모아놓은 상관 행렬이다. 상관 행렬 $\backslash operatorname\{corr\}(\backslash mathbf\{X\})$는 공분산 행렬 $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}$를 각 변수의 표준 편차로 정규화하여 얻을 수 있다.

$$\backslash operatorname\{corr\}(\backslash mathbf\{X\})\; =\; \backslash big(\backslash operatorname\{diag\}(\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\})\backslash big)^\{-\backslash frac\{1\}\{2\}\}\; \backslash ,\; \backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\; \backslash ,\; \backslash big(\backslash operatorname\{diag\}(\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\})\backslash big)^\{-\backslash frac\{1\}\{2\}\}$$

여기서 $\backslash operatorname\{diag\}(\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\})$는 $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}$의 대각 성분만을 모은 대각 행렬이다 (즉, 각 $X\_i$의 분산 $\backslash sigma^2(X\_i)$을 대각 성분으로 가지는 행렬).

이는 각 확률 변수를 표준화한 $X\_i/\backslash sigma(X\_i)$들의 공분산 행렬과 같다.

$$$$

\operatorname{corr}(\mathbf{X})

= \begin{bmatrix}

1 & \frac{\operatorname{E}[(X_1 - \mu_1)(X_2 - \mu_2)]}{\sigma(X_1)\sigma(X_2)} & \cdots & \frac{\operatorname{E}[(X_1 - \mu_1)(X_n - \mu_n)]}{\sigma(X_1)\sigma(X_n)} \\ \\

\frac{\operatorname{E}[(X_2 - \mu_2)(X_1 - \mu_1)]}{\sigma(X_2)\sigma(X_1)} & 1 & \cdots & \frac{\operatorname{E}[(X_2 - \mu_2)(X_n - \mu_n)]}{\sigma(X_2)\sigma(X_n)} \\ \\

\vdots & \vdots & \ddots & \vdots \\ \\

\frac{\operatorname{E}[(X_n - \mu_n)(X_1 - \mu_1)]}{\sigma(X_n)\sigma(X_1)} & \frac{\operatorname{E}[(X_n - \mu_n)(X_2 - \mu_2)]}{\sigma(X_n)\sigma(X_2)} & \cdots & 1

\end{bmatrix}.



상관 행렬의 대각 성분은 항상 1이며, 비대각 성분은 -1과 +1 사이의 값을 가진다.

'''역행렬'''

공분산 행렬 $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}$의 역행렬 $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}^\{-1\}$은 '''역공분산 행렬''' 또는 '''정밀도 행렬'''이라고 불린다.^[3][14] 정밀도 행렬은 부분 상관 관계와 부분 분산을 사용하여 표현될 수도 있다.

'''기본 성질'''

$\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}=\backslash operatorname\{E\}\; \backslash left[\; \backslash left(\; \backslash mathbf\{X\}\; -\; \backslash operatorname\{E\}[\backslash mathbf\{X\}]\; \backslash right)\; \backslash left(\; \backslash mathbf\{X\}\; -\; \backslash operatorname\{E\}[\backslash mathbf\{X\}]\; \backslash right)^\backslash mathsf\{T\}\; \backslash right]$이고 $\backslash boldsymbol\{\backslash mu\}\_\backslash mathbf\{X\}\; =\; \backslash operatorname\{E\}[\backslash textbf\{X\}]$일 때, 다음과 같은 기본 성질이 성립한다.^[4]

# $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\; =\; \backslash operatorname\{E\}(\backslash mathbf\{X\; X^\backslash mathsf\{T\}\})\; -\; \backslash boldsymbol\{\backslash mu\}\_\backslash mathbf\{X\}\backslash boldsymbol\{\backslash mu\}\_\backslash mathbf\{X\}^\backslash mathsf\{T\}$

# $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\; \backslash ,$는 양의 준정부호 행렬이다. 즉, 모든 벡터 $\backslash mathbf\{a\}\; \backslash in\; \backslash mathbb\{R\}^n$에 대해 $\backslash mathbf\{a\}^\backslash mathsf\{T\}\; \backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\; \backslash mathbf\{a\}\; \backslash ge\; 0$이다.

# $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\; \backslash ,$는 대칭 행렬이다. 즉, $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}^\backslash mathsf\{T\}\; =\; \backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}$이다.

# 임의의 상수 $m\; \backslash times\; n$ 행렬 $\backslash mathbf\{A\}$와 상수 $m\; \backslash times\; 1$ 벡터 $\backslash mathbf\{a\}$에 대해, $\backslash operatorname\{K\}\_\{\backslash mathbf\{A\; X\}\; +\; \backslash mathbf\{a\}\}\; =\; \backslash mathbf\{A\}\backslash ,\; \backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\backslash ,\; \backslash mathbf\{A\}^\backslash mathsf\{T\}$이다.

# 확률 벡터 $\backslash mathbf\{X\}$, $\backslash mathbf\{Y\}$에 대해, $\backslash operatorname\{cov\}(\backslash mathbf\{X\},\backslash mathbf\{Y\})\; =\; \backslash operatorname\{cov\}(\backslash mathbf\{Y\},\backslash mathbf\{X\})^\backslash mathsf\{T\}$이다.

# 확률 벡터 $\backslash mathbf\{X\}\_1$, $\backslash mathbf\{X\}\_2$, $\backslash mathbf\{Y\}$에 대해, $\backslash operatorname\{cov\}(\backslash mathbf\{X\}\_1\; +\; \backslash mathbf\{X\}\_2,\backslash mathbf\{Y\})\; =\; \backslash operatorname\{cov\}(\backslash mathbf\{X\}\_1,\backslash mathbf\{Y\})\; +\; \backslash operatorname\{cov\}(\backslash mathbf\{X\}\_2,\; \backslash mathbf\{Y\})$이다.

# 만약 $\backslash mathbf\{X\}$, $\backslash mathbf\{Y\}$가 같은 차원의 확률 벡터이면, $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\; +\; \backslash mathbf\{Y\}\}\; =\; \backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\; +\; \backslash operatorname\{cov\}(\backslash mathbf\{X\},\backslash mathbf\{Y\})\; +\; \backslash operatorname\{cov\}(\backslash mathbf\{Y\},\; \backslash mathbf\{X\})\; +\; \backslash operatorname\{K\}\_\{\backslash mathbf\{Y\}\backslash mathbf\{Y\}\}$이다. 여기서 $\backslash operatorname\{cov\}(\backslash mathbf\{X\},\; \backslash mathbf\{Y\})$는 $\backslash mathbf\{X\}$와 $\backslash mathbf\{Y\}$의 교차 공분산 행렬이다.

# 임의의 행렬 $\backslash mathbf\{A\}$, $\backslash mathbf\{B\}$에 대해, $\backslash operatorname\{cov\}(\backslash mathbf\{AX\},\; \backslash mathbf\{B\}^\backslash mathsf\{T\}\backslash mathbf\{Y\})\; =\; \backslash mathbf\{A\}\backslash ,\; \backslash operatorname\{cov\}(\backslash mathbf\{X\},\; \backslash mathbf\{Y\})\; \backslash ,\backslash mathbf\{B\}$이다.

# 만약 $\backslash mathbf\{X\}$와 $\backslash mathbf\{Y\}$가 독립이라면, 교차 공분산 행렬 $\backslash operatorname\{cov\}(\backslash mathbf\{X\},\; \backslash mathbf\{Y\})\; =\; 0$이다.

'''블록 행렬'''

두 확률 벡터 $\backslash mathbf\{X\}$와 $\backslash mathbf\{Y\}$의 결합 평균 $\backslash boldsymbol\backslash mu$와 결합 공분산 행렬 $\backslash boldsymbol\backslash Sigma$는 다음과 같이 블록 형태로 나타낼 수 있다.

$$$$

\boldsymbol\mu

=

\begin{bmatrix}

\boldsymbol{\mu}_\mathbf{X} \\

\boldsymbol{\mu}_\mathbf{Y}

\end{bmatrix}, \qquad

\boldsymbol\Sigma

=

\begin{bmatrix}

\operatorname{K}_\mathbf{XX} & \operatorname{K}_\mathbf{XY} \\

\operatorname{K}_\mathbf{YX} & \operatorname{K}_\mathbf{YY}

\end{bmatrix}



여기서 $\backslash operatorname\{K\}\_\backslash mathbf\{XX\}\; =\; \backslash operatorname\{var\}(\backslash mathbf\{X\})$, $\backslash operatorname\{K\}\_\backslash mathbf\{YY\}\; =\; \backslash operatorname\{var\}(\backslash mathbf\{Y\})$, $\backslash operatorname\{K\}\_\backslash mathbf\{XY\}\; =\; \backslash operatorname\{cov\}(\backslash mathbf\{X\},\; \backslash mathbf\{Y\})$, $\backslash operatorname\{K\}\_\backslash mathbf\{YX\}\; =\; \backslash operatorname\{cov\}(\backslash mathbf\{Y\},\; \backslash mathbf\{X\})\; =\; \backslash operatorname\{K\}\_\backslash mathbf\{XY\}^\backslash mathsf\{T\}$이다.

$\backslash operatorname\{K\}\_\backslash mathbf\{XX\}$와 $\backslash operatorname\{K\}\_\backslash mathbf\{YY\}$는 각각 $\backslash mathbf\{X\}$와 $\backslash mathbf\{Y\}$의 주변 분포에 대한 공분산 행렬이다.

만약 $\backslash mathbf\{X\}$와 $\backslash mathbf\{Y\}$가 다변량 정규 분포 $\backslash mathcal\{N\}(\backslash boldsymbol\backslash mu,\; \backslash boldsymbol\backslash Sigma)$를 따른다면, $\backslash mathbf\{X\}$가 주어졌을 때 $\backslash mathbf\{Y\}$의 조건부 분포는 다음과 같다.^[5]

$$$$

\mathbf{Y} \mid \mathbf{X} \sim\ \mathcal{N}(\boldsymbol{\mu}_\mathbf{Y|X}, \operatorname{K}_\mathbf{Y|X}),



이는 조건부 평균

$$$$

\boldsymbol{\mu}_{\mathbf{Y}|\mathbf{X}}

=

\boldsymbol{\mu}_\mathbf{Y} + \operatorname{K}_\mathbf{YX} \operatorname{K}_\mathbf{XX}^{-1}

\left(

\mathbf{X} - \boldsymbol{\mu}_\mathbf{X}

\right)



과 조건부 분산

$$$$

\operatorname{K}_\mathbf{Y|X}

= \operatorname{K}_\mathbf{YY} - \operatorname{K}_\mathbf{YX} \operatorname{K}_\mathbf{XX}^{-1} \operatorname{K}_\mathbf{XY}.



에 의해 정의된다. 행렬 $\backslash operatorname\{K\}\_\backslash mathbf\{YX\}\; \backslash operatorname\{K\}\_\backslash mathbf\{XX\}^\{-1\}$는 회귀 분석 계수의 행렬로 알려져 있으며, $\backslash operatorname\{K\}\_\backslash mathbf\{Y|X\}$는 $\backslash boldsymbol\backslash Sigma$에서 $\backslash operatorname\{K\}\_\backslash mathbf\{XX\}$의 슈어 보수이다.

'''부분 공분산 행렬'''

모든 원소가 0이 아닌 공분산 행렬은 모든 개별 확률 변수가 서로 관련되어 있음을 나타낸다. 이는 변수가 직접적으로 상관 관계가 있을 뿐만 아니라 다른 변수를 통해 간접적으로도 상관 관계가 있음을 의미한다. 이러한 간접적인 상관 관계를 제거하고 직접적인 상관 관계만 보고자 할 때 부분 공분산 행렬을 사용한다.

두 확률 변수 벡터 $\backslash mathbf\{X\}$와 $\backslash mathbf\{Y\}$가 다른 벡터 $\backslash mathbf\{I\}$를 통해 상관 관계가 있을 경우, $\backslash mathbf\{I\}$의 영향을 제거한 부분 공분산 행렬 $\backslash operatorname\{K\}\_\backslash mathbf\{XY\; \backslash mid\; I\}$는 다음과 같이 계산된다.^[6]

$$$$

\operatorname{K}_\mathbf{XY \mid I}

= \operatorname{pcov}(\mathbf{X},\mathbf{Y} \mid \mathbf{I})

= \operatorname{cov}(\mathbf{X},\mathbf{Y})

• \operatorname{cov}(\mathbf{X},\mathbf{I})

4. 분포의 매개변수로서의 공분산 행렬

만약 $n$개의 서로 연관될 수 있는 확률 변수로 이루어진 열 벡터 $\backslash mathbf\{X\}$가 다변량 정규 분포를 따르거나, 더 일반적으로 타원 분포를 따른다면, 그 확률 밀도 함수 $\backslash operatorname\{f\}(\backslash mathbf\{X\})$는 다음과 같이 공분산 행렬 $\backslash boldsymbol\{\backslash Sigma\}$의 관점에서 표현될 수 있다.^[6]

$$$$

\operatorname{f}(\mathbf{X})

= (2 \pi)^{-n/2} |\boldsymbol{\Sigma}|^{-1/2}

\exp \left ( - \tfrac{1}{2} \mathbf{(X - \mu)^\mathsf{T} \Sigma^{-1} (X - \mu)} \right ),



여기서 $\backslash boldsymbol\{\backslash mu\}\; =\; \backslash operatorname\{E\}[\backslash mathbf\{X\}]$이며, $|\backslash boldsymbol\{\backslash Sigma\}|$는 $\backslash boldsymbol\{\backslash Sigma\}$의 행렬식이다.

$n$개의 상관 관계가 있는 확률 변수의 확률 밀도 함수, 특히 ''n''차의 정규 분포 (가우스 분포)를 따르는 확률 변수 벡터의 결합 확률에 대해서는 최대 우도 추정을 참조할 수 있다.

5. 선형 연산자로서의 공분산 행렬

공분산 행렬은 하나의 벡터에 적용될 때, 확률 변수 '''X'''의 선형 결합 '''c'''를 해당 변수들과의 공분산 벡터로 대응시키는 선형 연산자로 볼 수 있다:

$$\backslash mathbf\; c^\backslash mathsf\{T\}\; \backslash boldsymbol\backslash Sigma\; =\; \backslash operatorname\{cov\}(\backslash mathbf\; c^\backslash mathsf\{T\}\; \backslash mathbf\; X,\; \backslash mathbf\; X)$$

또한, 공분산 행렬은 두 선형 결합 사이의 공분산을 계산하는 쌍선형 형식으로도 해석될 수 있다. 두 벡터 '''c'''와 '''d'''가 주어졌을 때, 두 선형 결합 $\backslash mathbf\; d^\backslash mathsf\{T\}\; \backslash mathbf\; X$와 $\backslash mathbf\; c^\backslash mathsf\{T\}\; \backslash mathbf\; X$ 사이의 공분산은 다음과 같이 계산된다:

$$\backslash mathbf\; d^\backslash mathsf\{T\}\; \backslash boldsymbol\backslash Sigma\; \backslash mathbf\; c\; =\; \backslash operatorname\{cov\}(\backslash mathbf\; d^\backslash mathsf\{T\}\; \backslash mathbf\; X,\; \backslash mathbf\; c^\backslash mathsf\{T\}\; \backslash mathbf\; X)$$

특히, $\backslash mathbf\; d\; =\; \backslash mathbf\; c$인 경우, 이는 선형 결합 $\backslash mathbf\; c^\backslash mathsf\{T\}\; \backslash mathbf\; X$의 분산이 된다. 즉, 선형 결합의 분산은 자기 자신과의 공분산으로 계산할 수 있다:

$$\backslash mathbf\; c^\backslash mathsf\{T\}\; \backslash boldsymbol\backslash Sigma\; \backslash mathbf\; c\; =\; \backslash operatorname\{var\}(\backslash mathbf\; c^\backslash mathsf\{T\}\; \backslash mathbf\; X)\; =\; \backslash operatorname\{cov\}(\backslash mathbf\; c^\backslash mathsf\{T\}\; \backslash mathbf\; X,\; \backslash mathbf\; c^\backslash mathsf\{T\}\; \backslash mathbf\; X)$$

마찬가지로, (유사-)역 공분산 행렬 $\backslash boldsymbol\backslash Sigma^+$는 내적 $\backslash langle\; c\; -\; \backslash mu|\; \backslash boldsymbol\backslash Sigma^+\; |c\; -\; \backslash mu\backslash rangle$을 정의하는 데 사용될 수 있으며, 이는 벡터 ''c''가 평균 $\backslash mu$로부터 얼마나 떨어져 있는지를 나타내는 마할라노비스 거리를 유도한다. 이 거리는 ''c''가 나타날 가능성이 얼마나 낮은지를 측정하는 척도로 사용될 수 있다.

6. 공분산 행렬의 조건

$\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}=\backslash operatorname\{var\}(\backslash mathbf\{X\})\; =\; \backslash operatorname\{E\}\; \backslash left[\; \backslash left(\; \backslash mathbf\{X\}\; -\; \backslash operatorname\{E\}[\backslash mathbf\{X\}]\; \backslash right)\; \backslash left(\; \backslash mathbf\{X\}\; -\; \backslash operatorname\{E\}[\backslash mathbf\{X\}]\; \backslash right)^\backslash mathsf\{T\}\; \backslash right]$와 $\backslash boldsymbol\{\backslash mu\}\_\backslash mathbf\{X\}\; =\; \backslash operatorname\{E\}[\backslash textbf\{X\}]$라고 정의할 때, 여기서 $\backslash mathbf\{X\}\; =\; (X\_1,\backslash ldots,X\_n)^\backslash mathsf\{T\}$는 $n$개의 성분을 가지는 확률 변수 벡터이다. 이 공분산 행렬은 다음과 같은 기본 속성을 만족한다.^[4]

# $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\; =\; \backslash operatorname\{E\}(\backslash mathbf\{X\; X^\backslash mathsf\{T\}\})\; -\; \backslash boldsymbol\{\backslash mu\}\_\backslash mathbf\{X\}\backslash boldsymbol\{\backslash mu\}\_\backslash mathbf\{X\}^\backslash mathsf\{T\}$

# $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\; \backslash ,$는 양의 반정부호이다. 즉, 모든 $\backslash mathbf\{a\}\; \backslash in\; \backslash mathbb\{R\}^n$에 대해 $\backslash mathbf\{a\}^\backslash mathsf\{T\}\; \backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\; \backslash mathbf\{a\}\; \backslash ge\; 0$ 이다.

# $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\; \backslash ,$는 대칭 행렬이다. 즉, $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}^\backslash mathsf\{T\}\; =\; \backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}$ 이다.

# 임의의 상수 $m\; \backslash times\; n$ 행렬 $\backslash mathbf\{A\}$와 상수 $m\; \backslash times\; 1$ 벡터 $\backslash mathbf\{a\}$에 대해, $\backslash operatorname\{var\}(\backslash mathbf\{A\; X\}\; +\; \backslash mathbf\{a\})\; =\; \backslash mathbf\{A\}\backslash ,\; \backslash operatorname\{var\}(\backslash mathbf\{X\})\backslash ,\; \backslash mathbf\{A\}^\backslash mathsf\{T\}$ 이다.

# 만약 $\backslash mathbf\{Y\}$가 $\backslash mathbf\{X\}$와 같은 차원의 다른 확률 벡터라면, $\backslash operatorname\{var\}(\backslash mathbf\{X\}\; +\; \backslash mathbf\{Y\})\; =\; \backslash operatorname\{var\}(\backslash mathbf\{X\})\; +\; \backslash operatorname\{cov\}(\backslash mathbf\{X\},\backslash mathbf\{Y\})\; +\; \backslash operatorname\{cov\}(\backslash mathbf\{Y\},\; \backslash mathbf\{X\})\; +\; \backslash operatorname\{var\}(\backslash mathbf\{Y\})$ 이다. 여기서 $\backslash operatorname\{cov\}(\backslash mathbf\{X\},\; \backslash mathbf\{Y\})$는 $\backslash mathbf\{X\}$와 $\backslash mathbf\{Y\}$의 교차 공분산 행렬이다.

특히 속성 4에서 $\backslash mathbf\{b\}$를 $(p\; \backslash times\; 1)$ 크기의 실수 벡터라고 하면, 확률 변수 $\backslash mathbf\{b\}^\backslash mathsf\{T\}\backslash mathbf\{X\}$의 분산은 다음과 같이 계산된다.

$$\backslash operatorname\{var\}(\backslash mathbf\{b\}^\backslash mathsf\{T\}\backslash mathbf\{X\})\; =\; \backslash mathbf\{b\}^\backslash mathsf\{T\}\; \backslash operatorname\{var\}(\backslash mathbf\{X\})\; \backslash mathbf\{b\}\; =\; \backslash mathbf\{b\}^\backslash mathsf\{T\}\; \backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\; \backslash mathbf\{b\}$$

실수 값을 가지는 확률 변수의 분산은 항상 0보다 크거나 같아야 하므로, $\backslash mathbf\{b\}^\backslash mathsf\{T\}\; \backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}\; \backslash mathbf\{b\}\; \backslash ge\; 0$ 이 성립한다. 이는 정의에 따라 공분산 행렬 $\backslash operatorname\{K\}\_\{\backslash mathbf\{X\}\backslash mathbf\{X\}\}$가 항상 양의 반정부호 행렬임을 의미한다.

더 자세히 살펴보면, 임의의 벡터 $w$에 대해 다음이 성립한다.

$$$$

\begin{align}

& w^\mathsf{T} \operatorname{E} \left[(\mathbf{X} - \operatorname{E}[\mathbf{X}]) (\mathbf{X} - \operatorname{E}[\mathbf{X}])^\mathsf{T}\right] w

= \operatorname{E} \left[w^\mathsf{T}(\mathbf{X} - \operatorname{E}[\mathbf{X}]) (\mathbf{X} - \operatorname{E}[\mathbf{X}])^\mathsf{T}w\right] \\

&= \operatorname{E} \big[\big( w^\mathsf{T}(\mathbf{X} - \operatorname{E}[\mathbf{X}]) \big)^2 \big] \geq 0

\end{align}



여기서 마지막 부등식은 $w^\backslash mathsf\{T\}(\backslash mathbf\{X\}\; -\; \backslash operatorname\{E\}[\backslash mathbf\{X\}])$가 스칼라 값이고, 스칼라 값의 제곱의 기댓값은 항상 0 이상이기 때문에 성립한다.

반대로, 모든 대칭 행렬이고 양의 반정부호 행렬인 행렬은 어떤 확률 벡터의 공분산 행렬이 될 수 있다. 이를 보이기 위해, $M$이 $p\; \backslash times\; p$ 크기의 대칭이고 양의 반정부호인 행렬이라고 가정하자. 유한 차원 스펙트럼 정리에 따르면, $M$은 음이 아닌 고윳값을 가지는 대칭 제곱근 행렬 $\backslash mathbf\{M\}^\{1/2\}$을 가진다. 이제 $\backslash mathbf\{X\}$를 공분산 행렬이 $p\; \backslash times\; p$ 단위 행렬 $\backslash mathbf\{I\}$인 임의의 $p\; \backslash times\; 1$ 확률 벡터라고 하자 (예: 각 성분이 서로 독립이고 평균 0, 분산 1인 표준 정규 분포를 따르는 벡터). 그러면 $\backslash mathbf\{M\}^\{1/2\}\; \backslash mathbf\{X\}$라는 새로운 확률 벡터의 공분산 행렬은 다음과 같이 계산된다.

$$\backslash operatorname\{var\}(\backslash mathbf\{M\}^\{1/2\}\; \backslash mathbf\{X\})\; =\; \backslash mathbf\{M\}^\{1/2\}\; \backslash ,\; \backslash operatorname\{var\}(\backslash mathbf\{X\})\; \backslash ,\; (\backslash mathbf\{M\}^\{1/2\})^\backslash mathsf\{T\}\; =\; \backslash mathbf\{M\}^\{1/2\}\; \backslash ,\; \backslash mathbf\{I\}\; \backslash ,\; \backslash mathbf\{M\}^\{1/2\}\; =\; \backslash mathbf\{M\}$$

(여기서 $\backslash mathbf\{M\}^\{1/2\}$는 대칭 행렬이므로 $(\backslash mathbf\{M\}^\{1/2\})^\backslash mathsf\{T\}\; =\; \backslash mathbf\{M\}^\{1/2\}$이다.)

따라서, 임의의 대칭이고 양의 반정부호인 행렬 $M$은 적절한 확률 벡터($\backslash mathbf\{M\}^\{1/2\}\; \backslash mathbf\{X\}$)의 공분산 행렬이 될 수 있다.

결론적으로, 어떤 행렬이 공분산 행렬이 되기 위한 필요충분조건은 그 행렬이 대칭 행렬이고 양의 반정부호 행렬이라는 것이다.

7. 복소 확률 벡터

기댓값이 $\backslash mu\_Z$인 복소수 스칼라 값 확률 변수 $Z$의 분산은 일반적으로 복소 공액을 사용하여 다음과 같이 정의된다.

$$$$

\operatorname{var}(Z)

= \operatorname{E}\left[ (Z - \mu_Z)\overline{(Z - \mu_Z)} \right]



여기서 복소수 $z$의 복소 공액은 $\backslash overline\{z\}$로 표시된다. 이 정의에 따라 복소 확률 변수의 분산은 실수가 된다.

$\backslash mathbf\{Z\}\; =\; (Z\_1,\backslash ldots,Z\_n)\; ^\backslash mathsf\{T\}$가 복소수 값 확률 변수들의 열 벡터일 경우, 켤레 전치 $\backslash mathbf\{Z\}^\backslash mathsf\{H\}$는 벡터를 전치하고 각 성분에 복소 공액을 취하여 얻는다. 벡터 $\backslash mathbf\{Z\}\; -\; \backslash boldsymbol\{\backslash mu\}\_\backslash mathbf\{Z\}$와 그 켤레 전치의 곱의 기댓값을 취하면 공분산 행렬이라는 정사각 행렬을 얻는다.^[7]

$$$$

\operatorname{K}_{\mathbf{Z}\mathbf{Z}} = \operatorname{cov}[\mathbf{Z},\mathbf{Z}] =

\operatorname{E}

\left[

(\mathbf{Z} - \boldsymbol{\mu}_\mathbf{Z})(\mathbf{Z} - \boldsymbol{\mu}_\mathbf{Z})^\mathsf{H}

\right]



이렇게 정의된 공분산 행렬 $\backslash operatorname\{K\}\_\{\backslash mathbf\{Z\}\backslash mathbf\{Z\}\}$는 다음과 같은 속성을 가진다.

• 에르미트 행렬이다. 즉, $\backslash operatorname\{K\}\_\{\backslash mathbf\{Z\}\backslash mathbf\{Z\}\}^\backslash mathsf\{H\}\; =\; \backslash operatorname\{K\}\_\{\backslash mathbf\{Z\}\backslash mathbf\{Z\}\}$이다.^[1]
• 반정부호 행렬이다.^[8]
• 주대각선 요소들은 실수이다.^[1] 비대각선 요소들은 복소수일 수 있다.

8. 추정

$\backslash mathbf\{M\}\_\{\backslash mathbf\{X\}\}$와 $\backslash mathbf\{M\}\_\{\backslash mathbf\{Y\}\}$가 각각 $p\; \backslash times\; n$과 $q\; \backslash times\; n$ 차원을 갖는 데이터 행렬이라고 가정해 보자. 이는 변수 'p'개와 'q'개에 대해 각각 'n'개의 관측치를 열로 가지며, 각 변수의 행 평균이 이미 빼진 상태를 의미한다.

만약 행 평균을 데이터로부터 추정하여 사용했다면, 표본 공분산 행렬 $\backslash mathbf\{Q\}\_\{\backslash mathbf\{XX\}\}$와 표본 상호 공분산 행렬 $\backslash mathbf\{Q\}\_\{\backslash mathbf\{XY\}\}$는 다음과 같이 정의될 수 있다. 이때 분모는 자유도를 고려하여 $n-1$을 사용한다.

$$\backslash mathbf\{Q\}\_\{\backslash mathbf\{XX\}\}\; =\; \backslash frac\{1\}\{n-1\}\; \backslash mathbf\{M\}\_\{\backslash mathbf\{X\}\}\; \backslash mathbf\{M\}\_\{\backslash mathbf\{X\}\}^\backslash mathsf\{T\},\; \backslash qquad\; \backslash mathbf\{Q\}\_\{\backslash mathbf\{XY\}\}\; =\; \backslash frac\{1\}\{n-1\}\; \backslash mathbf\{M\}\_\{\backslash mathbf\{X\}\}\; \backslash mathbf\{M\}\_\{\backslash mathbf\{Y\}\}^\backslash mathsf\{T\}$$

반면, 행 평균을 미리 알고 있는 경우에는 다음과 같이 정의된다. 이 경우 분모는 관측치 개수 $n$을 사용한다.

$$\backslash mathbf\{Q\}\_\{\backslash mathbf\{XX\}\}\; =\; \backslash frac\{1\}\{n\}\; \backslash mathbf\{M\}\_\{\backslash mathbf\{X\}\}\; \backslash mathbf\{M\}\_\{\backslash mathbf\{X\}\}^\backslash mathsf\{T\},\; \backslash qquad\; \backslash mathbf\{Q\}\_\{\backslash mathbf\{XY\}\}\; =\; \backslash frac\{1\}\{n\}\; \backslash mathbf\{M\}\_\{\backslash mathbf\{X\}\}\; \backslash mathbf\{M\}\_\{\backslash mathbf\{Y\}\}^\backslash mathsf\{T\}.$$

이렇게 계산된 경험적 표본 공분산 행렬은 실제 공분산 행렬에 대한 가장 간단하고 가장 자주 사용되는 추정치이다. 하지만 이 외에도 정규화(regularized) 또는 축소(shrinkage) 추정치와 같이 특정 상황에서 더 나은 통계적 속성을 가질 수 있는 다른 추정 방법들도 존재한다.

특히, 데이터가 다변량 정규 분포를 따른다고 가정할 경우, 공분산 행렬의 최우 추정량을 유도할 수 있다.

9. 응용

공분산 행렬은 여러 분야에서 유용한 도구이다. 공분산 행렬로부터 변환 행렬을 도출할 수 있는데, 이를 백색화 변환이라고 하며, 이는 데이터를 완전히 비상관화하거나^[9], 다른 관점에서는 데이터를 압축된 방식으로 표현하기 위한 최적의 기저를 찾는 데 사용할 수 있다 (공분산 행렬의 공식적인 증명과 추가적인 속성은 레일리 지수 참조).

이것은 주성분 분석(PCA) 및 카루넨-레브 변환(KL-변환)이라고 한다.

공분산 행렬은 금융 경제학에서, 특히 현대 포트폴리오 이론과 그 뮤추얼 펀드 분리 정리, 그리고 자본 자산 가격 결정 모형에서 중요한 역할을 한다. 다양한 자산 수익률 간의 공분산 행렬은 특정 가정을 전제로, 투자자가 다변화의 맥락에서 ( 규범적 분석에서) 보유해야 하거나, ( 실증적 분석에서) 보유할 것으로 예측되는, 서로 다른 자산의 상대적 양을 결정하는 데 사용된다.

진화 전략은 특정 계열의 무작위 탐색 휴리스틱으로, 그 메커니즘에서 본질적으로 공분산 행렬에 의존한다. 특징적인 돌연변이 연산자는 진화하는 공분산 행렬을 사용하여 다변수 정규 분포로부터 업데이트 단계를 도출한다. 진화 전략의 공분산 행렬이 스칼라 계수와 작은 무작위 변동을 최대로 하여 탐색 지형의 헤시안 행렬의 역수에 적응한다는 공식적인 증명이 있다(개체군 크기가 증가함에 따라 단일 부모 전략과 정적 모델에 대해 이차 근사를 사용하여 증명).^[10] 직관적으로 이 결과는 최적의 공분산 분포가 지형의 등고선과 일치하는 등밀도 확률 윤곽선을 갖는 돌연변이 단계를 제공할 수 있으며, 따라서 진행 속도를 최대화한다는 근거에 의해 뒷받침된다.

'''공분산 매핑'''에서는 $\backslash operatorname\{cov\}(\backslash mathbf\{X\},\; \backslash mathbf\{Y\})$ 또는 $\backslash operatorname\{pcov\}(\backslash mathbf\{X\},\; \backslash mathbf\{Y\}\; \backslash mid\; \backslash mathbf\{I\})$ 행렬의 값을 2차원 맵으로 플롯한다. 벡터 $\backslash mathbf\{X\}$ 와 $\backslash mathbf\{Y\}$ 가 이산 확률 함수인 경우 맵은 확률 함수의 서로 다른 영역 간의 통계적 관계를 보여준다. 함수의 통계적으로 독립적인 영역은 맵에 제로 레벨 평지로 나타나고, 양 또는 음의 상관관계는 각각 언덕 또는 계곡으로 나타난다.

실제로 열 벡터 $\backslash mathbf\{X\},\; \backslash mathbf\{Y\}$ 및 $\backslash mathbf\{I\}$ 는 $n$ 개의 표본의 행으로 실험적으로 얻는다. 예를 들어,

$$\backslash left[\backslash mathbf\{X\}\_1,\; \backslash mathbf\{X\}\_2,\; \backslash dots,\; \backslash mathbf\{X\}\_n\backslash right]\; =$$

\begin{bmatrix}

X_1(t_1) & X_2(t_1) & \cdots & X_n(t_1) \\ \\

X_1(t_2) & X_2(t_2) & \cdots & X_n(t_2) \\ \\

\vdots & \vdots & \ddots & \vdots \\ \\

X_1(t_m) & X_2(t_m) & \cdots & X_n(t_m)

\end{bmatrix} ,



여기서 $X\_j(t\_i)$ 는 확률 함수 $X(t)$ 의 표본 ''j''에서 ''i''번째 이산 값이다. 공분산 공식에 필요한 기대값은 표본 평균을 사용하여 추정한다. 예를 들어,

$$\backslash langle\; \backslash mathbf\{X\}\; \backslash rangle\; =\; \backslash frac\{1\}\{n\}\; \backslash sum\_\{j=1\}^\{n\}\; \backslash mathbf\{X\}\_j$$

그리고 공분산 행렬은 표본 공분산 행렬로 추정된다.

$$$$

\operatorname{cov}(\mathbf{X},\mathbf{Y})

\approx \langle \mathbf{XY^\mathsf{T}} \rangle

• \langle \mathbf{X} \rangle \langle \mathbf{Y}^\mathsf{T} \rangle ,

• \operatorname{cov}(\mathbf{X},\mathbf{I})

참조

_[1] 서적 Fundamentals of Probability and Stochastic Processes with Applications to Communications Springer
_[2] 서적 An introduction to probability theory and its applications https://books.google[...] Wiley 2012-08-10
_[3] 서적 All of Statistics: A Concise Course in Statistical Inference https://archive.org/[...] Springer
_[4] 웹사이트 Lectures on probability theory and mathematical statistics http://www.statlect.[...]
_[5] 서적 Multivariate Statistics: a Vector Space Approach John Wiley and Sons
_[6] 간행물 Principles of Multivariate Analysis Oxford University Press
_[7] 서적 A Foundation in Digital Communication Cambridge University Press
_[8] 웹사이트 The Matrix Reference Manual http://www.ee.ic.ac.[...]
_[9] 간행물 Optimal Whitening and Decorrelation https://www.tandfonl[...] Taylor & Francis
_[10] 간행물 On the covariance-Hessian relation in evolution strategies Elsevier
_[11] 뉴스 Covariance mapping techniques http://iopscience.io[...]
_[12] 뉴스 Coulomb explosion of diatomic molecules in intense XUV fields mapped by partial covariance http://hdl.handle.ne[...]
_[13] 뉴스 Generalized two-dimensional correlation method applicable to infrared, Raman, and other types of spectroscopy
_[14] 문서 Wasserman
_[15] 문서 Feller Vol.1, Feller Vol.2