사영작용소

1. 개요

사영 작용소는 벡터 공간 V 위의 선형 변환 P가 P²=P를 만족하는 경우를 말한다. 힐베르트 공간에서는 = 를 만족하면 직교 사영, 그렇지 않으면 사각 사영이라고 한다. 정사각 행렬 P에 대해 P² = P이면 투영 행렬이라고 하며, 실수 행렬에서 P² = P = Pᵀ, 복소수 행렬에서 P² = P = P*이면 직교 투영 행렬이라고 한다. 사영 작용소는 부분 벡터 공간과 그 여공간의 쌍과 일대일 대응하며, 최소 제곱법을 정의하는 데 사용된다. 사영은 선형 최소 제곱법, QR 분해, 특이값 분해 등 다양한 선형대수 알고리즘에 활용되며, 작용소 K-이론, 폰 노이만 대수, 양자역학 등 다양한 분야에 응용된다.

2. 정의

벡터 공간 $V$ 위의 선형 변환 $P\backslash colon\; V\backslash to\; V$가 $P^2=P$를 만족하면, 사영 작용소라고 한다.

내적이 주어진 힐베르트 공간 $V$에서, 모든 $\backslash mathbf\; x,\; \backslash mathbf\; y\; \backslash in\; V$에 대해 $\backslash langle\; P\; \backslash mathbf\; x,\; \backslash mathbf\; y\; \backslash rangle\; =\; \backslash langle\; \backslash mathbf\; x,\; P\; \backslash mathbf\; y\; \backslash rangle$를 만족하는 사영 작용소 $P$는 직교 사영이라고 한다. 힐베르트 공간에서 직교 사영이 아닌 사영은 사각 사영이라고 한다.

3. 분류

벡터 공간의 선형 변환 $P\backslash colon\; V\backslash to\; V$가 $P^2=P$를 만족하면, 사영 작용소라고 한다. 유한 차원 벡터 공간에서 사영 작용소는 부분 벡터 공간과 그 여공간의 쌍과 일대일 대응한다. 사영 작용소 P에 대해, 벡터 공간은 P의 상과 핵의 직합으로 분해된다.

:$V=P(V)\backslash oplus\backslash ker\; P$

내적 공간에서, 모든 $\backslash mathbf\; x,\; \backslash mathbf\; y\; \backslash in\; V$에 대해 $\backslash langle\; P\; \backslash mathbf\; x,\; \backslash mathbf\; y\; \backslash rangle\; =\; \backslash langle\; \backslash mathbf\; x,\; P\; \backslash mathbf\; y\; \backslash rangle$를 만족하면 직교 사영이라고 한다. 직교 사영이 아닌 경우 사영(oblique) 사영이라고 한다.

정사각 행렬 $P$에 대해,
* $P^2\; =\; P$일 경우 투영 행렬이라고 한다.
* 실수 행렬에 대해 $P^2\; =\; P\; =\; P^\{\backslash mathrm\; T\}$이고, 복소수 행렬에 대해 $P^2\; =\; P\; =\; P^\{*\}$일 경우 직교 투영 행렬이라고 하며, 여기서 $P^\{\backslash mathrm\; T\}$는 $P$의 전치 행렬이고, $P^\{*\}$는 $P$의 에르미트 전치 행렬이다.
* 직교 투영 행렬이 아닌 투영 행렬을 사각 투영 행렬이라고 한다.

4. 성질

사영 작용소의 고윳값은 0 또는 1이다. 사영 작용소 $P$의 행렬 지수 함수는 다음과 같다.
:$\backslash exp\; P=1+(e-1)P$

사영의 상과 커널은 상호 보완적이다. 즉, $P$와 $Q\; =\; I\; -\; P$는 상호 보완적이며, 연산자 $Q$도 사영이다. 이때 $P$의 상과 커널은 $Q$의 커널과 상이 되며, 그 반대도 성립한다.

사영의 곱은 일반적으로 사영이 아니지만, 두 사영이 교환하면 그 곱은 사영이 된다. 그러나 교환하지 않는 두 사영의 곱이 사영이 되는 경우도 존재한다.

직교 사영은 유계 작용소이다.

4.1. 직교 사영

내적 공간 $V$의 사영 작용소 $P\backslash colon\; V\backslash to\; V$에 대하여, 다음 세 조건이 서로 동치이다.

* $\backslash ker\; P$는 $P(V)$의 직교 여공간이다. 즉, 임의의 $a,b\backslash in\; V$에 대하여, $\backslash langle\; Pa,b-Pb\backslash rangle=0$이다.
* 자기 수반 작용소이다.
* 최소 제곱법을 정의한다. 즉, 임의의 $b\backslash in\; V$ 및 $Pb\backslash ne\; a\backslash in\; P(V)$에 대하여,

벡터 공간 $W$가 내적을 가지고 있으며 완비(즉, 힐베르트 공간)인 경우, 직교성 개념을 사용할 수 있다. 직교 투영은 치역 $U$와 핵 $V$가 직교 부분 공간인 투영이다. 따라서 $W$의 모든 $\backslash mathbf\; x$와 $\backslash mathbf\; y$에 대해, $\backslash langle\; P\; \backslash mathbf\; x,\; (\backslash mathbf\; y\; -\; P\; \backslash mathbf\; y)\; \backslash rangle\; =\; \backslash langle\; (\backslash mathbf\; x\; -\; P\; \backslash mathbf\; x)\; ,\; P\; \backslash mathbf\; y\; \backslash rangle\; =\; 0$이다. 이는 다음과 같다.

:$\backslash langle\; \backslash mathbf\; x,\; P\; \backslash mathbf\; y\; \backslash rangle\; =\; \backslash langle\; P\; \backslash mathbf\; x,\; P\; \backslash mathbf\; y\; \backslash rangle\; =\; \backslash langle\; P\; \backslash mathbf\; x,\; \backslash mathbf\; y\; \backslash rangle$

투영이 직교 투영이기 위한 필요충분 조건은 자기 수반일 때이다. $P$의 자기 수반 및 멱등성을 사용하면 $W$의 모든 $\backslash mathbf\; x$와 $\backslash mathbf\; y$에 대해 $P\backslash mathbf\{x\}\; \backslash in\; U$, $\backslash mathbf\{y\}\; -\; P\backslash mathbf\{y\}\; \backslash in\; V$이며,

:$\backslash langle\; P\; \backslash mathbf\; x,\; \backslash mathbf\; y\; -\; P\; \backslash mathbf\; y\; \backslash rangle\; =\; \backslash langle\; \backslash mathbf\; x,\; \backslash left(P-P^2\backslash right)\; \backslash mathbf\; y\; \backslash rangle\; =\; 0$

여기서 $\backslash langle\; \backslash cdot,\; \backslash cdot\; \backslash rangle$는 $W$와 관련된 내적이다. 따라서 $P$와 $I\; -\; P$는 직교 투영이다. $P$가 직교이면 자기 수반이라는 것은 $\backslash langle\; (\backslash mathbf\; x\; -\; P\; \backslash mathbf\; x)\; ,\; P\; \backslash mathbf\; y\; \backslash rangle\; =\; \backslash langle\; P\; \backslash mathbf\; x,\; (\backslash mathbf\; y\; -\; P\; \backslash mathbf\; y)\; \backslash rangle\; =\; 0$에서

:$\backslash langle\; \backslash mathbf\; x,\; P\; \backslash mathbf\; y\; \backslash rangle\; =\; \backslash langle\; P\; \backslash mathbf\; x,\; P\backslash mathbf\; y\; \backslash rangle\; =\; \backslash langle\; P\; \backslash mathbf\; x,\; \backslash mathbf\; y\; \backslash rangle\; =\; \backslash langle\; \backslash mathbf\; x,\; P^*\; \backslash mathbf\; y\; \backslash rangle$

$W$의 모든 $x$와 $y$에 대해; 따라서 $P=P^*$가 성립한다.

닫힌 부분 공간으로의 직교 투영의 존재는 힐베르트 투영 정리에서 따른다. 직교 투영은 유계 작용소이다. 이는 벡터 공간의 모든 $\backslash mathbf\; v$에 대해 다음이 성립하기 때문이다. (코시-슈바르츠 부등식):

:$$\backslash left\; \backslash |\; P\; \backslash mathbf\; v\backslash right\backslash |^2\; =\; \backslash langle\; P\; \backslash mathbf\; v,\; P\; \backslash mathbf\; v\; \backslash rangle\; =\; \backslash langle\; P\; \backslash mathbf\; v,\; \backslash mathbf\; v\; \backslash rangle\; \backslash leq\; \backslash left\backslash |P\; \backslash mathbf\; v\backslash right\backslash |\; \backslash cdot\; \backslash left\backslash |\backslash mathbf\; v\backslash right\backslash |$$

따라서 $\backslash left\backslash |P\; \backslash mathbf\; v\backslash right\backslash |\; \backslash leq\; \backslash left\backslash |\backslash mathbf\; v\backslash right\backslash |$이다.

유한 차원 복소수 또는 실수 벡터 공간의 경우, 표준 내적을 $\backslash langle\; \backslash cdot,\; \backslash cdot\; \backslash rangle$ 대신 사용할 수 있다. 예를 들어, 삼차원 공간 R³ 의 점 (x, y, z) 를 점 (x, y, 0) 으로 사상하는 사상은 xy-평면 위로의 사영이다. 이 사상은 행렬

:

에 의해 표현된다. 실제로, 이 행렬 P 의 임의의 벡터에 대한 작용은

:$P\backslash begin\{bmatrix\}\; x\backslash \backslash \; y\backslash \backslash \; z\backslash end\{bmatrix\}\; =\backslash begin\{bmatrix\}$
x\\ y\\ 0\end{bmatrix}

이 되고, 이것이 사영을 정하는 것 (즉, P = P² 를 만족하는 것) 은

:$P^2\backslash begin\{bmatrix\}\; x\backslash \backslash \; y\backslash \backslash \; z\backslash end\{bmatrix\}\; =\; P\backslash begin\{bmatrix\}\; x\backslash \backslash \; y\backslash \backslash \; 0\backslash end\{bmatrix\}\; =\backslash begin\{bmatrix\}\; x\backslash \backslash \; y\backslash \backslash \; 0\backslash end\{bmatrix\}$

라는 계산으로 확인할 수 있다.

직선 위로의 직교 투영의 경우가 가장 간단하다. 직선 위의 단위 벡터 u를 취하면, 해당 투영은

:$P\_u\; =\; u\; u^\backslash top$

로 주어진다. 이 작용소는 u를 바꾸지 않고, 또한 u에 직교하는 모든 벡터를 영으로 만든다.

u₁, ..., u_k를 부분 공간 U의 정규 직교 기저로 하고, 각 열 벡터가 u₁, ..., u_k가 되는 k차 정방 행렬을 A로 쓰면, 소기의 투영은

:$P\_A\; =\; A\; A^\backslash top$

로 표현된다. 이것은 내적을 사용하면

:$P\_A\; =\; \backslash sum\_i\; \backslash langle\; u\_i,\backslash bullet\backslash rangle\; u\_i$

라고 쓸 수도 있다.

(반드시 정규 직교가 아닌) 기저 u₁, …, u_k를 열 벡터로 갖는 행렬을 A로 쓰면, 구하는 투영은

:$P\_A\; =\; A\; (A^\backslash top\; A)^\{-1\}\; A^\backslash top$

로 쓸 수 있다.

이 투영의 치역이 되는 벡터 공간이 (기저가 아닌) 틀 (frame)로 표현될 때 (즉, 생성원의 수가 차원의 값보다 클 때)에는, 상기 공식은

:$P\_A\; =\; A\; (A^\backslash top\; A)^+\; A^\backslash top$

이라는 형태가 된다. 여기서 $A^+$는 무어-펜로즈 유사 역행렬을 나타낸다.

4.2. 사영 (Oblique Projection)

직교 사영이 아닌 사영을 의미한다. 때때로 사영작용소라는 용어는 비직교 사영을 지칭하는 데 사용된다. 이러한 사영은 2차원 그림에서 공간 도형을 표현하는 데에도 사용되지만, 직교 사영만큼 자주 사용되지는 않는다.

사영은 커널과 해당 범위(커널의 여집합)를 특징짓는 데 사용되는 기저 벡터에 의해 정의된다. 이러한 기저 벡터가 커널에 직교하지 않으면 사영은 사영작용소가 된다.

$P\; \backslash colon\; V\; \backslash to\; V$가 $P^2\; =\; P$를 만족하는 선형 연산자이고, $P$가 영 연산자가 아니라고 가정한다. 벡터 $\backslash mathbf\; u\_1,\; \backslash ldots,\; \backslash mathbf\; u\_k$가 $P$의 치역에 대한 기저를 형성하고, 이러한 벡터들을 $n\; \backslash times\; k$ 행렬 $A$로 구성한다. 치역과 커널은 상호 보완적인 공간이므로, 커널의 차원은 $n\; -\; k$이다. 따라서 커널의 직교 여집합의 차원은 $k$이다. 벡터 $\backslash mathbf\; v\_1,\; \backslash ldots,\; \backslash mathbf\; v\_k$가 사영의 커널의 직교 여집합에 대한 기저를 형성하고, 이러한 벡터들을 행렬 $B$로 구성한다. 그러면 사영 $P$는 다음 식으로 주어진다.

:$$P\; =\; A\; \backslash left(B^\backslash mathsf\{T\}\; A\backslash right)^\{-1\}\; B^\backslash mathsf\{T\}.$$

$P$가 직교 사영인 경우, $A\; =\; B$로 놓을 수 있으며, $P=A\; \backslash left(A^\backslash mathsf\{T\}\; A\backslash right)^\{-1\}\; A^\backslash mathsf\{T\}$가 된다. 일반적으로, 벡터 공간이 복소수체 위에 있는 경우, 에르미트 전치 행렬 $A^*$를 사용하고 공식 $P=A\; \backslash left(A^*\; A\backslash right)^\{-1\}\; A^*$를 갖는다. $A$가 전체 열 랭크를 가지므로, 행렬 $A$의 무어-펜로즈 역행렬은 $A^\{+\}=\; (A^*A)^\{-1\}A^*$로 표현할 수 있으며, 따라서 $P=A\; A^\{+\}$이다.

$I-P$ 또한 사영이다. $P$와 $I-P$의 특이값은 $A$의 정규 직교 기저를 통해 계산할 수 있다.

$Q\_A$를 $A$의 정규 직교 기저라고 하고, $Q\_A^\{\backslash perp\}$를 $Q\_A$의 직교 여공간이라고 하자. 행렬 $Q\_A^T\; A\; (B^T\; A)^\{-1\}\; B^T\; Q\_A^\{\backslash perp\}$의 특이값을 양수 값 $\backslash gamma\_1\; \backslash ge\; \backslash gamma\_2\; \backslash ge\; \backslash ldots\; \backslash ge\; \backslash gamma\_k$로 나타낸다. 이를 통해 $P$의 특이값은 다음과 같다:

:$$\backslash sigma\_i\; =$$
\begin{cases}
\sqrt{1+\gamma_i^2} & 1 \le i \le k \\
0 & \text{otherwise}
\end{cases}


그리고 $I-P$의 특이값은 다음과 같다.

:$$\backslash sigma\_i\; =$$
\begin{cases}
\sqrt{1+\gamma_i^2} & 1 \le i \le k \\
1 & k+1 \le i \le n-k \\
0 & \text{otherwise}
\end{cases}

5. 표준형

체 위의 $d$차원 벡터 공간에서의 임의의 사영 작용소 $P=P^2$는 대각화 가능 행렬이다. 그 최소 다항식이 $x^2-x$를 나누며, 이는 서로 다른 선형 인수로 분해되기 때문이다. 따라서 $P$가 다음과 같은 형태를 갖는 기저가 존재한다.
:$P\; =\; I\_r\backslash oplus\; 0\_\{d-r\}$
여기서 $r$은 $P$의 계수이다. $I\_r$는 크기가 $r$인 항등 행렬이고, $0\_\{d-r\}$은 크기가 $d-r$인 영 행렬이며, $\backslash oplus$는 직접합 연산자이다.

벡터 공간이 복소수이고 내적이 주어지면, P의 행렬이 다음과 같은 정규 직교 기저가 존재한다.

:

여기서 $\backslash sigma\_1\; \backslash geq\; \backslash sigma\_2\backslash geq\; \backslash dots\; \backslash geq\; \backslash sigma\_k\; >\; 0$이다. 정수 $k,s,m$과 실수 $\backslash sigma\_i$는 고유하게 결정된다. $2k+s+m=d$이다. $I\_m\; \backslash oplus\; 0\_s$ 요소는 $P$가 직교 사영으로 작용하는 최대 불변 부분 공간에 해당한다 (따라서 $P$ 자체가 $k=0$일 때만 직교).$\backslash sigma\_i$ 블록은 사선 구성 요소에 해당한다.

6. 노름 공간 위의 사영 작용소

바나흐 공간과 같이 무한 차원 노름 공간에서도 사영 작용소를 정의할 수 있다. 유한 차원 벡터 공간과 달리, 연속성, 닫힌 부분 공간 등 해석학적 개념이 추가적으로 고려되어야 한다.

바나흐 공간 $X$가 $X\; =\; U\; \backslash oplus\; V$ 와 같이 부분 공간 $U$와 $V$의 직접 합으로 표현될 때, $P(u+v)\; =\; u$로 정의되는 연산자 $P$는 $U$를 치역으로, $V$를 핵으로 갖는 사영 작용소이다. 또한 $P^2\; =\; P$를 만족한다. 역으로, $P^2\; =\; P$를 만족하는 사영 작용소 $P$가 주어지면, $(1-P)^2\; =\; (1-P)$ 역시 성립하므로 $1-P$도 사영 작용소가 된다. 이때, $X$는 $\backslash operatorname\{rg\}(P)\; \backslash oplus\; \backslash operatorname\{rg\}(1\; -\; P)$로 분해된다.

하지만 유한 차원과 달리 사영 작용소가 항상 연속일 필요는 없다. $X$의 부분 공간 $U$가 노름 위상에서 닫혀 있지 않으면, $U$로의 사영은 연속이 아니다. 연속 사영 $P$의 치역은 닫힌 부분 공간이어야 하며, 연속 사영의 핵(일반적으로 연속 선형 연산자의 핵)은 닫혀 있다. 따라서 연속 사영 $P$는 $X$를 두 개의 닫힌 부분 공간의 직접 합으로 분해한다: $X\; =\; \backslash operatorname\{rg\}(P)\; \backslash oplus\; \backslash ker(P)\; =\; \backslash ker(1-P)\; \backslash oplus\; \backslash ker(P)$.

$U$가 $X$의 닫힌 부분 공간이고, $X\; =\; U\; \backslash oplus\; V$인 닫힌 부분 공간 $V$가 존재하면, 치역이 $U$이고 핵이 $V$인 사영 $P$는 연속이다. 이는 폐그래프 정리를 통해 증명할 수 있다.

일반적으로 닫힌 부분 공간 $U$에 대해 닫힌 보완 부분 공간 $V$가 항상 존재하지는 않지만, 힐베르트 공간에서는 직교 여집합을 이용하여 항상 존재한다. 바나흐 공간의 경우, 한-바나흐 정리에 의해 일차원 부분 공간은 항상 닫힌 보완 부분 공간을 갖는다.

7. 응용

내적 공간 $V$ 및 부분 벡터 공간 $W\backslash subset\; V$이 주어졌을 때, 벡터 $b\backslash in\; V$의 $W$에 대한 최적 근사는 주어진 조건을 만족시키는 $Pb\backslash in\; W$이다. 최적 근사는 존재한다면 유일하지만, 일반적으로 존재하지 않는다. 만약 $W$를 상으로 하는 자기 수반 사영 작용소 $P\backslash colon\; V\backslash to\; V$가 존재한다면, 각 $b$의 $W$를 통한 최적 근사는 $Pb$이다. 특히, $W$가 유한 차원 벡터 공간이라면 이러한 자기 수반 사영 작용소는 항상 존재한다. 연립 일차 방정식의 최소 제곱법은 이에 대한 특수한 경우이다.

벡터 공간 $V$가 직교 벡터 $\backslash mathbf\; u\_1,\; \backslash mathbf\; u\_2,\; \backslash dots,\; \backslash mathbf\; u\_p$에 의해 span되어 있고, $y$를 벡터라고 할 때, $\backslash mathbf\; y$의 $V$로의 투영은 다음과 같이 정의할 수 있다.
$$\backslash operatorname\{proj\}\_V\; \backslash mathbf\; y\; =\; \backslash frac\{\backslash mathbf\; y\; \backslash cdot\; \backslash mathbf\; u^i\}\{\backslash mathbf\; u^i\; \backslash cdot\; \backslash mathbf\; u^i\; \}\; \backslash mathbf\; u^i$$
여기서 반복되는 인덱스는 합산된다(아인슈타인 합 표기법). 벡터 $\backslash mathbf\; y$는 직교 합으로 쓸 수 있으며, $\backslash operatorname\{proj\}\_V\; \backslash mathbf\; y$는 때때로 $\backslash hat\{\backslash mathbf\; y\}$로 표시된다. 선형대수학에는 이 $\backslash mathbf\; z$가 $\backslash mathbf\; y$에서 $V$까지의 가장 작은 거리(직교 거리)이며, 기계 학습과 같은 분야에서 일반적으로 사용된다는 정리가 있다.

투영은 다음과 같은 선형 대수 문제에 대한 계산 알고리즘에서 중요한 역할을 한다.
* QR 분해 (하우스홀더 변환과 그람-슈미트 정규 직교화 참조)
* 특이값 분해
* 헤센베르크 형식으로의 변환 (많은 고유값 계산 알고리즘에서의 첫 번째 처리)
* 선형 회귀

사영은 멱등 작용소의 특별한 것이며, 해석학적으로는 직교 사영은 특성 함수의 비가환적인 일반화가 된다. 양자론에서는, 어떤 조건을 만족하는 상태의 전체는 상태 공간의 부분 공간으로 간주할 수 있으므로, 양자 역학적인 명제와 부분 공간, 즉 투영 연산자를 대응시킬 수 있다(양자 논리).

통계 역학에서는 운동의 조립화를 투영 연산자를 사용하여 정식화하는 방법(투영 연산자 방법)이 있다.

분자 대칭성, 분자 진동, 격자 진동, 결정의 파동 함수에서는 임의의 함수에서 어떤 대칭성에 따르는 함수만을 만들고 싶을 때 투영 연산자가 사용된다. 예를 들어 투영 연산자를 사용하면, 기약 표현의 표현 행렬로부터 그 기저 함수(기준 진동, 기준 모드 등)를 구할 수 있다.

8. 일반화

일반적으로, 노름 벡터 공간 사이의 사상 $T\backslash colon\; V\; \backslash to\; W$가 주어졌을 때, 커널의 직교 여공간에서 이 사상이 등거리 사상인지 질문할 수 있다. 즉, $(\backslash ker\; T)^\backslash perp\; \backslash to\; W$가 등거리 사상인지 묻는 것이다 ( 부분 등거리 사상 참조). 특히 이는 전사여야 한다. 직교 투영의 경우, W가 V의 부분 공간일 때 해당한다. 리만 기하학에서, 이는 리만 피복 사상의 정의에 사용된다.

보다 일반적으로, 노름 공간 사이의 사상 T: V → W가 주어졌을 때, 핵의 직교 여공간 상의 등거리 사상이 되도록 요구할 수 있다. 이때 $(\backslash ker\; T)^\backslash perp\; \backslash to\; W$는 등거리 사상이며, 특히 전사여야 한다. 직교 투영의 경우는 W가 V의 부분 공간일 때이다. 리만 기하학에서 이 개념은 리만 침몰의 정의에 사용된다.