특잇값
"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
1. 개요
특잇값은 실수체 또는 복소수체 상의 힐베르트 공간 사이의 콤팩트 작용소에 대해 정의되는 값으로, 다양한 정의와 성질을 갖는다. 고윳값을 통해 정의하거나, 특잇값 분해를 통해 정의할 수 있으며, 유한 차원 힐베르트 공간에서는 기하학적으로도 해석 가능하다. 특잇값은 작용소 노름과 관계가 있으며, 행렬의 전치, 공액, 유니타리 행렬과의 관계, 고윳값과의 관계, 대각합과의 관계, 행렬식과의 관계 등 다양한 기본 성질을 갖는다. 특잇값은 부분 행렬, 행렬 합, 행렬 곱에 대한 부등식, 특잇값과 고윳값 간의 부등식 등 다양한 부등식을 만족하며, 신호 처리, 통계학 분야에서 주성분 분석 등으로 응용된다. 특잇값 개념은 1907년 에르하르트 슈미트에 의해 도입되었으며, 1937년 프랭크 스미디스에 의해 '특잇값'이라는 용어로 명명되었다.
📚 더 읽어볼만한 페이지
-
행렬 분해 -
QR 분해
QR 분해는 행렬을 직교 행렬과 상삼각 행렬의 곱으로 분해하는 방법으로, 실수 또는 복소수 행렬을 직교/유니터리 행렬 Q와 상삼각 행렬 R의 곱으로 표현하여 선형대수학의 계산 및 분석에 활용되며, 그람-슈미트 과정, 하우스홀더 변환, 기븐스 회전 등 다양한 계산 방법이 존재한다.
-
행렬 분해 -
조르당 표준형
조르당 표준형은 대수적으로 닫힌 체 위에서 정사각 행렬을 유사 변환하여 얻을 수 있는 특정한 형태의 행렬로, 조르당 블록으로 구성되며 고윳값, 중복도, 특성/최소 다항식과 관련 있고, 스펙트럼 사영 정리, 케일리-해밀턴 정리 등 다양한 정리 증명과 행렬 계산에 응용된다.
-
연산자 이론 -
힐베르트 공간
힐베르트 공간은 내적 공간이면서 내적으로부터 유도된 거리 함수에 대해 완비 거리 공간을 이루는 공간으로, 다양한 함수 공간의 예시를 가지며 푸리에 해석, 양자역학 등 여러 분야에 응용된다.
-
연산자 이론 -
C* 대수
C* 대수는 복소수 대합 대수와 복소수 바나흐 대수의 구조를 결합한 복소수 벡터 공간으로, 겔판트-나이마르크 정리에 따라 복소수 힐베르트 공간 위의 유계 선형 연산자 대수로 표현될 수 있으며, 함수해석학, 수리물리학, 양자역학 등 다양한 분야에서 활용된다.
2. 정의
가 실수체 또는 복소수체일 때, 두 - 힐베르트 공간 , 사이의 콤팩트 작용소 의 특잇값 및 왼쪽·오른쪽 특이 벡터는 여러 방법으로 정의할 수 있다.
다음과 같이 표기한다.
* 행렬 의 수반 행렬을
* 행렬 의 고유값을
* 행렬 의 특잇값을
이 경우, 특잇값은 다음과 같이 정의된다.
:
특잇값은 행렬에 대해 정의된다. (고윳값은 정사각행렬에서만 정의된다.)
2.1. 고윳값을 통한 정의
에르미트 수반 행렬의 고윳값과 고유 벡터를 이용하여 특잇값 및 특이 벡터를 정의한다.
가 실수체 또는 복소수체라고 하자. 두 -힐베르트 공간 , 사이의 콤팩트 작용소 가 주어졌을 때, 그 에르미트 수반 을 사용하여, 작용소 및 를 정의할 수 있다. 이들은 자기 수반 작용소를 이루며, 따라서 이 둘의 실수 고윳값들을 정의할 수 있다. 이들은 항상 음이 아닌 실수이다.
와 의 고윳값들 가운데, 0이 아닌 것들은 서로 일치하며, 그 중복수 또한 일치한다. 0의 경우, 다음과 같은 세 가지가 가능하다.
* 경우 1: 와 둘 다 0을 고윳값으로 갖거나 둘 다 0을 고윳값으로 갖지 않는다. 전자의 경우, 0의 중복수 역시 같다.
* 경우 2: 와 둘 다 0을 고윳값으로 갖지만, 그 중복수가 서로 다르다.
* 경우 3: 와 가운데 하나는 0을 고윳값으로 갖지만 다른 하나는 0을 고윳값으로 갖지 않는다.
이 경우, 특잇값들과 그 중복수는 각각 다음과 같다.
* 경우 1: 의 특잇값은 또는 의 고윳값들의 제곱근들이며, 그 중복수는 고윳값들의 중복수와 같다.
* 경우 2: 의 특잇값은 (0을 포함하여) 또는 의 고윳값들의 제곱근들이다. 0이 아닌 고윳값의 경우, 그 중복수는 대응하는 고윳값의 중복수와 같다. 0의 경우, 그 중복수는 에서의 중복수와 에서의 중복수 가운데 더 작은 것과 같다.
* 경우 3: 의 특잇값은 또는 의 고윳값들 가운데 0이 아닌 것들의 제곱근이며, 그 중복수는 고윳값들의 중복수와 같다.
이 경우, 주어진 특잇값에 대응하는 왼쪽 특이 벡터는 에서의 고유 벡터이며, 주어진 특잇값에 대응하는 오른쪽 특이 벡터는 에서의 고유 벡터이다.
다음과 같이 표기한다.
* 행렬 의 수반 행렬을
* 행렬 의 고유값을
* 행렬 의 특잇값을
머리말 부분의 정의를 수학 기호로 쓰면 다음과 같다.
:
특잇값은 행렬에 대해 정의된다(고유값은 정사각 행렬에서만 정의된다).
2.2. 특잇값 분해를 통한 정의
가 실수체 또는 복소수체라고 하고, 두 -힐베르트 공간 , 사이의 콤팩트 작용소
:
는 항상 다음과 같은 꼴로 표현될 수 있으며, 이를 슈미트 표현(Schmidt representation영어) 또는 특잇값 분해라고 한다.
:
2.3. 유한 차원의 경우
V=\mathbb K^m, W=\mathbb K^n가 유한 차원 힐베르트 공간일 경우, 임의의 \mathbb K성분 n\times m 행렬 T\in\operatorname{Mat}(n,m;\mathbb K)는 \mathbb K-선형 변환 T\colon\mathbb K^m\to\mathbb K^n을 정의한다. 유한 차원에서는 모든 작용소가 콤팩트 작용소이다.
벡터 v\in\mathbb K^m과 w\in\mathbb K^n과 음이 아닌 실수 s\in\mathbb R_{\ge0}에 대하여
:Tv=sw
:T^*w=sv
가 성립한다면, s를 T의 특잇값이라 하고, v를 s에 대응하는 왼쪽 특이 벡터, u를 s에 대응하는 오른쪽 특이 벡터라고 한다.
유한 차원에서 특잇값 분해는 다음과 같은 행렬 분해이다.
:T=U\Sigma V^*
여기서
* U는 m\times m 크기의 유니터리 행렬이다. (\mathbb K=\mathbb R일 경우 직교 행렬과 같다.)
* \Sigma는 m\times n 크기의 대각 행렬이며, 성분은 모두 음이 아닌 실수이다. 예를 들어 m이라면 다음과 같다.
*:\Sigma=\begin{pmatrix}
s_1&0&0&\dotsm&0&0&\dotsm&0\\
0&s_2&0&\dotsm&0&0&\dotsm&0\\
0&0&s_3&&&0&\cdots&0\\
\vdots&\vdots&&\ddots&&\vdots&&\vdots\\
0&0&&&s_m&0&\dotsm&0
\end{pmatrix}
* V^*는 n\times n 크기의 유니터리 행렬이다. (\mathbb K=\mathbb R일 경우 직교 행렬과 같다.)
\Sigma의 대각 성분은 T의 특잇값, V^*의 열벡터(=V의 행벡터)는 T의 왼쪽 특이 벡터, U의 행벡터는 T의 오른쪽 특이 벡터이다.
특잇값 분해에서 \Sigma는 (특잇값 순열을 무시하면) 유일하게 결정되지만, U와 V^*는 일반적으로 그렇지 않다.
다음과 같은 실수 4×5 행렬을 생각하자.
:T =
\begin{pmatrix}
1 & 0 & 0 & 0 & 2\\
0 & 0 & 3 & 0 & 0\\
0 & 0 & 0 & 0 & 0\\
0 & 4 & 0 & 0 & 0\end{pmatrix}
이 행렬의 특잇값 분해 T=U\Sigma V^*는 다음과 같다.
:
T=
\begin{pmatrix}
0 & 0 & 1 & 0\\
0 & 1 & 0 & 0\\
0 & 0 & 0 & -1\\
1 & 0 & 0 & 0\end{pmatrix} \begin{pmatrix}
\color{Red}{4} & 0 & 0 & 0 & 0\\
0 & \color{Red}{3} & 0 & 0 & 0\\
0 & 0 & \color{Red}{\sqrt5} & 0 & 0\\
0 & 0 & 0 & \color{Red}{0} & 0\end{pmatrix}
\begin{pmatrix}
0 & 1 & 0 & 0 & 0\\
0 & 0 & 1 & 0 & 0\\
1/\sqrt5 & 0 & 0 & 0 & 2/\sqrt5\\
0 & 0 & 0 & 1 & 0\\
-2/\sqrt5 & 0 & 0 & 0 & 1/\sqrt5\end{pmatrix}
즉, T의 특잇값은 가운데 행렬에서 붉게 표시된 성분들인 4,3,\sqrt5,0이다.
특잇값 분해는 유일하지 않다. 위 분해에서 V^*를
:V^* = \begin{pmatrix} 0 & 1 & 0 & 0 & 0\\ 0 & 0 & 1 & 0 & 0\\ 1/\sqrt5 & 0 & 0 & 0 & 2/\sqrt5 \\ \sqrt{2/5} & 0 & 0 & 1/\sqrt2 & -1/\sqrt{10}\\ -\sqrt{2/5} & 0 & 0 & 1/\sqrt2 & 1/\sqrt{10} \end{pmatrix}
로 교체할 수 있다.
2.3.1. 기하학적 정의
유클리드 공간 사이의 실수 선형 변환의 특잇값은 기하학적으로 해석할 수 있다.
임의의 실수 선형 변환 T\colon\mathbb R^n\to\mathbb R^n은 단위 공을 타원체로 대응시킨다. 이때 T의 특잇값은 이 타원체의 주축 반지름과 같다.
3. 기본 성질
특잇값은 전치 행렬이나 켤레 전치 행렬을 취해도 변하지 않는다. 즉, A의 특잇값 \sigma_i(A)에 대해 다음이 성립한다.
:\sigma_i(A) = \sigma_i\left(A^\textsf{T}\right) = \sigma_i\left(A^*\right).
또한, 임의의 유니타리 행렬 U, V에 대해, UAV의 특잇값은 A의 특잇값과 같다.
:\sigma_i(A) = \sigma_i(UAV).
이는 특잇값 분해가 유니타리 행렬을 곱하는 변환에 대해 불변하는 성질을 가짐을 의미한다.
3.1. 최솟값-최댓값 정리
특잇값에 대한 최솟값-최댓값 정리에 따르면, A \in \mathbb{C}^{m \times n} (i = 1,2, \ldots, \min \{m,n\})이고, U가 \mathbb{C}^n의 i차원 부분 공간 (\dim(U) = i)일 때, 다음이 성립한다.
:\begin{align}
\sigma_i(A) &= \min_{\dim(U)=n-i+1} \max_{\underset{\| x \|_2 = 1}{x \in U}} \left\| Ax \right\|_2 \\
\sigma_i(A) &= \max_{\dim(U)=i} \min_{\underset{\| x \|_2 = 1}{x \in U}} \left\| Ax \right\|_2
\end{align}
행렬의 전치와 공액은 특잇값을 변경하지 않는다. 즉, 다음이 성립한다.
:\sigma_i(A) = \sigma_i\left(A^\textsf{T}\right) = \sigma_i\left(A^*\right).
또한, 임의의 유니타리 행렬 U \in \mathbb{C}^{m \times m}, V \in \mathbb{C}^{n \times n}에 대해 다음이 성립한다.
:\sigma_i(A) = \sigma_i(UAV).
3.2. 최소 특잇값
행렬 A의 최소 특잇값은 σn(A)로 표현된다. 최소 특잇값은 행렬의 비특이성(non-singularity) 정도를 나타내는 지표이다.
* 역행렬의 성질:
역행렬 (A-1)의 2-노름(노름)은 최소 특잇값의 역수 σn-1(A)와 같다.
역행렬 (A-1)의 모든 원소의 절댓값은 최대 σn-1(A)이다.
σn(A)가 작을수록 행렬 A의 행들은 "거의" 선형 종속에 가까워진다. 만약 σn(A) = 0이면, A의 행들은 선형 종속 관계를 가지며, A는 가역적이지 않다. 즉, 역행렬이 존재하지 않는다.
3.3. 고윳값과의 관계
두 \mathbb K-힐베르트 공간 V, W 사이의 콤팩트 작용소 T\colon V\to W가 주어졌을 때, 그 에르미트 수반 T^*\colon W\to V을 이용하여 T^*T\colon V\to V와 TT^*\colon W\to W를 정의할 수 있다. 이들은 자기 수반 작용소이므로, 이 둘의 실수 고윳값들을 정의할 수 있으며, 이 고윳값들은 항상 음이 아닌 실수이다.
TT^*와 T^*T의 고윳값들 가운데, 0이 아닌 것들은 서로 일치하며, 그 중복수 또한 일치한다. 0의 경우, 다음 세 가지 경우가 가능하다.
* 경우 1: TT^*와 T^*T 둘 다 0을 고윳값으로 갖거나 둘 다 0을 고윳값으로 갖지 않는다. 전자의 경우, 0의 중복수 역시 같다.
* 경우 2: TT^*와 T^*T 둘 다 0을 고윳값으로 갖지만, 그 중복수가 서로 다르다.
* 경우 3: TT^*와 T^*T 가운데 하나는 0을 고윳값으로 갖지만 다른 하나는 0을 고윳값으로 갖지 않는다.
이 경우, 특잇값들과 그 중복수는 각각 다음과 같다.
* 경우 1: T의 특잇값은 T^*T 또는 TT^*의 고윳값들의 제곱근들이며, 그 중복수는 고윳값들의 중복수와 같다.
* 경우 2: T의 특잇값은 (0을 포함하여) T^*T 또는 TT^*의 고윳값들의 제곱근들이다. 0이 아닌 고윳값의 경우, 그 중복수는 대응하는 고윳값의 중복수와 같다. 0의 경우, 그 중복수는 T^*T에서의 중복수와 TT^*에서의 중복수 가운데 더 작은 것과 같다.
* 경우 3: T의 특잇값은 T^*T 또는 TT^*의 고윳값들 가운데 0이 아닌 것들의 제곱근이며, 그 중복수는 고윳값들의 중복수와 같다.
주어진 특잇값에 대응하는 왼쪽 특이 벡터는 T^*T에서의 고유 벡터이며, 주어진 특잇값에 대응하는 오른쪽 특이 벡터는 TT^*에서의 고유 벡터이다.
만약 T\colon V\to V가 \mathbb K-힐베르트 공간 V 전체에 정의된 콤팩트 자기 수반 작용소일 경우, T 특잇값들은 T의 고윳값들의 절댓값들이며, 각 특잇값에 대응하는 특이 벡터는 고유 벡터이다.
A \in \mathbb{C}^{m \times n}에 대해, i = 1,2, \ldots, \min \{m,n\}에 대하여, 특잇값에 대한 최솟값-최댓값 정리가 성립한다.
고윳값과의 관계는 다음과 같다.
:\sigma_i^2(A) = \lambda_i\left(AA^*\right) = \lambda_i\left(A^*A\right).
행렬 A가 m=n인 정규 행렬의 경우에는 특잇값은 고윳값의 절댓값과 같다. 즉, \sigma_i(A) = |\lambda_i(A)|이다.
행렬 A가 m=n인 반 양의 정부호 대칭 행렬의 경우에는 특잇값은 고윳값과 같다. 즉, \sigma_i(A) = \lambda_i(A)이다.
3.4. 대각합과의 관계
A \in \mathbb{C}^{m \times n}에 대해, 다음이 성립한다.
:\sum_{i=1}^n \sigma_i^2=\operatorname{tr}\ A^\ast A
여기서 \sigma_i는 A의 특잇값이고, tr은 대각합을 나타낸다. 즉, 행렬 A의 특잇값들의 제곱 합은 A와 A의 켤레 전치 행렬의 곱 (A^*A)의 대각합과 같다.
3.5. 행렬식과의 관계
A영어가 정방행렬일 경우, 특잇값의 곱은 행렬식의 절댓값과 같다.
: |\det(A)| = \prod_i \sigma_{i}(A)
4. 특잇값 관련 부등식
부분 행렬, 행렬 합, 행렬 곱 등 다양한 행렬 연산에서의 특잇값 관련 부등식은 하위 섹션에서 상세히 다룬다.
4.1. 부분 행렬의 특잇값
A \in \mathbb{C}^{m \times n}에 대해,
* B를 A의 행 또는 열 중 하나를 삭제한 행렬이라고 하면, 다음이 성립한다.
:\sigma_{i+1}(A) \leq \sigma_i (B) \leq \sigma_i(A)
* B를 A의 행과 열을 각각 하나씩 삭제한 행렬이라고 하면, 다음이 성립한다.
:\sigma_{i+2}(A) \leq \sigma_i (B) \leq \sigma_i(A)
* B를 A의 (m-k)\times(n-\ell) 부분 행렬이라고 하면, 다음이 성립한다.
:\sigma_{i+k+\ell}(A) \leq \sigma_i (B) \leq \sigma_i(A)
4.2. 행렬 합의 특잇값
두 행렬 A, B \in \mathbb{C}^{m \times n}의 합의 특잇값과 각 행렬의 특잇값 사이에는 다음과 같은 관계가 성립한다.
* \sum_{i=1}^{k} \sigma_i(A + B) \leq \sum_{i=1}^{k} (\sigma_i(A) + \sigma_i(B)), \quad k=\min \{m,n\}
* \sigma_{i+j-1}(A + B) \leq \sigma_i(A) + \sigma_j(B). \quad i,j\in\mathbb{N},\ i + j - 1 \leq \min \{m,n\}
4.3. 행렬 곱의 특잇값
A, B \in \mathbb{C}^{n \times n}이면 다음이 성립한다.
\begin{align}
\prod_{i=n}^{i=n-k+1} \sigma_i(A) \sigma_i(B) &\leq \prod_{i=n}^{i=n-k+1} \sigma_i(AB) \\
\prod_{i=1}^k \sigma_i(AB) &\leq \prod_{i=1}^k \sigma_i(A) \sigma_i(B), \\
\sum_{i=1}^k \sigma_i^p(AB) &\leq \sum_{i=1}^k \sigma_i^p(A) \sigma_i^p(B),
\end{align}
\sigma_n(A) \sigma_i(B) \leq \sigma_i (AB) \leq \sigma_1(A) \sigma_i(B) \quad i = 1, 2, \ldots, n.
A, B \in \mathbb{C}^{m \times n}이면 다음이 성립한다.
2 \sigma_i(A B^*) \leq \sigma_i \left(A^* A + B^* B\right), \quad i = 1, 2, \ldots, n.
4.4. 특잇값과 고윳값 관련 부등식
A \in \mathbb{C}^{n \times n}에 대해, 행렬의 특잇값과 고윳값 사이에는 다음과 같은 부등식들이 성립한다.
* 바일 정리에 의해, \left|\lambda_1(A)\right| \geq \cdots \geq \left|\lambda_n(A)\right|이라고 가정하면, k = 1, 2, \ldots, n에 대해 다음이 성립한다.
:: \prod_{i=1}^k \left|\lambda_i(A)\right| \leq \prod_{i=1}^{k} \sigma_i(A).
* p>0에 대해 다음이 성립한다.
:: \sum_{i=1}^k \left|\lambda_i^p(A)\right| \leq \sum_{i=1}^{k} \sigma_i^p(A).
* 다음이 성립한다.
::\lambda_i \left(A + A^*\right) \leq 2 \sigma_i(A), \quad i = 1, 2, \ldots, n.
* 행렬 A가 m = n인 정방 행렬의 경우에는 다음이 성립한다.
** 바일 부등식
:: \prod_{i=1}^k | \lambda(A) | \le \prod_{i=1}^k \sigma(A) \quad (1 \le k \le n)
* A^p의 특잇값을 \sigma_i^{(p)}로 하고,
::|\lambda_1|\geq\cdots\geq|\lambda_n|,\quad\sigma_1^{(p)}\geq\cdots\geq\sigma_n^{(p)}
로 정렬할 때, 다음 식이 성립한다.
::\lim_{p\to\infty}\sigma_i^{(p)\frac{1}{p}}=|\lambda_i|,\quad 1\leq i\leq n
이 공식은 힐베르트 공간상의 콤팩트 작용소에 대해서도 성립한다.
5. 역사
에르하르트 슈미트는 1907년에 특잇값 개념을 도입하였다. 슈미트는 특잇값을 "고윳값"(Eigenwert독일어)이라고 일컬었으나, 이후 1937년에 프랭크 스미디스(Frank Smithies영어, 1912~2002)가 "특잇값"(singular value영어)이라는 용어를 도입하였다.
1957년, 알라베르디예프는 n번째 특잇값에 대한 다음 특징을 증명했다.
:\sigma_n(T) = \inf\big\{\, \|T-L\| : L\text{ is an operator of finite rank }
이 공식화는 특잇값의 개념을 바나흐 공간의 연산자로 확장하는 것을 가능하게 했다.
6. 응용
행렬의 특잇값 분해는 신호 처리와 통계학 등의 분야에서 자주 사용된다. 특히, 통계학에서 특잇값 분해를 통한 분석은 주성분 분석이라고 불린다.