특잇값

함수해석학에서 특잇값(特異값, 영어: singular value)은 콤팩트 작용소와 그 에르미트 수반의 합성의 고윳값의 제곱근이다. 항상 양의 실수이다. 이를 통해, 임의의 콤팩트 작용소를 특잇값 분해(特異값分解, 영어: singular value decomposition, 약자 SVD)라는 특별한 꼴로 표현할 수 있다.

유클리드 공간 위의 선형 변환은 단위 공을 타원체로 대응시키며, 선형 변환의 특잇값들은 타원체의 주축 반지름들이다.

고윳값과 달리, 특잇값은 서로 다른 (특히, 서로 다른 차원의) 힐베르트 공간 사이의 작용소(예를 들어, 정사각이 아닌 행렬)에 대해서도 정의된다. 고윳값에 고유 벡터가 대응되는 것과 마찬가지로, 각 특잇값에는 왼쪽 특이 벡터(왼쪽特異vector, 영어: left singular vector) 및 오른쪽 특이 벡터(오른쪽特異vector, 영어: right singular vector)가 대응된다. 그러나 고유 벡터의 경우와 달리 특이 벡터는 좌우를 구별해야 한다.

정의

${\displaystyle \mathbb {K} \in \{\mathbb {R} ,\mathbb {C} \}}$가 실수체 또는 복소수체라고 하자. 두 ${\displaystyle \mathbb {K} }$-힐베르트 공간 ${\displaystyle V}$, ${\displaystyle W}$ 사이의 콤팩트 작용소

${\displaystyle T\colon V\to W}$

의 특잇값 및 왼쪽·오른쪽 특이 벡터의 개념은 다양한 방법으로 정의될 수 있다.

고윳값을 통한 정의

두 ${\displaystyle \mathbb {K} }$-힐베르트 공간 ${\displaystyle V}$, ${\displaystyle W}$ 사이의 콤팩트 작용소

${\displaystyle T\colon V\to W}$

가 주어졌다고 하자. 그렇다면, 그 에르미트 수반

${\displaystyle T^{*}\colon W\to V}$

을 사용하여, 작용소

${\displaystyle T^{*}T\colon V\to V}$

및

${\displaystyle TT^{*}\colon W\to W}$

를 정의할 수 있다. 이들은 자기 수반 작용소를 이루며, 따라서 이 둘의 실수 고윳값들을 정의할 수 있다. 이들은 항상 음이 아닌 실수이다.

${\displaystyle TT^{*}}$와 ${\displaystyle T^{*}T}$의 고윳값들 가운데, 0이 아닌 것들은 서로 일치하며, 그 중복수 또한 일치한다. 0의 경우, 다음과 같은 세 가지가 가능하다.

• 경우 1: ${\displaystyle TT^{*}}$와 ${\displaystyle T^{*}T}$ 둘 다 0을 고윳값으로 갖거나 둘 다 0을 고윳값으로 갖지 않는다. 전자의 경우, 0의 중복수 역시 같다.
• 경우 2: ${\displaystyle TT^{*}}$와 ${\displaystyle T^{*}T}$ 둘 다 0을 고윳값으로 갖지만, 그 중복수가 서로 다르다.
• 경우 3: ${\displaystyle TT^{*}}$와 ${\displaystyle T^{*}T}$ 가운데 하나는 0을 고윳값으로 갖지만 다른 하나는 0을 고윳값으로 갖지 않는다.

이 경우, 특잇값들과 그 중복수는 각각 다음과 같다.

• 경우 1: ${\displaystyle T}$의 특잇값은 ${\displaystyle T^{*}T}$ 또는 ${\displaystyle TT^{*}}$의 고윳값들의 제곱근들이며, 그 중복수는 고윳값들의 중복수와 같다.
• 경우 2: ${\displaystyle T}$의 특잇값은 (0을 포함하여) ${\displaystyle T^{*}T}$ 또는 ${\displaystyle TT^{*}}$의 고윳값들의 제곱근들이다. 0이 아닌 고윳값의 경우, 그 중복수는 대응하는 고윳값의 중복수와 같다. 0의 경우, 그 중복수는 ${\displaystyle T^{*}T}$에서의 중복수와 ${\displaystyle TT^{*}}$에서의 중복수 가운데 더 작은 것과 같다.
• 경우 3: ${\displaystyle T}$의 특잇값은 ${\displaystyle T^{*}T}$ 또는 ${\displaystyle TT^{*}}$의 고윳값들 가운데 0이 아닌 것들의 제곱근이며, 그 중복수는 고윳값들의 중복수와 같다.

이 경우, 주어진 특잇값에 대응하는 왼쪽 특이 벡터는 ${\displaystyle T^{*}T}$에서의 고유 벡터이며, 주어진 특잇값에 대응하는 오른쪽 특이 벡터는 ${\displaystyle TT^{*}}$에서의 고유 벡터이다.

특잇값 분해를 통한 정의

${\displaystyle \mathbb {K} \in \{\mathbb {R} ,\mathbb {C} \}}$라고 하자. 두 ${\displaystyle \mathbb {K} }$-힐베르트 공간 ${\displaystyle V}$, ${\displaystyle W}$ 사이의 콤팩트 작용소

${\displaystyle T\colon V\to W}$

는 항상 다음과 같은 꼴로 표현될 수 있으며, 이를 슈미트 표현(Schmidt表現, 영어: Schmidt representation)^{[1]:232, §1} 또는 특잇값 분해라고 한다.

${\displaystyle T=\sum _{0\leq i<N}s_{i}\langle v_{i},-\rangle w_{i}}$

여기서

• ${\displaystyle N\in \{0,1,\dotsc ,\infty \}}$이다.
• ${\displaystyle (s)_{0\leq i<N}}$는 양의 실수들의 수열이며, 감소수열이다. 즉, ${\displaystyle \lambda _{0}\geq \lambda _{1}\geq \lambda _{2}\geq \cdots }$이다.
• ${\displaystyle (v_{i})_{0\leq i<N}}$은 ${\displaystyle V}$ 속의 정규 직교 벡터열이다. (그러나 정규 직교 기저가 될 필요는 없다.)
• ${\displaystyle (w_{i})_{0\leq i<N}}$은 ${\displaystyle W}$ 속의 정규 직교 벡터열이다. (그러나 정규 직교 기저가 될 필요는 없다.)

이 경우, ${\displaystyle s_{i}}$를 ${\displaystyle T}$의 특잇값이라고 하며, ${\displaystyle v_{i}}$를 ${\displaystyle s_{i}}$의 왼쪽 특이 벡터, ${\displaystyle w_{i}}$를 ${\displaystyle s_{i}}$의 오른쪽 특이 벡터라고 한다.

이에 따라, ${\displaystyle (v_{i})_{0\leq i<N}}$ 및 ${\displaystyle (w_{i})_{0\leq i<N}}$에 다른 벡터들을 추가하여 각각 ${\displaystyle V}$ 및 ${\displaystyle W}$의 정규 직교 기저로 만들 수 있다. 그러나 이는 물론 일반적으로 유일하지 않다.

유한 차원의 경우

특히, 만약 ${\displaystyle V=\mathbb {K} ^{m}}$, ${\displaystyle W=\mathbb {K} ^{n}}$가 유한 차원 힐베르트 공간일 경우, 임의의 ${\displaystyle \mathbb {K} }$성분 ${\displaystyle n\times m}$ 행렬 ${\displaystyle T\in \operatorname {Mat} (n,m;\mathbb {K} )}$는 ${\displaystyle \mathbb {K} }$-선형 변환

${\displaystyle T\colon \mathbb {K} ^{m}\to \mathbb {K} ^{n}}$

을 정의한다. 유한 차원에서는 모든 작용소가 콤팩트 작용소이다.

이 경우, 만약 벡터 ${\displaystyle v\in \mathbb {K} ^{m}}$과 ${\displaystyle w\in \mathbb {K} ^{n}}$과 음이 아닌 실수 ${\displaystyle s\in \mathbb {R} _{\geq 0}}$에 대하여

${\displaystyle Tv=sw}$

${\displaystyle T^{*}w=sv}$

가 성립한다면, ${\displaystyle s}$를 ${\displaystyle T}$의 특잇값이라고 하며, ${\displaystyle v}$를 ${\displaystyle s}$에 대응하는 왼쪽 특이 벡터, ${\displaystyle u}$를 ${\displaystyle s}$에 대응하는 오른쪽 특이 벡터라고 한다.

유한 차원의 경우, 특잇값 분해는 다음과 같은 행렬 분해를 정의한다.

${\displaystyle T=U\Sigma V^{*}}$

여기서

• ${\displaystyle U}$는 ${\displaystyle m\times m}$ 크기의 유니터리 행렬이다. (${\displaystyle \mathbb {K} =\mathbb {R} }$일 경우 이는 직교 행렬과 같다.)
• ${\displaystyle \Sigma }$는 ${\displaystyle m\times n}$ 크기의 대각 행렬이며, 그 성분들은 모두 음이 아닌 실수이다. 즉, 예를 들어 ${\displaystyle m<n}$이라면 다음과 같은 꼴이다.

  ${\displaystyle \Sigma ={\begin{pmatrix}s_{1}&0&0&\dotsm &0&0&\dotsm &0\\0&s_{2}&0&\dotsm &0&0&\dotsm &0\\0&0&s_{3}&&&0&\cdots &0\\\vdots &\vdots &&\ddots &&\vdots &&\vdots \\0&0&&&s_{m}&0&\dotsm &0\end{pmatrix}}}$

• ${\displaystyle V^{*}}$는 ${\displaystyle n\times n}$ 크기의 유니터리 행렬이다. (${\displaystyle \mathbb {K} =\mathbb {R} }$일 경우 이는 직교 행렬과 같다.)

이 경우, ${\displaystyle \Sigma }$의 대각 성분들이 ${\displaystyle T}$의 특잇값들이며, ${\displaystyle V^{*}}$의 열벡터(=${\displaystyle V}$의 행벡터)들이 ${\displaystyle T}$의 왼쪽 특이 벡터들이며, ${\displaystyle U}$의 행벡터들이 ${\displaystyle T}$의 오른쪽 특이 벡터들이다.

특잇값 분해에서, ${\displaystyle \Sigma }$는 (특잇값들의 순열을 무시하면) 유일하게 결정되지만, ${\displaystyle U}$와 ${\displaystyle V^{*}}$는 일반적으로 그렇지 않다.

기하학적 정의

같은 유한 차원의 두 실수 힐베르트 공간(=유클리드 공간) 사이의 실수 선형 변환의 특잇값들은 기하학적으로 해석될 수 있다.

구체적으로, 임의의 실수 선형 변환 ${\displaystyle T\colon \mathbb {R} ^{n}\to \mathbb {R} ^{n}}$은 (자명하게) 콤팩트 작용소이며, 이 경우 ${\displaystyle T}$는 단위 공을 타원체로 대응시킨다. 이 경우, ${\displaystyle T}$의 특잇값들은 이 타원체의 주축 반지름들과 같다.

성질

두 힐베르트 공간 사이의 콤팩트 작용소 ${\displaystyle T}$의 특잇값 가운데 최대인 것은 ${\displaystyle T}$의 작용소 노름과 같다.

특잇값의 수

${\displaystyle m\times n}$ 행렬은 (중복수를 포함하여) ${\displaystyle \min\{m,n\}}$개의 특잇값들을 갖는다. 여기서, 특잇값들은 중복될 수 있다. 즉, 모든 ${\displaystyle \min\{m,n\}}$개의 특잇값들이 죄다 같을 수 있다.

고윳값과의 관계

만약 ${\displaystyle T\colon V\to V}$가 ${\displaystyle \mathbb {K} }$-힐베르트 공간 ${\displaystyle V}$ 전체에 정의된 콤팩트 자기 수반 작용소일 경우, ${\displaystyle T}$ 특잇값들은 ${\displaystyle T}$의 고윳값들의 절댓값들이며, 각 특잇값에 대응하는 특이 벡터는 고유 벡터이다.

예

다음과 같은 실수 4×5 행렬을 생각하자.

${\displaystyle T={\begin{pmatrix}1&0&0&0&2\\0&0&3&0&0\\0&0&0&0&0\\0&4&0&0&0\end{pmatrix}}}$

이 행렬의 특잇값 분해 ${\displaystyle T=U\Sigma V^{*}}$는 다음과 같다.

${\displaystyle T={\begin{pmatrix}0&0&1&0\\0&1&0&0\\0&0&0&-1\\1&0&0&0\end{pmatrix}}{\begin{pmatrix}\color {Red}{4}&0&0&0&0\\0&\color {Red}{3}&0&0&0\\0&0&\color {Red}{\sqrt {5}}&0&0\\0&0&0&\color {Red}{0}&0\end{pmatrix}}{\begin{pmatrix}0&1&0&0&0\\0&0&1&0&0\\1/{\sqrt {5}}&0&0&0&2/{\sqrt {5}}\\0&0&0&1&0\\-2/{\sqrt {5}}&0&0&0&1/{\sqrt {5}}\end{pmatrix}}}$

즉, ${\displaystyle T}$의 특잇값들은 가운데 행렬에서 붉게 표시된 성분들인 ${\displaystyle 4,3,{\sqrt {5}},0}$이다.

특잇값 분해는 유일하지 않다. 예를 들어, 위와 같은 분해에서, 마지막 인자 ${\displaystyle V^{*}}$를

${\displaystyle V^{*}={\begin{pmatrix}0&1&0&0&0\\0&0&1&0&0\\1/{\sqrt {5}}&0&0&0&2/{\sqrt {5}}\\{\sqrt {2/5}}&0&0&1/{\sqrt {2}}&-1/{\sqrt {10}}\\-{\sqrt {2/5}}&0&0&1/{\sqrt {2}}&1/{\sqrt {10}}\end{pmatrix}}}$

로 교체할 수도 있다.

역사

특잇값의 개념은 에르하르트 슈미트가 1907년에 도입하였다.^[2] 슈미트는 특잇값을 "고윳값"(독일어: Eigenwert)이라고 일컬었으나, 이후 1937년에 프랭크 스미디스(영어: Frank Smithies, 1912~2002)가 "특잇값"(영어: singular value)이라는 용어를 도입하였다.^[3]

응용

 주성분 분석 문서를 참고하십시오.

행렬의 특잇값 분해는 신호 처리와 통계학 등의 분야에서 자주 사용된다. 특히, 통계학에서 특잇값 분해를 통한 분석은 주성분 분석이라고 불린다.

같이 보기

• 조건수
• 슈어-혼 정리
• 특잇값 분해