特異値分解

特異値分解（とくいちぶんかい、英: singular value decomposition; SVD）とは線形代数学における複素数あるいは実数を成分とする行列に対する行列分解の一手法であり、Autonneによって導入された^[1][2][3]。悪条件方程式の数値解法で重宝するほか、信号処理や統計学の分野で用いられる^[2]。特異値分解は、行列に対するスペクトル定理の一般化とも考えられ、正方行列に限らず任意の形の行列を分解できる^[2][3]。

特異値分解の図示。2次元の実ベクトル空間上のせん断写像 ${\displaystyle M={\begin{bmatrix}1&1\\0&1\end{bmatrix}}}$ による単位円の変形。M は V^* による等長変換（この図では回転）、Σ による伸縮（この図では単位円が楕円に変形されていて、その長径と短径が特異値に相当する）、U による等長変換（この図では回転）の合成に分解される。

特異値分解定理

M を階数 r の m 行 n 列の行列とする。ただし、行列の要素は体 K の元であり、K は実数体 R または複素数体 C のいずれかであるとする。このとき、

${\displaystyle M=U\Sigma V^{*}}$

という M の分解が存在する^[4][5]。 ここで U は m 行 m 列のユニタリ行列、V^* は n 行 n 列のユニタリ行列 V の随伴行列（複素共役かつ転置行列）。さらに半正定値行列 MM^*（あるいは M^*M）の正の固有値の平方根 σ₁ ≥ … ≥ σ_r > 0 が存在して、q = min(m, n), σ_r+1 = … = σ_q = 0 とおけば、m 行 n 列の行列 Σ は以下の形になる。

${\displaystyle \Sigma ={\begin{cases}{\begin{bmatrix}\Delta &O\end{bmatrix}}&(m<n)\\\Delta &(m=n)\\{\begin{bmatrix}\Delta \\O\end{bmatrix}}&(m>n)\end{cases}}\quad {\text{where }}\Delta =\operatorname {diag} (\sigma _{1},\sigma _{2},\dotsc ,\sigma _{q})}$

ここで Δ は σ₁, …, σ_q を対角成分とする q次対角行列、部分行列 O は零行列である。この分解を特異値分解、σ₁, …, σ_q を行列 M の特異値と呼ぶ^[2][3]。

入力情報を n次列ベクトル v として表し、出力として Mv が得られるモデルを考えると、行列 M の特異値分解によって得られるユニタリ行列と特異値について以下のような解釈を与えることができる。

• 行列 V の各列は、M の入力空間の正規直交基底を表す。
• 行列 U の各列は、M の出力空間の正規直交基底を表す。
• 特異値は増幅率を表し、入力成分がそれぞれ何倍されて出力されるかを表す。

Σ の対角成分の並びは自由だが、応用上は取り扱いを簡単にするため降順に並べることが多い。こうすると、U と V は一意には定まらないが、Σ は一意に定まる。

特異値、特異ベクトルと特異値分解との関係

M を K^m×n 上の行列とする。ある非負の実数 σ に対し、

${\displaystyle {\begin{aligned}Mv&=\sigma u\\M^{*}u&=\sigma v\end{aligned}}}$

という条件を満たす K^m 上の単位ベクトル u と Kⁿ 上の単位ベクトル v の組が存在するとき、実数 σ を（ベクトル u, v に対応する）行列 M の特異値 (singular value) と呼ぶ。またベクトル u, v を、それぞれ σ の左特異ベクトル (left-singular vector) と右特異ベクトル (right-singular vector) と呼ぶ。

任意の特異値分解

${\displaystyle M=U\Sigma V^{*}}$

において、${\displaystyle m\times n}$行列 Σ の対角要素は M の特異値に等しく、ユニタリ行列 U, V の列ベクトルは、それぞれ左特異ベクトル、右特異ベクトルを並べたものである。すなわち、

• m × n 行列 M は、少なくとも1つ、高々 q = min(m, n) 個の異なる特異値を持つ。
• 常に K^m 上のユニタリ基底が存在して、それは M の左特異ベクトルから成る。
• 常に Kⁿ 上のユニタリ基底が存在して、それは M の右特異ベクトルから成る。

（注：ここでの特異値分解の形式はUやVをユニタリ行列にとるいわゆる Full SVDと呼ばれるものである．そのほかにいわゆる Thin SVD と呼ばれる分解形式もある．文献等に単に特異値分解とだけ書かれている場合には読者はどちらのSVDを意図しているかを正しく判断せねばならない。）

1つの特異値に対し、2つ以上の線形独立な右（あるいは左）特異ベクトルが存在する場合、その特異値は縮退 (degenerate) しているという。縮退のない特異値に対しては常に、左右の特異ベクトルがそれぞれ（位相 e^iθ の違いを除いて）唯一つ存在する。結果として、もし行列 M のすべての特異値が正であり縮退のない場合、特異値分解は（ユニタリ行列 U, V の各列にかかる位相 e^iθ_k の違いを除いて）唯一つに定まる。

縮退のある特異値 σ_deg に対して、左特異ベクトル u₁, u₂ の正規化された線型結合 u_c = αu₁ + βu₂ を考えると、左特異ベクトルの線型結合 u_c もまた特異値 σ_deg の左特異ベクトルとなっている。同様のことが右特異ベクトルについても成り立つ。特異値分解のユニタリ行列 U, V の特異値 σ_deg に対応する列ベクトルは、特異ベクトルの線型結合の中から自由に選ぶことができるため、結果として行列 M の分解は一意ではなくなる。

固有値分解が正方行列に対してのみ適用できるのに対し、特異値分解は任意の矩形行列に対して適用が可能である^[2][3]。また、行列 M が正定値のエルミート行列（したがって正方行列）である場合、M の固有値は実数かつ非負であり、このとき M の特異値と特異ベクトルはそれぞれ M の固有値と固有ベクトルに一致する。

幾何的な意味

行列 U と V はユニタリ行列だから、U の列ベクトル u₁, …, u_m は、体 K^m 上の正規直交基底を成し、V の列ベクトル v₁, …,v_n は、体 Kⁿ 上の正規直交基底を成す。

ベクトル x を Mx に写す線形変換（線型写像）${\displaystyle T\colon K^{n}\to K^{m}}$ は、これらの正規直交基底を用いて簡単な形に表される。すなわち、${\displaystyle T(v_{i})=\sigma _{i}u_{i}}$, ここで i = 1, …, min(m, n) に対しては σ_i は Σ の i 番目の対角成分、i > min(m, n) に対し T(v_i) = 0。

このことから、特異値分解定理の幾何的な意味は以下のように説明できる。線型写像 ${\displaystyle T\colon K^{n}\to K^{m}}$ に対し、次のような性質を持つ正規直交基底 K^m と Kⁿ が存在する。ここに、T は Kⁿ の i 番目の基底ベクトルを K^m の i 番目の基底ベクトルについて σ_i 倍したものに写す。σ_i は負でない数。つまり、これらの基底を用いて、写像 T は、負でない数を成分に持つ対角行列で表される。

特異値分解の応用

擬似逆行列

特異値分解を用いて、擬似逆行列を計算することができる。行列 M の擬似逆行列は、その特異値分解 ${\displaystyle M=U\Sigma V^{*}}$ を用いて

${\displaystyle M^{+}=V\Sigma ^{+}U^{*},}$

と表せる。ここに Σ⁺ は、Σ の零でない要素についてはその逆数を要素とするが、零である要素については零をそのまま要素とする行列を作りその転置をとった行列である。この擬似逆行列を用いて、線形最小二乗法を行うことができる。

値域、零空間、行列の階数

特異値分解を用いて、行列 ${\displaystyle M}$ の値域、零空間を表現することができる。${\displaystyle M}$ の特異値の中で零になるものに対応する右特異ベクトルが零空間の基底となる。${\displaystyle M}$ の特異値の中で零でないものに対応する左特異ベクトルが値域の基底となる。すなわち ${\displaystyle M}$ の行列の階数は、零でない特異値の数と一致する。さらに、${\displaystyle M}$ と ${\displaystyle M^{*}M}$ と ${\displaystyle MM^{*}}$ の階数は一致し、${\displaystyle M^{*}M}$ と ${\displaystyle MM^{*}}$ の固有値は一致する。

数値計算上では、特異値を用いて行列の実質的な階数を求めることができる^[6]。数値計算上では丸め誤差の影響で、階数が退化した行列に対し、非常に小さいが零ではない特異値が得られてしまう場合に有効である。

行列の近似

行列 ${\displaystyle M}$ を、ある特定の階数 ${\displaystyle r}$ を持つ別の行列 ${\displaystyle {\tilde {M}}}$ で近似すると便利な場合がある。この場合の近似を${\displaystyle \operatorname {rank} ({\tilde {M}})=r}$ という条件の下で ${\displaystyle M}$ と ${\displaystyle {\tilde {M}}}$ の差（フロベニウスノルム）が最小なものという意味であるとすると、行列 ${\displaystyle M}$ の特異値分解によって、${\displaystyle {\tilde {M}}}$ を求めることができる。すなわち、

${\displaystyle {\tilde {M}}=U{\tilde {\Sigma }}V^{*}}$

ここに、${\displaystyle {\tilde {\Sigma }}}$ は、${\displaystyle \Sigma }$ から大きい方から数えて ${\displaystyle r}$ 個の特異値を残して、それ以外の特異値を零とおいたもの。