2015/11/02

特異値分解の定義,性質,具体例

分野: 線形代数  レベル: 大学数学

行列の特異値分解(singular value decomposition, SVD)についての定義,性質などを整理しました。

特異値分解とは

特異値分解

任意の $m\times n$ 行列 $A$ に対して,$A=U\Sigma V$ となる
$m\times m$ の直交行列 $U$(→直交行列とは
$n\times n$ の直交行列 $V$
$m\times n$ の「非対角成分は $0$,対角成分は非負で大きさの順に並んだ行列(図のような行列)」 $\Sigma$
が存在します。

$A$ をこのような行列の積で表すことを特異値分解と言います。また,$\Sigma$ の対角成分で $0$ でないもの($0$ を含めることもある)を特異値と言います。

具体例

$A=\begin{pmatrix}2&2&2&2\\1&-1&1&-1\\-1&1&-1&1\end{pmatrix}$ の特異値分解(の1つ)は,
$A=\begin{pmatrix}1&0&0\\0&\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\0&-\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\end{pmatrix}\begin{pmatrix}4&0&0&0\\0&2\sqrt{2}&0&0\\0&0&0&0\end{pmatrix}\begin{pmatrix}\frac{1}{2}&\frac{1}{2}&\frac{1}{2}&\frac{1}{2}\\\frac{1}{2}&-\frac{1}{2}&\frac{1}{2}&-\frac{1}{2}\\\frac{1}{2}&\frac{1}{2}&-\frac{1}{2}&-\frac{1}{2}\\\frac{1}{2}&-\frac{1}{2}&-\frac{1}{2}&\frac{1}{2}\end{pmatrix}$
です。よって,$A$ の特異値は,$4$ と $2\sqrt{2}$ です。

なお,上式が正しいこと,および右辺の1つ目と3つ目の行列が直交行列であることは簡単な計算で確認できます。

特異値分解の性質

  • $A$ が与えられたとき,特異値を定める行列 $\Sigma$ は一意に決まりますが,直交行列 $U,V$ は一意に定まるとは限りません。
  • 行列の($0$ でない)特異値の数は,その行列のランクと一致します。→行列のランクの意味(8通りの同値な定義)
  • 行列の特異値の二乗和はその行列の全成分の二乗和と等しいです。先ほどの具体例ではどちらも24になっています。この値の平方根を行列のフロベニウスノルムと言います。

固有値分解と特異値分解

  • 行列の固有値分解は正方行列に対してのみ定義されますが,特異値分解は長方行列でも考えることができます。
  • $A$ が対称行列のとき,$A$ の固有値と特異値は一致します。対称行列は直交行列で対角化できるからです。→対称行列の固有値と固有ベクトルの性質の証明
  • $A^{\top}A$ の $0$ でない固有値の正の平方根は $A$ の特異値です。これは,$A=U\Sigma V$ のとき $A^{\top}A=V^{\top}\Sigma^{\top}\Sigma V$ であることから分かります。同様に,$AA^{\top}$ の $0$ でない固有値の正の平方根も $A$ の特異値です。
特異値分解は,行列の低ランク近似や擬似逆行列の計算などに使われます。
分野: 線形代数  レベル: 大学数学