2015/09/11

二次形式の意味,微分,標準形など

分野: 線形代数  レベル: 大学数学

二次の項のみからなる多項式を二次形式と言う。

線形代数や微分幾何など様々な分野に登場する二次形式についての知識を整理しました。

二次形式とは

二次形式とは,二次の同次多項式のことです。

例えば,$3x^2-2xy+3y^2$ は $x,y$ についての二次形式,
$x_1^2+4x_1x_2+x_2^2+3x_2x_3+x_3^2$ は $x_1,x_2,x_3$ についての二次形式です。

二次形式は対称行列と対応する

二次形式は対称行列 $A$ と変数を縦に並べたベクトル $x$ を用いて $x^{\top}Ax$ というコンパクトな形で書けます。

例えば,先ほどの二つの二次形式は以下のように書けます(実際に計算して確認してみてください):
$\begin{pmatrix}x&y\end{pmatrix}\begin{pmatrix}3&-1\\-1&3\end{pmatrix}\begin{pmatrix}x\\y\end{pmatrix}$
$\begin{pmatrix}x_1&x_2&x_3\end{pmatrix}\begin{pmatrix}1&2&0\\2&1&\frac{3}{2}\\0&\frac{3}{2}&1\end{pmatrix}\begin{pmatrix}x_1\\x_2\\x_3\end{pmatrix}$

逆に,$n\times n$ の対称行列 $A=(a_{ij})$ が与えられたときに $x^{\top}Ax$ は $n$ 変数の二次形式 $\displaystyle\sum_{i,j=1}^na_{ij}x_ix_j$ を与えます。つまり,二次形式は対称行列と対応します。
注:複素数の二次形式を考えるときはエルミート行列が登場します。

二次形式の微分

$ax^2$ の微分が $2ax$ になることの多変数バージョンです。

二次形式 $x^{\top}Ax$ の微分(勾配ベクトル)は $2Ax$

勾配ベクトルは各変数での微分を並べたベクトルのことです。→勾配ベクトルの意味と例題

$x^{\top}Ax=\displaystyle\sum_{i,j}a_{ij}x_ix_j$ を $x_i$ で微分すると,$2\displaystyle\sum_{j}a_{ij}x_j$ になるということです。簡単な計算で確認できます。

二次形式と行列のトレース

二次形式は行列のトレースで表現することもできます。

$x^{\top}Ax=\mathrm{tr}\:(Axx^{\top})$

統計とかでときどき使う公式です。これも簡単な計算で確認できるので練習にどうぞ。

二次形式の標準形

変数を適切に直交変換することで変数の混ざった項を消すことができます。例えば,先ほどの例について $\begin{pmatrix}X\\Y\end{pmatrix}=\dfrac{1}{\sqrt{2}}\begin{pmatrix}1&1\\1&-1\end{pmatrix}\begin{pmatrix}x\\y\end{pmatrix}$ と変数変換すると,
$3x^2-2xy+3y^2\\
=2(\dfrac{x}{\sqrt{2}}+\dfrac{y}{\sqrt{2}})^2+4(\dfrac{x}{\sqrt{2}}-\dfrac{y}{\sqrt{2}})^2\\
=2X^2+4Y^2$
となり,$XY$ というクロスタームがない二次形式に変換できます。平方完成です。

一般に,二次形式 $x^{\top}Ax$ を標準形になおすことは対称行列 $A$ の対角化に対応します。

(説明)
対称行列 $A$ はある直交行列 $U$ を用いて対角化できる。→対称行列の固有値と固有ベクトルの性質の証明
つまり,$UAU^{\top}$ が対角行列になるような直交行列 $U$ が存在する。対角成分には $A$ の固有値 $\lambda_i$ が並ぶ。

このとき,
$x^{\top}Ax=x^{\top}U^{\top}UAU^{\top}Ux\\
=(Ux)^{\top}(UAU^{\top})(Ux)\\
=\displaystyle\sum_{i}\lambda_iX_i^2$
(ただし,$X_i$ は $Ux$ の第 $i$ 成分)

三次形式というものも一応あるみたいです。
分野: 線形代数  レベル: 大学数学