2015/11/17

相関行列の定義と分散共分散行列との関係


各成分に相関係数を並べた行列を相関行列と言う。


相関係数については相関係数の数学的性質とその証明を参照して下さい。

相関行列とは

確率変数に対する相関行列

$n$ 個の確率変数 $X_1,X_2,\cdots,X_n$ に対して,
$ii$ 成分が $1$,$ij$ 成分が $\rho_{ij}$($X_i$ と $X_j$ の相関係数)
であるような $n\times n$ 行列 $C$ を相関行列と言います。定義より,相関行列は非対角成分が$-1$ 以上 $1$ 以下であるような対称行列です。

注:「 $i\neq j$ 」という文言は省略します。

データに対する標本相関行列

同様に,$n$ 次元のデータに対しても(標本)相関行列が定義されます(対角成分には $1$,非対角成分には標本相関係数が並ぶ)。

分散共分散行列との関係1

確率変数 $X_1,X_2,\cdots, X_n$ に対する相関行列 $C$ は,
($X_i$ たちをスケール変換した)確率変数 $\dfrac{X_1}{\sigma_1},\dfrac{X_2}{\sigma_2},\cdots,\dfrac{X_n}{\sigma_n}$ に対する分散共分散行列 $\Sigma’$と一致します($\sigma_i$ は $X_i$ の標準偏差)。

実際,$C$ の $ii$ 成分は $1$,$\Sigma’$の $ii$ 成分は $\dfrac{X_i}{\sigma_i}$ の分散なので $1$ となり一致します。 $C$ の $ij$ 成分は $\rho_{ij}$,$\Sigma’$の $ij$ 成分は $\dfrac{X_i}{\sigma_i}$ と $\dfrac{X_j}{\sigma_j}$ の共分散なので $\dfrac{\mathrm{Cov}(X_i,X_j)}{\sigma_i\sigma_j}=\rho_{ij}$ となり一致します。

分散共分散行列との関係2

確率変数 $X_1,X_2,\cdots, X_n$ に対する相関行列 $C$ と分散共分散行列 $\Sigma$ の間には $C=D\Sigma D$ という関係が成り立ちます。ただし,$D$ は $ii$ 成分が $\dfrac{1}{\sigma_i}$ であるような対角行列です。

この関係式は成分計算で簡単に確認できます。

2次元の場合の例

$\begin{pmatrix}1&\rho_{12}\\\rho_{12}&1\end{pmatrix}=\begin{pmatrix}\dfrac{1}{\sigma_1}&0\\0&\dfrac{1}{\sigma_2}\end{pmatrix}\begin{pmatrix}\sigma_1^2&\sigma_{12}\\\sigma_{12}&\sigma_2^2\end{pmatrix}\begin{pmatrix}\dfrac{1}{\sigma_1}&0\\0&\dfrac{1}{\sigma_2}\end{pmatrix}$

半正定値であること

相関行列は半正定値です。これは分散共分散行列が半正定値であることと「分散共分散行列との関係2」から分かります。

証明

任意の $n$ 次元縦ベクトル $y$ に対して $y^{\top}Cy\geq 0$ を示すのが目標。

先ほどの関係式より,
$y^{\top}Cy=y^{\top}D\Sigma Dy\\
=(Dy)^{\top}\Sigma (Dy)$
これは $\Sigma$ が半正定値であることから $0$ 以上である。

分散共分散行列を $\Sigma$ で表すのは一般的ですが,相関行列にはどの記号を用いるのが適切か迷いました。correlation matrixの頭文字 $C$ を使いましたが,異論がある方はご一報ください。