2015/05/11

多変量正規分布の確率密度関数の解説


同時確率密度関数が,
$f(\overrightarrow{x})=\dfrac{1}{(2\pi)^{\frac{n}{2}}\sqrt{|\Sigma|}}\exp \left\{-\dfrac{1}{2}(\overrightarrow{x}-\overrightarrow{\mu})^{\top}\Sigma^{-1}(\overrightarrow{x}-\overrightarrow{\mu})\right\}$
で表される分布を多変量正規分布(多変量ガウス分布)と言う。

上記の一見複雑な関数の意味を理解するのが目標です。

正規分布の多次元バージョンです。一次元の正規分布については正規分布の基礎的なことで詳しく解説しています。

期待値,分散共分散

まずは記号の意味について解説します。

・ $\overrightarrow{x}$ と $\overrightarrow{\mu}$ は $n$ 次元の縦ベクトルです。 $\overrightarrow{\mu}$ は一次元の場合の「平均」を一般化したもので,各成分は各確率変数の平均です。平均ベクトルなどと呼ばれます。

・ $\Sigma$ は $n\times n$ の対称行列です。ー次元の場合の「分散」を一般化したもので,確率変数の散らばり具合を表します→分散共分散行列の定義と性質
$\Sigma^{-1}$ は $\Sigma$ の逆行列,$|\Sigma|$ は $\Sigma$ の行列式を表します。

一次元,二次元の場合

〜ー変数の場合の拡張になっていることを確認〜
・ $n=1$ の場合,平均ベクトルは $\mu$(スカラー),分散共分散行列は $\sigma^2$(スカラー)となります。確率密度関数は,$f(x_1)=\dfrac{1}{\sqrt{2\pi}\sigma}\exp\left\{-\dfrac{(x_1-\mu)^2}{2\sigma^2}\right\}$
となります。

〜多変量正規分布の意味をつかむのに最適なのは二次元〜
・ $n=2$ の場合,平均ベクトルを $\begin{pmatrix}\mu_1\\\mu_2\end{pmatrix}$,分散共分散行列を $\begin{pmatrix}\sigma_1^2&\sigma_{12}\\\sigma_{12}&\sigma_2^2\end{pmatrix}$ と書くと,
$\Sigma^{-1}=\dfrac{1}{\sigma_1^2\sigma_2^2-\sigma_{12}^2}\begin{pmatrix}\sigma_2^2&-\sigma_{12}\\-\sigma_{12}&\sigma_1^2\end{pmatrix}\\
=\dfrac{1}{\sigma_1^2\sigma_2^2(1-\rho^2)}\begin{pmatrix}\sigma_2^2&-\sigma_{12}\\-\sigma_{12}&\sigma_1^2\end{pmatrix}$
である(ただし,$\rho$ は相関係数)ので同時確率密度関数は,
$f(x_1,x_2)=\dfrac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\times \exp \\\left\{-\dfrac{1}{2(1-\rho^2)}\left(\dfrac{(x_1-\mu_1)^2}{\sigma_1^2}-2\rho\dfrac{(x_1-\mu_1)(x_2-\mu_2)}{\sigma_1\sigma_2}+\dfrac{(x_2-\mu_2)^2}{\sigma_2^2}\right)\right\}$

成分で書くと汚いですね。ベクトルや行列でスッキリ書く方がよいです。

二次形式,正規化定数

多変量正規分布の確率密度関数は一見複雑ですが,
(定数)× $\exp$(多変数の二次関数)という単純な形をしています。

二次関数の「曲がり具合」を決めるのが分散共分散行列で,「位置」を決めるのが平均ベクトルです。先頭の定数は,確率密度関数であるための要請「全空間で積分すると1」を満たすためのものに過ぎません。規格化定数と呼ばれます。

多変量正規分布の確率密度関数について,

  • 全空間で積分すると1になること
  • 期待値が $\mu$ であること
  • 分散共分散行列が $\Sigma$ であること

の確認は多変数の積分のよい練習になるので,やる気のある方はぜひ。($\overrightarrow{y}=\Sigma^{\frac{1}{2}}(\overrightarrow{x}-\overrightarrow{\mu})$ と置換して多変数のガウス積分を使います)

二次元正規分布の式をいきなり見ると面食らいますが,実は非常に綺麗!

Tag: 正規分布の基礎的な知識まとめ