2016/03/10

指数型分布族の定義と例


確率(密度 or 質量)関数が,
ある関数 $g_i(\theta)$,$h_i(x)$ $(i=0,1,\dots,d)$ を用いて
$p(x\mid \theta)=g_0(\theta)h_0(x)\exp\left\{\displaystyle\sum_{i=1}^dg_i(\theta)h_i(x)\right\}$
と表せるような分布を指数型分布族(exponential family)と言う。

指数型分布族の定義について

$d$ はパラメータの数です。$\theta$ はパラメータを並べたベクトル,$x$ は各成分が確率変数に対応するベクトルです(分かりにくければ,パラメータが1つの1次元確率分布を考えればよい,その場合 $x$ も $\theta$ もスカラー)。

$x$ と $\theta$ の混ざり具合がそこまで複雑ではないというイメージです。指数の外側は($\theta$ の関数)$\times$($x$ の関数)という形です。中身は($\theta$ の関数)$\times$($x$ の関数)の和という形です。

指数型分布族の定義は他の(同値な)形で述べられることも多いですが,この記事では冒頭の式を使います(統計への応用を考えると,より都合のよい形もあるが,定義としてはこれが分かりやすいと思う)。

指数型分布族の例

例題

ベルヌーイ分布(離散,1変数,1パラメータ)が指数型分布族であることを確認せよ。
$p(x\mid \theta)=\theta^x(1-\theta)^{1-x}$

解答

$p(x\mid \theta)=\exp\{x\log \theta+(1-x)\log (1-\theta)\}\\
=(1-\theta)\exp\left\{x\log\dfrac{\theta}{1-\theta}\right\}$
となるのでOK。

他にも,多くの有名な確率分布が指数型分布族です。例を以下に挙げます:

  • 正規分布(連続,1変数,2パラメータの例)
    $p(x\mid (\mu,\sigma^2))=\dfrac{1}{\sqrt{2\pi}\sigma}\exp\left\{-\dfrac{(x-\mu)^2}{2\sigma^2}\right\}$
  • 二項分布($n$ は既知とする)
    $p(x\mid\theta)={}_n\mathrm{C}_x\theta^x(1-\theta)^{n-x}$
  • ポアソン分布
    $p(x\mid\theta)=e^{-\theta}\dfrac{\theta^x}{x!}$
  • 指数分布
    $p(x\mid\theta)=\dfrac{1}{\theta}e^{-\frac{x}{\theta}}\:(x \geq 0)$

自然パラメータ

$\eta_i=g_i(\theta)$ という置換により,パラメータを $\theta$ から $\eta$ に変換してやると,指数型分布族の定義式は以下のように少しスッキリします:
$p(x\mid \eta)=G(\eta)h_0(x)\exp\left\{\displaystyle\sum_{i=1}^d\eta_i h_i(x)\right\}$
($G(\eta)$ は適切な関数)

$\eta$ を分布の自然パラメータと言います。

「指数分布」と「指数型分布族」という言葉は別物です。