最尤法によるパラメータ推定の意味と具体例

〜ステップ1：尤度関数を計算する（重要）〜

表が出る確率が $\theta$ であるコインを $100$ 回投げて $70$ 回表が出る確率は，反復試行の確率の公式より

$L(\theta)={}_{100}\mathrm{C}_{70}\theta^{70}(1-\theta)^{30}$

これが尤度関数である。これを最大にする $\theta$ がもっともらしい $\theta$ である。

〜ステップ2：$L(\theta)$ を最大にする $\theta$ を求める（作業）〜

$L(\theta)$ を最大にする $\theta$ と $\log L(\theta)$ を最大にする $\theta$ は同じであるので，計算を楽にするため対数を取る（対数尤度関数）：

$\log L(\theta)=70\log \theta+30\log (1-\theta)+\log {}_{100}\mathrm{C}_{70}$

これを $\theta$ で微分すると，

$\dfrac{d}{d\theta}\log L(\theta)=\dfrac{70}{\theta}-\dfrac{30}{1-\theta}$

となる。

よって，$\dfrac{70}{\theta}-\dfrac{30}{1-\theta}=0$ のとき，つまり $\theta=0.7$ がもっともらしい推定値。

〜ステップ1：尤度関数を計算する〜

平均が $\mu$，分散が $\sigma^2$ の正規分布に独立に従う乱数の値が $x_1,\cdots,x_n$ である確率は，

$L(\mu,\sigma^2)=\displaystyle\prod_{k=1}^n\left\{\dfrac{1}{\sqrt{2\pi \sigma^2}}\exp\left(-\dfrac{(x_k-\mu)^2}{2\sigma^2}\right)\right\}$

〜ステップ2：尤度関数を最大にする $\mu,\sigma^2$ を求める〜

二変数関数の最大化問題。対数尤度関数は，

$\log L(\mu,\sigma^2)=-\dfrac{n}{2}\log (2\pi\sigma^2)-\dfrac{1}{2\sigma^2}\displaystyle\sum_{k=1}^n(x_k-\mu)^2$

まず $\sigma^2$ を固定して $\mu$ で偏微分すると，$\dfrac{\partial}{\partial \mu}\log L(\mu,\sigma^2)=\dfrac{1}{\sigma^2}\displaystyle\sum_{k=1}^n(x_k-\mu)$ 。よって， $\mu=\dfrac{x_1+x_2+\cdots +x_n}{n}$ のとき尤度関数が最大。

次に $\sigma^2$ について偏微分して $\dfrac{\partial}{\partial \sigma^2}\log L=0$ を解くと， $\sigma^2=\dfrac{1}{n}\displaystyle\sum_{k=1}^n(x_k-\mu)^2$ となる。