2015/04/05

統計学的仮説検定の考え方と手順


統計学における仮説検定:
とある仮説が正しいかどうかを統計学を使って判断する手法。

「仮説検定」と言わずに単純に「検定」ということも多いです。統計検定という資格と混同しないようにご注意下さい。

仮説検定の手順

非常に大雑把ですが,まずは仮説検定の手順です。

1(設定):仮説 $H_0$ を立てる。
2(数学):「仮説 $H_0$ のもとで,統計量 $T$ が確率分布 $F$ に従う」となる $T,F$ を探す。
3(計算):実際にデータから計算した $T$ が $F$ の端っこにある場合,$H_0$ は正しくなさそうなので棄却。

$H_0$ は帰無仮説と呼ばれます。(多くの場合)「間違いだ」と証明したい仮説を $H_0$ として持ってきます。背理法のノリです。

例題

表が出る確率が $p$ であるコインを $100$ 回投げたときに表が $63$ 回出た。 $p=\dfrac{1}{2}$(コインが公平である)かどうか検定せよ。

解答

1(設定):帰無仮説として $H_0$:$p=\dfrac{1}{2}$ (コインが公平である)とする。

2(数学):$p=\dfrac{1}{2}$ のとき,表が出る回数 $n$ は二項分布 $\mathrm{Bin}(100,\dfrac{1}{2})$ に従う。→二項分布
このとき,$T=\dfrac{n-50}{\sqrt{25}}$ は標準正規分布に従うとみなせる(二項分布の正規近似)。

仮説検定の手順

3(計算):実際にデータから $T$ を計算すると $\dfrac{63-50}{\sqrt{25}}=2.6$ となる。標準正規分布に従う確率変数が $2.6$ という値を取るのが「端っこ」なのかどうかは判断する基準による。例えば有意水準を $95$ %とすると「端っこ」とみなせる。つまり,コインは公平でない。

対立仮説,棄却域,有意水準

・対立仮説(証明できるかもしれない事柄):帰無仮説の反対側の仮説。上の例の場合対立仮説は「 $p\neq \dfrac{1}{2}$ 」

・棄却域:「端っこ」のこと。

・有意水準:棄却域の広さ(狭さ)を指定する値。 $\alpha$ で表すことが多いです。

有意水準が大きい $\iff$ 棄却域が狭い
$\iff$ 帰無仮説が棄却される可能性が低い
$\iff$ 「安全」だが「何も言えない確率が高い」
$\iff$ 第一種の誤り確率は低いが,第二種の誤り確率は高い(後述)

仮説検定の結論

仮説検定の結論は以下の二通りのいずれかとなります。

・成功(背理法で矛盾が示せた感じ)
帰無仮説を仮定していろいろ計算すると,統計量が棄却域に来てしまった→こんなに端っこに来るなんて考えにくい→帰無仮説は間違いだ!(帰無仮説を棄却,対立仮説を採択)

・失敗(背理法をやろうとしたけど矛盾は出てこなかった感じ)
帰無仮説を仮定していろいろ計算すると,統計量が真ん中付近にきた→「帰無仮説がおかしい」とはみなせない→帰無仮説が正しいかどうかは分からない。

※背理法をやろうとして
Aを仮定して議論をした結果,矛盾が導けたらAは間違いです。しかし,矛盾が導けないからと言って,Aが正しいとは限りません。
同様に,帰無仮説を仮定して,棄却域に入らないからと言って,帰無仮説が正しいとは限りません。

検定における誤り

・第一種の誤り:帰無仮説が正しいのに棄却してしまう誤り
例題の場合:コインが公平なのに「公平でない」と言ってしまう誤り

・第二種の誤り:帰無仮説が間違いなのに棄却できない誤り
例題の場合:コインが公平でないのに「公平かどうか分からない」と言ってしまう誤り

なお,有意水準 $\alpha$ は第一種の誤りを犯してしまう確率です。

実用上は手順2(数学の部分)をブラックボックスとして使うことが多いですが,僕は手順2の部分が好きです。