2014/12/12

マルコフの不等式とその証明


マルコフ(Markov)の不等式:任意の確率変数 $X$ と $a > 0$ に対して(期待値 $E[|X|]$ が存在するとき), $P(|X|\geq a)\leq\dfrac{E[|X|]}{a}$

確率論における基本的な不等式です。大学入試で扱われることはまずないですが比較的簡単なので紹介します。

マルコフの不等式の意味

$P(|X|\geq a)$ は $X$ の絶対値が $a$ 以上となる確率を表しています。 $E[|X|]$ は $|X|$ の期待値です。

つまりマルコフの不等式は, $|X|$ の期待値が大きくなければ $|X|$ が大きくなる確率はそんなに高くないことを表しています。

また,$k=\dfrac{a}{E[X]}$ とおくと,$P(|X|\geq kE[|X|])\leq \dfrac{1}{k}$ となります。
つまり,マルコフの不等式は平均の $k$ 倍を越える確率が $\dfrac{1}{k}$ 以下であることを意味しています。感覚が鋭い人にとっては当たり前に思える結果です。

離散型の場合の証明

$X$ が離散型確率変数の場合にマルコフの不等式を証明します。

方針:「期待値に効いてくるのは絶対値の大きいところだけ」という大雑把な感覚に基いて原点付近をバッサリ切り捨てます。

証明

$E(|X|)=\displaystyle\sum_{x}|x|P(X=x)\\
\geq\displaystyle\sum_{x:|x|\geq a}|x|P(X=x)\\
\geq\displaystyle\sum_{x:|x|\geq a}aP(X=x)\\
=aP(|X|\geq a)$
なお,二行目では和を取る区間を $|x|\geq a$ の部分に制限している。和の各項は非負なので制限すると値は小さくなる(大きくはならない)。

連続型の場合の証明

念のため $X$ が連続型確率変数の場合にも証明しておきます。基本的に確率論では離散型の場合の議論でシグマをインテグラルに変えれば連続型にも通用します。逆も然りです。そのため大学の確率論では多くの場合,連続型の場合だけ議論して離散型の場合はインテグラルをシグマにして考えてね!って感じで省略されます。

連続型確率変数の期待値を扱うには確率密度関数の知識が必要になります。→確率密度関数の意味と具体例

証明

$E[|X|]=\displaystyle\int_{-\infty}^{\infty}|x|f(x)dx\\
\geq \int_{-\infty}^{-a}|x|f(x)dx+\int_{a}^{\infty}|x|f(x)dx\\
\geq a\int_{-\infty}^{-a}f(x)dx+a\int_{a}^{\infty}f(x)dx\\
=aP(X\leq -a)+aP(X\geq a)\\
=aP(|X|\geq a)$

以上の証明から分かるように,マルコフの不等式の評価はかなり大雑把です。

応用

マルコフの不等式において $a$ → $a^2$,$X$ →$(X-\mu)^2$ とおき,$P(|X-\mu|^2\geq a^2)=P(|X-\mu|\geq a)$ であることを利用すると以下のチェビシェフの不等式を導くことができます:
$P(|X-\mu|\geq a)\leq \dfrac{E(|X-\mu|^2)}{a^2}$

これも非常に有名な不等式で,大数の弱法則の証明,平均収束→確率収束の証明,などのさらに発展的な定理の証明にも使われます。

確率論の不等式も悪くないですが,僕は確率関係ない対称な不等式の方が好きです。