条件付き期待値，分散の意味と有名公式

確率変数 $Y$ の値が $y$ であるという条件のもとでの $X$ の期待値を $E[X\mid Y=y]$ と書き，条件付き期待値と言います。「$Y=y$ となるグループに限定したときの $X$ の平均」とも言えます。

式で書くと（離散型確率変数の場合），

$E[X\mid Y=y]\\=\displaystyle\sum_{x}x\dfrac{P(X=x,Y=y)}{P(Y=y)}$

となります。

定義から分かるように，条件付き期待値 $E[X\mid Y=y]$ は $y$ の関数です。

$E[X\mid Y=y]=f(y)$ のことを $E[X\mid Y]=f(Y)$ と書くことも多いです。また，期待値を取る確率変数が $X$ であることを強調するために $E_X[X\mid Y]$ と書くこともあります。

また，条件付き分散 $V[X\mid Y]$ も同様に定義されます（グループ内での分散，$Y$ の関数）。条件付きでない場合と同様に，以下が成立します：

$V[X\mid Y]=E[X^2\mid Y]-E[X\mid Y]^2$

（というよりこの式を条件付き分散の定義とすることが多い気がします）

注：測度論的確率論における条件付き確率の定義はかなりめんどうです。この記事では初等的な定義のみ扱います。

条件付き期待値，分散に関する頻出の公式（性質）です。

公式の証明はそこそこ大変なので割愛しますm(__)m

公式1は具体例を見ると意味が分かりやすいです。

注：それぞれの領域で期待値を取って，最後に全体の重み付き平均を取っているというイメージですね。

公式2は日本語で書くと，「$X$ の分散＝ $X\mid Y$ の分散の期待値＋ $X\mid Y$ の期待値の分散」となります。

だいぶ複雑ですが，とりあえずそれなりに重要な公式だと認識しておくとよいでしょう。

• 東大大学院（数学系）の入試問題で公式1と公式2について問われたことがあります。
  →情報理工，数理情報学，平成19年度入試第2問参照。

• 多くのデータを観測したときにベイズ推定の不確実性が減少することの説明に使います。
  →「パターン認識と機械学習」という本の2.1節参照。