最終更新:2017/05/05

相互情報量の意味とエントロピーとの関係

分野: 代数,情報・暗号理論  レベル: 大学数学

(離散の)確率変数 $X$ と $Y$ の間の相互情報量 $I(X;Y)$ を,
$I(X;Y)\\
=\displaystyle\sum_{x\in X}\sum_{y\in Y}P_{X,Y}(x,y)\log\dfrac{P_{X,Y}(x,y)}{P_X(x)P_Y(y)}$

で定義する。

相互情報量の意味

式から分かるように,相互情報量は $X$ と $Y$ について対称です。
以下の2つの理由により,相互情報量は,$X$ と $Y$ の「依存度」を表す指標と考えることができます。
(理由1と理由2の証明は後述します)

理由1

$X$ と $Y$ が独立のとき,$I(X;Y)=0$ となります。そして,$I(X;Y)$ の最小値は $0$ です。つまり $X$ と $Y$ がある意味で最も依存していないときに,相互情報量は最小となります。

理由2

$X$ の分布を固定して $I(X;Y)$ の取りうる値について考えます。このとき,$Y$ の分布が $X$ の分布と同じである場合に,$I(X;Y)$ は最大値を達成します。つまり $X$ と $Y$ がある意味で最も依存しているときに,相互情報量は最大となります。

理由1の証明

  • $X$ と $Y$ が独立のとき,$P_{X,Y}(x,y)=P_X(x)P_Y(y)$ なので,$I(X;Y)$ の定義式の $\log$ の中身は常に $1$ になります。よって,$I(X;Y)=0$ となります。
  • $\sum p_k=\sum q_k=1$,$p_k,q_k$ が非負のとき,
    $\sum p_k\log\dfrac{p_k}{q_k}\geq 0$
    が成立します(→補足)。この不等式を,
    $p_k\to P_{X,Y}(x,y)$
    $q_k\to P_X(x)P_Y(y)$
    として使えば,相互情報量が非負であることが分かります。

補足

対数和不等式の証明と応用で紹介したギブスの不等式です。高校数学の範囲内で証明可能です。

理由2の証明

  • $X$ も $Y$ も同じ分布に従う場合,任意の $a\in X$ に対して $P_X(a)=P_Y(a)=P_{X,Y}(a,a)$ となるので,
    $I(X;Y)=\displaystyle\sum_{x\in X}P_X(x)\log\dfrac{P_X(x)}{P_X(x)P_X(x)}\\
    =-\displaystyle\sum_{x\in X}P_X(x)\log P_X(x)$
    となります。これは,$X$ の平均情報量(エントロピー)$H(X)$ と呼ばれる量です。
  • $I(X;Y)\leq H(X)$ が成立します。以下で証明します。

証明

$H(X\mid Y)\\
=-\displaystyle\sum_{y\in Y} P_Y(y)\sum_{x\in X} P_{X\mid Y}(x\mid y)\log P_{X\mid Y}(x\mid y)$
という量(条件付きエントロピーと呼ばれる)を導入する。
対数の中身が $1$ 以下であることに注意すると,$H(X\mid Y)\geq 0$ が分かる。

あとは,$I(X;Y)=H(X)-H(X\mid Y)$ を証明すれば,$I(X;Y)\leq H(X)$ が分かる。
実際,以下の2つの式から上の等式は分かる。

$H(X)\\
=-\displaystyle\sum_{y\in Y}P_{Y\mid X}(y\mid x)\sum_{x\in X}P_X(x)\log P_X(x)\\
=\displaystyle\sum_{x\in X}\sum_{y\in Y}P_{X,Y}(x,y)\log\dfrac{1}{P_X(x)}$

$-H(X\mid Y)\\
=\displaystyle\sum_{x\in X}\sum_{y\in Y}P_Y(y)P_{X\mid Y}(x\mid y)\log P_{X\mid Y}(x\mid y)\\
=\displaystyle\sum_{x\in X}\sum_{y\in Y}P_{X,Y}(x,y)\log \dfrac{P_{X,Y}(x,y)}{P_Y(y)}$

$I(X;Y)=H(X)-H(X\mid Y)$
という等式は,「$X$ と $Y$ の依存度」は「$X$ のあいまいさ」と「$Y$ を知ったもとでの $X$ のあいまいさ」の差であると解釈することができます。

複雑な式をTeXで書き上げると気持ちよくなります。
分野: 代数,情報・暗号理論  レベル: 大学数学