対数和不等式の証明と応用

$f(x)=x\log x$ とおくと，$f(x)$ の微分は $\log x+1$，二階微分は $\dfrac{1}{x}$ なので $f(x)$ は $x> 0$ で凸関数である。

ここで，$\dfrac{b_k}{\sum b_k}=\lambda_k$ とおくと対数和不等式の左辺は

$$\begin{aligned} &\sum a_k\log\dfrac{a_k}{b_k}\\ &=\sum b_k\dfrac{a_k}{b_k}\log\dfrac{a_k}{b_k}\\ &=\left( \sum b_k \right) \sum \lambda_k f\left(\dfrac{a_k}{b_k}\right) \end{aligned}$$

となる。これにイェンゼンの不等式を用いると，

$$\begin{aligned} (\text{与式}) &\geq \left( \sum b_k \right) f\left(\sum\lambda_k\dfrac{a_k}{b_k}\right)\\ &= \left( \sum b_k \right) f\left(\dfrac{\sum a_k}{\sum b_k}\right)\\ &= \left( \sum a_k \right) \log \dfrac{\sum a_k}{\sum b_k} \end{aligned}$$

となり目標の式を得る。

対数和不等式で $a_k=p_k,b_k=q_k$ とすればよい。 $\sum p_k=\sum q_k=1$ を使うと右辺は $0$ になる。

ギブスの不等式を変形すると，

$$-\sum p_k\log p_k\leq -\sum p_k\log q_k$$

ここで，$q_k=\dfrac{1}{n}\:(k=1,2,\cdots,n)$ とすると右辺は $\log n$ となる。