ソフトマックス関数

ソフトマックス関数の定義式：

$y_i=\dfrac{e^{x_i}}{e^{x_1}+e^{x_2}+\cdots +e^{x_n}}\:(i=1,\dots,n)$

について，説明します。

• $n$ 個の実数 $(x_1,\cdots,x_n)$ を入力とし， $n$ 個の実数 $(y_1\cdots,y_n)$ を出力する関数です。
• 例えば $n=3$ の場合，$(x_1,x_2,x_3)$ が入力で，$y_1=\dfrac{e^{x_1}}{e^{x_1}+e^{x_2}+e^{x_3}}$ と $y_2=\dfrac{e^{x_2}}{e^{x_1}+e^{x_2}+e^{x_3}}$ と $y_3=\dfrac{e^{x_3}}{e^{x_1}+e^{x_2}+e^{x_3}}$が出力です。
• 例えば，$x=(10,2,1)$ にソフトマックス関数をほどこすと，$y=(0.9995\cdots,0.0003\cdots,0.0001\cdots)$ となります。

確率分布の表現に使えそうですね！　この性質のおかげで，ソフトマックス関数は機械学習で使われることがあります。具体的には，分類問題に対するニューラルネットワークの最終層として使われることがあります。

性質1の証明は，ソフトマックス関数の定義から簡単にできます。$n=2$ の場合で確認してみましょう。

ソフトマックス関数は，「マックス関数」を「ソフトにしたもの」とみなせます。

• マックス関数とは？
  一番大きい成分を $1$ にして，それ以外のものを $0$ にする関数を「最大を取り出す」のでマックス関数と呼ぶことにします。

• ソフトにするとは？
  さきほどの具体例を見るとわかりやすいです。$x=(10,2,1)$ にソフトマックス関数をほどこすと，$y=(0.9995\cdots,0.0003\cdots,0.0001\cdots)$ でした。マックス関数の出力 $(1,0,0)$ をソフトにしたという感じです。実際，以下の性質が成り立ちます。

$n=2$ の場合は，

$y_1=\dfrac{e^{x_1}}{e^{x_1}+e^{x_2}}$ となります（$y_1+y_2=1$ という条件があるので，$y_2$ のことは忘れて $y_1$ だけ考えてみる）。

分母分子を $e^{x_1}$ で割ると $\dfrac{1}{1+e^{x_2-x_1}}$ となり，シグモイド関数が登場します。

ソフトマックス関数の微分は，出力 $y_i$ を使って簡潔に表せます。

つまり，

• 出力成分 $y_i$ を入力成分 $x_i$ で微分すると $y_i(1-y_i)$
• 出力成分 $y_i$ を入力成分 $x_j$ で微分すると $-y_iy_j$

証明は，商の微分公式を使って計算するだけです。