2016/07/10

ランプ関数(正規化線形関数)

分野: いろんな関数  レベル: 大学数学

$f(x)=\begin{cases}x&x\geq 0\\0&x< 0\end{cases}$
で表される関数をランプ関数と言う。

ランプ関数は、正規化線形関数、Rectified Linear Function などとも呼ばれます(名前は仰々しいですが、非常に単純な関数です)。

グラフと他の表現

ランプ関数のグラフ

グラフは図のようになります。

$f(x)=\max (0,x)$ と表現することもできます($\max (a,b)$ は $a$ と $b$ のうち大きい方(厳密には小さくない方)を返す関数です)。

また、絶対値を使えば、$f(x)=\dfrac{x+|x|}{2}$ と表現することもできます。

ランプ関数の微分

$x>0$ では $f'(x)=1$
$x=0$ で微分不可能
$x<0$ では $f'(x)=0$
となります。

ランプ関数の導関数

$y=f'(x)$ のグラフは図のようになります。

シグモイド関数の意味と簡単な性質でも登場した単位ステップ関数みたいな感じです(ただし、$x=0$ では $f'(x)$ は定義されない、正確にはヘビサイドの階段関数と言う)。

ラプラス変換

ここから高校数学範囲外です。

ランプ関数をラプラス変換すると、$F(s)=\dfrac{1}{s^2}$ となる。

導出

ラプラス変換の定義に従って計算するのみ:
$F(s)=\displaystyle\int_{0}^{\infty}f(t)e^{-st}dt\\
=\displaystyle\int_0^{\infty}te^{-st}dt\\
=\left[t\dfrac{e^{-st}}{(-s)}\right]_0^{\infty}+\displaystyle\int_0^{\infty}\dfrac{e^{-st}}{s}dt\\
=\left[\dfrac{e^{-st}}{-s^2}\right]_0^{\infty}\\
=\dfrac{1}{s^2}$

(僕も詳しくは知りませんが)ニューラルネットワークの活性化関数によく使われる関数です。
分野: いろんな関数  レベル: 大学数学