ソフトマックス関数
Contents
ソフトマックス関数
ソフトマックス関数 (英:softmax function) とは、シグモイド関数を一般化した関数。多クラス分類問題におけるニューラルネットワークの出力層によく利用される。正規化指数関数 (英:normalized exponential function) とも呼ばれる。
\[ \sigma(\boldsymbol{z})_{i} = \frac{\exp(z_{i})}{\sum_{j=1}^K\exp(z_j)} \quad (\boldsymbol{z}\in\R^K) \]
ソフトマックス関数の性質
ソフトマックス関数の定義から、ソフトマックス関数は次のような性質を持つ。そのため確率的な解釈を用いることができる。
\[ 0\le\sigma(\boldsymbol{z})_{i\in K} \le 1 \\ \sum_{i\in K}\sigma(\boldsymbol{z})_i = 1 \]
標準シグモイド関数との関係:
$K=2$ のソフトマックス関数は、$x=z_1-z_2$ とした標準シグモイド関数と式が同じに形になる。
\[ \begin{aligned} \sigma(\boldsymbol{z})_1 &= \left.\frac{\exp(z_1)}{\sum_{j=1}^K\exp(z_j)}\right|_{K=2} \cr &= \frac{\exp(z_1)}{\exp(z_1)+\exp(z_2)} \cr &= \frac{1}{1+\exp(-(z_1-z_2))} \end{aligned} \]