blue271828's misc :-)

ソフトマックス関数

ソフトマックス関数

ソフトマックス関数 (英:softmax function) とは、シグモイド関数を一般化した関数。多クラス分類問題におけるニューラルネットワークの出力層によく利用される。正規化指数関数 (英:normalized exponential function) とも呼ばれる。

\[ \sigma(\boldsymbol{z})_{i} = \frac{\exp(z_{i})}{\sum_{j=1}^K\exp(z_j)} \quad (\boldsymbol{z}\in\R^K) \]

ソフトマックス関数の性質

ソフトマックス関数の定義から、ソフトマックス関数は次のような性質を持つ。そのため確率的な解釈を用いることができる。

\[ 0\le\sigma(\boldsymbol{z})_{i\in K} \le 1 \\ \sum_{i\in K}\sigma(\boldsymbol{z})_i = 1 \]

標準シグモイド関数との関係:

$K=2$ のソフトマックス関数は、$x=z_1-z_2$ とした標準シグモイド関数と式が同じに形になる。

\[ \begin{aligned} \sigma(\boldsymbol{z})_1 &= \left.\frac{\exp(z_1)}{\sum_{j=1}^K\exp(z_j)}\right|_{K=2} \cr &= \frac{\exp(z_1)}{\exp(z_1)+\exp(z_2)} \cr &= \frac{1}{1+\exp(-(z_1-z_2))} \end{aligned} \]

関連記事

参考文献

Tags

#Ansible (3) #Bash (1) #Docker (1) #Git (2) #Hugo (2) #Molecule (1) #Python (1) #WSLtty (1) #アルゴリズム (4) #ビジネス用語 (1) #プログラミング (1) #位相空間論 (8) #初等数学 (20) #初等関数 (1) #実解析 (1) #幾何学 (3) #微分積分学 (18) #情報理論 (4) #抽象代数学 (14) #数理モデル (2) #数理論理学 (21) #機械学習 (3) #正規表現 (1) #測度論 (3) #特殊関数 (4) #確率論 (18) #組合せ論 (5) #統計学 (12) #線型代数学 (18) #複素解析学 (4) #解析学 (15) #論理学 (6) #順序集合論 (9)