blue271828's misc :-)

ソフトマックス関数

#特殊関数 #機械学習

Contents

ソフトマックス関数

ソフトマックス関数 (英：softmax function) とは、シグモイド関数を一般化した関数。多クラス分類問題におけるニューラルネットワークの出力層によく利用される。正規化指数関数 (英：normalized exponential function) とも呼ばれる。

σ(z)i=exp⁡(zi)∑j=1Kexp⁡(zj)(z∈RK) \sigma(\boldsymbol{z})_{i} = \frac{\exp(z_{i})}{\sum_{j=1}^K\exp(z_j)} \quad (\boldsymbol{z}\in\R^K)

ソフトマックス関数の性質

ソフトマックス関数の定義から、ソフトマックス関数は次のような性質を持つ。そのため確率的な解釈を用いることができる。

0≤σ(z)i∈K≤1∑i∈Kσ(z)i=1 0\le\sigma(\boldsymbol{z})_{i\in K} \le 1 \\ \sum_{i\in K}\sigma(\boldsymbol{z})_i = 1

標準シグモイド関数との関係：

K=2K=2 のソフトマックス関数は、x=z1−z2x=z_1-z_2 とした標準シグモイド関数と式が同じに形になる。

σ(z)1=exp⁡(z1)∑j=1Kexp⁡(zj)∣K=2=exp⁡(z1)exp⁡(z1)+exp⁡(z2)=11+exp⁡(−(z1−z2)) \begin{aligned} \sigma(\boldsymbol{z})_1 &= \left.\frac{\exp(z_1)}{\sum_{j=1}^K\exp(z_j)}\right|_{K=2} \cr &= \frac{\exp(z_1)}{\exp(z_1)+\exp(z_2)} \cr &= \frac{1}{1+\exp(-(z_1-z_2))} \end{aligned}

関連記事

参考文献

Tags

#Ansible (3) #Bash (1) #Docker (1) #Git (2) #Hugo (2) #Molecule (1) #Python (1) #WSLtty (1) #アルゴリズム (4) #ビジネス用語 (1) #プログラミング (1) #位相空間論 (8) #初等数学 (20) #初等関数 (1) #実解析 (1) #幾何学 (3) #微分積分学 (18) #情報理論 (4) #抽象代数学 (14) #数理モデル (2) #数理論理学 (21) #機械学習 (3) #正規表現 (1) #測度論 (3) #特殊関数 (4) #確率論 (18) #組合せ論 (5) #統計学 (12) #線型代数学 (18) #複素解析学 (4) #解析学 (15) #論理学 (6) #順序集合論 (9)