blue271828's misc :-)

交差エントロピー

#情報理論 #機械学習

Contents

交差エントロピー

交差エントロピー (英：cross entropy) とは、二つの確率分布 $p,q$ の間に定義される尺度であり、$q$ に応じた情報量の表現を使って、$p$ の情報エントロピーを表そうとした場合の期待値を表す。KL情報量が非負であることから、$p=q$ となる時に最も小さくなる。

\[ \begin{aligned} H(p,q) &= H(p,p) + D_\text{KL}(p\parallel q) \cr &= \sum_i p_i(-\log q_i) \cr \end{aligned} \]

関連記事

参考文献

Tags

#Ansible (3) #Bash (1) #Docker (1) #Git (2) #Hugo (2) #Molecule (1) #Python (1) #WSLtty (1) #アルゴリズム (4) #ビジネス用語 (1) #プログラミング (1) #位相空間論 (8) #初等数学 (20) #初等関数 (1) #実解析 (1) #幾何学 (3) #微分積分学 (18) #情報理論 (4) #抽象代数学 (14) #数理モデル (2) #数理論理学 (21) #機械学習 (3) #正規表現 (1) #測度論 (3) #特殊関数 (4) #確率論 (18) #組合せ論 (5) #統計学 (12) #線型代数学 (18) #複素解析学 (4) #解析学 (15) #論理学 (6) #順序集合論 (9)