blue271828's misc :-)

相互情報量

#情報理論

Contents

相互情報量

相互情報量 (英：mutual information) とは、一方の事象を知ることでもう一方の事象の情報がどれだけ得られるかを表す量のこと。

\[ I(X;Y) := \sum_{x\in X}\sum_{y\in Y}\Pr(x,y)\lg\frac{\Pr(x,y)}{\Pr(x)\Pr(y)} \]

二つの事象が独立な場合：

二つの事象が独立である場合、その相互情報量は $0$ となる。これは一方の事象を知ったところで、他の事象の情報が一切得られないことを意味する。

\[ \begin{aligned} I(X;Y) &= \sum_{x\in X}\sum_{y\in Y}\Pr(x,y)\lg\frac{\Pr(x)\Pr(y)}{\Pr(x)\Pr(y)} \cr &= \sum_{x\in X}\sum_{y\in Y}\Pr(x,y)\lg 1 \cr &= 0 \end{aligned} \]

関連記事

参考文献

Tags

#Ansible (3) #Bash (1) #Docker (1) #Git (2) #Hugo (2) #Molecule (1) #Python (1) #WSLtty (1) #アルゴリズム (4) #ビジネス用語 (1) #プログラミング (1) #位相空間論 (8) #初等数学 (20) #初等関数 (1) #実解析 (1) #幾何学 (3) #微分積分学 (18) #情報理論 (4) #抽象代数学 (14) #数理モデル (2) #数理論理学 (21) #機械学習 (3) #正規表現 (1) #測度論 (3) #特殊関数 (4) #確率論 (18) #組合せ論 (5) #統計学 (12) #線型代数学 (18) #複素解析学 (4) #解析学 (15) #論理学 (6) #順序集合論 (9)