blue271828's misc :-)

情報量

#情報理論 #統計学

Contents

情報量とは

情報量 (英：information content) とは、ある事象が起きた際に、それがどれだけ起こりにくいかを表す尺度のこと。自己情報量 (英：self-information) とも呼ばれる。確率空間 (Ω,F,P)(\Omega,\mathcal F,P) において、ある事象 E∈FE\in\mathcal F が発生する確率を P(E)P(E) とすると、EE が発生した際に得られる情報量 IP(E)I_P(E) は次式で表される。

IP(E):=−log⁡P(E) I_P(E) := -\log P(E)

情報量の加法性

E1E_1 と E2E_2 が独立な事象の場合、「E1E_1 も E2E_2 も起こる」事象 EE の情報量 IP(E)I_P(E) は、E1E_1 の情報量 IP(E1)I_P(E_1)と E2E_2 の情報量 IP(E2)I_P(E_2) の和となる。

IP(E)=IP(E1)+IP(E2) I_P(E) = I_P(E_1) + I_P(E_2)

情報量の加法性の証明：

IP(E)=−log⁡(P(E1)P(E2))=−log⁡P(E1)−log⁡P(E2)=IP(E1)+IP(E2)∴IP(E)=IP(E1)+IP(E2) \begin{aligned} I_P(E) &= -\log{(P(E_1)P(E_2))} \cr &= -\log{P(E_1)} -\log{P(E_2)} \cr &= I_P(E_1) + I_P(E_2) \cr \cr \therefore I_P(E) &= I_P(E_1) + I_P(E_2) \end{aligned}

情報エントロピー

確率空間 (Ω,F,P)(\Omega,\mathcal F,P) が与えられたとき、各事象 E∈FE\in\mathcal F の情報量 IP(E)I_P(E) の期待値 H(P,P)H(P,P) を PP の情報エントロピー (英：information entropy) 、もしくはシャノンエントロピー (英：Shannon entropy) と呼ぶ。

H(P,P)=∑E∈ΩP(E)IP(E)=−∑E∈ΩP(E)log⁡P(E) \begin{aligned} H(P,P) &= \sum_{E\in\Omega}{P(E)I_P(E)} \cr &= -\sum_{E\in\Omega}P(E)\log P(E) \end{aligned} 

# Python3
import numpy as np

def information_entropy(E, P, base=2):
    return -sum(P(E)*(np.log(P(E))/np.log(base)))

関連記事

参考文献

統計学入門 (基礎統計学Ⅰ)
統計学入門 (基礎統計学Ⅰ)
posted with amazlet at 19.09.30

東京大学出版会
売り上げランキング: 3,194
Amazon.co.jpで詳細を見る

Tags

#Ansible (3) #Bash (1) #Docker (1) #Git (2) #Hugo (2) #Molecule (1) #Python (1) #WSLtty (1) #アルゴリズム (4) #ビジネス用語 (1) #プログラミング (1) #位相空間論 (8) #初等数学 (20) #初等関数 (1) #実解析 (1) #幾何学 (3) #微分積分学 (18) #情報理論 (4) #抽象代数学 (14) #数理モデル (2) #数理論理学 (21) #機械学習 (3) #正規表現 (1) #測度論 (3) #特殊関数 (4) #確率論 (18) #組合せ論 (5) #統計学 (12) #線型代数学 (18) #複素解析学 (4) #解析学 (15) #論理学 (6) #順序集合論 (9)