確率分布

Contents

確率分布とは

確率空間 $(\varOmega,\mathcal F,\Pr)$ において標本空間 $\varOmega$ を定義域とする実関数 $X:\varOmega\to\R$ を $\varOmega$ 上の確率変数 (英：random variable) と呼ぶ。また確率変数の値域が可算であることを離散型 (英：discrete) 、値域が連続であることを連続型 (英：continuous) と呼ぶ。 $X$ の値に、その値をとる確率を対応させたものを確率分布 (英：probability distribution) という。 $X$ は次式で表される。

$\forall x\in\R~(\lbrace\omega\in\varOmega\mid X(\omega)\le x\rbrace\in\mathcal F) \quad (x\in\mathcal B(\R))$

累積分布関数

確率変数 $X$ が $x$ 以下になる確率を求める関数 $F_X:\R\to[0,1]$ を累積分布関数 (英：cumulative distribution function, CDF) という。下側確率 (英：lower-tail probability) とも呼ばれる。

$\begin{aligned} F_X(x) &= \Pr(X\le x) \cr &= \Pr(\lbrace\omega\in\varOmega\mid X(\omega)\le x\rbrace) \end{aligned}$

累積分布関数は、以下の性質を持っている。

$\begin{aligned} \text{(C1)} &: \lim_{x\to-\infty} F_X(x) = 0 \cr \text{(C2)} &: \lim_{x\to+\infty} F_X(x) = 1 \cr \text{(C3)} &: x\le y\rArr F_X(x)\le F_X(y) \cr[1ex] \text{(C4)} &: P(a\lt X\le b) = F_X(b) - F_X(a) \end{aligned}$

相補累積分布関数

相補累積分布関数 (英：complementary cumulative distribution function, CCDF) とは、確率変数 $X$ が $x$ より大きくなる確率を求める関数 $\bar{F}_X：\R\to[0,1]$ のこと。上側確率 (英：upper-tail probability) とも呼ばれる。

$\begin{aligned} \bar{F}_X(x) &= \Pr(X\gt x) \cr &= 1 - F_X(x) \end{aligned}$

確率質量関数

確率分布が離散型であり、確率変数の値 $x$ に対応させる非負関数 $P_X$ が存在するとき、 $P_X$ を確率質量関数 (英：probability mass function, PMF) という。

$\begin{aligned} F_X(x) &= \sum_{x_i\le x}P_X(x_i) \cr &= \sum_{x_i\le x}\Pr(X=x_i) \end{aligned}$

確率密度関数

確率分布が連続型であり、次式を満たす非負関数 $p_X$ が存在するとき、 $p_X$ を確率密度関数 (英：probability density function, PDF) という。

$\begin{aligned} F_X(x) &= \int_{-\infty}^x p_X(u)~du \cr &= \Pr(X\le x) \end{aligned}$

また、もし $F_X$ が微分可能であれば、さらに次式が成り立つ。

$p_X(x) = \frac{d}{dx}F_X(x)$

規格化条件

確率質量関数および確率密度関数は、確率測度の定義から次式を条件を満たさなければならない。この条件を規格化条件 (英：normalization condition) という。

$\begin{cases} \displaystyle\sum_x P(x) = 1 & \cdots\text{PMF} \\ \displaystyle\int_{-\infty}^\infty p(x)~dx = 1 &\cdots\text{PDF} \\ \end{cases}$

またある関数 $\varphi$ が規格化条件を満たさないとき、定数 $c$ を掛け合わせて条件を満たそうとすることがある。この操作は規格化 (英：normalization) と呼ばれ、 $c$ を規格化定数 (英：normalizing constant) と呼ぶ。

$\begin{gathered} \begin{cases} \displaystyle\sum_x c\varphi(x) = 1 & \text{if }\varphi\text{ is discrete function} \\ \displaystyle\int_{-\infty}^\infty c\varphi(x)~dx = 1 & \text{if }\varphi\text{ is continuous function} \\ \end{cases}　\\ \\ c:\text{normalizing constant} \end{gathered}$