イェンセンの不等式

イェンセンの不等式 (英：Jensen's inequality) とは、凸関数 $f$ において次式が成り立つことを主張したもの。

$\sum_{i=1}^n\lambda_i f(x_i)\ge f\left(\sum_{i=1}^n\lambda_i x_i\right) \quad\left(\sum_{i=1}^n \lambda_i = 1\right)$

イェンセンの不等式の証明：

次の不等式が成り立つと仮定する。

$\sum_{i=1}^n\lambda_i f(x_i)\ge f\left(\sum_{i=1}^n\lambda_i x_i\right) \quad\left(\sum_{i=1}^n \lambda_i = 1\right) \tag{1}$

$n=1$ のとき、以下により $(1)$ は成り立つ。

$\begin{aligned} \sum_{i=1}^1\lambda_i f(x_i) &\ge f\left(\sum_{i=1}^1\lambda_i x_i\right) \cr \lambda_1 f(x_1) &\ge f(\lambda_1 x_1) \cr f(x_1) &\ge f(x_1) \quad \because \left(\sum_{i=1}^1 \lambda_i = \lambda_1 = 1\right) \end{aligned}$

$n=2$ のとき、凸関数の定義が導かれ、$f$ は凸関数であるため $(1)$ が成り立つ。

$\begin{aligned} \sum_{i=1}^2\lambda_i f(x_i) &\ge f\left(\sum_{i=1}^2\lambda_i x_i\right) \cr \lambda_1f(x_1)+\lambda_2f(x_2) &\ge f(\lambda_1 x_1+\lambda_2 x_2) \cr \lambda_1f(x_1)+(1-\lambda_1)f(x_2) &\ge f(\lambda_1 x_1+(1-\lambda_1) x_2) \quad \because \left(\sum_{i=1}^2 \lambda_i = 1\right) \end{aligned}$

$n=k+1$ のとき、

$\begin{aligned} \sum_{i=1}^{k+1}\lambda_if(x_i) &= \sum_{i=1}^k\lambda_i f(x_i) + \lambda_{k+1}f(x_{k+1}) \cr \varLambda^\prime &= \sum_{i=1}^k \lambda_i \quad \because \left(\sum_{i=1}^{k+1}\lambda_i = 1,\sum_{i=1}^{k}\lambda_i \ne 1\right) \cr \end{aligned} \tag{2}$

$(1)$ が仮定されているため、$(2)$ から次式が得られる。

$\begin{aligned} \sum_{i=1}^k\lambda_i f(x_i) &= \varLambda^\prime\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime} \quad \left(\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime} = 1\right) \end{aligned} \tag{3}$

よって $(2),(3)$ から以下が導かれ、数学的帰納法によりイェンセンの不等式が証明される。

$\begin{aligned} \sum_{i=1}^{k+1}\lambda_if(x_i) &= \sum_{i=1}^k\lambda_i f(x_i) + \lambda_{k+1}f(x_{k+1}) \cr &= \varLambda^\prime\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime}f(x_i) + \lambda_{k+1}f(x_{k+1}) \cr &\ge \varLambda^\prime f\left(\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime}x_i\right) + \lambda_{k+1}f(x_{k+1}) \quad \because\left(\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime} = 1\right) \cr \cr \varLambda^\prime f\left(\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime}x_i\right) + \lambda_{k+1}f(x_{k+1}) &\ge f\left(\varLambda^\prime\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime}x_i+\lambda_{k+1}x_{k+1}\right) \quad \because\left(\varLambda^\prime+\lambda_{k+1}=1\right) \cr f\left(\varLambda^\prime\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime}x_i+\lambda_{k+1}x_{k+1}\right) &= f\left(\sum_{i=1}^k\lambda_ix_i+\lambda_{k+1}x_{k+1}\right) \cr &= f\left(\sum_{i=1}^{k+1}\lambda_ix_i\right) \cr \cr \therefore \sum_{i=1}^{k+1}\lambda_if(x_i) &\ge f\left(\sum_{i=1}^{k+1}\lambda_ix_i\right) \end{aligned}$

関連記事

• 凸関数

参考文献

• イェンセンの不等式 - Wikipedia