イェンセンの不等式
Contents
イェンセンの不等式
イェンセンの不等式 (英：Jensen's inequality) とは、凸関数 $f$ において次式が成り立つことを主張したもの。
\[ \sum_{i=1}^n\lambda_i f(x_i)\ge f\left(\sum_{i=1}^n\lambda_i x_i\right) \quad\left(\sum_{i=1}^n \lambda_i = 1\right) \]
イェンセンの不等式の証明：
次の不等式が成り立つと仮定する。
\[ \sum_{i=1}^n\lambda_i f(x_i)\ge f\left(\sum_{i=1}^n\lambda_i x_i\right) \quad\left(\sum_{i=1}^n \lambda_i = 1\right) \tag{1} \]
$n=1$ のとき、以下により $(1)$ は成り立つ。
\[ \begin{aligned} \sum_{i=1}^1\lambda_i f(x_i) &\ge f\left(\sum_{i=1}^1\lambda_i x_i\right) \cr \lambda_1 f(x_1) &\ge f(\lambda_1 x_1) \cr f(x_1) &\ge f(x_1) \quad \because \left(\sum_{i=1}^1 \lambda_i = \lambda_1 = 1\right) \end{aligned} \]
$n=2$ のとき、凸関数の定義が導かれ、$f$ は凸関数であるため $(1)$ が成り立つ。
\[ \begin{aligned} \sum_{i=1}^2\lambda_i f(x_i) &\ge f\left(\sum_{i=1}^2\lambda_i x_i\right) \cr \lambda_1f(x_1)+\lambda_2f(x_2) &\ge f(\lambda_1 x_1+\lambda_2 x_2) \cr \lambda_1f(x_1)+(1-\lambda_1)f(x_2) &\ge f(\lambda_1 x_1+(1-\lambda_1) x_2) \quad \because \left(\sum_{i=1}^2 \lambda_i = 1\right) \end{aligned} \]
$n=k+1$ のとき、
\[ \begin{aligned} \sum_{i=1}^{k+1}\lambda_if(x_i) &= \sum_{i=1}^k\lambda_i f(x_i) + \lambda_{k+1}f(x_{k+1}) \cr \varLambda^\prime &= \sum_{i=1}^k \lambda_i \quad \because \left(\sum_{i=1}^{k+1}\lambda_i = 1,\sum_{i=1}^{k}\lambda_i \ne 1\right) \cr \end{aligned} \tag{2} \]
$(1)$ が仮定されているため、$(2)$ から次式が得られる。
\[ \begin{aligned} \sum_{i=1}^k\lambda_i f(x_i) &= \varLambda^\prime\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime} \quad \left(\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime} = 1\right) \end{aligned} \tag{3} \]
よって $(2),(3)$ から以下が導かれ、数学的帰納法によりイェンセンの不等式が証明される。
\[ \begin{aligned} \sum_{i=1}^{k+1}\lambda_if(x_i) &= \sum_{i=1}^k\lambda_i f(x_i) + \lambda_{k+1}f(x_{k+1}) \cr &= \varLambda^\prime\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime}f(x_i) + \lambda_{k+1}f(x_{k+1}) \cr &\ge \varLambda^\prime f\left(\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime}x_i\right) + \lambda_{k+1}f(x_{k+1}) \quad \because\left(\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime} = 1\right) \cr \cr \varLambda^\prime f\left(\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime}x_i\right) + \lambda_{k+1}f(x_{k+1}) &\ge f\left(\varLambda^\prime\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime}x_i+\lambda_{k+1}x_{k+1}\right) \quad \because\left(\varLambda^\prime+\lambda_{k+1}=1\right) \cr f\left(\varLambda^\prime\sum_{i=1}^k\frac{\lambda_i}{\varLambda^\prime}x_i+\lambda_{k+1}x_{k+1}\right) &= f\left(\sum_{i=1}^k\lambda_ix_i+\lambda_{k+1}x_{k+1}\right) \cr &= f\left(\sum_{i=1}^{k+1}\lambda_ix_i\right) \cr \cr \therefore \sum_{i=1}^{k+1}\lambda_if(x_i) &\ge f\left(\sum_{i=1}^{k+1}\lambda_ix_i\right) \end{aligned} \]
関連記事