凸関数
Contents
凸関数
ベクトル空間の関数 $f$ が次式を満たすとき、$f$ を凸関数 (英：convex function) という。
\[ f(\alpha\boldsymbol x_1+(1-\alpha)\boldsymbol x_2)\le \alpha f(\boldsymbol x_1)+(1-\alpha)f(\boldsymbol x_2) \quad (0\le \alpha\le 1) \]
凸関数 $f$ がさらに強い次式の条件を満たすとき、「$f$ は狭義に凸 (英：strictly convex) である」という。
\[ f(\alpha\boldsymbol x_1+(1-\alpha)\boldsymbol x_2)\lt \alpha f(\boldsymbol x_1)+(1-\alpha)f(\boldsymbol x_2) \quad (0\le \alpha\le 1) \]
凸関数の同値命題
一変数凸関数の場合
導関数 $\boldsymbol{f^\prime}$ が単調増加関数である：
上図から $c=\alpha x_1+(1-\alpha)x_2$ とすると、
\[ \begin{gathered} \frac{f(c)-f(x_1)}{c-x_1} \le \frac{f(x_2)-f(x_1)}{x_2-x_1} \le \frac{f(x_2)-f(c)}{x_2-c} \cr \cr \begin{aligned} \lim_{c\to x_1}\left[\frac{f(c)-f(x_1)}{c-x_1} \le \frac{f(x_2)-f(x_1)}{x_2-x_1}\right] = f^\prime(x_1)\le\frac{f(x_2)-f(x_1)}{x_2-x_1} \cr \lim_{c\to x_2}\left[\frac{f(x_2)-f(x_1)}{x_2-x_1}\le\frac{f(x_2)-f(c)}{x_2-c}\right] = \frac{f(x_2)-f(x_1)}{x_2-x_1}\le f^\prime(x_2) \cr \end{aligned} \cr \cr f^\prime(x_1) \le \frac{f(x_2)-f(x_1)}{x_2-x_1} \le f^\prime(x_2) \cr \cr \therefore x_1\le x_2\rArr f^\prime(x_1)\le f^\prime(x_2) \end{gathered} \]
二階微分係数 $\boldsymbol{f^{\prime\prime}(x)}$ が 0 以上である：
導関数 $f^\prime$ が単調増加関数でかつ微分可能である場合、単調関数の導関数による特徴付けから二階微分係数 $f^{\prime\prime}(x)$ は $0$ 以上である。
凸関数の和は凸関数
\[ \def\b{\boldsymbol} \begin{aligned} f_n(\alpha\b x_1+(1-\alpha)\b x_2) &\le \alpha f_n(\b x_1) + (1-\alpha)f_n(\b x_2) \quad (0\le\alpha\le 1) \\ \\ \sum_i^n f_i\big(\alpha\b x_1+(1-\alpha)\b x_2\big) &\le \sum_i^n\big(\alpha f_i(\b x_1)+(1-\alpha)f_i(\b x_2)\big) \\ &\qquad = \alpha\sum_i^n f_i(\b x_1)+(1-\alpha)\sum_i^n f_i(\b x_2) \\ &\qquad = \alpha g(\b x_1)+(1-\alpha)g(\b x_2) \quad \left(g = \sum_i^n f_i\right) \\ \end{aligned} \]
よって、凸関数の和は凸関数である。