blue271828's misc :-)

凸関数

#初等数学

Contents

凸関数

ベクトル空間の関数 ff が次式を満たすとき、ff を凸関数 (英：convex function) という。

f(αx1+(1−α)x2)≤αf(x1)+(1−α)f(x2)(0≤α≤1) f(\alpha\boldsymbol x_1+(1-\alpha)\boldsymbol x_2)\le \alpha f(\boldsymbol x_1)+(1-\alpha)f(\boldsymbol x_2) \quad (0\le \alpha\le 1)

凸関数 ff がさらに強い次式の条件を満たすとき、「ff は狭義に凸 (英：strictly convex) である」という。

f(αx1+(1−α)x2)<αf(x1)+(1−α)f(x2)(0≤α≤1) f(\alpha\boldsymbol x_1+(1-\alpha)\boldsymbol x_2)\lt \alpha f(\boldsymbol x_1)+(1-\alpha)f(\boldsymbol x_2) \quad (0\le \alpha\le 1)

凸関数の同値命題

一変数凸関数の場合

導関数 f′\boldsymbol{f^\prime} が単調増加関数である：

convex-function

上図から c=αx1+(1−α)x2c=\alpha x_1+(1-\alpha)x_2 とすると、

f(c)−f(x1)c−x1≤f(x2)−f(x1)x2−x1≤f(x2)−f(c)x2−clim⁡c→x1[f(c)−f(x1)c−x1≤f(x2)−f(x1)x2−x1]=f′(x1)≤f(x2)−f(x1)x2−x1lim⁡c→x2[f(x2)−f(x1)x2−x1≤f(x2)−f(c)x2−c]=f(x2)−f(x1)x2−x1≤f′(x2)f′(x1)≤f(x2)−f(x1)x2−x1≤f′(x2)∴x1≤x2⇒f′(x1)≤f′(x2) \begin{gathered} \frac{f(c)-f(x_1)}{c-x_1} \le \frac{f(x_2)-f(x_1)}{x_2-x_1} \le \frac{f(x_2)-f(c)}{x_2-c} \cr \cr \begin{aligned} \lim_{c\to x_1}\left[\frac{f(c)-f(x_1)}{c-x_1} \le \frac{f(x_2)-f(x_1)}{x_2-x_1}\right] = f^\prime(x_1)\le\frac{f(x_2)-f(x_1)}{x_2-x_1} \cr \lim_{c\to x_2}\left[\frac{f(x_2)-f(x_1)}{x_2-x_1}\le\frac{f(x_2)-f(c)}{x_2-c}\right] = \frac{f(x_2)-f(x_1)}{x_2-x_1}\le f^\prime(x_2) \cr \end{aligned} \cr \cr f^\prime(x_1) \le \frac{f(x_2)-f(x_1)}{x_2-x_1} \le f^\prime(x_2) \cr \cr \therefore x_1\le x_2\rArr f^\prime(x_1)\le f^\prime(x_2) \end{gathered}


二階微分係数 f′′(x)\boldsymbol{f^{\prime\prime}(x)} が 0 以上である：

導関数 f′f^\prime が単調増加関数でかつ微分可能である場合、単調関数の導関数による特徴付けから二階微分係数 f′′(x)f^{\prime\prime}(x) は 00 以上である。

凸関数の和は凸関数

fn(αx1+(1−α)x2)≤αfn(x1)+(1−α)fn(x2)(0≤α≤1)∑infi(αx1+(1−α)x2)≤∑in(αfi(x1)+(1−α)fi(x2))=α∑infi(x1)+(1−α)∑infi(x2)=αg(x1)+(1−α)g(x2)(g=∑infi) \def\b{\boldsymbol} \begin{aligned} f_n(\alpha\b x_1+(1-\alpha)\b x_2) &\le \alpha f_n(\b x_1) + (1-\alpha)f_n(\b x_2) \quad (0\le\alpha\le 1) \\ \\ \sum_i^n f_i\big(\alpha\b x_1+(1-\alpha)\b x_2\big) &\le \sum_i^n\big(\alpha f_i(\b x_1)+(1-\alpha)f_i(\b x_2)\big) \\ &\qquad = \alpha\sum_i^n f_i(\b x_1)+(1-\alpha)\sum_i^n f_i(\b x_2) \\ &\qquad = \alpha g(\b x_1)+(1-\alpha)g(\b x_2) \quad \left(g = \sum_i^n f_i\right) \\ \end{aligned}

よって、凸関数の和は凸関数である。

関連記事

Tags

#Ansible (3) #Bash (1) #Docker (1) #Git (2) #Hugo (2) #Molecule (1) #Python (1) #WSLtty (1) #アルゴリズム (4) #ビジネス用語 (1) #プログラミング (1) #位相空間論 (8) #初等数学 (20) #初等関数 (1) #実解析 (1) #幾何学 (3) #微分積分学 (18) #情報理論 (4) #抽象代数学 (14) #数理モデル (2) #数理論理学 (21) #機械学習 (3) #正規表現 (1) #測度論 (3) #特殊関数 (4) #確率論 (18) #組合せ論 (5) #統計学 (12) #線型代数学 (18) #複素解析学 (4) #解析学 (15) #論理学 (6) #順序集合論 (9)