blue271828's misc :-)

正規方程式

#線型代数学

Contents

正規方程式

連立一次方程式 (線型方程式) Ax=bA\boldsymbol x=\boldsymbol b が与えられ、A,bA,\boldsymbol b が明らかであるとする。A⊤AA^\top A が正則であるならば、Ax=bA\boldsymbol x=\boldsymbol b を次式に変形することができ、これを正規方程式 (英：normal equation) と呼ぶ。

A⊤Ax=A⊤bAx=[a11⋯a1n⋮⋱⋮an1⋯ann][x1⋮xn]b=[b1⋮bn] \def\b{\boldsymbol} \begin{gathered} A^\top A\b x = A^\top\b b \\ \\ \begin{aligned} A\b x &= \begin{bmatrix} a_{11} & \cdots & a_{1n} \\ \vdots & \ddots & \vdots \\ a_{n1} & \cdots & a_{nn} \\ \end{bmatrix} \begin{bmatrix} x_1 \\ \vdots \\ x_n \\ \end{bmatrix} \\ \b b &= \begin{bmatrix} b_1 \\ \vdots \\ b_n \end{bmatrix} \end{aligned} \end{gathered}

正規方程式の解

A⊤AA^\top A が正則であるため、正規方程式は次式のように変形できる。よって (A⊤A)−1A⊤b(A^{\top} A)^{-1} A^{\top}\boldsymbol{b} から、正規方程式の解 x\boldsymbol x を得ることができる。

A⊤Ax=A⊤b(A⊤A)−1A⊤Ax=(A⊤A)−1A⊤b⇓x=(A⊤A)−1A⊤b \def\b{\boldsymbol} \begin{gathered} A^\top A\b x = A^\top\b b \\ (A^\top A)^{-1}A^\top A\b x = (A^\top A)^{-1}A^\top\b b \\ \Downarrow \\ \b x = (A^\top A)^{-1}A^\top\b b \\ \end{gathered}

関連記事

Tags

#Ansible (3) #Bash (1) #Docker (1) #Git (2) #Hugo (2) #Molecule (1) #Python (1) #WSLtty (1) #アルゴリズム (4) #ビジネス用語 (1) #プログラミング (1) #位相空間論 (8) #初等数学 (20) #初等関数 (1) #実解析 (1) #幾何学 (3) #微分積分学 (18) #情報理論 (4) #抽象代数学 (14) #数理モデル (2) #数理論理学 (21) #機械学習 (3) #正規表現 (1) #測度論 (3) #特殊関数 (4) #確率論 (18) #組合せ論 (5) #統計学 (12) #線型代数学 (18) #複素解析学 (4) #解析学 (15) #論理学 (6) #順序集合論 (9)