最小二乘法

由

$G(z)=\frac{y(k)}{u(k)}=\frac{b_1z^{-1}+b_2z^{-2}+\dots+b_nz^{-n}}{1+a_1z^{-1}+a_2z^{-2}+\dots+a_nz^{-n}}$

得

$y(k)=-\sum_{i=1}^{n}a_iy(k-i)+\sum_{i=1}^{n}b_iu(k-i)$

加上噪声得

$z(k)=-\sum_{i=1}^{n}a_i y(k-i)+\sum_{i=1}^{n}b_iu(k-i)+v(k)$

令

$\theta=[a_1 \ a_2 \ \dots \ a_n \ b_1 \ b_2 \ \dots \ b_n]^T$

$h(k)=[-y(k-1) \ -y(k-2) \ \dots \ -y(k-n) \ u(k-1) \ u(k-2) \ \dots u(k-n)]$

可得

$z(k)=h(k)\theta+v(k)$

令 $K=1，2，3，m$ 得

$Z_m=H_m\theta+V_m$

令实际值和估计值只差平方和最小

$J(\hat{\theta})=(Z_m-H_m\hat{\theta})^T(Z_m-H_m\hat{\theta})$

$\frac{\partial{J}}{\partial{\theta}}|_{\theta=\hat{\theta}}=-2H_m^T(Z_m-H_m\hat{\theta})=0$

$H_m^TH_m\hat{\theta}=H_m^TZ_m$

所以

$\hat{\theta}=(H_m^TH_m)^{-1}H_m^TZ_m$