多项式函数类总结

大家好，欢迎来到IT知识分享网。

多项式函数

多项式函数类就是由多项式所构成的函数。对于一元函数来说，用一元多项式逼近的常见表达式为：
$$f(x)=a_0+a_1(x-x_0)+a_2(x-x_0{)}^2+a_3(x-x_0{)}^3+\cdots +a_n(x-x_0{)}^n+\cdots$$

其中根据维尔斯特拉斯定理和泰勒定理，我们可以得到$a_n$的表达式：
$$a_n=\frac{f^{(n)}(x_0)}{n!},n=0,1,2,\cdots ,n,\cdots$$

然而实际情况中，我们并不一定能知道$f(x)$的函数形状，所以也就无法求出$f(x)$的导数。前面的估计也就无法实施。这时候就需要使用最小二乘估计去估计模型的参数。以多元多项式函数为例：
对于多元函数，多元函数多项式为：
$$f(x|\theta )=a_0+a_1{x}_1+a_2{x}_2+\cdots +a_n{x}_n+a_{11}{x}_1^2+a_{12}{x}_1{x}_2+\cdots +a_{nn}{x}_n^2$$

其中函数参数包括$a_0,a_1,\cdots ,a_n,a_{11},\cdots ,a_{nn}$。此时我们使用最小化估计误差的方法来求出上述参数。此时，函数$f(x)$的估计表达式用向量乘法可以表示为：
$$f(x)=[a_0,a_1,\cdots ,a_n,a_{11},\cdots ,a_{nn}]\ast [1,x_1,\cdots ,x_n,x_1{x}_1,\cdots ,x_n{x}_n{]}^T$$

记前面的参数行向量为$\Theta$，后面的观测列向量为$\psi (x)$。那么就有：
$f(x)=\Theta \ast \psi (x)$

此时对于$m$个样本的估计误差为，其中$X_i$为第$i$个样本所对应的$[x_1,x_2,\cdots ,x_n]$，$Y_i$为第$i$个样本的实际值：
$$Error=\sum _{i=1}^m{[Y_i-f(X_i)]}^2=[Y-\Theta \ast \psi (X)]\ast [Y-\Theta \ast \psi (X){]}^T$$

其中$Y=[Y_1,Y_2,\cdots ,Y_m]$，$\psi (X)=[\psi (X_1),\psi (X_2),\cdots ,\psi (X_m)]$。然后我们的目标是最小化估计误差也就是最小化$Error$，所以用$Error$对$\Theta$求导。同时根据矩阵与向量之间的相合性。
$$\frac{\partial Error}{\partial \Theta }=[Y-\Theta \ast \psi (X)]\ast \psi (X{)}^T+\frac{\partial [Y-\Theta \ast \psi (X)]}{\partial \Theta }\ast [Y-\Theta \ast \psi (X){]}^T$$

$$\frac{\partial Error}{\partial \Theta }=2[Y-\Theta \ast \psi (X)]\ast \psi (X{)}^T$$

令$\frac{\partial Error}{\partial \Theta }=0$，可以得到：
$$Y\ast \psi (X{)}^T-\Theta \ast \psi (X)\ast \psi (X{)}^T=0$$

其中为了方便，$x_0=0$，则近似函数为：
$$f(x)=0+\frac{1}{1!}x+\frac{0}{2!}{x}^2$$

代码如下所示：

import numpy as np import matplotlib.pyplot as plt if __name__=='__main__': ''' 利用多项式函数仿真sin(x)函数，由于sin函数具有特殊的导数特性 sin -> cos -> -sin -> -cos -> sin 0 -> 1 -> 0 -> -1 -> 0 ''' x=np.linspace(-10,10,1001) sum=np.linspace(0,0,1001) l=[0,1,0,-1] temp=1 for k in range(3): if k !=0: temp=temp*k sum=sum+l[k%4]/temp*(xk) ll=np.linspace(-5,5,501) plt.plot(ll,np.sin(ll),label='orign') plt.plot(x,sum,label='simul') plt.legend() plt.show() 

代码如下：

import numpy as np import matplotlib.pyplot as plt if __name__=='__main__': ''' 利用多项式函数仿真sin(x)函数，由于sin函数具有特殊的导数特性 sin -> cos -> -sin -> -cos -> sin 0 -> 1 -> 0 -> -1 -> 0 ''' x=np.linspace(-10,10,1001) sum=np.linspace(0,0,1001) l=[0,1,0,-1] temp=1 for k in range(6): if k !=0: temp=temp*k sum=sum+l[k%4]/temp*(xk) ll=np.linspace(-5,5,501) plt.plot(ll,np.sin(ll),label='orign') plt.plot(x,sum,label='simul') plt.legend() plt.show() 

import numpy as np import matplotlib.pyplot as plt if __name__=='__main__': ''' 利用多项式函数仿真sin(x)函数，由于sin函数具有特殊的导数特性 sin -> cos -> -sin -> -cos -> sin 0 -> 1 -> 0 -> -1 -> 0 ''' x=np.linspace(-5.1,5.1,511) sum=np.linspace(0,0,511) l=[0,1,0,-1] temp=1 for k in range(6): if k !=0: temp=temp*k sum=sum+l[k%4]/temp*(xk) ll=np.linspace(-5,5,501) plt.plot(ll,np.sin(ll),label='orign') plt.plot(x,sum,label='simul') plt.legend() plt.show() 

用连续函数进行逼近与用阶跃函数进行逼近最大的区别就是：用连续函数逼近不用划分区间。因为用阶跃函数逼近函数时，是通过划分区间后的窗口函数进行逼近的，而连续函数逼近则是从定义上进行逼近的。比如多项式函数就是所有单项式加起来的函数去逼近一个函数。而三角函数就是所有的三角函数加起来去逼近一个函数，至于一元和多元的区别，接下来进行分析。

一元单项式的样子为：$a_n(x_1-x_{10}{)}^n,n=Z$
一元多项式就是所有的一元单项式加起来：
$$\sum _{n=0}^{+\infty }{a}_n(x_1-x_{10}{)}^n$$

我们截取$n_1+n_2\le 1$的所有项作为近似，也就是：
$$a_{00}+a_{10}(x_1-x_{10})+a_{01}(x_2-x_{20})$$

从中可以看出有三个未定参数$a_{00},a_{01},a_{10}$。可以用$\omega x+b$表示上述方程。
如果取：$n_1+n_2\le 2$那么就有：
$$a_{00}+a_{10}(x_1-x_{10})+a_{01}(x_2-x_{20})+a_{11}(x_1-x_{10})(x_2-x_{20})$$

有四个未知参数。