数据拟合基本方法

大家好，欢迎来到IT知识分享网。

问题描述

在平面内给定n个点 {Pi=(xi, yi)}, i = [1, n]。

分别使用多项式插值, 拉格朗日插值, 高斯基函数插值, 最小二乘多项式(最多m次方)逼近, 最小二乘多项式(最多m次方)岭回归逼近来拟合函数f(x)

多项式插值

$设多项式f(x)=\sum _{i=0}^{n-1}{a}_i{x}^i$

对于n个点就有n个方程

$\{\begin{array}{l}{y}_1=a_0+a_1{x}_1+a_2{x}_1^2+\dots +a_{n-1}{x}_1^{n-1}\\ y_2=a_0+a_1{x}_2+a_2{x}_2^2+\dots +a_{n-1}{x}_2^{n-1}\\ \dots \\ y_n=a_0+a_1{x}_n+a_2{x}_n^2+\dots +a_{n-1}{x}_n^{n-1}\end{array}$

求解方程组Ba=Y, 即可得到a向量,

拉格朗日插值

$f(x)=\sum _{k=0}^{n-1}{y}_k{l}_k(x)$

$上式中l_k(x)=\prod _{j=0,j\ne k}^{n-1}\frac{x-x_j}{x_i-x_j}$

拉格朗日插值结果与多项式插值法得出的曲线是相同, 计算量比直接解方程少.

牛顿插值也有相同的功能.

高斯基函数插值

$设f(x)=a_0+\sum _{i=1}^n{a}_i{g}_i(x)$

$g_i(x)=e^{-\frac{(x-x_i{)}^2}{2{\sigma }^2}},\sigma 为用户给定参数$

$a=\left[\begin{array}{c}{a}_0\\ a_1\\ a_2\\ \dots \\ a_n\end{array}\right]为未知数$

点代入f(x)

得到方程组

$\{\begin{array}{l}{y}_1=a_0+a_1{g}_1(x_1)+a_2{g}_2(x_1)+\dots +a_n{g}_n(x_1)\\ y_2=a_0+a_1{g}_1(x_2)+a_2{g}_2(x_2)+\dots +a_n{g}_n(x_2)\\ \dots \\ y_n=a_0+a_1{g}_1(x_n)+a_2{g}_2(x_n)+\dots +a_n{g}_n(x_n)\end{array}$

上面只有n条方程, 有n+1个未知数, 我们加入一条构造方程

$f(\frac{x_1+x_2}{2})=\frac{y_1+y_2}{2}$

求解方程组即可得到a向量.

最小二乘多项式逼近

在多项式插值中, 随着点数增多,曲线阶会升高, 阶数过高时会带来不稳定因素。

我们可以通过固定幂基函数来作拟合逼近。

$设f(x)={\sum }_{i=0}^m{a}_i{x}_i,m<n$

构建方程组

$\{\begin{array}{l}{y}_1=a_0+a_1{x}_1+a_2{x}_1^2+\dots +a_m{x}_1^m\\ y_2=a_0+a_1{x}_2+a_2{x}_2^2+\dots +a_m{x}_2^m\\ \dots \\ y_n=a_0+a_1{x}_n+a_2{x}_n^2+\dots +a_m{x}_n^m\end{array}$

上述方程数多于未知数，可以利用最小二乘来得到最优解。

$Y=\left[\begin{array}{c}{y}_1\\ y_2\\ \dots \\ y_n\end{array}\right]$

$B=\left[\begin{array}{ccccc}1& x_1& x_1^2& \dots & x_1^m\\ 1& x_2& x_2^2& \dots & x_2^m\\ \dots & \dots & \dots & \dots & \dots \\ 1& x_n& x_n^2& \dots & x_n^m\end{array}\right]$

$a=\left[\begin{array}{c}{a}_0\\ a_1\\ \dots \\ a_{n-1}\end{array}\right]$

最小二乘求解

$最小二乘优化min||Ba-Y|{|}^2，a=(B^{T}B{)}^{-1}(B^{T}Y)$

岭回归逼近

在上述逼近算法中, 会存在过拟合的情况，可以加入2模正则项作为惩罚函数，希望系数的模越小越好。

$最小二乘优化min||Ba-Y|{|}^2+\lambda ||a|{|}^2，\lambda =0.5$

$对||Ba-Y|{|}^2+\lambda ||a|{|}^2求导,使得导数等于0，得到$

$2B^{T}Y-2B^{T}Ba-2\lambda Ia=0$

$a=(B^{T}B+\lambda I{)}^{-1}{B}^{T}Y$

运行结果

高斯基函数拟合如果没有合适的sigma，效果会很不好，可以通过RBF神经网络对sigma和miu进行训练。

本人码农，希望通过自己的分享，让大家更容易学懂计算机知识。创作不易，帮忙点击公众号的链接，帮忙转发，感激不尽。