[求助]请教最小二乘法拟合曲线中的问题

yinyin

有几个问题向大家请教：
1.用正交函数作最小二乘法拟合曲线时，阶数越高通过的测试点个数越多吗？可以证明吗？
2.拟合时有时曲线会变形，是因为测试点的误差造成的吗？

luyuanhong

[这个贴子最后由luyuanhong在 2009/05/15 00:46pm 第 1 次编辑]

用最小二乘法作拟合的目标，是要使得拟合曲线尽可能接近观测数据点，即要使得拟合曲线与数据点的距离的平方和达到最小。
距离平方和达到最小，并不一定要距离等于0 ，所以，拟合曲线并不一定要通过观测数据点。
可以证明，拟合函数的阶数越高，拟合的效果越好，也就是说，阶数越高，拟合曲线与数据点的距离平方和越小。
但是，不能说：“阶数越高通过的测试点个数越多”，有可能发生这样的情况：
阶数低时，能通过其中一两个点，阶数高时，反而一个点也不通过了。
关于第二个问题，不明白“拟合时有时曲线会变形”是什么意思，希望楼主说得更清楚一点。

yinyin

谢谢您的帮助！
我在做图时发现高阶拟合的曲线有时会产生鼓包，就是某段曲线会鼓上去，使真个曲线不平滑。
不知道是不是测试点的误差大造成的？低阶一般没事。[br][br]-=-=-=-=- 以下内容由 yinyin 在 时添加 -=-=-=-=-

luyuanhong

[这个贴子最后由luyuanhong在 2009/05/15 00:46pm 第 1 次编辑]

的确是这样，虽然阶数越高，拟合曲线与观测数据点越接近，但是，在其他点处，往往会产生过多的不必要的高低起伏。
而且，阶数越高，这种高低起伏的现象越严重。为什么会产生这种现象？某种意义上，
可以说是“测试点的误差大造成的”，如果观测数据绝对精确，完全符合我们所要求的曲线，就不会发生这种现象。
但是，实际上数据是不可能绝对精确的，误差是不可避免的，所以，要避免产生过多的高低起伏，只有适当降低阶数。
我们可以用尝试的办法，用高低不同的几种阶数分别作拟合，然后从中选择出一种拟合得比较好、比较令人满意的曲线。

yinyin

只能通过降阶选择出一种拟合得比较好、比较令人满意的曲线，没别的办法了吗？
请问“阶数越高，这种高低起伏的现象越严重”怎么得到这个结论的？是通过试验得到的吗？可以证明吗？

yinyin

下面是一个例图，阶数为8，有两个极值点，曲线不平滑。[br][br]-=-=-=-=- 以下内容由 yinyin 在 时添加 -=-=-=-=-

yinyin

luyuanhong

[这个贴子最后由luyuanhong在 2009/05/15 00:46pm 第 2 次编辑]

拟合曲线的阶数越高，允许曲线发生的弯折越多。
例如，2次曲线只能有一个弯折，3次曲线可以有2个弯折，…，n 次曲线最多可以有 n-1 个弯折。
如果产生数据的真实的函数曲线，确实有很多弯折，那么，当然是阶数越高，弯折越多越好。
但是，实际上，产生数据的真实的函数曲线，往往并没有那么多弯折，只是因为数据有误差，发生很多高低起伏，这时，
阶数很高的拟合曲线，为了尽量符合观测数据，跟着数据上下起伏，弯折得很厉害，其实是不必要的，反而不符合真实的情况。
要避免这种情况，有几种办法：
（1）提高数据的精度，减少观测误差。
（2）增加观测次数，增加观测数据点的个数。
（3）如果以上两点做不到，就只能降低拟合曲线的阶数了。

yinyin

非常感谢！
那对于拟合高阶曲线有弯折的离散点，除了最小二乘法还有什么别的拟合方法可以避免弯折吗？

luyuanhong

[这个贴子最后由luyuanhong在 2009/05/15 00:47pm 第 1 次编辑]

我知道还有一种方法叫做“三次样条插值”，它用一个分段三次多项式函数，对观测数据值进行插值。
因为它是插值，不是最小二乘回归，所以可以做到函数曲线严格通过每一个观测数据点。
它的函数曲线很光滑，而且因为它用的是三次多项式函数，次数不高，不会产生不必要的过多的弯折现象。
这应该说很满意了。但是，它也有很大缺点：它是一个分段函数，每隔一点就分一段，每一段有一个不同的表达式。
所以，它的函数表达式非常复杂，并不符合我们希望得到一个简单、统一、便于使用的函数表达式的要求。
如果我们希望得到一个形式比较简单的便于使用的函数表达式，承认数据有误差，不要求曲线严格地通过每一点，
那么，我看，最好还是用最小二乘法作回归拟合。从理论上说，最小二乘法是作近似拟合的最好的方法。
从实际计算的角度来看，因为最小二乘法有很多现成的软件可以使用，所以计算起来也是最方便的。
作最小二乘拟合时，如果因为函数阶数太高，产生“鼓包”现象，觉得不满意，只要把阶数降低一些就可以了。