深入浅出：带你了解最小二乘法

luyuanhong

深入浅出：带你了解最小二乘法

原创 咸鱼不翻身呀 JIAFEIMAO 的摆烂日常 2024 年 08 月 13 日 14:32 贵州

引言

在数据分析和统计建模中，我们常常会遇到一个问题：如何在一堆数据中找到最能描述这些数据关系的那条“线”？最小二乘法就是解决这个问题的重要工具。本文将带你一步步理解最小二乘法，从它的源起、推导过程，到如何求解系数。即使你没有深厚的数学背景（当然我也没有），也能通过这篇文章轻松掌握最小二乘法的核心概念，另外简单讲解最小二乘法在信号处理中的应用以及 LU 分解法、Cholesky 分解法求解方程组。

一、从一个简单的例子开始

假设你是一名种植花草爱好者，种了几棵植物。你很聪明的注意到，植物的高度似乎和它们得到的阳光量有一定关系。记录了几天的观察数据：每一天的日照时长（小时）和植物的生长高度（厘米）。



现在，你想用一条直线来描述日照时长和植物高度之间的关系。也就是说，给定一个日照时长，你想预测植物的大致高度。这个时候，最小二乘法就派上用场了。

二、如何用一条直线来描述数据？



三、什么叫“最好地拟合”？



四、推导最小二乘法公式



五、计算斜率和截距



六、直观理解最小二乘法

通过上面的计算得到了一个近似的直线方程，用来预测植物在不同日照时长下的高度。这条线虽然不一定能完美通过每一个数据点，但它是对所有数据点“最小偏差”的拟合。换句话说，它在所有可能的直线中，使得所有点的偏差平方和最小，这就是最小二乘法的意义所在。

七、最小二乘法在信号处理中的应用：推导与求解线性方程组

在信号处理中，最小二乘法的广泛应用常常需要通过求解线性方程组来获得最终结果。下面来简单推导和求解这些线性方程组。

7.1. 去噪处理



7.2. 线性预测编码（LPC）分析



7.2.1 实例



咸鱼不翻身呀