这个公式是怎么推导得到的?

永远

线性回归的目标函数为什么是最小二乘法?

这个公式是怎么推导得到的?

\(\Large J\left( \theta  \right) = \frac{1}{2}{\sum\limits_{i = 1}^m {\left( {{y^{\left( i \right)}} - {\theta ^T}{x^{\left( i \right)}}} \right)} ^2}\)

其中预测值与误差值：\(\Large {y^{\left( i \right)}} = {\theta ^T}{x^{\left( i \right)}} + {\varepsilon ^{\left( i \right)}}\)

luyuanhong

这个公式你是从哪里看到的？其中的字母符号是什么意思？

永远

luyuanhong 发表于 2025-5-24 23:51
这个公式你是从哪里看到的？其中的字母符号是什么意思？

在学习线性回归的时候，会用最小二乘给出目标函数，但是为什么用最小二乘法作为目标函数，理论上可以证明。

利用极大似然估计解释最小二乘法：

重要前提

1、各个样本之间是独立的

2、误差服从均值是0，方差是σ2 的高斯分布(中心极限定理)

请问陆老师理论上怎么证明得到主贴公式？

永远

luyuanhong 发表于 2025-5-24 23:51
这个公式你是从哪里看到的？其中的字母符号是什么意思？

wilsony

这是概率统计书上的内容？