为什么最小二乘法误差项均值为0？

wufaxian

请看上图，为什么误差项均值要为0呢？这个问题是统计学的问题还是线性代数的问题？这个结论如何证明呢？

wufaxian

上图是答案。我突然意识到一个问题e应该等于b-A\(\hat{x }\)才对。因为A\(\hat{x }\)才是b在A矩阵所“对应”的空间的投影。只有当原始数据完全在一条直线（为了讨论方便，我们将问题限定在线性方程范围内）才有Ax=b。书中前文\(\hat{x }\)代表最小二乘拟合出的“最佳系数和截距。可是题目中却提出\(\hat{x }\)-x定义为“估测误差”。b-A \(\hat{x }\)才是“估测误差”吧。如果数据点不完全在一条直线上就不存在x，何来\(\hat{x }\)-x？