高尔顿将这种现象称为“趋向平庸的回归”,而现代统计学则将其简称为均值回归(regression to the mean)。类似的现象也发生在母女之间:高个母亲的女儿往往比母亲矮,矮个母亲的女儿往往比母亲高,这就是本文想说的“回归”现象。现代统计学中,所有对数据进行直线拟合或曲线拟合的过程都被称为“回归”。基本的回归分析中,因变量是我们想要预测或解释的变量,通常用 y 轴来表示,该变量有时又被称为响应变量或反应变量。自变量是我们用来预测或解释的依据,通常用 x 轴来表示,该变量有时又被称为解释变量。直线的斜率又被称为回归系数(regression coefficient)。
解释变量不唯一的情况有很多,比如我们可以继续以身高为例,看看儿子身高与父母双方身高、女儿身高与父母双方身高之间的关系。相关数据的散点图是三维的,很难在纸面上展现出来,但我们仍然可以沿用最小二乘法的思想,计算出能够预测后代身高的最佳拟合公式,这就是所谓的多元线性回归(multiple linear regression;线性”指的是该方程由多个解释变量的“加权和”构成,权重依回归系数而定。这就是“线性模型”名字的由来)。当解释变量只有一个的时候,回归系数就是拟合直线的斜率;当解释变量不止一个的时候,回归系数的含义虽然有些许变化,但其根本思想仍然不变。