一般自回归 AR(p) 模型就不担心共线性问题吗？

Ysu2008

我的理解，一般自回归模型相当于多元线性回归模型的特例，无非就是自己对自己回归。但一些专门讲回归的书都提到多元线性回归的共线性问题，也就是诸预测变量的高相关性带来的种种问题，然而自回归之所以有效正是得益于这种自相关性，所以我觉得AR(p), p>1模型与共线性问题是矛盾的。

Ysu2008

此外我对时间序列求差分以消除自相关性的做法也不理解，比如 ARIMP 模型，既然差分消除了自相关性还能做自回归吗？

luyuanhong

       自回归 AR(p) 模型中是否一定会发生“共线性”问题？

在多元线性回归模型中，通常有一个因变量 Y 和 p 个自变量 X1,X2,…,Xp ，

要求利用观测数据，求出因变量 Y 与自变量 X1,X2,…,Xp 之间的近似线性关系：

      Y = a0 + a1*X1 + a2*X2 + … + ap*Xp +ε

如果自变量 X1,X2,…,Xp 之间存在“共线性”，也就是说，如果自变量 X1,X2,…,Xp

之间有线性相关或近似线性相关关系，就会给多元线性回归计算带来很多困难。

所以，在回归分析的书中，常常可以看到，有对这种“共线性”问题的讨论和研究。

----------------------------------------------------------------------------------------------
      
在简单的自回归 AR(p) 模型中，只有一个随着时间变化的变量 X(t) ，要求利用观

测数据，求出 X(t) 的值与在时刻 t 前面几个时刻点上的值 X(t-1),X(t-2),…,X(t-p)

之间的近似线性关系：

      X(t) = a1*X(t-1) + a2*X(t-2) + … + ap*X(t-p) +ε(t)

因为模型中只有一个变量 X ，是 X 自己对自己回归，所以称为“自回归”模型。

与上面的多元线性回归模型相对照，可以看到，多元线性回归模型中的因变量 Y ，

相当于 AR(p) 模型中 X(t) 的值；多元线性回归模型中的自变量 X1,X2,…,Xp ，

相当于 AR(p) 模型中在前面几个时刻点上的值 X(t-1),X(t-2),…,X(t-p) 。

---------------------------------------------------------------------------------------------

在 AR(p) 模型中，会不会发生“共线性”的问题？可能会发生，也可能不会发生。

如果在前面几个时刻点上的值 X(t-1),X(t-2),…,X(t-p) 之间，有近似线性相关关系，

就会发生“共线性”的问题；如果在前面几个时刻点上的值 X(t-1),X(t-2),…,X(t-p)

之间，没有近似线性相关关系，就不会发生“共线性”的问题。

-------------------------------------------------------------------------------

我们作自回归 AR(p) ，当然希望求出 X(t) 与 X(t-1),X(t-2),…,X(t-p) 之间的

近似线性关系。但是 X(t) 与 X(t-1),X(t-2),…,X(t-p) 之间存在近似线性关系，

并不意味着 X(t-1),X(t-2),…,X(t-p) 之间必定存在近似线性关系，这是完全不同

的两回事。所以，在 AR(p) 自回归模型中，并不一定会发生“共线性”的问题。

--------------------------------------------------------------------------------

举一个简单的例子：设有

{ X(0),X(1),X(2),… }={ 0, 1,-1, 1/2, 0,-1/4, 1/4,-1/8, 0, 1/16,-1/16, 1/32, 0,… }。

可以发现，X(t) 与 X(t-1),X(t-2) 之间，有线性关系：

     X(t) = - X(t-1) - 1/2*X(t-2) 。

如果我们令 p=3 ，作 AR(3) 自回归，希望求出 X(t) 与 X(t-1),X(t-2),X(t-3) 之间的关系

     X(t) = a1*X(t-1) + a2*X(t-2) + a3*X(t-3) +ε(t) ，

因为在时刻 t 前面连续 3 个时刻点上的值 X(t-1),X(t-2),X(t-3) 之间，存在线性关系：

     X(t-1) = - X(t-2) - 1/2*X(t-3) ，

所以，这个模型中会发生“共线性”的问题，计算会发生困难。     

如果我们令 p=2 ，作 AR(2) 自回归，希望求出 X(t) 与 X(t-1),X(t-2) 之间的关系

     X(t) = a1*X(t-1) + a2*X(t-2) +ε(t) ，

因为在时刻 t 前面连续 2 个时刻点上的值 X(t-1),X(t-2) 之间，并不存在线性关系，所以，

这个模型中不会发生“共线性”的问题，我们可以很顺利地求出

     X(t) = - X(t-1) - 1/2*X(t-2) 。

Ysu2008

luyuanhong 发表于 2016-7-30 03:37
自回归 AR(p) 模型中是否一定会发生“共线性”问题？

在多元线性回归模型中，通常有一个因变量 Y ...

谢谢陆老师解惑。