回归问题-逐步回归

逐步回归

逐步回归主要解决了多元共线性问题，

它不是线性独立的关系，而是一种基于可变解释属性的特征提取回归方法。

有三种主要的逐步回归方法：

（一）正向选择：将自变量逐个引入模型。引入自变量后，检查变量的引入是否使模型发生了显着变化（F检验）。如果存在显着变化，然后将变量引入模型亚博直播 ，否则将忽略变量yb体育 ，直到考虑所有变量为止，即，变量按贡献的降序排列并按顺序添加。

步骤：

（1）为每个自变量和因变量建立一个单变量回归方程：

（2）在m个一元回归方程中计算回归系数的检验统计量F，并找到最大值

，

如果

，请停止过滤，否则将

已选择到变量集中逐步回归分析，此时您可以添加

考虑

，转到步骤（3）

（[3）将自变量分别分组

用因变量建立一个二元回归方程，（这次

它在第2步

）在计算公式中

回归系数检验统计量F，取

如果

停止过滤，否则将

选择进入变量集，这一次它将

考虑

....以这种方式进行迭代，直到自变量的最大F值小于临界值为止。此时，回归方程是最优回归方程。

特征：一旦选择了独立变量，它将始终保存在模型中；选择自变量后，它不能反映模型本身的变化。

（2）向后消除：与“向前选择”选择相反，在此方法中，将所有变量都放入模型中，然后尝试消除一个变量，以查看是否存在显着变化。消除后的整个模型（F检验）亚博代理 ，如果没有显着变化，则将其删除；如果存在，请保留该模型，直到剩下对模型具有显着变化的所有因素为止。从小到大。

步骤：

（[1）全部创建

对于因变量y的回归方程，对方程中的m个自变量进行F检验，并取最小值：

如果

F _ {\ alpha}（1，n-m-1)'/>，那么就没有要消除的自变量，并且回归方程是最优的；否则，消除

，此时可以是另一个

是

，转到步骤（2）

（[2）创建

具有因变量y的回归方程，对方程中的回归系数进行F检验，并取最小值

如果

F _ {\ alpha}（1，n-（m-1)-1)'/>，则无需消除变量，则方程为最优，否则将为

删除，此时设置

是

，...，迭代直到每个变量的回归系数F值大于临界值，即方程中没有要消除的变量，此时的回归方程为最优回归等式。

特征：一旦消除了自变量，它们将不再进入模型；开始将所有自变量引入模型，并且计算量太大。

（3）双向消除：逐步筛选方法。它是在第一个方法的基础上进行某些改进。引入变量后，首先检查该变量是否在模型中产生了重大变化（F检验），如果发生了显着变化，然后对所有变量进行t检验。当最初引入的变量由于后来引入的变量不再显着变化时，请删除此变量逐步回归分析亚博直播 ，以确保在每个变量之前的回归方程中仅包含显着性在变量中引入新变量，直到既未将重要的解释变量选择到回归方程中，又未从回归方程中消除不重要的解释变量，最后获得了最优的变量集。

由于我不太了解它，因此在这里不写具体步骤。有关具体步骤，您可以参考：此内容，我发现很多内容可以更好地描述它。

AIC标准（赤池信息标准）：它是衡量统计模型拟合优度的标准。

参考：

[1]

[2]

[3]