首页  思维导图  详情

回归分析

2022-05-10 21:22:36   0  举报





AI智能生成

线性基本模型线性回归与方差分析---王松桂老师版本

统计

检验流程图

假设检验

作者其他创作

大纲/内容

二、随机向量

2.1均值向量与协方差阵

定理2.1.1

Y=AX+b，则

推论：

定理2.1.2

协方差阵半正定，而且对称！

证半正定思路：令,

定理2.1.3

Y=AX，则（2.3节的定理说的都是这个事儿）

定理2.1.4

2.2随机向量的二次型

定义

定理2.2.1

设

证明思路：①
②由定理2.1.1，得,同理，第三项也为0
③（二次型的迹就是他本身）
(迹是求和运算，利用了期望的线性）
(trAB=trBA)

推论：

2.3正态随机变量

三个等价定义

(从密度函数上）+(非退化）

（从正态性质上）若存在列满秩矩阵，，则

（从特征函数上）

定理2.3.1

对正态向量而言，相互独立与不相关是等价的（不相关一般推不出来独立）

定理2.3.2

推论1：设（A特殊化了）

推论2：设（特殊化了）

定理2.3.3

，则

联合正态边际正态，反之不成立

定理2.3.4

2.4分布

定理2.4.1

定理2.4.2

定理2.4.3

可加性

定理2.4.4

,A为对称阵，r(A)=r，当A幂等时，二次型

证明思路：①A幂等,r(A)=rA的特征值中有r个为1，n-r个为0
②A对称阵(正交谱分解）
③令Y=QX，则，且Y的各个分量独立

定理2.4.5
（判别独立的另一方法）

，A为n阶对称阵，若BA=0，则BX与相互独立

定理2.4.6

A和B皆为对称阵，且AB=0，则

2.5 关于正交

回顾

则与独立

引理

x与y正交，则g(x)与h(y)正交（非随机变换）

定理2.5.1

（正态情形，也可以说独立）

推论：(协方差阵一般化了）

定理2.5.2

（正态情形，也可以说独立）

推论：(协方差阵一般化了）

辨析正交独立不相关

正态情形下独立

X、Y有一期望为0正交

独立不相关，正交不相关

三、回归参数的估计

3.1最小二乘估计

证明：
,

3.中心化和标椎化

3.2 最小二乘估计性质

1.的性质

定理3.2.1：

求+

推论3.2.1：

定理3.2.2（Gauss-Markov）：在所有线性、无偏估计中，最小二乘最优（方差最小）

证明思路：①假设的任一线性无偏估计
②利用无偏（）得到c和a的关系
③求

2.的性质

注：RSS和SSE是一样的意思

定理3.2.3：

证RSS时用到了是对称幂等的性质

证时用到了"定理2.2.1"＋"trBA=trAB"

定理3.2.4：

证明思路：①先令
②写出对数似然函数(y还是服从正态分布的）
③发现取最大时，取最小，即，所以

证明思路：①写出对数似然函数
②把当做整体，求偏导，令其为零，即可得MLE。

证明思路：①由定理3.2.3得，(因为）
②是幂等阵，由定理2.4.4，得

证明思路：①
②因为，由定理2.4.5得，
③因此相互独立

3.3约束最小二乘估计

证明：(利用Lagurange乘子法）
①令
②对求偏导，得
③对求偏导，得
④将带入②，得

3.验证确实是该约束条件下的最小二乘估计

（a）证明

(b)证明

所以①当且仅当时等号成立
当时，代入①式，得（得到表达式）
结合①式，得

3.4 回归诊断

1.残差诊断

定理3.4.1 ①
②
③
④(说明是中心化的向量）

2.残差图

（1）以拟合值为横轴，以为纵轴，其中，这里

（2）合理情形：点在范围大致分布均匀，不呈现任何趋势

（3）不合理的两种情况

(i).残差图呈现对勾型或抛物线型，说明因变量Y对自变量 X的依赖不仅仅是线性关系，引入二次项转化为线性

(ii).只有偏大或偏小或中等时偏大，或呈线性趋势，说明误差方差不相等，则
①对因变量做变换，使变换过后具有近似相等的方差②应用加权最小二乘估计③对因变量做Box-Cox变换

3.强影响点
（可以反映影响力大小）

分别表示从Y、X、e中剔除第i行所得到的向量或矩阵,

影响力大小判断

量化的Cook统计量（原始公式）：，其中，但要计算n+1个回归计算量太大

定理3.4.2（简便公式）

证明思路：用到了
和

，只需计算即可

难以判断强影响数据的临界值，需引入F统计量

（落在以为中心的置信椭球里）发生的概率为,越大，越不容易落在椭球里，影响力越大

分子：

分母：

3.5 Box-Cox变换
(对因变量y做变换，使满足线性+误差的G-M假设）

Step1.给定范围，

Step2.计算

Step3.计算，其中,取为SSE最小值的值

Step4.计算，

3.6广义最小二乘估计
(

令

定理3.6.1
(a)
(b)
(c)唯一的最小方差无偏估计

注意：①证明定理时注意，只有y是随机的！
② 和都是的无偏估计，对于一般的线性回归模型，广义最小二乘优于简单最小二乘

证明同,多了个

注意：①的次数什么时候为正什么时候为负
②不一样！只有可当做一样的，都是估计出来的

事实上，通常无法确定，可采用两步估计法：先假设,求出简单最小二乘估计，然后通过残差分析，可以估计出

3.7 复共线性
(自变量之间存在近似线性关系）

定理3.7.1

证明思路：①
(拆开后）
②第一项（）=，第二项()=，第三项（交叉项）为0

考虑线性回归模型：
（X已中心化，满秩）

所以

若至少有一个特征根非常小，MSE就会很大！

①与Gauss-Markov定理并不矛盾，最小二乘在线性无偏中方差最小，而这个最小的方差值本身却很大

②可以从MSE（）表达式直观地看出

③另一解释：
当至少有一个特征根非常小，最小二乘估计的长度要比真正长度长的多

④意味着什么：设的非常小的特征值为,对应特征向量为,其中
则
用左乘，
所以，说明X的列向量之间具有线性关系。

(的特征根，已排序）

表明各特征值差别不大，随机性不强，复共线性不强

3.8岭估计
（有偏估计）

推导：由于复共线性的存在，最小二乘偏差较大，①用拉格朗日乘法，引入k,令
②求，先展开，对求偏导，得
(下面任务就是确定k,然后就能确定）

注意：①仍对称，正定，特征值为
②k=0时，
③（有偏估计）

典则模型

典则模型：
（其中）

估计

的关系

性质

定理3.8.1

证明思路：只需证明
(已中心化），求出表达式，对k求偏导，发现在0附近单调递减，
所以

找k，让最小

①相当于最小，对其求偏导，直接算解不出来

②H-K统计量：

推导思路：令，于是当时，f(k)总是在下降
所以

③岭迹法

在同一张图中画出随k变化的的趋势，选逐渐趋向于平稳时的k值

四、假设检验与预测

引入

假设为满秩矩阵（）

似然比检验

下：（的最小二乘估计是）

下：

记忆技巧：可以把当成一个整体来记

似然比统计量

,单调递增

4.1 一般线性假设

考虑正态线性回归模型：
假设

定理4.1.1

①
②原假设成立时，（原假设不成立时，）
③
④原假设成立时，（消掉了未知参数）

证明思路：①见定理3.2.4
②

原假设成立时，
作标椎化后再平方，即可
③，拆开后可化为的形式
由定理2.4.6得，；由定理2.4.5得
④易证

F计算

（复杂版）引理：(1)
(2)

证明：(2)
ha
ha
ha(用到了有约束最小二乘中的拉格朗日函数对求导的结果，又叫正则方程）
ha（带入了）

此时，F统计量为，要用到的估计，比较复杂

（简化版）约简模型

假设

Step1.先把模型写成样本形式：

Step2.转换原假设：

Step3.带入原模型：,即（在原假设成立下）

（约简模型中参数估计没有那么复杂！）

(无需计算)

4.2回归方程的显著性检验
(检验模型够不够大，是否要再加）

原假设

求SSE

求

求F统计量

（在成立下）

求拒绝域

(不是双边！）

4.3回归系数的显著性检验
(检验模型够不够小，是否要剔除)

原假设

求统计量

(在成立下）

还存在，不是随机变量

利用把换成，从而去掉

求拒绝域

（双边！）

4.4异常点检测

1.模型（又叫漂移模型）

假设是异常的（只有这一组！），则

原假设

注意：成立，漂移模型为原模型；不成立时，为切割模型

2.计算

3.计算SSE

记漂移模型参数估计为

定理4.4.1

证明：，然后再拆开就行

SSE

4.计算F统计量

4.5 因变量的预测

点预测

考虑模型：，在样本点处，（正好均值估计一样了）

性质

a.无偏预测(和无偏估计不同）

b.最佳线性无偏预测BLUP

c.估计效果>预测

证明：估计偏差预测偏差
由于一阶距为0（均无偏），考虑二阶矩

（随机性部分只有，所以协方差部分为0）

区间预测

求统计量

上面两式相除，得

求置信区间

五、回归方程的选择

包含回归方程的选择和自变量的选择

回归方程：线性回归 or 非线性回归

统计上称之为模型的线性性检验

自变量的选择：从与因变量保持线性关系的自变量集合中，选择一个最优的自变量集合

5.1 变量的选择

1.全模型&选模型

full model :

selective model :

2.估计

①,

定理5.1.1 假设全模型正确，则
a. (有偏！）
b.

证明：（a）
(b)

注意：两种极端情况
①无关，此时A=0，选择全模型
②

X_{q} 与 X_{t}

完全线性，选择选模型

② 有偏

注意：，是个数(行x列）
，是个矩阵（列x行）

定理5.1.2 假设全模型正确，则

证明：

就是说当不选的变量波动大时，用选模型

3.预测

①已知预测

full : (全模型正确时Z=0)
selective :

定理5.1.3 若全模型正确，则

证明：（a）
(b)

（转化为了两个二次型的比较）
然后，计算把代入，重点是分块矩阵求逆，
最终化简得到

②

定理5.1.4 若全模型正确，，选择选模型

证明：

ha
ha

4.评判准则

①

证明：

相当于成了个惩罚因子，最后先降后升，

②，其中

从预测精度出发，，MSEP愈小愈好

愈小愈好

③

从极大似然原理出发

选择使AIC达到最小的自变量子集

5.2 计算所有可能的回归

对p-1个自变量的线性回归，所有可能的回归有个

2. 顺序

i 表示引入变量 , -i 表示剔除变量 , 里是 i 与-i 的集合。

3. 消去变换

消去变换

性质

①

T_{i} T_{i} A = A

②

③ ，对做消去变化，（与求逆不完全一样，看左上角）

模型选择上的应用

引入增广矩阵Z，

对A做消去变换，得

应用：①正好是的最小二乘估计。
②正好是选模型的
③增加或去掉，都只需再对应做一次消去变换

①②就是说如果要求选模型的，只需对其作连续的消去变换即可

4.步骤

Step1. 确定

Step2. 计算Z，然后计算

Step3. 做消去变换，一个一个算，

Step4. min ，确定p，然后确定

5.3 计算最优子集回归

根据 5.2 可确定最优自变量子集

性质

性质1 若全模型误差

性质2 条件同性质1，若

性质3 条件同性质1，若

注意：

5.4 逐步回归

引入

当自变量个数>40个，上述方法很麻烦，逐步回归算法是应用最普遍的不用计算所有可能子集回归的变量选择算法

基本思想

若变量偏回归平方和显著——加入，然后所有新老变量逐个检验，不显著的去掉，显著的留下。

步骤

假设已有q个自变量入选，且为前q个，记为

①考虑是否剔除

，做 t 检验，(均为原假设成立情况下，且F统计量不完全是t统计量的平方）

拒绝域：

②计算每个回归自变量的F统计量，排序，一个一个地扔

六、方差分析模型

单因素方差分析

子主题

七、

 收藏

立即使用

回归分析

195061_PO

职业：暂无

去主页





0 条评论

下一页

为你推荐

查看更多

