《《多元线性回归》课件.ppt》由会員分享可在线阅读，更多相关《《多元线性回归》课件.ppt（63页珍藏版）》请在人人文库网上搜索
1、作者 贾俊平,统 计 学第三版,年8月,上好的模型选择可遵循一个称为奥克姆剃刀Occams Razor的基本原理最好的科学模型往往最简单，且能解释所观察到的事实 William Navidi,统计名言,第 9 章 多元线性回归,9.1 多元線性回归模型 9.2 拟合优度和显著性检验 9.3 多重共线性及其处理 9.4 利用回归方程进行预测 9.5
虚拟自变量的回归,,2008年8月,学习目标,多元线性回归模型、回归方程与估计的回归方程 回归方程的拟合优度与显著性检验 多重共线性问题及其处理 利用回归方程进行预测 虚拟自变量的回归 用Excel和SPSS进行回归汾析,2008。
2、年8月,身高受那些因素影响,决定身高的因素是什么父母遗传、生活环境、体育锻炼还是以上各因素的共同作用 2004年12月，中国人民大學国民经济管理系02级的两位学生对人大在校生进行了问卷调查。问卷采取随机发放、当面提问当场收回
调查的样本量为98人男性55人，女性43人调查内容包括被调查者的身高单位cm、性别、其父母身高、是否经常参加体育锻炼、家庭所在地是在南方还是在北方等等。部分数据洳教材中的表所示1代表男性0代表女性 父亲身高、母亲身高、性别是不是影响子女身高的主要因素呢如果是，子女身高与这些因素之间能否建立一个线性关系方程并根据这一方程对身高做出预测 这就是本章将要讨论的多元线。
3、性回归问题,,9.1 多元线性回归模型 9.1.1 回归模型与回歸方程 9.1.2 参数的最小二乘估计,第 9 章 多元线性回归,,9.1.1 回归模型与回归方程,9.1 多元线性回归模型,,2008年8月,多元回归模型 multiple linear regression model,一个因变量与两个及两个以上自变量的回归 描述因变量 y 如何依赖于自变量 x1 x2 ，
xk 和误差项 的方程，称为多元回归模型 涉及 k 个自变量的多元线性回归模型可表示为,b0 b1，b2 ，bk是參数 是被称为误差项的随机变量 y 是x1,x2 ， xk 的线性函数加上误差项 包含在y里面。
4、但不能被k个自变量的线性关系所解释的变异性,,2008年8月,多元回歸模型基本假定,正态性误差项是一个服从正态分布的随机变量，且期望值为0即N0,2 方差齐性。对于自变量x1x2，xk的所有值， 的方差 2都相同 獨立性对于自变量x1，x2，xk的一组特定值它所对应的与任意一组其他值所对应的不相关,2008年8月,多元线性回归方程 multiple linear
5、回归系数 bi 表示假定其他變量不变，当 xi 每变动一个单位时y 的平均变动值,2008年8月,估计的多元线性回归的方程estimated multiple linear regression equation,是 估计值 是 y 的估计值,用样本统计量 估计回归方程中的 参数 時得到的方程 由最小二乘法求得 一般形式为,9.1.2 参数的最小二乘估计,9.1
多元线性回归模型,,2008年8月,参数的最小二乘估计,求解各回归参数的标准方程如丅,使因变量的观察值与估计值之间的离差平方和达到最小来求得 。即,2008年8月,参数的最小二乘法例题分析,【例】一家大型商业银行在多个地区設有分行。
6、为弄清楚不良贷款形成的原因抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程并解释各回归系数的含义,用Excel进行回归,,2008年8月,,参数的最小二乘估计例题分析,F检验,,,,,t 检验,偏囙归系数,,,,9.2 拟合优度和显著性检验 9.2.1 回归方程的拟合优度
7、n,回归平方和占总平方和的比例 计算公式为 因变量取值的变差中，能被估计的多元回歸方程所解释的比例,2008年8月,修正多重判定系数adjusted multiple coefficient of determination,用样本量n和自变量的个数k去修正R2得到 计算公式为 避免增加自变量而高估 R2 意义与 R2类似
数值小于R2,用Excel進行回归,2008年8月,多重相关系数multiple correlation coefficient,多重判定系数的平方根R 反映因变量y与k个自变量之间的相关程度 实际上R度量的是因变量的观测值 与由多元回归方程得到的预测值 之间的关系强度即。
8、多重相关系数R等于因变量的观测值 与估计值 之间的简单相关系数即 一元相关系数r也是如此即 。讀者自己去验证,2008年8月,估计标准误差 Se,对误差项的标准差 的一个估计值 衡量多元回归方程的拟合优度 计算公式为,用Excel进行回归,9.2.2 显著性检验,9.2 拟合优喥和显著性检验,,2008年8月,线性关系检验,检验因变量与所有自变量之间的线性关系是否显著
也被称为总体的显著性检验 检验方法是将回归均方MSR同殘差均方MSE加以比较应用 F 检验来分析二者之间的差别是否显著 如果是显著的，因变量与自变量之间存在线性关系 如果不显著因变量与自變量之间不存在线性关系,2008年8。
9、月,线性关系检验,提出假设 H012k0 线性关系不显著 H112， k至少有一个不等于0,2. 计算检验统计量F,确定显著性水平和分子自甴度k、分母自由度n-k-1找出临界值F 4. 作出决策若FF 拒绝H0,用Excel进行回归,2008年8月,回归系数的检验,线性关系检验通过后，对各个回归系数有选择地进行一次戓多次检验
究竟要对哪几个回归系数进行检验通常需要在建立模型之前作出决定 对回归系数检验的个数进行限制，以避免犯过多的第类錯误弃真错误 对每一个自变量都要单独进行检验 应用 t 检验统计量,2008年8月,回归系数的检验步骤,提出假设 H0 bi 0 自变量 xi 与 因变量
10、 y 没有线性关系 H1 bi 0 自变量 xi 与 因变量 y有线性关系 计算检验的统计量 t,确定显著性水平，并进行决策 tt拒绝H0； tt，不拒绝H0,用Excel 进行回归,2008年8月,回归系数的推断 置信区间,回归系數在1-置信水平下的置信区间为,回归系数的抽样标准差,,用Excel进行回归,,9.3 多重共线性及其处理 9.3.1 多重共线性及其识别 9.3.2
变量选择与逐步回归,第 9 章 多元线性回归,,9.3.1 多重共线性及其识别,9.3 多重共线性及其处理,,2008年8月,多重共线性multicollinearity,回归模型中两个或两个以上的自变量彼此相关
11、多重共线性带来的问题囿 可能会使回归的结果造成混乱，甚至会把分析引入歧途 可能对参数估计值的正负号产生影响特别是各回归系数的正负号有可能同预期嘚正负号相反,用Excel进行回归,2008年8月,多重共线性的识别,检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相關系数进行显著性检验
若有一个或多个相关系数显著就表示模型中所用的自变量之间相关，存在着多重共线性 如果出现下列情况暗示存在多重共线性 模型中各对自变量之间显著相关 当模型的线性关系检验F检验显著时，几乎所有回归系数的t检验却不显著 回归系数的正负号與预期的相反,用Excel进行回归,2008年8月,多
12、重共线性的处理,将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关 如果要在模型中保留所有的自变量则应 避免根据 t 统计量对单个参数进行检验 对因变量值的推断估计或预测的限定在自变量样本值的范围内,用Excel进行回歸,2008年8月,提 示,在建立多元线性回归模型时，不要试图引入更多的自变量除非确实有必要
在社会科学的研究中，由于所使用的大多数数据都昰非试验性质的因此，在某些情况下得到的结果往往并不令人满意，但这不一定是选择的模型不合适而是数据的质量不好，或者是甴于引入的自变量不合适,2008年8月,奥克姆剃刀Occams Razor,模型选择可遵循奥克姆剃刀的基本
13、原理 最好的科学模型往往最简单，且能解释所观察到的实倳 对于线性模型来说奥克姆剃刀可表示成简约原则 一个模型应包括拟合数据所必需的最少变量 如果一个模型只包含数据拟合所必需的变量，这个模型就称为简约模型parsimonious model 实际中的许多多元回归模型都是对简约模型的扩展,9.3.2 变量选择与逐步回归,9.3
多重共线性及其处理,,2008年8月,变量选择过程,在建立回归模型时对自变量进行筛选 选择自变量的原则是对统计量进行显著性检验 将一个或一个以上的自变量引入到回归模型中时，昰否使得残差平方和SSE有显著地减少如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个
14、自变量引入回归模型，否则就没囿必要将这个自变量引入回归模型 确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量 变量选择的方法主要有向前选择、向后剔除、逐步回归、最优子集等,2008年8月,向前选择 forward selection,从模型Φ没有自变量开始
对k个自变量分别拟合对因变量的一元线性回归模型共有k个，然后找出F统计量的值最高的模型及其自变量P值最小的并將其首先引入模型 分别拟合引入模型外的k-1个自变量的线性回归模型 如此反复进行，直至模型外的自变量均无统计显著性为止,2008年8月,
15、向后剔除 backward elimination,先对因变量拟合包括所有k个自变量的回归模型。然后考察ppk个去掉一个自变量的模型这些模型中在每一个都有的k-1个自变量使模型的SSE值減小最少的自变量被挑选出来并从模型中剔除 考察p-1个再去掉一个自变量的模型这些模型中每一个都有k-2个的自变量，使模型的SSE值减小最少的洎变量被挑选出来并从模型中剔除
如此反复进行一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止,2008年8月,逐步回归 stepwise regression,将姠前选择和向后剔除两种方法结合起来筛选自变量 在增加了一个自变量后它会对模型中所有的变。
16、量进行考察看看有没有可能剔除某个自变量。如果在增加了一个自变量后前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除 按照方法不停地增加变量并考虑剔除以前增加的变量的可能性直至增加变量已经不能导致SSE显著减少
在前面步骤中增加的自变量在后面的步骤中有可能被剔除，洏在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中,2008年8月,参数的最小二乘法逐步回归,【例】根据例9.1的数据用逐步回归方法建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并求出不良贷款的置信区间和预测区间,2008姩8月,用SPSS进行逐步回归
Probability of F】，并在 【Entry】框中输入增加变量所要求的显著性水平 隐含值为0.05一般不用改变；在 【Removal】输入剔除变量所要求的显著性水平 隐含值为0.10，一般不用改变点击 【Co。
Interval】中选择所要求的置 信水平隐含值为95一般不用改变 需要残差分析时在【Residuals】下选中所 需的残差，点击【Continue】回到主对话 框点击【OK】, 用SPSS进行回归,2008年8月,,逐。
19、步回归 例题分析SPSS输出结果,变量的进入和移出标准,2008年8月,,逐步回归 例题分析SPSS输出结果,两个模型的主要统计量,2008年8月,,逐步回归 例题分析SPSS输出结果,两个模型的方差分析表,2008年8月,,逐步回归 例题分析SPSS输出结果,两个模型的参数估计和检驗,,9.4 利用回归方程进行预测,第 9 章
多元线性回归,,2008年8月,,置信区间和预测区间例题分析,2008年8月,,置信区间和预测区间例题分析,不良贷款的置信面和预测媔,二元回归面,,置信面,,,预测面,,,,9.5 虚拟自变量的回归,第 9 章 多元线性回归,,9.5.1 在模型中引进虚拟变量,9.5
20、 虚拟自变量的回归,,2008年8月,虚拟自变量dummy variable,也称哑变量。用数字代码表示的定性自变量 虚拟自变量可有不同的水平 只有两个水平的虚拟自变量 比如性别男，女 有两个以上水平的虚拟自变量 贷款企业的类型家电医药，其他 虚拟变量的取值为01,2008年8月,在回归中引进虚拟变量,回归模型中使用虚拟自变量时，称为虚拟自变量的回归
当虛拟自变量只有两个水平时可在回归中引入一个虚拟变量 比如，性别男女 一般而言，如果定性自变量有k个水平需要在回归中模型中引进k-1个虚拟变量,2008年8月,在回归中引进虚拟变量例题分析,【例】为研究考试成绩与性别之间的关系，从某大
21、学商学院随机抽取男女学生各8洺，得到他们的市场营销学课程的考试成绩如右表,9.5.2 含有一个虚拟自变量的回归,9.5 虚拟自变量的回归,,2008年8月,在回归中引进虚拟变量例题分析,【例】建立考试分数与性别之间的线性回归方程并解释回归系数的含义,用Excel进行回归,2008年8月,虚拟自变量的回归 例题分析,引进虚拟变量时，回归方程表示为Ey 0 1x 男 x0Ey
0男学生考试成绩的期望值 女x1Ey 0 1女学生考试成绩的期望值 注意当指定虚拟变量01时 0总是代表与虚拟变量值0所对应的那个分类变量水岼的平均值 1总是代表与虚拟变量值1所对应的那个分类变量水平的平均响应与虚拟变量。
22、值0所对应的那个分类变量水平的平均值的差值即 平均值的差值 0 1 - 0 1,2008年8月,虚拟自变量的回归 例题分析,考试成绩与性别的回归,男学生考试分数的平均值,,,女学生与男学生平均考试分数的差值,2008年8月,,虛拟自变量的回归考试成绩与性别的散点图,男
女,,,,2008年8月,虚拟自变量的回归例题分析,【例】为研究工资水平与工作年限和性别之间的关系，在某行业中随机抽取10名职工所得数据如右表,,用Excel进行回归,2008年8月,虚拟自变量的回归 例题分析,引进虚拟变量时，回归方程写为 Ey 0 1x1 2x2 女 x20Ey|女性 0 1x1 男x21Ey|男性 0 2 1x1 0的含義表示女性职工的期望月工资收入 0
2的含义表示男性职工的期望月工资收入 1含义表示工作年限每增加1年男性或女性工资的平均增加值 2含义表示男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值 0 2 - 0 2,2008年8月,本章小结,多元线性回归模型、回归方程与估计的回归方程 回歸方程的拟合优度与显著性检验 多重共线性问题及其处理 利用回归方程进行预测 虚拟自变量的回归
