第九章回归分析和方差分析

第九章回归分析和方差分析内容摘要：

是 随 机 误 差 ， 不 可 控 制 ，基 本 假 设 ：回 归 系 数 ） 未 知 .1 1 2 2, ( , ) , ( , ) , .. ., ( , )nnx x Y x Y x Y对 的 一 组 不 全 相 同 的 值 得 到 样 本22, 1 , 2 , ..., ,( ) 0 , ( ) , ( ,i i iiiiY a bx i nEDab      相 互 独 立 ，一 元 线 性 回 归 模 型 ：回 归 系 数 ） 未 知 . 2~ 0 , 1 , 2 , .. ., .i N i n 正 态 假 设 ： ， 相 互 独 立 ，22, 1 , 2 , ..., ,( ) 0 , ( ) , ( ,i i iiiiY a bx i nEDab     相 互 独 立 ，一 元 线 性 回 归 模 型 ：回 归 系 数 ） 未 知 .通常我们假定随机误差i是相互独立的 , 服从正态分布),0( 2N. 显然 , 在这样的假定下iy也是相互独立 , 服从正态分布),( 2ibxaN . 由所得样本可给出未知参数 a , b 的点估计 , 分别记为ˆ,bˆ, 称xbaY ˆˆˆ 为x关于y的一元线性回归方程 . ( 1 ) ,ab 的 估 计 ；2( 2 )  的 估 计 ；( 3 ) 线 性 假 设 的 显 著 性 检 验 ；( 4) b回 归 系 数 的 置 信 区 间 ；( 5 ) ( )x a b x 回 归 函 数 的 点 估 计 和 置 信 区 间 ；( 6) Y 的 观 察 值 的 点 预 测 和 区 间 预 测。 一元线性回归要解决的问题：     21,niiiQ a b y a b x  12 ( ) 0 ,niiiQ y a b xa       12 ( ) 0 .ni i iiQ y a b x xb       参数估计    ,ˆˆ ,ˆˆ , m i n ,ababQ a b Q a b求 估 计 ，使。    ,ˆˆ ,ˆˆ , m i n ,ababQ a b Q a b求 估 计 ，使。 1x 2x 3x ix nxˆˆy a bx1121 1 1( ) ,( ) ( ) .nniiiin n ni i i ii i in a x b yx a x b x y    整理得正规方程系数行列式       2211, , ,.i i x x ii i ix y i i y y iiiy y x x S x xnnS x x y y S y y         记 号 ：ˆ ˆˆ, , / .x y x xa b a y x b b S S  的 最 小 二 乘 估 计 ：ˆ ˆˆ ,. x x x ya x b y S b S  将 正 规 方 程 整 理 得 ：为 了 给 出 另 一 个 参 数的 估计 ，  定义 残 差。 记iii yye ˆ, 称ie为 残 差。 残 差 可 以 看成 是 不 可 观测 的 误 差i的 估计。  采 用 残 差 平 方 和 niiiyy12ˆ作 为2的 估计。  niiiyyns122ˆ21， 可 以 证 明2s为2的 无 偏 估计。 在误差为正态分布假定下 ， 最小二乘估计等价于极大似然估计。    2212 211, e xp2niiniL a b y a bx       21,niiiL a b y a bx对 最 大 化 等 价 于 对最 小 化 ， 即 最 小 二 乘 估 计。  采用最大似然估计给出参数 a ,b的估计与最小二乘法给出的估计完全一致。  采用最大似然估计给出误差 的估计与最小二乘法给出的估计不一致。 此时给出的估计不是无偏估计。 2 niii yyn122 ˆ1ˆ例 1 高的资料。 其中十对如下： 父亲身高x（吋） 60 62 64 65 66 67 68 70 72 74 儿子身高y（吋） 66 70 求 Y关于 x的线性回归方程。 2 , ,44794 , , , .i i iiix x x yyxx x ySS计 算 得 ：ˆˆ, 35 .9 76 8 , 0. 46 46a b a b的 最 小 二 乘 估 计 ：ˆ 3 5 . 9 7 6 8 0 . 4 6 4 6 .ˆ 6 7 . 0 1 0 . 4 6 4 6 ( 6 6 . 8 ) .yxyx  回 归 方 程 ：或 写 成 ：参数性质 定理 9. 在模型的假设下 , ( 1)  xxSbNb 2,~ˆ  （ 2 ）221,~ˆ xxSxnaNa  1ˆ ,x y x x x x i iib S S S x x Y  证 明 ： 因 为 /   11ˆ( ) ( ) ( )x x i i x x i iiiE b S x x E Y S x x a b x        211x x i i x x iiib S x x x b S x x b    即为正态随机变量的线性组合，所以服从正态分布。 证明（ 1）   xxxxniiSSxxbD22212)(]ˆ[ （ 2）类似可得。 回归方程显著性检验 采用最小二乘法估计参数 a和 b，并不需要事先知道 Y与 x之间一定具有相关关系。 因此 μ(x)是否为 x的线性函数： 一要根据专业知识和实践来判断， 二要根据实际观察得到的数据用假设检验方法来判断。 01: 0 , : 0 ,H b H b即 要 检 验 假 设（ 1）影响 Y取值的，除了 x，还有其他不可忽略的因素； （ 2） E(Y)与 x的关系不是线性关系，而是其他关系； （ 3） Y与 x不存在关系。 若原假设被拒绝，说明回归效果是显著的，否则，若接受原假设，说明 Y与 x不是线性关系，回归方程无意义。 回归效果不显著的原因可能有以下几种： 假设的检验统计量 与方差分析方法类似，仍采用平方和分解。 我们可以总的平方和分解为二个部分 :          222 ˆˆ yyyyyy iiii 而一般我们总是用   2)(ˆ yySST i 来描述nyyy ,21 ,之间的总的差异大小，把 SST 称为总的平方和。 并称 2)ˆ(ˆ   ii yySSE为模型的残差平方和； 2)ˆ(ˆ   yySSR i为模型的回归平方和； S S ES S RS S T  我们可以总的平方和分解为二个部分 :          222 ˆˆ yyyyyy iiii 而一般我们总是用   2)(ˆ yySST i 来描述nyyy ,21 ,之间的总的差异大小，把 SST 称为总的平方和。 并称 2)ˆ(ˆ  ii yySSE为模型的残差平方和； 2)ˆ(ˆ   yySSRi为模型的回归平方和； S S ES S RS S T  我们可以总的平方和分解为二个部分 :          222 ˆˆ yyyyyy iiii 而一般我们总是用   2)(ˆ yySST i 来描述 nyyy ,21 , 之间的总的差异大小，把 SST 称为总的平方和。 并称 2)ˆ(ˆ   ii yySSE 为模型的残差平方和； 2)ˆ(ˆ   yySSR i为模型的回归平方和； S S ES S RS S T  我们可以总的平方和分解为二个部分 :          222 ˆˆ yyyyyy iiii 而一般我们总是用   2)(ˆ yySST i 来描述nyyy ,21 ,之间的总的差异大小，把 SST 称为总的平方和。 并称 2)ˆ(ˆ  ii yySSE为模型的残差平方和； 2)ˆ(ˆ   yySSRi为模型的回归平方和； S S ES S RS S T  我们可以总的平方和分解为二个部分 :          222 ˆˆ yyyyyy iiii 而一般我们总是用   2)(ˆ yySST i 来描述nyyy ,21 ,之间的总的差异大小，把 SST 称为总的平方和。 并称 2)ˆ(ˆ  ii yySSE为模型的残差平方和； 2)ˆ(ˆ   yySSRi为模型的回归平方和； S S ES S RS S T  我们可以总的平方和分解为二个部分 :。