第8章非线性回归

第8章非线性回归内容摘要：

钠X 2 （ g ） 焦亚硫钠X 3 （ g ） 吸收度 y 1/ y 1 0 . 00 30 0. 6 1. 16 0 0. 86 2 2 0. 02 38 1. 2 0. 31 2 3. 20 5 3 0. 04 46 0. 4 0. 30 6 3. 26 3 4 0. 06 26 1 .0 1. 31 8 0. 75 9 5 0. 08 34 0. 2 0. 87 7 1. 14 0 6 0. 1 0 42 0. 8 0. 14 7 6. 80 3 7 0. 12 50 1. 4 0. 20 4 4. 90 2 167。 多项式回归 首先做线性回归 ， 回归的计算程序参照例 ， 得回归方程 y = + X1 X2 X3 回归模型的 P值 =； 决定系数 （ Rsquare） = % ； 调整的决定系数（ AdjRsq） = %。 可见线性回归的效果不够好，以下使用二次多项式回归。 167。 多项式回归 使用逐步回归 ， 回归方程的具体形式是： 2 2 20 1 1 2 2 3 3 1 1 1 2 2 2 3 3 31 2 1 2 1 3 1 3 2 3 2 3 y B B X B X B X B X B X B XB X X B X X B X X        做变量替换转化为 9个自变量的线性回归。 322331132112233322222111, ,XXXXXXXXXXXXXXX167。 多项式回归 表 回归变量表 X 1 X 2 X 3 X 11 X 22 X 33 X 12 X 13 X 23 y 30 38 46 26 34 42 50 900 1444 2116 676 1156 1764 2500 1. 960 167。 多项式回归 这个线性回归只有 7组观测数据却有 10个未知参数，需要使用逐步回归逐个引入变量。 在 SPSS软件逐步回归模块默认的进入变量 P值 =，剔除变量 P值 =，逐步回归只进行了一步就结束了，只选入了自变量 x2。 为了更全面地了解回归的效果，可以把进入变量的条件放宽一些。 用 Option选项把进入变量 P值改为 ，剔除变量 P值改为 ，重新做逐步回归。 167。 多项式回归 表 逐步回归的输出结果（ 2） Step 1 2 3 4 5 C on s t an t 2. 57 9 5. 95 7 7. 31 1 7. 87 3 9. 16 5 X2 Pr o b F 0. 05 16 0. 00 4 0. 23 76 0. 05 3 0. 30 34 0 . 02 1 0. 31 26 0. 03 0 0. 37 8 0. 01 6 X22 Pr o b F 0. 00 24 5 0. 10 0 0. 00 33 6 0. 03 3 0. 00 32 3 0. 04 8 0. 00 46 0. 01 9 X3 Pr o b F 0. 29 2 0. 10 7 1. 11 5 0. 16 8 1. 43 0 0. 03 3 X23 Pr o b F 0. 02 06 0. 25 1 0. 03 17 0. 03 9 X13 Pr o b F 2. 33 0. 05 8 R s qu ar e 83 . 14 92 . 12 97 . 11 98 . 73 99 . 99 167。 多项式回归 22X 此时的逐步回归共进行了 5步 ， 依次选入了 X2， X22= ，X3， X23=X2 X3， X13= X1 X3共 5个变量 ， 共计算出 5个回归模型 : 第一个回归模型最先选入的是 X2， 说明无水碳酸钠的含量是最重要的影响因素； 第二个回归模型再选入的是 X22= ， 进一步说明无水碳酸钠的含量是最重要的影响因素 ， 并且说明 y与 X2的关系是非线性的 222 XXy  容易求出此方程在 X2=≈ 48时达极小值 y=，比第 6号实验值 y=。 22X167。 多项式回归 再看第三个回归方程： 3222 0 3 3 XXXy  为使 y值最小 ， X3应该最大 ， 取 X3=， X2的取值与 X3无关 ， 容易求出此方程在 X2=≈ 45， X3=值 y=， 低于第 6号实验值 y=。 167。 多项式回归 第四个回归方程是： 22 2 3 2 37 . 8 7 3 0 . 3 1 2 6 0 . 0 0 3 2 3 1 . 1 1 5 0 . 0 2 0 6y X X X X X     在回归方程含有 X3的两项－ X3+ X2X3中 ， 当X2≤ 54时是 X3的减函数 ， 根据对第二和第三两个回归方程的分析 ， 两个方程中 X2的最优解分别是 48和 45， 所以有理由认为 X2≤ 54， y是 X3的减函数 ， X3越大 y越小 ， 因此取 X3=。 把 X3=，解得 X2的极小值是X2=≈ 44，所以第四个回归方程的最优组合是 X2=44，X3=，此时最优预测值 y=，与第三个回归方程的最优解基本相同。 167。 多项式回归 第五个方程是： 其中包含了变量 X1， 并且是作为与 X3的交互作用形式出现 ， 说明 EDTA对实验指标本身没有影响 ， 只是通过焦亚硫酸钠对实验产生弱的影响。 仿照对第四个回归方程求最优解的方法 ， 首先确定 X1和 X3是 y的减函数 ， 分别取最大值X1= X3=， 然后再解得 X2=≈41。 最优预测值 y= － 0 ， 可以视为接近 0。 22 2 3 2 3 1 3 9 . 1 6 0 . 3 7 9 0 . 0 0 4 0 6 1 . 4 3 0 . 0 3 1 7 2 . 3 3 y X X X X X X X  167。 多项式回归 比较第三 、 四 、 五这 3个回归模型 ， 回归方程的 决定系数分别 是： 、 、 %， 从回归的效果看第五个回归的效果最好 ， 但是有 6个估计参数 ， 而 y的数据只有 7个 ， 所以估计的误差会较大。 第三 、 四两个回归模型的实验条件基本相同 ， 预测值也很接近 ， 约为 ， 明显小于第 6号实验的吸收度y=， 是一组稳定的好条件 ， 见表。 167。 多项式回归 最 优 搭 配 回归 模型 X1 （ g ） X 2 （ g ） X 3 （ g ） 最优 预测值 二 三 四 五 0 . 0 0 0 . 0 0 0 . 0 0 0 . 1 2 48 45 44 41 0 . 0 1 . 4 1 . 4 1 . 4 0 . 1 9 7 0 . 0 7 4 0 . 0 8 0 0 . 0 0 0 表 吸收度的最优实验条件 167。 多项式回归 本例的文献 [17]对吸收度 y值先取了倒数作为实验指标 ，其数值越大越好 ， 然后建立回归方程。 这样做的一个好处是避免了本例回归模型五预测值为负值的情况 ， 但是回归方程的效果不好。 文献中得到的最优条件是 X1=、X2=3 X3=， 和本例第五个模型相差不大。 167。 非线性模型 一、非线性最小二乘 yi = f (xi,θ)+εi , i=1,2,…, n （ ） 其中， yi是因变量， 非随机向量 xi=(xi1,xi2,… ， xik) ′是自变量， θ=(θ0,θ1,… ， θp )′是未知参数向量， εi是随机误差项并且满足独立同分布假定，即 n),2, 1,j, (i j i , 0ji , ),c ov (n , 2, 1,i ,0)E(2jii167。 非线性模型 对非线性回归模型 我们仍使用最小二乘法估计参数 θ， 即求使得 niii xfyQ12)),(()( θθ达到最小的 θ ˆ ,称为 θ 的非线性最小二乘估计。 167。 非线性模型 在假定 f 函数对参数 θ 连续可微时，可以利用微分法， 建立正规方程组，求解使 Q( θ ) 达最小的 θ ˆ。 将 f 函数对参数 θ j 求导，并令为 0 ，得 p + 1 个方程： pjfxfyQ ni jjjiijjj,2,1,0 0ˆ))ˆ,((2ˆ1  称为非线性最小二乘估计的正规方程组 也可以直接极小化残差平方和 Q( θ ) ，求出未知参数 θ 的非线性 最小二乘估计 θ ˆ。 167。 非线性模型 在非线性回归中，平方和分解式 SST=SSR+SSE 不再成立。 类似于线性回归中的复判定系数， 定义非线性回归的相关比为： SSTSSER  12相关比也称为相关指数。 167。 非线性模型 二、非线性回归模型的应用 例 一位药物学家使用下面的非线性模型对药物反应拟合回归模型： iii ccxccy 12001 自变量 x是药剂量，用级别表示； 因变量 y是药物反应程度，用百分数表示。 3个参数 c0、 c c2都是非负的，根据专业知识， c0的上限是 100%， 3个参数的初始值取为 c0=100， c1=5， c2=。 测得 9个反应数据如下： 167。 非线性模型 x 1 2 3 4 5 6 7 8 9 y(%) X1086420Y10080604020020图 药物反应程度散点图 167。 非线性模型 在 SPSS的 Regression菜单下点选 Nonlinear，进入非线性回归对话框，将 y点入因变量框，在 model Expression框中输入回归函数 c0c0/(1+(x/c2)**c1),然后点 Parameters进入参数设置框赋给未知参数初值。 167。 非线性模型 Iteration Residual SS C0 C1 C2 1 2 3 4 5 6。