统计学判别分析(编辑修改稿)

统计学判别分析(编辑修改稿)内容摘要：

  1 ( 1 ) ( 2 )ˆ( ) ( ) 39。 ( )W x x x x x  S 非线性判别函数 :当 S(1) ≠S(2)时 2221( 2 ) ( 2 ) 1 ( 2 ) ( 1 ) ( 1 ) 1 ( 1 )( , ) ( , )( ) 39。 ( ) ( ) ( ) 39。 ( ) ( )D x G D x Gx x x xm m m m  S    S 这是 x的一个二次函数 , 按照距离最近原则 ,判别准则仍然为 如果 W(x)0即 D(x,G1)D(x,G2)则 x∈ G1 如果 W(x)0即 D(x,G1)D(x,G2)则 x∈ G2 如果 W(x)=0即 D(x,G1)=D(x,G2)则待判 多总体时的线性判别函数 :当 S(1)=…= S(k)=S时 记 22( ) ( ) 1 ( ) ( )1( ) [ ( , ) ( , ) ]21[ ( ) ] 39。 ( ) , , 1 , .. .,2ij i ji j i jW x D x G D x Gx i j km m m m   S  相应的准则为 : 如果对一切 j≠i, Wij(x)0, 则 x∈ Gi 如果有某一个 Wij(x)=0, 则待判 2 ( ) ( ) 1 ( )( , ) ( ) 39。 ( ) ( ) , 1 , .. .,i i iiD x G x x i kmm   S  非线性判别函数 :当 S(1) ,…, S(k) 不等时 ( ) ( ) 1 ( )( ) ( ) 1 ( )( ) ( ) 39。 ( ) ( )( ) 39。 ( ) ( )j j jiji i iW x x xxxmmmm  S   S 相应的准则为 : 如果对一切 j≠i, Wij(x)0, 则 x∈ Gi 如果有某一个 Wij(x)=0, 则待判 . 当 m(i), S(i) 未知 时 , 可通过样本来估计 2( ) ( ) ( ) ( )1( ) ( ) ( ) ( )111ˆˆ , , 1 , ...,1( ) ( ) 39。 .ini i i ikikiini i i ii t ttx x S i knnS x x x xm  S    m个判别函数的判别能力定义为 下面以两总体 (k=2)为例来发现阈值 . 它们的均值 的投影分别为 111mimii rihhpll(1 ) ( 2 ),xx ( 1 ) ( 2 )1139。 , 39。 v x v x当总体方差相等时 阈值为 ( 1 ) ( 2 ) ( 1 ) ( 2 )1 1 1( 39。 39。 ) / 2 39。 ( ) / 2v x v x v x xm    1( 1 ) ( 1 )1 1 139。 , .. ., 39。 nv x v x12 ( 1 ) ( 1 ) ( 1 ) ( 1 )1 1 1 1 1 111139。 [ ( ) ( ) 39。 ] 39。 11niiis v x x x x v v A vnn    总体方差不等时 ,注意到 的样本方差为 ( 1 ) ( 2 )* 2 1 1 11239。 39。 s v x s v xssm 类似地 ,第二组数据投影的样本方差为 22 1 2 121 39。 1s v A vn于是阈值 如 ( 2 ) ( 1 )1139。 39。 v x v x判别规则为 12( ) ( * )( ) ( * )( ) ( * )y x or x Gy x or x Gy x or x und e c ide dmmmmmm    用 m个线性判别函数 yi(x) =vi’x,i=1,…,m, 时 , 先将样本点在 L(vi,…,v m )空间投影再按照 p1情况的距离判别法来制定判别规则 . 判别能力为 111mimii rihhpll于秀林书上介绍了对用一个和 m个判别函数的加权和不加权方法 . 记 y(x)= v’x, 其在 Gi上的样本均值和方差 , 以及总均值为 ( ) ( ) 2 ( )39。 , 39。 , 39。 i i iiy v x v s v y v x  m=1时 , 不加权法 : ( ) ( )| ( ) | m in | ( ) |ij jiy x y y x y x G    m=1时 , 加权法 : 按大小排列 ( 1 ) ( ), .. ., ( 1 ) ( )ky y y y k  Di,i+1可为相应两类的分界点 相应的标准差为 令 (1 ) , ... , ( )k,1( 1 ) ( ) ( ) ( 1 ) , 1 , . . . , 1( 1 ) ( )iii y i i y id i kii    1 , , 1()i i i i id y x d x G   m1时 , 不加权法 : 记 对 x=(x1,…,)’, y l(x)=v(l)’x m1时 , 加权法 : 记 2 ( ) 21[ ( ) ] , 1 , . . . ,mii l llD y x y i k  则 则 22m iniiD D x G  ( ) ( ) ( )39。 , 1 , ....,。 1 , ...,i l ily c x l m i k  2 ( ) 21[ ( ) ] , 1 , .. .,mii l l llD y x y i kl  22m iniiD D x G  Bayes判别法 • 不用判别式 ,而用 比较 新给样品属于各个总体的条件概率 P(l|x), l=1,…, k, 的大小 (将新样品判归为来自概率最大的总体 ). • 先给出对于 k个总体的先验概率 q1,…,q k. 如各总体密度为 {fk(x)}, 则后验概率为 (g=1,…k): P(g|x)=qgfg(x)/Si qifi(x) • 当且仅当 P(h|x)= maxgP(g|x), 判 x来自第 h总体 . • 也可以用使错判的损失最小来判别 . 如果 c(i|j)为来自 j总体的个体被错判到第 i总体的损失 . 定义平均错判损失 (ECM)为 ECM=Si=1 qi[Sl≠iP(l|i)c(l|i)] 逐步判别法 • 前面判别用了所有变量 . • 但是各变量所起作用并不一样 . • 要有进有出 ,引进“最重要的”并剔除不显著的 . 根据是假设检验 (比如似然比检验 ). • 检验的零假设是各组变量均值相等 . Lambda (Wilks’ Lambda统计量 ) 接近 0表示组均值不同 ,接近 1表示组均值没有不同 . Chisquare是 lambda的卡方转换 (Bartelett近似 ), 用于确定其显著性 . 鸢尾花数据 (花瓣 ,花萼的长宽 ) 5个变量 :花瓣长 (slen),花瓣宽 (swid), 花萼长 (plen), 花萼宽 (pwid), 分类号 (1:Setosa, 2:Versicolor, 3:Virginica)(data1404) Statistics→Classify →Discriminant: Variables: independent (slen,swid,plen,pwid) Grouping(spno) Define range(min1,max3) Classify: prior probability(All group equal) use covariance matrix (Withingroups) Plots (Combinedgroups, Separategroups, Territorial map) Display (Summary table) Statistics: Descriptive (Means) Function Coefficients (Fisher’s, Unstandardized) Matrix (Withingroups correlation, Withingroups covariance, Separategroups covariance, Total covariance) Save: (Predicted group membership, Discriminant Scores, Probability of group membership) 鸢尾花数据 (数据分析过程简明表 ) A n a l y s i s C a s e P r o c e s s i n g S u m m a r y1 5 0 1 0 0 . 00 .00 .00 .00 .01 5 0 1 0 0 . 0U n w e i g h t e d C a s e sV a l i dM i s s i n g o r o u t o f r a n g eg r o u p c o d e sA t l e a s t o n e m i s s i n gd i s c r i m i n a t i n g v a r i a b l eB o t h m i s s i n g o ro u t o f r a n g e g r o u pc o d e s a n d a t l e a s t o n em i s s i n g d i s c r i m i n a t i n gv a r i a b l eT o t a lE x c l u d e dT o t a lN P e r c e n tG r o u p S t a t i s t i c s5 0 . 0 6 3 . 5 2 5 50 5 0 . 0 0 03 4 . 2 8 3 . 7 9 1 50 5 0 . 0 0 01 4 . 6 2 1 . 7 3 7 50 5 0 . 0 0 02 . 4 6 1 . 0 5 4 50 5 0 . 0 0 05 9 . 3 6 5 . 1 6 2 50 5 0 . 0 0 02 7 . 6 6 3 . 1 4 7 50 5 0 . 0 0 04 2 . 6 0 4 . 6 9 9 50 5 0 . 0 0 01 3 . 2 6 1 . 9 7 8 50 5 0 . 0 0 06 6 . 3 8 7 . 1 2 8 50 5 0 . 0 0 02 9 . 8 2 3 . 2 1 8 50 5 0 . 0 0 05 5 . 6 0 5 . 5 4 0 50 5 0 . 0 0 02 0 . 2 6 2 . 7 4 7 50 5 0 . 0 0 05 8 . 6 0 8 . 6 3 3 1 5 0 1 5 0 . 0 0 03 0 . 5 9 4 . 3 6 3 1 5 0 1 5 0 . 0 0 03 7 . 6 1 1 7 . 6 8 2 1 5 0 1 5 0 . 0 0 01 1 . 9 9 7 . 6 2 2 1 5 0 1 5 0 . 0 0 0花萼长花萼宽花瓣长花瓣宽花萼长花萼宽花瓣长花瓣宽花萼长花萼宽花瓣长花瓣宽花萼长花萼宽花瓣长花瓣宽分类刚毛鸢尾花变色鸢尾花佛吉尼亚鸢尾花T o t a lM e a nS t d .D e v i a t i o n U n w e i g h t e d W e i g h t e dV a l i d N ( l i s t w i s e )鸢尾花数据 (原始数据的描述 ) 鸢尾花数据 (合并类内相关阵和协方差阵 ) P o o l e d W i t h i n G r o u p s M a t r i c e sa2 9 . 9 6 0 8 . 7 6 7 1 6 . 1 2 9 4 . 3 4 08 . 7 6 7 1 1 . 5 4 2 5 . 0 3 3 3 . 1 4 51 6 . 1 2 9 5 . 0 3 3 1 8 . 5 9 7 4 . 2 8 74 . 3 4 0 3 . 1 4 5 4 . 2 8 7 4 . 1 8 81 . 0 0 0 . 4 7 1 . 6 8 3 . 3 8 7. 4 7 1 1 . 0 0 0 . 3 4 4 . 4 5 2. 6 8 3 . 3 4 4 1 . 0 0 0 . 4。