1672-1、判别函数1672-2、线性判别函数1672-3、线性判别函数的

1672-1、判别函数1672-2、线性判别函数1672-3、线性判别函数的内容摘要：

211312211100 wxwxwwxwxw243121,xxxx设：最终形成图多面锥210)(xxxg32211)( wxwxwxg 2020/11/23 26 这是一个不等式方程组，它的解 处于由 ω 1类所有模式决定的平面的正边和由 ω 2类所有模式决定的平面的负边，它的解区即为凸多面锥。 如图所示： (b)为加权空间，（ c） 为正规化后的加权空间。 由上可以得到结论：加权空间的所有分界面都通过坐标原点。 这是加权空间的性质。 为了更清楚，下面用二维权空间来表示解向量和解区。 TW ),( 3212020/11/23 27 加权空间判别界面2020/11/23 28 正规化后的加权空间 2020/11/23 29  在三维空间里，令 w3 = 0 则为二维权空间。 如图：  给定一个模式 X， 就决定一条直线：  即分界面 H， W与 H正交， W称为解向量。  解向量的变动范围称为解区。  因 x1,x2∈ ω1， x3,x4∈ ω2由图可见 x1,x3离的最近，所以 分界面 H可以是x1,x3之间的任一直线，由垂直于这些直线的 W就构成解区，解区为一扇形平面，即阴影区域。  如右图 : 解向量和解区 0)(  XWxg T1w2w1x4x3x2x解区W解向量解向量与解区分界面 2020/11/23 30 把不等式方程正规化： 正规化： 00003422411332231132222113122111wxwxwwxwxwwxwxwwxwxw1 2 1( ) 0( , , . . . , , )Tnng x W XW w w w w 2020/11/23 31 g(x)=WTX=0决定一个决策界面 ， 当 g(x)为线性时，这个决策界面便是一个超平面 H， 并有以下性质： 性质 ①： W与 H正交（如下图所示） 假设 x1,x2是 H上的两个向量 所以 W 与 (x1x2) 垂直，即 W与 H正交。 一般说，超平面 H把特征空间分成两个半空间。 即 Ω1,Ω2空间，当 x在 Ω1空间时 g(x)0,W指向 Ω1，为 H的正侧，反之为 H的负侧 . 上矢量一定在 HxxxxWwxWwxWTnTnT)(,0)(021211211 超平面的几何性质 2020/11/23 32 1x2X1X2xWHΩ1 Ω2 g(x)0 g(x)0 2020/11/23 33 矢量到 H的正交投影 与 值成正比 其中： x p： x在 H 的投影向量 ， r是 x 到 H 的垂直距离。 是 W方向的单位向量。 W)x(gr  性质 ②： WWrxrxxpp )(xgx rWWq2X1XpxWxHpr2020/11/23 34 另一方面 : 11 )()(   npTnT wrxWwxWxg1 nTpT wrWxW)(,)()()(021WWWrWxgrWrWWWrWWrWrWxgwxWHpTTTTnpT是投影的绝对值上。 在因为 这是超平面的第二个性质，矢量 x到超平面的正交投影 正比与 g(x)的函数值． r2020/11/23 35 WWqqrHxxqWWWxgrxwwxWxgnnnnT11110)()0()(的投影为到时因因原点因为成正比的距离与原点到 11  nn WH,WWq性质③： q2X1X0H2020/11/23 36 性质④： 通过原点。 ，说明超平面则若在原点负侧。 则在原点正侧，若则若HxWxgWHWHWTnnn)(,0,0,0111否则，反之。 的正侧，在代数距离。 到正比于来决定。 的位置由超平面决定正交，方向由的平面与）超平面（结论：,0)()()()(1xgHxHxxgcWHbWWHan2020/11/23 37 一组模式样本不一定是线性可分的，所以需要研究线性分类能力的方法，对任何容量为 N的样本集，线性可分的概率多大呢。 （如下图（ a）， 线性不可分） 例： 4个样本有几种分法。 图（ b）① 直线把 x1分开，每条直线可把 4个样本分成ω 1 ω 2 类， 4个样本分成二类的总的可能的分法为24=16类，其中有二种是不能用线性分类实现的，线性可分的是 14。 即概率为 14/16。 4．二分法能力 （ a） x1 x2 x3 x4 ① ⑥ ③ ② ④ ⑤ ⑦ （ b） 2020/11/23 38 结论： N个样品线性可分数目 (条件：样本分布良好）： 为特征数为样本数其中 nNkNk NC kN ,])!1(![ )!1(1 nkkNNnNCnNnND01 1,21,2),(若若 对 N和 n各种组合的 D(N,n)值，表示在下表中，从表中可看出，当 N， n缓慢增加时 D(N,n)却增加很快。 2020/11/23 39 1 2 3 4 5 6。