基于信息理论的鉴别信息测量_毕业论文(编辑修改稿)

基于信息理论的鉴别信息测量_毕业论文(编辑修改稿)内容摘要：

(9) )|:()|( 211 tHHiHtP 接着 回到式（ 7）， 同样的散度 ):( AA PPJ 可表达成 )(tifdJ 的和 ，每个都有两个子项： )|:()|( 21112 tHHiHtPifd I 和 )|:()|()( 12221 tHHiHtPtif d I ，在式（ 9）中我们讨论了 )()(12 tifdtifd II ，类似的讨论可以应用到第二个子项中，因此通过定义 ，消去 2121 ，则我们可以得到下列的正式定义： 定义 设 )()( tPtP AA  ，对每个 Vt 有 )()( tPtP AA  ，支持 1H 反对 2H 的鉴别信息可以由下式定义： )()()(12)1( tifdtifdtifd IIJ  此式在式（ 9）已给出，支持 2H 反对 1H 的鉴别信息可以由下式定义： )( )(l og)()()( 21)2( tP tPtPtif dtif d AAAIJ  (10) )|:()|( 122 tHHiHtP 且 t传达的剩余信息由下式定义： )()()( )2()1( tifdtifdtifd JJJ  (11) 现在进一步假设 21 HH和 是 t以先验概率 21 和 从 A和A 中提取，设 H 是 t从 CAA   中提取的，且 )|()()( 21   HtPtPtPP AA 。 接着回到式（ 8），信息半径 ),。 ,( 21 AA PPK  包含所有的词，每个都有两个子项： )|:()|()( 111 tHHiHtPtif d I 和 )|:()|()( 222 tHHiHtPtif d I 。 首先考虑第一个子项，它类似于 )(tifdI ， )|:( 1 tHHi  是鉴别两个相反的假设 HH和1 的能力， )|( 1HtP 测量 t关于 A在决策力上的意义，因此，由定义 ， 00 21   或 ，)(1 tifdI  表明 支持 1H 反对 H 的信息。 类似的讨论将应用到第二个子项中，则有 15 下列正式定义： 定义 对每个 Vt 都设 )()()( 21 tPtPtP AA   ，则每个 Vt 支持 1H 反对H 的鉴别信息的定义为： )( )(log)()()( 1)1( tP tPtPtif dtif d AAIK   (12) )|:()|( 11 tHHiHtP  支持 2H 反对 H 的鉴别信息的定义为： )( )(log)()()( 1)2( tP tPtPtif dtif d AAIK   (13) )|:()|( 22 tHHiHtP  且 t传达的剩余信息的定义为： )()()( )2(2)1(1 tifdtifdtifd KKK   (14) 在下一节中， 我们讨论在定义 知的鉴别信息的性质，并给出相应的解释。 鉴别测量的阐述 取决于他们的属性的个别的鉴别测量的阐述是不同的，在这节中，在表达 A的上下文关系时，我们将明白 t是否是最有信息的或不取决于 A是否是 ssc（ 也就是 ， *1Vt ），而不是剩余支持度的标志。 )(tifdI 的阐述 注意， 对于每个非对称定向散度中的词 )(tifdI 在 Vt 中的符号可能是正也可能是负 ，因此我们有下列的定量表示： )()( tPtP AA  ，则 0)|:( 21 tHHi ，即 t在分类 C 到 c中不能提供鉴别信息。 )()( tPtP AA  ，则 0)|:( 21 tHHi ， 且 t传达支持 1H 反对 2H 的信息， 16 因此由定义 ： 0)()()}(m a x {*  tif dtif dtif d III 且 ):(sup 21 HHtI  3. 如果 )()( tPtP AA  ，则 0)|:( 21 tHHi ，且 t传达支持 1H 反对 2H 的信息，因此 0)()()}(m a x {*  tif dtif dtif d III ，如第 2节中所提， t应该马上丢弃。 评论 注意，从上面的三点我们不能找到 t的 ssc和 )(tsscD ，在这三点的情况下，我们也不能说 t有助于支持 2H 反对 1H 的 0Iifd，因为)()|:()()|:()()( 2112 1212 tif dtHHitPtHHitPtif d IAAI 。 )(tifdJ 的阐述 在给出定量表示之前，首先让我们通过下列的定 理 [42]考虑 )(tifdJ 的属性： 定量 对任意 Vt ，若满足 0)()(  tPtP AA ，则我们 通常有 0)( tifdJ 且 )()( tPtP AA  ，则 0)(12 tifdI，也就是 0)(21 tifdI； 2. 有且只有当 )()( tPtP AA  ，则 0)(12 tifdI，也就是 0)(21 tifdI。 从上面的定理，我们了解到非对称散度的每个词 )(tifdJ 都是非负的，且对每个 Vt 都有 0)(2112  II ifdtifd，因此我们有下列的定量表示： 1. 如果 )()( tPtP AA  ，则 0)|:()|:( 1221  tHHitHHi ，即 t在分类 C 到 c中不能提供鉴别信息。 2. 如果 )()( tPtP AA  ，则 a. 0)|:( 21 tHHi ,则 t传达支持 1H 反对 2H 的信息，且 t有助于 支持 1H 反对 2H 的 )(1212 tifdifd II 。 b. 0)|:( 21 tHHi ， t也传达支持 2H 反对 1H 的信息，且它有助于支持 2H 反对 1H 的 )(2121 tifdifd II 。 因此，由定义 ，我们可得 17 0)()}(),(m a x { 122112*  tif dtif dtif d III ，且 ):(sup 1  HHtK ， 因此 0)( tifdK 表明 t支持 1H 比 H 更多一些。 )()( tPtP AA  ，则 a. 0)|:( 21 tHHi ， t传达支持 1H 反对 2H 的信息，且 t有助于支持 1H 反对2H 的 )(1212 tifdifd II 。 b. 0)|:( 21 tHHi ， t也传达支持 2H 反对 1H 的信息，且它有助于支持 2H 反对 1H 的 )(2121 tifdifd II 。 因此， 0)()}(),(m a x {212112*  tif dtif dtif d III，且 ):(s up 12 HHtJ  ，因此与第二点比较， 0)( tifdJ 表明 t支持 2H 比 H 更多一些。 评论 从以上三点，我们能明白当 1Vt ，剩余支持度 0)( tifdJ 并不表示):(s up 12 HHtJ  ，这是因为 )(tifdJ 为正是 受 021Iifd 所决定的， 在第二节中的已经给出了 21 KK和 这两个实例清晰地阐述了我们的观点。 因此，为判断是否有 ):(s up 21 HHtJ  ，我们必须进行更深入的考虑，从以上第二点我们可以很容易得到，若存在 ):(s up 21 HHtJ  ，只有在： 0)(if d2112  II ifdt (15) )(tifdK 的阐述 注意 )(tifdK 的符号可能正可能负，因为它的两个子项可能正可能负，因此，类似于 )(tifdJ ，在给出定量表示之前，我们通过下列定理 [32]首先考虑下 )(tifdK 的属性： 定理 对任意 Vt ，若满足 0)()(  tPtP AA ，我们常有： )()( tPtP AA  ，则 0)(1  tifdI，也就是 0)(2  tifdI； 2. 有且只有当 )()( tPtP AA  ，则 0)(1  tifdI，也就是 0)(2  tifdI。 18 从上面的定理，我们了解到对每个 Vt 都有 0)(21   II if dtif d，因此我们有下列的定量表示： 1. 如果 )()( tPtP AA  ，则 0)|:()|:( 21   tHHitHHi ，即 t在分类 C 到 c中不能提供鉴别信息。 2. 如果 )()( tPtP AA  ，则 a. )()1()()1( 11 tPtP AA   ，也就是 )()()( 21 tPtPtP AAA   ，因此0)|:( 1  tHHi ， t传达支持 1H 反对 H 的信息，且 t有助于支持 1H 反对 H 的)(11 tifdifd II  。 b. )()1()()1( 22 tPtP AA   ，也就是 )()()( 21 tPtPtP AAA   ，因此0)|:( 2  tHHi ， t也传达支持 2H 反对 H 的信息，且 t有助于支持 2H 反对 H的 )(22 tifdifd II  。 因此，由定义 ，我们可得0)()}(),(m a x { 121*   tif dtif dtif d III ，且 ):(s up 21 HHtJ  ，因此从非负性出发， 0)( tifdJ 表明 t支持 1H 比 2H 更多一些。 )()( tPtP AA  ，则 a. )()1()()1( 11 tPtP AA   ，也就是 )()()( 21 tPtPtP AAA   ，因此0)|:( 1  tHHi ， t传达支持 1H 反对 H 的信息，且 t有助于支持 1H 反对 H 的)(11 tifdifd II  。 b. )()1()()1( 22 tPtP AA   ，也就是 )()()( 21 tPtPtP AAA   ，因此0)|:( 2  tHHi ， t也传达支持 2H 反对 H 的信息，且 t有助于支持 2H 反对 H的 )(22 tifdifd II  。 因此， 0)()}(),(m a x {221*   tif dtif dtif d III，且 ):(s u p 2  HHtK ，因此 与第二点比较 ， 0)( tifdK 表明 t支持 2H 比 H 更多一些。 19 评论 从以上三点，我们能明白当 1Vt ，剩余支持度 0)( tifdK 并不表示):(s up 1  HHtK ，这是因为 )(tifdJ 为正是受 02 Iifd 所决定的 （见第二节中已经给出了 21 KK和 ）。 因此，为判断是否有 ):(s up 1  HHtK ，我们必须进行更深入的考虑，从以上第 二点我们可以很容易得到，若存在 ):(s up 1  HHtK ，只有在： 0)(i f d21 21   II i f dt  (16) 方法 已给出了 MDI的正式分析后，现在我们是要考虑如何将它运用到实际问题中 —— 测量词之间的语义关联程度。 在定义 ，根据式 (9)(14)给出的鉴别测量方法，我们可以写出关联性测定的一系列定义，很显然下面三个定义是定义 ： 定义 设每个 Vt 都有 )()( tPtP AA  ，在每个 Vt 中， t与对象 1 之间的关联性可以由下式规定： )( )(l og)()()()(),( 111 tP tPtPttif dttr e l AAAII   (17) 定义 设每个 Vt 都有 )()( tPtP AA  且 )()( tPtP AA  ,在每个 Vt 中， t与对象 1 之间的关联性可以由下式规定： ),。