信息管理学讲稿

信息管理学讲稿内容摘要：

2121210xxPX 假定观察结果为正面朝上，即状态 x1出现，后验概率空间为  01 21* xxPX 则先验概率空间到后验概率空间转换过程为 012121 2121 xxxx 2． 偶发信息的描述 偶发信息对应于半随机试验。 在半随机试验中，可能的状态也是随机发生的，但由于这类试验是偶尔发生的，不具有大量重复时的统计稳定性，因 而不能用概率论来描述。 假定某个随机试验 X，它有 N 个可能的状态 x1, x2,… , xN。 试验的结果这 N 个状态总有一个会发生，且 x1发生的可能性为 q1， x2发生的可能性为 q2， … ， xN发生的可能性为 qN，且满足归一化条件：  Ni iq1 1 实际试验的结果，可能是 q1*, q2*,…, qN*，其中某个 10 nq，其余的 qn*=0。 把 q1, q2,…, qN称为关于 X 的先验可能度分布，用 Q 表示，而把 q1*,q2*,…, qN*称为关于 X 的后 验可能度分布，用 Q*表示。 Q 和 Q*与概率信息场合的 P 和 P*相似，但 Q 不是概率，无法用统计的方法求出，而是由观察者根据经验给出，是观察者关于 X 的主观经验性的先验可能性分布，服从归一化约束。 在半随机试验中， X 的状态集合和可能度分布描述了事物的运动状态和方式，分别定义（ X, Q）和 (X, Q*)为先验可能度空间和后验可能度空间，用它们来描述偶发信息。 观察者的实得信息可以用可能度空间的变换描述：  *QXQX 例 以赛马为例，假定有三匹编号为 3 的马参加比赛，把它 看做一个半随机型试验 X，则可能的状态有 6 种： x1:123 x2:132 x3:213 x4:231 x5:312 x6:321 试验的结果到底是哪种状态无法用概率或者确定型公式预测，具有偶然性。 同时由于赛马的竞技状态、场地的环境状况等都无法完全重复，也不可能做大量重复试验，因而只能建立主观的或者是经验的可能性分布，而无法建立概率分布。 假设有关 X 的先验可能度分布为 q1, q2,…, qN，而后验可能度分布为 q1*, q2*,…, qN*，则实得信息可以由下面变换描述： 信息管理学课程讲稿 第 13 页 ，共 92 页  *6*2*1 621621 621 ,...,...,..., ,..., qqq xxxqqq xxx 3． 模糊信息的描述 模糊信息是指用以消除模糊不确定型的信息。 可以用模糊隶属度曲线来描述模糊事物的运动状态和方式。 把模糊集元素的隶属度记为 f, 第 i 个元素的隶属度记为fi, 整个模糊集上的隶属度分布记为 F。 与概率的情况不同，这里的隶属度不满足归一化的要求，即  i ii Fff 1 把模糊试验 X 和它的隶属度分布 F 组成的序对（ X， F）称为模糊试验的隶属度空间。 这样，模糊试验所提供的模糊信息可以用试验前后隶属度空间的变化来描述。 用符号 F 表示试验前的隶属度分布， F*表示试验后的隶属度分布，则模糊试验提供的模糊信息可以描述为： （ X， F）→（ X， F*） 4． 确定型信息的描述 确定型信息是由确定型试验所提供的信息。 所谓确定型试验，是有确定的试验机构，但初始条件和环境条件都具有动态或时变性的试验。 确定型信息可以用确定性的数学模型来表示。 信息的申农测度 信息论的创始人申农 1948 年提出了信息的申农测度。 申农测度的基本思想是：信息是用来消除不确定性的，信息的数量可以用被消除掉的不确定性的大小来度量，而这种不确定性是由随机性引起的，可以用概率来描述。 因此，申农测 度可用以度量随机事件选择结果的不确定性的大小。 假设有随机事件集合 x1, x2,… , xN，出现的概率分别为 p1, p2,… , pN，满足   Ni ii pNip 1,...,1,10 ， 则随机事件集合 x1, x2,… , xN 的申农测度为  iiNss ppKppHH l og),...,( 1 （ 14） 其中 K 为正常数，式（ 14）也称为申农熵公式。 为了更好地理解申农测度的来源、内涵及有关假设和性质，下面给出申农熵公式的一个 简单证明。 定理 满足以下三个条件的不确定性度量 Hs 可且仅可用（ 14）式表示： （ 1） Hs 是 pi（ i=1,…, N）的连续函数； （ 2）如果所有的 pi 相等（即 pi =1/N），那么 Hs 是 N 的单调增函数； （ 3）如果选择分为相继的两步，原先的 Hs等于分步选择的各个 Hs值的加权和。 其中条件（ 3）的意义可以做如下解释： 设有 3 个事件 x1, x2和 x3，它们出现的概率分别为 p1=1/4， p2=1/3 和 p3=1/6。 在如图 所示不分步选择（ a）和分步选择（ b）的情况下，它们的概率空间是完信息管理学课程讲稿 第 14 页 ，共 92 页 全 相 同 的 ， 因 此 它 们 的 不 确 定 性 度 量 Hs 是 一 样 的 ， 即)31,32(21)21,41()61,31,41( sss HHH 。 图 (a) 不分步选择 图 (b) 分步选择 [证明 ] 先考虑等概率选择的情况（即 pi =1/N， i=1,…, N） 令 )()1,...,1( NANNH s  由条件（ 3），有 )()()1,...,1(1)1,...,1()1,...,1()( 1 NAMANNHMMMHMNMNHMNA sNiss   故有 )(2)( NANNA  一般地，有 )()( SASA   或 )()( tAtA   （ 15） 对于给定的 ，总能找到适当的 ，使得 1  StS （ 16） 两边取对数，并除以  logS，得  1loglog  St （ 17） 另一方面，由条件（ 2）及式（ 15），得 )()()( 1  SAtASA （ 18） 由式（ 15）和（ 17），得 )()1()()( SAtASA   两边除以 A(S)，得  1)( )(  SA tA （ 19） 由式（ 17）、（ 19），得 1/4 2/3 1/3 1/2 1/6 1/3 1/4 x1 p1=1/4 x2 p2=1/3 x3 p3=1/6 x1 p1=1/4 x2 p2=1/3 x3 p3=1/6 信息管理学课程讲稿 第 15 页 ，共 92 页   StSA tA loglog)( )( 式中 是任意小的正数。 在极限情况下，有 StSA tA loglog)( )(  令 KStSA tA  loglog)( )( A(t)=Klogt 由条件（ 2）知， K 必为正数。 因此，在等概率情况下式（ 14）成立。 考虑不等概率的情形，设事件发生的概率为 pi，  Ni ip 1。 先考虑 ),...,1( Nipi  均 为有理数的情形。 令iiiii uvuvp , ),...,1( Ni均为正整数。 求 ui 的最小公倍数，设其为 U，有 U=ki ui，则 Unp ii  其中 Unvkn Ni iiii  1,且，故  Ni iii nnp1， 考虑 U 个等概率为 Up 1 的事件，可以看成是先作概率为 Unp ii  ),...,1( Ni的 N 个不等概率的选择，再在每个选择后分别作 ni 个概率为in1 的等概率的选择。 根据条件（ 3），有 )1,... ,1(),... ,()1,... ,1( 11 iisNi iNss nnHpppHUUH  即 )(),...,()( 111 iNi iNsNi i nApppHnA    故 iNi iNsNi i nKpppHnK l og),...,(l og 111    即 信息管理学课程讲稿 第 16 页 ，共 92 页 iNiiNiiiNiiNiiNiiiNiiiNiiNiiNiiiNiiNiiNsppKnnpKnpnpKnpnpKnpnKppHl o gl o g))l o g()l o g(()l o gl o g)(()l o g( l o g), . . . ,(111111111111 因此，当 ),...,1( Nipi  均为有理数时，式（ 14）成立。 当 pi（ i=1,…, N）为无理数时，可以用有理数无限逼近，根据条件（ 1），结论也成立。 证毕■ 要注意的是，在申农测度公式的证明中，条件（ 1）、（ 2）和（ 3）是申农提出的关于不确定性测度的三个基本假设，也是获得申农熵公式的根本依据。 申农熵具有以下一些性质： （ 1）对称性 ),. .. ,(),. .. ,( )(11 NkksNs ppHppH ）（ 其中 {k(1),… , k(N)}是 {1,… ,N}的任意置换。 （ 2）归一性 1)21,21( sH （ 3）可扩展性 )0, .. .,(), .. .,0, .. .,(. ..), .. .,0(), .. .,( 11111 NsNiisNsNs ppHppppHppHppH   （ 4）确定性 0)1,0()0,1(  ss HH （ 5）极值性 NNNHppH sNs l og)1,...,1(),...,( 1  （ 6）申农不等式   iiii qppp loglog 其中   Ni ii pNip 1,...,1,10 ，   Ni ii qNiq 1,...,1,10。 现在，来考察一个标准的二择一事件，即有两种可能结果且两种结果出现的概率相等（抛硬币的事件就是这种情况），该事件的申农测度为 信息管理学课程讲稿 第 17 页 ，共 92 页 )21log2121log21()21,21(  KH s 由归一性，有 1)21,21( sH ， 取 2 为对数的底，易得常数 K=1，此时申农测度公式变为 iis ppH 2log （ 110） 要注意的是，当对数的底不为 2 时，常数 1K ，但可以把不为 1 的 K 计入信息的度量单位中。 当对数的底为 2 时，申农测度的度量单位为二进单位，即比特（ binary digit， bit）；以 e 为底时，称为自然单位，即奈特（ natural digit， nat）；以 10 为底时，即迪特（ decimal digit， dit）。 因 此，不失一般性，有申农测度公式  iis ppH log （ 111） 为计算和表达方便，规定 0log0=0。 容易证明， 1 比。