信息论初步(ppt45)-经营管理(编辑修改稿)

信息论初步(ppt45)-经营管理(编辑修改稿)内容摘要：

P(B/C) P(C/A) P(C/B) P(C/C) = 9/11 1/8 0 2/11 190。 2/9 0 1/8 1/9 且已知 P(A)=11/36, P(B)=4/9, P(C)=1/4。 求该信源的平均信息量。 解 由 (28), 可求得该信源的条件平均信息量 H(xj/xi)=∑i∑j P(xi)P(xj/xi) log P(xj/xi) =P(A)[P(A/A)logP(A/A)+ P(B/A)logP(B/A)+ P(C/A)logP(C/A)] P(B)[P(A/B)logP(A/B)+ P(B/B)logP(B/B)+ P(C/B)logP(C/B)] P(C)[P(A/C)logP(A/C)+ P(B/C)logP(B/C)+ P(C/C)logP(C/C)]= bit 若上例 A, B, C符号统计独立，则可求得平均信息量 H(X)=∑iP(xi) log P(xi) = bit 可以证明，当离散信源中每个符号等概率出现，而且各符号的出现为统计独立时，该信号的平均信息量最大，此时最大熵 Hmax=∑i 1/Nlog1/N=log1/N 下面以 2元离散信源作为一个典型例子分析，若 2元离散信源的概率场为 x1, x2 P, Q , P+Q=1 则熵 H(x)=Plog2P(1P)log2(1P) (210) 由 dH(x)/dP=0， 得到 P=1/2， 此时， Hmax=1 bit 联合熵 存在两个离散信源 X和 Y时， X中的 xi和 Y中的 yi同时出现的平均信息量称为联合熵或者共熵，定义为 H(XY)= ∑i∑j P(xiyj) log P(xiyj) (211) 已知 X中出现 xi条件下， Y中出现 yi的 条件平均信息量 ： H(Y/X)= ∑i∑j P(xiyj) log P(yi/xj) (212) (26)中 互信息量 的统计平均值，称为 平均 互信息量 ，定义为 I(X,Y)= ∑i∑j P(xiyj) I(xi,yj) (214) 联合熵、熵、条件熵之间的关系  联合熵和熵、条件熵之间的关系 H(XY)=H(X)+H(Y/X) (215)  平均互信息量和条件熵的关系 I(X,Y)=H(Y)H(Y/X) (216)  平均互信息量与熵和联合熵的关系 I(X,Y)=H(X)+H(Y)H(XY) (217) 连续信源的信息度量 抽样定理告诉我们，如果一个连续信号的频带限制在 0WHz内，那么他完全可以采用间隔为 1/2W秒的抽样序列无失真地表示 我们来求每个采样点所包含的信息量，以与离散消息中每个符号所携带的信息量相对应，可以把连续消息看成离散消息的离散情况。 连续消息信号在每个采样点上的取值是一个连续的随机变量，其一元概率密度函数为 p(x)。 将随机变量的取值范围分成 2N个小段，当 N足够大时，取值落在 Δxi小段内的概率可近似表示为 P(xi≤ x≤ xi+Δ xi)≈ p(xi)Δ xi 由 (27)，可得各抽样点统计独立时，每个抽样点所包含的平均信息量 H(X) ≈ ∑i p(xi)Δ xi log [p(xi)Δ xi] (218) 令 Δ x→0 ， N→∞ 时，则可以得到连续消息每个抽样点的 绝对平均信息量 H(X) =limΔ x→0 ， N→∞ ∑i p(xi)Δ xi log [p(xi)Δ xi] =∫ p(x)dx{log[p(x)dx]} =∫p(x)logp(x)dx logdx∫p(x)dx =∫p(x)logp(x)dx+ log1/dx (219) 上式中的第二项为无穷大。 但在计算熵变化货比较不同的连续消息的熵时，可以相互抵消。 因此，可以定义连续信息的 平均信息量 H(x)=∫p(x)logp(x)dx (220) 例 27 有一连续消息源，其输出信号在 (1, +1)取值范围内具有均匀的概率密度函数，求该消息的平均信息量。 若该消息放大 4倍，再求其平均信息量。 解 当信号在 (1, +1)时，概率密度函数 p(x)=1/2，由 (220)，得到平均信息量 H(x)=－ ∫[1,1]1/2log1/2dx=1 bit 放大 4倍后，取值范围变为 (4, +4), p(x)=1/8, 其平均信息量为。