第四章-信道率失真函数后续习题课ppt-41平均失真和信息率

第四章-信道率失真函数后续习题课ppt-41平均失真和信息率内容摘要：

率等于信源的熵，即 信息率失真函数的性质 ( ) ( 0 ) ( )R D R H XmaxDmaxD（ 2）平均失真 D也有一上界值。 根据 R(D)的定义， R(D)是在一定的约束条件下，平均互信息量 I(X。 Y)的最小值，其下界为 0。 R(D)和 D的关系曲线一般如下图所示。 当 D大到一定程度， R(D)就达到其下界 0，我们定义这时的 D为。 第四章 信息 率失真函数 2020/11/23 Department of Communication China Ji Liang University 22 信息率失真函数 R(D) • 的计算 ： 设当平均失真 时， R(D)以达到其下界 0。 当允许 更大失真时，即 时， R(D)仍只能继续是 0。 因为当 X和 Y统计独立时，平均互信息 I(X。 Y)=0， 可见当 时， 信源 X和接收符号 Y已经统计独立了， 因此 与 xi 无关。 maxDmaxDm axDDm axDD( / ) ( )j i j jp y x p y p第四章 信息 率失真函数 2020/11/23 Department of Communication China Ji Liang University 23 信息率失真函数 R(D) 因此， 就是在 R(D)=0的条件下，看在什么 分布下，能够得到的平均失真 D的最小值，即 maxDm a x()11()11( ) ( )1 1 1m in ( ) ( )(( , )m inm in m i )njjjjnmi j i jpyijnminij i jpyijmmjp y p yjiji jjpdD p x p y d x ypp ddp yp第四章 信息 率失真函数 2020/11/23 Department of Communication China Ji Liang University 24 信息率失真函数 R(D) •也就是说要求 d(y)的数学期望最小值。 这个最小值是一定存在的。 比如 这样分布：当某一个 使得 d(yj) 为最小时，就取 ，而其余的 ，此时求得的 d(y)的数学期望一定是最小的。 此时，有 ()jpy()jpy ( ) 1jpy ( ) 0 ,ip y i jm a x( ) 1 , 2 , . . . , 1()m in m injnijp y j m iid y pDd  例题 4－ 3： 设输入输出符号表为 X=Y={0,1}， 输入概率分布为 ，失真矩阵为 ( ) { 1 / 3 , 2 / 3 }px 第四章 信息 率失真函数 2020/11/23 Department of Communication China Ji Liang University 25 信息率失真函数 R(D) 求 ，。 解： 1 1 1 22 1 2 2( , ) ( , ) 01( , ) ( , ) 10d x y d x yd x y d x y  dminD maxDm i n m i n0 ) ( ) ( 1 / 3 , 2 / 3 )PD D H X H   1 1 2 2时，R (此时信源无失真编码，10x y , x y , 编码器的转移概率 ＝01第四章 信息 率失真函数 2020/11/23 Department of Communication China Ji Liang University 26 信息率失真函数 R(D) m a x( ) 1 , 2 , . . . , 121 , 211 , 21 , 212m i n ( ) ( , )1 2 1 2m i n { 0 1 , 1 0 }3 3 3 31 2 1m i n { , }3 3 3( ) 0 , ( ) 1 ,P()m in m injnijp y j m ii i jjiijjDdp x d x ypyd y ppy       1 2 2 2此时输出符号概率01x y ,x y , 编码器的转移概率 ＝01第四章 信息 率失真函数 2020/11/23 Department of Communication China Ji Liang University 27 信息率失真函数 R(D) 例题 4－ 4 输入输出符号表同上题，失真矩阵为 求 ，。 解 ： 1 1 1 22 1 2 21( , ) ( , ) 12( , ) ( , )21d x y d x yd x y d x ydminD maxD2m a x 1 , 2 1 , 211 , 21 1 2 1 2m in ( ) ( , ) m in { 2 , 1 1 }3 2 3 3 33m in { , 1 } 12i i jjjijD p x d x y       m in,P,1 1 1( ) ( / ) ( , ) * + * 1 =3 2 356i j i i jijD p x p y x d x y 1 1 2 210x y , x y , 编码器的转移概率 ＝ 此时01第四章 信息 率失真函数 2020/11/23 Department of Communication China Ji Liang University 28 信息率失真函数的性质 •结 论。