基于hevc的视频后处理初步研究毕业设计(编辑修改稿)

基于hevc的视频后处理初步研究毕业设计(编辑修改稿)内容摘要：

码标准的演变是视 频编码技术发展的一个缩影。 、生产中的每个领域，包括高清晰度（高清）电视卫星、有线电视信号、地面传输系统、视频内容的采集和编辑系统、摄像机、安全应用、互联网和移动网络视频、蓝光碟片以及实时会话的应用，如视频会议、视频聊天、临场感系统。 取代了其他旧的编码标准在视频编码领域的地位。 但是， 准的性能依然是无法满足如今视频设备的多样化发展、无法满足高清视频用户数河海大学本科毕业设计 6 量的增加和超高清视频的出 现的要求，带有立体声和多视点视频捕捉、高清显示设备的出现更是不断地推动人们探索提高视频压缩技术性能的新方法。 此外，针对移动设备和平板电脑的视频应用造成的数据增加，以及传输需求的视频点播服务，对当今的网络也提出了更大、更新的挑战，移动应用中的视频也向着高质量和高分辨率的方向发展。 HEVC 的制定，基于的最主要的标准就是 ， 1999年至 20xx 年间 HEVC 一直在不断发展。 环路去块效应滤波技术的国内外相关研究 视频编码技术已被广泛应用在减少编码比特率，以节省信道带 宽和磁盘空间的过程中。 为了提高编码性能，众所周知的视频编码标准从 展到 HEVC，并日益成熟，性能较以往标准更是有了显著地改善与提高。 保持图像质量不变的情况下，同时大大降低比特率。 然而，块效应却依旧会在解码图像中出现。 消除块状影像以提高图像质量的视频编码系统是一个亟待被研发出来的。 现阶段国内外针对编码标准中的环路去块效应滤波问题的研究主要是集中在 ，同时包括软、硬件方面的研究。 针对视频编码标准中的环路去块效应滤波问题的现有研究有西安电子科技大学 Shang 等人提出的一种基于人类视觉系统（ Human Visual System，简称 HVS）的快速环路去块效应滤波算法，利用人类视觉系统的亮度、复杂度掩蔽效应进行模式分析、选择，对去块效应滤波的模式和滤波过程进行算法的改进；浙江大学Fang 等人则是针对软件处理能力和兼容性设计两个方面存在的问题，对去块效应滤波进行了算法优化，从而提出了高效的实现结构；浙江大学 Yi 等人针对环路去块效应滤波判定方法进行了研究，在保证视频质量的前提下降低了算法的复杂度。 目前应用在 HEVC 编码标准 HM 软件中的自适应环路滤波器，是一种由Karczewicz[10]等人首先提出的空间域的维纳滤波器，通过将维纳 —霍普夫方程的滤波系数进行求解，再熵编码，最后将结果发送至解码器的单元。 自适应环路滤波的执行，基本上代替了像素被滤波内核加窗加权的滤波操作，对于边界的像素，这种加权较内核中的非边界像素是可能会加重其平滑度的，为了避免存在这种不良的平滑化，权重是在考虑到像素亮度和色度分量的同时，更应该首先考虑到像河海大学本科毕业设计 7 素自身值。 以上就是 Manduchi 和 Tomasi 首先提出的双边滤波的核心思想 [11]。 从开创了这项工作以来，基于 路滤波和双边滤波的研究工作，如 Hu和 Haan使用 BLF 替代了 去块效应滤波 [12]，并指出 BLF 增强了解码视频的主观和客观的质量。 Liu和 Hao结合了 BLF 和维纳滤波进行联合滤波 [13]。 本文的主要内容及结构 本文旨在对新一代的视频编码标准 HEVC 后处理技术进行研究和改善。 本论文分为四章： 第一章为绪论部分，主要介绍了课题的研究背景和意义。 本章对视频编码的发展历程做了详尽的展开，简单介绍了当今国际上通用的视频编码标准，并对目前国内外对 HEVC 标准的研究和改善进行了简要的介绍。 第二章主要是对高效视频编码中的环路去块效应滤波技术的算法特点和具体算法进行介绍。 根据视频编码中块效应产生的根本原因，考虑当前环路去块效应滤波的特点和算法，给出算法具有的优缺点，为以下章节进行算法改进打下了基础。 第三章是从视频编解码过程中对色度和亮度分量滤波的角度，提出一种能够同时对色度和亮度进行滤波的算法，给出算法的原 理、特点和算法执行的步骤，对该新算法与原有算法进行试验分析比较。 第四章是对全文进行的总结，针对高效视频编码中环路滤波算法所存在的问题，提出了算法的改进方案，并对去块效应滤波技术中可以改进的方面进行了相应的展望，以促进 HEVC 编码标准的进一步发展。 河海大学本科毕业设计 8 第 2 章 高效视频编码中的环路去块效应滤波技术 高效视频编码中环路去块效应滤波技术的特点 在 HEVC 编码标准中主要定义了编码单元（ CU）、预测单元（ PU）和变换单元（ TU）三种类型的单元格式。 去块效应滤波用于去除图像边界、跨片边界或可直接编码的信号边界 以外所有 PU或 TU边界相邻的像素中。 让人关注的是，因 PU边界在帧间预测 CB 中并不是总和 TU边界对齐，因此 PU和 TU边界此时均需要被考虑到，在 SPS 和片头中有语法提示在跨片和头边界是否需要去块效应滤波。 HEVC 与 ，二者的不同点在于后者只对 44 像素的块边界用去块效应滤波，而前者只对 88 像素块边界的亮度和色度使用去块效应滤波，因此从运算角度上来说， HEVC 在确保图像质量的同时可以降低计算复杂度，进而提高了并行处理效率。 HEVC 中控制去块效应滤波强度的参数和 ，但参数个数却由原来的 5 个减少到了 3 个。 设 P 和 Q 为两个大小为 88 的相邻像素块，设其中一个为帧内预测图像块，滤波强度选择 2；但是当满足下列任一情况时，滤波强度应选择 1，（ 1） P 和 Q 至少有一个是非零变换系数；（ 2） P 和 Q 的参考索引不相等；（ 3） P 和 Q 的运动变量（ MV）不相等；（ 4） P 和 Q 的 MV 分量的差值大于或等于一个整像素；如果以上的条件都不成立的话，则滤波强度为 0，这种情况就意味着不需要进行去块效应滤波处理。 根据滤波强度和 P、 Q的平均量化参数，可以在预定义的表中确定两个阈值：tc 和 β；对于亮度像 素，选择不同的 β 代表不同的滤波强度，分别为：不滤波，强滤波和弱滤波。 注意这个选择可以跨过四个亮度的行和列，如果第一和最后一行或列共用，可以用以减少计算的复杂度。 对于色度像素，则只有不滤波和正常滤波两种情况；正常滤波只有在滤波强度大于 1 的情况下才会使用，滤波处理通过控制变量 tc 和 β来实现。 图 21 为 SAO 中四种梯度模式。 河海大学本科毕业设计 9 图 21 SAO中的四种梯度模式 在 HEVC 编码标准中， DBF 的处理顺序是 :先对整个图像的垂直边界进行水平滤波；再对水平边界进行垂直滤波。 这种处理使并行处理结构中同时进行多水平 行或垂直列滤波变得非常方便，同时还可以逐个 CTB 块进行，以达到减少时延的目的。 环路去块效应滤波的算法原理 在 HEVC 标准中定义了两种用于重构图片的环路滤波技术，一种是去块效应滤波，另一中是采样自适应补偿滤波（ SAO），本节会详细描述第一种环路滤波技术 ——去块效应滤波。 滤波判别 （ 1）去块效应滤波的块边界 独立编码块创建在块边界的不连续点上，如图 22 所示。 当块边界的两侧相对平滑时，人类视觉系统就会很容易注意到块效应的发生，但若块边界两侧的信号变化比较多时，人们就很难注意到它的发生。 此外，若贯穿于边界的原始信号是高变换度时，就很难判定重建信号的变化究竟是源于块效应还是原始信号。 图 22 一维块效应中块边界示例 河海大学本科毕业设计 10 因此，去块效应滤波设计的重点是首先判断是否需要进行去块效应滤波，其次是确定去块效应滤波的滤波强度。 过度滤波将导致图像的细节过于平滑，即会丢失细节，而缺省滤波将造成主观视频质量的下降。 是否进行块边界滤波取决于两相邻像素块重构像素值的特征和可能在编码过程中引起的块效应的编码参数。 如图 23所示，首先将图片分成 88的像素块，该像素块中分别包含像素点，垂直和水平分块边缘和可并行处理的非重叠像素分块信息。 当同时满足以下三个条件时，在块边界的四像素部分要执行去块操作，（ 1）块边界为预测单元或变换单元的边界；（ 2）边 界强度大于零；（ 3）块边界两侧信号的变化低于指定阈值（如图 ）。 当满足以上三点条件时，就进行强滤波操作。 采 样 点大 小 为 8 8 的 块垂 直 边 界水 平 边 界非 重 叠 的 8 8 大 小 的 块 ，用 于 去 块 滤 波 的 并 行 计 算 图 23 采样块边界示意图 （ 2）边界强度（ Bs）和边缘水平自适应性 边界强度（ Bs）的计算是为预测单元和变换单元的边界而进行的，边界强度一般有 0、 1 和 2 三个值，边界强度的定义如表 21 所示。 对于亮度分量来说，边界强度只有 1 和 2 两个值，这就意味着，当边界强度不为 0 时，表示不存在静态区域滤波。 这样有助于避免后续图片间的像素残差为零的相同区域进行多次滤波，这种滤波将引发 “ 过平滑 ” 现象。 对于色度分量，只有在边界强度等于 2的情况下执行滤波操作，这就意味着至少在相邻边界有一个块为帧内预测块才能河海大学本科毕业设计 11 进行滤波操作。 表 21 两个邻近的亮度块边界 Bs值的定义 条件 Bs 边界两侧至少有一个是帧内预测块 2 边界两侧至少有一个块的编码残差系数不全为零并且是转换块的边界 1 边界两侧图像运动矢量之差不小于一个亮度图像点距离 1 边界两侧的运动补偿参考帧不同或者两侧运动矢量数量不同 1 其他 0 （ 3）局部自适应性和滤波判定 当边界强度（ Bs）大于零时，增加的条件是检测亮度块的边缘，这个操作的目的是判断是否应用去块效应滤波。 如图 22 所示，块效应的特点是块边界两侧低空间活动且不连续，因此，对于 88 像素的网格上的每个 4像素长度的块边界来说，满足上述条件，然后通过检测下列条件来判定是否应用去块效应滤波操作。 （如图 24 所示） 图 24 P 和 Q相邻两块 4像垂直边界 |p202p10+p00|+|p232p13+p03|+|q202q10+q00|+|q232q13+q03|β () 阈值 β取决于量化参量 QP， QP 是用来调整针对量化预测误差系数的量化 步骤 [14]。 公式 （ ）用来评估块边界两边信号偏离直线的个数，这个直线为恒定水平信号或是斜线。 以 44 的像素块为例，为了兼顾复杂度问题，仅对同一块中的第一行和第四行进行评估。 为了叙述简便，在图 24 示例和公式（ ）中，仅考虑了垂直边界的情况，可以通过将图片旋转 90176。 从而改变方程中行、列的下标的方法将示例方法扩展到水平方向。 当相关联的块边界强度大于 0 时，公式（ ）成立，执行去块效应滤波操作，在 HEVC 编码标准中存在两种去块效应滤波模式，分别是普通滤波模式和强滤波模式。 对于四像素长度的每个块边界，去块效应滤波根据信号特征可以在河海大学本科毕业设计 12 普通和强滤波模式之间转换。 （ 4）普通与强滤波的判定 采用普通滤波还是强滤波进行去块效应滤波操作取决于四像素块边界的第一行和第四行（见图 24）。 下述表达式利用 i=0 和 i=3 进行评估，从而判定采用哪种滤波方式 [14][15]。 |p2i2p1i+p0i|+|q2i2q1i+q0i|β/8 () |p3ip0i|+|q0iq3i|β/8 () |p0iq0i| () 阈值参数 tc 由 QP 决定，是通过表定义的（详见 ）。 若第 0 行和第 3 行（即第 1 和第 4 行）满足不等式（ ）、（ ）、（ ），则在块边界应用强去块效应滤波，否则就应用普通滤波。 公式（ ）是用于检测块边界两侧的低空间活动性的（类似于公式（ ），但阈值变小），公式（ ）是用于检测块边界两侧的信号平坦度的，公式（ ）用以检测块边界两侧像素的强度差确实是不超过阈值的，这是一个关于 tc（ QP ）（取决于 QP）值的多重剪裁判定。 将公式（ ）至公式（ ）对应条件（ 1）至条件（ 4）进行判 定的流程如图 25 所示。 图 25 判定流程 河海大学本科毕业设计 13 （ 5）普通滤波模式下的去块效应滤波判定 普通滤波是由两种模式组成的，两者的区别在于块边界每侧被修改的像素个数的不同，一种模式是令每个边界满足以下两个条件 [16]。 |p202p10+p00|+|p232p13+p03|3/16β () |q202q10+q00|+|q232q13+q03|3/16β () 若满足公式（ ），就可以在块 P 中修改块边界的最近的和次近的两个像素的值，若不满足就只有最近的一个被修改。 同上述规则类似的，若满足公式（ ），就可以在块 Q 中修改块边界中最近和次近的两个像素的值，否则只有最近的一个被修改。 因为是阈值 β的倍数，所以公式（ ）和（ ）中所使用的阈值也有参数 QP 决定。 如果公式（ ）和（ ）的阈值小于公式（ ）的阈值，但是大于公式（ ）的阈值，这就意味着强滤波允许在边界两侧低空间的活动性块边界中使用。 滤波操作 （ 1）普通滤波 当在一幅图片中包含一个倾斜表面 (或线性斜坡信号 )并穿过一块边界时，滤波器将被激活。 在这种情况下，正常模式去块效应滤波将不能修改信号，即不起作用。 在 44 的普通滤波模式下（见图 24），滤波操作适合于每一行。 下述表达式像素的第二个脚标为行号，因为它们适用于每行，故此省略。