数字音视频技术实验指导书

数字音视频技术实验指导书内容摘要：

D0 DS2 红 可编程 FPGA LED 寄存器 D1 15 DS3 红 可编程 FPGA LED 寄存器 D2 DS4 红 可编程 FPGA LED 寄存器 D3 DS5 红 可编程 FPGA LED 寄存器 D4 DS6 红 可编程 FPGA LED 寄存器 D5 DS7 红 可编程 FPGA LED 寄存器 D6 DS8 红 可编程 FPGA LED 寄存器 D7 系统状态指示灯 ICETEKDM642PCI 评估板提供 5 个系统状态指示灯（ DS9DS13）。 下表显示了个指示灯的功能和颜色。 表 16：系统状态指示灯 编号 颜色 功能 DS9 红 7115（ A）解码开始，初始化成功 DS10 红 FPGA 加载成功 DS11 红 复位灯，灯亮表示正在复位 DS12 红 7115（ B）解码开始，初始化成功 DS13 绿 评估板通电指示灯 复位开关 S3 ICETEKDM642PCI 评估板可以通过两种方法进行复位。 第一种是电源复位。 通过对 ICETEKDM642PCI 评估板的通断电进行复位。 第二种是按下复位开关 S3。 当这个开关被按下时，评估板处于复位状态。 16 实验一 运动 图像 检测 （验证性实验） 一．实验目的 1．学习使用 RF5 设计框架构造应用程序。 2．了解在 RF5 平台上调用 DIFF(Difference)算术库。 3．学习运用 IDMA 规范综合 JPEG 编码和解码库。 4．了解使用 XDIAS 接 口实现与算术库的协调工作。 二． 实验设备 计算机， ICETEKDM642IDKM 实验箱。 三．实验原理 实验程序在 ICETEKDM642PCI 板上实现多通道 图像 的动态检测输入， 图像 采用 CIF 格式而输出采用 4 幅拼接在一起的 CIF 格式的 图像。 程序将摄入的视频 图像 首幅作为参考帧，调用 DIFF 算法计算之后的输入与参考帧的差别，产生检测图，再由ROTATE 算法将输入 图像 的色差经过旋转生成色差调整图，再生成先经过 DIFF 算法处理接着经过 ROTATE 算法处理过的检测图。 1． 示意图 通道 1：左上角 图像 显示当前活动视频。 通道 2：当前视频与参考图的差别，由 DIFF 算法计算所得的动态检测图，它位于显示的右上角。 如图，因为球的位置改变了，所以改变的地方及其阴影都被检测出来并显示成红色。 通道 3：在左下角是一幅色差旋转变换图。 当前视频被调整色差信号，使得图中图像采集 通道 1 通道 2 通道 3 通道 4 ROTATE DIFF DIFF ROTATE 1 2 3 4 1 2 3 4 显示线程 17 方块和球都在改变颜色。 通道 4：是通道 2 和通道 3 的合并结果， 图像 先作 DIFF 运算再作 ROTATE 运算。 不只是方块，通道 2 中的运动部分都变成蓝色了。 2．程序分析 (1)DIFF 完成的运算 (此算法库相关源文件请见目录 :\ICETEK DM642 EDULab\ Lab534 VideoMotionDetect\diff_ti) ①比较区域内所有象素并计算有差别象素的数目。 ②如果有大于 DIFFTHRESHOLD(该阈值 自定义 )数目的象素不同，转第③，否则，停止。 ③找出所有差异象素并改变颜色。 (2)重新设置参考 图像 ，修改标注颜色 四．实验步骤 1．实验准备 (1)连接设备 ①关闭计算机和实验箱电源。 ②连接 仿 真器一端的黑色插头到 ICETEKDM642PCI 板上 J7 插座 (JTAG)，电缆上红色线要靠近“ J7”丝印。 ③连接 +5V 电源线到 ICETEKDM642PCI 板上 J10 插座。 ④连接实验箱中视频转接线的输入端连接到选配的摄像头或视频信号输入端子上，将转接线的输出端 (两个接头 )分别连接到 ICETEKDM642PCI 板上 J15 和 J16 插座。 ⑤连接实验箱中电视显示器接头到专用电视转接线的相应插头，连接转接线的黄色莲花插头到 ICETEKDM642PCI 板上 J4 插座。 ⑥用实验箱所配的电源转接线 (两端 均为带孔的插头 )连接实验箱底板上 +12V 电源输出插座到选配的摄像头上电源插座。 ⑦将电视转接线上电源插头 (带孔的黑色插头 )插入实验箱底板上 +12V 电源输出插座。 (2)开启设备 ①打开计算机电源。 ②打开实验箱电源开关，注意 ICETEKDM642PCI 板上指示灯 DS10 亮，表示OSD FPGA 配置完成，与此同时， DS1～ DS8 全亮。 ③附带的 USB 电缆连接计算机 (最好使用 PC 机机箱后部的 USB 插座 )和仿真器相应接口，注意仿真器上两个指示灯均亮。 ④打开电视显示器开关，可以看到彩条显示。 ⑤双击运行桌面上 “初始化 ICETEK5100USB 仿真器”，在弹出的 DOS 窗口中观察初始化操作结果。 如果窗口中最后一行显示“ This utility has successfully reset the controller.”，并提示“按任意键继续 … ”，表示成功地初始化仿真器，可按键盘上空格键继续下步操作。 如果窗口中没有出现“按任意键继续 … ”，请关闭窗口，关闭实验箱电源，再将USB 电缆从仿真器上拔出，返回第②步重试。 如果窗口中出现“ The adapter returned an error.”，并提示“按任意键继 续 … ”，表示初始化失败，请关闭窗口重试两三次，如果仍然不能初始化则关闭实验箱电源，再将 USB 电缆从仿真器上拔出，返回第②步重试。 18 (3)设置 Code Composer Studio 为 Emulator 方式 参见“ Code Composer Studio 入门实验”相关部分。 (4)启动 Code Composer Studio 双击桌面上“ CCS 2(‘C6000)”图标，启动 Code Composer Studio。 成功后可看到CCS 环境界面。 2．打开工程： 工程目录 :\ICETEKDM642EDULab\Lab534VideoMotionDetect\projects\evmdm 642 3．浏览工程中源程序并理解含义。 4．编译、连接、下载并运行程序，观察显示结果。 5．加载。 6．选择菜单“ GEL” “动态检测：设置参考图” “ setReference”。 7．选择菜单“ GEL” “动态检测：设置颜色” “ ChangeColor”，可以修改差异颜色。 8．结束运行，退出工程。 五．实验结果 图像 采用 CIF 格式 ， 输出采用 4 幅拼接在一起的 CIF 格式的 图像。 程序将摄 入的视频 图像 首幅作为参考帧，调用 DIFF 算法计算之后的输入与参考帧的差别，产生检测图，再由 ROTATE 算法将输入 图像 的色差经过旋转生成色差调整图，再生成先经过 DIFF 算法处理接着经过 ROTATE 算法处理过的检测图。 六． 实验要求 1． 掌握运动图像检测的理论知识； 2．观察通道 4 图像颜色变化，并记录； 3．改变 Y,Cb,Cr 数据，并记录 改变前后图像的变化。 七．实验思考题 1．程序如何检测出运动的图像。 以什么为依据。 2．如果物体未运动，通道 通道 通道 4 中 如何 对 其处理。 19 实验二 JPEG2 编码解码 （验证性实验） 一．实验目的 1．学习使用 RF5 设计框架构造应用程序。 2．了解在 RF5 平台上调用 JPEG 编码、解码库实现可编程控制的压缩质量和帧率的视频采集、显示功能。 3．学习运用 IDMA 规范综合 JPEG 编码和解码库。 4．了解使用 XDIAS 接口实现 JPEG 编码、解码库的协调工作。 二．实验设备 计算机， ICETEKDM642IDKM 实验箱。 三．实验原理 实验程序在 ICETEKDM642PCI 板上实现 D1 格式的 JPEG2 编码和解码。 程序将摄入的视频 图像 首先进行编码，产生 JPEG 压缩图，再由解码程序处理此压缩图，生成解压缩 图像 送显示设备显示。 1．数据流图 数据流程： (1)输入设备提供的一帧 图像 被采集到输入缓存。 (2)获得的数据由 YUV 4:2:2 格式进行重抽样变为 YUV 4:2:0 格式。 色差信号重采样 YUV(4:2:2)YUV(4:2:0) 摄入一帧 图像数据 视频源 色差信号重采样 YUV(4:2:0)YUV(4:2:2) 显示此帧 图像数据 显示设备 JPEG 编码器 JPEG 解码器 20 (3)提供 图像 数据给 JPEG 编码库程序，产生用户定制压缩质量的 JPEG 图像。 (4)产生的 JPEG图像 被作为解码器的输入，产生一幅 YUV 4:2:0 格式的解码 图像。 (5)解码产生的 YUV 4:2:0 格式的 图像 被重新 采样成 YUV 4:2:2 格式的 图像。 (6)显示设备显示输出的 图像。 2．程序流程 (1)实验程序采用 RF5(参考设计框架 5)来整合 JPEG 的编码、解码库。 程序使用了四个任务模块结构。 第四个任务是一个控制任务，它使用一个邮箱发送消息给处理任务模块。 处理任务模块从邮箱接收消息，并根据消息中指定的 图像 质量调节 图像 帧率。 在进入 DSP/BIOS 的调度程序之前，程序初始化了多个要使用的模块。 包括： ①处理器和系统板的初始化： 初始化 BIOS 环境和 CSL。 设置使用 128K 的二级高速缓存。 设置二级高速缓存可映 射到 EMIF 的 CE0 和 CE1 空间。 设置 DMA 优先级序列长度取最大值。 设置二级高速缓存的请求优先级最高。 DMA 管理器用内部的和扩展堆初始化。 ② RF5 模块的初始化： 系统初始化 RF5 的通道模块。 系统初始化 RF5 框架中用于内部单元通讯和传递消息的 ICC 和 SCOM 模块。 各通道建立在内部的和扩展的堆上 ③建立摄入和显示通道 建立和启动一个摄入通道的实例。 建立和启动一个显示通道的实例。 (2)在完成初始化工作之后，系统进入 DSP/BIOS 调度程序管理下的 4 个任务系统。 4 个任务通过 RF5 的 SCOM 模块互相发送消息。 以下是这 4 个任务： ①输入任务 输入任务从输入设备驱动程序获得视频 图像。 并将 YUV 4:2:2 格式的 获得图像 重采样成 YUV 4:2:0。 输入任务接着发送消息到处理任务，消息中包含 图像 数据指针。 接着等待处理任务发送来的消息以继续处理。 ②处理任务 处理任务包含两个单元。 第一个单元是一个 JPEG 编码单元，它接受 YUV 4:2:0格式的 图像 ，产生用户定制压缩质量的 JPEG 图像。 第二个单元是一个 JPEG 解码单元，它接收 JPEG 压缩 图像 并生成解压缩 图像。 解码的 图像 格式是 YUV 4:2:0 的。 在解码完成后，处理任务发送一个消息给所有输入和输出任务模块，标示缓冲区使用完毕，现在可以重新使用。 ③输出任务 输出任务将 图像 显示在显示设备上。 它使用输出驱动程序提供的 FVID_exchange调用实现 图像 的显示。 它得到的 图像 的格式是 YUV 4:2:0 的，需要重新采样成 YUV 4:2:2 格式。 然后等待处理任务发来的消息以继续运行。 ④控制任务 控制任务管理可选参数，可以控制 JPEG 图像 帧率和压缩质量。 控制任务检测参数的改变，这些参数定义在一个全局结构“ External Control”，同时将更新的 参数复制到任务自定义的结构“ External Control_prev”中，并向处理任务模块的邮箱中发送消息。 处理任务模块定时检测这些消息并调用相应单元的控制函数。 21 四．实验步骤 1．实验准备 (1)连接设备 ①关闭计算机和实验箱电源。 ②连接 仿真器一端的黑色插头到 ICETEKDM642PCI 板上 J7 插座 (JTAG)，电缆上红色线要靠近“ J7”丝印。 ③连接 +5V 电源线到 ICETEKDM642PCI 板上 J10 插座。 ④连接实验箱中视频转接线的输入端连接到选配的摄像 头或视频信号输入端子上，将转接线的输出端 (两个接头 )分别连接到 ICETEKDM642PCI 板上。