基于图像处理的番茄采摘机器人的设计毕业论文(编辑修改稿)

基于图像处理的番茄采摘机器人的设计毕业论文(编辑修改稿)内容摘要：

长 [3334]。 2020 年河北农业大学的 司永胜等人 通过 对不同光照情况下拍摄的苹果图像进行识别 ，利用归一化的红绿色差 算法 获得苹果 了 轮廓图像。 实验结果 证明 ： 该 识别算法 的 准确 识别青岛农业大学机电工程学院本科毕业设计（论文） 3 率 可以 达 到 90%以上。 同时， 采用随机圆环法 ， 实现了 准确地提取果实的圆心 和 半径 参数[3536]。 2020 年常州大学的吕继东等人 为了 缩短 系统对图像 识别的时间， 提高苹果果实的识别率， 利用动态阈值分割的方法，通过 改进的去均值归一化积 法实现 了 快速 跟踪 目标果实，并进行了不同阈值分割方法 下 果实识别的 对比 性 试验。 试验结果证明，该方法大大 减少 了苹果采摘机器人采摘过程处理时间， 而且识别率也 较之前的方法 有 所 改善 [3738]。 主要研究内容 本文主要是 通过 利用 DSP控制 双目摄像机采集图像， 并 经过二值化、 滤波处理、索贝尔边缘处 理、形心确定、特征点匹配、三维重建等步骤实现对番茄的空间三维定位 ， 然后将番茄果实的空间三维坐标等参数传送至下位机，下位机进而 通过 控制三维 滑台和采摘机械手实现对番茄的抓取和采摘工作。 本 设计的 主要 研究内容如下： 对采摘 机器人的总体硬件 方案进行 选择和设计 系统硬件主要包括数字信号处理器型号的选择、摄像机型号的选取、控制器的选择以及其 它 硬件电路的选型和设计。 本设计还 对三维滑台类型和长度进行选取并组装，选取合适的驱动器及配套的驱动电源，利用控制器实现对滑台的控制。 同时，需要 选择合适的采摘机械手并对采摘手的采摘头 进行改装设计，选择合适的舵机驱动器并利用 下位机 控制器实现对采摘机械手对果实的抓取和释放。 同时，本设计还需对滑台限位传感器和采摘机械手接触传感器进行选型和设计等。 获取双目摄像机的内 参数 和外参数 由于摄像机标定 的结果 是立体视觉的前提， 它 决定了后续 番茄果实空间 三维定位的精确度。 双目 摄像机 标定 主要是通过两摄像机对外界的标定板进行拍摄 若干幅 图片后，通过利用 C++编写的 上位机 标定程序计算出摄像机各自的内外参数的过程。 利用 DSP 控制双目摄像机进行图像 采集 并 对采集的图像进行 二值化处理、边缘处理、中值 滤波 等预处理 操作 通过利用 DSP 实现对视频解码芯片和视频编码芯片的控制 ， 从而实现对视频采集后的输入解码和编码输出 控制 ，然后 DSP 可以对采集后图像进行 预处理，包括 图像的 阈值分割、索贝尔边缘处理、中值 滤波 等 操作，为后续的 空间 三维定位奠定基础。 青岛农业大学机电工程学院本科毕业设计（论文） 4 利用 DSP 实现对特征点的 匹 配 、三维重建，并 能简单的进行三维坐标的计算并 将计算结果 输送至 控制器 利用 DSP 对左右两个摄像机采集后的图像 视频 进行 初步处理后确定番茄果实的特征点、 形心等参数，找到相对应的匹配 点，并根据上述步骤中摄像机标定得到的内外参数 ，利用 双目定位数学模型，根据 三维重 建初步计算番茄的空间三维坐标，并 能通过串行通讯将其 传送 到下位机控制器。 控制器能与 DSP 通讯并根据 接收到的 数据实现对三维滑台和 采摘 机械手的控制 ，从而 实现对番茄果实的精确定位、抓取和采摘 下位机 控制器 MSP430F149 能通过串口接收来自 DSP 的三维坐标信息及采摘信息，并能将 番茄果实的空间三维坐标转化为采摘机械手的空间三维坐标。 同时，下位机 控制器 能根据接收的 番茄果实空间 三维坐标数据控制三维滑台工作，使得三维滑台移动到待采摘的番茄正前方， 然后 下位机 控制器 可以 控制采摘机械手实现对番茄的 抓取和 采摘工作，最后将番 茄送入集果箱。 青岛农业大学机电工程学院本科毕业设计（论文） 5 2 采摘机器人硬件 系统 设计 系统整体方案设计 本设计中，基于图像处理的采摘机器人主要包括上位机模块和下位机模块。 上位机模块主要包括： TMS320DM642 图像处理模块、图像采集模块、视频解码模块、电源模块、视频编码模块、显示模块和串行通讯模块等。 下位机模块主要包括： MSP430F149 主控模块、电源模块、串行通讯模块、三维滑台、采摘机械手、传感器模块 、滑台驱动器、舵机驱动器 和灯光补偿模块等。 上位机和下位机主要通过 RS232 串行通讯模块进行数据的传输。 上位机中的图像采集模块采 集待采 摘区域的图像后，通过视频解码模块将视频的模拟信号转换为数字信号 送入TMS320DM642 图像处理模块， TMS320DM642 图像处理模块 一方面 通过对数字信号进行处理和分析， 实现 对番茄果实进行提取轮廓、形心位置 确定 、立体匹配和计算番茄果实的三维空间坐标等 处理 和 将计算后的 数字信号传输至视频编码模块，视频编码模块将处理后的 番茄果实的图像再次转换为模拟信号并送至显示器进行显示以便开发人员调试；另一方面， TMS320DM642 图像处理模块将计算出的番茄果实的空间三维坐标的数据通过串行通讯发送至下位机 MSP430F149 主控模块。 在这个过程中，电源模块为上位机整个子模块提供电能。 下位机中的 MSP430F149 主控模块 通过串行通讯口接收到来自 TMS320DM642 发送的番茄果实三维空间坐标数据后提取坐标的有效值，然后 通过滑台驱动器驱动三维滑台运动至带采摘番茄果实的正前方位置， 然后 ， MSP430F149 主控模块 控制 舵机驱动器驱动 采摘机械手对番茄果实进行准确抓取和采摘，最后将番茄果实送入集果箱中。 在整个下位机工作过程中，电源模块为下位机的整套系统提供电能，同时碰撞传感器和触碰传感器实时检测三维滑台是否到达端点，触碰传感 器实时检测采摘机械手在对番茄果实进行抓取时，机械手的两个手掌是否已经接触到番茄果实。 灯光补偿模块能够使 使 TMS320DM642 图像处理模块更好的对外界的图像进行处理，减少外界光源对系统的 干扰。 本设计的番茄采摘机器人的整体 结构框图如图 21。 青岛农业大学机电工程学院本科毕业设计（论文） 6 R S 2 3 2T M S 3 2 0 D M 6 4 2图 像 处 理 模 块电源模块 图 像 采 集M S P 4 3 0 F 1 4 9主 控 模 块显 示 器电 源 模 块 灯 光 补 偿 滑 台 驱 动 器 舵 机 驱 动 器视 频 解 码 视 频 编 码 碰 撞 检 测 压 力 检 测 三 维 滑 台 采 摘 机 械 手上 位 机 部 分下 位 机 部 分 图 21 番茄采摘机器人的整体 结构框图 基于图像处理的采摘机器人的设计流程图如图 22所示。 主要 步骤 包括上下位机的硬件搭建、双目摄像机内外参数的标定等。 其中，硬件搭建还包括 DSP与 MSP430F149之间的 串行通讯，数字图像采集中还包括将采集的模拟信号转换为数字信号送入 DSP中 等 [39]。 上 下 位 机 硬 件 搭 建数 字 图 像 采 集双 目 摄 像 机 标 定图 像 二 值 化 处 理图 像 中 值 滤 波图 像 索 贝 尔 边 缘 处 理图 像 特 征 点 确 定番 茄 果 实 立 体 匹 配番 茄 果 实 三 维 坐 标 计 算采 摘 机 械 手 动 作 和 定 位番 茄 果 实 抓 取 和 采 摘结 束 一 次 采 摘 工 作采 摘 机 器 人 调 研 和 立 题 图 22 基于图像处理的采摘机器人的设计 流程图 青岛农业大学机电工程学院本科毕业设计（论文） 7 双目立体 摄像机 的 选型 摄像机的参数决定了后续图像处理的精度，考虑到性能和价格两方面因素，本设计 选用索尼生产的 MJW 短枪摄像机，该摄像机采用了最新的 DSP 数字处理技术， CCD 尺寸为1/3 英寸，有效像素 PAL： 720576(440K)， NTSC： 769494(380K)，具有自动白平衡 (AWB)和增益补偿控 制 (AGC)功能。 由于摄像机在生产时的 工艺 问题 ， 很容易 造成 两个摄像机的 参数不同，如基线长度、CMOS 面积大小和畸变系数 ，因此需要在后续的软件设计中需要对其内外参数进行测定。 另外，由于该摄像机可以变焦，因此在 进行 图像处理前需要 对摄像机的镜头进行测试， 即将摄像机的焦距调整到合适的位置，使之采集的图像清晰 ，便于后续图像的处理工作。 图像处理核 心芯片的选型 在当 前的图像处理领域，基于下位机硬件的器件主要有 FPGA、 ARM、 DSP 以及 ARM与 DSP 组合的平台。 方案一： FPGA（现场可编程门阵列），采用硬件 逻辑描述作为开发语言， 器件本身的运行速度较快，但是 对开发人员的专业知识要求过高，而且程序移植较为困难。 方案二： ARM(Advanced RISC Machines)，一般用在控制领域和嵌入式领域， 比较擅长做时序控制类、嵌入式类的工作， 不适合做大容量的数字计算工作。 方案三： DSP(Digital Signal Processor)，即：数字信号处理器，它一般适用于做 数字信号处理运算 方面的工作 ， 而且实时性较好。 另外数字信号处理器具有体积小、功能强、成本低等特点，并且有的具有专用的协处理器用于图像的处理工作。 DSP 芯片内部采用 的是哈弗结构，也就是程序和数据分开管理的方式 ， 从而使得程序处理效率较高。 综合以上 方案 ，我们采用 TMS320DM642 作为图像处理的核心芯片。 TMS320DM642是 美国 TI 公司专门为视频处理 领域设计的芯片， 它具有 强大的计算能力和丰富的片内设备 ，因此 成为多种视频 和图像 处理应用的首选。 TMS320DM642 芯片 可以 提供三种最高主频： 500M、 600M 和 720M，其相应的指令周期为： 2ns、 和。 而且，其 本身 就 有 8 个处理单元， 在满负荷运行时可以 完成 8 个指令 /周期。 因为使 用的 是 C64x 内核，因此 其 具备了 128kbit 的 L1P 高速程序缓存，128kbit 的 L1D 高速数据缓存， 2Mkbit 的 L2 高速联合缓存 的片内外设。 它具有 64 个独立的 EDMA 通道 ，可以很方便的实现与外界数据的快递交换。 青岛农业大学机电工程学院本科毕业设计（论文） 8 图像处理核心芯片 TMS320DM642 主要包括时钟系统、电源供电电路、复位电路、视频解码电路、视频编码电路以及串口通讯电路等。 下面我们 一一 介绍： 时钟电路： TMS320DM642 有多个时钟源来满足不同的内核和外设的需求，它通过 时钟芯片提供了六个不同频率的 时钟源，分别是： 50M 的 TMS320DM642 时钟 ， 25M 的 以太网芯片时钟 ，100M 的 SDRAM 时钟 ， 20M 的 异步通讯芯 片时钟 ， 的看门狗时钟 ， 的 视频解码芯片时钟 ， 27M 的 视频编码芯片时钟。 TMS320DM642 的内核可以工作在 600MHz频率上， 甚至 超频后能在 720MHz 的频率上 工作 ， 但是 DSP 的 外部频率 只有 50MHz。 因此， 我们 可以 通过 时钟锁相电路 (PLL)来获得倍频， 再 通过分频获得多种不同频率 的时钟 供 DSP 的片内外设使用。 TMS320DM642 时钟电路 图 如图 23 所示： VDDOUTPNCGNDY150MHzVDDOUTPNCGNDY2133MHz10uF/16VC1C210mHL1BLM41P750SPT+GND33R1F50MHz10uF/16VC3C410mHL2BLM41P750SPT+GND33R2F133MHzVDDOUTPNCGNDY310uF/16VC5C610mHL3BLM41P750SPT+GND33R3 图 23 TMS320DM642 时 钟电路 图 青岛农业大学机电工程学院本科毕业设计（论文） 9 电源供电电路 ： TMS320DM642 要求 系统必须 为其 提供 伏和 伏 电压值 的 电源。 其中 ， CPU 内核 工作在 伏，而且， DSP 内核对供电电源的稳定性和可靠性要求很高。 DSP 在进行工作时，特别是图像处理时，主频可以达到最高的 720MHz，此时 CPU内核消耗的能量起伏非常大 ， 而且 随运算量变化 的幅度变化急剧，很可能在短时间内达到安倍级。 因此， CPU内核 对它的供电部分 具有很高的要求和限制。 但是因为 转换效率 的问题， 一般 选择可以承受较大电流的开关电源。 开关电源 具有最大的特点是：即使外界的负载变化很大 ， 其 依旧能输出纹波系数较小的电压，一般情况下 可以满足 高速 DSP 这种对输入电压有 较高要求的处理器。 TMS320DM642 的外设工作在 ，这个电压的要求相对没有那么严格，因此可以通过开关电源或 一般的 稳压电路提供。 TMS320DM642 对电源的具体要求如 表 21 所示。