基于机器视觉的移动采摘系统果实定位与成熟度识别研究

孟昕泽

南京工程学院自动化学院 机器人专业

摘要：本文开展果实定位与成熟度识别研究，系统以工控机为核心，搭建硬件体系与ROS分布式软件框架，通过Retinex算法等优化图像预处理，基于改进YOLOv7-tiny模型实现果实定位，融合多维度特征与支持向量机构建成熟度识别模型。实验表明，果实定位平均准确率92.3%、空间定位误差1.45cm，成熟度整体识别准确率超94%，且具备良好实时性与抗干扰能力，为移动采摘系统的规模化应用提供技术支撑。

关键词：移动采摘系统；机器视觉；果实定位

引言

现代农业智能化发展进程中，果实采摘作为生产关键环节，其自动化水平直接影响农业生产效率与经济效益。传统人工采摘模式存在劳动强度大、成本高、作业质量不均等弊端，已难以满足规模化、精细化生产需求。移动采摘系统的应用为解决这一问题提供了有效路径，但复杂农业环境带来的果实定位偏差、成熟度误判及动态作业适配性不足等问题，制约了其推广应用。现有视觉识别技术多聚焦单一环境场景，在遮挡处理、光照适应性及三维定位精度方面存在短板，成熟度识别多依赖单一颜色特征，易受环境干扰。

一、系统总体设计

（一）硬件系统架构

移动采摘系统硬件以工业控制计算机为核心，构建多模块协同的硬件体系。移动平台采用四轮差速结构，配备48V无刷电机与电机驱动器，结合激光雷达与惯性测量单元实现自主导航与姿态感知。视觉感知模块选用Intel RealSense系列深度相机，通过USB3.0接口与工控机连接，实现RGB图像与深度信息的同步采集，图像分辨率达1280×720，深度误差控制在±2%以内，保障数据采集的高效性与准确性。执行机构采用多自由度电动伺服机械臂，搭配自适应柔性抓取机构，集成压感传感器实现夹持力动态调节，避免果实损伤。人机交互模块包含液晶显示器、麦克风阵列与扬声器，支持语音指令识别与反馈播报，提升系统操作灵活性。各硬件模块通过CAN总线、TCP/IP等通信协议实现数据交互，形成结构紧凑、功能完备的硬件支撑体系。

（二）软件系统框架

软件系统基于机器人操作系统构建分布式架构，采用模块化设计理念划分功能单元。感知层负责图像采集、预处理与特征提取，通过色彩均衡、中值滤波等算法优化图像质量，削弱光照变化与背景干扰；决策层包含定位模块、成熟度识别模块与路径规划模块，基于改进深度学习模型实现目标检测与状态判断，结合栅格地图与路径规划算法生成最优作业路径；执行层接收决策指令，控制移动平台导航与机械臂运动，通过闭环伺服补偿保障操作精度。系统支持自动与手动两种工作模式，自动模式下可完成自主导航、目标识别、采摘执行的全流程作业，手动模式通过遥控指令实现精准操控，满足不同作业场景需求。

二、果实定位技术研究

（一）图像预处理优化

图像预处理是提升定位精度的基础，通过多算法融合实现图像质量优化。针对复杂环境下的光照干扰，采用Retinex色彩均衡算法分离图像亮度与反射分量，调整像素亮度分布，增强图像细节对比度。引入限制对比度自适应直方图均衡化算法，对图像局部区域进行直方图均衡处理，强化果实边缘特征，抑制背景噪声干扰。采用中值滤波算法去除图像椒盐噪声，保留果实轮廓信息，为后续特征提取提供高质量数据支撑。预处理过程中，通过边缘缓存与图像筛选机制实时优选有效图像，确保数据输入的可靠性，单帧图像预处理时延控制在35ms以内。

（二）深度学习定位模型构建

基于改进YOLOv7-tiny模型构建果实定位网络，优化特征提取与目标检测性能。在主干网络中引入SE-Block模块，增强关键特征通道的权重分配，提升目标特征提取的针对性。简化路径聚合网络结构，优化anchor设置，适配果实尺寸特征，提高小目标与遮挡目标的检测能力。采用交并比阈值与非极大值抑制策略优化候选框输出，剔除冗余检测结果，提升定位准确性。通过多视角图像采集构建多样化数据集，包含不同光照、遮挡、姿态条件下的果实样本，用于模型训练与优化，增强模型泛化能力。

（三）三维空间定位实现

结合深度相机采集的深度信息与二维检测结果，实现果实三维空间定位。通过相机内参标定获取主点坐标与焦距参数，建立像素坐标系与世界坐标系的映射关系。基于图像像素点坐标与对应深度值，利用空间坐标转换公式完成二维检测框到三维空间坐标的映射，计算果实实际位置。融合惯性测量单元采集的姿态信息，通过姿态解算模块实时获取果实俯仰、偏航及滚转角，为机械臂提供完整位姿数据。引入TF坐标系管理器，动态追踪相机、机械臂与果实之间的位置关系，通过坐标变换矩阵实现多坐标系统一，确保定位精度。

三、果实成熟度识别技术研究

（一）成熟度特征提取

构建多维度特征体系用于果实成熟度识别，兼顾颜色与纹理特征的互补性。将RGB图像转换至HSV颜色空间，提取色调、饱和度与明度三个分量的统计特征，通过分析成熟果实与未成熟果实的颜色分布差异，确定有效区分阈值。引入纹理特征提取算法，计算果实图像的灰度共生矩阵参数，包括能量、熵、对比度与相关性，反映果实表面纹理的粗细、均匀度等特性，弥补单一颜色特征的识别局限性。对提取的特征参数进行标准化处理，消除量纲差异影响，构建高维特征向量，为成熟度分类提供全面数据支撑。

（二）成熟度识别模型训练

基于支持向量机构建成熟度分类模型，通过核函数映射将高维特征向量转换至线性可分空间，实现成熟、半成熟与未成熟三类样本的精准分类。采用交叉验证法优化模型参数，选择最优核函数与惩罚系数，提升模型分类性能。将预处理后的图像特征数据集划分为训练集与测试集，训练集用于模型参数学习，测试集用于性能验证。引入样本均衡策略，通过数据增强技术扩充稀缺样本数量，避免模型训练偏向多数类样本。模型训练过程中，实时监控分类准确率与损失函数变化，确保模型收敛至最优状态。

（三）识别模型性能验证

通过实地采集的果实样本对成熟度识别模型进行性能测试，测试样本涵盖不同生长阶段、不同光照条件下的果实图像。测试结果显示，模型对成熟果实识别准确率达96.2%，半成熟与未成熟果实识别准确率分别为93.5%与92.8%，整体识别准确率超过94%。模型单帧识别时延小于50ms，能够满足移动采摘系统的实时性要求。在遮挡率达34%的复杂场景下，模型仍保持较高的识别稳定性，表明所提特征提取方法与分类模型具有较强的抗干扰能力，能够适应实际农业作业环境的复杂变化。

四、结语

本文围绕移动采摘系统的果实定位与成熟度识别核心需求，完成了软硬件系统设计与关键技术研究。通过图像预处理优化、深度学习定位模型改进及多维度特征融合的成熟度识别方法，有效提升了复杂农业环境下的定位精度与识别稳定性，满足了实时作业要求。但系统在极端天气适应性、多品种果实通用识别方面仍有提升空间，未来可进一步优化模型结构、扩充数据集，增强系统的鲁棒性与通用性，推动农业采摘自动化技术向更高效、智能的方向发展。

参考文献

[1]阮英兰.基于改进YOLOv7-tiny的脐橙采摘机器人视觉识别系统[J].智能物联技术,2025,57(3):153-156

[2]谢晓轩,孔德义,潘斌,单建华,谢淮北.基于ROS的植物工厂番茄采摘机器人控制系统设计[J].农机化研究,2025,47(10):82-89

[3]蒋鹏,顾群.基于机器视觉的智能采摘机系统设计[J].软件,2024,45(10):106-108

...