CN115553132A - 一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人 - Google Patents

一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人 Download PDF

Info

Publication number
CN115553132A
CN115553132A CN202211284014.1A CN202211284014A CN115553132A CN 115553132 A CN115553132 A CN 115553132A CN 202211284014 A CN202211284014 A CN 202211284014A CN 115553132 A CN115553132 A CN 115553132A
Authority
CN
China
Prior art keywords
litchi
image
bionic
target
picking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211284014.1A
Other languages
English (en)
Inventor
唐昀超
邹湘军
汤威
阙天顺
严植玮
龙泽政
邹天龙
苏超云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Zhongke Agricultural Robot And Intelligent Agricultural Innovation Research Institute
Original Assignee
Foshan Zhongke Agricultural Robot And Intelligent Agricultural Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Zhongke Agricultural Robot And Intelligent Agricultural Innovation Research Institute filed Critical Foshan Zhongke Agricultural Robot And Intelligent Agricultural Innovation Research Institute
Priority to CN202211284014.1A priority Critical patent/CN115553132A/zh
Publication of CN115553132A publication Critical patent/CN115553132A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D67/00—Undercarriages or frames specially adapted for harvesters or mowers; Mechanisms for adjusting the frame; Platforms
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D91/00—Methods for harvesting agricultural products
    • A01D91/04—Products growing above the soil
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人。所述荔枝识别方法包括：训练权重、图像预处理、目标识别、成熟度判断、定位目标，基于双目立体匹配原理得到荔枝果实目标的点云信息，并计算获取荔枝果实目标的三维位置。所述仿生荔枝采摘机器人人包括移动平台、定位装置、机械臂、自主导航双目相机、自主识别定位双目相机、仿生末端执行器。本发明可以准确识别野外复杂环境下的荔枝图像，同时配置仿生夹持与夹剪一体化的末端执行器，并能实现精确的自主导航定位，采摘效率高，对荔枝果实损伤小。

Description

一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人
技术领域
本发明属于农业智能机械领域，具体涉及一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人。
背景技术
我国是农业种植大国，荔枝被称为南国四大果品之一，荔枝采摘是关键环节。由于荔枝采摘的特殊性，荔枝采摘机器人还存在一些技术问题。一方面，荔枝采摘机器人对荔枝的识别是通过双目相机对目标荔枝截取图像与深度学习的训练权重进行比对，然后根据比对结果判断目标是否为荔枝。然而在野外环境光照影响下，相机采集图像时存在过曝或者过暗的情况，并且荔枝之间也会存在遮挡，产生许多干扰，无法有效地分类识别复杂场景的目标荔枝，导致采摘失败。因此，如何处理野外复杂环境下的目标荔枝图像，提高荔枝视觉识别的精度，是荔枝采摘机器人急需解决的关键技术问题。另一方面，现有的荔枝采摘机器人采用夹指末端执行器对荔枝进行抓取，而荔枝为串结果实且果实偏软，夹指抓取效率较低，在剪切过程中会使荔枝果实产生破损。因此，需要改进荔枝采摘机器人的末端执行器，使其实现夹剪一体化，减少荔枝果实的破损率，提高采摘效率。此外，目前在采摘时，需要先把荔枝采摘机器人放在果树旁边，频繁地人为移动机器人需要耗费大量的人力，难以实现真正的自动化，因此实现荔枝采摘机器人的自动导航，将提高其采摘效率。
发明内容
本发明的目的在于克服现有技术中存在的缺点，提供一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人，可以准确识别野外复杂环境下的荔枝图像，同时配置仿生夹持与夹剪一体化的末端执行器，并能实现精确的自主导航定位，采摘效率高，对荔枝果实损伤小。
本发明的目的通过下述技术方案实现：
一种仿生荔枝采摘机器人，包括移动平台、定位装置4、机械臂6、自主导航双目相机8、自主识别定位双目相机9、仿生末端执行器10；定位装置4和机械臂6安装在移动平台上，自主导航双目相机8安装在移动平台上，自主识别定位双目相机9安装在机械臂6上；仿生末端执行器10安装在机械臂6的末端。
所述定位装置4为卫星及北斗导航定位装置。
所述移动平台包括履带式行走底盘1和支撑平台2；支撑平台2置于履带式行走底盘1的上方，通过螺栓与履带式行走底盘进行连接，用于支撑机械臂。履带式行走底盘1的履带相对于传统的行走轮触地面积大，单位面积的压强小，可灵活适应多种地形，能稳定地在果园环境中作业。
所述移动平台的侧边安装有荔枝收集箱3，用于存储采摘的荔枝；所述仿生末端执行器10的下方安装有荔枝接收装置11，所述荔枝接收装置11的出口与荔枝收集箱3相连通。
所述自主识别定位双目相机9用于对荔枝图像的采集、图像预处理以及目标荔枝的识别与三维定位，通过支架7安装在机械臂上。所述自主导航双目相机8用于果园地图的构建与加载，通过支架5安装在移动平台上。
所述仿生末端执行器包括末端连接座12、L型夹紧手指座13、弹簧14、活动夹指15、仿生鹰嘴型动刀片16、动刀片压板17、定刀片上座18、电磁铁19、底座20、定夹指21、仿生鹰嘴型定刀片22；末端连接座12固定在机械臂的末端；末端连接座12与底座20通过铝型材相连接；电磁铁19和定夹指21安装在底座20的上表面，弹簧14为电磁铁上零件，用于电磁铁的复位；仿生鹰嘴型定刀片22通过定刀片上座18固定在定夹指21的上表面；L型夹紧手指座13的两面通过螺栓与电磁铁19相连接；仿生鹰嘴型动刀片16通过动刀片压板17固定在夹紧手指座13的L型内侧的一边上，活动夹指15固定在夹紧手指座13的L型内侧的另一边。
仿生鹰嘴型定刀片22与仿生鹰嘴型动刀片16相对应；仿生鹰嘴型定刀片22的刀尖呈弯曲鹰嘴状；仿生鹰嘴型动刀片16为鹰嘴下颚形状，刀片外端倒角为30°～40°。
活动夹指和定夹指相对应，均采用PC-ABS材料3D打印而成，在其表面均采用CFRP材料，表面结构均为仿生章鱼触手小吸盘，小吸盘呈漏斗状，大头向外，左右分布多列，相邻两列之间交错排序。
所述接收装置11采用仿生蛙嘴型设计，通过电磁铁实现蛙嘴的开合。
本发明采摘机器人的工作原理是：(1)仿生末端执行器采用电磁铁19作为动力装置，电磁铁19可以满足剪切的力量和行程要求，在采摘工作时，电磁铁19通电，拉动夹紧手指座13带动活动夹指15与仿生鹰嘴型动刀片16完成夹剪一体操作；(2)本发明的刀片采用仿生鹰嘴型的设计，定刀片是仿生老鹰的上喙，其上喙切缘具弧状垂凸，既可以扩大咬合面积，而且在咬合目标时不容易使目标脱落，由于荔枝果梗有较高的韧性且有汁水，不容易直接被剪断，在荔枝采摘时经常出现无法剪断荔枝果梗与果梗滑出剪切范围的情况，因此本发明提出的仿生鹰嘴型刀片，可以模拟鹰嘴咬合来稳定地完成剪切作业，在剪切时鹰嘴型刀片可以勾住荔枝果枝向内滑移，避免荔枝果梗从剪切范围内滑出；(3)活动夹指和定夹指均采用PC-ABS材料3D打印而成，PC-ABS材料是由聚碳酸酯(PC)和聚丙烯精(ABS)合金而成的热可塑性塑胶，具有两种材料的优异特性，耐温性达135℃，在野外高温环境下不会产生形变，其材料密度大约为1.2g/cm3，有效减轻仿生末端执行器的整体质量；(4)活动夹指和定夹指的表面设计为CFRP材料的仿生章鱼触手小吸盘，CFRP材料具有很高的摩擦系数，以及质量轻、强度高和耐腐蚀等优良特性，能良好的适应野外复杂环境；当活动夹指和定夹指闭合夹持时，会使得仿生章鱼触手小吸盘挤压空气，实现吸合，夹持更加稳定，较好的防止了荔枝果实脱落；(5)本发明设计的仿生型接收装置，采用仿生蛙嘴型设计，在采摘进程中，蛙嘴关闭，防止打开的蛙嘴将目标荔枝顶开，在采摘进程结束回到识别姿态时，蛙嘴打开，接收采摘下的荔枝，然后通过蛇形管道平稳落入收集箱中。
一种基于图像视觉算法的荔枝识别方法，包括下述步骤：
(A)训练权重：采集荔枝样本图像，对图像进行旋转、偏移、镜像、切割以扩充图像数据集；然后对图像中的荔枝打标签，采用优化后的YOLOv7深度学习网络对图像和标签进行训练，得到训练权重；
(B)图像预处理：在采摘模式下，自主识别定位双目相机对荔枝果实进行图像采集，然后针对野外光照影响情况，进行过曝的荔枝图像预处理或过暗的荔枝图像预处理；
(C)目标识别：将预处理后的荔枝图像推入优化后的YOLOv7神经识别网络，与步骤(A)获得的训练权重进行比对匹配，从荔枝图像中识别出荔枝果实目标；
(D)成熟度判断：将识别出的荔枝果实目标从左到右进行排序，对每个目标的RGB特征进行采集，然后计算方差、R与G的差，通过这两个数值判断荔枝成熟度信息，再将荔枝成熟度信息反馈到控制中心，判断是否对荔枝果实进行采摘；
(E)定位目标：当控制中心判断荔枝果实目标成熟，自主识别定位双目相机获取荔枝果实目标信息，通过相机双目立体匹配原理得到荔枝果实目标的深度图，然后通过三维重构，得到荔枝果实目标的点云信息。
步骤(A)中，所述优化后的YOLOv7深度学习网络，是对YOLOv7的神经网络结构和训练网络参数进行优化，即基于CNN-transformer模块进行结构优化，替换YOLOv7神经网络原有的backbone模块，对CNN-transformer模块的特征提取部分进行降采样的修改，并增加全局池化次数，使得模块支持特征重用和特征传播；利用DetectX Head模块与YOLOv7神经网络结构的Head模块进行替换并修改，将DetectX Head模块内的Conv模块修改，降低参数量。
步骤(B)中，所述过曝的荔枝图像预处理，是先采用双边滤波函数进行图像的保边去噪，然后将图像转为HSV色彩空间，对V分量采用直方图均衡化操作，得到光照强度变化平滑的V分量图，再对V分量图使用幂次变换操作，使整体光照亮度均匀降低后，将处理后的V分量替换原来的V分量图，得到光照强度降低图像，再将图像转回RGB色彩空间；然后采用本发明优化的融合色彩恢复因子的多尺度Retinex算法(MSRCR)对图像进行色彩恢复，得到光照均匀且色彩符合真实值的图像。本发明对MSRCR的优化为优化尺度的选择以及将高斯滤波替换为自适应双边滤波。
步骤(B)中，所述过暗的荔枝图像预处理，是先采用双边滤波函数进行图像的保边去噪，然后将图像转为HSV色彩空间，对V分量采用对数变换和小波变换操作，得到光照强度均匀拉伸的图像，再对转换回的RGB图像使用伽马校正，然后采用基于HSL空间的色彩饱和度自适应增强算法，得到光照强度提升且色彩符合真实值的图像。所述基于HSL空间的色彩饱和度自适应增强算法，是在HSL空间计算出增益参数后，对R、G、B三个分量进行自适应增强，用于自适应增强像素点原本的颜色。
步骤(D)中，所述荔枝成熟度判断，是将识别目标从左到右排序，计算识别目标的RGB方差值以及R分量与G分量的差，根据统计成熟荔枝果实的R与G之间的差来设定成熟度阈值i，R-G>＝i则判断为成熟荔枝，可以采摘；R-G<i则判断为未成熟荔枝，跳入下一识别目标的计算。
一种荔枝采摘方法，是采用上述的仿生荔枝采摘机器人和基于图像视觉算法的荔枝识别方法进行采摘，包括下述步骤：
(1)相机标定：分别对自主导航双目相机8、自主识别定位双目相机9进行标定，先对相机进行单目标定，获取左右相机的两个内参矩阵和畸变矩阵；然后对双目相机进行双目标定，获取重投影矩阵，得到矫正后的双目相机；求解像素坐标系到空间坐标系的转换矩阵，获取相机坐标系和机器人坐标系之间的转换关系；
(2)果园场地建图和自主导航：使用自主导航双目相机8和优化的ORB-SLAM3算法对荔枝果园场地进行建图；然后荔枝采摘机器人运行优化的ORB-SLAM3算法和路径规划算法，并通过卫星及北斗导航定位装置反馈的信息进行定位和自主导航；
(3)目标识别：当自主识别定位双目相机9检测到路侧有荔枝果实时，反馈信息到控制中心，重新规划行进路线，荔枝采摘机器人自主导航停在目标荔枝果树前，进入采摘模式；采用所述基于图像视觉算法的荔枝识别方法，训练权重、图像预处理、目标识别、成熟度判断、定位目标，基于双目立体匹配原理得到荔枝果实目标的点云信息，并计算获取荔枝果实目标的三维位置；
(4)采摘：荔枝采摘机器人的控制中心根据荔枝果实目标的三维位置规划机械臂到荔枝果实目标的运动轨迹，带动仿生末端执行器到荔枝果实的果梗采摘点位置；然后控制中心给电磁铁输送信号，电磁铁通电并拉动仿生末端执行器的夹紧手指座，使得活动夹指和定夹指夹紧果梗，仿生鹰嘴型动刀片和仿生鹰嘴型定刀片闭合以执行剪切动作，实现夹剪一体；采摘下的荔枝通过接收装置到达荔枝收集箱。
步骤(1)中，双目相机的单双目标定是求解相机参数，建立相机成像的几何模型，先通过单目标定获取左右相机的内、外参数矩阵以及畸变矩阵；然后通过双目标定获取双目相机的重投影矩阵和映射表等参数。本发明使用的标定方法为张正友棋盘格标定法。
步骤(2)中，所述优化的ORB-SLAM3算法，是采用优化后的YOLOv7深度学习网络对ORB-SLAM3跟踪线程算法进行优化，即先用优化后的YOLOv7深度学习网络识别出感兴趣区域，再结合点云信息，设置距离阈值L，若ORB特征点在帧间的点云位置差l>＝L，则判断为动态点，从ORB特征点中删去，只留下静态点。
与现有技术相比，本发明的优点和效果是：
(1)本发明优化后的YOLOv7深度学***滑度。
(2)本发明针对野外光照影响下过曝或过暗的荔枝图像预处理，可以有效降低相机在野外光照环境对采集荔枝图像的影响，提升野外环境下识别图像的鲁棒性和荔枝果实的识别准确率。
(3)本发明采用优化的ORB-SLAM3算法，由于果园为野外环境，在建图和导航过程中会有动态物体的存在，传统的ORB-SLAM3会将这些动态点加入BoW词典中，导致建图与导航不精确；因此本发明提出优化的ORB-SLAM3算法，使得感兴趣区域内的地图信息能够准确且稠密，实现在果园动态环境中鲁棒且准确地建图，同时结合卫星及北斗导航装置的信息反馈，采摘机器人在规划路径自主作业时有更高的导航定位精度，实现更稳定的自主导航。
(4)本发明采用OPENCV函数进行荔枝的成熟度判断，由于荔枝从未成熟到成熟有明显的红绿差值，通过计算荔枝的RGB方差以及R-B的值判断荔枝是否成熟，可以避免误采未成熟的荔枝。
附图说明
图1为仿生荔枝采摘机器人的结构示意图。
图2为仿生末端执行器的结构示意图。
图3为机械臂的结构示意图。
图4为荔枝采摘方法的工作流程图。
图5为过曝的荔枝图像预处理效果图，其中，图5(1)为荔枝过曝图像；图5(2)为荔枝过曝图像的处理结果图。
图6为过暗的荔枝图像预处理效果图，其中，图6(1)为荔枝过暗图像；图6(2)为荔枝过暗图像的处理结果图。
图中，1-行走底盘，2-支撑平台，3-收集箱，4-定位装置，5-支架，6-机械臂(6a-底座，6b-基座，6c-肩部，6d-肘部，6e-腕部1，6f-腕部2，6g-腕部3)，7-支架，8-自主导航双目相机，9-自主识别定位双目相机，10-仿生末端执行器，11-接收装置，12-末端连接座，13-L型夹紧手指座，14-弹簧，15-活动夹指，16-仿生鹰嘴型动刀片，17-动刀片压板，18-定刀片上座，19-电磁铁，20-底座，21-定夹指，22-仿生鹰嘴型定刀片。
具体实施方式
为了便于理解本发明，下面将结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但是，不以任何形式限制本发明。应该指出的是，对本领域的技术人员来说，在不脱离本发明构思的前提下，本发明还可以做出若干变形和改进，这些都属于本发明的保护范围。
实施例1
如图1所示，本发明的仿生荔枝机器人，包括移动式履带底盘1，与履带式底盘相连接的支撑平台2，支撑平台2上承载着卫星及北斗导航定位装置4和机械臂6，侧面安装荔枝收集箱3。如图3所示，所述机械臂6为六自由度机械臂，包括依次连接的底座6a、基座6b、肩部6c、肘部6d、腕部6e、腕部6f、腕部6g；底座6a固定在移动平台上，腕部6g通过法兰盘与仿生末端执行器相连接，自主识别定位双目相机9固定在腕部6f上。在支撑平台2上安装自主导航相机支架5，在支架5上安装自主导航双目相机8，在机械臂腕部6f上安装相机支架7，自主识别定位双目相机9安装在相机支架7之上，在机器臂末端搭载着仿生未端执行器10，接收装置11安装在仿生未端执行器下方。
如图2所示，仿生未端执行器包括末端连接座12、夹紧手指座13、弹簧14、活动夹指15、仿生鹰嘴型动刀片16、动刀片压板17、定刀片上座18、电磁铁19、底座20、定夹指21、仿生鹰嘴型定刀片22。连接板12实现仿生末端执行器和机械臂腕部6g的连接，同时对仿生未端执行器10进行固定和定位，活动夹指15和定夹指21整体内部采用PC/ABS材料3D打印而成，PC/ABS材料由聚碳酸酯(PC)和聚丙烯精(ABS)合金而成的热可塑性塑胶，夹指表面设计为采用CFRP材料的仿生章鱼小吸盘，增大对荔枝果梗的夹持稳定性。电磁铁19和定夹指21固定在底座20上，夹紧手指座13连接电磁铁19，活动夹指15安装在L型夹紧手指座13内侧一边，动刀片压板17将仿生鹰嘴型动刀片16固定在L型夹紧手指座13内侧另一边上，电磁铁19通电产生磁力，拉动夹紧手指座13，实现仿生鹰嘴型动刀片16和活动夹指15的开合运动，仿生鹰嘴型刀具的设计有效防止荔枝果梗在剪切过程中滑出剪切范围，仿生蛙嘴型可收缩接收装置能快速接收荔枝，减少机械臂运行时间，加快采摘速度，机械臂采用轻型驱控一体的网络控制器。
如图4所示，在采摘作业前，先对双目相机进行单双目标定；做法是通过架起一块棋盘格标定板，由机器人运动从各个角度拍摄标定板的图像来对相机进行单目标定；在单目标定后获得了左右相机的内外参数和畸变矩阵，依次对相机进行双目标定，得到将双目相机校正的重投影矩阵和像素坐标与物体坐标之间的联系；进行手眼标定，确定像素坐标系到空间机械手坐标系的转换矩阵。
如图4所示，采摘时，自主导航双目相机8根据先前通过本发明优化后的双目视觉融合IMU的ORB-SLAM3算法建好的地图结合卫星及北斗装置反馈的信息，规划路径，实现动态环境中的高精度自主导航，同时自主识别定位双目相机9检测路边果树上荔枝，接着通过信号通信，控制中心控制行走底盘1自主导航到果树附近，进入采摘姿态，自主识别定位双目相机8捕捉荔枝图像，同时对图像进行滤波处理，去除噪音干扰；通过对光照进行本发明开发的光照处理算法处理，降低因图像曝光或过暗降低识别精度的可能性，图像处理效果如图5(1)、5(2)、图6(1)、6(2)所示；将预处理过后的图像推入本发明经过神经网络结构和参数优化的YOLOv7训练模型进行识别，得到采摘目标；通过计算采摘目标RGB值的方差以及R与G分量值的差判断采摘目标是否成熟，决定是否采摘；利用相机双目立体匹配原理得到深度信息，再经过三维重构获取荔枝点云信息；将荔枝的点云信息传输到控制中心，通过计算到各个关节电机的正逆解，进而规划出机械臂6的运动轨迹；机械臂带动仿生末端执行器10到达采摘位置，控制中心给电磁铁19输送信号，电磁铁通电，拉动夹紧手指座13，活动夹指15与定夹指21先夹紧果梗，然后动刀片16和定刀片22闭合执行剪切动作，实现夹剪一体，采摘结束后，机械臂回到识别位姿，仿生蛙嘴型接收装置蛙嘴打开，夹指释放荔枝，将采摘的荔枝转移到荔枝收集箱3中。等到所有目标采摘完成后进入自主导航状态继续作业。
以上所述仅为本发明的实施例，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像视觉算法的荔枝识别方法，其特征在于包括下述步骤：
(A)训练权重：采集荔枝样本图像，对图像进行旋转、偏移、镜像、切割以扩充图像数据集；然后对图像中的荔枝打标签，采用优化后的YOLOv7深度学习网络对图像和标签进行训练，得到训练权重；
(B)图像预处理：在采摘模式下，自主识别定位双目相机对荔枝果实进行图像采集，然后针对野外光照影响情况，进行过曝的荔枝图像预处理或过暗的荔枝图像预处理；
(C)目标识别：将预处理后的荔枝图像推入优化后的YOLOv7神经识别网络，与步骤(A)获得的训练权重进行比对匹配，从荔枝图像中识别出荔枝果实目标；
(D)成熟度判断：将识别出的荔枝果实目标从左到右进行排序，对每个目标的RGB特征进行采集，然后计算方差、R与G的差，通过这两个数值判断荔枝成熟度信息，再将荔枝成熟度信息反馈到控制中心，判断是否对荔枝果实进行采摘；
(E)定位目标：当控制中心判断荔枝果实目标成熟，自主识别定位双目相机获取荔枝果实目标信息，通过相机双目立体匹配原理得到荔枝果实目标的深度图，然后通过三维重构，得到荔枝果实目标的点云信息。
2.根据权利要求1所述的基于图像视觉算法的荔枝识别方法，其特征在于：步骤(A)中，所述优化后的YOLOv7深度学习网络，是对YOLOv7的神经网络结构和训练网络参数进行优化，即基于CNN-transformer模块进行结构优化，替换YOLOv7神经网络原有的backbone模块，对CNN-transformer模块的特征提取部分进行降采样的修改，并增加全局池化次数，使得模块支持特征重用和特征传播；利用DetectX Head模块与YOLOv7神经网络结构的Head模块进行替换并修改，将DetectX Head模块内的Conv模块修改，降低参数量。
3.根据权利要求1所述的基于图像视觉算法的荔枝识别方法，其特征在于：步骤(B)中，所述过曝的荔枝图像预处理，是先采用双边滤波函数进行图像的保边去噪，然后将图像转为HSV色彩空间，对V分量采用直方图均衡化操作，得到光照强度变化平滑的V分量图，再对V分量图使用幂次变换操作，使整体光照亮度均匀降低后，将处理后的V分量替换原来的V分量图，得到光照强度降低图像，再将图像转回RGB色彩空间；然后采用优化的融合色彩恢复因子的多尺度Retinex算法对图像进行色彩恢复，得到光照均匀且色彩符合真实值的图像；
所述过暗的荔枝图像预处理，是先采用双边滤波函数进行图像的保边去噪，然后将图像转为HSV色彩空间，对V分量采用对数变换和小波变换操作，得到光照强度均匀拉伸的图像，再对转换回的RGB图像使用伽马校正，然后采用基于HSL空间的色彩饱和度自适应增强算法，得到光照强度提升且色彩符合真实值的图像。
4.根据权利要求1所述的基于图像视觉算法的荔枝识别方法，其特征在于：步骤(D)中，所述荔枝成熟度判断，是将识别目标从左到右排序，计算识别目标的RGB方差值以及R分量与G分量的差，根据统计成熟荔枝果实的R与G之间的差来设定成熟度阈值i，R-G>＝i则判断为成熟荔枝，可以采摘；R-G<i则判断为未成熟荔枝，跳入下一识别目标的计算。
5.一种仿生荔枝采摘机器人，其特征在于：采用权利要求1～4中任一项所述的基于图像视觉算法的荔枝识别方法；所述采摘机器人包括移动平台、定位装置、机械臂、自主导航双目相机、自主识别定位双目相机、仿生末端执行器；定位装置和机械臂安装在移动平台上，自主导航双目相机安装在移动平台上，自主识别定位双目相机安装在机械臂上；仿生末端执行器安装在机械臂的末端。
6.根据权利要求5所述的仿生荔枝采摘机器人，其特征在于：所述仿生末端执行器包括末端连接座、L型夹紧手指座、活动夹指、仿生鹰嘴型动刀片、动刀片压板、定刀片上座、电磁铁、底座、定夹指、仿生鹰嘴型定刀片；末端连接座固定在机械臂的末端；末端连接座与底座通过铝型材相连接；电磁铁和定夹指安装在底座的上表面；仿生鹰嘴型定刀片通过定刀片上座固定在定夹指的上表面；L型夹紧手指座的两面与电磁铁相连接；仿生鹰嘴型动刀片通过动刀片压板固定在夹紧手指座的L型内侧的一边上，活动夹指固定在夹紧手指座的L型内侧的另一边。
7.根据权利要求6所述的仿生荔枝采摘机器人，其特征在于：仿生鹰嘴型定刀片与仿生鹰嘴型动刀片相对应；仿生鹰嘴型定刀片的刀尖呈弯曲鹰嘴状；仿生鹰嘴型动刀片为鹰嘴下颚形状，刀片外端倒角为30°～40°；活动夹指和定夹指相对应，均采用PC-ABS材料3D打印而成，在其表面均采用CFRP材料，表面结构均为仿生章鱼触手小吸盘，小吸盘呈漏斗状，大头向外，左右分布多列，相邻两列之间交错排序。
8.根据权利要求5所述的仿生荔枝采摘机器人，其特征在于：所述移动平台的侧边安装有荔枝收集箱；所述仿生末端执行器的下方安装有荔枝接收装置，采用仿生蛙嘴型设计，通过电磁铁实现蛙嘴的开合；所述荔枝接收装置的出口与荔枝收集箱相连通。
9.一种荔枝采摘方法，其特征在于：采用采用权利要求5～8中任一项所述的仿生荔枝采摘机器人进行采摘，包括下述步骤：
(1)相机标定：分别对自主导航双目相机、自主识别定位双目相机进行标定，先对相机进行单目标定，获取左右相机的两个内参矩阵和畸变矩阵；然后对双目相机进行双目标定，获取重投影矩阵，得到矫正后的双目相机；求解像素坐标系到空间坐标系的转换矩阵，获取相机坐标系和机器人坐标系之间的转换关系；
(2)果园场地建图和自主导航：使用自主导航双目相机和优化的ORB-SLAM3算法对荔枝果园场地进行建图；然后荔枝采摘机器人运行优化的ORB-SLAM3算法和路径规划算法，并通过卫星及北斗导航定位装置反馈的信息进行定位和自主导航；
(3)目标识别：当自主识别定位双目相机检测到路侧有荔枝果实时，反馈信息到控制中心，重新规划行进路线，荔枝采摘机器人自主导航停在目标荔枝果树前，进入采摘模式；采用权利要求1～4中任一项所述的基于图像视觉算法的荔枝识别方法，训练权重、图像预处理、目标识别、成熟度判断、定位目标，基于双目立体匹配原理得到荔枝果实目标的点云信息，并计算获取荔枝果实目标的三维位置；
(4)采摘：荔枝采摘机器人的控制中心根据荔枝果实目标的三维位置规划机械臂到荔枝果实目标的运动轨迹，带动仿生末端执行器到荔枝果实的果梗采摘点位置；然后控制中心给电磁铁输送信号，电磁铁通电并拉动仿生末端执行器的夹紧手指座，使得活动夹指和定夹指夹紧果梗，仿生鹰嘴型动刀片和仿生鹰嘴型定刀片闭合以执行剪切动作，实现夹剪一体；采摘下的荔枝通过接收装置到达荔枝收集箱。
10.根据权利要求9所述的荔枝采摘方法，其特征在于：步骤(2)中，所述优化的ORB-SLAM3算法，是采用优化后的YOLOv7深度学习网络对ORB-SLAM3跟踪线程算法进行优化，即先用优化后的YOLOv7深度学习网络识别出感兴趣区域，再结合点云信息，设置距离阈值L，若ORB特征点在帧间的点云位置差l>＝L，则判断为动态点，从ORB特征点中删去，只留下静态点。
CN202211284014.1A 2022-10-20 2022-10-20 一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人 Pending CN115553132A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211284014.1A CN115553132A (zh) 2022-10-20 2022-10-20 一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211284014.1A CN115553132A (zh) 2022-10-20 2022-10-20 一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人

Publications (1)

Publication Number Publication Date
CN115553132A true CN115553132A (zh) 2023-01-03

Family

ID=84746258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211284014.1A Pending CN115553132A (zh) 2022-10-20 2022-10-20 一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人

Country Status (1)

Country Link
CN (1) CN115553132A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116021526A (zh) * 2023-02-07 2023-04-28 台州勃美科技有限公司 一种农业机器人控制方法、装置及农业机器人
CN116267236A (zh) * 2023-05-23 2023-06-23 四川省机械研究设计院(集团)有限公司 簇状果实采摘机器人
CN116508493A (zh) * 2023-04-27 2023-08-01 仲恺农业工程学院 一种龙门履带式茶叶采摘机器人及其采摘方法
CN117397463A (zh) * 2023-11-21 2024-01-16 广东省农业科学院设施农业研究所 一种荔枝采摘机的工作方法
CN118058074A (zh) * 2024-02-20 2024-05-24 广东若铂智能机器人有限公司 一种判断串型水果采摘过程中突发干扰的方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116021526A (zh) * 2023-02-07 2023-04-28 台州勃美科技有限公司 一种农业机器人控制方法、装置及农业机器人
CN116508493A (zh) * 2023-04-27 2023-08-01 仲恺农业工程学院 一种龙门履带式茶叶采摘机器人及其采摘方法
CN116508493B (zh) * 2023-04-27 2024-04-05 仲恺农业工程学院 一种龙门履带式茶叶采摘机器人及其采摘方法
CN116267236A (zh) * 2023-05-23 2023-06-23 四川省机械研究设计院(集团)有限公司 簇状果实采摘机器人
CN116267236B (zh) * 2023-05-23 2023-08-25 四川省机械研究设计院(集团)有限公司 簇状果实采摘机器人
CN117397463A (zh) * 2023-11-21 2024-01-16 广东省农业科学院设施农业研究所 一种荔枝采摘机的工作方法
CN117397463B (zh) * 2023-11-21 2024-05-07 广东省农业科学院设施农业研究所 一种荔枝采摘机的工作方法
CN118058074A (zh) * 2024-02-20 2024-05-24 广东若铂智能机器人有限公司 一种判断串型水果采摘过程中突发干扰的方法

Similar Documents

Publication Publication Date Title
CN115553132A (zh) 一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人
Sarig Robotics of fruit harvesting: A state-of-the-art review
CN108399639B (zh) 基于深度学习的快速自动抓取与摆放方法
CN107767423B (zh) 一种基于双目视觉的机械臂目标定位抓取方法
CN108247635B (zh) 一种深度视觉的机器人抓取物体的方法
CN110122073B (zh) 一种基于机器视觉的草莓采摘机器人
CN111418349B (zh) 一种水果采摘智能机器人及其实现水果采摘的方法
CN112715162B (zh) 一种智能化采摘串型水果的***
CN111260289A (zh) 一种基于视觉导航的微型无人机仓库盘点***及方法
CN108633482A (zh) 一种水果采摘飞行器
CN114067309B (zh) 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法
CN111462154A (zh) 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
CN110992422B (zh) 一种基于3d视觉的药盒姿态估计方法
CN113569922A (zh) 一种苹果智能无损分拣的方法
Jin et al. Detection method for table grape ears and stems based on a far-close-range combined vision system and hand-eye-coordinated picking test
CN115187803A (zh) 一种用于名优茶嫩芽采摘过程的定位方法
CN116686545A (zh) 基于机器视觉控制的荔枝采摘机器人除遮方法
Zhang et al. An automated apple harvesting robot—From system design to field evaluation
CN104992448A (zh) 机器人防损伤采摘葡萄的自动定位方法
CN117325170A (zh) 基于深度视觉导引机械臂抓取硬盘架的方法
CN115861780B (zh) 一种基于yolo-ggcnn的机械臂检测抓取方法
CN113681552A (zh) 一种基于级联神经网络的机器人混杂物体五维抓取方法
CN115810188A (zh) 基于单张二维图像的树上果实三维位姿识别方法及***
CN115909075A (zh) 基于深度视觉的输电线识别与定位方法
CN115271200A (zh) 一种用于名优茶的智能连贯采摘***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination