CN114830915A - 基于激光雷达导航的荔枝视觉采摘机器人及其实现方法 - Google Patents

基于激光雷达导航的荔枝视觉采摘机器人及其实现方法 Download PDF

Info

Publication number
CN114830915A
CN114830915A CN202210384198.2A CN202210384198A CN114830915A CN 114830915 A CN114830915 A CN 114830915A CN 202210384198 A CN202210384198 A CN 202210384198A CN 114830915 A CN114830915 A CN 114830915A
Authority
CN
China
Prior art keywords
litchi
picking
vision
camera
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210384198.2A
Other languages
English (en)
Other versions
CN114830915B (zh
Inventor
邹湘军
张涛
唐昀超
胡柯炜
孟繁
温斌
邹天龙
潘耀强
胡博然
谢启旋
徐秀进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Zhongke Agricultural Robot And Intelligent Agricultural Innovation Research Institute
South China Agricultural University
Zhongkai University of Agriculture and Engineering
Original Assignee
Foshan Zhongke Agricultural Robot And Intelligent Agricultural Innovation Research Institute
South China Agricultural University
Zhongkai University of Agriculture and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Zhongke Agricultural Robot And Intelligent Agricultural Innovation Research Institute, South China Agricultural University, Zhongkai University of Agriculture and Engineering filed Critical Foshan Zhongke Agricultural Robot And Intelligent Agricultural Innovation Research Institute
Priority to CN202210384198.2A priority Critical patent/CN114830915B/zh
Publication of CN114830915A publication Critical patent/CN114830915A/zh
Application granted granted Critical
Publication of CN114830915B publication Critical patent/CN114830915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D46/00Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30Robotic devices for individually picking crops
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/30Interpretation of pictures by triangulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Environmental Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于激光雷达导航的荔枝视觉采摘机器人及其实现方法,包括导航机构、运载机构、升降机构、电源、机械臂、双目视觉机构、末端执行机构、控制柜、果实收集装置;导航机构安装在运载机构的车体底板前端;升降机构安装在运载机构的车体底板上;机械臂、电源、控制柜安装在升降机构的工作平台上;双目视觉机构安装在末端执行器固定件上;末端执行机构安装在机械臂的末端;果实收集装置安装在升降机构的侧面。本发明能精准识别荔枝果梗,并自动进行采摘,采摘效率高,而且整体结构简单,自动化和智能化程度高。

Description

基于激光雷达导航的荔枝视觉采摘机器人及其实现方法
技术领域
本发明属于农业机械领域,具体涉及一种基于激光雷达导航的荔枝视觉采摘机器人及其实现方法。
背景技术
我国是全球最主要的荔枝生产国,但是荔枝的采摘收获需要大量劳动力,而且荔枝成熟期非常短,同时岭南的天气炎热多雨,若不能及时采摘就会造成严重的经济损失。目前有一些荔枝采摘机器,如专利CN109566097A公开了一种荔枝采摘机,其采摘爪在执行采摘动作时,相互平行布置于爪指支架上的多个爪指在采摘过程中会夹到没有果实的枝丫,采摘效率较低,而且不能实现自主导航,也没有搭载视觉模块,无法实现自动采摘。
发明内容
本发明的目的在于克服现有技术中存在的缺点,提供一种基于激光雷达导航的荔枝视觉采摘机器人及其实现方法,能精准识别荔枝果梗,并自动进行采摘,采摘效率高,而且整体结构简单,自动化和智能化程度高。
本发明的目的通过下述技术方案实现:
一种基于激光雷达导航的荔枝视觉采摘机器人,包括导航机构1、运载机构2、升降机构3、电源4、机械臂5、双目视觉机构6、末端执行机构7、控制柜8、果实收集装置9;导航机构1安装在运载机构2的车体底板前端;升降机构3安装在运载机构2的车体底板上;机械臂5、电源4、控制柜8安装在升降机构3的工作平台上;双目视觉机构6安装在末端执行器固定件34上;末端执行机构7安装在机械臂的末端;果实收集装置9安装在升降机构的侧面。
所述导航机构1包括激光雷达和编码器,激光雷达安装在运载机构的车体底板前端,激光雷达和编码器用于获取道路的数据信息。
所述升降机构3包括底座11、交叉式升降组件12、液压驱动组件10和工作平台13;所述液压驱动组件10固定在底座11上,液压驱动组件10分别与交叉式升降组件12、控制柜8相连接,用于带动交叉式升降组件12做升降运动;所述工作平台13水平设置在交叉式升降组件12上;果实收集装置9安装在升降机构工作平台的侧面。
所述机械臂5包括第一丝杆14、第二丝杆15、第三丝杆16、第四丝杆17、第五丝杆18、第六丝杆19、第一推杆20、第二推杆21、第三推杆22、第四推杆23、第一连接件24和第二连接件25;所述机械臂5为两套相同结构的机械臂,分别布置在升降机构工作平台13的斜对角位置;其中一套机械臂是将第一丝杆14、第二丝杆15沿运载机构前进方向垂直固定在升降机构工作平台上13,第三丝杆16的两端分别水平固定在第一丝杆14、第二丝杆15的滑台上,第一推杆20、第二推杆21呈对称式垂直固定在第三丝杆16上,末端执行器通过末端执行器固定件34连接在第一推杆20的末端,然后通过第一连接件24将末端执行器固定件与第二推杆21连接;与之斜对角放置的另一套机械臂也是同样的结构。
所述末端执行机构7包括末端执行器固定件34、末端执行器;所述末端执行器包括电机29、啮合刀片30、橡胶夹板31、夹板固定件32、结构固定件33、丝杆螺母35、推杆36;啮合刀片30与夹板固定件32刚性连接,橡胶夹板31通过夹板固定件32安装在啮合刀片30的下方,电机29与结构固定件33相连接,丝杆螺母35与电机29的丝杆相连接,推杆36固定在丝杆螺母35上,啮合刀片30连接在推杆36的末端。当进行采摘作业时,啮合刀片与夹紧部件即橡胶夹板31相对静止,电机工作时,丝杆螺母35由电机29丝杆的转动来实现旋转运动与直线运动的相互转换,在丝杆螺母35的往复直线运动下带动推杆36为啮合刀片30提供动力,实行剪切运动;橡胶夹板31在啮合刀片30进行啮合的同时完成对荔枝果梗的夹紧。啮合刀片30是通过仿生物牙齿的锯齿状结构来进行设计的,橡胶夹板31设计成类似于生物的嘴唇的形状,仿生物嘴巴结构的夹剪一体化结构,具有可实现加工性,啮合刀片30的锯齿状结构也有利于对荔枝果梗的定位,防止果梗在啮合剪断时滑动。本发明设计的末端执行器能够在不损害荔枝果实与枝叶的前提下进行采摘,保证了荔枝果实与枝叶的完整性,能更好地适应不同粗细的荔枝果梗,同时末端执行器结构紧凑,能保证在夹剪时不会受到其他枝丫的影响,锯齿状结构和橡胶材料制作的夹具可以稳定的夹住荔枝串不至于掉落。
所述双目视觉机构6包括左相机27、右相机28、相机固定架26,左、右相机安装在相机固定架上,相机固定架26安装在末端执行器固定件34上。
一种基于激光雷达导航的荔枝视觉采摘机器人的实现方法,包括下述步骤:
(1)激光雷达导航:激光雷达和编码器用于获取道路的数据信息,通过获取的数据信息来进行机器人的定位、地图构建和路径规划,运载机构接收到指令后准确到达指定位置;
(2)升降机构进行升降:针对不同的采摘环境及荔枝品种,控制升降机构达到合适的高度来进行采摘作业;
(3)数据集制作:先用相机采集大量的荔枝图像,然后用标注工具对采集的图像进行标注,即框选出要采摘的荔枝果梗,得到荔枝果梗数据集;
(4)深度学习模型:使用改进的YOLOV4网络对荔枝果梗数据集进行训练,得到识别荔枝果梗的网络模型;
(5)双目相机的单、双目标定及手眼标定:先是分别对两个相机进行单目标定,得到每个相机的内参矩阵和畸变矩阵;然后对两个相机进行双目立体视觉标定,得到用于双目校正的重投影矩阵,同时获得世界坐标系下真实物距与相机像素距离之间的转换关系;再将双目相机拍摄到的荔枝图像进行双目校正,得到双目校正后的图像;手眼标定用于确定机器人与相机之间的坐标系转换关系;
(6)三维重建:通过双目相机获取荔枝图像的彩色图像,经过立体匹配得到深度图,并将彩色图像输入到步骤(4)中已经训练好的网络模型中,得到荔枝果梗采摘点的位置坐标,根据三角测距原理得到荔枝果梗的三维点云;
(7)运动轨迹规划:将荔枝果梗的三维点云信息传送给控制柜,控制柜通过分析点云信息中包含的空间三维信息,采用避障算法来规划机械臂的运动轨迹,使其靠近采摘目标;
(8)姿态估计:由于荔枝的果梗方向不全是垂直向下的,所以需要通过获取的荔枝果梗三维点云来确定果梗轴线方向向量n及与n垂直的方向向量m;
(9)采摘及收集:通过控制第一推杆和第二推杆的伸长使末端执行器从向量m的方向对采摘点进行夹紧剪切,并将采摘到的荔枝果串放入果实收集装置中。
所述步骤(1)中,激光雷达导航是指运载机构利用自身传感器,识别自己在环境中的位置并且构建基于环境的地图,同时基于地图实现定位导航功能,这种功能的实现就是同时定位与构建地图技术。
所述步骤(4)中,所述改进的YOLOV4网络是指采用卷积来得到不同感受野的特征图,其kernel size分别设置为1×1,3×3、3×3、5×5。原来的YOLOV4网络是采用金字塔池化结构中最大池化的操作来得到不同感受野的特征图,但是通过最大池化不能够获取多尺度物体信息,也会丢失许多关于图像边界的细节信息,所以本发明采用卷积来实现不同感受野的特征图,改进之后不仅解决了卷积神经网络对输入图像大小必须固定的问题,而且通过引入不同的空洞率来变相的扩大了感受野,并将输出结果融合。
所述步骤(5)中,相机标定是指求解相机模型参数的过程。首先进行单目标定,分别得到左右相机的外参数矩阵、内参数矩阵和畸变矩阵,在单目标定的基础上再进行双目标定,得到双目标定的重投影矩阵和映射表等矩阵参数,最后得到空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系。求解相机坐标系和机器人坐标系之间的转换关系的目的是:将基于相机坐标系下的荔枝三维坐标转化为基于机器人坐标系下的荔枝三维坐标,根据坐标计算出各个丝杆及推杆的运动姿态,控制末端执行器到达指定位置。
所述步骤(6)中,基于双目视觉的三维重建,是图像处理技术与机器视觉的重要组成部分。因为单目相机所拍摄的图像是二维的,所以需要使用双目相机来模拟人类的视觉***,根据左右相机所拍摄的两张图像匹配点对的视差,然后根据相似三角形原理来计算出空间物体表面某点的位置到两镜头光心之间连线距离,以及得到物体表面点云的三维坐标。三维重建就是利用物体表面点云的三维坐标,来对目标物体表面进行重建的过程,从而能够让机器人加快采摘速度,提高效率,变得更加的智能化。
本发明与现有技术相比具有如下优点和效果:
(1)本发明使用改进的YOLOV4网络,采用卷积来代替原网络空间金字塔池化结构中最大池化的操作来得到不同感受野的特征图。因为通过最大池化不能够获取多尺度物体信息,也会丢失许多关于图像边界的细节信息,所以本发明采用卷积实现,其kernel size分别设置为1×1,3×3、3×3、5×5,改进之后不仅解决了卷积神经网络对输入图像大小必须固定的问题,而且通过引入不同的空洞率来变相的扩大了感受野,并将输出结果融合。而且,为了解决YOLOV4对小目标荔枝的漏检问题,提出采用高分辨率的样本图片,并同时只对小目标荔枝进行采样、训练,然后与其他大视场下拍摄的图片进行混合训练的方法,从而提高YOLOV4对小目标荔枝的识别率。
(2)本发明所使用的末端执行器,通过仿生物牙齿的锯齿状结构来设计啮合刀片啮合剪断荔枝果梗,以及使用橡胶材料来夹住荔枝果梗的夹剪一体化结构,具有可实现加工性。仿生物嘴巴结构的末端执行器能够在保障不损害荔枝果实与枝叶的前提下进行采摘,保证了荔枝果实与枝叶的完整性,能更好地适应不同粗细的荔枝果梗,锯齿状结构和橡胶材料夹具可以稳定的夹住荔枝串不至于掉落。本发明设计的仿铣床式机械臂,结构简单、双侧机械手对称负荷与力平衡性好,使用成本低,避免了6轴串联机械臂所需要的工作空间大、成本高、累计误差增加、刚性差等缺点,而且可以实现机械臂对两侧果实的同时采摘,提高采摘的效率。
(3)本发明在使用末端执行器进行夹剪采摘时,由于荔枝的果梗方向不全是垂直向下的,需要通过获取的荔枝果梗三维点云来确定果梗轴线方向向量n及与n垂直的方向向量m,并创新性地通过控制推杆的伸缩量来改变末端执行器的采摘角度,从而实现末端夹剪机构对获取的荔枝果梗轴线方向的垂直方向进行采摘。
附图说明
图1为本发明的荔枝视觉采摘机器人的整体结构示意图。
图2为本发明的荔枝视觉采摘机器人的正视图。
图3为本发明的荔枝视觉采摘机器人的侧视图。
图4为本发明的荔枝视觉采摘机器人的俯视图。
图5为本发明的机械臂的结构示意图。
图6为本发明的末端执行机构的结构示意图。
图7为本发明的末端执行器的结构示意图。
图8为本发明的激光雷达导航流程图。
图9为本发明的视觉识别算法流程图。
图10为本发明的改进的YOLOV4网络SPP结构。
其中,1-导航机构,2-运载机构,3-升降机构,4-电源,5-机械臂,6-双目视觉机构,7-末端执行机构,8-控制柜,9-果实收集装置,10-液压驱动组件,11-底座,12-交叉式升降组件,13-工作平台,14-第一丝杆,15-第二丝杆,16-第三丝杆,17-第四丝杆,18-第五丝杆,19-第六丝杆,20-第一推杆,21-第二推杆,22-第三推杆,23-第四推杆,24-第一连接件,25-第二连接件,26-相机固定架,27-左相机,28-右相机,29-电机,30-啮合刀片,31-橡胶夹板,32-夹板固定件,33-结构固定件,34-末端执行器固定件、35-丝杆螺母、36-推杆。
具体实施方式
为了便于理解本发明,下面将结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但是,不以任何形式限制本发明。应该指出的是,对本领域的技术人员来说,在不脱离本发明构思的前提下,本发明还可以做出若干变形和改进,这些都属于本发明的保护范围。除非另有定义,本文中使用的所有技术和科学术语属于本发明的技术领域常用的专业术语,与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在说明书中所使用的术语只是为了描述具体的实施例,不是旨在限制本发明。
实施例
如图1~图4所示,一种基于激光雷达导航的荔枝自动采摘机器人,包括导航机构1、升降机构3、双目视觉机构6、运载机构2、机械臂5、末端执行机构7、电源4、控制柜8、果实收集装置9;用于导航的激光雷达安装在运载机构2车体底板前端;升降机构3安装在运载机构2车体底板上;机械臂5、电源4、控制柜8安装在升降机构3工作平台上;双目视觉机构6安装在末端执行器固定件34上;末端执行机构7安装在机械臂末端;果实收集装置9安装在升降平台侧面。如图1所示,激光雷达安装在运载机构车体底板前端,激光雷达和编码器负责获取道路的数据信息,运载机构负责执行运动指令。机器人利用得到的数据来进行机器人的定位、地图构建和路径规划等功能。升降机构安装在运载机构车体底板上,所述升降机构3包括底座11、交叉式升降组件12、液压驱动组件10和工作平台13,所述液压驱动组件10固定在底座11上,且液压驱动组件10分别与交叉式升降组件12、控制柜8连接,用于带动升降组件12做升降运动,所述工作平台13水平设置在交叉式升降组件12上,果实收集装置9安装在升降机构工作平台侧面。所述机械臂5、电源4、控制柜8安装在工作平台13上。如图5所示,机械臂5包括第一丝杆14、第二丝杆15、第三丝杆16、第四丝杆17、第五丝杆18、第六丝杆19、第一推杆20、第二推杆21、第三推杆22、第四推杆23、第一连接件24、第二连接件25、末端执行器固定件34及末端执行器组成。由上述零件共组装成两套相同结构机械臂分别布置在升降机构工作平台13的斜对角位置。近年来,我国农业种植特别是在果蔬种植上越来越倾向于规范化种植,因此本专利实现了机械臂对两侧果实的同时采摘,大大的提高了采摘的效率。其中一套机械臂是将第一丝杆14、第二丝杆15沿运载机构前进方向垂直固定在升降机构工作平台上13,第三丝杆16的两端分别水平固定在第一丝杆14、第二丝杆15的滑台上,第一推杆20、第二推杆21呈对称式垂直与第三丝杆16固定,将末端执行器通过末端执行器固定件34连接在第一推杆20末端,然后用第一连接件24将末端执行器固定件与第二推杆21连接,与之斜对角放置的机械臂也是同样的结构。如图6所示,末端执行机构7包括末端执行器固定件34及末端执行器,如图7所示,所述末端执行器由电机29、啮合刀片30、橡胶夹板31、夹板固定件32、结构固定件33、丝杆螺母35和推杆36组成,啮合刀片30通过螺栓固定在结构固定件33上,由电机29旋转来带动啮合刀片30的张开或关闭,橡胶夹板31通过夹板固定件32安装在啮合刀片30的下方,电机29与结构固定件33相连接,丝杆螺母35与电机29的丝杆相连接,推杆36固定在丝杆螺母35上,啮合刀片30连接在推杆36的末端,橡胶夹板31在夹紧荔枝果梗的同时实现剪切。双目视觉机构6包括左相机27、右相机28、相机固定架26,左、右相机安装在相机固定架上,相机固定架26安装在末端执行器固定件34上。通过控制第一推杆和第二推杆的伸长来使末端执行器从与荔枝果梗轴线垂直的方向来对采摘点进行夹紧剪切,并将采摘到的荔枝果串放入收集装置9中。
所述基于激光雷达导航的荔枝视觉采摘机器人及其实现方法,包括以下步骤:
(1)激光雷达导航:激光雷达和编码器负责获取道路的数据信息,在机器人软件***中,机器人利用得到的数据来进行机器人的定位、地图构建和路径规划等功能,运载机构接收到指令后可以准确的到达指定位置;如图8所示;
(2)采摘平台升降:由于受环境及荔枝品种的不同的影响,需要控制升降机构3达到合适的高度来进行采摘作业;
(3)数据集制作:首先用相机采集大量的荔枝图像,然后用标注工具对采集的图像进行标注,即框选出要采摘的荔枝果梗;
(4)深度学习模型:使用改进的YOLOV4网络对步骤(3)中的数据集进行训练,得到识别果梗较好地网络模型;如图10所示;
(5)双目相机的单、双目标定及手眼标定:先是分别对两个相机进行单目标定,得到每一个相机的内参矩阵和畸变矩阵;然后对两个相机进行双目立体视觉标定,得到用于双目校正的重投影矩阵,同时获得世界坐标系下真实物距与相机像素距离之间的转换关系;再将双目相机拍摄到的荔枝图像进行双目校正,得到双目校正后的图像;手眼标定可用用来确定机器人与相机之间的坐标系转换关系;
(6)三维重建:通过双目相机获取荔枝图像的彩色图像,经过立体匹配得到深度图,并将彩色图像输入到步骤(4)中已经训练好的网络模型中,得到荔枝果梗采摘点的位置坐标,根据三角测距原理可以得到荔枝果梗的三维点云;如图9所示;
(7)运动轨迹规划:将荔枝果梗的三维点云信息传送给控制柜8,控制柜8通过分析点云数据中包含的空间三维信息,采用避障算法来规划机械臂5的运动轨迹,使其靠近采摘目标;
(8)姿态估计:由于荔枝的果梗方向不全是垂直向下的,所以需要通过获取的荔枝果梗三维点云来确定果梗轴线方向向量n及与n垂直的方向向量m;
(9)采摘及收集:通过控制第一推杆20和第二推杆21的伸长来使末端执行器从向量m的方向来对采摘点进行夹紧剪切,并将采摘到的荔枝果串放入收集装置9中。
本发明的工作原理是:通过激光雷达来实现采摘机器人在果园内的自动行驶,根据树高控制升降平台的高度,利用改进的YOLOV4网络框架识别荔枝果梗,通过双目相机获取荔枝图像的彩色图像,经过立体匹配得到深度图,根据三角测距原理得到荔枝果梗的三维点云,得到荔枝果梗采摘点的位置坐标,根据所检测目标,控制末端执行机构靠近从与荔枝果梗轴线垂直的方向来对采摘点进行夹紧剪切,并将采摘到的荔枝果串放入收集装置中。
以上所述仅为本发明的实施例,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均为等效的置换方式,都包含在本发明的保护范围之内。

Claims (9)

1.一种基于激光雷达导航的荔枝视觉采摘机器人,其特征在于:包括导航机构、运载机构、升降机构、电源、机械臂、双目视觉机构、末端执行机构、控制柜、果实收集装置;导航机构安装在运载机构的车体底板前端;升降机构安装在运载机构的车体底板上;机械臂、电源、控制柜安装在升降机构的工作平台上;双目视觉机构安装在末端执行器固定件上;末端执行机构安装在机械臂的末端;果实收集装置安装在升降机构的侧面。
2.根据权利要求1所述的基于激光雷达导航的荔枝视觉采摘机器人,其特征在于:所述导航机构包括激光雷达和编码器,激光雷达安装在运载机构的车体底板前端,激光雷达和编码器用于获取道路的数据信息。
3.根据权利要求1所述的基于激光雷达导航的荔枝视觉采摘机器人,其特征在于:所述升降机构包括底座、交叉式升降组件、液压驱动组件和工作平台;所述液压驱动组件固定在底座上,液压驱动组件分别与交叉式升降组件、控制柜相连接,用于带动交叉式升降组件做升降运动;所述工作平台水平设置在交叉式升降组件上。
4.根据权利要求1所述的基于激光雷达导航的荔枝视觉采摘机器人,其特征在于:所述机械臂为两套相同结构的机械臂,分别布置在升降机构工作平台的斜对角位置;其中一套机械臂是将第一丝杆、第二丝杆沿运载机构前进方向垂直固定在升降机构工作平台上,第三丝杆的两端分别水平固定在第一丝杆、第二丝杆的滑台上,第一推杆、第二推杆呈对称式垂直固定在第三丝杆上,末端执行器通过末端执行器固定件连接在第一推杆的末端,然后通过第一连接件将末端执行器固定件与第二推杆连接;另一套机械臂也是同样的结构。
5.根据权利要求1所述的基于激光雷达导航的荔枝视觉采摘机器人,其特征在于:所述末端执行机构包括末端执行器固定件、末端执行器;所述末端执行器包括电机、啮合刀片、橡胶夹板、夹板固定件、结构固定件、丝杆螺母、推杆;啮合刀片与夹板固定件刚性连接,橡胶夹板通过夹板固定件安装在啮合刀片的下方,电机与结构固定件相连接,丝杆螺母与电机的丝杆相连接,推杆固定在丝杆螺母上,啮合刀片连接在推杆的末端。
6.根据权利要求5所述的基于激光雷达导航的荔枝视觉采摘机器人,其特征在于:啮合刀片为仿生物牙齿的锯齿状结构,橡胶夹板为仿生物嘴唇的形状。
7.根据权利要求1所述的基于激光雷达导航的荔枝视觉采摘机器人,其特征在于:所述双目视觉机构包括左相机、右相机、相机固定架,左、右相机安装在相机固定架上,相机固定架安装在末端执行器固定件上。
8.一种权利要求1~7中任一项所述的基于激光雷达导航的荔枝视觉采摘机器人的实现方法,其特征在于包括下述步骤:
(1)激光雷达导航:激光雷达和编码器用于获取道路的数据信息,通过获取的数据信息来进行机器人的定位、地图构建和路径规划,运载机构接收到指令后准确到达指定位置;
(2)升降机构进行升降:针对不同的采摘环境及荔枝品种,控制升降机构达到合适的高度来进行采摘作业;
(3)数据集制作:先用相机采集大量的荔枝图像,然后用标注工具对采集的图像进行标注,即框选出要采摘的荔枝果梗,得到荔枝果梗数据集;
(4)深度学习模型:使用改进的YOLOV4网络对荔枝果梗数据集进行训练,得到识别荔枝果梗的网络模型;
(5)双目相机的单、双目标定及手眼标定:先是分别对两个相机进行单目标定,得到每个相机的内参矩阵和畸变矩阵;然后对两个相机进行双目立体视觉标定,得到用于双目校正的重投影矩阵,同时获得世界坐标系下真实物距与相机像素距离之间的转换关系;再将双目相机拍摄到的荔枝图像进行双目校正,得到双目校正后的图像;手眼标定用于确定机器人与相机之间的坐标系转换关系;
(6)三维重建:通过双目相机获取荔枝图像的彩色图像,经过立体匹配得到深度图,并将彩色图像输入到步骤(4)中已经训练好的网络模型中,得到荔枝果梗采摘点的位置坐标,根据三角测距原理得到荔枝果梗的三维点云;
(7)运动轨迹规划:将荔枝果梗的三维点云信息传送给控制柜,控制柜通过分析点云信息中包含的空间三维信息,采用避障算法来规划机械臂的运动轨迹,使其靠近采摘目标;
(8)姿态估计:由于荔枝的果梗方向不全是垂直向下的,所以需要通过获取的荔枝果梗三维点云来确定果梗轴线方向向量n及与n垂直的方向向量m;
(9)采摘及收集:通过控制第一推杆和第二推杆的伸长使末端执行器从向量m的方向对采摘点进行夹紧剪切,并将采摘到的荔枝果串放入果实收集装置中。
9.根据权利要求8所述的荔枝视觉采摘机器人的实现方法,其特征在于:步骤(4)中,所述改进的YOLOV4网络是指采用卷积来得到不同感受野的特征图,其kernel size分别设置为1×1,3×3、3×3、5×5。
CN202210384198.2A 2022-04-13 2022-04-13 基于激光雷达导航的荔枝视觉采摘机器人及其实现方法 Active CN114830915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210384198.2A CN114830915B (zh) 2022-04-13 2022-04-13 基于激光雷达导航的荔枝视觉采摘机器人及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210384198.2A CN114830915B (zh) 2022-04-13 2022-04-13 基于激光雷达导航的荔枝视觉采摘机器人及其实现方法

Publications (2)

Publication Number Publication Date
CN114830915A true CN114830915A (zh) 2022-08-02
CN114830915B CN114830915B (zh) 2023-09-26

Family

ID=82563866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210384198.2A Active CN114830915B (zh) 2022-04-13 2022-04-13 基于激光雷达导航的荔枝视觉采摘机器人及其实现方法

Country Status (1)

Country Link
CN (1) CN114830915B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115316129A (zh) * 2022-08-12 2022-11-11 华南农业大学 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法
CN115589849A (zh) * 2022-10-18 2023-01-13 大连理工大学(Cn) 一种球形果蔬采摘器

Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180554A (ja) * 2002-12-02 2004-07-02 National Agriculture & Bio-Oriented Research Organization 果菜類の選択収穫方法及び装置
CN107094429A (zh) * 2017-07-03 2017-08-29 彭紫薇 一种多轴水果采摘机器人
CN207678305U (zh) * 2017-12-18 2018-08-03 艾力·艾散 一种用于核桃采摘的机械手臂
CN108557143A (zh) * 2018-05-01 2018-09-21 浙江工业大学 一种水果采摘套袋机
CN108575320A (zh) * 2018-05-23 2018-09-28 芮杰 草莓采摘机器人
CN208047324U (zh) * 2018-04-17 2018-11-06 石河子大学 一种红花采摘末端执行器
CN208079866U (zh) * 2018-04-16 2018-11-13 苏州大学 一种水果自动采摘装置
CN108834576A (zh) * 2018-06-07 2018-11-20 华南农业大学 一种基于双目视觉的柑橘采摘机器人及其实现方法
CN109328643A (zh) * 2018-12-17 2019-02-15 青岛科技大学 一种自平衡式苹果采摘车
JP2019037214A (ja) * 2017-08-29 2019-03-14 株式会社デンソー エンドエフェクタ
CN109743966A (zh) * 2019-02-18 2019-05-14 德施普科技发展温州有限公司 一种水果采摘机
CN209047050U (zh) * 2018-08-17 2019-07-02 长沙理工大学 一种电动便携式水果采摘装置
CN110832991A (zh) * 2019-10-24 2020-02-25 广州大学 一种基于图像识别的采摘机及其控制方法
CN211020054U (zh) * 2019-09-16 2020-07-17 中国农业科学院农业信息研究所 果蔬采摘装置
CN211415245U (zh) * 2019-12-26 2020-09-04 青岛悟牛智能科技有限公司 一种采摘机器人
CN111673755A (zh) * 2020-06-24 2020-09-18 西北农林科技大学 一种基于视觉伺服的采摘机器人控制***及控制方法
CN111709489A (zh) * 2020-06-24 2020-09-25 广西师范大学 一种基于改进YOLOv4的柑橘识别方法
CN111742709A (zh) * 2020-04-23 2020-10-09 华南农业大学 基于深度视觉的香蕉采摘装置及采摘方法
CN112425373A (zh) * 2020-12-02 2021-03-02 陕西中建建乐智能机器人股份有限公司 一种猕猴桃采摘分拣机器人及其分拣猕猴桃的方法
CN113115638A (zh) * 2019-12-31 2021-07-16 季华实验室 一种智能采茶机器人
CN113273395A (zh) * 2021-05-21 2021-08-20 佛山市中科农业机器人与智慧农业创新研究院 一种基于视觉识别的棉花打顶机器人及其实现方法
CN113408410A (zh) * 2021-06-18 2021-09-17 重庆科技学院 一种基于YOLOv4算法的交通标志检测方法
CN214508055U (zh) * 2021-03-09 2021-10-29 甄圣超 一种基于视觉的移动采摘机器人
CN113692854A (zh) * 2021-09-10 2021-11-26 江苏理工学院 西红柿采摘机及其控制方法
EP3918904A1 (fr) * 2020-06-02 2021-12-08 Exel Industries Procédé automatisé de sélection et de récolte de fruits et équipement mécanique mettant en oeuvre le procédé
CN113971775A (zh) * 2021-10-14 2022-01-25 江苏省电力试验研究院有限公司 一种基于优化yolov4算法的违章行为识别方法及***
CN216087713U (zh) * 2021-11-10 2022-03-22 双髻鲨(威海)机器人科技有限公司 一种用于自动采摘柑橘的机器人

Patent Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180554A (ja) * 2002-12-02 2004-07-02 National Agriculture & Bio-Oriented Research Organization 果菜類の選択収穫方法及び装置
CN107094429A (zh) * 2017-07-03 2017-08-29 彭紫薇 一种多轴水果采摘机器人
JP2019037214A (ja) * 2017-08-29 2019-03-14 株式会社デンソー エンドエフェクタ
CN207678305U (zh) * 2017-12-18 2018-08-03 艾力·艾散 一种用于核桃采摘的机械手臂
CN208079866U (zh) * 2018-04-16 2018-11-13 苏州大学 一种水果自动采摘装置
CN208047324U (zh) * 2018-04-17 2018-11-06 石河子大学 一种红花采摘末端执行器
CN108557143A (zh) * 2018-05-01 2018-09-21 浙江工业大学 一种水果采摘套袋机
CN108575320A (zh) * 2018-05-23 2018-09-28 芮杰 草莓采摘机器人
CN108834576A (zh) * 2018-06-07 2018-11-20 华南农业大学 一种基于双目视觉的柑橘采摘机器人及其实现方法
CN209047050U (zh) * 2018-08-17 2019-07-02 长沙理工大学 一种电动便携式水果采摘装置
CN109328643A (zh) * 2018-12-17 2019-02-15 青岛科技大学 一种自平衡式苹果采摘车
CN109743966A (zh) * 2019-02-18 2019-05-14 德施普科技发展温州有限公司 一种水果采摘机
CN211020054U (zh) * 2019-09-16 2020-07-17 中国农业科学院农业信息研究所 果蔬采摘装置
CN110832991A (zh) * 2019-10-24 2020-02-25 广州大学 一种基于图像识别的采摘机及其控制方法
CN211415245U (zh) * 2019-12-26 2020-09-04 青岛悟牛智能科技有限公司 一种采摘机器人
CN113115638A (zh) * 2019-12-31 2021-07-16 季华实验室 一种智能采茶机器人
CN111742709A (zh) * 2020-04-23 2020-10-09 华南农业大学 基于深度视觉的香蕉采摘装置及采摘方法
EP3918904A1 (fr) * 2020-06-02 2021-12-08 Exel Industries Procédé automatisé de sélection et de récolte de fruits et équipement mécanique mettant en oeuvre le procédé
CN111673755A (zh) * 2020-06-24 2020-09-18 西北农林科技大学 一种基于视觉伺服的采摘机器人控制***及控制方法
CN111709489A (zh) * 2020-06-24 2020-09-25 广西师范大学 一种基于改进YOLOv4的柑橘识别方法
CN112425373A (zh) * 2020-12-02 2021-03-02 陕西中建建乐智能机器人股份有限公司 一种猕猴桃采摘分拣机器人及其分拣猕猴桃的方法
CN214508055U (zh) * 2021-03-09 2021-10-29 甄圣超 一种基于视觉的移动采摘机器人
CN113273395A (zh) * 2021-05-21 2021-08-20 佛山市中科农业机器人与智慧农业创新研究院 一种基于视觉识别的棉花打顶机器人及其实现方法
CN113408410A (zh) * 2021-06-18 2021-09-17 重庆科技学院 一种基于YOLOv4算法的交通标志检测方法
CN113692854A (zh) * 2021-09-10 2021-11-26 江苏理工学院 西红柿采摘机及其控制方法
CN113971775A (zh) * 2021-10-14 2022-01-25 江苏省电力试验研究院有限公司 一种基于优化yolov4算法的违章行为识别方法及***
CN216087713U (zh) * 2021-11-10 2022-03-22 双髻鲨(威海)机器人科技有限公司 一种用于自动采摘柑橘的机器人

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115316129A (zh) * 2022-08-12 2022-11-11 华南农业大学 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法
CN115316129B (zh) * 2022-08-12 2024-03-12 华南农业大学 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法
CN115589849A (zh) * 2022-10-18 2023-01-13 大连理工大学(Cn) 一种球形果蔬采摘器
CN115589849B (zh) * 2022-10-18 2023-06-30 大连理工大学 一种球形果蔬采摘器

Also Published As

Publication number Publication date
CN114830915B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
Mu et al. Design and simulation of an integrated end-effector for picking kiwifruit by robot
US11304374B2 (en) Selective automated blossom thinning
CN114830915B (zh) 基于激光雷达导航的荔枝视觉采摘机器人及其实现方法
Silwal et al. Design, integration, and field evaluation of a robotic apple harvester
Sarig Robotics of fruit harvesting: A state-of-the-art review
CN111955164B (zh) 红花花丝咬合式并联采摘机器人
CN108811766B (zh) 一种人机交互式温室果蔬采收机器人***及其采收方法
CN113330915B (zh) 双目视觉识别的自适应棉花收获方法及智能机械收获装置
CN115316129B (zh) 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法
CN110089350A (zh) 一种蘑菇采摘机器人***及采摘方法
Zhaoxin et al. Design a robot system for tomato picking based on YOLO v5
CN114260895B (zh) 一种采摘机器人机械臂抓取避障方向确定的方法及其***
Hu et al. Simplified 4-DOF manipulator for rapid robotic apple harvesting
CN115299245B (zh) 一种智能水果采摘机器人的控制方法及控制***
CN108093868A (zh) 一种基于嵌入式智能控制及双目机器视觉的采摘***
CN109197160A (zh) 一种番石榴采摘机器人及其实现方法
CN116439018B (zh) 一种七自由度水果采摘机器人及其采摘方法
CN111684924A (zh) 一种基于树莓派的草莓采摘机器人
Ji et al. Research on key technology of truss tomato harvesting robot in greenhouse
Jin et al. Detection method for table grape ears and stems based on a far-close-range combined vision system and hand-eye-coordinated picking test
Jin et al. Intelligent tomato picking robot system based on multimodal depth feature analysis method
CN206686630U (zh) 一种自动化采摘***
CN115139315A (zh) 一种采摘机械臂抓取运动规划方法
Libin et al. Overview of research on agricultural robot in China
Hu et al. Design and experiment of a new citrus harvesting robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant