CN113099848A - 一种采摘机器人高效采放运综合平台及使用方法 - Google Patents

Abstract

本发明涉及一种采摘机器人高效采放运综合平台及使用方法，其中一种采摘机器人高效采放运综合平台包括平台底座，以及安装在平台底座上的图像采集装置、采摘装置、工控机和输送装置，所述图像采集装置、采摘装置和输送装置均与工控机电性连接，所述图像采集装置包括与平台底座固接的固定支架、沿竖向滑设在固定支架上的可动横梁，以及通过可调支架安装在可动横梁上的摄像头，摄像头用于实时获取果实画面信息目标采摘点的深度信息。本发明的摄像头可自由移动，有利于不同种植标准下的果实识别，提高了所述平台的适用性；减少了机械臂放置果实消耗的时间，提高了采摘的效率；机械爪内侧能够更好地贴合果实表面，包裹柔性材料以减少果实采摘时的损伤。

Description

一种采摘机器人高效采放运综合平台及使用方法

技术领域

本发明涉及农用机械设备技术领域，尤其涉及到一种采摘机器人高效采放运综合平台及使用方法。

背景技术

采摘作为果实生产的重要环节之一，目前我国仍以人工为主，效率低，且随着人口老龄化趋势的加重，农村人口逐渐向城市流动，劳动力逐渐减少，劳动成本不断提高。我国关于采摘机器人的研究与一些发达国家相比起步较晚，目前能够用于实际果实采摘的机械较少。此外，由于一些关键技术仍待突破，使采摘机械的智能程度以及效率还有待提高。

近年来，随着一系列农业政策的落实，农艺得到了进一步的结合，种植方式标准化的提高，更有利于农业机械化的推进。此外，计算机技术的不断发展使得更多的目标识别技术被应用于农业生产环节，这为采摘机械的智能化发展提供了良好的条件。但目前国内已有的番茄采摘机械效率较低，且在复杂的自然环境中的采摘效果未达到实际生产的要求。因此，研究一种能够实际应用的智能化高效采摘机械具有重要意义。

发明内容

本发明针对国内现有采摘机械智能化程度不高、采摘效率低等问题，提供了一种采摘机器人高效采放运综合平台及使用方法，为果实的智能化采摘提供了一套有效的解决方案。本发明可用于成熟红色番茄或其他红色果实的智能化采摘，识别准确率和采摘效率较高。

本发明是通过如下技术方案实现的，提供一种采摘机器人高效采放运综合平台，包括平台底座，以及安装在平台底座上的图像采集装置、采摘装置、工控机和输送装置，所述图像采集装置、采摘装置和输送装置均与工控机电性连接，所述图像采集装置包括与平台底座固接的固定支架、沿竖向滑设在固定支架上的可动横梁，以及通过可调支架安装在可动横梁上的摄像头，摄像头用于实时获取果实画面信息目标采摘点的深度信息，可调支架用于调整摄像头的角度。

本方案通过工控机对图像采集装置、采摘装置和输送装置的动作进行控制，通过可动横梁的竖向移动带动可调支架，进而实现摄像头在竖直方向的上下移动，通过可调支架可实现摄像头上、下、左、右的自由转动，摄像头的自由移动有利于不同种植标准下的果实识别，提高了平台的适用性。

作为优化，采摘装置包括安装在平台底座上的六轴机械臂，以及安装在六轴机械臂活动端的两夹式机械爪，两夹式机械爪的夹持面设有柔性材料。本优化方案采用六轴机械臂，使得向目标点运动的灵活度更高，通过在两夹式机械爪的夹持面设置柔性材料，在机械爪与果实接触时，可以减少对果实表面的破坏。

作为优化，输送装置包括位于采摘装置正前方的横向传送带和位于横向传送带一侧的纵向传送带，纵向传送带的进料端位于横向传送带出料端的下方，纵向传送带的出料端下方设置有收集筐。本优化方案的输送装置分为横向输送和纵向输送两部分，六轴机械臂结束采摘动作后，运动至与采摘点纵轴方向对应的横向传送带上方，然后松开两夹式机械爪，将果实放置于横向传送带上，再继续进行下一次的采摘，直到当前获取画面内的目标果实都采摘完毕。不同于传统的利用机械臂将果实放置于收集装置内的方式，本发明减少了机械臂的放置时间，在采摘的同时实现果实的收集，提高了采摘的效率；在采摘装置进行下一次采摘动作的同时将果实从放置位置运送至纵向传送带，然后由纵向传送带将果实运送至缓冲装置，果实经缓冲装置滑进收集筐，实现果实的收集，避免输送占用采摘时间；输送装置由步进电机进行驱动，通过工控机发送脉冲信号控制，实现传送带的启动和停止。

作为优化，所述纵向传送带的出料端设有缓冲装置，所述缓冲装置包括扭力弹簧和开口朝上的弧形板，扭力弹簧的轴线沿横向设置，扭力弹簧的一端通过连接板与平台底座连接，扭力弹簧的另一端与所述弧形板连接。本优化方案的设置，番茄从纵向传送带滚下后经过缓冲装置，扭力弹簧在受到果实的压力压缩后使弧形板倾斜，对果实的下落起到缓冲作用，番茄滑入收集筐内，实现果实的收集，当果实滑进收集筐后，弧形板又恢复到原来的位置。

作为优化，工控机包括识别模块、定位模块、采摘模块和输送模块，识别模块用于对果实画面检测并输出符合要求的中心点像素坐标；定位模块通过将获取的像素坐标转换为六轴机械臂坐标实现采摘目标的定位，并通过将果实像素直径转换成实际直径信息实现两夹式机械爪闭合直径的控制；采摘模块用于实现六轴机械臂向目标采摘点和果实放置点的运动，以及两夹式机械爪开合直径、旋转角度的控制；输送模块用于发送脉冲信号，实现果实的运输收集。

本方案还提供一种采摘机器人高效采放运综合平台的使用方法，包括如下方面：

1、将平台底座放置于底盘上，移动底盘至合适位置，开始运行工控机的算法，通过摄像头实时获取果实画面和目标采摘点的深度信息；

2、工控机中的控制算法包括识别模块、定位模块、采摘模块和输送模块；识别模块通过YOLO v4网络对果实画面进行初步检测，并将检测结果用矩形框框住，然后利用HSV对框内红色部分进行分割，当分割部分的像素数在检测框内总像素数的占比超过20% 时，保留检测结果并输出中心点像素坐标和果实的像素直径；然后定位模块将获取的像素坐标转换为六轴机械臂坐标，输出转化后的三维机械臂坐标和果实实际直径；

3、坐标转换完成后，采摘装置判断获取的坐标是否在六轴机械臂采摘范围内，若符合采摘范围，则将坐标信息传递给六轴机械臂，使六轴机械臂运动至目标点；同时，将获取的果实直径大小转化为两夹式机械爪步进电机的PWM值，确定两夹式机械爪闭合直径，防止闭合过度造成果实损伤；

4、两夹式机械爪夹取到果实后，通过旋转将果实采摘下来；六轴机械臂运动至采摘点纵向对应位置的横向传送带上方，将果实以最短的路径放置于横向传送带上，然后继续采摘下一个目标果实；若当前画面没有检测到目标果实，六轴机械臂回到初始状态，等待下一次采摘指令；

5、当果实放置在横向传送带上后，输送模块向横向传送带和纵向传送带的步进电机发送指令，使横向传送带和纵向传送带运动；通过横向传送带和纵向传送带两段接力将果实运送至缓冲装置，使果实经缓冲装置滑入至该平台下方的收集筐内。

作为优化，番茄从纵向传送带滚下后落至缓冲装置的弧形板，扭力弹簧在受到果实的压力压缩后使弧形板转动倾斜，利用扭力弹簧的变形对果实的下落冲击进行缓冲，番茄沿弧形板滑入收集筐内后，利用扭力弹簧的弹力使弧形板恢复到初始位置。本优化方案采用扭力弹簧的变形进行缓冲，既减小了果实损伤，同时可以使果实顺利滚至收集筐，实现收集，并且，通过设置扭力弹簧，使弧形板转动复位，弧形板对果实的作用力与果实的重力方向呈一定角度，从而减小了对果实的竖直方向冲击。

本发明的有益效果为：

1、摄像头安装在可调支架上，可调支架安装在可动横梁上，通过可调支架可实现摄像头上、下、左、右的自由转动，可动横梁通过带动可调支架进而实现摄像头在竖直方向的上下移动，摄像头的自由移动有利于不同种植标准下的果实识别，提高了所述平台的适用性；

2、输送装置分为横向传送带和纵向传送带两部分，均由步进电机进行驱动，通过工控机中的输送模块对其运行和停止进行控制，利用输送装置进行果实的运输和收集工作，可以减少机械臂放置果实消耗的时间，使本平台能够在进行采摘的同时完成果实的收集工作，提高了采摘的效率；

3、采摘装置中的两夹式机械爪的内侧采用了曲面设计，能够更好地贴合果实表面，且能够更好地实现重叠果实的抓取，机械爪上包裹有柔性材料以减少果实采摘时造成的机械损伤；此外，算法中的采摘模块可以将定位模块中输出的果实直径信息转换成两夹式机械爪步进电机的PWM信号，实现两夹式机械爪闭合直径的控制，防止闭合过度对果实造成的损伤。

附图说明

图1为本发明的采摘流程图；

图2为本发明的整体结构示意图；

图3为本发明的整体结构侧面图；

图4为本发明的图像采集装置结构示意图；

图5为本发明的采摘装置结构示意图；

图6为本发明的收集装置结构示意图；

图中所示：

1、平台底座，2、图像采集装置，21、固定支架，22、可动横梁，23、可调支架，24、摄像头，3、采摘装置，31、六轴机械臂，32、两夹式机械爪，4、工控机，5、输送装置，51、横向传送带，52、纵向传送带，6、缓冲装置，61、扭力弹簧，62、弧形板，7、收集筐，8、步进电机， 9、连接板。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，对本方案进行阐述。

如图2所示一种采摘机器人高效采放运综合平台，包括平台底座1，以及安装在平台底座上的图像采集装置2、采摘装置3、工控机4和输送装置5，图像采集装置、采摘装置和输送装置均与工控机电性连接，工控机4中的含有平台的控制算法，可以对整个视觉识别定位与采摘收集环节进行控制；输送装置的出料端设有缓冲装置6，缓冲装置下方设有收集筐7，且收集筐放置于平台左下方，内部包裹柔性材料，减小平台整体所占空间和果实收集过程中对果实造成的损伤。

图像采集装置2安装于采摘装置3的右侧，图像采集装置包括与平台底座固接的固定支架21、沿竖向滑设在固定支架上的可动横梁22，以及通过可调支架23安装在可动横梁22上的摄像头24，摄像头24为深度相机，用于实时获取果实画面信息目标采摘点的深度信息，固定支架上设有与可动横梁适配的轨道，以及驱动可动横梁上下移动的升降装置，可调支架用于调整摄像头的角度，其上安装有驱动摄像头转动的驱动装置，以实现摄像头上、下、左、右的自由转动，摄像头24的自由移动有利于不同种植标准下的果实识别，提高了图像采集装置的适用性。可调支架、驱动装置和升降装置均采用现有技术实现，在此不再赘述其结构。

采摘装置包括安装在平台底座上的六轴机械臂31，以及安装在六轴机械臂活动端的两夹式机械爪32，六轴机械臂31通过螺丝与平台底座1固定，两夹式机械爪32用螺丝进行固定，通过串口与六轴机械臂31进行连接，两夹式机械爪的内侧夹持面为与果实适配的曲面，以更好地贴合果实表面，且能够更好地实现重叠果实的抓取，两夹式机械爪32的夹持面包裹有柔性材料，本实施例的柔性材料为海绵，以减小夹持时对果实表面的破坏。

输送装置包括位于采摘装置左侧的纵向传送带52和位于采摘装置正前方的横向传送带51，纵向传送带的进料端位于横向传送带出料端的下方，纵向传送带的出料端下方设置有收集筐7。横向传送带51沿水平从右到左运动，负责在六轴机械臂31进行下一次采摘的时候将果实从放置位置运送至纵向传送带52，纵向传送带52将果实运送至其末端，果实经过缓冲装置6进入收集筐7，以实现果实的收集，输送装置5由步进电机8进行驱动，通过工控机4发送脉冲信号控制，实现传送带的启动和停止。利用本输送装置3进行果实的运输和收集工作，减少了六轴机械臂31放置果实消耗的时间，使得所述平台能够在采摘的同时完成果实的收集工作，提高了采摘的效率。

缓冲装置6设置在纵向传送带的出料端，具体的，缓冲装置6包括扭力弹簧61和开口朝上的弧形板62，弧形板为柔性板，柔性弧形板的末端与收集筐的中心对齐，弧形板的开口宽度与果实适配，扭力弹簧的轴线沿横向设置，扭力弹簧的一端通过连接板9与平台底座连接，扭力弹簧的另一端与所述弧形板连接，连接板与平台底座固接，弧形板受到果实下压力时，弧形板远离纵向传送带的一端向下转动，同时使扭力弹簧转动压缩变形。实际使用时，番茄从纵向传送带滚下后经过缓冲装置，扭力弹簧在受到果实的压力压缩后使柔性弧形板倾斜，番茄滑入收集筐内，实现果实的收集，当果实滑进收集筐后，柔性弧形板又恢复到原来的位置。

工控机4安装在六轴机械臂31的正后方，并通过螺丝与平台底座1固定。工控机包括识别模块、定位模块、采摘模块和输送模块，识别模块用于对果实画面检测并输出符合要求的中心点像素坐标；定位模块通过将获取的像素坐标转换为六轴机械臂坐标实现采摘目标的定位，并通过将果实像素直径转换成实际直径信息实现两夹式机械爪闭合直径的控制；采摘模块用于实现六轴机械臂向目标采摘点和果实放置点的运动，以及两夹式机械爪旋转角度的控制，还可以将定位模块中输出的果实直径信息转换成两夹式机械爪步进电机的PWM信号，实现两夹式机械爪闭合直径的控制，防止闭合过度对果实造成的损伤；输送模块用于发送脉冲信号，实现果实的运输收集。

如图1所示，本实施例一种采摘机器人高效采放运综合平台的使用方法，包括如下方面：

1、将平台底座放置于底盘上，移动底盘至合适位置，开始运行工控机的算法，通过调整可调支架实现摄像头向上、向下、向左、向右的转动，利用可动横梁的竖向移动带动摄像头在竖直方向的移动，通过摄像头实时获取果实画面和目标采摘点的深度信息；

2、工控机中的控制算法包括识别模块、定位模块、采摘模块和输送模块；识别模块通过YOLO v4网络对果实画面进行初步检测，并将检测结果用矩形框框住，然后利用HSV对框内红色部分进行分割，当分割部分的像素数在检测框内总像素数的占比超过20% 时，保留检测结果并输出中心点像素坐标和果实的像素直径；然后定位模块将获取的像素坐标转换为六轴机械臂坐标，输出转化后的三维机械臂坐标和果实实际直径；

3、坐标转换完成后，采摘装置判断获取的坐标是否在六轴机械臂采摘范围内，若符合采摘范围，则将坐标信息传递给六轴机械臂，使六轴机械臂运动至目标点；同时，将获取的果实直径大小转化为两夹式机械爪步进电机的PWM值，确定两夹式机械爪闭合直径，防止闭合过度造成果实损伤；

4、两夹式机械爪夹取到果实后，通过旋转将果实采摘下来；六轴机械臂运动至采摘点纵向对应位置的横向传送带上方，将果实以最短的路径放置于横向传送带上，然后继续采摘下一个目标果实；若当前画面没有检测到目标果实，六轴机械臂回到初始状态，等待下一次采摘指令；

5、当果实放置在横向传送带上后，输送模块向横向传送带和纵向传送带的步进电机发送指令，使横向传送带和纵向传送带运动；通过横向传送带和纵向传送带两段接力将果实运送至缓冲装置，使果实经缓冲装置滑入至该平台下方的收集筐内。

6、番茄从纵向传送带滚下后落至缓冲装置的弧形板，扭力弹簧在受到果实的压力压缩后使弧形板转动倾斜，利用扭力弹簧的变形对果实的下落冲击进行缓冲，番茄沿弧形板滑入收集筐内后，利用扭力弹簧的弹力使弧形板恢复到初始位置。

当然，上述说明也并不仅限于上述举例，本发明未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本发明的技术方案并非是对本发明的限制，参照优选的实施方式对本发明进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换都不脱离本发明的宗旨，也应属于本发明的权利要求保护范围。

Claims (7)

1.一种采摘机器人高效采放运综合平台，包括平台底座（1），以及安装在平台底座上的图像采集装置（2）、采摘装置（3）、工控机（4）和输送装置（5），所述图像采集装置、采摘装置和输送装置均与工控机电性连接，其特征在于：所述图像采集装置包括与平台底座固接的固定支架（21）、沿竖向滑设在固定支架上的可动横梁（22），以及通过可调支架（23）安装在可动横梁（22）上的摄像头（24），摄像头用于实时获取果实画面信息目标采摘点的深度信息，可调支架用于调整摄像头的角度。

2.根据权利要求1所述的一种采摘机器人高效采放运综合平台，其特征在于：采摘装置包括安装在平台底座上的六轴机械臂（31），以及安装在六轴机械臂活动端的两夹式机械爪（32），两夹式机械爪（32）的夹持面设有柔性材料。

3.根据权利要求1所述的一种采摘机器人高效采放运综合平台，其特征在于：输送装置包括纵向传送带（52）和位于采摘装置正前方的横向传送带（51），纵向传送带的进料端位于横向传送带出料端的下方，纵向传送带的出料端下方设置有收集筐（7）。

4.根据权利要求3所述的一种采摘机器人高效采放运综合平台，其特征在于：所述纵向传送带的出料端设有缓冲装置（6），所述缓冲装置（6）包括扭力弹簧（61）和开口朝上的弧形板（62），扭力弹簧的轴线沿横向设置，扭力弹簧的一端通过连接板（9）与平台底座连接，扭力弹簧的另一端与所述弧形板连接。

5.根据权利要求2所述的一种采摘机器人高效采放运综合平台，其特征在于：工控机包括识别模块、定位模块、采摘模块和输送模块，识别模块用于对果实画面检测并输出符合要求的中心点像素坐标；定位模块通过将获取的像素坐标转换为六轴机械臂坐标实现采摘目标的定位，并通过将果实像素直径转换成实际直径信息实现两夹式机械爪闭合直径的控制；采摘模块用于实现六轴机械臂向目标采摘点和果实放置点的运动，以及两夹式机械爪开合直径、旋转角度的控制；输送模块用于发送脉冲信号，实现果实的运输收集。

6.一种采摘机器人高效采放运综合平台的使用方法，其特征在于，包括如下方面：

（1）将平台底座放置于底盘上，移动底盘至合适位置，开始运行工控机的算法，通过摄像头实时获取果实画面和目标采摘点的深度信息；

（2）工控机中的控制算法包括识别模块、定位模块、采摘模块和输送模块；识别模块通过YOLO v4网络对果实画面进行初步检测，并将检测结果用矩形框框住，然后利用HSV对框内红色部分进行分割，当分割部分的像素数在检测框内总像素数的占比超过20% 时，保留检测结果并输出中心点像素坐标和果实的像素直径；然后定位模块将获取的像素坐标转换为六轴机械臂坐标，输出转化后的三维机械臂坐标和果实实际直径；

（3）坐标转换完成后，采摘装置判断获取的坐标是否在六轴机械臂采摘范围内，若符合采摘范围，则将坐标信息传递给六轴机械臂，使六轴机械臂运动至目标点；同时，将获取的果实直径大小转化为两夹式机械爪步进电机的PWM值，确定两夹式机械爪闭合直径，防止闭合过度造成果实损伤；

（4）两夹式机械爪夹取到果实后，通过旋转将果实采摘下来；六轴机械臂运动至采摘点纵向对应位置的横向传送带上方，将果实以最短的路径放置于横向传送带上，然后继续采摘下一个目标果实；若当前画面没有检测到目标果实，六轴机械臂回到初始状态，等待下一次采摘指令；

（5）当果实放置在横向传送带上后，输送模块向横向传送带和纵向传送带的步进电机发送指令，使横向传送带和纵向传送带运动；通过横向传送带和纵向传送带两段接力将果实运送至缓冲装置，使果实经缓冲装置滑入至该平台下方的收集筐内。

7.根据权利要求6所述的一种采摘机器人高效采放运综合平台的使用方法，其特征在于：番茄从纵向传送带滚下后落至缓冲装置的弧形板，扭力弹簧在受到果实的压力压缩后使弧形板转动倾斜，利用扭力弹簧的变形对果实的下落冲击进行缓冲，番茄沿弧形板滑入收集筐内后，利用扭力弹簧的弹力使弧形板恢复到初始位置。

Images