CN111480457A - 花椒自动视觉识别采摘装置及其控制方法 - Google Patents

Abstract

本发明公开一种花椒自动视觉识别采摘装置及其控制方法，其装置包括车架、行走装置、图片采集装置、动力装置、移动装置和作业部，移动装置位于车架的上部，由XYZ三轴导轨组成，可实现作业部在空间中的运动，在行走装置的前后都设有红外传感器和超声波传感器，在车架上设有GPS导航装置、陀螺仪和水平传感器以及速度传感器，并配有电控***。在车架的下部设有动力装置，动力装置由前后两根轴连接四个车轮由电机驱动。图片采集装置分别位于移动装置Z导轨的顶端和作业部上，通过实时采集到的图片进过处理与目标图片对比，再发出相应的指令使作业部工作。作业部由三自由度机械臂组成，最前端装有切割刀片，实现对花椒的采摘。本发明能够代替人力实现对花椒的高效自动采摘行为，从而实现人工辅助或无人操作，同时能够根据各种园林情况进行适应性控制。

Description

花椒自动视觉识别采摘装置及其控制方法

技术领域

本发明涉及农业机械技术领域，尤其涉及是一种花椒自动视觉识别采摘装置及其控制方法。

背景技术

花椒是我国广泛种植的一种经济作物。 目前收获主要靠人工手摘和借助云梯、采果刀等简单工具辅助采收。 林果采收机械的研究在我国仍处于起步阶段， 未见成熟先进的实用机具报道。现有技术中采用的收获方式，虽对花椒能较好的提高收获效率，但是所需人工劳动力仍然巨大。

于此同时，机器视觉和图像处理技术和导航技术得到了长足的发展，机器视觉技术是实现动植物生长环境控制、 种植、除草、剪枝、采摘、植保、施肥和耕作等多种农业生产自动化的必不可少的技术，任何一种农业生产机器人的正常工作均有赖于对作业对象的正确识别；导航技术在汽车、飞机、船舶等运行中得到了推广应用，对于大范围行走的农业机器人而言，一个重要的研究课题就是建立确定机器人本***置和行走方向的导航***， 所以导航技术就显得很重要。

现无人驾驶汽车技术已经具有一定的水平，即对于图像的处理、路径的规划和控制***的研究分别都有研究成果可以参考，但作为农业耕作用的机器人***，涵盖的技术内容与普通的无人驾驶汽车有共同点，同样也具有很大的差异性。日本、美国等国家在研究农业机器人方面开展比较早，技术相对成熟，已研制出多种农业生产机器人、移栽机器人、施肥机器人等，其技术及应用都居于世界前列。我国在农业机器人方面的研究也取得了一定的成果，如中国农业大学研制的蔬菜嫁接机器人得到了广泛的应用。东北林业大学研制的球果采集机器人，很好的解决了人工上市手持工具采摘球果的问题。但同时也存在着一定的问题，即一般农业机器人存在的智能程度不够，过多的需要人为的干预，往往造成过高的生产成本。

发明内容

本发明提供一种花椒自动视觉识别采摘装置及其控制方法，解决现有技术中花椒采摘机器人智能化程度不高、采摘效率低的缺陷。

为了达到上述目的，本发明的技术方案如下：

花椒自动视觉识别采摘装置，其包括车架、动力装置、行走装置、移动装置和作业部；所述动力装置位于车架的下部，在车架的上部设有移动装置，在所述移动装置顶端设有作业部；所述作业部包括在移动装置顶部连接的旋转底盘，所述旋转底盘通过与第一舵机与第一机械臂连接，所述第一机械臂通过与第二舵机与第二机械臂连接，第二机械臂的前端顶部连接切割刀片，切割刀片包括可动刀片和固定刀片，可动刀片与小马达连接；在移动装置上设置有视频设备；在所述车架上设有GPS导航装置、陀螺仪、水平传感器、速度传感器和电控***。

进一步的，所述移动装置由X轴导轨、Y轴导轨和Z轴导轨组成，所述X导轨与Y导轨由第一卡槽连接，所述X轴导轨与Z轴导轨由第二卡槽连接，所述X轴导轨、Y轴导轨和Z轴导轨均由电机驱动运行，由电控***控制。

进一步的，所述视频设备包括第一摄像机和第二摄像机，在所述移动装置的Z轴顶部设置第二摄像机，在所述第二机械臂的前端设置第一摄像机，第一摄像机和第二摄像机具有图像识别功能和自动除尘功能。

进一步的，所述行走装置连接有刹车机构。

进一步的，所述动力装置包括是发动机或者电池。

进一步的，当在采用所述发动机作为动力装置时，花椒自动采摘装置还包括油门控制机构、换挡机构和离合装置，其中，所述油门控制机构和所述换挡机构与发动机相连接，所述油门控制机构用于控制所述发动机的动力输出，所述换挡机构用于对动力传递进行控制和调整。

根据上述花椒自动视觉识别采摘装置的控制方法，包括以下步骤：

S1：利用遥控装置控制安装在电控***中的接收装置工作并设置初始运行方向，遥控装置通过信号控制电控***工作；

S2：检查遥控装置是否发送停止命令，如果有就执行S12，如果没有则电控***根据第一摄像机和第二摄像机采集的视频图像分析运行方向的路面情况，判断运行前方是否有目标物，如果没有发现目标物，则通过第二摄像机的调整来寻找目标，并来确定机车前进的方向，执行S9；

S3: 根据第一摄像机和第二摄像机采集的视频图像分析运行方向的路面情况，判断运行前方是否障碍物或者沟壑，如果没有发现目标物，则机车继续按原来的方向前进寻找目标物，如果发现障碍物或沟壑，则通过第二摄像机的调整来避开障碍物或，并来确定机车前进的方向，

S4：如果有与样本相同的目标物，利用超声波传感器和红外传感器分别判断障碍物离车体的距离，将图像结果和传感器结果综合判断，获得距离信号，如果距离大于第一阈值，例如2米以上，继续前行；

S5：当距离小于第一阈值时，调整给定运行速度，换挡并根据速度传感器不断矫正油门，使得车速很小时，向前运行，当小于第二阈值，例如0.1米时，判断否需要继续前行；

S6：通过陀螺仪和水平传感器检测当前路面的坡度，如果检测当前坡度大于一定坡度，执行S7；

S7：控制第二摄像机的镜头旋转180度，设置的运行方向反向，电控***控制换挡装置、离合装置和油门控制机构运行，并根据图像分析的结果，判断向左或者右转向一定角度，当运行到距离下一个与样本相同的目标物有第一阈值时，根据S5得到的是否需要继续前行的信号，如果需要前行，执行S8，如果不需要前行，执行S9；

S8：电控***控制换挡装置、离合装置和油门控制机构运行，并根据图像分析的结果，判断向左或者右转向一定角度，以寻找对目标物合适的采摘点，给定低速运行速度，换挡并减小油门，减小速度，通过速度传感器测量实时速度，判断是否需要减小油路；

S9：通过图像分析，当旋转的角度与目标物具有了一定的角度差时，调整方向，使其车轮摆正，直行一定时间，在该时间段不断通过图像分析的方法检测车体与目标物的距离以及判断是否需要重新调整更大的方向来回到可作业的路径上进行作业；

S10：判断图像，现在的位置是否在作业点的范围内，如果是，则开始采摘作业 ，电控***控制换挡装置、离合装置和油门控制机构运行，当到达作业点后车，车停止移动，通过电控***来控制机械臂的伸缩和旋转，可动刀片开始运行，实现对目标物的采摘；执行S2；

S11：如果不是，调整机车原来的运行方向，调整一个大角度，运行少量的时间，利用图像不断判断车体与目标物边缘的距离，当距离达到一定小的值时，开始微调机械臂和切割刀片的位置，使切割刀片到达最佳作业点，开始执行S2；

S12：电控***控制换挡装置为停止状态、切断离合装置和停止油门控制机构。

本发明的有益效果如下：

本发明装置能够代替人力实现不间断的无疲劳的耕作行为，从而实现无人操作，该装置借助模糊逻辑、神经网络和智能模拟技术的自学习功能等实现自主学习能力，分析和储存能力，路径的重规划等能力，最大程度上减少人为干预，实现自动作业的目的；同时能够根据各种路面情况进行适应性控制。

附图说明

图1是本发明装置的整体结构示意图。

图中，1-车架，2-动力装置，3-行走装置，4-移动装置，5-作业部，6- X轴导轨，7-Y轴导轨，8-Z轴导轨，9-旋转底盘，10-第一机械臂，11-第二机械臂，12-第一摄像机，13-第二摄像机，14-切割刀片，15-可动刀片，16-固定刀片，17-第一舵机，18-第二舵机，19-第一卡槽，20-第二卡槽，21-行走传动轴，22-电控***。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细描述，但不作为对本发明的限定。

如图1所示的一种花椒自动视觉识别采摘装置，包括车架1和动力装置2，动力装置2位于车架1的下部，用于为整个花椒自动视觉识别采摘装置提供动力，作为一种优选，动力装置2可以是发动机或者电池或者其他能够提供动力的装置。

在车架1的下部设有行走装置3，行走装置3用于承载整个花椒自动视觉识别采摘置并且驱动花椒自动视觉识别采摘装置前后移动或左右旋转，动力装置2和行走装置3之间通过行走传动轴21连接并且传输动力。在行走装置3的前后都设有红外传感器和超声波传感器，该红外传感器和超声波传感器用于探测花椒自动采摘装置前后路面信息，该路面信息包括障碍物信息等。

此外，在车架1上设有GPS导航装置、陀螺仪和水平传感器以及速度传感器，其中，GPS导航装置用于获取花椒自动采摘装置的位置坐标信息以及利用位置坐标信息和以往的GPS运行轨迹进行路径规划，陀螺仪和水平传感器用于获取花椒自动采摘装置所在路面的坡度信息，速度传感器用于测量当前花椒自动采摘装置的运行速度。

在第二机械臂11的前部连接有用于作业的切割刀片14，该切割刀片14包括可动刀片15和固定刀片16，具体地，切割刀片14通过小马达将可动刀片15和固定刀片16连接在一起。

在移动装置4的中间顶部和第二机械臂11最前端安装有视频设备，优选可采用第一摄像机12和第二摄像机13，第一摄像机12和第二摄像机13的型号不作要求，但是能够实现360°旋转拍摄以获取各方向上路面的图像。第一摄像机12和第二摄像机13具有图像识别功能，即通过第一摄像机12和第二摄像机13利用识别目标障碍物，例如可以识别出树木等信息，也可以识别墙壁、深沟等其他有碍于装置运行的障碍物及状况。此外，第一摄像机12和第二摄像机13的镜面具有自动除尘功能，具体地，这种功能通过设置在第一摄像机12和第二摄像机13上的气动除尘装置实现，这种气动除尘装置可以有多种选择，例如，包括配置在车架1上装设储气罐以及设置第一摄像机12和第二摄像机13镜面上的吹气喷嘴，以对镜面进行吹气从而实现除尘的目的。

在动力装置2上还设有电控***14，其电控***14用于对整个花椒采摘装置的运行进行数据分析和相应控制，数据分析的对象包括对装置前方路面等信息的分析、对选择动力部分的运行路径的分析等。此外，在实际控制中，包括利用位置坐标信息、图像信息、各种传感器信息等规划路径和躲避障碍物以及寻找目标物，以及控制动力装置2输出动力，同时还通过控制旋转底盘9控制 第一机械臂10和第二机械臂11的运行角度，从而控制从而调整切割刀片14的位置，使其到达最佳采摘点。

此外，本发明涉及的花椒采摘装置还包括刹车机构，其中，该刹车机构与行走装置3相连接，其用于对行走装置3进行制动。当在采用发动机作为动力装置2时，小型智能花椒采摘装置还包括油门控制机构、换挡机构和离合装置，其中，油门控制机构和换挡机构与发动机相连接，油门控制机构用于控制发动机的动力输出，换挡机构用于对动力传递进行控制和调整。为了更加方便地操作本发明涉及的小型智能花椒自动采摘装置，该装置还包括遥控装置，其与电控***14中的接收装置进行通信和匹配。这样，操作者利用遥控器实现开始和停止，运行过程中的前后运行、转弯、刀片的工作状态，根据图像、超声波和红外传感器进行分析抉择，从而实现无人操作。

在使用上述花椒自动视觉识别采摘装置进行操作时，具体的控制方法如下：

S1：利用遥控装置控制安装在电控***22中的接收装置工作并设置初始运行方向，遥控装置通过信号控制电控***22工作；

S2：检查遥控装置是否发送停止命令，如果有就执行S12，如果没有则电控***22根据第一摄像机12和第二摄像机13采集的视频图像分析运行方向的路面情况，判断运行前方是否有目标物，如果没有发现目标物，则通过第二摄像机13的调整来寻找目标，并来确定机车前进的方向，执行S9；

S3: 根据第一摄像机12和第二摄像机13采集的视频图像分析运行方向的路面情况，判断运行前方是否障碍物或者沟壑，如果没有发现目标物，则机车继续按原来的方向前进寻找目标物，如果发现障碍物或沟壑，则通过第二摄像机13的调整来避开障碍物或，并来确定机车前进的方向，

S4：如果有与样本相同的目标物，利用超声波传感器和红外传感器分别判断障碍物离车体的距离，将图像结果和传感器结果综合判断，获得距离信号，如果距离大于第一阈值，例如2米以上，继续前行；

S5：当距离小于第一阈值时，调整给定运行速度，换挡并根据速度传感器不断矫正油门，使得车速很小时，向前运行，当小于第二阈值，例如0.1米时，判断否需要继续前行；

S6：通过陀螺仪和水平传感器检测当前路面的坡度，如果检测当前坡度大于一定坡度，执行S7；

S7：控制第二摄像机13的镜头旋转180度，设置的运行方向反向，电控***22控制换挡装置、离合装置和油门控制机构运行，并根据图像分析的结果，判断向左或者右转向一定角度，当运行到距离下一个与样本相同的目标物有第一阈值时，根据S5得到的是否需要继续前行的信号，如果需要前行，执行S8，如果不需要前行，执行S9；

S8：电控***22控制换挡装置、离合装置和油门控制机构运行，并根据图像分析的结果，判断向左或者右转向一定角度，以寻找对目标物合适的采摘点，给定低速运行速度，换挡并减小油门，减小速度，通过速度传感器测量实时速度，判断是否需要减小油路；

S9：通过图像分析，当旋转的角度与目标物具有了一定的角度差时，调整方向，使其车轮摆正，直行一定时间，在该时间段不断通过图像分析的方法检测车体与目标物的距离以及判断是否需要重新调整更大的方向来回到可作业的路径上进行作业；

S10：判断图像，现在的位置是否在作业点的范围内，如果是，则开始采摘作业 ，电控***22控制换挡装置、离合装置和油门控制机构运行，当到达作业点后车，车停止移动，通过电控***22来控制机械臂的伸缩和旋转，可动刀片开始运行，实现对目标物的采摘；执行S2；

S11：如果不是，调整机车原来的运行方向，调整一个大角度，运行少量的时间，利用图像不断判断车体与目标物边缘的距离，当距离达到一定小的值时，开始微调机械臂和切割刀片的位置，使切割刀片到达最佳作业点，开始执行S2；

S12：电控***22控制换挡装置为停止状态、切断离合装置和停止油门控制机构。

当然，以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.花椒自动视觉识别采摘装置，其特征在于，包括车架（1）、动力装置（2）、行走装置（3）、移动装置（4）和作业部（5）；所述动力装置（2）位于车架（1）的下部，在车架（1）的上部设有移动装置（4），在所述移动装置（4）顶端设有作业部（5）；所述作业部包括在移动装置（4）顶部连接的旋转底盘（9），所述旋转底盘（9）通过与第一舵机（17）与第一机械臂（10）连接，所述第一机械臂（10）通过与第二舵机（18）与第二机械臂（11）连接，第二机械臂（11）的前端顶部连接切割刀片（14），切割刀片（14）包括可动刀片（15）和固定刀片（16），可动刀片（15）与小马达连接；在移动装置（4）上设置有视频设备；在所述车架（1）上设有GPS导航装置、陀螺仪、水平传感器、速度传感器和电控***（22）。

2.根据权利要求2所述的花椒自动视觉识别采摘装置，其特征在于，所述移动装置（4）由X轴导轨（6）、Y轴导轨（7）和Z轴导轨（8）组成，所述X导轨（6）与Y导轨（7）由第一卡槽（19）连接，所述X轴导轨（6）与Z轴导轨（8）由第二卡槽（20）连接，所述X轴导轨（6）、Y轴导轨（7）和Z轴导轨（8）均由电机驱动运行，由电控***（22）控制。

3.根据权利要求1或2所述花椒自动视觉识别采摘装置，其特征在于，所述视频设备包括第一摄像机（12）和第二摄像机（13），在所述移动装置（4）的Z轴顶部设置第二摄像机（13），在所述第二机械臂（11）的前端设置第一摄像机（12），第一摄像机（12）和第二摄像机（13）具有图像识别功能和自动除尘功能。

4.根据权利要求3所述的花椒自动视觉识别采摘装置，其特征在于，所述行走装置（3）连接有刹车机构。

5.根据权利要求4所述的花椒自动视觉识别采摘装置，其特征在于，所述动力装置（2）包括是发动机或者电池。

6.根据权利要求5所述的花椒自动视觉识别采摘装置，其特征在于，当在采用所述发动机作为动力装置（2）时，花椒自动采摘装置还包括油门控制机构、换挡机构和离合装置，其中，所述油门控制机构和所述换挡机构与发动机相连接，所述油门控制机构用于控制所述发动机的动力输出，所述换挡机构用于对动力传递进行控制和调整。

7.根据权利要求1所述的花椒自动视觉识别采摘装置，其特征在于，所述采摘装置的控制方法，包括以下步骤：

S1：利用遥控装置控制安装在电控***（22）中的接收装置工作并设置初始运行方向，遥控装置通过信号控制电控***（22）工作；

S2：检查遥控装置是否发送停止命令，如果有就执行S12，如果没有则电控***（22）根据第一摄像机（12）和第二摄像机（13） 采集的视频图像分析运行方向的路面情况，判断运行前方是否有目标物，如果没有发现目标物，则通过第二摄像机（13）的调整来寻找目标，并来确定机车前进的方向，执行S9；

S3: 根据第一摄像机（12）和第二摄像机（13）采集的视频图像分析运行方向的路面情况，判断运行前方是否障碍物或者沟壑，如果没有发现目标物，则机车继续按原来的方向前进寻找目标物，如果发现障碍物或沟壑，则通过第二摄像机（13）的调整来避开障碍物或，并来确定机车前进的方向，

S4：如果有与样本相同的目标物，利用超声波传感器和红外传感器分别判断障碍物离车体的距离，将图像结果和传感器结果综合判断，获得距离信号，如果距离大于第一阈值，例如2米以上，继续前行；

S5：当距离小于第一阈值时，调整给定运行速度，换挡并根据速度传感器不断矫正油门，使得车速很小时，向前运行，当小于第二阈值，例如0.1米时，判断否需要继续前行；

S6：通过陀螺仪和水平传感器检测当前路面的坡度，如果检测当前坡度大于一定坡度，执行S7；

S7：控制第二摄像机（13）的镜头旋转180度，设置的运行方向反向，电控***（22）控制换挡装置、离合装置和油门控制机构运行，并根据图像分析的结果，判断向左或者右转向一定角度，当运行到距离下一个与样本相同的目标物有第一阈值时，根据S5得到的是否需要继续前行的信号，如果需要前行，执行S8，如果不需要前行，执行S9；

S8：电控***（22）控制换挡装置、离合装置和油门控制机构运行，并根据图像分析的结果，判断向左或者右转向一定角度，以寻找对目标物合适的采摘点，给定低速运行速度，换挡并减小油门，减小速度，通过速度传感器测量实时速度，判断是否需要减小油路；

S9：通过图像分析，当旋转的角度与目标物具有了一定的角度差时，调整方向，使其车轮摆正，直行一定时间，在该时间段不断通过图像分析的方法检测车体与目标物的距离以及判断是否需要重新调整更大的方向来回到可作业的路径上进行作业；

S10：判断图像，现在的位置是否在作业点的范围内，如果是，则开始采摘作业 ，电控***（22）控制换挡装置、离合装置和油门控制机构运行，当到达作业点后车，车停止移动，通过电控***（22）来控制机械臂的伸缩和旋转，可动刀片开始运行，实现对目标物的采摘；执行S2；

S11：如果不是，调整机车原来的运行方向，调整一个大角度，运行少量的时间，利用图像不断判断车体与目标物边缘的距离，当距离达到一定小的值时，开始微调机械臂和切割刀片的位置，使切割刀片到达最佳作业点，开始执行S2；

S12：电控***（22）控制换挡装置为停止状态、切断离合装置和停止油门控制机构。

Images