CN115956500A - 一种基于深度学习的分布式辣椒花自动授粉装置及方法 - Google Patents

Abstract

本发明属于辣椒花自动授粉技术领域，提供基于深度学习的分布式辣椒花自动授粉装置及方法。其中该装置包括若干个相互通信的机器人；每个机器人包括本体、机械臂末端执行器、多组深度相机和深度学习控制板卡；深度学习控制板卡用于识别当前辣椒花深度图像中所有待授粉辣椒花的中心点；逐一计算各个待授粉辣椒花的中心点与对应深度相机间的三维位置信息；确定出机械臂末端执行器与各个待授粉辣椒花的中心点的三维位置信息，以控制机械臂末端执行器进行授粉动作；在当前辣椒花深度图像中所有目标完成授粉后，计算当前机器人完成进度；将当前机器人完成进度发送至其他相互通信的机器人，并接收其他相互通信的机器人的完成进度，以控制当前机器人执行下一步动作。

Description

一种基于深度学习的分布式辣椒花自动授粉装置及方法

技术领域

本发明属于辣椒花自动授粉技术领域，尤其涉及一种基于深度学习的分布式辣椒花自动授粉装置及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

针对雄性不育系为母本的辣椒“三系配套”杂交制种技术，需要先识别不育系花朵后，将携带的恢复系花粉授在不育系花朵上而生产出杂交种。其中，三系是指雄性不育系、雄性不育保持系、恢复系。雄性不育系是指雄蕊没有花粉、雌蕊正常、只开花不结果的亲本材料；雄性不育保持系是指其花粉为不育系授粉后能结果结籽，其后代仍为不育系的亲本材料；恢复系是指其花粉授在不育系上后，能结果结籽，生产出的杂交种恢复了育性，用于产品生产。发明人发现，目前辣椒“三系配套”杂交制种的授粉作业仍以人力为主，这样使得授粉作业成为耗时最长、工作量最大、投入最多的环节。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于深度学习的分布式辣椒花自动授粉装置及方法，其可实现在辣椒大棚中巡逻工作，自动识别待授粉的辣椒花并进行自动授粉，工作模式为多机协作分布式，能在较短时间内完成当前场地内的辣椒花授粉工作。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供了一种基于深度学习的分布式辣椒花自动授粉装置。

一种基于深度学习的分布式辣椒花自动授粉装置，其包括若干个相互通信的机器人；每个机器人包括本体、机械臂末端执行器、多组深度相机和深度学习控制板卡；每组深度相机用于采集相应维度的辣椒花深度图像并传至深度学习控制板卡；所述深度学习控制板卡用于：

识别当前辣椒花深度图像中所有待授粉辣椒花的中心点；

逐一计算各个待授粉辣椒花的中心点与对应深度相机间的三维位置信息；

基于深度相机与机械臂末端执行器的三维坐标转换关系，确定出机械臂末端执行器与各个待授粉辣椒花的中心点的三维位置信息，以控制机械臂末端执行器进行授粉动作；

在当前辣椒花深度图像中所有目标完成授粉后，计算当前机器人完成进度；

将当前机器人完成进度发送至其他相互通信的机器人，并接收其他相互通信的机器人的完成进度，以控制当前机器人执行下一步动作。

作为一种实施方式，在所述深度学习控制板卡中，识别当前辣椒花深度图像中的待授粉辣椒花的过程为：

提取所述多维辣椒花深度图像中的辣椒花姿态特征；

当姿态特征为正向时，判定相应辣椒花为待授粉花朵并进行标注；其中，正向为所有花瓣均无遮挡且花心完全暴露。

作为一种实施方式，所述辣椒花的姿态特征还包括水平、倾斜和竖直；

水平为花瓣未闭合且花心朝向垂直于图像拍摄方向；

倾斜为花瓣未闭合，部分花瓣可见，花心朝向与图像拍摄方向呈一定角度；

竖直为呈现花骨朵状态，花心被完全包裹住。

作为一种实施方式，在所述深度学习控制板卡中，识别当前辣椒花深度图像中的待授粉辣椒花之前，还包括：

识别出当前辣椒花深度图像中的所有辣椒花。

作为一种实施方式，在所述深度学习控制板卡中，识别当前辣椒花深度图像中的所有辣椒花的过程为：

基于预先训练完成的辣椒花识别模型提取当前辣椒花深度图像中的颜色及形状特征，判断出当前辣椒花深度图像中是否存在辣椒花以及辣椒花的位置。

作为一种实施方式，在所述深度学习控制板卡中，完成进度为当前已行驶距离与任务轨迹总距离的比值。

作为一种实施方式，所述深度学习控制板卡还用于：

判断当前机器人是否完成任务，若否，则控制当前机器人继续执行任务；若是，则控制当前机器人停止运行当前任务，寻找其它未完成任务的机器人并分配相应任务进行执行。

作为一种实施方式，所述深度相机至少为三组。

本发明的第二个方面提供了一种基于深度学习的分布式辣椒花自动授粉装置的控制方法。

一种基于深度学习的分布式辣椒花自动授粉装置的控制方法，包括：

接收深度相机传送来的多维辣椒花深度图像；

识别当前辣椒花深度图像中所有待授粉辣椒花的中心点；

逐一计算各个待授粉辣椒花的中心点与对应深度相机间的三维位置信息；

基于深度相机与机械臂末端执行器的三维坐标转换关系，确定出机械臂末端执行器与各个待授粉辣椒花的中心点的三维位置信息，以控制机械臂末端执行器进行授粉动作；

在当前辣椒花深度图像中所有目标完成授粉后，计算当前机器人完成进度；

将当前机器人完成进度发送至其他相互通信的机器人，并接收其他相互通信的机器人的完成进度，以控制当前机器人执行下一步动作。

作为一种实施方式，该控制方法，还包括：

判断当前机器人是否完成任务，若否，则控制当前机器人继续执行任务；若是，则控制当前机器人停止运行当前任务，寻找其它未完成任务的机器人并分配相应任务进行执行。

与现有技术相比，本发明的有益效果是：

本发明结合深度学习及机器人分布式布设技术，研发了一种基于深度学习的分布式辣椒花自动授粉装置及方法，其可实现机器人在辣椒种植大棚中巡逻工作，自动识别待授粉的辣椒花并进行自动授粉，工作模式为多机协作分布式，能在较短时间内完成当前场地内的辣椒花授粉工作。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例的机器人机械结构示意图；

图2是本发明实施例的基于深度学习的分布式辣椒花自动授粉流程图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

本实施例提供一种基于深度学习的分布式辣椒花自动授粉装置，其包括若干个相互通信的机器人；每个机器人包括本体、机械臂末端执行器、多组深度相机和深度学习控制板卡。

如图1所示，本实施例的机器人的具体机械结构包含一台可调速、转向、高精度自动导引小车，小车底盘为金属板，具有散热和夹层装置，可放置控制板卡、电源和机械臂基座；一台三或五轴机械臂，机械臂1可根据给定的目标位置高精度运动；一组授粉末端执行机构，该机构处于机械臂1末端，花粉储存于特定的气囊中，当进行授粉作业时，机械臂运动到目标花朵的正前方，通过气动或舵机挤压花粉囊，喷射出辣椒花粉，完成授粉。本实施例的机器人的驱动机构包括伺服电机2，驱动传动皮带3带动驱动轮转动。

本实施例的机器人的电控模块包括：

一组高精度定位设备，可采用北斗/GPS双模定位+惯导算法，定位精度要求在行驶速度为1m/s时到毫米级；触摸屏一块，可以显示机器人运行的状态信息、采集的图像信息、并可触摸控制机器人的开启和停止；无线通信模块一组，可采用WIFI、蓝牙、Zigbee等模块，如果大棚的面积较大，短距离通信无法满足，可采用GSM通信模块。

本实施例的机器人的图像识别模块：

包含多组深度相机，深度相机既可采集图像与视频信息，又能采集目标物体与摄像头之间的三维位置信息，本发明拟用三组深度相机，可精确感知辣椒花的姿态、花期、位置；

深度学习控制板卡，包含深度学习框架与GPIO，可直接控制外部设备与感知传感器信号，可使用英伟达公司的Jetson系列板卡；最后按需求配置高性能显卡，深度学习控制板卡已包含显卡，若识别目标较为复杂，可外置显卡提高计算性能。

在本实施例中，将机械臂安装在自动导引小车底板上，并将末端授粉执行机构安装在机械臂末端，将触摸屏、高精度定位设备、无线通信模块与深度学习控制板卡连接，最后将三组深度相机接入深度学习控制板卡，使用定制的支架能保证三组深度相机在左侧、右侧、正上方拍摄到辣椒植株。上述所有硬件设备通过统一的锂电池(组)及多组稳压模块供电。

在具体实施过程中，每组深度相机用于采集相应维度的辣椒花深度图像并传至深度学习控制板卡。

如图2所示，所述深度学习控制板卡用于：

识别当前辣椒花深度图像中所有待授粉辣椒花的中心点；

逐一计算各个待授粉辣椒花的中心点与对应深度相机间的三维位置信息；

基于深度相机与机械臂末端执行器的三维坐标转换关系，确定出机械臂末端执行器与各个待授粉辣椒花的中心点的三维位置信息，以控制机械臂末端执行器进行授粉动作；

在当前辣椒花深度图像中所有目标完成授粉后，计算当前机器人完成进度；

将当前机器人完成进度发送至其他相互通信的机器人，并接收其他相互通信的机器人的完成进度，以控制当前机器人执行下一步动作。

在具体实施过程中，在所述深度学习控制板卡中，识别当前辣椒花深度图像中的待授粉辣椒花的过程为：

提取所述多维辣椒花深度图像中的辣椒花姿态特征；

当姿态特征为正向时，判定相应辣椒花为待授粉花朵并进行标注；其中，正向为所有花瓣均无遮挡且花心完全暴露。

其中，所述辣椒花的姿态特征还包括水平、倾斜和竖直；

水平为花瓣未闭合且花心朝向垂直于图像拍摄方向；

倾斜为花瓣未闭合，部分花瓣可见，花心朝向与图像拍摄方向呈一定角度；

竖直为呈现花骨朵状态，花心被完全包裹住。

在一些实施例中，在所述深度学习控制板卡中，识别当前辣椒花深度图像中的待授粉辣椒花之前，还包括：

识别出当前辣椒花深度图像中的所有辣椒花。

其中，识别当前辣椒花深度图像中的所有辣椒花的过程为：

基于预先训练完成的辣椒花识别模型提取当前辣椒花深度图像中的颜色及形状特征，判断出当前辣椒花深度图像中是否存在辣椒花以及辣椒花的位置。

在本实施例中，位置信息格式为(x,y,z)。其中x为待授粉花朵距离当前深度相机摄像头的水平距离，y为竖直距离，z为深度距离，单位为毫米。同一帧图像中，目标可能为一个或多个，若为多个，则以数组形式传送。

控制板卡接收到摄像头与目标的距离信息后，根据已知的执行器末端与深度相机的三维距离进行坐标转换，依次计算出授粉机器人的执行器末端与目标的距离的三维信息，计算方法如下：

当机械臂为原点位置时，末端执行器的位置作为零点即(0，0，0)，深度相机(以某一台为例)相对末端执行器的位置为(X₁,Y₁,Z₁)，深度相机位置相对于零点不会改变，即位置固定；

以单目标为例，目标位置距离深度相机的位置为(X₂,Y₂,Z₂)；

则目标与末端执行器的三维位置为(X₁±X₂,Y₁±Y₂,Z₁±Z₂)。

在本实施例中，完成进度为当前已行驶距离与任务轨迹总距离的比值。

此处需要说明的是，设定机器人运行轨迹，设置轨迹可通过2种方式：

方式1：在定位软件上通过勾画轨迹的方式设定轨迹，然后将轨迹发送给机器人，这种方式需要借助机器人的高精度定位设备，保证轨迹的可靠性；

其中，定位软件由定位设备与上位机软件组成，定位设备安装在机器人上，定位软件运行在上位机中。软件中可实时显示机器人的位置信息，并且可在软件中标定某点或某轨迹，软件下发信号到定位设备，机器人再根据此信息运动到目标点或沿目标轨迹运动。

方式2：通过铺设铁轨、定位线等方式，让机器人沿着固定的线路进行运行，此种方式对定位性能要求较低，主要依赖外部的物理设施，需要提前在大棚的地面上铺设导轨或循迹线路。

在一些实施例中，所述深度学习控制板卡还用于：

判断当前机器人是否完成任务，若否，则控制当前机器人继续执行任务；若是，则控制当前机器人停止运行当前任务，寻找其它未完成任务的机器人并分配相应任务进行执行。

本实施例的机器人沿特定轨迹巡逻，当机器人前方的深度相机采集到当前位置的图像时，首先识别出该图像中的辣椒花，然后进行辣椒花姿态识别，确定待授粉的辣椒花，最后计算出待授粉的辣椒花与授粉末端执行机构的三维距离数据，然后机械臂机构运动到待授粉的辣椒花正前方，末端授粉执行机构自动挤压喷射花粉，当前图片中的所有待授粉辣椒花授粉工作完成后，机械臂回零点，然后机器人继续按照原有轨迹前进，直至将设定轨迹全部覆盖完成，不同机器人之间通过无线通信方式进行数据传输，首先完成的机器人可协助还未完成的机器人进行授粉工作。

实施例二

本实施例提供一种基于深度学习的分布式辣椒花自动授粉装置的控制方法，其包括：

接收深度相机传送来的多维辣椒花深度图像；

识别当前辣椒花深度图像中所有待授粉辣椒花的中心点；

逐一计算各个待授粉辣椒花的中心点与对应深度相机间的三维位置信息；

基于深度相机与机械臂末端执行器的三维坐标转换关系，确定出机械臂末端执行器与各个待授粉辣椒花的中心点的三维位置信息，以控制机械臂末端执行器进行授粉动作；

在当前辣椒花深度图像中所有目标完成授粉后，计算当前机器人完成进度；

将当前机器人完成进度发送至其他相互通信的机器人，并接收其他相互通信的机器人的完成进度，以控制当前机器人执行下一步动作。

在一个或多个实施例中，该控制方法，还包括：

判断当前机器人是否完成任务，若否，则控制当前机器人继续执行任务；若是，则控制当前机器人停止运行当前任务，寻找其它未完成任务的机器人并分配相应任务进行执行。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的分布式辣椒花自动授粉装置，其特征在于，包括若干个相互通信的机器人；每个机器人包括本体、机械臂末端执行器、多组深度相机和深度学习控制板卡；每组深度相机用于采集相应维度的辣椒花深度图像并传至深度学习控制板卡；所述深度学习控制板卡用于：

识别当前辣椒花深度图像中所有待授粉辣椒花的中心点；

逐一计算各个待授粉辣椒花的中心点与对应深度相机间的三维位置信息；

基于深度相机与机械臂末端执行器的三维坐标转换关系，确定出机械臂末端执行器与各个待授粉辣椒花的中心点的三维位置信息，以控制机械臂末端执行器进行授粉动作；

在当前辣椒花深度图像中所有目标完成授粉后，计算当前机器人完成进度；

将当前机器人完成进度发送至其他相互通信的机器人，并接收其他相互通信的机器人的完成进度，以控制当前机器人执行下一步动作。

2.如权利要求1所述的基于深度学习的分布式辣椒花自动授粉装置，其特征在于，在所述深度学习控制板卡中，识别当前辣椒花深度图像中的待授粉辣椒花的过程为：

提取所述多维辣椒花深度图像中的辣椒花姿态特征；

当姿态特征为正向时，判定相应辣椒花为待授粉花朵并进行标注；其中，正向为所有花瓣均无遮挡且花心完全暴露。

3.如权利要求2所述的基于深度学***、倾斜和竖直；

水平为花瓣未闭合且花心朝向垂直于图像拍摄方向；

倾斜为花瓣未闭合，部分花瓣可见，花心朝向与图像拍摄方向呈一定角度；

竖直为呈现花骨朵状态，花心被完全包裹住。

4.如权利要求1所述的基于深度学习的分布式辣椒花自动授粉装置，其特征在于，在所述深度学习控制板卡中，识别当前辣椒花深度图像中的待授粉辣椒花之前，还包括：

识别出当前辣椒花深度图像中的所有辣椒花。

5.如权利要求4所述的基于深度学习的分布式辣椒花自动授粉装置，其特征在于，在所述深度学习控制板卡中，识别当前辣椒花深度图像中的所有辣椒花的过程为：

基于预先训练完成的辣椒花识别模型提取当前辣椒花深度图像中的颜色及形状特征，判断出当前辣椒花深度图像中是否存在辣椒花以及辣椒花的位置。

6.如权利要求1所述的基于深度学习的分布式辣椒花自动授粉装置，其特征在于，在所述深度学习控制板卡中，完成进度为当前已行驶距离与任务轨迹总距离的比值。

7.如权利要求1所述的基于深度学习的分布式辣椒花自动授粉装置，其特征在于，所述深度学习控制板卡还用于：

判断当前机器人是否完成任务，若否，则控制当前机器人继续执行任务；若是，则控制当前机器人停止运行当前任务，寻找其它未完成任务的机器人并分配相应任务进行执行。

8.如权利要求1所述的基于深度学习的分布式辣椒花自动授粉装置，其特征在于，所述深度相机至少为三组。

9.一种如权利要求1-8中任一项所述的基于深度学习的分布式辣椒花自动授粉装置的控制方法，其特征在于，包括：

接收深度相机传送来的多维辣椒花深度图像；

识别当前辣椒花深度图像中所有待授粉辣椒花的中心点；

逐一计算各个待授粉辣椒花的中心点与对应深度相机间的三维位置信息；

基于深度相机与机械臂末端执行器的三维坐标转换关系，确定出机械臂末端执行器与各个待授粉辣椒花的中心点的三维位置信息，以控制机械臂末端执行器进行授粉动作；

在当前辣椒花深度图像中所有目标完成授粉后，计算当前机器人完成进度；

将当前机器人完成进度发送至其他相互通信的机器人，并接收其他相互通信的机器人的完成进度，以控制当前机器人执行下一步动作。

10.如权利要求9所述的基于深度学习的分布式辣椒花自动授粉装置的控制方法，其特征在于，该控制方法，还包括：

判断当前机器人是否完成任务，若否，则控制当前机器人继续执行任务；若是，则控制当前机器人停止运行当前任务，寻找其它未完成任务的机器人并分配相应任务进行执行。

Images