CN115641500A - 一种密植果园目标采摘行中的火龙果智能检测识别方法 - Google Patents

Abstract

本发明公开了一种密植果园目标采摘行中的火龙果智能检测识别方法，包括对深度相机的参数进行设置与采集密植果园中火龙果图像，对图像中目标采摘行火龙果果实目标框进行标注与数据集进行制作，采用MBSF网络训练目标采摘行火龙果检测模型，检验已训练的MBSF模型是否满足目标采摘行火龙果检测精度的要求：若不满足，增加数据集中图像数量与调整MBSF模型参数，重新执行步骤S2和S3；若满足则执行下一步，部署已训练的MBSF模型到火龙果采摘机器人的检测***，检测识别果园中目标采摘行的火龙果，极大地减少果实采摘机器人执行采摘非目标火龙果而发生故障。

Description

一种密植果园目标采摘行中的火龙果智能检测识别方法

技术领域

本发明涉及目标识别技术及智慧农业技术领域，具体为一种密植果园目标采摘行中的火龙果智能检测识别方法。

背景技术

随着智慧农业与深度学习的快速发展，火龙果果实检测识别及其机器人采摘已经成为研究热点。火龙果果实的精准检测识别对机器人采摘与果园自动化管理有着重要推进意义。

由于商业果园中火龙果种植密集，非目标采摘行火龙果会严重干扰目标采摘行内火龙果的检测，非目标采摘行火龙果是采摘机器人不可采摘目标。以往研究中从图像中检测火龙果目标，将会识别图像中所有火龙果，不区分该火龙果是否为目标行可采摘目标。但是采摘机器人将非目标采摘行的火龙果识别为采摘目标，会导致采摘机器人无法执行采摘操作发生程序故障，或采摘机器人末端执行机构与目标采摘行火龙果树发生碰撞事故。

为了实现火龙果的智能检测，现有YOLOv4-LITE网络模型检测识别火龙果技术，虽然能够准确检测拍摄图片中所有火龙果且检测精度较高，但是该检测网络模型不能区分非目标采摘行火龙果，会给果实机器人采摘火龙果带来巨大障碍。

发明内容

本发明提供了一种密植果园目标采摘行中的火龙果智能检测识别方法，解决了现有火龙果检测识别方法错误检测非目标采摘行果实的问题，进而有效解决果实采摘机器人错误执行采摘非目标行果实，导致无法完成采摘故障问题，以及末端执行机构与目标采摘行火龙果树发生碰撞问题。

为实现上述目的，本发明提供如下技术方案：一种密植果园目标采摘行中的火龙果智能检测识别方法，包括以下步骤：

S1、对深度相机的参数进行设置，并采集密植果园中火龙果的图像；

S2、对图像中目标采摘行火龙果果实目标框进行标注，同时对数据集进行制作；

S3、采用MBSF网络训练目标采摘行火龙果检测模型；

S4、检验已训练的MBSF模型是否满足目标采摘行火龙果检测精度的要求，若不满足，增加数据集中图像数量与调整MBSF模型参数，重新执行步骤S2和S3，若满足则执行下一步；

S5、部署已训练的MBSF模型到火龙果采摘机器人的检测***，检测识别果园中目标采摘行的火龙果。

优选的，所述步骤S1包括以下子步骤：

1)将深度相机放置在火龙果相邻种植行中间的位置，火龙果相邻种植行的间距设为l，相机离地面高度为火龙果树高度h的一半，且相机垂直放置，以便深度相机视角覆盖整株火龙果树的高度范围，使得所有果实都在图像中，且火龙果果实通过设有的支撑线6固定在两侧的火龙果树支撑桩5上；

2)设置深度相机的深度图像与RGB图像像素对齐；

3)深度相机在火龙果行间拍摄图像，同时获取火龙果的RGB图像及其对应深度图像；

4)深度相机在火龙果相邻种植行中间沿行方向移动一定距离，保证相邻两次拍摄图像不重叠；

5)若采集到满足深度学习模型训练的火龙果图像数量，停止采集图像，否则重复步骤3)和步骤4)。

优选的，所述步骤S2包括以下子步骤：

1)由深度图像imgD与深度相机的深度像素单位I_d，得到RGB图像像素点对应的深度距离D_RGB，其公式为：

D_RGB(i,j)＝imgD(i,j)·I_d，(i＝1,2,…,H；j＝1,2,…,W)

式中，D_RGB是RGB图像像素点的离深度相机的Z方向的深度距离；imgD是深度图像的像素；I_d是深度图像像素值的距离单位，i是图像高度方向的像素索引序号，j是图像宽度方向的像素索引序号，H，W分别为图像的高度与宽度；

2)采用深度距离阈值D_t去除非目标采摘行的背景信息，包括非目标采摘行的火龙果树、火龙果与其他干扰背景，RGB图像中去除的背景信息用灰色填充，其公式为：

式中，Rb_RGB是去除背景后的RGB图像；Ori_RGB是RGB图像；gray_color是灰色像素值；D_t是深度距离阈值，为火龙果植株种植行间距的一半；

3)在去背景的RGB图像上标注火龙果果实并生成Rb_XML文件；

4)Rb_XML文件中修改filename属性为RGB图像名称，生成RGB图像的目标行果实标注文件XML；

5)RGB图像及其XML文件按7:1.5:1.5制作成果园目标采摘行的火龙果数据集。

优选的，所述步骤S3中，其中的MBSF网络架构的构建步骤包括以下子步骤：

1)将图像尺寸统一缩放为640×640×3；

2)缩放后的图像进行CBL层计算获得特征图C1，其中CBL是由卷积层、批归一化层与Leaky ReLU串联组成；

3)特征图C1连续3次进行MBlock层计算，依次获得特征图C2～C4，其中MBlock层是MobilenetV3的Blocknet；

4)特征图C4依次进行MBlock层与空间金字塔网络计算，获得特征图C5；

5)特征图C3～C5输入融合SEnet注意力机制的特征金字塔网络，进一步获得增强特征图；

6)增强特征图输入Anchor-free检测器进行预测火龙果的类别与位置；并输出火龙果检测结果。

与现有技术相比，本发明的有益效果：本发明提供了一种密植果园目标采摘行中的火龙果智能检测识别方法，能够智能检测识别密植果园中目标采摘行中火龙果，且能够将非目标采摘行火龙果不错误识别为可采摘的目标行火龙果，极大地减少果实采摘机器人执行采摘非目标火龙果而发生故障，或者引起机器人末端执行撞击目标采摘行火龙果树。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1是本发明一种密植果园目标采摘行中的火龙果智能检测识别方法整体流程图；

图2是本发明图像中目标采摘行火龙果果实目标框标注的流程意图；

图3是本发明深度相机的拍摄位置的示意图；

图4是本发明密植果园中火龙果目标采摘行与非目标采摘行的示意图；

图5是本发明深度相机参数设置与密植果园中火龙果图像采集的流程图；

图6是本发明MBSF网络架构图；

图中标号：1、火龙果树；2、火龙果果实；3、深度相机；4、相机支架；5、火龙果树支撑桩；6、支撑线；7、目标采摘行；8、非目标采摘行。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例：如图1所示，一种密植果园目标采摘行中的火龙果智能检测识别方法，主要包括以下步骤：

S1、对深度相机3的参数进行设置，并采集密植果园中火龙果的图像，如图2所示，具体包括以下子步骤；

1)如图3和图4所示，将深度相机3放置在火龙果相邻种植行中间的位置，并将深度相机3安装在相机支架4上，火龙果相邻种植行的间距设为l，深度相机3离地面高度为火龙果树1高度h的一半，且深度相机1垂直放置，以便深度相机3视角覆盖整株火龙果树1的高度范围，使得所有果实都在图像中，且火龙果果实通过设有的支撑线6固定在两侧的火龙果树支撑桩5上；

2)设置深度相机3的深度图像与RGB图像像素对齐；

3)深度相机3在火龙果行间拍摄图像，同时获取火龙果的RGB图像及其对应深度图像；

4)深度相机3在火龙果相邻种植行中间沿行方向移动一定距离，保证相邻两次拍摄图像不重叠；

5)若采集到满足深度学习模型训练的火龙果图像数量，停止采集图像，否则重复步骤3)和步骤4)；

S2、对图像中目标采摘行7的火龙果果实3目标框进行标注，同时对数据集进行制作，如图5所示，具体包括以下子步骤：

1)由深度图像imgD与深度相机3的深度像素单位I_d，得到RGB图像像素点对应的深度距离D_RGB，其公式为：

D_RGB(i,j)＝imgD(i,j)·I_d，(i＝1,2,…,H；j＝1,2,…,W)

式中，D_RGB是RGB图像像素点的离深度相机3的Z方向的深度距离；imgD是深度图像的像素；I_d是深度图像像素值的距离单位。i是图像高度方向的像素索引序号，j是图像宽度方向的像素索引序号。H，W分别为图像的高度与宽度；

2)采用深度距离阈值D_t去除非目标采摘行8的背景信息，包括非目标采摘行8的火龙果树1、火龙果与其他干扰背景，RGB图像中去除的背景信息用灰色填充，其公式为：

式中，Rb_RGB是去除背景后的RGB图像；Ori_RGB是RGB图像；gray_color是灰色像素值；D_t是深度距离阈值，为火龙果植株种植行间距的一半；

3)在去背景的RGB图像上标注火龙果果实3并生成Rb_XML文件；

4)Rb_XML文件中修改filename属性为RGB图像名称，生成RGB图像的目标行果实标注文件XML；

5)RGB图像及其XML文件按7:1.5:1.5制作成果园目标采摘行7的火龙果数据集；

S3、采用MBSF网络训练目标采摘行7的火龙果检测模型，如图6所示，其中的MBSF网络架构的构建步骤包括以下子步骤：

1)将图像尺寸统一缩放为640×640×3；

2)缩放后的图像进行CBL层计算获得特征图C1，其中CBL是由卷积层、批归一化层与Leaky ReLU串联组成；

3)特征图C1连续3次进行MBlock层计算，依次获得特征图C2～C4，其中MBlock层是MobilenetV3的Blocknet；

4)特征图C4依次进行MBlock层与空间金字塔网络计算(SPPF)，获得特征图C5；

5)特征图C3～C5输入融合SEnet注意力机制的特征金字塔网络(SE-FPN)，进一步获得增强特征图；

6)增强特征图输入Anchor-free检测器进行预测火龙果的类别与位置；并输出火龙果检测结果；

S4、检验已训练的MBSF模型是否满足目标采摘行7的火龙果检测精度的要求，若不满足，增加数据集中图像数量与调整MBSF模型参数，重新执行步骤S2和S3，若满足则执行下一步；

S5、部署已训练的MBSF模型到火龙果采摘机器人的检测***，检测识别果园中目标采摘行7的火龙果。

最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种密植果园目标采摘行中的火龙果智能检测识别方法，其特征在于，包括以下步骤：

S1、对深度相机的参数进行设置，并采集密植果园中火龙果的图像；

S2、对图像中目标采摘行火龙果果实目标框进行标注，同时对数据集进行制作；

S3、采用MBSF网络训练目标采摘行火龙果检测模型；

S4、检验已训练的MBSF模型是否满足目标采摘行火龙果检测精度的要求，若不满足，增加数据集中图像数量与调整MBSF模型参数，重新执行步骤S2和S3，若满足则执行下一步；

S5、部署已训练的MBSF模型到火龙果采摘机器人的检测***，检测识别果园中目标采摘行的火龙果。

2.根据权利要求1所述的一种密植果园目标采摘行中的火龙果智能检测识别方法，其特征在于，所述步骤S1包括以下子步骤：

1)将深度相机放置在火龙果相邻种植行中间的位置，火龙果相邻种植行的间距设为l，相机离地面高度为火龙果树高度h的一半，且相机垂直放置，以便深度相机视角覆盖整株火龙果树的高度范围，使得所有果实都在图像中；

2)设置深度相机的深度图像与RGB图像像素对齐；

3)深度相机在火龙果行间拍摄图像，同时获取火龙果的RGB图像及其对应深度图像；

4)深度相机在火龙果相邻种植行中间沿行方向移动一定距离，保证相邻两次拍摄图像不重叠；

5)若采集到满足深度学习模型训练的火龙果图像数量，停止采集图像，否则重复步骤3)和步骤4)。

3.根据权利要求1所述的一种密植果园目标采摘行中的火龙果智能检测识别方法，其特征在于，所述步骤S2包括以下子步骤：

1)由深度图像imgD与深度相机的深度像素单位I_d，得到RGB图像像素点对应的深度距离D_RGB，其公式为：

D_RGB(i,j)＝imgD(i,j)·I_d，(i＝1,2,…,H；j＝1,2,…,W)

式中，D_RGB是RGB图像像素点的离深度相机的Z方向的深度距离；imgD是深度图像的像素；I_d是深度图像像素值的距离单位，i是图像高度方向的像素索引序号，j是图像宽度方向的像素索引序号，H，W分别为图像的高度与宽度；

2)采用深度距离阈值D_t去除非目标采摘行的背景信息，包括非目标采摘行的火龙果树、火龙果与其他干扰背景，RGB图像中去除的背景信息用灰色填充，其公式为：

式中，Rb_RGB是去除背景后的RGB图像；Ori_RGB是RGB图像；gray_color是灰色像素值；D_t是深度距离阈值，为火龙果植株种植行间距的一半；

3)在去背景的RGB图像上标注火龙果果实并生成Rb_XML文件；

4)Rb_XML文件中修改filename属性为RGB图像名称，生成RGB图像的目标行果实标注文件XML；

5)RGB图像及其XML文件按7:1.5:1.5制作成果园目标采摘行的火龙果数据集。

4.根据权利要求1所述的一种密植果园目标采摘行中的火龙果智能检测识别方法，其特征在于，所述步骤S3中，其中的MBSF网络架构的构建步骤包括以下子步骤：

1)将图像尺寸统一缩放为640×640×3；

2)缩放后的图像进行CBL层计算获得特征图C1，其中CBL是由卷积层、批归一化层与Leaky ReLU串联组成；

3)特征图C1连续3次进行MBlock层计算，依次获得特征图C2～C4，其中MBlock层是Mobilenet V3的Block net；

4)特征图C4依次进行MBlock层与空间金字塔网络计算，获得特征图C5；

5)特征图C3～C5输入融合SEnet注意力机制的特征金字塔网络，进一步获得增强特征图；

6)增强特征图输入Anchor-free检测器进行预测火龙果的类别与位置；并输出火龙果检测结果。

Images