CN115861686A - 基于边缘深度学习的荔枝关键生长期识别检测方法及*** - Google Patents

Abstract

本发明涉及智慧农业领域，涉及基于边缘深度学习的荔枝关键生长期识别检测方法及***，其方法包括：采集荔枝在不同生长时期的图像，构建数据集，并分为训练集和验证集；构建改进的Mask‑RCNN神经网络模型作为荔枝生长期检测模型；以训练集的样本图像作为输入，对神经网络模型进行迁移训练，采用验证集对其进行验证，得到训练权重w的荔枝生长期检测模型；将待检测的图像输入到荔枝生长期检测模型中，根据权重识别荔枝的生长期阶段；根据荔枝生长期检测模型的输出结果来判断该模型可行性，从而部署到果园中，进行荔枝生长期的识别。本发明将深度学习和机器视觉应用于荔枝关键生长期检测，降低了主观因素的干扰及提高了荔枝各生长期的检测精度。

Description

基于边缘深度学习的荔枝关键生长期识别检测方法及***

技术领域

本发明涉及智慧农业技术领域，具体涉及深度学习以及图像识别技术在农作物目标识别与检测方向的应用，更具体来说，涉及基于边缘深度学习的荔枝关键生长期检测方法及***。

背景技术

荔枝是一种重要的经济作物，荔枝的栽培技术包括灌溉、除草、控梢、保花保果、病虫害防治、土壤管理等。为了提高荔枝产量，在荔枝生长周期内的不同阶段，需要结合树体发育情况和环境变化指标来采取相应的栽培措施；也就是说，荔枝各关键生长期的精准管控是影响荔枝产量主要因素。

荔枝花期和果期是荔枝生长期作业的两个关键观察窗口，通常需要对正常发育的花果进行保花保果，剔除***花、畸形果等影响树体营养的无效花和果，提高荔枝的坐花率和坐果率。传统荔枝种植过程中，对荔枝关键生长期的把控以人工方式为主，农户通过肉眼观察荔枝形态，结合观察经验以及种植经验判断荔枝的生长期，这种方式识别速度较慢、主观性较强、人工成本较高，容易出现错误判断。随着深度学习和计算机视觉领域的快速发展，将人工智能技术应用于农业领域，打造智慧农业成为现阶段的研究热点。将现有深度学习算法应用在荔枝关键生长期检测中，以计算机代替人工方式，能够减少人工投入成本，提高识别精度，提升检测效率。

目前，深度学习和机器视觉技术大多数研究以荔枝熟果为主，对荔枝的花期、青果期等关键生长期的研究相对缺乏，即使用深度学习和计算机视觉实现对荔枝花期、青果阶段乃至整个生长期的检测研究较少。荔枝开花期、青果期和成熟期等关键生长期，依然以人工方式为主进行栽培和管控，因而存在管控粗放、人为主观影响因素大等问题。

发明内容

有鉴于此，本发明目的在于提供基于边缘深度学习的荔枝关键生长期检测方法及***，将深度学习和机器视觉应用于荔枝关键生长期检测，以代替人工肉眼检测，极大地减少了人工成本的投入、降低了主观因素的干扰及提高了荔枝各生长期的检测精度，可为荔枝各生长期的农事作业提供技术指引。

本发明的检测方法通过下述技术方案实现：一种基于边缘深度学习的荔枝关键生长期识别检测方法，包括以下步骤：

采集荔枝在不同生长时期的图像，构建数据集，并将数据集按预设比例分为训练集和验证集；

构建改进的Mask-RCNN神经网络模型作为荔枝生长期检测模型；

以训练集的样本图像作为输入，以对应的样本图像中荔枝各个阶段生长期的识别结果作为输出，对改进的Mask-RCNN神经网络模型进行迁移训练，采用验证集对其进行验证，得到训练权重w的荔枝生长期检测模型；

将待检测的图像输入到权重为w的荔枝生长期检测模型中，根据权重识别荔枝的生长期阶段；

根据荔枝生长期检测模型的输出结果来判断该模型可行性，从而部署到果园中；把需要进行识别的荔枝生长期图像输入到荔枝生长期检测模型中，对识别出来的花、果打上标签以进行标识，返回荔枝所处生长期数据。

本发明的基于边缘深度学习的荔枝关键生长期识别检测***，包括以下模块：

数据集构建模块，用于采集荔枝在不同生长时期的图像，构建数据集，并将数据集按预设比例分为训练集和验证集；

检测模型构建模块，用于构建改进的Mask-RCNN神经网络模型作为荔枝生长期检测模型；

检测模型训练模块，以训练集的样本图像作为输入，以对应的样本图像中荔枝各个阶段生长期的识别结果作为输出，对改进的Mask-RCNN神经网络模型进行迁移训练，采用验证集对其进行验证，得到训练权重w的荔枝生长期检测模型；

检测识别模块，用于将待检测的图像输入到权重为w的荔枝生长期检测模型中，根据权重识别荔枝的生长期阶段；根据荔枝生长期检测模型的输出结果来判断该模型可行性，从而部署到果园中；把需要进行识别的荔枝生长期图像输入到荔枝生长期检测模型中，对识别出来的花、果打上标签以进行标识，返回荔枝所处生长期数据。

本发明相对现有技术具有如下的优点及效果：

1、本发明将深度学习和机器视觉应用于荔枝关键生长期检测，以代替人工肉眼检测，极大地减少了人工成本的投入、降低了主观因素的干扰及提高了荔枝各生长期的检测精度，可为荔枝各生长期的农事作业提供技术指引。

2、本发明采集各品种荔枝不同生长期的图像数据，进行数据的补充，进一步对荔枝生长期检测模型进行训练，提高模型检测精度。

3、本发明针对自然条件下的荔枝各个生长期进行检测，构建荔枝关键生长期检测AI模型，并实现了模型在边缘端的部署与加速，填补了人工智能技术在荔枝花期、青果期等关键生长期的智能检测的空白，为未来荔枝疏花保果等精准种植***的开发提供研究基础，拓宽了智慧农业在荔枝保花保果领域的研究范围，对促进荔枝种植业生产发展具有重要意义。

附图说明

图1为本发明实施例中基于Mask-RCNN网络的荔枝生长期检测方法流程图；

图2为本发明实施例中数据采集预处理及模型训练的流程图；

图3为本发明实施例中构建的Mask-RCNN模型的框架图；

图4为本发明实施例Mask-RCNN模型中的特征提取网络示意图；

图5为本发明实施例中模型部署后工作的流程图。

具体实施方式

下面结合附图和实施例，对本发明的技术方案做进一步详细的描述，但本发明的实施方式并不限于此。

实施例1

如图1、2所示，本实施例基于Mask-RCNN网络，提供基于边缘深度学习的荔枝关键生长期识别检测方法，包括以下步骤：

S1、采集荔枝在不同生长时期的图像，构建数据集。

在本实施例中，通过地面摄像头、手持相机等采集图像构建的数据集D，包括荔枝各个生长期的图片，例如花期(flower)、青果期(little)、熟果期(lizhi)的图像；对数据集进行筛选，剔除过度模糊以及与研究区域无关的图像，并对图像中的虫害目标(例如成虫和/或虫茧)进行标注；根据预设比例将数据集划分为训练集与验证集。

在进一步优选的实施例中，可对数据集中的可见光图像进行翻转、旋转、对比度增强及光照强度调节等数据样本增强操作，增加数据集D中关于荔枝各个生长期可见光图像的多样性，增强识别模型的鲁棒性，防止过拟合。此外，可使用Labelme开源标注软件，将每张图像中虫害目标使用矩形框标注。将标注完成后的数据集按7：3的比例分为训练集与验证集，训练集主要用于神经网络学习荔枝不同生长期的特征，验证集则用于验证神经网络学习到特征的准确性。

S2、构建改进的Mask-RCNN神经网络模型作为荔枝生长期检测模型；

S3、以所述训练集的样本图像作为输入，以对应的样本图像中荔枝各个阶段生长期的识别结果作为输出，对所述改进的Mask-RCNN模型进行迁移训练，采用验证集对其进行验证，得到训练权重w的荔枝生长期检测模型；

S4、将待检测的图像输入到权重为w的荔枝生长期检测模型中，根据权重识别荔枝的生长期阶段；

S5、根据荔枝生长期检测模型的输出结果来判断该模型可行性，从而部署到果园中；把需要进行识别的荔枝生长期图像输入到荔枝生长期检测模型中，对识别出来的花、果打上标签以进行标识，返回荔枝所处生长期数据。

在服务器中搭建深度学习训练环境，安装Python和tensorflow框架，如图3所示，构建改进的Mask-RCNN神经网络模型作为荔枝生长期检测模型。在构建Mask-RCNN神经网络模型时，首先根据荔枝的花期、青果期和熟果期等不同生长期，使用手持式高清数码相机、田间摄像头定点拍摄和无人机巡园拍摄分别在荔枝园实地采集一定单位面积的三个不同生长期图像数据，通过清洗、增强、标注等数据预处理方法，构建不同生长期的RGB图像数据库。其次，在服务器中使用搭建好的神经网络模型对所构建的荔枝不同生长期数据库进行深度学习训练，把训练好的荔枝生长期识别模型部署到手机端和PC端等终端设备进行荔枝生长期精度检测和速度检测验证实验，验证所搭建的神经网络模型在荔枝不同生长期识别中的可行性。其中，Mask-RCNN神经网络模型可分解为3个模块，分别为特征提取网络ResNet、ROIAlign网络模块和FCN网络模块。以ResNet+FCN作为基础网络可以解决深度卷积神经网络中因网络深度增大带来的梯度消失和梯度***问题，以及融合多个尺度的特征信息和语义信息，实现图像的多尺度特征提取与融合。最后，在Mask-RCNN神经网络模型的分类分支和边框回归分支基础上增加了mask掩膜分支用于对目标掩膜信息的预测。

如图4所示，本发明把ResNet网络作为特征提取网络，将构建的数据集D中各荔枝生长期的图像数据作为输入，通过ResNet网络对这些输入图像进行卷积操作，提取荔枝花果的颜色、形状、纹理等表型特征，建立多层神经网络模型，实现图像中荔枝花果的识别与定位。单个ResNet网络对输入图像的尺寸有固定要求，将图像输入到ResNet网络之前，需要对图像进行尺寸修整。本发明将荔枝各生长期原始图像通过尺寸修整调整为1024×1024×3，作为每个ResNet网络第一阶段的输入。随着网络深度的增加，特征图大小将不断减小，C1阶段输出为256×256×64，C2阶段输出为128×128×256，C3阶段输出为64×64×512，C4阶段输出为32×32×1024，C5阶段输出为16×16×2048。FCN网络是全卷积网络，根据一个局部的视野域进行预测，且参数是全图共享，而全连接FCN是全图视野域，对位置更敏感，看得更大。因此，本发明多加一条采用全连接层预测的支路来做mask预测，然后和FCN网络融合。ROIAlign网络主要把ResNet网络所提取后的特征图进行区域划分，给出候选区域(如背景区域、荔枝花区域、荔枝果区域等)，方便下一步作分类。

在Mask-RCNN神经网络模型的迁移训练过程中，采用损失函数进行学习参数的调节，防止所学习的参数出现梯度***或梯度消失，即防止卷积神经网络对荔枝花、果等特征的学习效果不好。Mask-RCNN神经网络模型的损失函数主要分为两个部分，一是RPN结构的损失函数，二是ROI分类、回归与掩膜预测分支的损失函数,当模型损失曲线波动接近于0时，停止训练，得到训练权重w，否则继续训练。

RPN结构具有两条预测分支，一条是用于判断锚点框中内容是否为背景，另一条是预测边界框回归参数。两条分支对应了两个损失值,即L_cls和L_reg；其中,L_cls通过二分类交叉熵损失函数计算得到，计算公式如下：

p_i表示预测第i个锚点框中内容为非背景目标的概率，

表示真实标签，当第i个锚点框中内容为非背景时，/>

等于1，为背景时，/>

等于0。

L_reg通过Smooth_L1损失函数计算得到，计算公式如下：

t_i表示预测第i个锚点框的边界回归参数，

表示第i个锚点框的真实边界框回归参数，Smooth_L1损失函数计算公式如下：

RPN结构的损失函数L为两个损失值的复合函数，计算公式如下：

N_cls表示一个最小批次下的所有样本数量，N_reg表示锚点框所占的像素个数,是平衡两个损失值的平衡参数。

ROI分类是对目标类别进行预测，在目标检测或实例分割任务中，目标类别往往不止一种，故不能使用二分类交叉熵损失函数来作为ROI分类的损失函数，而是使用多分类交叉熵损失函数，计算公式如下：

L_cls(p,u)＝-log(p_u)

p表示预测ROI分类的softmax概率分布，p＝(p₀,p₁,…,p_u)，u表示候选框中目标的真实类别标签。

掩膜分支的损失函数用L_mask表示，掩膜分支的输出包括了所有目标类别的二值掩膜特征图，在一次掩膜预测中，ROI分类分支对一个ROI的预测结果将共享到掩膜分支中，掩膜分支根据分类预测结果选择属于该类的二值掩膜特征图，然后对该掩膜图中每个像素点进行sigmoid激活，取平均二值交叉熵损失值作为L_mask。

总体损失函数如下公式所述：

L＝L_cls+L_box+L_mask

参考图5,将所构建的荔枝生长期分析模型部署到边缘端后。实现边缘端结合摄像头获取到的图像输入到该荔枝生长期分析模型中，经过训练出来的权重会自动识别出荔枝当前所处的生长阶段。

将所得的结果通过网络或其他通信方式，将预测结果发送至专家决策***，由专家决策***对预测结果做进一步的分析，得到作业决策信息，指导农户进行有效作业。与传统的云端数据处理***相比，结合边缘计算的***将进一步提升数据传输的高效性和安全性，为农户提供更加便利的生产作业。在原有的技术上,在识别农作物长势方面具有较好的识别效果作物品质评估等相关研究起到重要的辅助作用,解决以往要调动大多数劳动力凭借已有的经验去实地观察。

实施例2

与实施例1基于相同的发明构思，本实施例提供一种基于边缘深度学习的荔枝关键生长期识别检测***，包括以下模块：

数据集构建模块，用于采集荔枝在不同生长时期的图像，构建数据集，并将数据集按预设比例分为训练集和验证集；

检测模型构建模块，用于构建改进的Mask-RCNN神经网络模型作为荔枝生长期检测模型；

检测模型训练模块，以训练集的样本图像作为输入，以对应的样本图像中荔枝各个阶段生长期的识别结果作为输出，对改进的Mask-RCNN神经网络模型进行迁移训练，采用验证集对其进行验证，得到训练权重w的荔枝生长期检测模型；

检测识别模块，用于将待检测的图像输入到权重为w的荔枝生长期检测模型中，根据权重识别荔枝的生长期阶段；根据荔枝生长期检测模型的输出结果来判断该模型可行性，从而部署到果园中；把需要进行识别的荔枝生长期图像输入到荔枝生长期检测模型中，对识别出来的花、果打上标签以进行标识，返回荔枝所处生长期数据。

本实施例的上述各模块用于实现实施例1的步骤S1-S5，其详细实现过程参照实施例1，在此不赘述。

以上所述仅为本发明的优选实施而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于边缘深度学习的荔枝关键生长期识别检测方法，其特征在于，包括以下步骤：

采集荔枝在不同生长时期的图像，构建数据集，并将数据集按预设比例分为训练集和验证集；

构建改进的Mask-RCNN神经网络模型作为荔枝生长期检测模型；

以训练集的样本图像作为输入，以对应的样本图像中荔枝各个阶段生长期的识别结果作为输出，对改进的Mask-RCNN神经网络模型进行迁移训练，采用验证集对其进行验证，得到训练权重w的荔枝生长期检测模型；

将待检测的图像输入到权重为w的荔枝生长期检测模型中，根据权重识别荔枝的生长期阶段；

根据荔枝生长期检测模型的输出结果来判断该模型可行性，从而部署到果园中；把需要进行识别的荔枝生长期图像输入到荔枝生长期检测模型中，对识别出来的花、果打上标签以进行标识，返回荔枝所处生长期数据。

2.根据权利要求1所述的荔枝关键生长期识别检测方法，其特征在于，所构建的数据集包括荔枝花期、青果期、熟果期的图像。

3.根据权利要求1所述的荔枝关键生长期识别检测方法，其特征在于，在构建改进的Mask-RCNN神经网络模型时，首先根据荔枝不同生长期，实地采集单位面积的若干不同生长期图像数据，通过数据预处理方法，构建不同生长期的RGB图像数据库；

其次，使用搭建好的神经网络模型对所构建的荔枝不同生长期数据库进行深度学习训练，把训练好的荔枝生长期识别模型部署到终端设备进行荔枝生长期精度检测和速度检测验证实验，验证所搭建的神经网络模型在荔枝不同生长期识别中的可行性；

最后，在Mask-RCNN神经网络模型的分类分支和边框回归分支基础上增加mask掩膜分支，用于对目标掩膜信息的预测。

4.根据权利要求3所述的荔枝关键生长期识别检测方法，其特征在于，所述Mask-RCNN神经网络模型包括ResNet网络、ROIAlign网络和FCN网络，其中：

ResNet网络作为特征提取网络，将构建的数据集中各荔枝生长期的图像数据作为输入，通过ResNet网络对输入图像进行卷积操作，提取荔枝花果的颜色、形状、纹理特征，建立多层神经网络模型，实现图像中荔枝花果的识别与定位；

FCN网络是全卷积网络，根据局部的视野域进行预测，参数全图共享；FCN网络与采用全连接层进行mask预测的支路融合；

ROIAlign网络把ResNet网络所提取后的特征图进行区域划分，给出候选区域。

5.根据权利要求1所述的荔枝关键生长期识别检测方法，其特征在于，在Mask-RCNN神经网络模型的迁移训练过程中，采用损失函数进行学习参数的调节；Mask-RCNN神经网络模型的损失函数包括：

RPN结构的损失函数；

ROI分类、回归与掩膜预测分支的损失函数。

6.根据权利要求5所述的荔枝关键生长期识别检测方法，其特征在于，RPN结构的损失函数L为L_cls和L_reg两个损失值的复合函数，计算公式如下：

N_cls表示一个最小批次下的所有样本数量，N_reg表示锚点框所占的像素个数,是平衡两个损失值的平衡参数；

其中，损失值L_cls通过二分类交叉熵损失函数计算得到，计算公式如下：

p_i表示预测第i个锚点框中内容为非背景目标的概率，

表示真实标签，当第i个锚点框中内容为非背景时，/>

等于1，为背景时，/>

等于0；

损失值L_reg通过Smooth_L1损失函数计算得到，计算公式如下：

Smooth_L1损失函数计算公式如下：

t_i表示预测第i个锚点框的边界回归参数，

表示第i个锚点框的真实边界框回归参数。

7.根据权利要求5所述的荔枝关键生长期识别检测方法，其特征在于，ROI分类的损失函数使用多分类交叉熵损失函数，计算公式如下：

L_cls(p,u)＝-log(p_u)

p表示预测ROI分类的softmax概率分布，p＝(p0,p1,…,pu)，u表示候选框中目标的真实类别标签。

8.根据权利要求5所述的荔枝关键生长期识别检测方法，其特征在于，掩膜分支的损失函数用L_mask表示，掩膜分支的输出包括了所有目标类别的二值掩膜特征图，在一次掩膜预测中，ROI分类分支对一个ROI的预测结果将共享到掩膜分支中，掩膜分支根据分类预测结果选择属于该类的二值掩膜特征图，然后对该掩膜图中每个像素点进行sigmoid激活，取平均二值交叉熵损失值作为L_mask。

9.一种基于边缘深度学习的荔枝关键生长期识别检测***，其特征在于，包括以下模块：

数据集构建模块，用于采集荔枝在不同生长时期的图像，构建数据集，并将数据集按预设比例分为训练集和验证集；

检测模型构建模块，用于构建改进的Mask-RCNN神经网络模型作为荔枝生长期检测模型；

检测模型训练模块，以训练集的样本图像作为输入，以对应的样本图像中荔枝各个阶段生长期的识别结果作为输出，对改进的Mask-RCNN神经网络模型进行迁移训练，采用验证集对其进行验证，得到训练权重w的荔枝生长期检测模型；

检测识别模块，用于将待检测的图像输入到权重为w的荔枝生长期检测模型中，根据权重识别荔枝的生长期阶段；根据荔枝生长期检测模型的输出结果来判断该模型可行性，从而部署到果园中；把需要进行识别的荔枝生长期图像输入到荔枝生长期检测模型中，对识别出来的花、果打上标签以进行标识，返回荔枝所处生长期数据。

10.根据权利要求9所述的荔枝关键生长期识别检测***，其特征在于，检测模型构建模块在构建改进的Mask-RCNN神经网络模型时：

首先根据荔枝不同生长期，实地采集单位面积的若干不同生长期图像数据，通过数据预处理方法，构建不同生长期的RGB图像数据库；

其次，使用搭建好的神经网络模型对所构建的荔枝不同生长期数据库进行深度学习训练，把训练好的荔枝生长期识别模型部署到终端设备进行荔枝生长期精度检测和速度检测验证实验，验证所搭建的神经网络模型在荔枝不同生长期识别中的可行性；

最后，在Mask-RCNN神经网络模型的分类分支和边框回归分支基础上增加mask掩膜分支，用于对目标掩膜信息的预测。

Images