CN114332849A

CN114332849A - 一种农作物生长状态联合监测方法、装置及存储介质

Info

Publication number: CN114332849A
Application number: CN202210255333.3A
Authority: CN
Inventors: 万亚东; 钱浩; 张超
Original assignee: Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Current assignee: Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Priority date: 2022-03-16
Filing date: 2022-03-16
Publication date: 2022-04-12
Anticipated expiration: 2042-03-16
Also published as: CN114332849B

Abstract

本申请涉及一种农作物生长状态联合监测方法、装置及存储介质，方法包括：构建生长监测模块，并利用所述生长监测模块检测出原始图像中各个监测目标的生长状态期类别和坐标信息；所述生长监测模块采用YOLOv5作为基础网络，并在所述YOLOv5的网络结构中嵌入用于提取所述监测目标的全局上下文信息的全局感知网络。通过该方法构建的生长监测模块能够显著提升对农作物生长状态的监测准确性。

Description

一种农作物生长状态联合监测方法、装置及存储介质

技术领域

本申请涉及农作物监测技术领域，尤其涉及一种农作物生长状态联合监测方法、装置及存储介质。

背景技术

随着现代化农业的不断发展和农产品需求的日益增长，大棚种植在农业生产所占的比重越来越大。在目前的农业大棚种植中，农作物的生长情况主要依靠人力和人工经验进行分析判断，不仅工作效率低下，且缺乏科学指导，难以保障农作物的品质。因此，亟需一种智能化的农作物生长状态监测手段，为大棚作物的科学化管理提供精准可靠的监测数据，从而有效提升农作物的产量和品质，促进农业经济的快速发展。

发明内容

为了解决上述背景技术提到的技术问题或者至少部分地解决上述技术问题，本申请提供一种农作物生长状态联合监测方法、装置及存储介质，能显著提升对农作物生长状态的监测准确性。

第一方面，本申请提供了一种农作物生长状态联合监测方法，包括：

构建生长监测模块，并利用所述生长监测模块检测出原始图像中各个监测目标的生长状态期类别和坐标信息；所述生长监测模块采用YOLOv5作为基础网络，并在所述YOLOv5的网络结构中嵌入用于提取所述监测目标的全局上下文信息的全局感知网络。

优选的，所述采用YOLOv5作为基础网络，并在所述YOLOv5的网络结构中嵌入用于提取所述监测目标的全局上下文信息的全局感知网络，具体包括：

将所述YOLOv5的骨干网络的第一输出特征图作为全局感知网络的输入，所述全局感知网络对所述第一输出特征图依次进行卷积和全局平均池化操作后输出的特征图与所述YOLOv5的预测端的第二输出特征图相乘，得到全局特征图，其中，所述骨干网络用于通过逐层卷积的方式提取所述原始图像的图像特征，所述第一输出特征图包含所述监测目标的全局上下文信息。

优选的，所述全局感知网络包括依次连接的第一卷积模块层、第二卷积模块层和全局平均池化层，所述第一输出特征图依次经所述第一卷积模块层和所述第二卷积模块层提取特征后输入所述全局平均池化层进行全局平局池化操作。

优选的，所述农作物生长状态联合监测方法还包括：所述YOLOv5的预测端基于所述全局特征图进行所述监测目标的分类和定位，并输出监测目标的生长期类别和所述监测目标在所述原始图像中的坐标信息。

优选的，所述农作物生长状态联合监测方法还包括：

构建采用相同的网络结构的营养监测模块、病害监测模块和虫害监测模块；

根据所述原始图像的第一尺寸、所述全局特征图的第二尺寸以及所述监测目标在所述原始图像中的坐标信息，裁剪所述全局特征图，得到所述监测目标的目标特征图；

将所述目标特征图分别输入至所述营养监测模块、所述病害监测模块和所述虫害监测模块中，分别检测所述监测目标的营养状态类别、病害状态类别和虫害状态类别。

优选的，所述营养监测模块、所述病害监测模块和所述虫害监测模块的网络结构均包括依次连接的第一卷积模块层、第二卷积模块层、第一维度全连接层和第二维度全连接层；

所述第一卷积模块层和所述第二卷积模块层采用不同尺寸的卷积核提取所述目标特征图中不同类型的特征表示，得到中间特征图；

所述第一维度全连接层和所述第二维度全连接层对所述中间特征图进行类别分类，得到所述监测目标的状态类别分类结果，所述分类结果为营养状态类别或病害状态类别或虫害状态类别。

优选的，所述农作物生长状态联合监测方法还包括：

采集监测目标的整个生长周期内的多个原始图像，所述原始图像中包括多个同类型的所述监测目标；

对所述原始图像进行多标签标注，得到多标签图像训练集，所述多标签图像训练集中包括标注了多个样本标签的训练图像。

优选的，所述农作物生长状态联合监测方法还包括：

选取所述多标签图像训练集中的标注了第一样本标签的训练图像对所述生长监测模块进行训练，所述第一样本标签包括所述监测目标的所处生长期类别信息和坐标信息；

选取所述多标签图像训练集中的标注了第二样本标签的训练图像对所述营养监测模块进行训练，所述第二样本标签包括所述监测目标的营养状态类别信息；

选取所述多标签图像训练集中的标注了第三样本标签的训练图像对所述病害监测模块进行训练，所述第三样本标签包括所述监测目标的病害状态类别信息；

选取所述多标签图像训练集中的标注了第四样本标签的训练图像对所述虫害监测模块进行训练，所述第四样本标签包括所述监测目标的虫害状态类别信息。

第二方面，本申请还提供了一种农作物生长状态联合监测装置，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的所述程序指令以实现如第一方面中任一技术方案所述的农作物生长状态联合监测方法。

第三方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，所述程序代码用于实现如第一方面中任一技术方案所述的农作物生长状态联合监测方法。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：第一方面，该方法通过将全局感知网络嵌入到YOLOv5网络中，作为农作物的生长监测模块，具有该网络结构的生长监测模块能够提取出目标农作物的全局上下文信息，通过获取其周围农作物的生长状态特征来辅助目标农作物的生长状态判定，从而能够显著提升网络对农作物生长状态的监测准确性；

第二方面，基于生长监测模块的输出结果，本申请进一步提出了由生长监测模块、营养监测模块、病害监测模块和虫害监测模块四部分组成的联合监测方法，相比当前大棚种植主要依靠人工经验进行农作物的生长情况分析，该联合监测方法则完全依靠工业相机和深度学习算法进行自动化的生长状态监测，不仅可以节约大量的人力成本，而且能够在整个生长周期内给出准确实时的监测结果，从而指导大棚作物的精准化管理，实现农作物的增产增收。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种农作物生长状态联合监测方法的流程示意图；

图2为本申请实施例提供的一种生长监测模块的网络结构示意图；

图3为本申请实施例提供的一种AI联合监测网络的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，下面对本申请实施例提供的一种农作物生长状态联合监测方法进行详细介绍，方法包括以下步骤：

在本申请的一些具体实施例中，目标检测网络YOLOv5检测精度和推理速度上均具有领先同类检测器的良好性能，符合农作物生长状态监测这一精准化实时监测任务的应用需求，所以采用YOLOv5作为生长监测模块的基础网络。并且进一步的对YOLOv5的网络结构进行改进，在YOLOv5的网络结构中嵌入了全局感知网络（Global Awareness Structure，GAS）。

将全局感知网络嵌入到YOLOv5网络中，作为农作物的生长监测模块，具有该网络结构的生长监测模块能够提取出目标农作物（即监测目标）的全局上下文信息，通过获取其周围农作物的生长状态特征来辅助目标农作物的生长状态判定，从而能够显著提升网络对农作物生长状态的监测准确性。

在本申请的一些具体实施例中，所述采用YOLOv5作为基础网络，并在所述YOLOv5的网络结构中嵌入用于提取所述监测目标的全局上下文信息的全局感知网络，具体包括：

在本申请的一些具体实施例中，YOLOv5网络由输入端、骨干网络、特征融合网络和预测端四个部分组成，骨干网络由B1、B2、B3三部分组成，以这三部分的输出特征图作为特征融合网络的输入。

在深度神经网络中，骨干网络通过逐层卷积的方式提取图像中的特征表示，采用骨干网络最高层的特征图（即第一输出特征图）进行全局感知网络的设计，位于高层的特征图比位于低层的特征图包含更多更丰富的全局上下文信息，全局特征图包含的全局特征信息更加全面，有利于提高预测准确性。

YOLOv5网络的预测端包含三个不同尺寸的输出特征图，将该全局特征图与预测端各个输出特征图进行矩阵相乘操作，从而输出一组包含全局特征信息的全局特征图。

在本申请的一些具体实施例中，所述全局感知网络包括依次连接的第一卷积模块层、第二卷积模块层和全局平均池化层，所述第一输出特征图依次经所述第一卷积模块层和所述第二卷积模块层提取特征后输入所述全局平均池化层进行全局平局池化操作。

在本申请的一些具体实施例中，将B3的输出特征图输入一个卷积模块中，进行进一步的特征抽象，该模块包含一个卷积核为1*1、卷积核数量为512的卷积操作和一个LeakyRelu激活函数；随后，再将其输入一个卷积模块中，这一步将特征图的维度从32*32*512调整为32*32*255，以便后续在预测端进行全局特征嵌入操作，该模块包含一个卷积核为1*1、卷积核数量为255的卷积操作和一个Leaky Relu激活函数；最后，为了提取全局级别的特征表示，对上一步的输出特征图进行全局平均池化操作，从而输出一个维度为1*1*255的全局特征。

在本申请的一些具体实施例中，所述农作物生长状态联合监测方法还包括：所述YOLOv5的预测端基于所述全局特征图进行所述监测目标的分类和定位，并输出监测目标的生长期类别和所述监测目标在所述原始图像中的坐标信息。

YOLOv5网络的预测端包含三个不同尺寸（分别为128*128*255、64*64*255和32*32*255）的输出特征图，将该全局特征与各个输出特征图进行矩阵相乘操作，从而输出一组包含全局特征信息的全局特征图。随后，预测端基于这组全局特征图进行白菜植株的分类和定位，并输出一系列白菜植株的所属类别和在原图中的坐标信息。

在本申请的一些具体实施例中，所述农作物生长状态联合监测方法还包括：

全局特征图的尺寸小于原始图像的尺寸，根据监测目标在原始图像中的坐标信息以及全局特征图和原始图像的尺寸比例关系，能够得出监测目标在全局特征图中的坐标位置，根据计算出的坐标位置对全局特征图进行裁剪，也就是从全局特征图中裁剪出各个监测目标的所述特征区域，并依次输出得到监测目标的目标特征图。

在本申请的一些具体实施例中，营养监测模块用于对输入的目标特征图进行处理，最终得出监测目标的营养状态类别；同样的，所述病害监测模块和所述虫害监测模块中也是同样的原理。

为了进一步实现对农作物植株的更全面更精准化生长状态监测，基于目标特征图进行营养监测模块、病害监测模块和虫害监测模块的设计。三个监测模块采用相同的网络结构，以便于后续的网络训练和参数优化。

在本申请的一些具体实施例中，所述营养监测模块、所述病害监测模块和所述虫害监测模块的网络结构均包括依次连接的第一卷积模块层、第二卷积模块层、第一维度全连接层和第二维度全连接层；

在本申请的一些具体实施例中，采集监测目标（即农作物）的整个生长周期内多张图像，并利用标注软件对所述原始图像进行多标签标注，从而获得相应的标注文件；将所得图像和对应标注文件按比例划分为训练集（即多标签图像训练集）和测试集，从而获得监测目标的多标签监测数据集。

在本申请的一些具体实施例中，获得足够规模的原始图像数据后，采用标注软件对原始图像进行多标签标注，在每张原始图像中标注出各个监测目标的坐标信息、所处生长周期类别（包括发芽期、幼苗期、莲座期和结球期）、营养状态类别（包括健康、缺氮、缺磷、缺钾和缺钙）、病害状态类别（包括健康、黑斑病、白斑病、黑腐病和霜霉病）和虫害状态类别（包括健康、虫眼、蚜虫、菜青虫和钻心虫），从而获得相应的标注文件。

所述监测目标的所处生长期类别信息、所述监测目标的营养状态类别信息、所述监测目标的病害状态类别信息和所述监测目标的虫害状态类别信息均能参见上述实施例所描述的，这里不做赘述。

在本申请的又一些实施例中，还提供了一种农作物生长状态联合监测装置，参见图，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的所述程序指令以实现如上述任一实施例所述的农作物生长状态联合监测方法。

在本申请的又一些实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，所述程序代码用于实现如上述任一实施例所述的农作物生长状态联合监测方法。

为了便于理解，下面以白菜作为监测目标为例，对该农作物生长状态联合监测方法进行进一步详细介绍，参见图1，其具体步骤如下：

步骤一、建立蔬菜植株多标签监测数据集。首先，将用于图像采集的白菜苗圃划分为多个组，并采用不同的培育方式进行白菜种植管理，确保获得不同营养状态和病虫害状态下的白菜样本；

同时，采用搭载工业相机的机械臂AGV小车在大棚内逐行进行图像采集，优选的一种采集方式可以为：在播种后的第5天开始第一次采集，每周采集一次，直至经历整个白菜生长周期，采集过程中，确保拍摄角度与地面垂直，且镜头与地面的距离保持不变；

获得足够规模的图像数据后，采用标注软件对白菜图像进行多标签标注，在每张图像中标注出各个白菜植株的坐标信息、所处生长周期类别（包括发芽期、幼苗期、莲座期和结球期）、营养状态类别（包括健康、缺氮、缺磷、缺钾和缺钙）、病害状态类别（包括健康、黑斑病、白斑病、黑腐病和霜霉病）和虫害状态类别（包括健康、虫眼、蚜虫、菜青虫和钻心虫），从而获得相应的标注文件；

最后，将所得图像和对应标注文件按比例划分为训练集和测试集，从而获得蔬菜植株多标签监测数据集。

步骤二、设计生长监测模块。由于目标检测网络YOLOv5在检测精度和推理速度上均具有领先同类检测器的良好性能，符合农作物生长状态监测这一精准化实时监测任务的应用需求，所以采用YOLOv5作为生长监测模块的基础网络。

同一大棚内的同种农作物一般在相同时期进行播种，其生长周期较同步；且在同一土壤区域内的农作物，其营养状态和病虫害状态较为接近。因此，获取周围农作物的生长状态，即提取监测目标的全局上下文信息，能够辅助目标农作物的生长状态判定。

为了提升对农作物的监测准确性，提出了全局感知网络（Global AwarenessStructure，GAS），并将其嵌入到YOLOv5网络中，作为农作物的生长监测模块，根据生长监测模块的网络结构特点，其对应的网络也可称之为“YOLOv5 with GAS网络”。如图2所示，以本发明输入一张待检测的白菜图像（尺寸为1024*1024*3）为例，展示生长监测模块的设计过程：

YOLOv5网络由输入端、骨干网络、特征融合网络和预测端四个部分组成，骨干网络由B1、B2、B3三部分组成，以这三部分的输出特征图作为特征融合网络的输入。

在深度神经网络中，骨干网络通过逐层卷积的方式提取图像中的特征表示，导致位于高层的特征图比位于低层的特征图包含更多更丰富的全局上下文信息。因此，采用骨干网络最高层的特征图，即输出特征图（尺寸为32*32*512），进行全局感知网络的设计。

首先，将B3的输出特征图输入一个卷积模块中，进行进一步的特征抽象，该模块包含一个卷积核为1*1、卷积核数量为512的卷积操作和一个Leaky Relu激活函数；

随后，再将其输入一个卷积模块中，这一步将特征图的维度从32*32*512调整为32*32*255，以便后续在预测端进行全局特征嵌入操作，该模块包含一个卷积核为1*1、卷积核数量为255的卷积操作和一个Leaky Relu激活函数；

最后，为了提取全局级别的特征表示，对上一步的输出特征图进行全局平均池化操作，从而输出一个维度为1*1*255的全局特征。

YOLOv5网络的预测端包含三个不同尺寸（分别为128*128*255、64*64*255和32*32*255）的输出特征图，将该全局特征与各个输出特征图进行矩阵相乘操作，从而输出一组包含全局特征信息的全局特征图。

随后，预测端基于这组全局特征图进行白菜植株的分类和定位，并输出一系列白菜植株的所属类别和在原图中的坐标信息。

至此，完成生长监测模块的构建和利用生长监测模块对待检测的白菜图像的分类。

接着，根据原图和全局特征图的尺寸比例以及白菜植株在原图中的坐标信息，在全局特征图中裁剪出各白菜植株的所属特征区域，并依次输出。步骤三、设计营养监测模块、病害监测模块和虫害监测模块，并获得人工智能（Artificial Intelligence，AI）联合监测网络，为了便于描述，以下将人工智能联合监测网络简称为AI联合监测网络。

上一步的生长监测模块输出了图中农作物植株的所属特征区域，为了方便表述，将其命名为植株特征图（相当于上述实施例中所述的目标特征图）。为了实现农作物植株的精准化生长状态监测，基于植株特征图进行营养监测模块、病害监测模块和虫害监测模块的设计。三个监测模块采用相同的网络结构，以便于后续的网络训练和参数优化。

如图3所示，以本发明生长监测模块输出的一张白菜植株特征图（尺寸大小为12*12*255）为例，展示上述三个监测模块的设计过程：

首先，将白菜植株特征图输入一个3*3的卷积模块中，该模块包含一个卷积核为3*3的卷积操作和一个Leaky Relu激活函数，其输出特征图尺寸为10*10*255；

接下来，将该输出特征图输入一个1*1的卷积模块中，该模块包含一个卷积核为1*1的卷积操作和一个Leaky Relu激活函数，其输出特征图尺寸保持不变，以上两步通过采用不同尺寸的卷积核来提取特征图中不同类型的特征表示；

随后，将该输出特征图依次输入两个维度分别为255和5（每个监测模块均对应五种不同的生长状态类别）的全连接层中进行类别分类，最终获得对应的状态类别。

接下来，基于四种监测模块构建AI联合监测网络。如图3所示，以本发明输入一张待检测的白菜图像（尺寸大小为1024*1024*3）为例，展示AI联合监测网络的构建过程：

首先，将待检测图像输入生长监测模块中，输出一组白菜植株的坐标信息和所属生长期类别以及白菜植株特征图；

将该组白菜植株特征图并行输入营养监测模块、病害监测模块和虫害监测模块中，则三个监测模块分别输出各个白菜植株当前的营养状态类别、病害状态类别和虫害状态类别。

步骤四、阶段式训练AI联合监测网络，并获得AI联合监测模型。

第一阶段，采用蔬菜植株多标签监测数据集中的训练集训练生长监测模块。所用标签为坐标信息和生长周期类别（包括发芽期、幼苗期、莲座期和结球期），损失函数为YOLOv5的损失函数。

第二阶段，采用蔬菜植株多标签监测数据集中的训练集训练AI联合监测网络，注意，该阶段固定生长监测模块的网络参数，不对其进行更新。所用标签为营养状态类别（包括健康、缺氮、缺磷、缺钾和缺钙）、病害状态类别（包括健康、黑斑病、白斑病、黑腐病和霜霉病）和虫害状态类别（包括健康、虫眼、蚜虫、菜青虫和钻心虫），分别对应营养监测模块、病害监测模块和虫害监测模块的输出类别。三个监测模块所采用的损失函数均为二元交叉熵损失函数，整个网络的损失函数为三者之和。

第三阶段，取消生长监测模块的参数固定，采用蔬菜植株多标签监测数据集中的训练集训练整个AI联合监测网络，直至Loss收敛至最优值。训练过程采用所有标签信息，整个网络的损失函数为第一阶段损失函数和第二阶段损失函数之和。

步骤五、基于训练好的AI联合监测模型对大棚农作物进行生长状态检测。采用搭载工业相机的机械臂AGV小车在大棚内逐行进行图像采集，并将待检测图像输入AI联合监测模型中，获得各个白菜植株的联合检测结果。若图像中所有作物的营养及病虫害监测结果均为健康，则输出“作物均处于健康状态”；否则，发出报警并输出非健康状态作物的坐标信息以及各项监测结果。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims

1.一种农作物生长状态联合监测方法，其特征在于，包括：

2.根据权利要求1所述的农作物生长状态联合监测方法，其特征在于，所述采用YOLOv5作为基础网络，并在所述YOLOv5的网络结构中嵌入用于提取所述监测目标的全局上下文信息的全局感知网络，具体包括：

3.根据权利要求2所述的农作物生长状态联合监测方法，其特征在于，所述全局感知网络包括依次连接的第一卷积模块层、第二卷积模块层和全局平均池化层，所述第一输出特征图依次经所述第一卷积模块层和所述第二卷积模块层提取特征后输入所述全局平均池化层进行全局平局池化操作。

4.根据权利要求2所述的农作物生长状态联合监测方法，其特征在于，还包括：所述YOLOv5的预测端基于所述全局特征图进行所述监测目标的分类和定位，并输出监测目标的生长期类别和所述监测目标在所述原始图像中的坐标信息。

5.根据权利要求3所述的农作物生长状态联合监测方法，其特征在于，还包括：

6.根据权利要求5所述的农作物生长状态联合监测方法，其特征在于，所述营养监测模块、所述病害监测模块和所述虫害监测模块的网络结构均包括依次连接的第一卷积模块层、第二卷积模块层、第一维度全连接层和第二维度全连接层；

7.根据权利要求6所述的农作物生长状态联合监测方法，其特征在于，还包括：

8.根据权利要求7所述的农作物生长状态联合监测方法，其特征在于，还包括：

9.一种农作物生长状态联合监测装置，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的所述程序指令以实现如权利要求1至8中任一项所述的农作物生长状态联合监测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码用于实现如权利要求1至8中任一项所述的农作物生长状态联合监测方法。