CN115471745A - 用于植株识别的网络模型和装置、电子设备 - Google Patents

Abstract

本发明涉及农业生产技术领域，尤其涉及一种用于植株识别的网络模型和装置、电子设备。网络模型用于提取多个不同尺度的第一植株特征图，对多个不同尺度的第一植株特征图所包括的植株特征进行特征融合，得到多个不同尺度的第二植株特征图，采用滑动窗口扫描第二植株特征图，得到包括植株特征信息的多个不同尺度的预选框区域，对多个不同尺度的预选框区域采用双线性插值法进行处理，得到多个尺度相同的第三植株特征图；对多个尺度相同的第三植株特征图进行特征识别和分类，得到包括植株特征的目标特征图，经过对比测试，采用本申请的网络模型提取的植株的目标特征图更加精确，且特征信息更加丰富，有助于对作物表型的研究。

Description

用于植株识别的网络模型和装置、电子设备

技术领域

本发明涉及农业生产技术领域，尤其涉及一种用于植株识别的网络模型和装置、电子设备。

背景技术

提高全球粮食产量，需要通过改进基因型和提高表型获取方法以增加育种种质资源的有效遗传多样性。有效的植物育种计划依赖于植物表型来选择理想的植物遗传性状。然而，传统的植物表型获取技术通常是人工进行的，该方法耗时且存在严重的人为干扰。目前植物表型获取成为育种计划的一个瓶颈。

现有技术中，数码相机是目前作物表型中应用最为广泛的一种传感器，它具有红、绿、蓝三个光谱通道，能够获取较高空间分辨率的影像且成本较低。此外，与多光谱和高光谱相比，外界环境对数码传感器成像的影响相对较小。目前，数码影像已广泛应用于作物表型性状研究，如出苗率、冠层覆盖度、地上部生物量、叶面积、氮含量、株高等。如何能够从数码相机获取的图像中精确的获取植株的图像，是目前对植株表型分析的一个重要环节，目前都是以机器学习、图像处理、光谱分析的方式来获取植株图像，但是经过实验发现现有的方法对于植株图像的潜在特征挖掘较少，因此采用现有的方法提取的植株图像不够精确。

发明内容

本发明提供一种用于植株识别的网络模型和装置、电子设备，用以解决现有技术中提取的植株图像不够精确的技术问题。

一方面，本发明提供一种用于植株识别的网络模型，包括：第一主干网络、特征金字塔网络、区域生成网络、ROI对齐网络和头部网络；

其中，所述第一主干网络用于对输入的植株图像进行特征提取，得到多个不同尺度的第一植株特征图；

所述特征金字塔网络用于对所述多个不同尺度的第一植株特征图所包括的植株特征进行特征融合，得到多个不同尺度的第二植株特征图；

所述区域生成网络用于采用滑动窗口扫描所述第二植株特征图，得到包括植株特征信息的多个不同尺度的预选框区域；

所述ROI对齐网络用于对所述多个不同尺度的预选框区域采用双线性插值法进行处理，得到多个尺度相同的第三植株特征图；

所述头部网络用于对所述多个尺度相同的第三植株特征图进行特征识别和分类，得到包括植株特征的目标特征图。

根据本发明提供的一种用于农作物幼苗识别的网络模型，还包括：第二主干网络、颈部网络和预测网络；

所述第二主干网络用于对所述目标特征图进行中的叶片特征进行提取，得到多个不同尺度的第一叶片特征图；

所述颈部网络用于对所述不同尺度的叶片特征图所包括的叶片特征进行特征融合，得到多个不同尺度的第二叶片特征图；

所述预测网络用于对所述多个不同尺度的第二叶片特征图进行统计分类，获取植株的叶片的个数，并根据所述叶片的个数确定出植株的叶龄。

根据本发明提供的一种用于农作物幼苗识别的网络模型，所述第一主干网络包括多个不同的维度的特征提取单元，多个特征提取单元依次连接；

所述特征提取单元包括标记嵌入模块和Shuffle Transformer Block模块；所述标记嵌入模块用于调整输入的植株图像的维度，所述Shuffle Transformer模块用于对维度调整后的植株图像进行特征提取得到不同尺度的第一植株特征图。

根据本发明提供的一种用于农作物幼苗识别的网络模型，所述ShuffleTransformer Block模块包括：第一标准化模块、WMSA模块、第一近邻窗口连接模块、第二标准化模块、第一多层感知机模块、第三标准化模块、Shuffle WMSA模块、第二近邻窗口连接模块、第三标准化模块和第二多层感知机模块，所述第一标准化模块、WMSA模块、第一近邻窗口连接模块、第二标准化模块、第一多层感知机模块、第三标准化模块、Shuffle WMSA模块、第二近邻窗口连接模块、第三标准化模块和第二多层感知机模块依次连接；

所述第一标准化模块的输入端与所述第一近邻窗口连接模块通过残差方式连接；所述WMSA模块的输出端与所述第二标准化模块的输入端通过残差方式连接；所述第一近邻窗口连接模块的输出端与所述第三标准化模块的输入端通过残差方式连接；所述第一多层感知机模块的输出端与所述第二近邻窗口连接模块的输入端连接；所述Shuffle WMSA模块的输出端与所述第三标准化模块的输入端连接；所述第二近邻窗口连接模块的输出端与所述第二多层感知机模块的输出端连接；

所述第一标准化模块、第二标准化模块和第三标准化模块用于对输入的植株图像进行归一化处理；所述WMSA模块用于将归一化的植株图像划分成固定大小且不重叠的多个窗口，并计算每个窗口的自注意力；所述Shuffle WMSA模块用于强化目标空间信息；所述第一近邻窗口连接模块和第二近邻窗口连接模块用于提升临近窗口的信息流动；所述第一多层感知机模块和第二多层感知机模块用于将提取的多个特征分别映射为植株特征和背景特征。

根据本发明提供的一种用于农作物幼苗识别的网络模型，所述第二主干网络包括第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块、注意力模块、SPPF模块、第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块；

所述第一卷积模块的输入端用于接收所述目标特征图，第一卷积模块的输出端与所述第二卷积模块的输入端连接，第二卷积模块的输出端与所述第一特征提取模块的输入端连接，第一特征提取模块的输出端与所述第三卷积模块的输入端连接，第三卷积模块的输出端与所述第二特征提取模块的输入端连接，所述第二特征提取模块的输出端与所述第四卷积模块的输入端连接，第四卷积模块的输出端与所述第三特征提取模块的输入端连接，第三特征提取模块的输出端与所述第五卷积模块的输入端连接，第五卷积模块的输出端与所述第四特征提取模块的输入端，所述第四特征提取模块的输出端与所述注意力模块的输入端连接，所述注意力模块的输出端与所述SPPF模块的输入端连接；

所述第一特征提取模块、第二特征提取模块、第三特征提取模块以及SPPF模块的输出端用于输出四组不同尺度的第一叶片特征图。

根据本发明提供的一种用于农作物幼苗识别的网络模型，所述颈部网络包括：第一融合模块、第二融合模块、第三融合模块、第四融合模块、第五融合模块、第六融合模块、第五特征提取模块、第六特征提取模块、第七特征提取模块、第八特征提取模块、第九特征提取模块、第十特征提取模块、第六卷积模块、第七卷积模块、第八卷积模块、第九卷积模块、第十卷积模块、第十一卷积模块、第一上采样模块、第二上采样模块、第三上采样模块；

所述第一融合模块的输入端与所述第一特征提取模块的输出端连接，第一融合模块的输出端与所述第五特征提取模块的输入端连接，第五特征提取模块的输出端与所述预测网络的输入端连接；

所述第二融合模块的输入端与所述第二特征提取模块的输出端连接，第二融合模块的输出端与所述第六特征提取模块的输入端连接，第六特征提取模块的输出端与所述第七卷积模块的输入端连接，第七卷积模块的输出端与所述第三融合模块的输入端连接，第三融合模块的输出端与所述第七特征提取模块的输入端连接，第七特征提取模块的输出端与所述预测网络的输入端连接；

所述第一上采样模块的输入端与所述第七卷积模块的输出端连接，该第一上采样模块的输出端与所述第一融合模块的输入端连接；所述第六卷积模块的输入端与所述第五特征提取模块的输出端连接，第六卷积模块的输出端与所述第三融合模块的输入端连接；

所述第四融合模块的输入端与所述第三特征提取模块的输出端连接，第四融合模块的输出端与所述第八特征提取模块的输入端连接，第八特征提取模块的输出端与所述第九卷积模块的输入端连接，第九卷积模块的输出端与所述第五融合模块的输入端连接，第五融合模块的输出端与所述第九特征提取模块的输入端连接，第九特征提取模块的输出端与所述预测网络的输入端连接；所述第二上采样模块的输入端与所述第九卷积模块的输出端连接，第二上采样模块的输出端与所述第二融合模块的输入端连接；所述第八卷积模块的输入端与所述第七特征提取模块的输出端连接，第八卷积模块的输出端与所述第五融合模块的输入端连接；

所述第十卷积模块的输入端与所述SPPF模块的输出端连接，第十卷积模块的输出端与所述第六融合模块的输入端连接，所述第六融合模块的输出端与所述第十特征提取模块的输入端连接，所述第十特征提取模块的输出端与所述预测网络的输入端连接；

所述第三上采样模块的输入端与所述第十卷积模块的输出端连接，第三上采样模块的输出端与所述第四融合模块的输入端连接；所述第十一卷积模块的输入端与所述第九特征提取模块的输出端连接，第十一卷积模块的输出端与所述第六融合模块的输入端连接。

另一方面，本发明提供一种用于植株识别的装置，包括：

第一处理模块，用于对输入的植株图像进行特征提取，得到多个不同尺度的第一植株特征图；

第二处理模块，用于对所述多个不同尺度的第一植株特征图所包括的植株特征进行特征融合，得到多个不同尺度的第二植株特征图；

第三处理模块，用于采用滑动窗口扫描所述第二植株特征图，得到包括植株特征信息的多个不同尺度的预选框区域；

第四处理模块，用于对所述多个不同尺度的预选框区域采用双线性插值法进行处理，得到多个尺度相同的第三植株特征图；

第五处理模块，用于对所述多个尺度相同的第三植株特征图进行特征识别和分类，得到包括植株特征的目标特征图。

根据本发明提供的一种用于植株识别的装置，还包括：

第六处理模块，用于对所述目标特征图进行中的叶片特征进行提取，得到多个不同尺度的第一叶片特征图；

第七处理模块，用于对所述不同尺度的叶片特征图所包括的叶片特征进行特征融合，得到多个不同尺度的第二叶片特征图；

预测模块，用于对所述多个不同尺度的第二叶片特征图进行统计分类，获取植株的叶片的个数，并根据所述叶片的个数确定出植株的叶龄。

另一方面，本发明提供一种用于植株识别的方法，包括：

对输入的植株图像进行特征提取，得到多个不同尺度的第一植株特征图；

对所述多个不同尺度的第一植株特征图所包括的植株特征进行特征融合，得到多个不同尺度的第二植株特征图；

采用滑动窗口扫描所述第二植株特征图，得到包括植株特征信息的多个不同尺度的预选框区域；

对所述多个不同尺度的预选框区域采用双线性插值法进行处理，得到多个尺度相同的第三植株特征图；

对所述多个尺度相同的第三植株特征图进行特征识别和分类，得到包括植株特征的目标特征图。

根据本发明提供的一种用于植株识别的方法，还包括：

对所述目标特征图进行中的叶片特征进行提取，得到多个不同尺度的第一叶片特征图；

对所述不同尺度的叶片特征图所包括的叶片特征进行特征融合，得到多个不同尺度的第二叶片特征图；

对所述多个不同尺度的第二叶片特征图进行统计分类，获取植株的叶片的个数，并根据所述叶片的个数确定出植株的叶龄。

另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述用于植株识别的方法。

另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述用于植株识别的方法。

另一方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述用于植株识别的方法。

本发明提供的用于植株识别的网络模型，通过提取多个不同尺度的第一植株特征图，对多个不同尺度的第一植株特征图所包括的植株特征进行特征融合，得到多个不同尺度的第二植株特征图，采用滑动窗口扫描第二植株特征图，得到包括植株特征信息的多个不同尺度的预选框区域，采用ROI对齐网络用于对多个不同尺度的预选框区域采用双线性插值法进行处理，得到多个尺度相同的第三植株特征图；对多个尺度相同的第三植株特征图进行特征识别和分类，得到包括植株特征的目标特征图，经过对比测试，采用本申请的网络模型提取的植株的目标特征图更加精确，且特征信息更加丰富，有助于对作物表型的研究。

进一步的，本发明采用第二主干网络用于对目标特征图进行中的叶片特征进行提取，得到多个不同尺度的第一叶片特征图；采用颈部网络用于对不同尺度的叶片特征图所包括的叶片特征进行特征融合，得到多个不同尺度的第二叶片特征图；最后采用预测网络用于对多个不同尺度的第二叶片特征图进行统计分类，获取植株的叶片的个数，并根据叶片的个数确定出植株的叶龄以及置信度，经过和人工采集的方法对比，采用本发明的网络模型采集的植株叶龄信息的准确度在百分之八十以上。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的网络模型结构示意图之一；

图2是本发明提供的网络模型结构示意图之二；

图3是本发明提供的第一主干网络结构示意图；

图4是本发明提供的Shuffle Transformer Block网络结构示意图；

图5是本发明提供的网络模型结构示意图之三；

图6是本发明提供的网络模型结构示意图之四；

图7是本发明提供的植株原始图像；

图8是本发明提供的植株的目标特征图；

图9是本发明提供的植株的叶龄标注图；

图10是本发明提供的植株识别装置结构示意图；

图11是本发明提供的植株识别方法流程图；

图12是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图12对本发明的技术方案进行详细的说明。

实施例一：

本实施例提供一种用于植株识别的网络模型，如图1和图2，该网络模型可以理解为改进的Mask R-CNN网络模型，该网络模型具体包括：第一主干网络10、特征金字塔网络11、区域生成网络12、ROI对齐网络13和头部网络14。

其中，第一主干网络(Backbone)10用于对输入的植株图像进行特征提取，得到多个不同尺度的第一植株特征图。特征金字塔网络(FPN)11用于对多个不同尺度的第一植株特征图所包括的植株特征进行特征融合，得到多个不同尺度的第二植株特征图。区域生成网络(RPN)12用于采用滑动窗口扫描第二植株特征图，得到包括植株特征信息的多个不同尺度的预选框区域。ROI对齐网络(ROI Align)13用于对多个不同尺度的预选框区域采用双线性插值法进行处理，得到多个尺度相同的第三植株特征图；头部网络(Head)14用于对多个尺度相同的第三植株特征图进行特征识别和分类，得到包括植株特征的目标特征图。

具体的，本实施例中第一主干网络10中包括Shuffle Transformer，ShuffleTransformer作为特征提取器用于提取输入图像(如图7所示)的特征信息；FPN通过提取不同尺度特征图，融合浅层的高分辨率和深层的丰富语义，获得高分辨率、强语义的特征；RPN通过滑动窗口来扫描特征图像，寻找存在目标的区域，通过非极大值抑制对目标位置和尺寸进行精调，生成最终的区域建议，并将其传递到下一个阶段；RoI Align根据预选框的位置坐标使用双线性插值法得到固定尺寸且信息更加完整的特征图，以便进行后续的分类和边界框回归操作；最后Head中包括全连接层(FC layers)和全卷积网络(FCN)，全连接层用于判定边界框的目标类别；FCN对输入图像的每一个像素值进行分类，实现目标的准确分割，从而得到掩膜图，即上述的包括植株特征的目标特征图，具体如图8所示。

其中，本实施例的第一主干网络10包括多个不同的维度的特征提取单元，多个特征提取单元(即Shuffle Transformer)依次连接。如图3，本实施例包括四个特征提取单元，如图3中的stage1、stage2、stage3和stage4，特征提取单元包括标记嵌入模块(TokenEmbeding)和Shuffle Transformer Block模块；标记嵌入模块用于调整输入的植株图像的维度，Shuffle Transformer模块用于对维度调整后的植株图像进行特征提取得到不同尺度的第一植株特征图。本实施例中，植株的图像输入Shuffle Transformer后，通过标记嵌入模块调整输入图像的维度，Shuffle Transformer Block模块根据输入的稳定的特征图像实现特征学习，两个模块结合起来产生层次化的特征表示。整个第一主干网络10由四个Shuffle Transformer组成，在每个相邻的Shuffle Transformer之间采用拼接的方式增加图像的特征维度。因此，第一主干网络10生成的第一植株特征图有四个不同的特征维度。

其中，如图4，本实施例的Shuffle Transformer Block模块包括：第一标准化模块(Normalization，简称Norm)101、WMSA模块102、第一近邻窗口连接模块(NWC)103、第二标准化模块104、第一多层感知机模块(MLP)105、第三标准化模块106、Shuffle WMSA模块107、第二近邻窗口连接模块108、第三标准化模块109和第二多层感知机模块1010，第一标准化模块101、WMSA模块102、第一近邻窗口连接模块103、第二标准化模块104、第一多层感知机模块105、第三标准化模块106、Shuffle WMSA模块107、第二近邻窗口连接模块108、第三标准化模块109和第二多层感知机模块1010依次连接，即上一个模块的输出端和与其相邻的下一个模块的输入端连接。同时，第一标准化模块101的输入端与第一近邻窗口连接模块103通过残差方式连接；WMSA模块102的输出端与第二标准化模块104的输入端通过残差方式连接；第一近邻窗口连接模块103的输出端与第三标准化模块106的输入端通过残差方式连接；第一多层感知机模块105的输出端与第二近邻窗口连接模块108的输入端连接；ShuffleWMSA模块107的输出端与第三标准化模块109的输入端连接；第二近邻窗口连接模块108的输出端与第二多层感知机模块1010的输出端连接。第一标准化模块101、第二标准化模块104和第三标准化模块106用于对输入的植株图像进行归一化处理；WMSA模块102用于将归一化的植株图像划分成固定大小且不重叠的多个窗口，并计算每个窗口的自注意力；Shuffle WMSA模块107用于强化目标空间信息；第一近邻窗口连接模块103和第二近邻窗口连接模块108用于提升临近窗口的信息流动；第一多层感知机模块105和第二多层感知机模块1010用于将提取的多个特征分别映射为植株特征和背景特征。在一定程度上，网络结构越深性能越好，但是随着网络深度的增加，会产生梯度消散或梯度***问题，因此ShuffleTransformer Block采用残差连接方式。首先，输入图像后，Norm对图像进行归一化处理，加快模型收敛速度。其次，常规窗口划分策略的注意力机制WMSA模块102将归一化后的图像划分成固定大小且不重叠的窗口，在每个窗口里计算self-attention(自身注意力)。之后采用残差连接融合特征，减少模型计算复杂度。不重叠的窗口之间的像素通信困难，导致感受野变小，不能进行密集预测任务，本实施例采用NWC模块提升近邻窗口的信息流动，使整个Shuffle Transformer Block能构建丰富的跨窗口连接、增强表达能力。残差连接后通过第三标准化模块109再次进行归一化，通过第二多层感知机模块1010将输入的多个特征分别映射为玉米苗特征和背景特征，至此第一阶段完成。第二阶段重复上述操作，在第二阶段将WMSA模块102替换为Shuffle WMSA模块107，该Shuffle WMSA模块107是经过spatialshuffle(空间洗牌)的窗口化注意力机制，用以强化目标空间信息。因此，整个ShuffleTransformer Block可以构建丰富的跨窗口连接并增强表达能力。

进一步的，如图5，本实施例的网络模型还包括：第二主干网络(Backbone)15、颈部网络(Neck)16和预测网络(Prediction)17。第二主干网络(Backbone)15、颈部网络(Neck)16和预测网络(Prediction)17组成改进的YOLOV5.6模型。

第二主干网络15用于对目标特征图进行中的叶片特征进行提取，得到多个不同尺度的第一叶片特征图；颈部网络16用于对不同尺度的叶片特征图所包括的叶片特征进行特征融合，得到多个不同尺度的第二叶片特征图；预测网络17用于对多个不同尺度的第二叶片特征图进行统计分类，获取植株的叶片的个数，并根据叶片的个数确定出植株的叶龄。在其他实施例中，预测网络17输出叶龄、置信度和预测类别(新叶或者老叶)。

其中，本实施例中的第二主干网络(Backbone)14由卷积模块(Conv)、C3模块(即特征提取模块)、注意力机制模块(CBAM)和多尺度融合模块(SPPF)组成，第二主干网络14用于对输入图像后根据边界框区域提取植株的叶片特征。具体的，如图6，本实施例的第二主干网络14包括第一卷积模块141、第二卷积模块142、第三卷积模块144、第四卷积模块146、第五卷积模块148、注意力模块1410、SPPF模块1411、第一特征提取模块143、第二特征提取模块145、第三特征提取模块147、第四特征提取模块149。第一卷积模块141的输入端用于接收目标特征图，第一卷积模块141的输出端与第二卷积模块142的输入端连接，第二卷积模块142的输出端与第一特征提取模块143的输入端连接，第一特征提取模块143的输出端与第三卷积模块144的输入端连接，第三卷积模块的输出端144与第二特征提取模块145的输入端连接，第二特征提取模块145的输出端与第四卷积模块146的输入端连接，第四卷积模块146的输出端与第三特征提取模块147的输入端连接，第三特征提取模块147的输出端与第五卷积模块148的输入端连接，第五卷积模块148的输出端与第四特征提取模块149的输入端，第四特征提取模块149的输出端与注意力模块1410的输入端连接，注意力模块1410的输出端与SPPF模块1411的输入端连接。第一特征提取模块143、第二特征提取模块145、第三特征提取模块147以及SPPF模块1411的输出端用于输出四组不同尺度的第一叶片特征图给颈部网络15。

本实施例的Neck网络由Conv、上采样模块(Upsample)、融合模块(Concat)与C3模块组成，用以更好地融合第一主干网络14获取的目标特征，提高网络的检测性能。Prediction网络获取颈部网络的四个输出后，生成目标的边界框坐标、置信度和预测类别。具体的，如图6，本实施例的颈部网络包括：第一融合模块150、第二融合模块154、第三融合模块157、第四融合模块1502、第五融合模块1505、第六融合模块1510、第五特征提取模块151、第六特征提取模块155、第七特征提取模块158、第八特征提取模块1503、第九特征提取模块1506、第十特征提取模块1511、第六卷积模块153、第七卷积模块156、第八卷积模块1501、第九卷积模块1504、第十卷积模块1509、第十一卷积模块1508、第一上采样模块152、第二上采样模块159、第三上采样模块1507。第一融合模块150的输入端与第一特征提取模块143的输出端连接，第一融合模块150的输出端与第五特征提取模块151的输入端连接，第五特征提取模块151的输出端与预测网络16的输入端连接。第二融合模块154的输入端与第二特征提取模块145的输出端连接，第二融合模块154的输出端与第六特征提取模块155的输入端连接，第六特征提取模块155的输出端与第七卷积模块156的输入端连接，第七卷积模块156的输出端与第三融合模块157的输入端连接，第三融合模块157的输出端与第七特征提取模块158的输入端连接，第七特征提取模块158的输出端与预测网络16的输入端连接。第一上采样模块152的输入端与第七卷积模块156的输出端连接，该第一上采样模块152的输出端与第一融合模块150的输入端连接；第六卷积模块153的输入端与第五特征提取模块151的输出端连接，第六卷积模块153的输出端与第三融合模块157的输入端连接。第四融合模块1502的输入端与第三特征提取模块147的输出端连接，第四融合模块1502的输出端与第八特征提取模块1503的输入端连接，第八特征提取模块1503的输出端与第九卷积模块1504的输入端连接，第九卷积模块1504的输出端与第五融合模块1505的输入端连接，第五融合模块1505的输出端与第九特征提取模块1506的输入端连接，第九特征提取模块1506的输出端与预测网络16的输入端连接；第二上采样模块159的输入端与第九卷积模块1504的输出端连接，第二上采样模块159的输出端与第二融合模块154的输入端连接；第八卷积模块1501的输入端与第七特征提取模块158的输出端连接，第八卷积模块1501的输出端与第五融合模块1505的输入端连接。第十卷积模块1509的输入端与SPPF模块1411的输出端连接，第十卷积模块1509的输出端与第六融合模块1510的输入端连接，第六融合模块1510的输出端与第十特征提取模块1511的输入端连接，第十特征提取模块1511的输出端与预测网络16的输入端连接。第三上采样模块1507的输入端与第十卷积模块1509的输出端连接，第三上采样模块1507的输出端与第四融合模块1502的输入端连接；第十一卷积模块1508的输入端与第九特征提取模块1506的输出端连接，第十一卷积模块1508的输出端与第六融合模块1510的输入端连接。

本实施例的Conv模块封装了卷积(Conv2d)、批标准化(Batch Normalization)和激活函数(SiLU)，Conv用以提取目标特征并进行数据降维；C3模块包含3个卷积层以及多个Bottleneck模块对输入的特征信息进行残差处理，增加层与层之间反向传播的梯度值，避免网络加深带来的梯度消失问题，从而提取更细粒度的特征；输入特征图后，CBAM模块能够序列化地在通道和空间两个维度上产生注意力特征图信息，并与输入特征图进行自适应特征修正，增强目标特征值；SPPF模块通过局部特征与全局特征的融合，提高输入特征图的表示能力；Upsample对输入的特征信息进行上采样扩大特征图；Concat对输入的特征图进行特征融合，扩充特征图的维度；Prediction在原始模型基础上增加了一个检测层，输出特征为160*160*21，特征图大更易于小目标的检测。

本实施例以某区域的玉米幼苗为例，对本申请的网络模型的效果进行说明。本实施例采用大疆精灵4(DJI Phantom 4Pro V2.0,深圳，中国)无人机获取玉米幼苗的图像。以河南新乡获取的2020和2021两年的玉米育种无人机数码影像数据为基础，对玉米幼苗叶龄进行识别，来验证本实施例提出方法的有效性。首先将无人机获取的高分辨率影像裁剪为640×640像素的图像，并采用LabelMe软件标注图像中完整玉米苗边界及类别信息，得到*.json格式文件，得到的json格式文件和原图直接生成玉米苗数据集，输入本实施例上述提供的改进的Mask R-CNN网络模型中进行模型的训练和测试，最终实现对图像中的玉米幼苗进行识别，得到括单株玉米幼苗特征的目标特征图。然后使用LabelImg软件对目标识别检测后得到的单株玉米幼苗特征的目标特征图进行叶片的标注，包括叶片的位置及类别信息，加工成识别叶龄所需的xml格式文件，得到叶龄数据集。将叶龄数据集输入改进的YOLOV5.6进行模型训练与验证，最终实现玉米叶龄信息提取。

本实施例中共标注了1005张图片，数据集的划分比例为训练集:验证集:测试集＝7:2:1。为了验证本实施例网络模型的有效性，对第一阶段改进的Mask R-CNN模型评估主要选取的指标为：精确度(Precision)、召回率(Recall)和类别平均像素精度(Mean PixelAccuracy)，对第二阶段改进的YOLOV5.6训练模型评估主要选取的指标为：精确度(Precision)、召回率(Recall)、平均精确率mAP(Mean Average Precision)，公式如下：

上式中TP为真阳性，即正确预测玉米苗像素数或正确预测玉米叶片数；FP为假阳性，即将背景预测为玉米苗的像素数或叶片类型识别错误数量；FN为假阴性，即未被分割的玉米苗像素数和叶片未被检测数量；N代表玉米叶片的类别数；AP_i代表第i类叶片的平均精度值。

最终，Mask R-CNN模型在验证时平均精确率、平均召回率和平均像素准确率分别为89.57％、74.78％和94.43％，基本达到了幼苗分割的目标。进行采用改进的YOLOV5.6模型进行叶龄识别，玉米叶龄的检测结果包括3种情况：新叶、完全展开叶和所有叶片，检测结果如表1所示。所有叶片的精度达到80％以上，展开叶精度在90％以上。图9为玉米苗和叶龄信息识别效果图展示，图9中leaf表示老叶(完全展开叶)，new表示新叶。从图9中可以看到，玉米苗识别准确，叶龄信息提取也较为精准，可见本实施例所提出的网络模型基于无人机影像对苗识别和叶龄提取的精度较高。

表1玉米叶龄检测结果

实施例二：

本实施例提供一种用于植株识别的装置，如图10，该装置包括：第一处理模块301、第二处理模块302、第三处理模块303、第四处理模块304、第五处理模块305。

其中，第一处理模块301用于对输入的植株图像进行特征提取，得到多个不同尺度的第一植株特征图。第二处理模块302用于对多个不同尺度的第一植株特征图所包括的植株特征进行特征融合，得到多个不同尺度的第二植株特征图。第三处理模块303用于采用滑动窗口扫描所述第二植株特征图，得到包括植株特征信息的多个不同尺度的预选框区域。第四处理模块304用于对多个不同尺度的预选框区域采用双线性插值法进行处理，得到多个尺度相同的第三植株特征图。第五处理模块305用于对多个尺度相同的第三植株特征图进行特征识别和分类，得到包括植株特征的目标特征图。经过测试，采用本申请的装置提取的植株的目标特征图更加精确，且特征信息更加丰富，有助于对作物表型的研究。

在一种实施例中，植株识别的装置还包括：第六处理模块306、第七处理模块307和预测模块308。第六处理模块306用于对目标特征图进行中的叶片特征进行提取，得到多个不同尺度的第一叶片特征图。第七处理模块307用于对不同尺度的叶片特征图所包括的叶片特征进行特征融合，得到多个不同尺度的第二叶片特征图。预测模块308用于对多个不同尺度的第二叶片特征图进行统计分类，获取植株的叶片的个数，并根据叶片的个数确定出植株的叶龄。经过和人工采集的方法对比，采用本发明的装置采集的植株叶龄信息的准确度在百分之八十以上。

本实施例的各个模块的功能和上述实施例一中各个功能网络对应，具体的，本实施例的各个模块中预设有上述实施例一种的各个功能网络，以实现与上述实施例一相同的技术效果，此处不再赘述。

实施例三：

本实施例提供一种用于植株识别的方法，如图11，该方法包括：

步骤401：对输入的植株图像进行特征提取，得到多个不同尺度的第一植株特征图。

步骤402：对多个不同尺度的第一植株特征图所包括的植株特征进行特征融合，得到多个不同尺度的第二植株特征图。

步骤403：采用滑动窗口扫描所第二植株特征图，得到包括植株特征信息的多个不同尺度的预选框区域。

步骤404：对多个不同尺度的预选框区域采用双线性插值法进行处理，得到多个尺度相同的第三植株特征图。

步骤405：对多个尺度相同的第三植株特征图进行特征识别和分类，得到包括植株特征的目标特征图。

通过本实施例的上述方法可以精确的获取植株的目标特征图，以便于精确的获取植株的特征信息。

进一步的，在另一种实施例中，该用于植株识别的方法还包括：

步骤406：对目标特征图进行中的叶片特征进行提取，得到多个不同尺度的第一叶片特征图。

步骤407：对不同尺度的叶片特征图所包括的叶片特征进行特征融合，得到多个不同尺度的第二叶片特征图；

步骤408：对多个不同尺度的第二叶片特征图进行统计分类，获取植株的叶片的个数，并根据叶片的个数确定出植株的叶龄。

采用本实施例的方法可以精确的获取植株的类别、叶龄以及置信度信息。

实施例四：

图12示例了一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述实施例提供的用于植株识别的方法方法。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的用于植株识别的方法。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的用于植株识别的方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种用于植株识别的网络模型，其特征在于，包括：第一主干网络、特征金字塔网络、区域生成网络、ROI对齐网络和头部网络；

其中，所述第一主干网络用于对输入的植株图像进行特征提取，得到多个不同尺度的第一植株特征图；

所述特征金字塔网络用于对所述多个不同尺度的第一植株特征图所包括的植株特征进行特征融合，得到多个不同尺度的第二植株特征图；

所述区域生成网络用于采用滑动窗口扫描所述第二植株特征图，得到包括植株特征信息的多个不同尺度的预选框区域；

所述ROI对齐网络用于对所述多个不同尺度的预选框区域采用双线性插值法进行处理，得到多个尺度相同的第三植株特征图；

所述头部网络用于对所述多个尺度相同的第三植株特征图进行特征识别和分类，得到包括植株特征的目标特征图。

2.根据权利要求1所述的用于农作物幼苗识别的网络模型，其特征在于，还包括：第二主干网络、颈部网络和预测网络；

所述第二主干网络用于对所述目标特征图进行中的叶片特征进行提取，得到多个不同尺度的第一叶片特征图；

所述颈部网络用于对所述不同尺度的叶片特征图所包括的叶片特征进行特征融合，得到多个不同尺度的第二叶片特征图；

所述预测网络用于对所述多个不同尺度的第二叶片特征图进行统计分类，获取植株的叶片的个数，并根据所述叶片的个数确定出植株的叶龄。

3.根据权利要求1所述的用于农作物幼苗识别的网络模型，其特征在于，所述第一主干网络包括多个不同的维度的特征提取单元，多个特征提取单元依次连接；

所述特征提取单元包括标记嵌入模块和Shuffle Transformer Block模块；所述标记嵌入模块用于调整输入的植株图像的维度，所述Shuffle Transformer模块用于对维度调整后的植株图像进行特征提取得到不同尺度的第一植株特征图。

4.根据权利要求3所述的用于农作物幼苗识别的网络模型，其特征在于，所述ShuffleTransformer Block模块包括：第一标准化模块、WMSA模块、第一近邻窗口连接模块、第二标准化模块、第一多层感知机模块、第三标准化模块、Shuffle WMSA模块、第二近邻窗口连接模块、第三标准化模块和第二多层感知机模块，所述第一标准化模块、WMSA模块、第一近邻窗口连接模块、第二标准化模块、第一多层感知机模块、第三标准化模块、Shuffle WMSA模块、第二近邻窗口连接模块、第三标准化模块和第二多层感知机模块依次连接；

所述第一标准化模块的输入端与所述第一近邻窗口连接模块通过残差方式连接；所述WMSA模块的输出端与所述第二标准化模块的输入端通过残差方式连接；所述第一近邻窗口连接模块的输出端与所述第三标准化模块的输入端通过残差方式连接；所述第一多层感知机模块的输出端与所述第二近邻窗口连接模块的输入端连接；所述Shuffle WMSA模块的输出端与所述第三标准化模块的输入端连接；所述第二近邻窗口连接模块的输出端与所述第二多层感知机模块的输出端连接；

所述第一标准化模块、第二标准化模块和第三标准化模块用于对输入的植株图像进行归一化处理；所述WMSA模块用于将归一化的植株图像划分成固定大小且不重叠的多个窗口，并计算每个窗口的自注意力；所述Shuffle WMSA模块用于强化目标空间信息；所述第一近邻窗口连接模块和第二近邻窗口连接模块用于提升临近窗口的信息流动；所述第一多层感知机模块和第二多层感知机模块用于将提取的多个特征分别映射为植株特征和背景特征。

5.根据权利要求2所述的用于农作物幼苗识别的网络模型，其特征在于，所述第二主干网络包括第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块、注意力模块、SPPF模块、第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块；

所述第一卷积模块的输入端用于接收所述目标特征图，第一卷积模块的输出端与所述第二卷积模块的输入端连接，第二卷积模块的输出端与所述第一特征提取模块的输入端连接，第一特征提取模块的输出端与所述第三卷积模块的输入端连接，第三卷积模块的输出端与所述第二特征提取模块的输入端连接，所述第二特征提取模块的输出端与所述第四卷积模块的输入端连接，第四卷积模块的输出端与所述第三特征提取模块的输入端连接，第三特征提取模块的输出端与所述第五卷积模块的输入端连接，第五卷积模块的输出端与所述第四特征提取模块的输入端，所述第四特征提取模块的输出端与所述注意力模块的输入端连接，所述注意力模块的输出端与所述SPPF模块的输入端连接；

所述第一特征提取模块、第二特征提取模块、第三特征提取模块以及SPPF模块的输出端用于输出四组不同尺度的第一叶片特征图。

6.根据权利要求5所述的用于农作物幼苗识别的网络模型，其特征在于，所述颈部网络包括：第一融合模块、第二融合模块、第三融合模块、第四融合模块、第五融合模块、第六融合模块、第五特征提取模块、第六特征提取模块、第七特征提取模块、第八特征提取模块、第九特征提取模块、第十特征提取模块、第六卷积模块、第七卷积模块、第八卷积模块、第九卷积模块、第十卷积模块、第十一卷积模块、第一上采样模块、第二上采样模块、第三上采样模块；

所述第一融合模块的输入端与所述第一特征提取模块的输出端连接，第一融合模块的输出端与所述第五特征提取模块的输入端连接，第五特征提取模块的输出端与所述预测网络的输入端连接；

所述第二融合模块的输入端与所述第二特征提取模块的输出端连接，第二融合模块的输出端与所述第六特征提取模块的输入端连接，第六特征提取模块的输出端与所述第七卷积模块的输入端连接，第七卷积模块的输出端与所述第三融合模块的输入端连接，第三融合模块的输出端与所述第七特征提取模块的输入端连接，第七特征提取模块的输出端与所述预测网络的输入端连接；

所述第一上采样模块的输入端与所述第七卷积模块的输出端连接，该第一上采样模块的输出端与所述第一融合模块的输入端连接；所述第六卷积模块的输入端与所述第五特征提取模块的输出端连接，第六卷积模块的输出端与所述第三融合模块的输入端连接；

所述第四融合模块的输入端与所述第三特征提取模块的输出端连接，第四融合模块的输出端与所述第八特征提取模块的输入端连接，第八特征提取模块的输出端与所述第九卷积模块的输入端连接，第九卷积模块的输出端与所述第五融合模块的输入端连接，第五融合模块的输出端与所述第九特征提取模块的输入端连接，第九特征提取模块的输出端与所述预测网络的输入端连接；所述第二上采样模块的输入端与所述第九卷积模块的输出端连接，第二上采样模块的输出端与所述第二融合模块的输入端连接；所述第八卷积模块的输入端与所述第七特征提取模块的输出端连接，第八卷积模块的输出端与所述第五融合模块的输入端连接；

所述第十卷积模块的输入端与所述SPPF模块的输出端连接，第十卷积模块的输出端与所述第六融合模块的输入端连接，所述第六融合模块的输出端与所述第十特征提取模块的输入端连接，所述第十特征提取模块的输出端与所述预测网络的输入端连接；

所述第三上采样模块的输入端与所述第十卷积模块的输出端连接，第三上采样模块的输出端与所述第四融合模块的输入端连接；所述第十一卷积模块的输入端与所述第九特征提取模块的输出端连接，第十一卷积模块的输出端与所述第六融合模块的输入端连接。

7.一种用于植株识别的装置，其特征在于，包括：

第一处理模块，用于对输入的植株图像进行特征提取，得到多个不同尺度的第一植株特征图；

第二处理模块，用于对所述多个不同尺度的第一植株特征图所包括的植株特征进行特征融合，得到多个不同尺度的第二植株特征图；

第三处理模块，用于采用滑动窗口扫描所述第二植株特征图，得到包括植株特征信息的多个不同尺度的预选框区域；

第四处理模块，用于对所述多个不同尺度的预选框区域采用双线性插值法进行处理，得到多个尺度相同的第三植株特征图；

第五处理模块，用于对所述多个尺度相同的第三植株特征图进行特征识别和分类，得到包括植株特征的目标特征图。

8.根据权利要求7所述的用于植株识别的装置，其特征在于，还包括：

第六处理模块，用于对所述目标特征图进行中的叶片特征进行提取，得到多个不同尺度的第一叶片特征图；

第七处理模块，用于对所述不同尺度的叶片特征图所包括的叶片特征进行特征融合，得到多个不同尺度的第二叶片特征图；

预测模块，用于对所述多个不同尺度的第二叶片特征图进行统计分类，获取植株的叶片的个数，并根据所述叶片的个数确定出植株的叶龄。

9.一种用于植株识别的方法，其特征在于，包括：

对输入的植株图像进行特征提取，得到多个不同尺度的第一植株特征图；

对所述多个不同尺度的第一植株特征图所包括的植株特征进行特征融合，得到多个不同尺度的第二植株特征图；

采用滑动窗口扫描所述第二植株特征图，得到包括植株特征信息的多个不同尺度的预选框区域；

对所述多个不同尺度的预选框区域采用双线性插值法进行处理，得到多个尺度相同的第三植株特征图；

对所述多个尺度相同的第三植株特征图进行特征识别和分类，得到包括植株特征的目标特征图。

10.根据权利要求9所述的用于植株识别的方法，其特征在于，还包括：

对所述目标特征图进行中的叶片特征进行提取，得到多个不同尺度的第一叶片特征图；

对所述不同尺度的叶片特征图所包括的叶片特征进行特征融合，得到多个不同尺度的第二叶片特征图；

对所述多个不同尺度的第二叶片特征图进行统计分类，获取植株的叶片的个数，并根据所述叶片的个数确定出植株的叶龄。

11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求9或10任一项所述用于植株识别的方法。

12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求9或10任一项所述用于植株识别的方法。

13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求9或10任一项所述的用于植株识别的方法。

Images