CN115880558A - 农事行为检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种农事行为检测方法、装置、电子设备及存储介质，属于图像检测技术领域，所述方法包括：获取用户的农事行为图像；将所述农事行为图像输入至农事行为检测模型，获取所述农事行为检测模型输出的所述用户的农事行为类别；所述农事行为检测模型是根据农事行为图像样本和对应的农事行为类别标签训练得到的；所述农事行为检测模型用于基于对所述农事行为图像进行特征提取得到的所述用户的位置特征和行为特征进行融合，基于融合所得的特征确定所述用户的农事行为类别。本发明可以精确识别用户不同的行为动作，有效提高了农事行为检测的精度和效果，同时也大幅度提高了农事行为检测的效率。

Description

农事行为检测方法、装置、电子设备及存储介质

技术领域

本发明涉及图像检测技术领域，尤其涉及一种农事行为检测方法、装置、电子设备及存储介质。

背景技术

现有技术中，公开号为CN 111242007 A，其公开了：利用安装在农产品种植基地的摄像头进行持续监控采集实时视频流，利用预先训练的行为检测模型自动识别图像或视频展示的农事行为类别，并提取出相应的关键帧图像和/或关键视频片段及其对应的农事行为类别，从而可以在大规模农业生产过程中便捷地实现对各类农事行为的监管和视频存档。另外，公开号为CN 115294651 A，其公开了：通过构建农具的目标监测模型，根据各类农具信息进行训练，得到训练好的农具监测模型；获取视频数据，利用行为识别模型对所述视频数据中人体姿态进行分析，得到所有人体的关节点坐标特征矩阵；通过训练好的农具监测模型对所述视频数据进行识别，得到识别结果。

在水产养殖中，农事行为主要包括巡检行为和施药行为。农事行为检测是水产养殖生产过程中的重要一环，通过检测人员农事行为的时间和次数，可以准确把控养殖对象如鱼类、虾蟹类等的养殖过程，这对于提升养殖产品品质和实施品质溯源有着重要意义。

目前，水产养殖中农事行为的监管模式仍以人工记录的形式为主，效率十分低下。基于传统机器学习的机器视觉方法也被应用于人员农事行为的检测，但是由于其提取图像特征的方式简单，提取的特征信息数量少且单一，而并不能很好地对农事行为进行准确检测与识别，检测精度较低，效果不佳。

因此，如何更好地进行农事行为检测已经成为业界亟待解决的技术问题。

发明内容

本发明提供一种农事行为检测方法、装置、电子设备及存储介质，用以更好地进行农事行为检测。

本发明提供一种农事行为检测方法，包括：

获取用户的农事行为图像；

将所述农事行为图像输入至农事行为检测模型，获取所述农事行为检测模型输出的所述用户的农事行为类别；

所述农事行为检测模型是根据农事行为图像样本和对应的农事行为类别标签训练得到的；所述农事行为检测模型用于基于对所述农事行为图像进行特征提取得到的所述用户的位置特征和行为特征进行融合，基于融合所得的特征确定所述用户的农事行为类别。

根据本发明提供的一种农事行为检测方法，所述农事行为检测模型包括骨干网络、颈部网络和头部网络；所述骨干网络是基于坐标注意力模块、有效层聚合网络模块和空间金字塔池化模块构建得到的，用于提取所述农事行为图像中所述用户的位置特征和行为特征；所述颈部网络用于对所述骨干网络输出的特征图像进行特征融合；所述头部网络用于基于所述颈部网络输出的特征融合图像，确定所述用户的农事行为类别。

根据本发明提供的一种农事行为检测方法，所述骨干网络包括第一特征提取层、第二特征提取层、第三特征提取层和第一叠加模块，所述有效层聚合网络模块包括原始有效层聚合网络模块和改进的有效层聚合网络模块，所述空间金字塔池化模块包括原始空间金字塔池化模块和改进的空间金字塔池化模块；

所述第一特征提取层的输出端分别与所述第二特征提取层的输入端和所述第三特征提取层的输入端连接；所述第一叠加模块用于对所述第二特征提取层输出的特征图像和所述第三特征提取层输出的特征图像进行叠加处理；

所述第一特征提取层包括依次连接的卷积模块和所述原始有效层聚合网络模块；

所述第二特征提取层包括至少一个第一子网络层和所述原始空间金字塔池化模块；各所述第一子网络层依次连接；所述第一子网络层包括依次连接的下采样模块和所述原始有效层聚合网络模块；

所述第三特征提取层包括至少一个第二子网络层和所述改进的空间金字塔池化模块，各所述第二子网络层依次连接；所述第二子网络层包括依次连接的下采样模块和所述改进的有效层聚合网络模块；

所述改进的空间金字塔池化模块是通过在所述原始空间金字塔池化模块的输出端添加所述坐标注意力模块得到的；

所述改进的有效层聚合网络模块包括依次连接的第一聚合模块、第二叠加模块和所述卷积模块，所述第一聚合模块是通过将所述原始有效层聚合网络模块中图像拼接模块输入侧的各卷积模块替换为所述坐标注意力模块得到的，所述第二叠加模块用于对输入所述改进的有效层聚合网络模块的特征图像与所述第一聚合模块输出的特征图像进行叠加处理。

根据本发明提供的一种农事行为检测方法，所述将所述农事行为图像输入至农事行为检测模型，获取所述农事行为检测模型输出的所述用户的农事行为类别，包括：

将所述农事行为图像输入至所述骨干网络中，得到所述骨干网络输出的多个包含所述用户的位置特征和行为特征的目标特征图像；

将多个所述目标特征图像输入至所述颈部网络中，得到所述颈部网络输出的所述特征融合图像；

将所述特征融合图像输入至所述头部网络中，得到所述头部网络输出的所述用户的农事行为类别。

根据本发明提供的一种农事行为检测方法，所述将所述农事行为图像输入至所述骨干网络中，得到所述骨干网络输出的多个包含所述用户的位置特征和行为特征的目标特征图像，包括：

将所述农事行为图像输入至所述第一特征提取层中，得到第一特征图像；

将所述第一特征图像输入至所述第二特征提取层中，得到各所述第一子网络层输出的第一目标特征图像以及所述第二特征提取层输出的第二特征图像；

将所述第一特征图像输入至所述第三特征提取层中，得到所述第三特征提取层输出的第三特征图像；

通过所述第一叠加模块对所述第二特征图像和所述第三特征图像进行叠加，得到第二目标特征图像；

基于各所述第一目标特征图像和所述第二目标特征图像，得到多个所述目标特征图像。

根据本发明提供的一种农事行为检测方法，在所述将所述农事行为图像输入至农事行为检测模型，获取所述农事行为检测模型输出的所述用户的农事行为类别之前，所述方法还包括：

将农事行为图像样本和对应的农事行为类别标签作为一组训练样本，获取多组训练样本；

利用所述多组训练样本，对农事行为检测模型进行训练。

根据本发明提供的一种农事行为检测方法，所述利用所述多组训练样本，对农事行为检测模型进行训练，包括：

对于任意一组训练样本，将所述训练样本输入至所述农事行为检测模型，输出所述训练样本对应的预测概率；

利用预设损失函数，根据所述训练样本对应的预测概率和所述训练样本对应的农事行为类别标签，计算损失值；

基于所述损失值，对所述农事行为检测模型的模型参数进行调整，直至所述损失值小于预设阈值或训练次数达到预设次数；

将所述损失值小于所述预设阈值或训练次数达到所述预设次数时所得到的模型参数作为训练好的农事行为检测模型的模型参数，则农事行为检测模型训练完成。

本发明还提供一种农事行为检测装置，包括：

获取模块，用于获取用户的农事行为图像；

检测模块，用于将所述农事行为图像输入至农事行为检测模型，获取所述农事行为检测模型输出的所述用户的农事行为类别；

所述农事行为检测模型是根据农事行为图像样本和对应的农事行为类别标签训练得到的；所述农事行为检测模型用于基于对所述农事行为图像进行特征提取得到的所述用户的位置特征和行为特征，确定所述用户的农事行为类别。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述农事行为检测。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述农事行为检测方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述农事行为检测方法。

本发明提供的农事行为检测方法、装置、电子设备及存储介质，通过强化定位和识别用户的位置与行为之间的内在关联，利用训练好的农事行为检测模型，基于对输入用户的农事行为图像进行特征提取得到的用户的位置特征和行为特征进行融合，基于融合所得的特征进行用户农事行为识别，确定用户的农事行为类别，可以精确识别用户不同的行为动作，有效提高了农事行为检测的精度和效果，同时也大幅度提高了农事行为检测的效率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的农事行为检测方法的流程示意图；

图2是本发明提供的农事行为检测方法中农事行为检测模型的结构示意图；

图3是本发明提供的农事行为检测方法中使用的Elan模块的结构示意图；

图4是本发明提供的农事行为检测方法中使用的SPP模块的结构示意图；

图5是本发明提供的农事行为检测装置的结构示意图；

图6是本发明提供的电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面结合图1-图6描述本发明的农事行为检测方法、装置、电子设备及存储介质。

图1是本发明提供的农事行为检测方法的流程示意图，如图1所示，包括：步骤110和步骤120。

步骤110，获取用户的农事行为图像；

步骤120，将农事行为图像输入至农事行为检测模型，获取农事行为检测模型输出的用户的农事行为类别；

农事行为检测模型是根据农事行为图像样本和对应的农事行为类别标签训练得到的；农事行为检测模型用于基于对农事行为图像进行特征提取得到的用户的位置特征和行为特征进行融合，基于融合所得的特征确定用户的农事行为类别。

具体地，本发明实施例所描述的用户的农事行为图像指的是拍摄用户进行农事行为所生成的行为动作视频图像。在本实施例中，农事行为可以包括巡检行为和施药行为。

在本发明的实施例中，可以通过在需要检测的养殖区域的多个视角布置摄像设备，从不同角度拍摄用户的行为和动作，获取用户的农事行为图像。

本发明实施例所描述的用户的农事行为类别指的是通过对输入的农事行为图像进行识别得到的识别结果，不同的农事行为图像可以对应有不同的农事行为类别。用户的农事行为类别具体可以包括两类，即巡检“Inspection”，与施药“Applying pesticides”。

本发明实施例所描述的农事行为检测模型是根据农事行为图像样本和对应的农事行为类别标签训练得到的，用于学习不同农事行为下用户行为动作信息之间的内在联系，通过对用户的农事行为图像进行特征提取得到的用户的位置特征和行为特征进行融合，基于融合所得的特征进行农事行为类别的识别，从而输出高精度的农事行为识别结果。

需要说明的是，本发明实施例中，农事行为检测模型可以是基于深度神经网络构建得到的。其中，深度神经网络具体可以采用目标检测算法模型，如YOLOv5模型、YOLOv7模型等，也可以采用区域卷积神经网络模型（Regions with Convolutional Neural Networkfeatures，R-CNNs），还可以为其他用于目标检测，实现农事行为识别的深度神经网络，在本发明中不做具体限定。

其中，在本发明的实施例中，模型训练样本是由多组携带有农事行为类别标签的农事行为图像样本组成的。

在本发明的实施例中，农事行为类别标签是根据农事行为图像样本预先确定的，并与农事行为图像样本是一一对应的。也就是说，训练样本中的每一个农事行为图像样本，都预先设定好携带一个与之对应的农事行为类别标签。

可以理解的是，农事行为类别标签可以包括“巡检”和“施药”两类标签。

进一步地，通过利用农事行为图像样本和对应的农事行为类别标签可以训练得到农事行为检测模型，将获取用户的农事行为图像输入至农事行为检测模型后，可以得到农事行为检测模型输出的农事行为图像对应的农事行为类别。

在一个具体实施例中，可以设置摄像设备、光源以及运算处理器，其中，运算处理器与摄像设备和光源分别连接；摄像设备能够在运算处理器的控制下实时采集用户农事行为视频流数据，获取用户的农事行为图像。光源可以用于在光线不足的情况下，为摄像设备进行补光，摄像设备采集用户农事行为视频流后传送给运算处理器，运算处理器根据训练好的农事行为检测模型判断用户的农事行为，输出农事行为类别标签，从而记录巡检和施药的时间和次数，达到智能监测的目的。

本发明实施例的方法可以实现对用户农事行为的准确检测，可以有效检测出用户“Inspection”和“Applying pesticides”的时间与次数，有效提高了农事行为检测的精度和效果，提高了水产养殖的生产效率。

本发明实施例的农事行为检测方法，通过强化定位和识别用户的位置与行为之间的内在关联，利用训练好的农事行为检测模型，基于对输入用户的农事行为图像进行特征提取得到的用户的位置特征和行为特征进行融合，基于融合所得的特征进行用户农事行为识别，确定用户的农事行为类别，可以精确识别用户不同的行为动作，有效提高了农事行为检测的精度和效果，同时也大幅度提高了农事行为检测的效率。

基于上述实施例的内容，图2是本发明提供的农事行为检测方法中农事行为检测模型的结构示意图，如图2所示，农事行为检测模型包括骨干网络1、颈部网络2和头部网络3；

骨干网络1是基于坐标注意力模块、有效层聚合网络模块和空间金字塔池化模块构建得到的，用于提取农事行为图像中用户的位置特征和行为特征；

颈部网络2用于对骨干网络1输出的特征图像进行特征融合；

头部网络3用于基于颈部网络2输出的特征融合图像，确定用户的农事行为类别。

具体地，在本发明的实施例中，农事行为检测模型可以采用目标检测算法YOLO系列模型进行构建，如轻量化的YOLOv7-tiny网络模型，其拥有更快的网络训练和识别速度，对硬件设备的要求也较低。

为了使模型能够更加准确定位和识别从事农事行为的用户的位置与行为，本发明的实施例中采用坐标注意力（Coordinate Attention，CA）模块，并结合有效层聚合网络（Efficient Layer Aggregation Networks，Elan）模块和空间金字塔池化（SpatialPyramid Pooling, SPP）模块，改进及构建YOLO系列模型中的骨干（Backbone）网络，通过改进的Backbone网络，提取农事行为图像中用户的位置特征和行为特征。

基于上述实施例的内容，继续参照图2，如图2所示，骨干网络1包括第一特征提取层11、第二特征提取层12、第三特征提取层13和第一叠加模块14，Elan模块包括原始Elan模块和改进的Elan模块，SPP模块包括原始SPP模块和改进的SPP模块；

第一特征提取层11的输出端分别与第二特征提取层12的输入端和第三特征提取层13的输入端连接；第一叠加模块14用于对第二特征提取层输出的特征图像和第三特征提取层输出的特征图像进行叠加处理；

第一特征提取层11包括依次连接的卷积模块和原始Elan模块；

第二特征提取层12包括至少一个第一子网络层和原始SPP模块；各第一子网络层依次连接；第一子网络层包括依次连接的下采样模块和原始Elan模块；

第三特征提取层13包括至少一个第二子网络层和改进的SPP模块，各第二子网络层依次连接；第二子网络层包括依次连接的下采样模块和改进的Elan模块；

改进的SPP模块是通过在原始SPP模块的输出端添加坐标注意力模块得到的；

改进的Elan模块包括依次连接的第一聚合模块、第二叠加模块和卷积模块，第一聚合模块是通过将原始Elan模块中图像拼接模块输入侧的各卷积模块替换为CA模块得到的，第二叠加模块用于对输入改进的Elan模块的特征图像与第一聚合模块输出的特征图像进行叠加处理。

具体地，本发明实施例所描述的原始Elan模块指的是YOLO系列模型中自带的有效层聚合网络模块，如采用轻量化的YOLOv7-tiny网络模型，原始Elan模块则为YOLOv7-tiny网络模型中的Elan-tiny模块。

本发明实施例所描述的原始SPP模块指的是YOLO系列模型中自带的空间金字塔池化模块，如采用轻量化的YOLOv7-tiny网络模型，原始SPP模块则为YOLOv7-tiny网络模型中的SPP-tiny模块。

需要说明的是，坐标信息的增强可以使网络拥有更好的定位能力，能更好的定位和识别用户的农事行为。在本发明的实施例中，为了充分获取并利用图像数据中的坐标信息，基于CA注意力机制的优秀定位能力而引入CA注意力机制，并且使用CA注意力机制进行改进不会过多的增加参数量和运算时间。

在本发明的实施例中，利用CA注意力机制对YOLOv7中Backbone网络的Elan-tiny模块和SPP-tiny模块进行改进，并构建特征矫正网络，提高网络模型的识别能力。

图3是本发明提供的农事行为检测方法中使用的Elan模块的结构示意图，如图3所示，图3中的图（a）为原始Elan模块，即未经修改的Elan-tiny模块，图3中的图（b）为本发明实施例采用的改进的Elan模块，其基于对原始Elan模块进行改进得到的，可以描述为Elan-CA模块。

本发明实施例所描述的卷积模块具体可以是CBS卷积模块，其可以依次进行二维卷积Conv2×2操作、批次归一化（Batch Normalization，BN）操作和SiLU激活函数的操作。

在本发明的实施例中，Elan-CA模块包括依次连接的第一聚合模块、第二叠加模块ADD模块和CBS卷积模块。

其中，根据图3中的图（a）与图（b）对比，可以看出，本实施例中的第一聚合模块是通过将原始Elan模块中图像拼接Concat模块输入侧的各CBS卷积模块替换为CA模块得到的。同时，通过添加直连（shortcut），利用第二叠加模块，对输入改进的Elan模块的特征图像与第一聚合模块输出的特征图像进行叠加处理，实现图像特征的修正。

图4是本发明提供的农事行为检测方法中使用的SPP模块的结构示意图，如图4所示，图4中的图（a）为原始SPP模块，即未经修改的SPP-tiny模块，图4中的图（b）为本发明实施例采用的改进的SPP模块，其基于对原始SPP模块进行改进得到的，可以描述为SPP-CA模块。

根据图4中的图（a）与图（b）对比，可以看出，本实施例中的SPP-CA模块是通过在原始SPP模块的输出端添加CA模块得到的。

进一步地，继续参照图2，在本发明的实施例中，骨干网络具体包括第一特征提取层、第二特征提取层、第三特征提取层和第一叠加模块，其中，第二特征提取层和第三特征提取层是通过利用Elan-CA模块和SPP-CA模块构建分路得到的。

具体地，如图2所示，第二特征提取层具体可以包括三个第一子网络层和原始SPP模块，各第一子网络层依次连接，第一子网络层包括依次连接的下采样模块即MP模块和原始Elan模块即Elan-tiny模块，最后通过原始SPP模块输出特征图像。

构建的分路径即第三特征提取层，具体可以包括三个第二子网络层和改进的SPP模块即SPP-CA模块，各第二子网络层依次连接，第二子网络层包括依次连接的MP模块和改进的Elan模块即Elan-CA模块，最后通过SPP-CA模块输出特征图像。

进一步地，在骨干网络中，通过第一叠加模块，对第二特征提取层输出的特征图像和第三特征提取层输出的特征图像进行叠加处理，以此使用ADD数据融合方式与原网络路径的特征进行特征融合，得到用户的位置特征和行为特征的融合特征，同时达到矫正图像特征的作用。

本发明实施例的方法，通过利用CA注意力机制对YOLOv7中的Elan模块和SPP模块进行改进，并构建特征矫正网络，使得网络能够更全面的获取位置信息以及其他特征信息，拥有更加丰富的特征信息，从而提升网络模型的识别能力，提高对用户农事行为识别的精度。

进一步地，在本发明的实施例中，农事行为检测模型还包括颈部（Neck）网络和头部（Head）网络，通过Neck网络可以对Backbone网络输出的特征图像进行特征融合，提升图像特征的多样性和鲁棒性。最后通过Head网络，利用Neck网络输出的特征融合图像所包含的所有特征进行识别结果预测，输出用户的农事行为类别。

本发明实施例的方法，通过利用CA模块的注意力机制，并结合Elan模块和SPP模块构建Backbone网络，使改进的YOLO模型能够更加准确定位和识别从事农事行为的用户的位置与行为，可以有效提高用户农事行为识别的精度和效果。

基于上述实施例的内容，作为一种可选的实施例，将农事行为图像输入至农事行为检测模型，获取农事行为检测模型输出的用户的农事行为类别，包括：

将农事行为图像输入至骨干网络中，得到骨干网络输出的多个包含用户的位置特征和行为特征的目标特征图像；

将多个目标特征图像输入至颈部网络中，得到颈部网络输出的特征融合图像；

将特征融合图像输入至头部网络中，得到头部网络输出的用户的农事行为类别。

具体地，本发明实施例所描述的目标特征图像指的是Backbone网络通过不同力度对输入的农事行为图像进行特征提取得到的特征图像。基于Backbone网络中增加的CA注意力机制，目标特征图像可以包含用户的位置特征和行为特征。

在本发明的实施例中，将用户的农事行为图像输入至Backbone网络中，经过CA模块、Elan模块和SPP模块的联合处理，可以使Backbone网络输出多个目标特征图像。

基于上述实施例的内容，作为一种可选的实施例，将农事行为图像输入至骨干网络中，得到骨干网络输出的多个包含用户的位置特征和行为特征的目标特征图像，包括：

将农事行为图像输入至第一特征提取层中，得到第一特征图像；

将第一特征图像输入至第二特征提取层中，得到各第一子网络层输出的第一目标特征图像以及第二特征提取层输出的第二特征图像；

将第一特征图像输入至第三特征提取层中，得到第三特征提取层输出的第三特征图像；

通过第一叠加模块对第二特征图像和第三特征图像进行叠加，得到第二目标特征图像；

基于各第一目标特征图像和第二目标特征图像，得到多个目标特征图像。

具体地，本发明实施例所描述的第一目标特征图像指的是第二特征提取层中各第一子网络层输出的特征图像，其用于输入Neck网络中进行特征融合。

继续参照图2，在本实施例中，第二特征提取层具体包括三个第一子网络层和SPP-tiny模块，第三特征提取层具体包括三个第二子网络层和SPP-CA模块。

将用户的农事行为图像输入至第一特征提取层，经过CBS卷积模块，使用户的农事行为图像依次进行二维卷积Conv2×2操作、BN操作和SiLU激活函数的操作，进而将该CBS卷积模块输出的特征输入至Elan-tiny模块进行处理，得到第一特征图像。

在本发明的实施例中，将第一特征图像输入至第二特征提取层中，第一特征图像经过第一个第一子网络层进行特征提取，得到第一个第一子网络层输出的第一目标特征图像，然后该第一目标特征图像经过第二个第一子网络层进行特征提取，得到第二个第一子网络层对应输出的第一目标特征图像，进而第二个第一子网络层输出的第一目标特征图像输入至第三个第一子网络层中，得到第三个第一子网络层对应输出的第一目标特征图像，由此得到各第一子网络层输出的第一目标特征图像。

进一步地，再将第三个第一子网络层对应输出的第一目标特征图像输入至原始SPP模块中进行相同纬度特征的提取，最终得到第二特征提取层输出的第二特征图像。

同样地，在本实施例中，将第一特征图像输入至第三特征提取层中，第一特征图像依次经过三个第二子网络层的特征提取处理，其中，每个第二子网络层包括依次连接的MP模块和Elan-CA模块。并且，将依次经过三个第二子网络层提取到的特征输入至SPP-CA模块，进行相同纬度特征的提取，最终得到第三特征提取层输出的第三特征图像。

进一步地，在本实施例中，通过第一叠加模块对第二特征提取层输出的第二特征图像和第三特征提取层输出的第三特征图像进行叠加融合，得到第二目标特征图像。

由此，通过得到各第一子网络层输出的第一目标特征图像和第二目标特征图像，以此得到多个用于输入Neck网络进行特征融合的目标特征图像。

本发明实施例的方法，通过利用改进好的Elan-CA模块和SPP-CA模块构建分路网络，结合原Backbone网络中的特征提取网络构建特征矫正网络，可以使Backbone网络能够更全面地获取用户行为的位置信息以及其他特征信息，从而使网络模型拥有更加丰富的特征信息进行用户农事行为的识别，可以有效提升网络模型的识别精度和效果。

进一步地，在本发明的实施例中，将Backbone网络输出的多个目标特征图像输入至Neck网络中进行特征融合。在Neck网络中，将第三个第一子网络层对应输出的第一目标特征图像经过CBS卷积模块输出的特征图像与第二目标特征图像经过CBS卷积模块输出的特征图像，进行特征拼接Concat操作，由此得到的拼接图像再经过CBS卷积模块，输出第一融合特征图像。该第一融合特征图像依次经过CBS卷积模块、上采样（Upsample）得到的特征图像与第二个第一子网络层对应输出的第一目标特征图像进行Concat操作，由此得到的拼接图像再经过Elan-tiny模块，输出第二融合特征图像。该第二融合特征图像依次经过CBS卷积模块、上采样得到的特征图像再与第一个第一子网络层对应输出的第一目标特征图像进行Concat操作，由此得到的拼接图像再经过Elan-tiny模块，输出第三融合特征图像。该第三融合特征图像经过CBS卷积模块输出的特征图像再与上述第二融合特征图像进行Concat操作，由此得到的拼接图像再经过Elan-tiny模块，输出第四融合特征图像。该第四融合特征图像经过CBS卷积模块输出的特征图像再与上述第一融合特征图像进行Concat操作，由此得到的拼接图像再经过Elan-tiny模块，输出第五融合特征图像。由此，通过得到第三融合特征图像、第四融合特征图像和第五融合特征图像，得到Neck网络输出的特征融合图像。

最后，将Neck网络输出的第三融合特征图像、第四融合特征图像和第五融合特征图像输入至Head网络中，经过Head网络中的CBS卷积模块和卷积层处理，输出用于目标定位检测且尺寸合适的图像检测框，并输出用户的农事行为类别标签，完成对输入的农事行为图像的快速精准识别。

本发明实施例的方法，通过采用目标检测算法YOLO模型，并利用坐标注意力机制对YOLO模型中骨干网络进行改进，增强了骨干网络对用户行为特征信息的定位能力，并为用户农事行为检测模型提供了更为丰富的特征信息，有效提升了网络模型对用户农事行为的识别精度和能力。

基于上述实施例的内容，作为一种可选的实施例，在将农事行为图像输入至农事行为检测模型，获取农事行为检测模型输出的用户的农事行为类别之前，该方法还包括：

将农事行为图像样本和对应的农事行为类别标签作为一组训练样本，获取多组训练样本；

利用多组训练样本，对农事行为检测模型进行训练。

具体地，在本发明的实施例中，在将农事行为图像输入至农事行为检测模型之前，还需对农事行为检测模型进行训练，以得到训练好的农事行为检测模型。

在本发明的实施例中，通过预先布置好的多个不同方位摄像设备进行拍摄，视频采集帧率为30Hz，视频原始尺寸为2304×1296像素，可以获得原始农事行为视频数据，之后，可以对原始农事行为视频进行逐帧标注，从而得到农事行为图像样本和对应的农事行为类别标签。

进一步地，将获取到的所有样本数据划分为测试集、训练集和验证集。在本实施例中，可以取6218张农事行为图像样本作为训练集，剩下621张农事行为图像样本被划分为验证集，612张农事行为图像样本作为测试集，并将相应的图像和标注信息放到相应的文件夹下。

在本发明的实施例中，利用上述训练集数据对农事行为检测模型进行训练，具体训练过程如下：

将农事行为图像样本和对应的农事行为图像样本作为一组训练样本，即将每个带有农事行为类别标签的农事行为图像样本作为一组训练样本，由此即可获得多组训练样本。

在本发明的实施例中，农事行为图像样本与其携带的农事行为类别标签是一一对应的。

然后，在获得多组训练样本之后，再将多组训练样本依次输入至农事行为检测模型中，利用多组训练样本对农事行为检测模型进行训练，即：

将每组训练样本中的农事行为图像样本与其携带的农事行为类别标签同时输入至农事行为检测模型中，根据农事行为检测模型中的每一次输出结果，通过计算损失函数值，对农事行为检测模型中的模型参数进行调整，在满足预设训练终止条件的情况下，最终完成农事行为检测模型的整个训练过程，得到训练好的农事行为检测模型。

本发明实施例的方法，通过将农事行为图像样本和对应的农事行为类别标签作为一组训练样本，利用多组训练样本对农事行为检测模型进行训练，有利于提升训练好的农事行为检测模型的模型精度。

基于上述实施例的内容，作为一种可选的实施例，利用多组训练样本，对农事行为检测模型进行训练，包括：

对于任意一组训练样本，将训练样本输入至农事行为检测模型，输出训练样本对应的预测概率；

利用预设损失函数，根据训练样本对应的预测概率和训练样本对应的农事行为类别标签，计算损失值；

基于损失值，对农事行为检测模型的模型参数进行调整，直至损失值小于预设阈值或训练次数达到预设次数；

将损失值小于预设阈值或训练次数达到预设次数时所得到的模型参数作为训练好的农事行为检测模型的模型参数，则农事行为检测模型训练完成。

具体地，本发明实施例所描述的预设损失函数指的是预先设置在农事行为检测模型里的损失函数，用于进行模型评估；预设阈值指的是模型预先设置的阈值，用于获得最小损失值，完成模型训练；预设次数指的是预先设置的模型迭代训练的最大次数。

在获得多组训练样本之后，对于任意一组训练样本，将每组训练样本中的农事行为图像样本与其携带的农事行为类别标签同时输入至农事行为检测模型，输出该训练样本对应的预测概率。

在此基础上，利用预设损失函数，根据该训练样本对应的预测概率和该训练样本对应的农事行为类别标签，计算损失值。

进一步地，在计算获得损失值之后，本次训练过程结束。再基于该损失值对农事行为检测模型的模型参数进行调整，来更新农事行为检测模型中的模型的各层权重参数，之后再进行下一次训练，如此反复迭代进行模型训练。

在训练的过程中，若针对某组训练样本的训练结果满足预设训练终止条件，如对应计算获得的损失值小于预设阈值，或着当前的迭代次数达到预设次数时，模型的损失值可以控制在收敛范围内，则模型训练结束。此时，可以将所得到的模型参数作为训练好的农事行为检测模型的模型参数，则农事行为检测模型训练完成，由此得到训练好的农事行为检测模型。

在一个具体实施例中，在64位Windows10操作***平台上，基于PyTorch深度学习框架，并使用Python语言构建农事行为检测模型，使用一块NVIDIA GTX 2080ti GPU完成模型的训练。模型训练参数，可以将Batch Size设置为10，迭代次数设置为100，学习率设为0.001。训练使用6218张视频帧作为输入，输入数据大小为3×1280×1280，加速环境可以采用应用程序CUDA10.1和CUDNN7.6.5。

本发明实施例的方法，通过利用多组训练样本对农事行为检测模型进行反复迭代训练，将农事行为检测模型的损失值控制在收敛范围内，从而有利于提高模型输出的用户农事行为识别结果的准确性，提升用户农事行为识别的精度。

在本发明的实施例中，利用上述验证集数据对训练好的农事行为检测模型的各层权重参数进行验证。验证集数据经过Backbone网络、Neck网络的计算后，最后在输出端Head网络采用广义交并比损失函数（Generalized Intersection over Union Loss，GIoULoss）作为边界框（Bounding Box）的损失函数，即用 GIoU Loss来计算Bounding Box的Loss，具体计算方式为：

；

这样，通过两个任意框A和B，找到一个最小的封闭框C，让C可以把A和B包含在内，然后计算C中没有覆盖A和B的面积占 C总面积的比值，再用A与B的IoU减去这个比值。最后通过非极大值抑制过滤目标框，输出目标检测框和置信度，得到农事行为检测结果。

在本发明实施例中，如上述农事行为检测模型描述，该模型是利用CA注意力机制对YOLOv7-tiny中Backbone网络的Elan-tiny模块和SPP-tiny模块进行改进得到的，农事行为检测模型相较于原始YOLOv7-tiny网络提高了识别精度，其中，农事行为检测模型的参数[email protected]可达99.5%，比原始YOLOv7-tiny网络提高了0.1%；参数[email protected]:.95可达84.8%，比原始YOLOv7-tiny网络提高了提升了6.6%。

下面对本发明提供的农事行为检测装置进行描述，下文描述的农事行为检测装置与上文描述的农事行为检测方法可相互对应参照。

图5是本发明提供的农事行为检测装置的结构示意图，如图5所示，包括：

获取模块510，用于获取用户的农事行为图像；

检测模块520，用于将农事行为图像输入至农事行为检测模型，获取农事行为检测模型输出的用户的农事行为类别；

农事行为检测模型是根据农事行为图像样本和对应的农事行为类别标签训练得到的；农事行为检测模型用于基于对农事行为图像进行特征提取得到的用户的位置特征和行为特征，确定用户的农事行为类别。

本实施例所述的农事行为检测装置可以用于执行上述农事行为检测方法实施例，其原理和技术效果类似，此处不再赘述。

本发明实施例的农事行为检测装置，通过强化定位和识别用户的位置与行为之间的内在关联，利用训练好的农事行为检测模型，基于对输入用户的农事行为图像进行特征提取得到的用户的位置特征和行为特征进行融合，基于融合所得的特征进行用户农事行为识别，确定用户的农事行为类别，可以精确识别用户不同的行为动作，有效提高了农事行为检测的精度和效果，同时也大幅度提高了农事行为检测的效率。

图6是本发明提供的电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器（processor）610、通信接口（Communications Interface）620、存储器（memory）630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行上述各方法所提供的农事行为检测方法，该方法包括：获取用户的农事行为图像；将所述农事行为图像输入至农事行为检测模型，获取所述农事行为检测模型输出的所述用户的农事行为类别；所述农事行为检测模型是根据农事行为图像样本和对应的农事行为类别标签训练得到的；所述农事行为检测模型用于基于对所述农事行为图像进行特征提取得到的所述用户的位置特征和行为特征进行融合，基于融合所得的特征确定所述用户的农事行为类别。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的农事行为检测方法，该方法包括：获取用户的农事行为图像；将所述农事行为图像输入至农事行为检测模型，获取所述农事行为检测模型输出的所述用户的农事行为类别；所述农事行为检测模型是根据农事行为图像样本和对应的农事行为类别标签训练得到的；所述农事行为检测模型用于基于对所述农事行为图像进行特征提取得到的所述用户的位置特征和行为特征进行融合，基于融合所得的特征确定所述用户的农事行为类别。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的农事行为检测方法，该方法包括：获取用户的农事行为图像；将所述农事行为图像输入至农事行为检测模型，获取所述农事行为检测模型输出的所述用户的农事行为类别；所述农事行为检测模型是根据农事行为图像样本和对应的农事行为类别标签训练得到的；所述农事行为检测模型用于基于对所述农事行为图像进行特征提取得到的所述用户的位置特征和行为特征进行融合，基于融合所得的特征确定所述用户的农事行为类别。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种农事行为检测方法，其特征在于，包括：

获取用户的农事行为图像；

将所述农事行为图像输入至农事行为检测模型，获取所述农事行为检测模型输出的所述用户的农事行为类别；

所述农事行为检测模型是根据农事行为图像样本和对应的农事行为类别标签训练得到的；所述农事行为检测模型用于基于对所述农事行为图像进行特征提取得到的所述用户的位置特征和行为特征进行融合，基于融合所得的特征确定所述用户的农事行为类别。

2.根据权利要求1所述的农事行为检测方法，其特征在于，所述农事行为检测模型包括骨干网络、颈部网络和头部网络；所述骨干网络是基于坐标注意力模块、有效层聚合网络模块和空间金字塔池化模块构建得到的，用于提取所述农事行为图像中所述用户的位置特征和行为特征；所述颈部网络用于对所述骨干网络输出的特征图像进行特征融合；所述头部网络用于基于所述颈部网络输出的特征融合图像，确定所述用户的农事行为类别。

3.根据权利要求2所述的农事行为检测方法，其特征在于，所述骨干网络包括第一特征提取层、第二特征提取层、第三特征提取层和第一叠加模块，所述有效层聚合网络模块包括原始有效层聚合网络模块和改进的有效层聚合网络模块，所述空间金字塔池化模块包括原始空间金字塔池化模块和改进的空间金字塔池化模块；

所述第一特征提取层的输出端分别与所述第二特征提取层的输入端和所述第三特征提取层的输入端连接；所述第一叠加模块用于对所述第二特征提取层输出的特征图像和所述第三特征提取层输出的特征图像进行叠加处理；

所述第一特征提取层包括依次连接的卷积模块和所述原始有效层聚合网络模块；

所述第二特征提取层包括至少一个第一子网络层和所述原始空间金字塔池化模块；各所述第一子网络层依次连接；所述第一子网络层包括依次连接的下采样模块和所述原始有效层聚合网络模块；

所述第三特征提取层包括至少一个第二子网络层和所述改进的空间金字塔池化模块，各所述第二子网络层依次连接；所述第二子网络层包括依次连接的下采样模块和所述改进的有效层聚合网络模块；

所述改进的空间金字塔池化模块是通过在所述原始空间金字塔池化模块的输出端添加所述坐标注意力模块得到的；

所述改进的有效层聚合网络模块包括依次连接的第一聚合模块、第二叠加模块和所述卷积模块，所述第一聚合模块是通过将所述原始有效层聚合网络模块中图像拼接模块输入侧的各卷积模块替换为所述坐标注意力模块得到的，所述第二叠加模块用于对输入所述改进的有效层聚合网络模块的特征图像与所述第一聚合模块输出的特征图像进行叠加处理。

4.根据权利要求3所述的农事行为检测方法，其特征在于，所述将所述农事行为图像输入至农事行为检测模型，获取所述农事行为检测模型输出的所述用户的农事行为类别，包括：

将所述农事行为图像输入至所述骨干网络中，得到所述骨干网络输出的多个包含所述用户的位置特征和行为特征的目标特征图像；

将多个所述目标特征图像输入至所述颈部网络中，得到所述颈部网络输出的所述特征融合图像；

将所述特征融合图像输入至所述头部网络中，得到所述头部网络输出的所述用户的农事行为类别。

5.根据权利要求4所述的农事行为检测方法，其特征在于，所述将所述农事行为图像输入至所述骨干网络中，得到所述骨干网络输出的多个包含所述用户的位置特征和行为特征的目标特征图像，包括：

将所述农事行为图像输入至所述第一特征提取层中，得到第一特征图像；

将所述第一特征图像输入至所述第二特征提取层中，得到各所述第一子网络层输出的第一目标特征图像以及所述第二特征提取层输出的第二特征图像；

将所述第一特征图像输入至所述第三特征提取层中，得到所述第三特征提取层输出的第三特征图像；

通过所述第一叠加模块对所述第二特征图像和所述第三特征图像进行叠加，得到第二目标特征图像；

基于各所述第一目标特征图像和所述第二目标特征图像，得到多个所述目标特征图像。

6.根据权利要求1-5任一项所述的农事行为检测方法，其特征在于，在所述将所述农事行为图像输入至农事行为检测模型，获取所述农事行为检测模型输出的所述用户的农事行为类别之前，所述方法还包括：

将农事行为图像样本和对应的农事行为类别标签作为一组训练样本，获取多组训练样本；

利用所述多组训练样本，对农事行为检测模型进行训练。

7.根据权利要求6所述的农事行为检测方法，其特征在于，所述利用所述多组训练样本，对农事行为检测模型进行训练，包括：

对于任意一组训练样本，将所述训练样本输入至所述农事行为检测模型，输出所述训练样本对应的预测概率；

利用预设损失函数，根据所述训练样本对应的预测概率和所述训练样本对应的农事行为类别标签，计算损失值；

基于所述损失值，对所述农事行为检测模型的模型参数进行调整，直至所述损失值小于预设阈值或训练次数达到预设次数；

将所述损失值小于所述预设阈值或训练次数达到所述预设次数时所得到的模型参数作为训练好的农事行为检测模型的模型参数，则农事行为检测模型训练完成。

8.一种农事行为检测装置，其特征在于，包括：

获取模块，用于获取用户的农事行为图像；

检测模块，用于将所述农事行为图像输入至农事行为检测模型，获取所述农事行为检测模型输出的所述用户的农事行为类别；

所述农事行为检测模型是根据农事行为图像样本和对应的农事行为类别标签训练得到的；所述农事行为检测模型用于基于对所述农事行为图像进行特征提取得到的所述用户的位置特征和行为特征，确定所述用户的农事行为类别。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述农事行为检测方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述农事行为检测方法。

Images