CN116958806A - 害虫识别模型更新、害虫识别方法、装置及电子设备 - Google Patents

害虫识别模型更新、害虫识别方法、装置及电子设备 Download PDF

Info

Publication number
CN116958806A
CN116958806A CN202310619920.0A CN202310619920A CN116958806A CN 116958806 A CN116958806 A CN 116958806A CN 202310619920 A CN202310619920 A CN 202310619920A CN 116958806 A CN116958806 A CN 116958806A
Authority
CN
China
Prior art keywords
pest
model
pest identification
loss function
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310619920.0A
Other languages
English (en)
Inventor
王聪
陈天恩
鲁梦瑶
姜舒文
张驰
陈栋
朱万山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Center of Information Technology of Beijing Academy of Agriculture and Forestry Sciences
Original Assignee
Research Center of Information Technology of Beijing Academy of Agriculture and Forestry Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Center of Information Technology of Beijing Academy of Agriculture and Forestry Sciences filed Critical Research Center of Information Technology of Beijing Academy of Agriculture and Forestry Sciences
Priority to CN202310619920.0A priority Critical patent/CN116958806A/zh
Publication of CN116958806A publication Critical patent/CN116958806A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Catching Or Destruction (AREA)

Abstract

本发明提供一种害虫识别模型更新、害虫识别方法、装置及电子设备，该方法包括：获取原始害虫识别模型作为教师模型；基于教师模型构建学生模型；基于第一样本图像、第一样本图像的害虫标注信息、第一害虫识别结果以及增量学习损失函数对学生模型进行蒸馏训练，获得训练好的学生模型作为更新后的害虫识别模型；本发明提供的害虫识别模型更新、害虫识别方法、装置及电子设备，学生模型在获取识别第二害虫种类害虫的知识的同时，还能学习到识别第一害虫种类害虫的知识，能避免害虫识别模型可识别害虫种类的固化，能降低害虫识别模型更新所需的计算资源和所需的更新时间，能为害虫种类识别提供技术支持，能提高害虫种类识别的准确率和效率。

Description

害虫识别模型更新、害虫识别方法、装置及电子设备
技术领域
本发明涉及人工智能技术领域，尤其涉及一种害虫识别模型更新、害虫识别方法、装置及电子设备。
背景技术
农业生产中，虫害是制约作物产量与质量提高的重要因素。准确识别田间害虫的类型，对于虫害的防治或测报具有重要意义。
现有技术中，可以基于机器学习算法训练害虫识别模型，进而可以基于训练好地害虫识别模型进行害虫种类的识别。
但是，不同作物、不同季节易发的虫害类型差异较大，为了确保上述害虫识别模型的识别准确率，需要定期对上述害虫识别模型进行更新，而定期更新上述害虫识别模型需要投入大量的计算资源和训练时间，更新上述害虫识别模型的效率较低，导致现有的害虫识别方法难以准确、高效地识别害虫种类。
发明内容
本发明提供一种害虫识别模型更新、害虫识别方法、装置及电子设备，用以解决现有技术中更新用于进行害虫识别的害虫识别模型的效率较低的缺陷，实现更高效、更低计算资源的更新上述害虫识别模型。
本发明提供一种害虫识别模型更新方法，包括：
获取原始害虫识别模型作为教师模型；
基于所述教师模型构建学生模型；
基于第一样本图像、所述第一样本图像的害虫标注信息、第一害虫识别结果以及增量学习损失函数对所述学生模型进行蒸馏训练，获得训练好的学生模型作为更新后的害虫识别模型；
其中，所述教师模型是基于第二样本图像和所述第二样本图像的害虫识别结果训练得到的；所述第一样本图像中包括的第一害虫种类与第二样本图像中包括的第二害虫种类不同；所述第一害虫识别结果是将所述第一样本图像输入所述教师模型，由所述教师模型输出的；
所述增量学习损失函数包括所述学生模型的模型训练损失函数；所述模型训练损失函数基于第一预测害虫识别结果和所述第一样本图像的害虫标注信息确定；所述第一预测害虫识别结果是将所述第一样本图像输入训练中的学生模型，由所述训练中的学生模型输出的；
所述模型训练损失函数中的变量包括所述第一预测害虫识别结果中每一预测框中是否包含所述第一害虫种类害虫的预测值；所述预测框用于在所述第一预测害虫识别结果中标识识别到的害虫。
根据本发明提供的一种害虫识别模型更新方法，所述模型训练损失函数，包括：害虫目标分类损失函数；
所述害虫目标分类损失函数还包括所述第一预测害虫识别结果中每一网格中是否包含所述第一害虫种类的害虫的预测值，以及所述第一预测害虫识别结果中每一网格是否包含所述第一害虫种类的害虫的真值。
根据本发明提供的一种害虫识别模型更新方法，所述增量学习损失函数还包括所述学生模型和所述教师模型之间的知识蒸馏损失函数；
所述知识蒸馏损失函数基于所述第一预测害虫识别结果和所述第一害虫识别结果确定；
所述知识蒸馏损失函数中的变量包括所述第一预测害虫识别结果中每一预测框中是否包含所述第二害虫种类害虫的预测值以及第一害虫识别结果中每一标识框中是否包含所述第二害虫种类害虫的真值，和/或，所述第一预测害虫识别结果中每一预测框中所述第二害虫种类的害虫的位置信息以及所述第一害虫识别结果中每一标识框中所述第二害虫种类的害虫的位置信息；所述标识框用于在所述第一害虫识别结果中标识识别到的害虫。
根据本发明提供的一种害虫识别模型更新方法，所述知识蒸馏损失函数，包括：类别蒸馏损失函数；
所述类别蒸馏损失函数基于L2 loss构建；
在所述知识蒸馏损失函数包括类别蒸馏损失函数的情况下，所述知识蒸馏损失函数中的变量包括所述第一预测害虫识别结果中每一预测框中是否包含所述第二害虫种类害虫的预测值以及第一害虫识别结果中每一标识框中是否包含所述第二害虫种类害虫的真值。
根据本发明提供的一种害虫识别模型更新方法，所述知识蒸馏损失函数，包括：定位蒸馏损失函数；
所述定位蒸馏损失函数基于L2 loss构建；
在所述知识蒸馏损失函数包括定位蒸馏损失函数情况下，所述知识蒸馏损失函数中的变量包括所述第一预测害虫识别结果中每一预测框中所述第二害虫种类的害虫的位置信息以及所述第一害虫识别结果中每一标识框中所述第二害虫种类的害虫的位置信息。
根据本发明提供的一种害虫识别模型更新方法，所述原始害虫识别模型基于YOLOv5网络模型构建。
本发明还提供一种害虫识别方法，包括：
获取待识别图像；
将所述待识别图像输入害虫识别模型，获取所述害虫识别模型输出的害虫识别结果；
其中，所述害虫识别模型是基于如上任一所述的害虫识别模型更新方法，对原始害虫识别模型进行更新后得到的。
本发明提供一种害虫识别模型更新装置，包括：
模型获取模块，用于获取原始害虫识别模型作为教师模型；
模型构建模块，用于基于所述教师模型构建学生模型；
模型更新模块，用于基于第一样本图像、所述第一样本图像的害虫标注信息、第一害虫识别结果以及增量学习损失函数对所述学生模型进行蒸馏训练，获得训练好的学生模型作为更新后的害虫识别模型；
其中，所述教师模型是基于第二样本图像和所述第二样本图像的害虫识别结果训练得到的；所述第一样本图像中包括的第一害虫种类与第二样本图像中包括的第二害虫种类不同；所述第一害虫识别结果是将所述第一样本图像输入所述教师模型，由所述教师模型输出的；
所述增量学习损失函数包括所述学生模型的模型训练损失函数；所述模型训练损失函数基于第一预测害虫识别结果和所述第一样本图像的害虫标注信息确定；所述第一预测害虫识别结果是将所述第一样本图像输入训练中的学生模型，由所述训练中的学生模型输出的；
所述模型训练损失函数中的变量包括所述第一预测害虫识别结果中每一预测框中是否包含所述第一害虫种类害虫的预测值；所述预测框用于在所述第一预测害虫识别结果中标识识别到的害虫。
本发明提供一种害虫识别装置，包括：
图像获取模块，用于获取待识别图像；
害虫识别模块，用于将所述待识别图像输入害虫识别模型，获取所述害虫识别模型输出的害虫识别结果；
其中，所述害虫识别模型是基于如上任一所述的害虫识别模型更新方法，对原始害虫识别模型进行更新后得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述害虫识别模型更新方法，和/或，所述害虫识别方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述害虫识别模型更新方法，和/或，所述害虫识别方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述害虫识别模型更新方法，和/或，所述害虫识别方法。
本发明提供的害虫识别模型更新、害虫识别方法、装置及电子设备，通过基于第一样本图像、第一样本图像的害虫标注信息、教师模型输出的第一害虫识别结果以及增量学习损失函数对学生模型进行蒸馏训练，获得训练好的学生模型作为更新后的害虫识别模型，能基于教师-学生网络的思想，使得学生模型Mstu具备识别第二害虫种类的害虫的能力，从而避免模型更新造成第二害虫种类害虫的知识灾难性遗忘，通过在目标函数函数中引入第一预测害虫识别结果中每一预测框中是否包含第一害虫种类的害虫的预测值，能使得学生模型Mstu在获取识别第二害虫种类害虫的知识的同时，还能学习到识别第一害虫种类害虫的知识，从而能更好地满足实际应用中害虫识别模型的害虫种类增量更新的需求，能避免害虫识别模型可识别害虫种类的固化，能降低害虫识别模型更新所需的计算资源和所需的更新时间，能为害虫种类识别提供技术支持，能提高害虫种类识别的准确率和效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的害虫识别模型更新方法的流程示意图；
图2为本发明提供的害虫识别模型更新方法中原始害虫识别模型的结构示意图；
图3为本发明提供的害虫识别模型更新方法中学生模型的结构示意图；
图4为本发明提供的害虫识别模型更新方法中蒸馏损失的原理示意图；
图5是本发明提供的害虫识别方法的流程示意图；
图6是本发明提供的害虫识别模型更新装置的结构示意图；
图7是本发明提供的害虫识别装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是，传统的害虫识别方法中，可以基于机器学习算法构建初始机器学习模型，并基于样本及样本标签对上述初始机器学习模型进行训练，获得训练好的害虫识别模型用于害虫种类的识别。例如，手机端中的应用程序可以基于上述训练好的害虫识别模型定位和识别图片中存在的害虫个体，从而可以实现害虫的自动化、智能化识别，可以大大提高农技人员的工作效率，为一线生产者进行虫害治理提供数据支撑。
通常情况下，训练好的害虫识别模型只能识别出有限数量的害虫种类，训练好的害虫识别模型所能识别出的害虫种类数量，取决于训练时样本数据中包含的害虫类别。
但是，实际应用中，由于不同作物、不同季节易发的虫害类型差异较大，难以一次性采集到能覆盖所有害虫种类的样本数据。在样本数据中的害虫种类有限的情况下，难以满足害虫种类的自动化识别需求。
在实际应用中，增加已有害虫识别模型可识别的害虫种类的方式主要是将包括新类型害虫和包括旧类型害虫的样本数据合并到一起，将已有害虫识别模型重新训练一遍。这种方式随着害虫类别、样本数据量的不断增加，所需的计算资源和训练时间都会不断攀升，不利于模型的快速更新。
定期对已有害虫识别模型进行增量式更新，是解决这一问题的有效手段。在采集到包括新类型害虫的图像之后，基于增量学习方法对已有机器学习模型进行可识别类别的更新和扩展，可以提升已有机器学习模型的识别准确率，是模型真正走向智能化的途径之一。但是，相关技术中，尚未有应用于害虫识别的增量更新方法。
其中，增量学习是指按照一定的顺序对连续非独立同分布的流数据进行学习，根据任务的执行结果对模型进行增量式更新。增量学习需要解决的核心问题是旧知识的灾难性遗忘。采用传统的迁移学习方法对已有机器学习模型进行增量式更新后，更新后的模型对原有类型害虫的识别性能会急剧降低，即遗忘了在原有类型上学习到的知识。增量学习便是为了解决这一问题而提出的，增量学习常用策略主要包括正则化、记忆回放、参数隔离三类。
正则化、记忆回放和参数隔离三种增量学习策略设计思想各不相同，分别从不同的角度帮助模型保留旧知识学习新知识。正则化方法和参数隔离方法无需建立缓存用于保留以前的样本或其他数据，模型训练时只需要关注当前任务，对模型计算内存要求不高；在解决灾难性遗忘问题上，参数隔离方法能够尽可能地不干扰之前任务上学习到的知识，而记忆回放方法则是通过存储旧任务数据并在新任务学习时加入训练数据从而保留旧知识，两种策略的效果都优于正则化方法；然而随着任务量的增大，记忆回放方法需要更多的存储空间和计算成本来应对旧任务样本数据量的增大，参数隔离方法则会面临模型大小显著增加的问题。
对此，本发明提供一种基于正则化策略对害虫识别模型进行更新的害虫识别模型更新方法。本发明提供的害虫识别模型更新方法和害虫识别方法，可以支撑农业害虫识别模型在不访问旧数据前提下进行可识别害虫种类的增量更新，避免害虫识别模型更新对旧类别害虫知识的灾难性遗忘。
图1是本发明提供的害虫识别模型更新方法的流程示意图。下面结合图1描述本发明的害虫识别模型更新方法。如图1所示，该方法包括：步骤101、获取原始害虫识别模型作为教师模型；
其中，教师模型是基于第二样本图像和第二样本图像的害虫识别结果训练得到的；第一样本图像中包括的第一害虫种类与第二样本图像中包括的第二害虫种类不同。
需要说明的是，本发明实施例的执行主体为害虫识别模型更新装置。
需要说明的是，原始害虫识别模型Model0为本发明提供的害虫识别模型更新方法的更新对象。基于本发明提供的害虫识别模型更新方法，可以对原始害虫识别模型Model0进行增量更新，获得更新后的害虫识别模型Model1用于害虫识别。
需要说明的是，原始害虫识别模型Model0可以是基于机器学习网络模型构建，并以第二样本图像为样本，以第二样本图像的害虫识别结果为样本标签进行训练后得到的。其中，本发明实施例中将第二样本图像中包括的害虫种类称为第二害虫种类。
可以理解的是，第二样本图像的数量可以为多个；第二害虫种类的数量可以为多个。
本发明实施例中可以通过多种方式获取原始害虫识别模型Model0，例如可以基于用户的输入，获取原始害虫识别模型Model0；或者，还可以接收其他电子设备发送的原始害虫识别模型Model0。本发明实施例中的获取原始害虫识别模型Model0的具体方式不作限定。
需要说明的是，本发明实施例中对原始害虫识别模型Model0进行增量更新的样本数据包括第一样本图像以及第一样本图像的害虫标注信息。其中，本发明实施例中将第一样本图像中包括的害虫种类称为第一害虫种类。
可以理解的是，第一样本图像的数量可以为多个；第一害虫种类的数量亦可以为多个。
本发明实施例中将C0定义为表示第二害虫种类的集合；将D0定义为表示第二样本图像的集合；将Ck定义为表示第一害虫种类的集合；将Dk定义为表示第一样本图像的集合；将k定义为第二害虫种类的数量。
需要说明的是，本发明实施例中第一害虫种类与第二害虫种类不同，即满足
本发明实施例中可以通过多种方式获取第一样本图像，例如，可以通过大数据技术、网络爬虫或实地拍摄等方式获取第一样本图像。本发明实施例中对获取第一样本图像的具体方式不作限定。
获取第一样本图像的集合Dk之后，本发明实施例中可以通过目标框在第一样本图像中标注第一害虫种类的害虫，并可以标注上述目标框的中心点坐标(cx,cy)、上述目标框的长(width)、上述目标框的宽(height)以及上述目标框中的害虫的种类信息(class)。第一样本图像的标注信息，可以包括上述每一目标框的位置信息，还可以包括上述每一目标框的中心点坐标、长、款以及种类信息等。
获取原始害虫识别模型Model0之后，可以将原始害虫识别模型Model0确定为教师模型Mtea。
作为一个可选地实施例，原始害虫识别模型基于YOLOv5网络模型构建。
其中，YOLO是“You only look once”缩写，是一种可以将图像划分为网格***的对象检测算法，网格中的每个单元负责检测自身内的对象。YOLOv5作为YOLO系列第五个迭代版本，具有运算速度高、准确性高、算法逻辑简单、权重文件小以及可搭载在配置更低的移动设备上等优点。因此，本发明实施例中的原始害虫识别模型基于YOLOv5网络模型构建。
相应地，将待识别图像输入原始害虫识别模型Model0之后，原始害虫识别模型Model0可以输出多个尺度的害虫识别结果。
可选地，本发明实施例中的原始害虫识别模型Model0可以是基于YOLOv5s网络模型构建的。以下以原始害虫识别模型Model0基于YOLOv5s网络模型构建为例，说明本发明提供的害虫识别模型更新方法。
图2为本发明提供的害虫识别模型更新方法中原始害虫识别模型的结构示意图。如图2所示，原始害虫识别模型Model0中可以包括Backbone模块、Neck模块和Head模块三部分。
需要说明的是，图2中的Conv、C3以及SPFF分别表示原始害虫识别模型Model0中的不同单元，Detect表示不同尺度的检测单元。各单元的具体信息可以参考传统的YOLOv5s网络模型，本发明实施例中不再赘述。
步骤102、基于教师模型构建学生模型。
图3为本发明提供的害虫识别模型更新方法中学生模型的结构示意图。如图3所示，本发明实施例中可以将教师模型Mtea的模型结构确定为初始模型结构。
将教师模型Mtea的模型结构确定为初始模型结构之后，可以将上述初始模型结构中Detect单元的输出通道数在教师模型Mtea中Detect单元输出通道数的基础上增加3×k，将上述初始模型结构中Head模块中Conv单元的初始参数设置为随机值，将上述初始模型结构中除上述Conv单元之外的其他单元的初始参数，设置为教师模型Mtea中对应单元的模型参数之后，进而得到学生模型Mstu。
步骤103、基于第一样本图像、第一样本图像的害虫标注信息、第一害虫识别结果以及增量学习损失函数对学生模型进行蒸馏训练，获得训练好的学生模型作为更新后的害虫识别模型；
其中，第一害虫识别结果是将第一样本图像输入教师模型，由教师模型输出的；
增量学习损失函数包括学生模型的模型训练损失函数；模型训练损失函数基于第一预测害虫识别结果和第一样本图像的害虫标注信息确定；第一预测害虫识别结果是将第一样本图像输入训练中的学生模型，由训练中的学生模型输出的；
模型训练损失函数中的变量包括第一预测害虫识别结果中每一预测框中是否包含第一害虫种类害虫的预测值；预测框用于在第一预测害虫识别结果中标识识别到的害虫。
具体地，获取第一样本图像之后，可以将第一样本图像输入教师模型Mtea。
可以理解的是，教师模型Mtea仅能识别出第一害虫种类的害虫，因此，将第一样本图像输入教师模型Mtea之后，教师模型Mtea可以用标记框在第一样本图像中标记识别到的第一害虫种类的害虫，并将标记后的第一样本图像作为第一害虫识别结果输出。
需要说明的是，教师模型Mtea可以输出多个尺度的第一害虫识别结果。
本发明实施例中基于第一样本图像、第一样本图像的害虫标注信息、第一害虫识别结果以及增量学习损失函数对学生模型进行蒸馏训练，对于教师模型Mtea而言，可以基于教师-学生网络的思想，将教师模型Mtea识别第二害虫种类害虫的知识迁移到学生模型Mstu，从而可以使得学生模型Mstu具备识别第二害虫种类的害虫的能力，避免模型更新造成第二害虫种类害虫的知识灾难性遗忘。
将第一样本图像输入训练中的学生模型Mstu之后，训练中的学生模型Mstu可以用预测框在第一样本图像中标注识别到的害虫，并将标记后的第一样本图像作为第一预测害虫识别结果输出。
需要说明的是，训练中的学生模型Mstu可以输出多个尺度的第一预测害虫识别结果。
需要说明的是，本发明实施例中的增量学习损失函数Lincremental包括学生模型Mstu的模型训练损失函数Lstu。
需要说明的是，本发明实施例中将第一预测害虫识别结果中每一预测框是否包括第一害虫种类的害虫的预测值引入模型训练损失函数Lstu，对于学生模型Mstu而言，可以在对学生模型Mstu进行蒸馏训练的过程中，去除第一样本图像中未标注的第二害虫种类的害虫的影响，仅基于第一样本图像中第一害虫种类的害虫进行训练，使得学生模型Mstu在获取识别第二害虫种类害虫的知识的同时，还可以学习到识别第一害虫种类害虫的知识，可以更好地满足实际应用中害虫识别模型的害虫种类增量更新的需求，避免了害虫识别模型可识别害虫类别的固化，同时可降低害虫识别模型更新所需的计算资源和所需的更新时间。
作为一个可选地实施例，模型训练损失函数，包括：害虫目标分类损失函数；
害虫目标分类损失函数还包括第一预测害虫识别结果中每一网格中是否包含第一害虫种类的害虫的预测值以及第一预测害虫识别结果中每一网格是否包含第一害虫种类的害虫的真值。
具体地，模型训练损失函数Lstu包括害虫目标分类损失函数Lcls。
害虫目标分类损失函数Lcls基于带有Sigmoid函数的BCE损失函数构建，害虫目标分类损失函数Lcls可以通过公式(1)表示：
其中，c用于标识害虫种类；本发明实施例中的c∈Ck；
表示S2表示第一预测害虫识别结果中的网格总数；i用于标识第一预测害虫识别结果中网格的行数；j用于标识第一预测害虫识别结果中网格的列数；B表示第一预测害虫识别结果中预测框的总数；b用于标识第一预测害虫识别结果中的预测框；
表示指示函数(indicator function)，含义为在输入为True的情况下，输出为1，在输入为False的情况下，输出为0；/>表示第一预测害虫识别结果中位于第i行第j列的网格中的第b个预测框中是否包括第一害虫种类的害虫的预测值；/>表示第一预测害虫识别结果中位于第i行第j列的网格中的第b个预测框中包括第一害虫种类的害虫；表示第一预测害虫识别结果中位于第i行第j列的网格中的第b个预测框中不包括第一害虫种类的害虫；
表示第一预测害虫识别结果中位于第i行第j列的网格中是否包括第一害虫种类的害虫的预测值，/>表示第一预测害虫识别结果中位于第i行第j列的网格中包括第一害虫种类的害虫；/>表示第一预测害虫识别结果中位于第i行第j列的网格中不包括第一害虫种。
表示第一预测害虫识别结果中位于第i行第j列的网格中是否包括第一害虫种类的害虫的真值，/>表示第一预测害虫识别结果中位于第i行第j列的网格中实际包括第一害虫种类的害虫；/>表示第一预测害虫识别结果中位于第i行第j列的网格中实际不包括第一害虫种类的害虫；/>可以基于第一样本图像的害虫标注信息确定；
pc表示第一害虫种类的集合Ck对应的权重系数；
σ()表示Sigmoid函数；表示将/>输入Sigmoid函数计算得到的数值。
需要说明的是，本发明实施例中将第一预测害虫识别结果中位于第i行第j列的网格中的第b个预测框中是否包括第一害虫种类的害虫的预测值第一预测害虫识别结果中位于第i行第j列的网格中是否包括第一害虫种类的害虫的预测值/>以及第一预测害虫识别结果中位于第i行第j列的网格中是否包括第一害虫种类的害虫的真值/>引入害虫目标分类损失函数Lcls，能进一步提高训练得到的学生模型Mstu识别第一害虫种类害虫的准确率。
作为一个可选地实施例，模型训练损失函数，还包括：定位损失函数；
定位损失函数基于CIOU损失函数构建。
具体地，模型训练损失函数Lstu还包括定位损失函数Lloc。
定位损失函数Lloc基于CIOU函数构建，定位损失函数Lloc可以通过公式(2)至公式(6)表示：
其中，Area()表示面积计算函数；boxpred表示第一预测害虫识别结果中用于标识训练中的学生模型Mstu识别到的害虫的预测框；boxtarget表示第一样本图像的害虫标注信息中用于标识害虫的目标框；
IOU表示交并比，即预测框boxpred与目标框boxtarget之间相交区域面积与相并部分面积的比值；
ρ表示预测框boxpred的中心点与目标框boxtarget的中心点之间的距离；d表示预测框boxpred与目标框boxtarget最小包围矩阵的对角线长度；
v表示预测框boxpred与目标框boxtarget的宽高比相似度；α表示v的影响因子；
wt表示目标框boxtarget的长度；ht表示目标框boxtarget的宽度；wp表示预测框boxpred的长度；hp表示预测框boxpred的宽度。
需要说明的是，本发明实施例中将第一预测害虫识别结果中位于第i行第j列的网格中的第b个预测框中是否包括第一害虫种类的害虫的预测值引入定位损失函数Lloc，能进一步提高训练得到的学生模型Mstu识别第一害虫种类害虫的准确率。
作为一个可选地实施例，模型训练损失函数，还包括：置信度损失函数；
置信度损失函数基于携带有Sigmoid函数的BCE损失函数构建。
具体地，模型训练损失函数Lstu还包括置信度损失函数Lobj-conf。
模型训练损失函数Lstu可以通过公式(7)表示：
其中，表示害虫目标分类损失函数Lcls的权重系数；/>表示置信度损失函数Lobj-conf的权重系数；/>表示定位损失函数Lloc的权重系数。
置信度损失函数Lobj-conf基于带有Sigmoid函数的BCE损失函数构建，置信度损失函数Lobj-conf可以通过公式(8)表示：
其中，表示第一预测害虫识别结果中位于第i行第j列的网格中第b个预测框中是否包括第一害虫种类；/>表示第一预测害虫识别结果中位于第i行第j列的网格中第b个预测框包含第一害虫种类；/>表示第一预测害虫识别结果中位于第i行第j列的网格中第b个预测框不包含第一害虫种类。
表示第一预测害虫识别结果中位于第i行第j列的网格中是否包括第二害虫种类的害虫；/>表示第一预测害虫识别结果中位于第i行第j列的网格中的第b个预测框中包括第二害虫种类的害虫；/>表示第一预测害虫识别结果中位于第i行第j列的网格中的第b个预测框中不包括第二害虫种类的害虫；
在第一预测害虫识别结果中位于第i行第j列的网格中的第b个预测框中包括第一害虫种类的害虫的情况下，置信度对应真值为当前预测框计算出的CIOU；
在第一预测害虫识别结果中位于第i行第j列的网格中的第b个预测框中不包括第一害虫种类的害虫的情况下，可能存在以下两种情况：第一，上述第b个预测框为背景，置信度对应真值为0(即当前预测框计算出的CIOU为0)；第二，上述第b个预测框包括第二害虫种类的害虫，记为此时不计算损失，即去除掉可能存在第二害虫种类的害虫，不加入模型优化。
需要说明的是，本发明实施例中通过对YOLOv5传统的置信度损失函数进行改进，可以在模型更新训练的过程中，去除第一样本图像中可能存在的无标注的第二害虫种类害虫的影响，仅针对较明确的样本进行置信度损失计算。
本发明实施例通过基于第一样本图像、第一样本图像的害虫标注信息、教师模型输出的第一害虫识别结果以及增量学习损失函数对学生模型进行蒸馏训练，获得训练好的学生模型作为更新后的害虫识别模型，能基于教师-学生网络的思想，使得学生模型Mstu具备识别第二害虫种类的害虫的能力，从而避免模型更新造成第二害虫种类害虫的知识灾难性遗忘，通过在目标函数函数中引入第一预测害虫识别结果中每一预测框中是否包含第一害虫种类的害虫的预测值，能使得学生模型Mstu在获取识别第二害虫种类害虫的知识的同时，还能学习到识别第一害虫种类害虫的知识，从而能更好地满足实际应用中害虫识别模型的害虫种类增量更新的需求，能避免害虫识别模型可识别害虫种类的固化，能降低害虫识别模型更新所需的计算资源和所需的更新时间，能为害虫种类识别提供技术支持，能提高害虫种类识别的准确率和效率。
基于上述各实施例的内容，增量学习损失函数还包括学生模型和教师模型之间的知识蒸馏损失函数；
知识蒸馏损失函数基于第一预测害虫识别结果和第一害虫识别结果确定；
知识蒸馏损失函数中的变量包括第一预测害虫识别结果中每一预测框中是否包含第二害虫种类害虫的预测值以及第一害虫识别结果中每一标识框中是否包含第二害虫种类害虫的真值，和/或，第一预测害虫识别结果中每一预测框中第二害虫种类的害虫的位置信息以及第一害虫识别结果中每一标识框中第二害虫种类的害虫的位置信息；标识框用于在第一害虫识别结果中标识识别到的害虫。
需要说明的是，本发明实施例中的增量学习损失函数Lincremental还包括教师模型Mtea与学生模型Mstu之间的知识蒸馏损失函数Ldist。增量学习损失函数Lincremental可以通过公式(1)表示：
Lincremental＝Lstu+λLdist (9)
其中，λ表示蒸馏损失系数。蒸馏损失系数λ的取值可以是根据先验知识和/或实际情况预定义的。
需要说明的是，本发明实施例中将第一预测害虫识别结果中每一预测框中是否包含第二害虫种类害虫的预测值以及第一害虫识别结果中每一标识框中是否包含第二害虫种类害虫的真值，和/或，第一预测害虫识别结果中每一预测框中第二害虫种类的害虫的位置信息以及第一害虫识别结果中每一标识框中第二害虫种类的害虫的位置信息引入知识蒸馏损失函数Ldist，可以从特征提取、分类和定位中的至少一个层面保留教师模型Mtea在第二害虫种类害虫识别中学习到的知识，减少学生模型Mstu在识别第二害虫种类害虫时面临的灾难性遗忘问题。
作为一个可选地实施例，知识蒸馏损失函数，包括：类别蒸馏损失函数；
类别蒸馏损失函数基于L2 loss构建；在知识蒸馏损失函数包括类别蒸馏损失函数的情况下，知识蒸馏损失函数中的变量包括第一预测害虫识别结果中每一预测框中是否包含第二害虫种类害虫的预测值以及第一害虫识别结果中每一标识框中是否包含第二害虫种类害虫的真值。
图4为本发明提供的害虫识别模型更新方法中蒸馏损失的原理示意图。如图4所示，知识蒸馏损失函数Ldist包括类别蒸馏损失函数Ldist-cls。
类别蒸馏损失函数Ldist-cls基于L2 loss构建，类别蒸馏损失函数Ldist-cls可以通过公式(10)表示：
其中，表示教师模型Mtea的目标执行度；τ表示预定义的阈值；基于教师模型Mtea的目标执行度/>可以对需要蒸馏的损失进行过滤，从而可以仅对置信度大的包括第二害虫种类的预测框进行蒸馏损失计算。
其中，表示第一预测害虫识别结果中位于第i行第j列的网格中第b个预测框中是否包括第二害虫种类的害虫的预测值；/>表示第一预测害虫识别结果中位于第i行第j列的网格中第b个预测框中包括第二害虫种类的害虫；/>表示第一预测害虫识别结果中位于第i行第j列的网格中第b个预测框中不包括第二害虫种类的害虫。
表示第一害虫识别结果中位于第i行第j列的网格中第b个识别框中是否包括第二害虫种类的害虫的真值；/>表不第一害虫识别结果中位于第i行第j列的网格中第b个标识框中实际第二害虫种类的害虫；/>表示第一害虫识别结果中位于第i行第j列的网格中第b个标识框中实际不包括第二害虫种类的害虫。
作为一个可选地实施例，知识蒸馏损失函数，还包括：定位蒸馏损失函数；
定位蒸馏损失函数基于L2 loss构建；在知识蒸馏损失函数包括定位蒸馏损失函数情况下，知识蒸馏损失函数中的变量包括第一预测害虫识别结果中每一预测框中第二害虫种类的害虫的位置信息以及第一害虫识别结果中每一标识框中第二害虫种类的害虫的位置信息。
具体地，如图4所示，知识蒸馏损失函数Ldist还包括定位蒸馏损失Ldist-loc。
定位蒸馏损失Ldist-loc基于L2 loss构建，定位蒸馏损失Ldist-loc可以通过公式(11)表示：
其中，表示第一预测害虫识别结果中位于第i行第j列的网格中第b个预测框中第二害虫种类的害虫的位置信息；
表示第一害虫识别结果中位于第i行第j列的网格中第b个识别框中第二害虫种类的害虫的位置信息。
可选地，如图4所示，知识蒸馏损失函数Ldist还包括特征提取蒸馏损失函数Ldist-feat。
知识蒸馏损失函数Ldist可以通过公式(12)表示：
其中，表示特征提取蒸馏损失Ldist-feat的权重系数；/>表示类别蒸馏损失函数Ldist-cls的权重系数；/>表示定位蒸馏损失Ldist-loc的权重系数。
特征提取蒸馏损失函数Ldist-feat基于L1 loss并参考Faster-ILOD方法所采用的特征蒸馏损失构建，特征提取蒸馏损失Ldist-feat可以通过公式(13)表示：
其中，Ftea表示教师模型Mtea的Backbone模块输出特征图；Fstu表示学生模型Mstu的Backbone模块输出特征图；表示经过0均值归一化处理之后的特征图Ftea；/>表示经过0均值归一化处理之后的特征图Fstu；
M表示模型Backbone模块输出的特征图元素总数；其中，特征图是feature map，本质是一个三维向量，元素是这个向量的每一个数值；
和/>为Ftea和Fstu归一化后同一位置上的数值。
基于增量学习损失函数Lincremental对学生模型Mstu进行蒸馏训练，获得训练好的学生模型Mstu之后，可以将上述训练好的学生模型Mstu确定为更新后的害虫识别模型Model1。
上述更新后的害虫识别模型Model1可识别的害虫种类为C0∪Ck。
本发明提供的一种害虫识别模型更新方法，能在不使用旧害虫种类训练数据(第二样本图像及第二样本图像的害虫识别标注信息)的条件下扩展原始害虫识别模型Model0可识别的害虫种类，能仅利用新增害虫种类的样本数据(第一样本图像及第一样本图像的害虫识别标注信息)和原始害虫识别模型Model0的模型参数，完成对原始害虫识别模型Model0的更新。本发明能满足实际应用中害虫识别模型的害虫种类增量更新需求，避免了模型可识别害虫种类的固化，同时可降低更新模型所需投入的计算资源和时间成本，可与相关农业大数据平台相结合，构建一套自动化的模型更新框架。
图5是本发明提供的害虫识别方法的流程示意图。下面结合图5描述本发明的害虫识别方法。如图5所示，该方法包括：步骤501、获取待识别图像；
需要说明的是，本发明实施例的执行主体为害虫识别装置。
具体地，本发明实施例中可以通过多种方式获取待识别图像。例如，可以基于用户的输入获取上述待识别图像；或者，还可以接收其他电子设备发送的待识别图像。本发明实施例中对获取待识别图像的具体方式不作限定。
步骤502、将待识别图像输入害虫识别模型，获取害虫识别模型输出的害虫识别结果；
其中，害虫识别模型是基于如上任一所述的害虫识别模型更新方法，对原始害虫识别模型进行更新后得到的。
需要说明的是，本发明实施例中的害虫识别模型，是基于上述害虫识别模型更新方法对原始害虫识别模型Model0进行增量更新后得到的，即为上文中更新后的害虫识别模型Model1。
具体地，获取待识别图像之后，可以将待识别图像输入害虫识别模型Model1。
害虫识别模型Model1可以对待识别图像中第一害虫种类和第二害虫种类的害虫进行识别，并通过标注框在待识别图像中标注识别到害虫，还可以在待识别图像中标注识别到的害虫的种类信息，进而可以将标注后的待识别图像作为待识别图像的害虫识别结果进行输出。
本发明实施例通过将待识别图像输入害虫识别模型，获取上述害虫识别模型输出的害虫识别结果，上述害虫识别模型是基于本发明提供的害虫识别模型更新方法更新得到的，能提高害虫种类识别的准确率和效率，能提高害虫种类识别的自动化水平，能为虫害的防治或测报提高数据支撑。
图6是本发明提供的害虫识别模型更新装置的结构示意图。下面结合图6对本发明提供的害虫识别模型更新装置进行描述，下文描述的害虫识别模型更新装置与上文描述的本发明提供的害虫识别模型更新方法可相互对应参照。如图6所示，该装置包括：模型获取模块601、模型构建模块602和模型更新模块603。
模型获取模块601，用于获取原始害虫识别模型作为教师模型；
模型构建模块602，用于基于教师模型构建学生模型；
模型更新模块603，用于基于第一样本图像、第一样本图像的害虫标注信息、第一害虫识别结果以及增量学习损失函数对学生模型进行蒸馏训练，获得训练好的学生模型作为更新后的害虫识别模型；
其中，教师模型是基于第二样本图像和第二样本图像的害虫识别结果训练得到的；第一样本图像中包括的第一害虫种类与第二样本图像中包括的第二害虫种类不同；第一害虫识别结果是将第一样本图像输入教师模型，由教师模型输出的；
增量学习损失函数包括学生模型的模型训练损失函数；模型训练损失函数基于第一预测害虫识别结果和第一样本图像的害虫标注信息确定；第一预测害虫识别结果是将第一样本图像输入训练中的学生模型，由训练中的学生模型输出的；
模型训练损失函数中的变量包括第一预测害虫识别结果中每一预测框中是否包含第一害虫种类害虫的预测值；预测框用于在第一预测害虫识别结果中标识识别到的害虫。
具体地，模型获取模块601、模型构建模块602和模型更新模块603电连接。
本发明实施例中的害虫识别模型更新装置，通过基于第一样本图像、第一样本图像的害虫标注信息、教师模型输出的第一害虫识别结果以及增量学习损失函数对学生模型进行蒸馏训练，获得训练好的学生模型作为更新后的害虫识别模型，能基于教师-学生网络的思想，使得学生模型Mstu具备识别第二害虫种类的害虫的能力，从而避免模型更新造成第二害虫种类害虫的知识灾难性遗忘，通过在目标函数函数中引入第一预测害虫识别结果中每一预测框中是否包含第一害虫种类的害虫的预测值，能使得学生模型Mstu在获取识别第二害虫种类害虫的知识的同时，还能学习到识别第一害虫种类害虫的知识，从而能更好地满足实际应用中害虫识别模型的害虫种类增量更新的需求，能避免害虫识别模型可识别害虫种类的固化，能降低害虫识别模型更新所需的计算资源和所需的更新时间，能为害虫种类识别提供技术支持，能提高害虫种类识别的准确率和效率。
图7是本发明提供的害虫识别装置的结构示意图。下面结合图7对本发明提供的害虫识别装置进行描述，下文描述的害虫识别模型更新装置与上文描述的本发明提供的害虫识别方法可相互对应参照。如图7所示，该装置包括：图像获取模块701和害虫识别模块702。
图像获取模块701，用于获取待识别图像；
害虫识别模块702，用于将待识别图像输入害虫识别模型，获取害虫识别模型输出的害虫识别结果；
其中，害虫识别模型是基于如上任一所述的害虫识别模型更新方法，对原始害虫识别模型进行更新后得到的。
具体地，图像获取模块701和害虫识别模块702电连接。
本发明实施例中的害虫识别装置，通过将待识别图像输入害虫识别模型，获取上述害虫识别模型输出的害虫识别结果，上述害虫识别模型是基于本发明提供的害虫识别模型更新方法更新得到的，能提高害虫种类识别的准确率和效率，能提高害虫种类识别的自动化水平，能为虫害的防治或测报提高数据支撑。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行害虫识别模型更新方法，和/或，害虫识别方法。害虫识别模型更新方法包括：获取原始害虫识别模型作为教师模型；基于教师模型构建学生模型；基于第一样本图像、第一样本图像的害虫标注信息、第一害虫识别结果以及增量学习损失函数对学生模型进行蒸馏训练，获得训练好的学生模型作为更新后的害虫识别模型；其中，教师模型是基于第二样本图像和第二样本图像的害虫识别结果训练得到的；第一样本图像中包括的第一害虫种类与第二样本图像中包括的第二害虫种类不同；第一害虫识别结果是将第一样本图像输入教师模型，由教师模型输出的；增量学习损失函数包括学生模型的模型训练损失函数；模型训练损失函数基于第一预测害虫识别结果和第一样本图像的害虫标注信息确定；第一预测害虫识别结果是将第一样本图像输入训练中的学生模型，由训练中的学生模型输出的；模型训练损失函数中的变量包括第一预测害虫识别结果中每一预测框中是否包含第一害虫种类害虫的预测值；预测框用于在第一预测害虫识别结果中标识识别到的害虫。害虫识别方法包括：获取待识别图像；将待识别图像输入害虫识别模型，获取害虫识别模型输出的害虫识别结果；其中，害虫识别模型是基于如上任一的害虫识别模型更新方法，对原始害虫识别模型进行更新后得到的。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的害虫识别模型更新方法，和/或，害虫识别方法。害虫识别模型更新方法包括：获取原始害虫识别模型作为教师模型；基于教师模型构建学生模型；基于第一样本图像、第一样本图像的害虫标注信息、第一害虫识别结果以及增量学习损失函数对学生模型进行蒸馏训练，获得训练好的学生模型作为更新后的害虫识别模型；其中，教师模型是基于第二样本图像和第二样本图像的害虫识别结果训练得到的；第一样本图像中包括的第一害虫种类与第二样本图像中包括的第二害虫种类不同；第一害虫识别结果是将第一样本图像输入教师模型，由教师模型输出的；增量学习损失函数包括学生模型的模型训练损失函数；模型训练损失函数基于第一预测害虫识别结果和第一样本图像的害虫标注信息确定；第一预测害虫识别结果是将第一样本图像输入训练中的学生模型，由训练中的学生模型输出的；模型训练损失函数中的变量包括第一预测害虫识别结果中每一预测框中是否包含第一害虫种类害虫的预测值；预测框用于在第一预测害虫识别结果中标识识别到的害虫。害虫识别方法包括：获取待识别图像；将待识别图像输入害虫识别模型，获取害虫识别模型输出的害虫识别结果；其中，害虫识别模型是基于如上任一的害虫识别模型更新方法，对原始害虫识别模型进行更新后得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的害虫识别模型更新方法，和/或，害虫识别方法。害虫识别模型更新方法包括：获取原始害虫识别模型作为教师模型；基于教师模型构建学生模型；基于第一样本图像、第一样本图像的害虫标注信息、第一害虫识别结果以及增量学习损失函数对学生模型进行蒸馏训练，获得训练好的学生模型作为更新后的害虫识别模型；其中，教师模型是基于第二样本图像和第二样本图像的害虫识别结果训练得到的；第一样本图像中包括的第一害虫种类与第二样本图像中包括的第二害虫种类不同；第一害虫识别结果是将第一样本图像输入教师模型，由教师模型输出的；增量学习损失函数包括学生模型的模型训练损失函数；模型训练损失函数基于第一预测害虫识别结果和第一样本图像的害虫标注信息确定；第一预测害虫识别结果是将第一样本图像输入训练中的学生模型，由训练中的学生模型输出的；模型训练损失函数中的变量包括第一预测害虫识别结果中每一预测框中是否包含第一害虫种类害虫的预测值；预测框用于在第一预测害虫识别结果中标识识别到的害虫。害虫识别方法包括：获取待识别图像；将待识别图像输入害虫识别模型，获取害虫识别模型输出的害虫识别结果；其中，害虫识别模型是基于如上任一的害虫识别模型更新方法，对原始害虫识别模型进行更新后得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种害虫识别模型更新方法，其特征在于，包括：
获取原始害虫识别模型作为教师模型；
基于所述教师模型构建学生模型；
基于第一样本图像、所述第一样本图像的害虫标注信息、第一害虫识别结果以及增量学习损失函数对所述学生模型进行蒸馏训练，获得训练好的学生模型作为更新后的害虫识别模型；
其中，所述教师模型是基于第二样本图像和所述第二样本图像的害虫识别结果训练得到的；所述第一样本图像中包括的第一害虫种类与第二样本图像中包括的第二害虫种类不同；所述第一害虫识别结果是将所述第一样本图像输入所述教师模型，由所述教师模型输出的；
所述增量学习损失函数包括所述学生模型的模型训练损失函数；所述模型训练损失函数基于第一预测害虫识别结果和所述第一样本图像的害虫标注信息确定；所述第一预测害虫识别结果是将所述第一样本图像输入训练中的学生模型，由所述训练中的学生模型输出的；
所述模型训练损失函数中的变量包括所述第一预测害虫识别结果中每一预测框中是否包含所述第一害虫种类害虫的预测值；所述预测框用于在所述第一预测害虫识别结果中标识识别到的害虫。
2.根据权利要求1所述的害虫识别模型更新方法，其特征在于，所述模型训练损失函数，包括：害虫目标分类损失函数；
所述害虫目标分类损失函数中的变量还包括所述第一预测害虫识别结果中每一网格中是否包含所述第一害虫种类的害虫的预测值，以及所述第一预测害虫识别结果中每一网格是否包含所述第一害虫种类的害虫的真值。
3.根据权利要求1所述的害虫识别模型更新方法，其特征在于，所述增量学习损失函数还包括所述学生模型和所述教师模型之间的知识蒸馏损失函数；
所述知识蒸馏损失函数基于所述第一预测害虫识别结果和所述第一害虫识别结果确定；
所述知识蒸馏损失函数中的变量包括所述第一预测害虫识别结果中每一预测框中是否包含所述第二害虫种类害虫的预测值以及第一害虫识别结果中每一标识框中是否包含所述第二害虫种类害虫的真值，和/或，所述第一预测害虫识别结果中每一预测框中所述第二害虫种类的害虫的位置信息以及所述第一害虫识别结果中每一标识框中所述第二害虫种类的害虫的位置信息；所述标识框用于在所述第一害虫识别结果中标识识别到的害虫。
4.根据权利要求3所述的害虫识别模型更新方法，其特征在于，所述知识蒸馏损失函数，包括：类别蒸馏损失函数；
所述类别蒸馏损失函数基于L2 loss构建；
在所述知识蒸馏损失函数包括类别蒸馏损失函数的情况下，所述知识蒸馏损失函数中的变量包括所述第一预测害虫识别结果中每一预测框中是否包含所述第二害虫种类害虫的预测值以及第一害虫识别结果中每一标识框中是否包含所述第二害虫种类害虫的真值。
5.根据权利要求3所述的害虫识别模型更新方法，其特征在于，所述知识蒸馏损失函数，包括：定位蒸馏损失函数；
所述定位蒸馏损失函数基于L2 loss构建；
在所述知识蒸馏损失函数包括定位蒸馏损失函数情况下，所述知识蒸馏损失函数中的变量包括所述第一预测害虫识别结果中每一预测框中所述第二害虫种类的害虫的位置信息以及所述第一害虫识别结果中每一标识框中所述第二害虫种类的害虫的位置信息。
6.根据权利要求1至5任一所述的害虫识别模型更新方法，其特征在于，所述原始害虫识别模型基于YOLOv5网络模型构建。
7.一种害虫识别方法，其特征在于，包括：
获取待识别图像；
将所述待识别图像输入害虫识别模型，获取所述害虫识别模型输出的害虫识别结果；
其中，所述害虫识别模型是基于如权利要求1至6任一所述的害虫识别模型更新方法，对原始害虫识别模型进行更新后得到的。
8.一种害虫识别模型更新装置，其特征在于，包括：
模型获取模块，用于获取原始害虫识别模型作为教师模型；
模型构建模块，用于基于所述教师模型构建学生模型；
模型更新模块，用于基于第一样本图像、所述第一样本图像的害虫标注信息、第一害虫识别结果以及增量学习损失函数对所述学生模型进行蒸馏训练，获得训练好的学生模型作为更新后的害虫识别模型；
其中，所述教师模型是基于第二样本图像和所述第二样本图像的害虫识别结果训练得到的；所述第一样本图像中包括的第一害虫种类与第二样本图像中包括的第二害虫种类不同；所述第一害虫识别结果是将所述第一样本图像输入所述教师模型，由所述教师模型输出的；
所述增量学习损失函数包括所述学生模型的模型训练损失函数；所述模型训练损失函数基于第一预测害虫识别结果和所述第一样本图像的害虫标注信息确定；所述第一预测害虫识别结果是将所述第一样本图像输入训练中的学生模型，由所述训练中的学生模型输出的；
所述模型训练损失函数中的变量包括所述第一预测害虫识别结果中每一预测框中是否包含所述第一害虫种类害虫的预测值；所述预测框用于在所述第一预测害虫识别结果中标识识别到的害虫。
9.一种害虫识别装置，其特征在于，包括：
图像获取模块，用于获取待识别图像；
害虫识别模块，用于将所述待识别图像输入害虫识别模型，获取所述害虫识别模型输出的害虫识别结果；
其中，所述害虫识别模型是基于如权利要求1至6任一所述的害虫识别模型更新方法，对原始害虫识别模型进行更新后得到的。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述害虫识别模型更新方法，和/或，如权利要求7所述害虫识别方法。
CN202310619920.0A 2023-05-29 2023-05-29 害虫识别模型更新、害虫识别方法、装置及电子设备 Pending CN116958806A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310619920.0A CN116958806A (zh) 2023-05-29 2023-05-29 害虫识别模型更新、害虫识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310619920.0A CN116958806A (zh) 2023-05-29 2023-05-29 害虫识别模型更新、害虫识别方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN116958806A true CN116958806A (zh) 2023-10-27

Family

ID=88453733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310619920.0A Pending CN116958806A (zh) 2023-05-29 2023-05-29 害虫识别模型更新、害虫识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116958806A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237814A (zh) * 2023-11-14 2023-12-15 四川农业大学 一种基于注意力机制优化的大规模果园虫情监测方法
CN118152897A (zh) * 2024-05-11 2024-06-07 云账户技术(天津)有限公司 敏感信息识别模型的训练方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237814A (zh) * 2023-11-14 2023-12-15 四川农业大学 一种基于注意力机制优化的大规模果园虫情监测方法
CN117237814B (zh) * 2023-11-14 2024-02-20 四川农业大学 一种基于注意力机制优化的大规模果园虫情监测方法
CN118152897A (zh) * 2024-05-11 2024-06-07 云账户技术(天津)有限公司 敏感信息识别模型的训练方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111079602B (zh) 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN116958806A (zh) 害虫识别模型更新、害虫识别方法、装置及电子设备
CN111553200A (zh) 一种图像检测识别方法及装置
CN111881958B (zh) 车牌分类识别方法、装置、设备及存储介质
CN108153861A (zh) 基于gis的河口渔业资源集群分布分析方法
CN112037146A (zh) 医学图像伪影自动校正方法、装置和计算机设备
CN114241425B (zh) 垃圾检测模型的训练方法、装置、存储介质及设备
CN116310718A (zh) 一种基于YOLOv5模型的害虫目标检测方法、***及设备
CN111178196B (zh) 一种细胞分类的方法、装置及设备
CN112465821A (zh) 一种基于边界关键点感知的多尺度害虫图像检测方法
CN116739739A (zh) 一种贷款额度评估方法、装置、电子设备及存储介质
CN117132802A (zh) 一种田间小麦病虫害识别方法、装置及存储介质
CN116310541A (zh) 基于卷积网络多维度学习的昆虫分类方法及***
CN114708307B (zh) 基于相关滤波器的目标跟踪方法、***、存储介质及设备
CN116363532A (zh) 基于注意力机制和重参数化的无人机图像交通目标检测方法
CN114037853B (zh) 基于拉普拉斯秩约束的深度图像聚类方法
CN114492657A (zh) 植物疾病分类方法、装置、电子设备及存储介质
CN114283323A (zh) 一种基于图像深度学习的海上目标识别***
CN115512174A (zh) 应用二次IoU损失函数的无锚框目标检测方法
CN112016515A (zh) 一种档案柜空位检测方法及装置
CN115272763B (zh) 一种基于细粒度特征融合的鸟类识别方法
CN111435537A (zh) 模型训练方法、装置及基于拼接图的位姿优化方法、装置
CN115546186B (zh) 基于YOLO v4的农业病虫害检测方法及装置
CN117011719B (zh) 一种基于卫星图像的水资源信息采集方法
CN113537458B (zh) 一种有理式函数神经网络构建方法、***及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination