CN113762051B - 模型训练方法、图像检测方法、装置、存储介质及设备 - Google Patents
模型训练方法、图像检测方法、装置、存储介质及设备 Download PDFInfo
- Publication number
- CN113762051B CN113762051B CN202110523328.1A CN202110523328A CN113762051B CN 113762051 B CN113762051 B CN 113762051B CN 202110523328 A CN202110523328 A CN 202110523328A CN 113762051 B CN113762051 B CN 113762051B
- Authority
- CN
- China
- Prior art keywords
- detection
- training
- model
- image sample
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 405
- 238000012549 training Methods 0.000 title claims abstract description 281
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000003860 storage Methods 0.000 title claims abstract description 26
- 238000010586 diagram Methods 0.000 claims abstract description 41
- 238000002372 labelling Methods 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 13
- 238000013140 knowledge distillation Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000004088 simulation Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 241000282472 Canis lupus familiaris Species 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 5
- 241000283690 Bos taurus Species 0.000 description 4
- 241000283086 Equidae Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 241000555745 Sciuridae Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种模型训练方法、图像检测方法、装置、存储介质及设备，通过获取图像样本经第一检测模型处理后得到的第一特征图，以及获取图像样本经第二检测模型处理后得到的第二特征图；基于第一特征图与第二特征图计算图像样本中包含的物***置对应的第一训练损失参数；根据图像样本的指导训练区域位置对第一训练损失参数进行调整，得到图像样本对应的第二训练损失参数；根据第二训练损失参数对第二检测模型的网络参数进行调整，得到调整后的第二检测模型。该方法采用机器学习技术，使第二检测模型在指导训练区域位置向第一检测模型学习，从而可以针对性地提升第二检测模型的检测性能，进而提升了第二检测模型检测的准确性。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种模型训练方法、图像检测方法、装置、存储介质及设备。
背景技术
机器学习(Machine learning，ML)是一门多领域交叉学科，可应用在模型训练中。具体地，机器学习可以基于样本数据进行学习，根据学习结果对模型进行更新以得到性能完善的模型。
在实际使用中，每个模型都是要为某个应用服务，以实现某种特定的功能。一般情况下人们希望部署到应用中的模型使用较少的计算资源(存储空间、计算单元等)并产生较低的时延，于是模型的知识蒸馏方法便应运而生。模型的知识蒸馏方法是一种模型压缩/训练方法，具体是学生模型(小模型)通过模仿老师模型(大模型)来提高学生模型的性能的方法。
然而，在检测模型中，由于训练数据中绝大多数都是背景特征，而目标特征的占比较少，使得采用知识蒸馏方法对学生模型进行优化的效果较差。
发明内容
本申请实施例提供一种模型训练方法、图像检测方法、装置、存储介质及设备，该方法使得第二检测模型在指导训练区域位置向第一检测模型学习，从而针对性地提升了第二检测模型检测的准确性。
本申请第一方面提供一种模型训练方法，包括：
获取图像样本经第一检测模型处理后得到的第一特征图，以及获取所述图像样本经第二检测模型处理后得到的第二特征图；
基于所述第一特征图与所述第二特征图计算所述图像样本中包含的物***置对应的第一训练损失参数；
根据所述图像样本的指导训练区域位置对所述第一训练损失参数进行调整，得到所述图像样本对应的第二训练损失参数；
根据所述第二训练损失参数对所述第二检测模型的网络参数进行调整，得到调整后的第二检测模型。
本申请第二方面提供了一种图像处理方法，包括：
获取待检测图像；
采用预设的图像检测模型对所述待检测图像进行检测，得到检测结果，所述预设的图像检测模型为按照第一方面提供的模型训练方法训练得到的所述调整后的第二检测模型。
相应的，本申请第三方面提供一种模型训练装置，包括：
获取单元，用于获取图像样本经第一检测模型处理后得到的第一特征图，以及获取所述图像样本经第二检测模型处理后得到的第二特征图；
计算单元，用于基于所述第一特征图与所述第二特征图计算所述图像样本中目标物***置对应的第一训练损失参数；
第一调整单元，用于根据所述图像样本的指导训练区域位置对所述第一训练损失参数进行调整，得到所述目标物***置对应的第二训练损失参数；
第二调整单元，用于根据所述第二训练损失参数对所述第二检测模型的网络参数进行调整，得到调整后的第二检测模型。
在一些实施例中，所述第一调整单元，包括：
第一获取子单元，用于获取所述图像样本中前景物体的标注位置；
第一确定子单元，用于根据所述标注位置确定所述图像样本对应的指导训练区域位置；
第一调整子单元，用于根据所述指导训练区域位置对所述第一训练损失参数进行调整，得到所述图像样本对应的第二训练损失参数。
在一些实施例中，所述装置还包括：
第二获取子单元，用于获取所述第一检测模型对所述图像样本进行检测得到的前景物体对应的第一检测位置；
所述第一确定子单元，还用于：
根据所述标注位置与所述第一检测位置确定所述图像样本对应的指导训练区域位置。
在一些实施例中，所述装置还包括：
第三获取子单元，用于获取所述第二检测模型对所述图像样本进行检测得到的前景物体的第二检测位置；
所述第一确定子单元，还用于：
根据所述标注位置、所述第一检测位置与所述第二检测位置确定所述图像样本对应的指导训练区域位置。
在一些实施例中，所述第二获取子单元，包括：
检测模块，用于对所述第一特征图进行物体检测，得到多个检测结果，所述检测结果包括物体信息以及物体所处的位置；
标注模块，用于根据所述检测结果标注所述第一特征图中的前景物体对应的矩形框并确定每一矩形框的坐标信息；
确定模块，用于根据每一矩形框的坐标信息确定第一检测位置。
在一些实施例中，所述标注模块，包括：
获取子模块，用于获取所述检测结果中每个物体属于前景物体的概率；
第一确定子模块，用于确定概率高于预设阈值的物体为前景物体，并标注每一前景物体的对应的矩形框；
第二确定子模块，用于确定每一矩形框的坐标信息。
在一些实施例中，所述计算单元，包括：
第二调整子单元，用于将所述第二特征图的尺寸调整为与所述第一特征图的尺寸相同，得到第三特征图；
计算子单元，用于计算所述第一特征图与所述第三特征图的均方误差，得到图像样本对应的第一训练损失参数。
在一些实施例中，所述第二调整单元，包括：
更新子单元，用于根据所述第二训练损失参数更新所述第二检测模型的损失函数，得到目标损失函数；
处理子单元，用于对所述目标损失函数进行梯度下降处理，直至所述目标损失函数收敛；
第二确定子单元，用于确定所述目标损失函数收敛时的第二检测模型为调整后的第二检测模型。
本申请第四方面提供一种图像处理装置，包括：
获取单元，用于获取待检测图像；
检测单元，用于采用预设的图像检测模型对所述待检测图像进行检测，得到检测结果，所述预设的图像检测模型为按照第一方面提供的模型训练方法训练得到的所述调整后的第二检测模型。
本申请第五方面还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请第一方面所提供的模型训练方法或第二方面所提供的图像检测方法的步骤。
本申请实施例第六方面提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请第一方面所提供的模型训练方法或第二方面所提供的图像检测方法的步骤。
本申请实施例第七方面提供一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行第一方面提供的模型训练方法或第二方面所提供的图像检测方法的步骤。
本申请实施例提供的模型训练方法，通过获取图像样本经第一检测模型处理后得到的第一特征图，以及获取图像样本经第二检测模型处理后得到的第二特征图；基于第一特征图与第二特征图计算图像样本中包含的物***置对应的第一训练损失参数；根据图像样本的指导训练区域位置对第一训练损失参数进行调整，得到图像样本对应的第二训练损失参数；根据第二训练损失参数对第二检测模型的网络参数进行调整，得到调整后的第二检测模型。以此，使得第二检测模型在指导训练区域位置向第一检测模型学习，从而可以针对性地提升第二检测模型的检测性能，进而提升了第二检测模型检测的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的模型训练的场景示意图；
图2是本申请提供的模型训练方法的流程示意图；
图3是本申请提供的模型训练方法的另一流程示意图；
图4是本申请中模仿损失的计算示意图；
图5是本申请提供的模型训练装置的结构示意图；
图6是本申请提供的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种模型训练方法、图像检测方法、装置、存储介质及设备。其中，该模型训练方法可以使用于模型训练装置中。该模型训练装置可以集成在计算机设备中，该计算机设备可以是终端也可以是服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
请参阅图1，为本申请提供的模型训练的场景示意图；为了获得性能好而且体量较小的模型，可以让待训练的小体量模型采用知识蒸馏的方法学习经过训练的大体量的模型的处理过程。具体地，如图1所示，第一检测模型为已经训练过的大体量模型，第二检测模型为待训练的小体量模型。分别采用第一检测模型和第二检测模型对图像样本进行特征提取，得到第一检测模型对应的第一特征图以及第二检测模型对应的第二特征图。然后根据第一特征图与第二特征图计算图像样本对应的第一训练损失参数，再根据指导训练区域位置对第一训练损失参数进行调整，得到第二训练损失参数。采用第二训练损失参数对第二检测模型的网络参数进行调整，得到调整后的第二检测模型，从而完成对第二检测模型的训练。
需要说明的是，图1所示的模型训练的场景示意图仅仅是一个示例，本申请实施例描述的模型训练场景是为了更加清楚地说明本申请的技术方案，并不构成对于本申请提供的技术方案的限定。本领域普通技术人员可知，随着模型训练方法的演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。
基于上述实施场景以下分别进行详细说明。
本申请实施例将从模型训练装置的角度进行描述，该模型训练装置可以集成在计算机设备中。其中，计算机设备可以是终端也可以是服务器。
如图2所示，为本申请提供的模型训练方法的流程示意图，该方法包括：
步骤101，获取图像样本经第一检测模型处理后得到的第一特征图，以及获取图像样本经第二检测模型处理后得到的第二特征图。
其中，图像样本可以是训练图像样本集合中的任意一个图像样本，训练图像样本集合中的每一图像样本均标注了图像样本中包含的前景的位置，此处前景为待检测的物体。例如在一张用于训练对图像中的动物进行检测的图像样本中，既包含了猫、狗、牛、马以及松鼠这些动物的图像，也会包含树木、草地、湖泊、天空以及白云这些物体的图像。那么在这张图像样本中，猫、狗、牛、马以及松鼠这些便是前景，而树木、草地、湖泊、天空以及白云便是背景。在图像样本中，便会标注出猫、狗、牛、马以及松鼠这些动物的位置。前景的位置，可以是前景在图像样本中所处的具***置，也可以是包含前景的矩形框的坐标以及尺寸数据。每一个前景，均具有其对应的位置，不同前景的位置之间可以有重叠部分也可以不重叠。
其中，第一检测模型为经过训练的检测模型，第一检测模型的体量较大，因而在应用中部署第一检测模型所需的存储空间和计算单元较多，会占用较多的计算资源。第二检测模型可以是未经训练的检测模型，也可以是经过初步训练的检测模型，第二检测模型的体量较小，因而在应用中部署第二检测模型所占用的计算资源较少。在本申请中，第一检测模型也可以称为教师模型，第二检测模型也可以称为学生模型，本申请中将利用知识蒸馏方法使得第二检测模型对第一检测模型中的模型特征进行学习以提升第二检测模型的检测能力。
第一检测模型和第二检测模型都可以为图像检测模型，图像检测属于计算机视觉技术。计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。具体地，第一检测模型可以为YOLO系列目标物体检测模型中的大模型，第二检测模型可以为YOLO系列目标检测模型中的小模型。其中YOLO(You Only Look Once，你只看一次)是一种目标检测算法。
采用检测模型对图像进行检测时，先对图像进行特征提取，得到特征图，再进一步从特征图中识别出具体的目标物体及物体的位置。在本申请中，对于图像样本集合中的任一图像样本，采用第一检测模型对其进行检测，首先从图像样本中提取出第一特征图，然后再使用检测头对第一特征图进行检测，得到第一检测结果；采用第二检测模型对图像样本进行检测，先从图像样本中提取出第二特征图，然后再使用检测头对第二特征图进行检测，得到第二检测结果。第一检测结果包括前景物体类别以及每个前景物体的位置信息，每个前景物体的位置信息构成了前景物体对应的第一检测位置；第二检测结果也包括前景物体类别以及每个前景物体的位置信息，每个前景物体的位置信息构成了前景物体对应的第二检测位置。其中，由于第一检测模型与第二检测模型的检测能力存在差异，因此第一检测结果与第二检测结果也会存在差异，即第一检测结果中检测出的前景物体在第二检测结果中并不一定都能检测出，而且同一前景物体在第一检测结果中的位置信息与第二检测结果中的位置信息也不一定相同。
步骤102，基于第一特征图与第二特征图计算图像样本中包含的物***置对应的第一训练损失参数。
其中，计算图像样本中包含的物体既包含了前景物体，即待检测的目标物体，也包含了背景物体。即计算第一特征图与第二特征图之间的训练损失参数是基于图像样本中全局物体的维度进行计算的。第一训练损失参数可以是第一特征图与第二特征图的特征参数之间绝对误差(或称为L1 loss)，也可以是第一特征图与第二特征图的特征参数之间的均方误差(或称为L2 loss)。由于L1 loss在0点处的导数不唯一，可能会影响收敛，因此为了提高模型训练的效率，本申请以第一特征图与第二特征图之间的L2 loss作为第一训练损失函数。其中，特征图的特征参数包括特征图的宽度，高度以及深度。
在计算得到第一训练损失参数之后，可以对第一训练损失参数进行梯度下降处理直至其收敛，不断缩小第一特征图与第二特征图之间的差异，从而实现第二检测模型向第一检测模型学习的过程，该过程即为知识蒸馏过程。然而，第一训练损失参数是基于图像样本中全局物体的维度进行计算的，因此直接对第一训练损失参数进行梯度下降处理，实现的是第二检测模型在全局维度向第一检测模型的学习。然而，图像样本中往往背景多于前景，因此提取出的特征图中背景特征也往往多于前景特征。如果在全局维度上学习第一检测模型，得到的更多的是对背景特征的学习，如此便会大大降低目标检测能力的提升效果。因此，在本申请实施例中，还需对第一训练损失参数进行进一步的处理。
在一些实施例中，基于第一特征图与第二特征图计算图像样本中包含的物***置对应的第一训练损失参数，包括：
1、将第二特征图的尺寸调整为与第一特征图的尺寸相同，得到第三特征图；
2、计算第一特征图与第三特征图的均方误差，得到图像样本对应的第一训练损失参数。
其中，在本申请实施例中，由于第一检测模型和第二检测模型不一致，会导致两者针对同一图像样本进行特征提取得到的第一特征图与第二特征图之间的尺寸不一致，进而影响到第一特征图与第二特征图之间的第一训练损失参数的计算。对此，本申请在计算第一特征图与第二特征图之间的第一训练损失参数之前，先将第一特征图与第二特征图的尺寸调整为相同。即对第二特征图的尺寸进行调整，得到与第一特征图的尺寸相同的第三特征图，然后计算第一特征图与第三特征图之间的L2 loss，得到第一训练损失参数。
具体地，将第一特征图与第二特征图的尺寸调整为相同，可以引入一个卷积，使用该卷积操作将第一特征图的尺寸调整为与第二特征图的尺寸相同。例如，第一特征图的尺寸为[256,52,52]，第二特征图的尺寸为[128,52,52]，那么确定卷积函数为conv＝Conv2d(in_channels＝128,out_channels＝256,kernel_size＝3,stride＝1)。其中in_channels为通道输入，out_channels为通道输出，kernel_size为卷积核尺寸，stride为步长。采用该卷积函数对第二特征图进行卷积处理，得到第三特征图，第三特征图的尺寸为[256,52,52]，与第一特征图的尺寸相同。
步骤103，根据图像样本的指导训练区域位置对第一训练损失参数进行调整，得到图像样本对应的第二训练损失参数。
其中，步骤102中计算得到的第一训练损失参数是第一特征图与第二特征图基于图像样本全局维度上的L2 loss，优化该L2 loss只会使得第二检测模型在全局上向第一检测模型接近。而由于图像样本中往往背景多于前景，使得第二检测模型学到更多背景区域的特征，进而弱化了对前景检测能力进行提升的效果。对此，在本申请中，采用图像样本的指导训练区域位置对第一训练损失参数进行调整，得到第一特征图与第二特征图在指导训练区域位置的L2 loss，即第二训练损失参数。
其中，指导训练区域位置可以是指定的部分或全部前景物体在图像样本中标注的位置，前景物体在图像样本中标注的位置可以是前景图像的具***置，也可以是包含前景图像的矩形框在图像样本中的位置。在一些实施例中，指导训练区域位置还可以包括第一检测模型对图像样本进行检测得到的检测结果中前景图像的位置。在另外一些实施例中，指导训练区域位置还可以包括第二检测模型对图像样本进行检测得到的检测结果中前景图像的位置。采用指导训练区域位置对第一训练损失参数进行调节，得到第一特征图与第二特征图在指导训练区域位置上的L2 loss，即第二训练损失参数。此时再对第二训练损失参数进行优化，使得第二检测模型在指导训练区域位置上向第一训练模型接近，从而实现在指导训练区域位置上向第一训练模型学习的效果。由于指导训练区域位置包含了图像样本中前景物体的位置，则避免了知识蒸馏过程中学习过多背景信息，将学习的注意力集中在前景物体的位置上，从而可以针对性提升第二检测模型对前景物体的检测能力。
在一些实施例中，根据图像样本的指导训练区域位置对第一训练损失参数进行调整，得到图像样本对应的第二训练损失参数，包括：
1、获取图像样本中前景物体的标注位置；
2、根据标注位置确定图像样本对应的指导训练区域位置；
3、根据指导训练区域位置对第一训练损失参数进行调整，得到图像样本对应的第二训练损失参数。
其中，前景物体为图像样本中待检测的目标物体。例如在一张动物检测的图像中，狗、猫、牛、羊等动物为前景物体，那么图像中的草地、河流等则为背景物体。再例如在一张第一人称射击类游戏中的场景图像中，人物、汽车、飞机等物体为前景物体，房屋、道路等则为背景物体。又例如在对电视台台标或者水印进行检测的图像中，电视台台标和水印为前景，而播放的节目内容为背景。
由于图像样本为标注了前景物体的位置的训练图像样本，因此可以从图像样本中提取出前景物体的标注位置。其中，标注位置也可以理解为前景物体在图像样本中的真实位置。对图像样本中前景物体进行标注，往往是标记包含前景物体的矩形框。在本申请中，获取图像样本中前景物体的标注位置，是将图像样本以像素为单位进行划分，然后再以像素块的尺寸为单位建立坐标系，确定每一标记前景物体的矩形框的顶点坐标以及矩形框的边长的尺寸。每一前景物体对应的矩形框的顶点坐标以及该矩形框的边长的尺寸构成了该前景物体的标注位置。
进一步地，步骤102中计算的第一特征图与第二特征图的L2 loss是在图像样本全局维度计算的。对此L2 loss进行优化，使得学生模型向教师模型接近，学生模型向教师模型学习过程学习到的大部分是背景，对学生模型的目标检测能力的提升作用不大。因此，需要将学生模型向教师模型进行学习的位置进行聚焦，在本申请中，可以设置指导训练区域位置，使得学生模型在指导训练区域位置向教师模型学习，从而针对性地提升学生模型对指导训练区域位置的物体的检测能力。进一步地，指导训练区域位置可以根据图像样本中前景物体的标注位置进行确定。如此，使得学生模型在此区域内向教师模型进行学习，可以针对性地提升学生模型对图像样本中前景物体的检测能力。
在一些实施例中，本申请提供的模型训练方法还可以包括：
1、获取第一检测模型对图像样本进行检测得到的前景物体对应的第一检测位置；
2、根据标注位置与第一检测位置确定图像样本对应的指导训练区域位置。
其中，教师模型对图像样本进行检测得到的结果是图像样本中每一区域是前景物体的概率，然后可以确定概率较高的区域为前景物体对应的位置，此处可以记为前景物体对应的第一检测位置。例如教师模型对第一图像样本进行检测后，得到5个检测结果。每个检测结果对应一个目标物体，每个检测结果包括目标物体是前景物体的概率，且每个检测结果还包括每个目标物体的位置信息。若该5个目标物体为前景物体的概率分别为0.1、0.3、0.9、0.99、0.95，则可以根据预设的概率阈值(例如0.8)来确定这几个目标物体是否为前景物体。如前所述，则可以据此确定概率值为0.9、0.99、0.95对应的三个目标物体为前景物体，概率值为0.1和0.3的物体为背景物体。如此，第一检测模型对图像样本进行检测得到的前景物体对应的第一检测位置便是概率值为0.9、0.99、0.95这三个目标物体对应的位置。
在本申请实施例中，对学生模型向教师模型学习进行指导的指导训练区域位置为标注位置和第一检测位置的并集。由于标注位置是前景物体的真实位置，是明确的位置，或者说其输出结果是偏硬的；教师模型对图像样本进行检测得到的检测结果是图像中某一区域是前景物体的概率值，也可以说该输出结果是偏软的。教师模型是经过训练的大模型，其对前景物体的检测结果较为准确，但对某一前景物体进行检测得到的检测位置与前景物体的真实位置仍会有些微的偏差。这也是由模型检测输出结果偏软导致的。由于教师模型检测得到的第一检测位置和前景物体的真实位置都是较为准确的前景物体的位置，本申请实施例确定标注位置和第一检测位置的并集作为指导训练区域位置，便可以进一步扩大训练区域，在更大的区域上指导学生模型向教师模型进行学习，从而进一步提升了学生模型的检测能力。
在一些实施例中，本申请提供的模型训练方法还可以包括：
1.1、获取第二检测模型对图像样本进行检测得到的前景物体的第二检测位置；
1.2、根据标注位置、第一检测位置与第二检测位置确定图像样本对应的指导训练区域位置。
在本申请实施例中，指导训练区域位置是由标注位置、第一检测位置以及学生模型对图像样本进行检测确定的前景物体的第二检测位置求并集确定的位置。由于学生模型是小模型，性能较差，其检测结果会存在误测，例如将背景检测为前景。本申请实施例中的指导训练区域位置便包括了这些误测的位置，而教师模型的检测结果较为准确，在这些误测的位置处可以明确地确定这些位置为背景。如此，在这些误测的位置上计算教师模型与学生模型的特征图的L2 loss，并不断对这个L2 loss进行优化，就是让学生模型和教师模型的特征图在这些位置上尽量保持一致。即让学生模型在这些位置上的检测结果与教师模型在这些位置上的检测结果一致，让学生模型识别这些位置为背景。
另一方面，学生模型也会存在漏检测的问题，即将前景物体当做背景没有识别出来。那么由于指导训练区域位置包括了标注位置、第一检测位置，便也可以让学生模型与教师模型的特征图在这些位置上保持一致。即使得学生模型能够识别这些位置为前景。
由此，确定指导训练区域为标注位置、第一检测位置与第二检测位置的并集，不仅可以在准确的前景物***置上对使学生模型与教师模型保持一致，还可以在学生模型误测位置上使得学生模型与教师模型保持一致，避免了学生模型的误测，进一步提升了学生模型的检测能力，提升了学生模型检测的准确性。
步骤104，根据第二训练损失参数对第二检测模型的网络参数进行调整，得到调整后的第二检测模型。
其中，在确定了第一特征图与第二特征图在指导训练区域位置上的L2 loss(即第二训练损失参数，也可以称为模仿损失)之后，需要根据该模仿损失来对第二检测模型的网络参数(或称为模型参数)进行调整，以使得第二检测模型模仿第一检测模型在指导训练区域位置的检测能力。
在一些实施例中，由于第一特征图与第二特征图是第一检测模型与第二检测模型对图像样本进行特征提取得到的特征图，那么第一特征图与第二特征图在指导训练区域位置上的L2 loss也是图像样本对应的模仿损失。由于一般对图像检测模型进行训练时都会设置一组训练图像集合，训练图像集合中一般也会包含多张训练图像。那么在本申请中，图像样本的数量也可以是多个，而每个图像样本均可以按照步骤101至步骤103的方法确定其对应的模仿损失。为了进一步提升第二检测模型的学***均计算，然后得到第二检测模型最终的目标模仿损失。最后根据求平均得到的目标模仿损失对第二检测模型的网络参数进行调整，得到调整后的第二检测模型。
在一些实施例中，根据第二训练损失参数对第二检测模型的网络参数进行调整，得到调整后的第二检测模型，包括：
1、根据第二训练损失参数更新第二检测模型的损失函数，得到目标损失函数；
2、对目标损失函数进行梯度下降处理，直至目标损失函数收敛；
3、确定目标损失函数收敛时的第二检测模型为调整后的第二检测模型。
其中，第二检测模型的损失函数为根据多张图像样本组成的训练图像集合对第二检测模型进行训练时计算得到的第二检测模型的损失函数。在计算得到第二训练损失参数后，使用第二训练损失参数对第二检测模型的损失函数进行更新，得到更新后的目标损失函数。该目标损失函数中的可变参数包含了第二检测模型的网络参数，对目标损失函数进行梯度下降处理，并将目标损失函数收敛时第二检测模型的网络参数确定为第二检测模型的最终的模型参数，得到调整后的第二检测模型，从而完成对第二检测模型的训练。
根据上述描述可知，本申请实施例提供的模型训练方法，通过获取图像样本经第一检测模型处理后得到的第一特征图，以及获取图像样本经第二检测模型处理后得到的第二特征图；基于第一特征图与第二特征图计算图像样本中包含的物***置对应的第一训练损失参数；根据图像样本的指导训练区域位置对第一训练损失参数进行调整，得到图像样本对应的第二训练损失参数；根据第二训练损失参数对第二检测模型的网络参数进行调整，得到调整后的第二检测模型。以此，使得第二检测模型在指导训练区域位置向第一检测模型学习，从而可以针对性地提升第二检测模型的检测性能，进而提升了第二检测模型检测的准确性。
相应地，本申请实施例将从计算机设备的角度进一步对本申请提供的模型训练方法进行详细的描述，其中计算机设备可以为终端也可以为服务器。如图3所示，为本申请提供的模型训练方法的另一流程示意图，该方法包括：
步骤201，计算机设备获取图像样本经第一检测模型处理后得到的第一特征图以及图像样本经第二检测模型处理后得到的第二特征图。
其中，第一检测模型与第二检测模型均可以是计算机设备中部署的图像检测模型。具体地，第一检测模型可以是YOLO系列图像目标检测模型中的大模型，第二检测模型可以是YOLO系列图像目标检测模型中的小模型。第一检测模型可以是经过训练的成熟模型，第一检测模型对图像样本中的物体检测的准确率较高，但第一检测模型运算量大，检测效率低。第二检测模型可以是未经训练的模型，本申请采用知识蒸馏方法使得第二检测模型向第一检测模型学习以提升第二检测模型对目标的检测能力。因此在本申请中，第一检测模型也可以称为教师模型，第二检测模型也可以称为学生模型。
图像样本可以为标注了图像中的前景物体以及前景物***置的训练图像样本。对同一张图像样本，使用教师模型进行特征提取，得到第一特征图，第一特征图可以记为ft；使用学生模型进行特征提取，得到第二特征图，第二特征图可以记为fs。
步骤202，计算机设备计算第一特征图与第二特征图之间的L2 loss。
其中，由于教师模型与学生模型是不同的模型，因此两个模型对同一图像样本进行特征提取得到的第一特征图与第二特征图的尺寸也可能不同。两个特征图尺寸无法匹配时，则无法计算两者之间的L2 loss。因此，在计算第一特征图与第二特征图之间的L2 loss之前，可以先对第二特征图fs的尺寸进行调整，以使得其尺寸与第一特征图ft的尺寸相同。记对第二特征图fs调整后得到的特征图为fadpt。因此，计算第一特征图与第二特征图之间的L2 loss即为计算ft与fadpt之间的L2 loss，记为第一训练损失参数。
其中，L2 loss＝L2＝||ft-fadpt||2，即第一特征图与第二特征图之间的L2 loss为ft与fadpt两者差的平方。
步骤203，计算机设备获取第一检测模型对图像样本进行检测得到的前景物体对应的第一检测位置。
其中，在本申请中，由于步骤202中计算的第一特征图与第二特征图的L2 loss是在图像样本全局维度计算的。全局维度的L2 loss优化过程由于存在大量背景音素的干扰，使得前景位置的检测能力提升受到影响。因此本申请实施例计算第一特征图与第二在指导训练区域位置上的L2 loss，对两个特征图指导训练区域位置上的L2 loss进行优化，可以针对性地提升学生模型在指导训练区域位置上的目标检测能力。在本申请中，指导训练区域位置可以由教师模型对图像样本检测得到的前景物体概率较大的位置、学生模型对图像样本检测得到的前景物体概率较大的位置以及图像样本中前景物体的标注位置组成。因此，在本申请中，需要对教师模型对图像样本检测得到的前景物体概率较大的位置、学生模型对图像样本检测得到的前景物体概率较大的位置以及图像样本中前景物体的标注位置进行逐一获取。
在一些实施例中，获取第一检测模型对图像样本进行检测得到的前景物体对应的第一检测位置，包括：
A、对第一特征图进行物体检测，得到多个检测结果，检测结果包括物体信息以及物体所处的位置；
B、根据检测结果标注第一特征图中的前景物体对应的矩形框并确定每一矩形框的坐标信息；
C、根据每一矩形框的坐标信息确定第一检测位置。
其中，教师模型对图像样本进行检测，确定图像样本中前景物体的位置，具体为教师模型对图像样本进行特征提取，得到第一特征图；然后采用模型的检测头对特征图进行检测，得到检测结果。同理，学生模型也可以采用相同方法得到学生模型对应的检测结果。检测结果中包含了特征图中的物体以及每个物体所处的位置。然后对检测结果中前景物体对应的检测结果进行提取，并标注包含前景物***置的矩形框，以及确定每一矩形框的坐标信息。该坐标信息可以是以特征图的任一顶点为坐标原点建立坐标系，确定矩形框的左上角顶点的坐标信息为矩形框的坐标信息。进一步还可以确定矩形框的宽度值和高度值，第一检测位置便是矩形框的坐标信息与矩形框的宽度值和高度值确定的位置。当前景物体有多个时，其对应的矩形框也为多个，此时多个矩形框的坐标信息确定的位置集合构成了第一检测位置。
具体地，教师模型对图像样本进行特征提取，得到第一特征图ft，ft的尺寸为W*H*C，其中W为特征图的宽、H为特征图的高、C为特征图的深度。特征图fs经过模型的检测头后得到检测结果，检测结果(model_out)的尺寸为W*H*(anchors_n*(classes_n+1+4))。其中anchors_n为对应特征图上锚框的数量，此处锚框即为前述矩形框。classes_n为类别个数，即每个类别的概率，例如该区域为猫的概率、或者为狗的概率等。维度“1”代表了目标为前景的概率p；维度“4”代表了矩形框的位置(x,y,w,h)，其中(x，y)为矩形框的任一指定顶点的坐标位置，w为矩形框的宽，h为矩形框的高。例如当anchors_n为3时，即在第一特征图ft中确定了三个矩形框，那么class_n为每一矩形框中物体是某几种物体的概率，这三个矩形框对应的物体为前景的概率分别为p1、p2以及p3。这三个矩形框的位置分别为(x1,y1,w1,h1)、(x2,y2,w2,h2)和(x3,y3,w3,h3)。
在一些实施例中，根据检测结果标注第一特征图中的前景物体对应的矩形框并确定每一矩形框的坐标信息，包括：
a、获取检测结果中每个物体属于前景物体的概率；
b、确定概率高于预设阈值的物体为前景物体，并标注每一前景物体的对应的矩形框；
c、确定每一矩形框的坐标信息。
其中，如前所述，检测结果中每个物体属于前景物体的概率为该物体所在矩形框对应的p。可以设置一个置信度值，当p高于该置信度值时，确定该物体为前景物体；当p不高于该置信度值时，确定该物体为背景物体。然后，可以确定的前景物体的矩形框进行标注，并确定每一矩形框的坐标信息和尺寸，即确定每个矩形框的位置。这些矩形框的位置构成的并集便是教师模型对图像样本进行检测得到的第一检测位置。
步骤204，计算机设备获取第二检测模型对图像样本进行检测得到的前景物体对应的第二检测位置。
其中，在获取到教师模型对图像样本检测得到的前景物体的第一检测位置后，进一步获取学生模型对图像样本检测得到的前景物体的第二检测位置。其中，可以采用步骤203中对教师模型检测确定前景物体的第一检测位置相同的方法获取学生模型检测得到的前景物体对应的第二检测位置。
在一些实施例中，还可以对每个前景物体对应的矩形框进行适当放大，例如放大1.2倍，并确定放大后的矩形框位置构成的并集为第一检测位置。由于前述矩形框只是图片中的一个局部，对该矩形框进行放大，可以增大学习的区域，以进一步增强学生模型的检测能力。
步骤205，计算机设备根据第一检测位置、第二检测位置以及图像样本中前景物体的标注位置确定指导训练区域位置。
其中，在本申请中，指导训练区域位置为第一检测位置、第二检测位置以及图像样本中前景物体的标注位置三者的并集。即指导训练区域位置不仅包含了教师模型对图像样本进行检测确定的前景概率较高的位置和学生模型对图像样本进行检测确定的前景概率较高的位置，还包括了前景物体在图像样本中的标注位置，亦即前景物体在图像样本中的真实位置。
步骤206，计算机设备计算第一特征图与第二特征图在指导训练区域位置上的L2loss，得到模仿损失。
其中，如前所述，为了针对性地对学生模型进行训练以提升学生模型在前景位置处的检测能力，进而提高学生模型的目标检测能力。需要在指导训练区域位置使学生模型向教师模型学习。具体地，可以计算第一特征图与第二特征图在指导训练区域位置上的L2loss，此处可以将第一特征图与第二特征图在指导训练区域位置上的L2 loss为模仿损失。然后，对该模仿损失进行优化，以使得第一特征图与第二特征图在指导训练区域位置上一致，进而实现学生模型在指导训练区域位置上向教师模型学习。
具体地，可以根据第一特征图与第二特征图的L2 loss与指导训练区域位置来计算第一特征图与第二特征图在指导训练区域位置上的L2 loss。具体计算公式如下式(1)所示：
其中，Llmitation为模仿损失，W为特征图的宽，H为特征图的高，C为特征图的深度。即特征图在宽度上可以划分为W个单位尺寸，在高度上可以划分为H个单位尺寸。M为指导训练区域，Mi,j为指导训练区域上宽度维度为i，高度维度为j的位置。NM为一求和计算公式，具体如下式(2)所示：
如此，则计算得到第一特征图与第二特征图在指导训练区域位置上的L2 loss，即模仿损失。
下面以图示进一步形象地说明本申请学生模型与教师模型的模仿损失的计算过程。如图4所示，为本申请中模仿损失的计算过程的示意图，如图所示，图像样本经教师模型进行特征提取，得到第一特征图ft，然后继续对第一特征图进行目标检测，得到图像样本中前景物体以及前景物体在图像样本中的位置。图中斜线底纹圆圈为教师模型检测出的前景物体，这些前景物体在图像样本中的位置即为第一检测位置。同样地，图像样本经学生模型进行特征提取，得到第二特征图fs，然后继续对第二特征图进行目标检测，得到图像样本中前景物体以及前景物体在图像样本中的位置。图中无底纹圆圈为学生模型检测出的前景物体，这些前景物体在图像样本中的位置即为第二检测位置。由图中可以看出，由于学生模型与教师模型的检测能力存在差异，学生模型与教师模型检测出的前景物体的数量存在差异(学生模型存在漏测)，且每个前景物体的位置也不相同。
模仿损失，是教师模型的第一特征图ft与学生模型的第二特征图fs在指导训练区域位置上的L2 loss。因此，先计算第一特征图ft与第二特征图fs在图像样本全局上的L2loss。但由于学生模型与教师模型之间存在差异，使得第一特征图ft与第二特征图fs的尺寸也存在差异，需要先对第二特征图fs的尺寸进行调整，得到与第一特征图ft尺寸相同的第三特征图fadpt。然后根据第一特征图ft和第三特征图fadpt计算L2 loss，得到第一特征图与第二特征图在图像样本全局上的L2 loss，即第一训练损失参数。然后，确定指导训练区域位置，本申请中，指导训练区域为第一检测位置、第二检测位置以及标注位置的并集。图中，竖线底纹圆圈为在图像样本中标注出的前景物体，指导训练区域位置即所有圆圈在图像样本中所处位置的集合。最后，根据第一训练损失参数和指导训练区域位置计算得到学生模型和教师模型的模仿损失。
步骤207，计算机设备根据模仿损失对第二检测模型的模型参数进行调整，得到调整后的第二检测模型。
其中，在计算得到第一特征图与第二特征图在指导训练区域位置上的模仿损失后，可以使用该模仿损失对第二检测模型(即学生模型)进行训练，以使得学生模型在指导训练区域位置向教师模型学习，实现学生模型的特征图在指导训练区域位置与教师模型的特征图一致。进而实现提高学生模型对前景物体的检测能力。
具体地，可以使用模仿损失对学生模型的原损失函数进行调整。如下式(3)所示：
L＝Lgt+λ*Llmitation 式(3)
其中，L为学生模型更新后的损失函数，Lgt为学生模型的原损失函数，即正常采用训练图像对学生模型进行训练时学生模型的损失函数，该损失函数包括回归损失和分类损失。λ为超参数，可以根据用户需要进行设置。Llmitation为模仿损失。
然后，对学生模型更新后的损失函数L进行梯度下降处理，直至其收敛。将损失函数L收敛时学生模型的模型参数确定为其最终的模型参数，得到训练后的学生模型。
根据上述描述可知，本申请实施例提供的模型训练方法，获取图像样本经第一检测模型处理后得到的第一特征图，以及获取图像样本经第二检测模型处理后得到的第二特征图；基于第一特征图与第二特征图计算图像样本中包含的物***置对应的第一训练损失参数；根据图像样本的指导训练区域位置对第一训练损失参数进行调整，得到图像样本对应的第二训练损失参数；根据第二训练损失参数对第二检测模型的网络参数进行调整，得到调整后的第二检测模型。以此，使得第二检测模型在指导训练区域位置向第一检测模型学习，从而可以针对性地提升第二检测模型的检测性能，从而提升了第二检测模型检测的准确性。
以上本申请提供的模型训练方法，可以用于对检测模型的优化，以使得能够使用小模型实现大模型的检测能力。具体地，该检测模型可以为图像检测模型。由此，本申请还提供了一种图像检测方法，方法包括：
获取待检测图像；
采用预设的图像检测模型对待检测图像进行检测，得到检测结果；其中，预设的图像检测模型为按照本申请提供的任意一种模型训练方法训练得到的调整后的第二检测模型。
其中，待检测图像可以保存于区块链上，可以从区块链的各节点中获取待检测图像，当检测完成后再将待检测图像对应的检测结果返回至对应的区块链节点中进行存储。
为了更好地实施以上方法，本发明实施例还提供一种模型训练装置，该模型训练装置可以集成在服务器中。
例如，如图5所示，为本申请实施例提供的模型训练装置的结构示意图，该模型训练装置可以包括获取单元301、计算单元302、第一调整单元303以及第二调整单元304，如下：
获取单元301，用于获取图像样本经第一检测模型处理后得到的第一特征图，以及获取图像样本经第二检测模型处理后得到的第二特征图；
计算单元302，用于基于第一特征图与第二特征图计算图像样本中目标物***置对应的第一训练损失参数；
第一调整单元303，用于根据图像样本的指导训练区域位置对第一训练损失参数进行调整，得到目标物***置对应的第二训练损失参数；
第二调整单元304，用于根据第二训练损失参数对第二检测模型的网络参数进行调整，得到调整后的第二检测模型。
在一些实施例中，第一调整单元，包括：
第一获取子单元，用于获取图像样本中前景物体的标注位置；
第一确定子单元，用于根据标注位置确定图像样本对应的指导训练区域位置；
第一调整子单元，用于根据指导训练区域位置对第一训练损失参数进行调整，得到图像样本对应的第二训练损失参数。
在一些实施例中，装置还包括：
第二获取子单元，用于获取第一检测模型对图像样本进行检测得到的前景物体对应的第一检测位置；
第一确定子单元，还用于：
根据标注位置与第一检测位置确定图像样本对应的指导训练区域位置。
在一些实施例中，装置还包括：
第三获取子单元，用于获取第二检测模型对图像样本进行检测得到的前景物体的第二检测位置；
第一确定子单元，还用于：
根据标注位置、第一检测位置与第二检测位置确定图像样本对应的指导训练区域位置。
在一些实施例中，第二获取子单元，包括：
检测模块，用于对第一特征图进行物体检测，得到多个检测结果，检测结果包括物体信息以及物体所处的位置；
标注模块，用于根据检测结果标注第一特征图中的前景物体对应的矩形框并确定每一矩形框的坐标信息；
确定模块，用于根据每一矩形框的坐标信息确定第一检测位置。
在一些实施例中，标注模块，包括：
获取子模块，用于获取检测结果中每个物体属于前景物体的概率；
第一确定子模块，用于确定概率高于预设阈值的物体为前景物体，并标注每一前景物体的对应的矩形框；
第二确定子模块，用于确定每一矩形框的坐标信息。
在一些实施例中，计算单元，包括：
第二调整子单元，用于将第二特征图的尺寸调整为与第一特征图的尺寸相同，得到第三特征图；
计算子单元，用于计算第一特征图与第三特征图的均方误差，得到图像样本对应的第一训练损失参数。
在一些实施例中，第二调整单元，包括：
更新子单元，用于根据第二训练损失参数更新第二检测模型的损失函数，得到目标损失函数；
处理子单元，用于对目标损失函数进行梯度下降处理，直至目标损失函数收敛；
第二确定子单元，用于确定目标损失函数收敛时的第二检测模型为调整后的第二检测模型。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由以上可知，本申请实施例提供的模型训练装置，通过获取单元301获取图像样本经第一检测模型处理后得到的第一特征图，以及获取图像样本经第二检测模型处理后得到的第二特征图；计算单元302基于第一特征图与第二特征图计算图像样本中包含的物***置对应的第一训练损失参数；第一调整单元303根据图像样本的指导训练区域位置对第一训练损失参数进行调整，得到图像样本对应的第二训练损失参数；第二调整单元304根据第二训练损失参数对第二检测模型的网络参数进行调整，得到调整后的第二检测模型。以此，使得第二检测模型在指导训练区域位置向第一检测模型学习，从而可以针对性地提升第二检测模型的检测性能，进而提升了第二检测模型检测的准确性。
相应地，为了更好地实施上述图像检测方法，本发明实施例还提供一种图像检测装置，该装置具体包括：
获取单元，用于获取待检测图像；
检测单元，用于采用预设的图像检测模型对待检测图像进行检测，得到检测结果；其中，预设的图像检测模型为按照本申请提供任意一种模型训练方法训练得到的调整后的第二检测模型。
其中，各模块的具体功能与前述图像检测方法中的步骤一致，此处不再予以赘述。
本申请实施例还提供一种计算机设备，该计算机设备可以为终端也可以为服务器。服务器可以为区块链上任一节点。如图6所示，为本申请提供的计算机设备的结构示意图。具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图6中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及模型训练。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能以及网页访问等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理***与处理器401逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取图像样本经第一检测模型处理后得到的第一特征图，以及获取图像样本经第二检测模型处理后得到的第二特征图；基于第一特征图与第二特征图计算图像样本中包含的物***置对应的第一训练损失参数；根据图像样本的指导训练区域位置对第一训练损失参数进行调整，得到图像样本对应的第二训练损失参数；根据第二训练损失参数对第二检测模型的网络参数进行调整，得到调整后的第二检测模型。
或者：获取待检测图像；
采用预设的图像检测模型对待检测图像进行检测，得到检测结果；其中，预设的图像检测模型为按照本申请提供的任意一种模型训练方法训练得到的调整后的第二检测模型。
应当说明的是，本申请实施例提供的计算机设备与上文实施例中的模型训练方法属于同一构思，以上各个操作的具体实施可参见前面的实施例，在此不作赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种模型训练方法中的步骤。例如，该指令可以执行如下步骤：
获取图像样本经第一检测模型处理后得到的第一特征图，以及获取图像样本经第二检测模型处理后得到的第二特征图；基于第一特征图与第二特征图计算图像样本中包含的物***置对应的第一训练损失参数；根据图像样本的指导训练区域位置对第一训练损失参数进行调整，得到图像样本对应的第二训练损失参数；根据第二训练损失参数对第二检测模型的网络参数进行调整，得到调整后的第二检测模型。
或者：获取待检测图像；
采用预设的图像检测模型对待检测图像进行检测，得到检测结果；其中，预设的图像检测模型为按照本申请提供的任意一种模型训练方法训练得到的调整后的第二检测模型。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种模型训练方法中的步骤，因此，可以实现本发明实施例所提供的任一种模型训练方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
其中，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的模型训练方法或图像检测方法的步骤。
以上对本发明实施例所提供的一种模型训练方法、图像检测方法、装置、存储介质及设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种模型训练方法，其特征在于，所述方法包括：
获取图像样本经第一检测模型处理后得到的第一特征图，以及获取所述图像样本经第二检测模型处理后得到的第二特征图；
基于所述第一特征图与所述第二特征图计算所述图像样本中包含的物***置对应的第一训练损失参数；
根据所述图像样本的指导训练区域位置对所述第一训练损失参数进行调整，得到所述图像样本对应的第二训练损失参数，所述指导训练区域位置包括前景物品在所述图像样本中的位置；
根据所述第二训练损失参数对所述第二检测模型的网络参数进行调整，得到调整后的第二检测模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述图像样本的指导训练区域位置对所述第一训练损失参数进行调整，得到所述图像样本对应的第二训练损失参数，包括：
获取所述图像样本中前景物体的标注位置；
根据所述标注位置确定所述图像样本对应的指导训练区域位置；
根据所述指导训练区域位置对所述第一训练损失参数进行调整，得到所述图像样本对应的第二训练损失参数。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取所述第一检测模型对所述图像样本进行检测得到的前景物体对应的第一检测位置；
所述根据所述标注位置确定所述图像样本对应的指导训练区域位置，包括：
根据所述标注位置与所述第一检测位置确定所述图像样本对应的指导训练区域位置。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述第二检测模型对所述图像样本进行检测得到的前景物体的第二检测位置；
所述根据所述标注位置与所述第一检测位置确定所述图像样本对应的指导训练区域位置，包括：
根据所述标注位置、所述第一检测位置与所述第二检测位置确定所述图像样本对应的指导训练区域位置。
5.根据权利要求3所述的方法，其特征在于，所述获取所述第一检测模型对所述图像样本进行检测得到的前景物体对应的第一检测位置，包括：
对所述第一特征图进行物体检测，得到多个检测结果，所述检测结果包括物体信息以及物体所处的位置；
根据所述检测结果标注所述第一特征图中的前景物体对应的矩形框并确定每一矩形框的坐标信息；
根据每一矩形框的坐标信息确定第一检测位置。
6.根据权利要求5所述的方法，其特征在于，所述根据所述检测结果标注所述第一特征图中的前景物体对应的矩形框并确定每一矩形框的坐标信息，包括：
获取所述检测结果中每个物体属于前景物体的概率；
确定概率高于预设阈值的物体为前景物体，并标注每一前景物体的对应的矩形框；
确定每一矩形框的坐标信息。
7.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征图与所述第二特征图计算所述图像样本中包含的物***置对应的第一训练损失参数，包括：
将所述第二特征图的尺寸调整为与所述第一特征图的尺寸相同，得到第三特征图；
计算所述第一特征图与所述第三特征图的均方误差，得到图像样本对应的第一训练损失参数。
8.根据权利要求1所述的方法，其特征在于，所述根据所述第二训练损失参数对所述第二检测模型的网络参数进行调整，得到调整后的第二检测模型，包括：
根据所述第二训练损失参数更新所述第二检测模型的损失函数，得到目标损失函数；
对所述目标损失函数进行梯度下降处理，直至所述目标损失函数收敛；
确定所述目标损失函数收敛时的第二检测模型为调整后的第二检测模型。
9.一种图像检测方法，其特征在于，所述方法包括：
获取待检测图像；
采用预设的图像检测模型对所述待检测图像进行检测，得到检测结果，所述预设的图像检测模型为按照权利要求1至7中任一项所述的模型训练方法训练得到的所述调整后的第二检测模型。
10.一种模型训练装置，其特征在于，所述装置包括：
获取单元，用于获取图像样本经第一检测模型处理后得到的第一特征图，以及获取所述图像样本经第二检测模型处理后得到的第二特征图；
计算单元，用于基于所述第一特征图与所述第二特征图计算所述图像样本中目标物***置对应的第一训练损失参数；
第一调整单元，用于根据所述图像样本的指导训练区域位置对所述第一训练损失参数进行调整，得到所述目标物***置对应的第二训练损失参数，所述指导训练区域位置包括前景物品在所述图像样本中的位置；
第二调整单元，用于根据所述第二训练损失参数对所述第二检测模型的网络参数进行调整，得到调整后的第二检测模型。
11.根据权利要求10所述的装置，其特征在于，所述第一调整单元，包括：
获取子单元，用于获取所述图像样本中前景物体的标注位置；
确定子单元，用于根据所述标注位置确定所述图像样本对应的指导训练区域位置；
调整子单元，用于根据所述指导训练区域位置对所述第一训练损失参数进行调整，得到所述图像样本对应的第二训练损失参数。
12.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待检测图像；
检测单元，用于采用预设的图像检测模型对所述待检测图像进行检测，得到检测结果，所述预设的图像检测模型为按照权利要求1至7中任一项所述的模型训练方法训练得到的所述调整后的第二检测模型。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8中任一项所述的模型训练方法或权利要求9所述的图像检测方法的步骤。
14.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的模型训练方法或权利要求9所述的图像检测方法的步骤。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在存储介质中，计算机设备的处理器从所述存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行权利要求1至8任一项所述的模型训练方法或权利要求9所述的图像检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110523328.1A CN113762051B (zh) | 2021-05-13 | 2021-05-13 | 模型训练方法、图像检测方法、装置、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110523328.1A CN113762051B (zh) | 2021-05-13 | 2021-05-13 | 模型训练方法、图像检测方法、装置、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113762051A CN113762051A (zh) | 2021-12-07 |
| CN113762051B true CN113762051B (zh) | 2024-05-28 |
Family
ID=78787079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110523328.1A Active CN113762051B (zh) | 2021-05-13 | 2021-05-13 | 模型训练方法、图像检测方法、装置、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762051B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI817896B (zh) * | 2022-02-16 | 2023-10-01 | 鴻海精密工業股份有限公司 | 機器學習方法以及裝置 |
| CN115019060A (zh) * | 2022-07-12 | 2022-09-06 | 北京百度网讯科技有限公司 | 目标识别方法、目标识别模型的训练方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639744A (zh) * | 2020-04-15 | 2020-09-08 | 北京迈格威科技有限公司 | 学生模型的训练方法、装置及电子设备 |
| CN111709497A (zh) * | 2020-08-20 | 2020-09-25 | 腾讯科技（深圳）有限公司 | 一种信息处理方法、装置及计算机可读存储介质 |
| CN111950633A (zh) * | 2020-08-12 | 2020-11-17 | 深圳市商汤科技有限公司 | 神经网络的训练、目标检测方法及装置和存储介质 |
| CN111967597A (zh) * | 2020-08-18 | 2020-11-20 | 上海商汤临港智能科技有限公司 | 神经网络训练及图像分类方法、装置、存储介质、设备 |
| CN112257815A (zh) * | 2020-12-03 | 2021-01-22 | 北京沃东天骏信息技术有限公司 | 模型生成方法、目标检测方法、装置、电子设备及介质 |
| CN112418268A (zh) * | 2020-10-22 | 2021-02-26 | 北京迈格威科技有限公司 | 目标检测方法、装置及电子设备 |
| CN112464760A (zh) * | 2020-11-16 | 2021-03-09 | 北京明略软件***有限公司 | 一种目标识别模型的训练方法和装置 |
| KR102232138B1 (ko) * | 2020-11-17 | 2021-03-25 | (주)에이아이매틱스 | 지식 증류 기반 신경망 아키텍처 탐색 방법 |
| CN112766244A (zh) * | 2021-04-07 | 2021-05-07 | 腾讯科技（深圳）有限公司 | 目标对象检测方法、装置、计算机设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180268292A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Learning efficient object detection models with knowledge distillation |
-
2021
- 2021-05-13 CN CN202110523328.1A patent/CN113762051B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639744A (zh) * | 2020-04-15 | 2020-09-08 | 北京迈格威科技有限公司 | 学生模型的训练方法、装置及电子设备 |
| CN111950633A (zh) * | 2020-08-12 | 2020-11-17 | 深圳市商汤科技有限公司 | 神经网络的训练、目标检测方法及装置和存储介质 |
| CN111967597A (zh) * | 2020-08-18 | 2020-11-20 | 上海商汤临港智能科技有限公司 | 神经网络训练及图像分类方法、装置、存储介质、设备 |
| CN111709497A (zh) * | 2020-08-20 | 2020-09-25 | 腾讯科技（深圳）有限公司 | 一种信息处理方法、装置及计算机可读存储介质 |
| CN112418268A (zh) * | 2020-10-22 | 2021-02-26 | 北京迈格威科技有限公司 | 目标检测方法、装置及电子设备 |
| CN112464760A (zh) * | 2020-11-16 | 2021-03-09 | 北京明略软件***有限公司 | 一种目标识别模型的训练方法和装置 |
| KR102232138B1 (ko) * | 2020-11-17 | 2021-03-25 | (주)에이아이매틱스 | 지식 증류 기반 신경망 아키텍처 탐색 방법 |
| CN112257815A (zh) * | 2020-12-03 | 2021-01-22 | 北京沃东天骏信息技术有限公司 | 模型生成方法、目标检测方法、装置、电子设备及介质 |
| CN112766244A (zh) * | 2021-04-07 | 2021-05-07 | 腾讯科技（深圳）有限公司 | 目标对象检测方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Modeling teacher-student techniques in deep neural networks for knowledge distillation;Abbasi S et al;IEEE;20200220;1-6 * |
| 基于知识蒸馏的轻量型浮游植物检测网络;张彤彤;董军宇;赵浩然;李琼;孙鑫;;应用科学学报;20200530(03);33-42 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113762051A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111754596B (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
| US10803352B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| WO2023185785A1 (zh) | 一种图像处理方法、模型训练方法及相关装置 | |
| CN112132197B (zh) | 模型训练、图像处理方法、装置、计算机设备和存储介质 | |
| CN111709497B (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
| CN111242844B (zh) | 图像处理方法、装置、服务器和存储介质 | |
| CN108734120A (zh) | 标注图像的方法、装置、设备和计算机可读存储介质 | |
| CN112232258B (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
| CN113762051B (zh) | 模型训练方法、图像检测方法、装置、存储介质及设备 | |
| CN111754541A (zh) | 目标跟踪方法、装置、设备及可读存储介质 | |
| CN109583509B (zh) | 数据生成方法、装置及电子设备 | |
| CN106778852A (zh) | 一种修正误判的图像内容识别方法 | |
| CN111292262B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN112381104A (zh) | 一种图像识别方法、装置、计算机设备及存储介质 | |
| US20230326173A1 (en) | Image processing method and apparatus, and computer-readable storage medium | |
| CN111177811A (zh) | 一种应用于云平台的消防点位自动布图的方法 | |
| CN109858402B (zh) | 一种图像检测方法、装置、终端以及存储介质 | |
| CN112883827B (zh) | 图像中指定目标的识别方法、装置、电子设备和存储介质 | |
| CN113570615A (zh) | 一种基于深度学习的图像处理方法、电子设备及存储介质 | |
| CN112580750A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN111160265B (zh) | 文件转换方法、装置、存储介质及电子设备 | |
| CN113569809A (zh) | 一种图像处理方法、设备及计算机可读存储介质 | |
| CN112700481B (zh) | 基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质 | |
| CN117974824A (zh) | 图像生成方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |