CN114580548A

CN114580548A - 一种目标检测模型的训练方法、目标检测方法及装置

Info

Publication number: CN114580548A
Application number: CN202210222886.9A
Authority: CN
Inventors: 陶大程; 王文
Original assignee: Jingdong Technology Information Technology Co Ltd
Current assignee: Jingdong Technology Information Technology Co Ltd
Priority date: 2022-03-09
Filing date: 2022-03-09
Publication date: 2022-06-03

Abstract

本发明实施例公开了一种目标检测模型的训练方法、目标检测方法及装置。其中方法包括：将样本数据输入至待训练的目标检测模型，得到目标检测模型中各子检测模块输出的检测结果，其中，在待训练的目标检测模型对样本数据的处理过程中，特征提取模块提取初始图像特征，并输入至检测模块，检测模块中的子检测模块用于对输入图像特征确定子检测模块检测结果，基于子检测模块的检测结果对初始图像特征进行稀疏采样，将采样特征作为输入图像特征输入到下一子检测模块；基于各子检测模块输出的检测结果和样本数据的标注数据确定损失函数，基于损失函数调节目标检测模型中的网络参数。实现减少对大量标注的样本数据的依赖，节省了时间成本和人力成本。

Description

一种目标检测模型的训练方法、目标检测方法及装置

技术领域

本发明实施例涉及深度学习技术领域，尤其涉及一种目标检测模型的训练方法、目标检测方法及装置。

背景技术

目标检测是计算机视觉的基础问题之一，它旨在对人类感兴趣的物体实例做定位和分类。目标检测具有广泛的应用价值，例如在安防中目标检测可以用于行人检测，在工业场景中目标检测可以用来检测有瑕疵的零件，在遥感***中目标检测可以用来检测人类感兴趣的地理区域。

目前，可通过机器学习模型实现目标检测，但是上述机器学习模型依赖于大量的标注数据，标注数据获取难度大，尤其是大量训练数据的情况下，需要大量的人力成本和时间成本。

发明内容

本发明提供了一种目标检测模型的训练方法、目标检测方法及装置，以在对目标检测模型的训练过程中减少对样本数据的大量依赖。

根据本发明的一方面，提供了一种目标检测模型的训练方法，包括：

获取训练样本数据，基于所述训练样本对待训练的目标检测模型进行如下的迭代训练，在满足训练结束条件的情况下，得到训练完成的目标检测模型，其中，目标检测模型包括特征提取模块和检测模块，所述检测模块包括依次连接的多个子检测模块：

将所述样本数据输入至所述待训练的目标检测模型，得到所述目标检测模型中各子检测模块输出的检测结果，其中，在所述待训练的目标检测模型对样本数据的处理过程中，特征提取模块提取初始图像特征，并输入至所述检测模块，所述检测模块中的子检测模块用于对输入图像特征确定所述子检测模块检测结果，基于所述子检测模块的检测结果对所述初始图像特征进行稀疏采样，将采样特征作为输入图像特征输入到下一子检测模块；

基于各子检测模块输出的检测结果和所述样本数据的标注数据确定损失函数，基于所述损失函数调节所述目标检测模型中的网络参数。

根据本发明的另一方面，提供了一种目标检测方法，包括：

获取待检测图像，将所述待检测图像输入至预先训练的目标检测模型中，得到所述待检测图像中目标位置和目标分类；

其中，所述目标检测模型包括特征提取模块和检测模块，所述检测模块包括依次连接的多个子检测模块，所述特征提取模块提取初始图像特征，并输入至所述检测模块，所述检测模块中的子检测模块用于对输入图像特征确定所述子检测模块检测结果，基于所述子检测模块的检测结果对所述初始图像特征进行稀疏采样，将采样特征作为输入图像特征输入到下一子检测模块，直到末端子检测模块输出待检测图像中目标位置和目标分类。

根据本发明的另一方面，提供了一种目标检测模型的训练装置，用于：

获取训练样本数据，基于所述训练样本对待训练的目标检测模型进行迭代训练，在满足训练结束条件的情况下，得到训练完成的目标检测模型，其中，目标检测模型包括特征提取模块和检测模块，所述检测模块包括依次连接的多个子检测模块；

该装置包括：

检测结果确定模块，用于将所述样本数据输入至所述待训练的目标检测模型，得到所述目标检测模型中各子检测模块输出的检测结果，其中，在所述待训练的目标检测模型对样本数据的处理过程中，特征提取模块提取初始图像特征，并输入至所述检测模块，所述检测模块中的子检测模块用于对输入图像特征确定所述子检测模块检测结果，基于所述子检测模块的检测结果对所述初始图像特征进行稀疏采样，将采样特征作为输入图像特征输入到下一子检测模块；

损失函数确定模块，用于基于各子检测模块输出的检测结果和所述样本数据的标注数据确定损失函数；

网络参数调节模块，用于基于所述损失函数调节所述目标检测模型中的网络参数。

根据本发明的另一方面，提供了一种目标检测装置，包括：

图像获取模块，用于获取待检测图像；

目标检测模块，用于将所述待检测图像输入至预先训练的目标检测模型中，得到所述待检测图像中目标位置和目标分类；

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的目标检测模型的训练方法，和/或，所述目标检测方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的目标检测模型的训练方法，和/或，所述目标检测方法。

本实施例的技术方案，通过在对目标检测模型的训练过程中，在目标检测模型的检测模块中各子检测模块之间，基于上一子检测模块的检测结果对初始图像特征进行稀疏采样的方式，得到下一子检测模块进行处理的稀疏特征，以在训练过程中，快速确定稀疏特征，替代了从大量稠密特征中学习稀疏特征的过程，简化了模型的学习过程，同时减少了模型中学习的冗余特征，提供了学习效率，实现减少对大量标注的样本数据的依赖，进而减少了进行标注的样本数据量，节省了标注样本数据的时间成本和人力成本。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种目标检测模型的训练方法的流程示意图；

图2是本发明实施例提供的一种目标检测模型的结构示意图；

图3是本发明实施例提供的目标检测模型在训练过程中的流程示意图；

图4是本发明实施例提供的基于稀疏特征的高效注意力机制的示意图；

图5是本发明实施例提供的一种目标检测方法的流程示意图；

图6是本发明实施例提供的一种目标检测模型的训练装置的结构示意图；

图7是本发明实施例提供的一种目标检测装置的结构示意图；

图8是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1为本发明实施例提供的一种目标检测模型的训练方法的流程示意图，本实施例可适用于基于少量样本数据对目标检测模型进行快速训练的情况，该方法可以由本发明实施例提供的目标检测模型的训练装置来执行，该目标检测模型的训练装置可以由软件和/或硬件来实现，该目标检测模型的训练装置可以配置在电子计算设备上，具体包括如下步骤：

S110、将所述样本数据输入至所述待训练的目标检测模型，得到所述目标检测模型中各子检测模块输出的检测结果。

S120、基于各子检测模块输出的检测结果和所述样本数据的标注数据确定损失函数，基于所述损失函数调节所述目标检测模型中的网络参数。在满足训练结束条件的情况下，得到训练完成的目标检测模型，在不满足结束条件的情况下，返回执行步骤S110进行下一次迭代训练。

本实施例中，经过训练得到目标检测模型具有对图像或者视频中图像帧进行目标检测的功能，其中，检测得到的目标类型可以是根据业务需求确定，示例性的，被检测的目标可以包括但不限于行人、车辆、异常或残次的产品、医学图像中的病灶等的感兴趣区域等。相应的，具有上述检测功能的目标检测模型基于对应业务场景中的样本数据训练得到。

目标检测模型包括特征提取模块和检测模块，其中检测模块包括依次连接的多个子检测模块。检测模块中子检测模块的数量对此不作限定，可以是根据检测需求设置，在一些实施例中，检测模块中可以是包括6个子检测模块。需要说明的是，本实施例中，不限定特征提取模块和检测模块的具体结构，示例性的，特征提取模块可以是卷积网络结构，还可以是编码器，还可以是卷积网络结构与编码器的组合结构等；同时检测模块中的各子检测模块的结构不作限定，各子检测模块的结构可以相同或不同，能够识别检测结果即可。

获取当前业务场景下的样本数据，示例性的，业务场景为行人识别，相应的，样本数据可以是包括行人的图像，或者通过监控摄像头采集的监控视频中的各图像帧，相应的，样本数据的标注数据可以是包括行人检测框或者行人标识的图像，其中行人检测框可以是行人的最小外接框，行人标识可以是在行人所在区域设置的标记等。业务场景为残次品识别，相应的，样本数据可以是产品图像，该样本数据的标注数据可以是包括残次品检测框或者残次品标记的图像。

基于样本数据对待训练的目标检测模型进行迭代训练，在每一次迭代训练中调节该目标检测模型的网络参数，直到满足训练结束条件，得到训练完成的目标检测模型。其中，训练结束条件可以是如下的一项或多项：达到预设的训练次数、达到预设的检测精度、训练损失达到收敛。

在每一次迭代训练中，将样本数据输入至当前迭代的目标检测模型中，得到检测模块中各个子检测模型输出的检测结果。其中，在每一次迭代训练，目标检测模型对样本数据的处理过程中，训练样本输入至特征提取模块，特征提取模块提取样本数据的初始图像特征，并将初始图像特征输入至检测模块。在一些实施例中，特征提取模块包括基础特征提取器和编码器，其中，所述基础特征提取器用于提取样本数据的二维基础特征，所述编码器用于对所述二维基础特征进行特征提取，输出一维图像序列特征。示例性的，目标检测模型有卷积神经网络结构和Transformer网络结构组成，相应的，基础特征提取器可以是卷积神经网络结构，例如CNN网络结构；编码器可以是Transformer的编码器部分，检测模块为Transformer的解码器部分。

特征提取模块将提取的初始图像特征，即一维图像序列特征输入至检测模块中的首个子检测模块中，首个子检测模块对初始图像特征进行处理，以得到该子检测模块的检测结果。通过首个子检测模块的检测结果对初始图像特征进行稀疏采样将采样特征作为输入图像特征输入到第二子检测模块，第二子检测模块对输入图像特征进行处理，得到该子检测模块的检测结果，通过第二子检测模块的检测结果对初始图像特征进行稀疏采样将采样特征作为输入图像特征输入到第三子检测模块，并以此类推，直到最后一个子检测模块输出样本图像的检测结果。

在目标检测模型的训练过程中，需要从稠密的图像特征中聚合出待检测的具体物体实例相关的稀疏特征，因此需要大量的样本数据和标注数据来学习这一过程，导致目标检测模型的训练过程依赖于大量的样本数据和标注数据。本实施例中，通过每一个子检测模块对输入图像特征确定的检测结果，对所述初始图像特征进行稀疏采样，将采样特征作为输入图像特征输入到下一子检测模块，通过即插即用的方式确定下一子检测模块的稀疏采样的输入图像特征，减少了下一子检测模块的输入图像特征中的冗余特征，减少了处理数据量，同时提高了下一子检测模块的处理针对性和精准度，降低了目标检测模型的学习难度，有利于提高目标检测模型的处理效率和学习效率。

此处不限定各个子检测模块的结构，以及子检测模块对输入图像特征的处理方式。在一些实施例中，子检测模块可以是卷积网络结构，对输入图像特征进行卷积处理；一些实施例中，子检测模块可以是Transformer网络结构中的解码层，用于对输入图像特征进行解码处理。

本实施例中不限定稀疏采样的采样方式，示例性的，可以包括但不限于RoI Align采样方式(即利用双边线性插值将感兴趣的定位框区域的特征提取出来)、网络采样方式grid sampling等。

在一些实施例中，稀疏采样过程可以由目标检测模型之外的处理器执行，例如，每一子检测模块输出检测结果至处理器，处理器基于接收的检测结果对初始图像特征进行稀疏采样，并将稀疏采样得到的采样特征输入至下一子检测模块。

在一些实施例中，检测模块中除最后一个子检测模块之外的各子检测模块中，分别设置稀疏采样单元，用于基于当前子检测模块的检测结果对初始图像特征进行稀疏采样，并传输至下一子检测模块。

在一些实施例中，所述目标检测模型包括还包括一稀疏采样模块，所述稀疏采样模块独立于各子检测模块之外，分别与各子检测模块连接，用于接收上一子检测模块的检测结果，基于所述检测结果对所述初始图像特征进行稀疏采样，将采样特征输入至下一子检测模块。示例性的，参见图2，图2是本发明实施例提供的一种目标检测模型的结构示意图。通过在目标检测模型中设置稀疏采样模块，实现了在各子检测模块之间的特征传输过程中进行稀疏采样，同时无需对目标检测模型中的各模块结构进行二次开发，避免了二次开发成本。

在上述实施例的基础上，检测结果包括检测框和分类概率，其中检测框用于选择样本图像帧的目标物体，即样本图像中的目标物***于检测框内，检测结果中的检测框可以是至少一个。分类概率为检测框中目标物体所属类型的概率值，例如可以是目标物体分别属于各个类型的概率值，其中，分类概率可以是以向量的形式输出。每一子检测模块输出当前的检测结果，不同子检测模块的输出的检测结果可以是不同。

相应的，所述基于所述检测结果对所述初始图像特征进行稀疏采样，包括：基于所述检测框对所述初始图像特征和特征提取模块的位置编码数据分别进行稀疏采样，得到图像采样特征和编码采样特征。本实施例中，各子检测模块为Transformer解码器的各个解码器层，相应的，各个解码器层的输入信息包括输入图像特征和位置编码数据，通过稀疏采样的方式，分别得到稀疏采样后的输入图像特征和稀疏采样后的位置编码数据，便于后一解码器层对稀疏特征进行处理，减少冗余，提高处理效率。同时，通过上一解码器层的检测结果中的检测框进行稀疏采样，具体的，基于检测框在初始图像特征和位置编码数据中确定采样范围，并在采样范围内进行稀疏采样，减少了检测框外冗余特征的干扰，在减少数据量的基础上，提高稀疏采样得到采样特征的准确度，减少了对冗余数据学习的过程，降低模型的学习难度。

在上述实施例的基础上，子检测模块包括自注意力单元、交叉注意力单元、前馈网络单元和检测单元；其中，所述自注意力单元用于提取当前解码序列特征的自注意力特征；所述交叉注意力单元用于基于特征映射方式对所述自注意力特征和输入图像特征提取交叉注意力特征；所述前馈网络单元用于基于交叉注意力特征得到更新解码序列特征；所述检测单元用于基于所述更新解码序列特征确定当前的检测结果。

其中，对于检测模块为Transformer解码器的情况下，解码器的解码序列特征中的各个元素作为物体内容嵌入(Object Content Embedding)，并经各解码器层进行更新，对于每一解码器层，获取当前解码序列特征，该解码器层中的自注意力单元Self-attention对当前解码序列特征进行自注意力特征的提取，并输入至交叉注意力单元Cross-attention。本实施例中的交叉注意力单元采用线性复杂度的高效注意力机制来替代平方复杂度的注意力机制，即基于特征映射方式对所述自注意力特征和输入图像特征提取交叉注意力特征，以降低了计算复杂度，具体的，通过线性映射函数或者非线性映射函数实现特征映射。需要说明的是，本实施例中交叉注意力单元采用的线性复杂度的高效注意力机制，依赖于输入的稀疏采样的输入特征。在解码器中采用稠密特征的情况下，相应的，交叉注意力单元得到的注意力矩阵是高维矩阵，这导致线性映射函数Linear需要从单个物体内容查询嵌入中预测出高维的注意力矩阵。这一方面显著提升了模型的参数量，另一方面使得模型容易过拟合，难以训练。而本申请中输入的特征为稀疏采样后的稀疏特征，解决了上述技术问题。

前馈网络单元中可以是包括多个网络层，示例性的，可以是包含非线性激活函数的全连接层，用于对交叉注意力机制更新的特征做非线性变换，具体的，可以对聚合了稀疏采样后图像特征的解码器序列做非线性变换，得到更新解码序列特征。该更新解码序列特征可作为下一解码器层的解码序列特征。

检测单元可以是包括全连接层，用于对更新解码序列特征进行目标物体的检测，并输出检测结果。

在得到各个子检测模块输出的检测结果的情况下，基于各子检测模块输出的检测结果和所述样本数据的标注数据确定损失函数，其中，每一检测结果中包括检测位置和检测分类概率，检测位置可以是通过检测框确定。样本数据的标注数据可以包括目标物体的标准位置和分类类型，其中，目标物体的标准位置可以是通过目标物体在样本数据中的外界框确定。

可选的，确定损失函数包括：基于每一子检测模块输出的检测结果和所述样本数据的标注数据确定损失项；基于各子检测模块对应的损失项确定损失函数。本实施例中，用于确定损失项的损失函数类型不作限定，在一些实施例中，损失函数类型可以包括但不限于如下的至少一项：指数损失函数、Hinge损失函数、交叉熵损失函数、平方损失函数、log对数损失函数等。通过上述任意一种或多种损失函数类型，基于每一子检测模块输出的检测结果和所述样本数据的标注数据确定各个子检测模块对应的损失项，其中，不同损失项对应的损失函数类型可以相同或不同。将各个损失项的和或者加权和确定为最终的损失函数，用于对目标检测模型进行网络参数的调节。具体的，可以是基于梯度下降法对目标检测模型进行方向的网络参数调节。

通过迭代执行上述训练过程，得到训练好的目标检测模型，以对待检测图像进行目标检测。

在上述实施例的基础上，还提供了一种目标检测模型的训练方法的优选实例。在该优选实例中，目标检测模型由卷积神经网络(CNN)的基础特征提取器和Transformer网络结构两部分组成。其中，基础特征提取器和Transformer编码器形成特征提取模块，Transformer解码器作为检测模块，相应的，Transformer解码器的各解码器层作为各子检测模块。示例性的，参见图3，图3是本发明实施例提供的目标检测模型在训练过程中的流程示意图。

基础特征提取器提取输入的样本数据(例如样本图像)的二维基础特征，可以表示为

其中

将该二维基础特征展平为一维序列并做特征映射，得到

其长度为

嵌入特征的维度为D。基础特征提取器将提取的特征输入Transformer编码器，该Transformer编码器由L_enc个编码器层堆叠而成。将Transformer编码器的输入特征表示为z₀，每个编码器层

将上一个的编码器层的输出

和位置编码p作为输入，并输出编码后的序列特征

即

Transformer编码器的最后一编码器层输出一维的图像序列特征

即初始图像特征。

Transformer解码器由L_dec个解码器层堆叠而成，解码器输入的初始序列为q₀，序列中的每个元素又被称为物体内容嵌入(Object Content Embedding)。每个解码器层DecoderLayer_l将上一个的解码器层的输出序列特征，即当前解码序列特征

解码器序列位置编码p_q、编码器输出的初始图像特征

和编码器序列位置编码p作为输入，输出解码的序列特征，即更新解码序列特征

在每个解码器层中包含物体内容嵌入之间的自注意力单元Self-attention、物体内容嵌入和图像特征序列的交叉注意力单元Cross-attention和对物体内容嵌入的前馈神经网络。其中，交叉注意力单元采用线性复杂度的高效注意力机制，示例性的，参见图4，图4是本发明实施例提供的基于稀疏特征的高效注意力机制的示意图。在使用稀疏的图像特征基础上利用线性映射层直接从物体内容嵌入中预测出注意力矩阵，即：

其中，

为解码器层l中交叉注意力单元输出的注意力矩阵，即交叉注意力特征。前馈神经网络基于交叉注意力特征对输入图像特征，即稀疏采样后的图像特征以线性加权信息特征聚合，得到更新解码序列特征。

在每个解码器层中还包括全连接层的检测单元，以输出解码器层的检测结果，例如位置向量和类别向量，其中，位置向量表征检测框，类别向量中包括目标对象属于各分类类型的分类概率。

目标检测模型中的稀疏采样模型基于每个解码器层的检测结果中的检测框对初始图像特征进行稀疏采样，以稀疏的图像特征，作为下一解码器层输入图像特征。

对于每一解码器层输出检测结果和样本数据的标注结果确定损失函数，以反向调节目标检测模型中的网络参数，迭代执行上述过程，直到得到训练好的目标检测模型。

图5是本发明实施例提供的一种目标检测方法的流程示意图，本实施例可适用于对待检测图像进行目标检测的情况，该方法可以由本发明实施例提供的目标检测装置来执行，该目标检测装置可以由软件和/或硬件来实现，该目标检测装置可以配置在电子计算设备上，具体包括如下步骤：

S210、获取待检测图像。

S220、将所述待检测图像输入至预先训练的目标检测模型中，得到所述待检测图像中目标位置和目标分类。

可选的，目标检测模型包括还包括稀疏采样模块，所述稀疏采样模块分别与各子检测模块连接，用于接收上一子检测模块的检测结果，基于所述检测结果对所述初始图像特征进行稀疏采样，将采样特征输入至下一子检测模块。

需要说明的是，本实施例中目标检测模型是基于上述任意实施例中提供的目标检测模型的训练方法训练得到。

本实施例提供的技术方案，通过目标检测模型对待处理处理的处理过程中，在检测模块中各子检测模块之间，基于上一子检测模块的检测结果对初始图像特征进行稀疏采样的方式，得到下一子检测模块进行处理的稀疏特征，以减少下一子检测模块处理的冗余特征，提供下一子检测模块输入图像特征的针对性和准确性，提高目标检测模型的处理效率和检测准确性。

在上述实施例的基础上，还提供了一种目标检测模型的训练装置，参见图6，图6是本发明实施例提供的一种目标检测模型的训练装置的结构示意图，该装置用于获取训练样本数据，基于所述训练样本对待训练的目标检测模型进行迭代训练，在满足训练结束条件的情况下，得到训练完成的目标检测模型。该装置包括：

检测结果确定模块310，用于将所述样本数据输入至所述待训练的目标检测模型，得到所述目标检测模型中各子检测模块输出的检测结果，其中，目标检测模型包括特征提取模块和检测模块，所述检测模块包括依次连接的多个子检测模块，在所述待训练的目标检测模型对样本数据的处理过程中，特征提取模块提取初始图像特征，并输入至所述检测模块，所述检测模块中的子检测模块用于对输入图像特征确定所述子检测模块检测结果，基于所述子检测模块的检测结果对所述初始图像特征进行稀疏采样，将采样特征作为输入图像特征输入到下一子检测模块；

损失函数确定模块320，用于基于各子检测模块输出的检测结果和所述样本数据的标注数据确定损失函数；

网络参数调节模块330，用于基于所述损失函数调节所述目标检测模型中的网络参数。

可选的，所述目标检测模型包括还包括稀疏采样模块，所述稀疏采样模块分别与各子检测模块连接，用于接收上一子检测模块的检测结果，基于所述检测结果对所述初始图像特征进行稀疏采样，将采样特征输入至下一子检测模块。

可选的，所述检测结果包括检测框和分类概率；

稀疏采样模块用于：基于所述检测框对所述初始图像特征和特征提取模块的位置编码数据分别进行稀疏采样，得到图像采样特征和编码采样特征。

可选的，所述子检测模块包括自注意力单元、交叉注意力单元、前馈网络单元和检测单元；

其中，所述自注意力单元用于提取当前解码序列特征的自注意力特征；

所述交叉注意力单元用于基于线性映射方式对所述自注意力特征和输入图像特征提取交叉注意力特征；

所述前馈网络单元用于基于交叉注意力特征得到更新解码序列特征；

所述检测单元用于基于所述更新解码序列特征确定当前的检测结果。

可选的，所述特征提取模块包括基础特征提取器和编码器，其中，所述基础特征提取器用于提取样本数据的二维基础特征，所述编码器用于对所述二维基础特征进行特征提取，输出一维图像序列特征。

可选的，损失函数确定模块330用于基于每一子检测模块输出的检测结果和所述样本数据的标注数据确定损失项；基于各子检测模块对应的损失项确定损失函数。

本发明实施例所提供的目标检测模型的训练装置可执行本发明任意实施例所提供的目标检测模型的训练方法，具备执行目标检测模型的训练方法相应的功能模块和有益效果。

在上述实施例的基础上，还提供了一种目标检测装置，参见图7，图7是本发明实施例提供的一种目标检测装置的结构示意图，该装置包括：

图像获取模块410，用于获取待检测图像；

目标检测模块420，用于将所述待检测图像输入至预先训练的目标检测模型中，得到所述待检测图像中目标位置和目标分类；

本发明实施例所提供的目标检测装置可执行本发明任意实施例所提供的目标检测方法，具备执行目标检测方法相应的功能模块和有益效果。

图8示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图8所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如目标检测模型的训练方法，和/或，所述目标检测方法。

在一些实施例中，目标检测模型的训练方法，和/或，所述目标检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的目标检测模型的训练方法，和/或，所述目标检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行目标检测模型的训练方法，和/或，所述目标检测方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种目标检测模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述目标检测模型包括还包括稀疏采样模块，所述稀疏采样模块分别与各子检测模块连接，用于接收上一子检测模块的检测结果，基于所述检测结果对所述初始图像特征进行稀疏采样，将采样特征输入至下一子检测模块。

3.根据权利要求1所述的方法，其特征在于，所述检测结果包括检测框和分类概率；

所述基于所述检测结果对所述初始图像特征进行稀疏采样，包括：

基于所述检测框对所述初始图像特征和特征提取模块的位置编码数据分别进行稀疏采样，得到图像采样特征和编码采样特征。

4.根据权利要求1所述的方法，其特征在于，所述子检测模块包括自注意力单元、交叉注意力单元、前馈网络单元和检测单元；

所述交叉注意力单元用于基于特征映射方式对所述自注意力特征和输入图像特征提取交叉注意力特征；

5.根据权利要求1所述的方法，其特征在于，所述特征提取模块包括基础特征提取器和编码器，其中，所述基础特征提取器用于提取样本数据的二维基础特征，所述编码器用于对所述二维基础特征进行特征提取，输出一维图像序列特征。

6.根据权利要求1所述的方法，其特征在于，所述基于各子检测模块输出的检测结果和所述样本数据的标注数据确定损失函数，包括：

基于每一子检测模块输出的检测结果和所述样本数据的标注数据确定损失项；

基于各子检测模块对应的损失项确定损失函数。

7.一种目标检测方法，其特征在于，包括：

8.一种目标检测模型的训练装置，其特征在于，用于：

该装置包括：

9.一种目标检测装置，其特征在于，包括：

图像获取模块，用于获取待检测图像；

10.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的目标检测模型的训练方法，和/或，权利要求7中所述的目标检测方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的目标检测模型的训练方法，和/或，权利要求7中所述的目标检测方法。