CN116030235A - 目标检测模型训练方法、目标检测方法、装置和电子设备 - Google Patents

Abstract

本公开提供了一种目标检测模型训练方法、目标检测方法、装置和电子设备，涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域。该方法包括：在教师模型中，根据样本图像得到教师序列特征；将教师查询向量和教师序列特征输入解码器得到增强教师查询向量，并根据增强教师查询向量进行预测得到教师预测信息；在学生模型中，根据样本图像得到学生序列特征；将学生查询向量和学生序列特征输入解码器得到增强学生查询向量，并根据增强学生查询向量进行预测得到学生预测信息；根据教师预测信息、学生预测信息和样本图像的真值信息，对教师查询向量进行训练，并对学生模型进行训练。通过上述技术方案能够提高目标检测性能。

Description

目标检测模型训练方法、目标检测方法、装置和电子设备

技术领域

本公开涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域。具体涉及一种目标检测模型训练方法、目标检测方法、装置和电子设备。

背景技术

随着人工智能(Artificial Intelligence，AI)的快速发展，人工智能已经广泛应用于计算机视觉技术、语音识别技术、自然语言处理技术、深度学习、大数据处理技术等领域。

基于人工智能的图像检测技术也已经广泛应用于不同场景。其中，基于人工智能的目标检测技术，用于确定图像中的物体边界框和物体类别。如何提高目标检测性能十分重要。

发明内容

本公开提供了一种目标检测模型训练方法、目标检测方法、装置和电子设备。

根据本公开的一方面，提供了一种目标检测模型训练方法，包括：

在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将所述教师图像特征输入编码器得到教师序列特征；将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，并根据所述增强教师查询向量进行预测得到教师预测信息；

在学生模型中，将所述样本图像输入图像特征提取网络得到学生图像特征，并将所述学生图像特征输入编码器得到学生序列特征；将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量，并根据所述增强学生查询向量进行预测得到学生预测信息；

根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练。

根据本公开的另一方面，提供了一种目标检测方法，包括：

获取待检测的目标图像；

将所述目标图像输入目标检测模型得到检测结果；所述目标检测模型为采用本公开任意实施例公开的目标检测模型训练方法所训练得到的学生模型。

根据本公开的又一方面，提供了一种目标检测模型训练装置，包括：

教师预测模块，用于在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将所述教师图像特征输入编码器得到教师序列特征；将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，并根据所述增强教师查询向量进行预测得到教师预测信息；

学生预测模块，用于在学生模型中，将所述样本图像输入图像特征提取网络得到学生图像特征，并将所述学生图像特征输入编码器得到学生序列特征；将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量，并根据所述增强学生查询向量进行预测得到学生预测信息；

模型训练模块，用于根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练。

根据本公开的又一方面，提供了一种目标检测装置，包括：

目标图像模块，用于获取待检测的目标图像；

目标图像检测模块，用于将所述目标图像输入目标检测模型得到检测结果；所述目标检测模型为采用本公开任意实施例公开的目标检测模型训练方法所训练得到的学生模型。

根据本公开的另一方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任意实施例所提供的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开任意实施例所提供的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1a是根据本公开实施例提供的一种目标检测模型训练方法的流程图；

图1b是根据本公开实施例提供的一种目标检测模型的结构示意图；

图2a是根据本公开实施例提供的另一种目标检测模型训练方法的流程图；

图2b是根据本公开实施例提供的另一种目标检测模型的结构示意图；

图3是根据本公开实施例提供的又一种目标检测模型训练方法的流程图；

图4a是根据本公开实施例提供的又一种目标检测模型训练方法的流程图；

图4b是根据本公开实施例提供的又一种目标检测模型的结构示意图；

图5a是根据本公开实施例提供的又一种目标检测模型训练方法的流程图；

图5b是根据本公开实施例提供的又一种目标检测模型的结构示意图；

图6是根据本公开实施例提供的又一种目标检测方法的流程图；

图7是根据本公开实施例提供的一种目标检测模型训练装置的结构示意图；

图8是根据本公开实施例提供的一种目标检测装置的结构示意图；

图9是用来实现本公开实施例的目标检测模型训练方法或目标检测方法的电子设备的框图。

具体实施方式

图1a是根据本公开实施例提供的一种目标检测模型训练方法的流程图。该方法适用于对目标检测模型进行训练的情况。该方法可以由目标检测模型训练装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于电子设备中。如图1a所示，本实施例的目标检测模型训练方法可以包括：

S101，在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将所述教师图像特征输入编码器得到教师序列特征；将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，并根据所述增强教师查询向量进行预测得到教师预测信息；

S102，在学生模型中，将所述样本图像输入图像特征提取网络得到学生图像特征，并将所述学生图像特征输入编码器得到学生序列特征；将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量，并根据所述增强学生查询向量进行预测得到学生预测信息；

S103，根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练。

本公开实施例通过基于DETR(Detection Transformer，检测变换器)的蒸馏技术实现了对目标检测模型的训练。图1b是根据本公开实施例提供的一种目标检测模型的结构示意图，参考图1b，教师模型和学生模型均采用DETR网络，通过蒸馏技术进行训练将学生模型的训练结果作为目标检测模型，用于对待检测的目标图像进行目标检测。参考图1b，教师模型和学生模型分别包括图像特征提取网络、编码器和解码器，图像特征提取网络可采用CNN(Convolutional Neural Networks，卷积神经网络)结构，编码器、解码器可采用注意力机制。教师模型的网络复杂度高于学生模型的网络复杂度。预先采用样本图像和样本图像的真值信息对教师模型进行训练，并采用经预先训练的教师模型对学生模型进行蒸馏训练。

可学习的教师查询向量(object queries)可称为教师Embedding(嵌入)向量，初始的教师查询向量可以是随机向量，将这些随机向量编码，然后将其与教师图像特征结合起来，因此可以认为这些随机向量经过解码器，相当于采用随机向量从样本图像中查询，图像特征经过解码器中注意力机制的转换，得到教师预测信息。可学习的教师查询向量相当于可学习的检测框(anchor)，解决了手工设计检测框的问题。类似地，可学习的学生查询向量可称为学生Embedding(嵌入)向量，初始的学生查询向量可以是随机向量。

在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将教师图像特征输入编码器得到经编码的教师序列特征；将可学习的教师查询向量和教师序列特征均输入解码器得到增强教师查询向量，并根据增强教师查询向量进行预测，例如可将增强教师查询向量通过分类层和回归层得到样本图像中的物体边界框和物体类别，作为教师预测信息。以及，在学生模型中，将样本图像输入图像特征提取网络得到学生图像特征，并将学生图像特征输入编码器得到经编码的学生序列特征；将可学习的学生查询向量和学生序列特征均输入解码器得到增强学生查询向量，并根据增强学生查询向量进行预测，例如可将增强学生查询向量通过分类层和回归层得到样本图像中的物体边界框和物体类别，作为学生预测信息。

在蒸馏学习过程中，结合教师预测信息、学生预测信息和样本图像的真值信息，不仅对学生模型进行训练也就是说对学生模型中的图像特征提取网络、编码器、解码器、可学习的学生查询向量进行更新，还对可学习的教师查询向量进行异步更新。在蒸馏学习过程中，教师查询向量、学生查询向量之间相互影响，每一轮的教师查询向量受该轮的学生查询向量的影响，每一轮的学生查询向量受上一轮的教师查询向量的影响，通过教师查询向量、学生查询向量之间的异步更新，使得学生模型在训练优化过程中偏向教师模型的学习模式，从而将教师模型中的知识迁移到学生模型中，相比于蒸馏学习过程中直接蒸馏特征图，能够提高蒸馏效果的稳定性。

本公开实施例提供的技术方案，在蒸馏过程中通过教师查询向量与学生查询向量之间的异步更新，使得学生模型在训练优化过程中偏向教师模型的学习模式，从而将教师模型中的知识迁移到学生模型中，能够提高学生模型的稳定性，从而提高目标检测模型的性能。

图2a是根据本公开实施例提供的另一种目标检测模型训练方法的流程图。参见图2a，本实施例的目标检测模型训练方法可以包括：

S201，在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将所述教师图像特征输入编码器得到教师序列特征；将可学习的教师查询向量输入解码器中的自注意力层得到教师自注意力特征，且将所述教师自注意力特征和所述教师序列特征输入解码器中的交叉注意力层得到增强教师查询向量，并根据所述增强教师查询向量进行预测得到教师预测信息；

S202，在学生模型中，将所述样本图像输入图像特征提取网络得到学生图像特征，并将所述学生图像特征输入编码器得到学生序列特征；将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量，并根据所述增强学生查询向量进行预测得到学生预测信息；

S203，根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练；

S204，根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练。

图2b是根据本公开实施例提供的一种目标检测模型的结构示意图，参考图2b，参考图2b，教师模型中的解码器、学生模型中的解码器均包括自注意力层和交叉注意力层。在教师模型中，将可学习的教师查询向量输入解码器中的自注意力层得到教师自注意力特征，将教师自注意力特征和编码器输出的教师序列特征输入交叉注意力层得到增强教师查询向量；在学生模型中，将可学习的学生查询向量输入解码器中的自注意力层得到学生自注意力特征，且将学生自注意力特征和编码器输出的学生序列特征输入交叉注意力层得到增强学生查询向量。

在蒸馏学习过程中，还根据教师预测信息、学生预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练。也就是说，在蒸馏学习过程中，不仅对教师模型中可学习的教师查询向量进行更新，还对教师模型中交叉注意力层中的网络参数进行更新。在蒸馏学习过程中，教师模型中的交叉注意力层、学生模型中的交叉注意力层之间相互影响，每一轮教师模型中的交叉注意力层参数该轮学生模型中交叉注意力层参数的影响，每一轮学生模型中交叉注意力层参数受上一轮教师模型中交叉注意力层参数的影响，通过教学模型中交叉注意力层参数、学生模型中交叉注意力层参数之间的异步更新，使得学生模型在训练优化过程中偏向教师模型的学习模式，从而将教师模型中的知识迁移到学生模型中，能够进一步提高蒸馏效果的稳定性。

在一种可选实施方式中，根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练，包括：根据所述教师预测信息和所述学生预测信息构建第一蒸馏损失；根据所述教师预测信息和所述样本图像的真值信息构建第一教师损失，并根据所述学生预测信息和所述样本图像的真值信息构建第一学生损失；采用所述第一蒸馏损失和所述第一教师损失，对所述教师查询向量进行训练；采用所述第一蒸馏损失和所述第一学生损失，对所述学生模型进行训练。

在蒸馏学习过程中，通过根据教师预测信息和学生预测信息构建第一蒸馏损失，根据第一蒸馏损失和第一教师损失对教师模型中教师查询向量进行训练，根据第一蒸馏损失和第一学生损失对学生模型中学生查询向量、图像特征提取网络、编码器、解码器中的自注意力层、交叉注意力层进行更新，能够缩减教师预测信息、学生预测信息之间的差距，进一步提升蒸馏效果。需要说明的是，教师模型中的特征提取网络、编码器、解码器中的网络参数固定、不更新。

在一种可选实施方式中，根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练，包括：根据所述教师预测信息和所述学生预测信息构建第一蒸馏损失；根据所述教师预测信息和所述样本图像的真值信息构建第一教师损失；采用所述第一蒸馏损失和所述第一教师损失，对教师模型中的交叉注意力层进行训练。

在蒸馏学习过程中，通过根据教师预测信息和学生预测信息构建第一蒸馏损失，根据第一蒸馏损失和第一教师损失对教师模型的解码器中交叉注意层进行训练。需要说明的是，在蒸馏学习过程中，仅更新教师模型中的教师查询向量、解码器中的自注意力层，而教师模型中的特征提取网络、编码器、解码器中自注意力层的网络参数均固定、不更新。通过引入教师模型中交叉注意力层与学生模型中交叉注意力层之间异步更新，能够将教师模型中的知识更好地迁移到学生模型中。

本公开实施例提供的技术方案，在蒸馏过程中教师查询向量与学生查询向量之间异步更新，教师模型中交叉注意力层与学生模型中交叉注意力层之间异步更新，将教师模型中的知识迁移到学生模型中，能够提高学生模型的稳定性，从而提高目标检测模型的性能。

图3是根据本公开实施例提供的又一种目标检测模型训练方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图3，本实施例的目标检测模型训练方法可以包括：

S301，在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将所述教师图像特征输入编码器得到教师序列特征；将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，并根据所述增强教师查询向量进行预测得到教师预测信息；

S302，在学生模型中，将所述样本图像输入图像特征提取网络得到学生图像特征，并将所述学生图像特征输入编码器得到学生序列特征；

S303，生成随机数；

S304，在所述随机数大于数量阈值的情况下，采用所述教师序列特征替换所述学生序列特征，得到经替换的学生序列特征；

S305，将可学习的学生查询向量输入解码器中的自注意力层得到学生自注意力特征，且将所述学生自注意力特征和经替换的学生序列特征输入解码器中的交叉注意力层得到增强学生查询向量；

S306，根据所述增强学生查询向量进行预测得到学生预测信息；

S307，根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练。

在本公开实施例中，数量阈值可预设设定，例如可为0.5。具体的，在每一轮迭代过程中，可采用随机数生成器生成随机数，随机数的取值范围为(0,1)；在随机数大于数量阈值的情况下，采用本轮的教师序列特征替换学生序列特征，得到经替换的学生序列特征，并将学生自注意力特征和经替换的学生序列特征输入解码器中的交叉注意力层得到增强学生查询向量。在蒸馏学习过程中学生模型可以借鉴一部分教师模型中的教师序列特征，即借鉴一部分教师模型中的原始知识，使得学生模型可以更好地收敛，从而提高学生模型中交叉注意力层的更新稳定性与学习效率。在随机数小于或等于数量阈值的情况下，不对学生序列特征进行替换，将学生序列特征输入学生模型中的交叉注意力层，仍然保留学生模型的知识。尤其是在教师模型中交叉注意力层与学生模型中交叉注意力层之间异步更新的情况下，通过将一部分的学生序列特征替换为教师序列特征，使得学生模型能够更好地学习教师模型中的原始知识，从而提高学生模型的稳定性与学习效率。

具体的，参考如下公式：

在P>P0的情况下，C_s＝softmax(fc(f_t)×fc(p_s))×fc(f_t)；(1)

在P≤P0的情况下，C_s＝softmax(fc(f_s)×fc(p_s))×fc(f_s)；(2)

其中，P为随机数，P0为数量阈值，C_s为增强学生查询向量，f_t、f_s依次为教师序列特征、学生序列特征，p_s为学生自注意力特征，fc()为操作符，softmax()为激活函数。也就是说，在随机数大于数量阈值的情况下，基于公式(1)采用教师序列特征f_t代替学生序列特征f_s输入学生模型中交叉注意力层；在随机数小于或等于数量阈值的情况下，基于公式(2)仍然采用学生序列特征f_s输入学生模型中的交叉注意力层。

在一种可选实施方式中，将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，包括：将可学习的教师查询向量输入解码器中的自注意力层得到教师自注意力特征，且将所述教师自注意力特征和所述教师序列特征输入解码器中的交叉注意力层得到增强教师查询向量；所述方法还包括：根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练。

在蒸馏学习过程中，可将教师模型中的特征提取网络、编码器、解码器中的自注意力层固定住，只更新教师模型中的教师查询向量、交叉注意力层；学生模型中的特征提取网络、编码器、解码器中的自注意力层、交叉注意力层、学生查询向量均更新。通过教师查询向量、学生查询向量之间的异步更新，教师模型中交叉注意力层与学生模型中交叉注意力层之间的异步更新，能够提高蒸馏效果的稳定性；并且，通过将一部分的学生序列特征替换为教师序列特征，使得学生模型能够更好地学习教师模型中的原始知识；以及，在学生模型的本轮迭代过程中，替换的教师序列特征与本轮学生查询向量所借鉴的上一轮的教师查询向量之间相互配合，还能够提高收敛效率，从而进一步提高学生模型的稳定性与学习效率。

本公开实施例提供的技术方案，通过教师查询向量、学生查询向量之间的异步更新，教师模型中交叉注意力层与学生模型中交叉注意力层之间的异步更新，能够提高蒸馏效果的稳定性；并且，通过将一部分的学生序列特征替换为教师序列特征，使得学生模型能够更好地学习教师模型中的原始知识，从而进一步提高学生模型的稳定性与学习效率。

图4a是根据本公开实施例提供的又一种目标检测模型训练方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图4a，本实施例的目标检测模型训练方法可以包括：

S401，在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将所述教师图像特征输入编码器得到教师序列特征；将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，并根据所述增强教师查询向量进行预测得到教师预测信息；

S402，在学生模型中，将所述样本图像输入图像特征提取网络得到学生图像特征，并将所述学生图像特征输入编码器得到学生序列特征；将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量，并根据所述增强学生查询向量进行预测得到学生预测信息；

S403，对学生模型中的解码器进行复制，作为中间解码器；

S404，将可学习的中间查询向量和所述学生序列特征输入所述中间解码器得到增强中间查询向量，并根据所述增强中间查询向量进行预测得到中间预测信息；

S405，根据所述教师预测信息、所述学生预测信息、所述中间预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述中间解码器和所述学生模型中进行训练。

在本公开实施例中，参考图4b，中间解码器与学习模型中解码器的网络结构、网络复杂度相同。具体的，通过对学生模型中的解码器进行复制作为中间解码器。可学习的中间查询向量(object queries)可称为中间Embedding(嵌入)向量，初始的中间查询向量可以是随机向量。

具体的，将可学习的中间查询向量和学生模型中编码器输出的学生序列特征输入中间解码器得到增强中间查询向量，并通过增强中间查询向量进行预测，例如可将增强中间查询向量通过分类层和回归层得到样本图像中的物体边界框和物体类别，作为中间预测信息。并且，可结合教师预测信息、中间预测信息和样本图像的真值信息，对教师查询向量进行训练；结合教师预测信息、中间预测信息，对中间解码器进行训练；以及，结合学生预测信息和样本图像的真值信息，对学生模型进行训练。

由于中间解码器与学生模型中解码器的网络结构相同，在蒸馏学习过程中，通过将中间解码器作为教师模型、学生模型之间的中介，即将教师模型中的知识经中间解码器传递给学生模型，相比于直接将教师模型中的知识传递给学生模型，能够进一步提高蒸馏学习的稳定性和学习效率。

本公开实施例提供的技术方案，通过将中间解码器作为教师模型与学生模型之间的中介，由于中间解码器与学生模型中解码器的网络结构相同，能够进一步提高教师模型与中间解码器之间的学习效率，以及中间解码器与学生模型之间的学习效率，从而提高蒸馏学习效率。

在一种可选实施方式中，根据所述教师预测信息、所述学生预测信息、所述中间预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述中间解码器和所述学生模型中进行训练，包括：根据所述教师预测信息和所述中间预测信息确定第二蒸馏损失；根据所述教师预测信息和所述样本图像的真值信息确定第二教师损失，并根据所述学生预测信息和所述样本图像的真值信息确定第二学生损失；根据所述第二蒸馏损失和所述第二教师损失，对所述教师查询向量进行训练；根据所述第二蒸馏损失，对所述中间解码器进行训练；根据所述第二学生损失，对所述学生模型进行训练。

在蒸馏学习过程中，通过根据教师预测信息和中间预测信息构建第二蒸馏损失，根据第二蒸馏损失和第二教师损失对教师模型中教师查询向量进行训练，根据第二蒸馏损失对中间解码器进行训练，根据第二学生损失对学生模型中特征提取网络、编码器和解码器进行训练，能够缩减教师预测信息、中间预测信息之间的差距，进一步提升蒸馏效率与稳定性。

图5a是根据本公开实施例提供的又一种目标检测模型训练方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图5a，本实施例的目标检测模型训练方法可以包括：

S501，在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将所述教师图像特征输入编码器得到教师序列特征；将可学习的教师查询向量输入解码器中的自注意力层得到教师自注意力特征，且将所述教师自注意力特征和所述教师序列特征输入解码器中的交叉注意力层得到增强教师查询向量；

S502，根据所述增强教师查询向量进行预测得到教师预测信息；

S503，在学生模型中，将所述样本图像输入图像特征提取网络得到学生图像特征，并将所述学生图像特征输入编码器得到学生序列特征；将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量，并根据所述增强学生查询向量进行预测得到学生预测信息；

S504，对学生模型中的解码器进行复制，作为中间解码器；

S505，将可学习的中间查询向量和所述学生序列特征输入所述中间解码器得到增强中间查询向量，并根据所述增强中间查询向量进行预测得到中间预测信息；

S506，根据所述教师预测信息、所述学生预测信息、所述中间预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述中间解码器和所述学生模型中进行训练；

S507，根据所述教师预测信息、所述中间预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练。

参考图5b，教师模型中的解码器、中间解码器、学生模型中的解码器均包括自注意力层和交叉注意力层。在教师模型中，将可学习的教师查询向量输入解码器中的自注意力层得到教师自注意力特征，将教师自注意力特征和编码器输出的教师序列特征输入交叉注意力层得到增强教师查询向量；在中间解码器中，将可学习的中间查询向量输入中间解码器中的自注意力层得到中间自注意力特征，将中间注意力特征和学生序列特征输入交叉注意力层得到增强中间查询向量；在学生模型中，将可学习的学生查询向量输入解码器中的自注意力层得到学生自注意力特征，将学生自注意力特征和编码器输出的学生序列特征输入交叉注意力层得到增强学生查询向量。

在蒸馏学习过程中，根据教师预测信息、中间预测信息和样本图像的真值信息，对教师查询向量、教师模型中的交叉注意力层进行训练；根据教师预测信息、中间预测信息对中间解码器进行训练，根据学生预测信息、样本图像的真值信息，对学生模型进行训练。通过教师查询向量、中间查询向量之间的异步更新，教师模型中交叉注意力层、中间解码器中交叉注意力层之间的异步更新，使得将教师模型中的知识迁移到中间解码器中，能够提高蒸馏效果的稳定性。

在一种可选实施方式中，所述根据所述教师预测信息、所述中间预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练，包括：根据所述教师预测信息和所述中间预测信息确定第二蒸馏损失；根据所述教师预测信息和所述样本图像的真值信息确定第二教师损失；根据所述第二蒸馏损失和所述第二教师损失，对教师模型中的交叉注意力层进行训练。

在蒸馏学习过程中，根据教师预测信息和中间预测信息确定第二蒸馏损失；根据第二蒸馏损失、第二教师损失，对教师查询向量进行更新，以及对教师模型中的交叉注意力层的网络参数进行更新，能够缩减教师预测信息、中间预测信息之间的差距，进一步提升蒸馏效果。

在一种可选实施方式中，所述将可学习的中间查询向量和所述学生序列特征输入所述中间解码器得到增强中间查询向量，包括：生成随机数；在所述随机数大于数量阈值的情况下，采用所述教师序列特征替换所述学生序列特征，得到经替换的学生序列特征；将可学习的中间查询向量输入中间解码器中的自注意力层得到中间自注意力特征，且将所述中间自注意力特征和经替换的学生序列特征输入中间解码器中的交叉注意力层得到增强中间查询向量。

具体的，在随机数大于数量阈值的情况下，采用本轮的教师序列特征替换学生序列特征，得到经替换的学生序列特征，并将中间自注意力特征和经替换的学生序列特征输入中间解码器中的交叉注意力层得到增强中间查询向量。在蒸馏学习过程中的中间解码器可以借鉴一部分教师模型中的教师序列特征，即借鉴一部分教师模型中的原始知识，使得中间解码器可以更好地收敛，从而提高中间解码器中交叉注意力层的更新稳定性与学习效率。在随机数小于或等于数量阈值的情况下，不对学生序列特征进行替换，将学生序列特征输入中间解码器中的交叉注意力层，仍然保留学生模型的知识。需要说明的是，在学生模型训练过程中不对学生序列特征进行替换，学生模型中交叉注意力层输入的是学生序列特征和学生自注意力特征。

本公开实施例提供的技术方案，通过将中间解码器作为教师模型与学生模型之间的中介，以及，中间解码器通过借鉴一部分教师模型中的教师序列特征，使得中间解码器可以更好地收敛，从而提高中间解码器中交叉注意力层的更新稳定性与学习效率。

图6是根据本公开实施例提供的一种目标检测方法的流程图。该方法适用于对图像进行目标检测的情况。该方法可以由目标检测装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于电子设备中。如图4所示，本实施例的目标检测方法可以包括：

S601，获取待检测的目标图像；

S602，将所述目标图像输入目标检测模型得到检测结果获取待检测的目标图像；

其中，所述目标检测模型为采用本公开任意实施例公开的目标检测模型训练方法所训练得到的学生模型。

将训练阶段所训练得到的学生模型作为目标检测模型，将待检测的目标图像输入目标检测模型中的图像特征提取网络得到目标图像特征，将目标图像特征输入编码器得到目标序列特征，将目标序列特征输入解码器中的自注意力层得到自注意力特征，且将自注意力特征和预先学习的学生查询向量输入交叉注意力层得到增强查询向量；对增强查询向量进行预测得到目标图像中的物体边界框和物体类别，作为目标图像的检测结果。

本公开实施例提供的技术方案，由于在蒸馏学习过程中，教师查询向量与学生查询向量之间异步更新，教师模型中交叉注意力层与学生模型中交叉注意力层之间异步更新，学生模型还借鉴一部分教师模型中的教师序列特征，提高了蒸馏的稳定。因此，采用蒸馏得到的学生模型对目标图像进行物体检测，能够提高目标检测的稳定性。

图7是根据本公开实施例提供的一种目标检测模型训练装置的结构示意图。本实施例适用于对目标检测模型进行训练的情况。该装置可以采用软件和/或硬件的方式实现。如图7所示，本实施例的目标检测模型训练装置700可以包括：

教师预测模块710，用于在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将所述教师图像特征输入编码器得到教师序列特征；将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，并根据所述增强教师查询向量进行预测得到教师预测信息；

学生预测模块720，用于在学生模型中，将所述样本图像输入图像特征提取网络得到学生图像特征，并将所述学生图像特征输入编码器得到学生序列特征；将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量，并根据所述增强学生查询向量进行预测得到学生预测信息；

模型训练模块730，用于根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练。

在一种可选实施方式中，所述教师预测模块710包括：

增强教师单元，用于将可学习的教师查询向量输入解码器中的自注意力层得到教师自注意力特征，且将所述教师自注意力特征和所述教师序列特征输入解码器中的交叉注意力层得到增强教师查询向量；

所述教师预测模块710还包括交叉训练单元；

所述交叉训练单元，用于根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练。

在一种可选实施方式中，所述学生预测模块720包括：

随机数单元，用于生成随机数；

学生序列替换单元，用于在所述随机数大于数量阈值的情况下，采用所述教师序列特征替换所述学生序列特征，得到经替换的学生序列特征；

增强学生单元，用于将可学习的学生查询向量输入解码器中的自注意力层得到学生自注意力特征，且将所述学生自注意力特征和经替换的学生序列特征输入解码器中的交叉注意力层得到增强学生查询向量。

在一种可选实施方式中，所述模型训练模块730包括：

第一蒸馏单元，用于根据所述教师预测信息和所述学生预测信息构建第一蒸馏损失；

第一教师与学生单元，用于根据所述教师预测信息和所述样本图像的真值信息构建第一教师损失，并根据所述学生预测信息和所述样本图像的真值信息构建第一学生损失；

教师训练单元，用于采用所述第一蒸馏损失和所述第一教师损失，对所述教师查询向量进行训练；

学生训练单元，用于采用所述第一蒸馏损失和所述第一学生损失，对所述学生模型进行训练。

在一种可选实施方式中，所述交叉训练单元包括：

第一蒸馏子单元，用于根据所述教师预测信息和所述学生预测信息构建第一蒸馏损失；

第一教师子单元，用于根据所述教师预测信息和所述样本图像的真值信息构建第一教师损失；

交叉训练子单元，用于采用所述第一蒸馏损失和所述第一教师损失，对教师模型中的交叉注意力层进行训练。

在一种可选实施方式中，上述装置700还包括中间训练模块，所述中间训练模块包括：

中间解码器单元，用于对学生模型中的解码器进行复制，作为中间解码器；

增强中间单元，用于将可学习的中间查询向量和所述学生序列特征输入所述中间解码器得到增强中间查询向量；

中间预测单元，用于根据所述增强中间查询向量进行预测得到中间预测信息；

所述模型训练模块具体用于：

根据所述教师预测信息、所述学生预测信息、所述中间预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述中间解码器和所述学生模型中进行训练。

在一种可选实施方式中，所述模型训练模块730包括：

第二蒸馏单元，用于根据所述教师预测信息和所述中间预测信息确定第二蒸馏损失；

第二教师与学生单元，用于根据所述教师预测信息和所述样本图像的真值信息确定第二教师损失，并根据所述学生预测信息和所述样本图像的真值信息确定第二学生损失；

教师训练单元，用于根据所述第二蒸馏损失和所述第二教师损失，对所述教师查询向量进行训练；

中间训练单元，用于根据所述第二蒸馏损失，对所述中间解码器进行训练；

学生训练单元，用于根据所述第二学生损失，对所述学生模型进行训练。

在一种可选实施方式中，所述教师预测模块710包括：

增强教师单元，用于将可学习的教师查询向量输入解码器中的自注意力层得到教师自注意力特征，且将所述教师自注意力特征和所述教师序列特征输入解码器中的交叉注意力层得到增强教师查询向量；

所述教师预测模块710还包括第二交叉训练单元；

所述第二交叉训练单元，用于根据所述教师预测信息、所述中间预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练。

在一种可选实施方式中，所述第二交叉训练单元包括：

第二蒸馏子单元，用于根据所述教师预测信息和所述中间预测信息确定第二蒸馏损失；

第二教师子单元，用于根据所述教师预测信息和所述样本图像的真值信息确定第二教师损失；

第二交叉训练子单元，用于根据所述第二蒸馏损失和所述第二教师损失，对教师模型中的交叉注意力层进行训练。

在一种可选实施方式中，所述增强中间单元包括：

随机数子单元，用于生成随机数；

学生序列替换子单元，用于在所述随机数大于数量阈值的情况下，采用所述教师序列特征替换所述学生序列特征，得到经替换的学生序列特征；

增强中间子单元，用于将可学习的中间查询向量输入中间解码器中的自注意力层得到中间自注意力特征，且将所述中间自注意力特征和经替换的学生序列特征输入中间解码器中的交叉注意力层得到增强中间查询向量。

本公开实施例的技术方案，在蒸馏学习过程中，通过教师查询向量与学生查询向量之间异步更新，教师模型中交叉注意力层与学生模型中交叉注意力层之间异步更新，学生模型还借鉴一部分教师模型中的教师序列特征，提高了蒸馏的稳定。

图8是根据本公开实施例提供的一种目标检测装置的结构示意图。本实施例适用于进行目标检测的情况。该装置可以采用软件和/或硬件的方式实现。如图8所示，本实施例的目标检测装置800可以包括：

图像获取模块810，用于获取待检测的目标图像；

图像检测模块820，用于将所述目标图像输入目标检测模型得到检测结果；所述目标检测模型为采用本公开任意实施例公开的目标检测模型训练方法所训练得到的学生模型。

本公开实施例的技术方案，由于在蒸馏学习过程中，教师查询向量与学生查询向量之间异步更新，教师模型中交叉注意力层与学生模型中交叉注意力层之间异步更新，学生模型还借鉴一部分教师模型中的教师序列特征，提高了蒸馏的稳定。因此，采用蒸馏得到的学生模型对目标图像进行物体检测，能够提高目标检测的稳定性。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9是用来实现本公开实施例的目标检测模型训练方法或目标检测方法的电子设备的框图。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，电子设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储电子设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

电子设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如目标检测模型训练方法或目标检测方法。例如，在一些实施例中，目标检测模型训练方法或目标检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到电子设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的目标检测模型训练方法或目标检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行目标检测模型训练方法或目标检测方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。

云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作***、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (25)

1.一种目标检测模型训练方法，包括：

在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将所述教师图像特征输入编码器得到教师序列特征；将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，并根据所述增强教师查询向量进行预测得到教师预测信息；

在学生模型中，将所述样本图像输入图像特征提取网络得到学生图像特征，并将所述学生图像特征输入编码器得到学生序列特征；将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量，并根据所述增强学生查询向量进行预测得到学生预测信息；

根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练。

2.根据权利要求1所述的方法，其中，所述将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，包括：

将可学习的教师查询向量输入解码器中的自注意力层得到教师自注意力特征，且将所述教师自注意力特征和所述教师序列特征输入解码器中的交叉注意力层得到增强教师查询向量；

所述方法还包括：

根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练。

3.根据权利要求1所述的方法，其中，所述将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量，包括：

生成随机数；

在所述随机数大于数量阈值的情况下，采用所述教师序列特征替换所述学生序列特征，得到经替换的学生序列特征；

将可学习的学生查询向量输入解码器中的自注意力层得到学生自注意力特征，且将所述学生自注意力特征和经替换的学生序列特征输入解码器中的交叉注意力层得到增强学生查询向量。

4.根据权利要求1所述的方法，其中，所述根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练，包括：

根据所述教师预测信息和所述学生预测信息构建第一蒸馏损失；

根据所述教师预测信息和所述样本图像的真值信息构建第一教师损失，并根据所述学生预测信息和所述样本图像的真值信息构建第一学生损失；

采用所述第一蒸馏损失和所述第一教师损失，对所述教师查询向量进行训练；

采用所述第一蒸馏损失和所述第一学生损失，对所述学生模型进行训练。

5.根据权利要求2所述的方法，其中，所述根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练，包括：

根据所述教师预测信息和所述学生预测信息构建第一蒸馏损失；

根据所述教师预测信息和所述样本图像的真值信息构建第一教师损失；

采用所述第一蒸馏损失和所述第一教师损失，对教师模型中的交叉注意力层进行训练。

6.根据权利要求1所述的方法，所述方法还包括：

对学生模型中的解码器进行复制，作为中间解码器；

将可学习的中间查询向量和所述学生序列特征输入所述中间解码器得到增强中间查询向量，并根据所述增强中间查询向量进行预测得到中间预测信息；

所述根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练，包括：

根据所述教师预测信息、所述学生预测信息、所述中间预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述中间解码器和所述学生模型中进行训练。

7.根据权利要求6所述的方法，其中，所述根据所述教师预测信息、所述学生预测信息、所述中间预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述中间解码器和所述学生模型中进行训练，包括：

根据所述教师预测信息和所述中间预测信息确定第二蒸馏损失；

根据所述教师预测信息和所述样本图像的真值信息确定第二教师损失，并根据所述学生预测信息和所述样本图像的真值信息确定第二学生损失；

根据所述第二蒸馏损失和所述第二教师损失，对所述教师查询向量进行训练；

根据所述第二蒸馏损失，对所述中间解码器进行训练；

根据所述第二学生损失，对所述学生模型进行训练。

8.根据权利要求6所述的方法，其中，所述将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，包括：

将可学习的教师查询向量输入解码器中的自注意力层得到教师自注意力特征，且将所述教师自注意力特征和所述教师序列特征输入解码器中的交叉注意力层得到增强教师查询向量；

所述方法还包括：

根据所述教师预测信息、所述中间预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练。

9.根据权利要求8所述的方法，其中，所述根据所述教师预测信息、所述中间预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练，包括：

根据所述教师预测信息和所述中间预测信息确定第二蒸馏损失；

根据所述教师预测信息和所述样本图像的真值信息确定第二教师损失；

根据所述第二蒸馏损失和所述第二教师损失，对教师模型中的交叉注意力层进行训练。

10.根据权利要求6所述的方法，其中，所述将可学习的中间查询向量和所述学生序列特征输入所述中间解码器得到增强中间查询向量，包括：

生成随机数；

在所述随机数大于数量阈值的情况下，采用所述教师序列特征替换所述学生序列特征，得到经替换的学生序列特征；

将可学习的中间查询向量输入中间解码器中的自注意力层得到中间自注意力特征，且将所述中间自注意力特征和经替换的学生序列特征输入中间解码器中的交叉注意力层得到增强中间查询向量。

11.一种目标检测方法，包括：

获取待检测的目标图像；

将所述目标图像输入目标检测模型得到检测结果；所述目标检测模型为采用如权利要求1-10中任一项所述的方法训练得到的学生模型。

12.一种目标检测模型训练装置，包括：

教师预测模块，用于在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将所述教师图像特征输入编码器得到教师序列特征；将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，并根据所述增强教师查询向量进行预测得到教师预测信息；

学生预测模块，用于在学生模型中，将所述样本图像输入图像特征提取网络得到学生图像特征，并将所述学生图像特征输入编码器得到学生序列特征；将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量，并根据所述增强学生查询向量进行预测得到学生预测信息；

模型训练模块，用于根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练。

13.根据权利要求12所述的装置，其中，所述教师预测模块包括：

增强教师单元，用于将可学习的教师查询向量输入解码器中的自注意力层得到教师自注意力特征，且将所述教师自注意力特征和所述教师序列特征输入解码器中的交叉注意力层得到增强教师查询向量；

所述教师预测模块还包括交叉训练单元；

所述交叉训练单元，用于根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练。

14.根据权利要求12所述的装置，其中，所述学生预测模块包括：

随机数单元，用于生成随机数；

学生序列替换单元，用于在所述随机数大于数量阈值的情况下，采用所述教师序列特征替换所述学生序列特征，得到经替换的学生序列特征；

增强学生单元，用于将可学习的学生查询向量输入解码器中的自注意力层得到学生自注意力特征，且将所述学生自注意力特征和经替换的学生序列特征输入解码器中的交叉注意力层得到增强学生查询向量。

15.根据权利要求12所述的装置，其中，所述模型训练模块包括：

第一蒸馏单元，用于根据所述教师预测信息和所述学生预测信息构建第一蒸馏损失；

第一教师与学生单元，用于根据所述教师预测信息和所述样本图像的真值信息构建第一教师损失，并根据所述学生预测信息和所述样本图像的真值信息构建第一学生损失；

教师训练单元，用于采用所述第一蒸馏损失和所述第一教师损失，对所述教师查询向量进行训练；

学生训练单元，用于采用所述第一蒸馏损失和所述第一学生损失，对所述学生模型进行训练。

16.根据权利要求13所述的装置，其中，所述交叉训练单元包括：

第一蒸馏子单元，用于根据所述教师预测信息和所述学生预测信息构建第一蒸馏损失；

第一教师子单元，用于根据所述教师预测信息和所述样本图像的真值信息构建第一教师损失；

交叉训练子单元，用于采用所述第一蒸馏损失和所述第一教师损失，对教师模型中的交叉注意力层进行训练。

17.根据权利要求12所述的装置，所述装置还包括中间训练模块，所述中间训练模块包括：

中间解码器单元，用于对学生模型中的解码器进行复制，作为中间解码器；

增强中间单元，用于将可学习的中间查询向量和所述学生序列特征输入所述中间解码器得到增强中间查询向量；

中间预测单元，用于根据所述增强中间查询向量进行预测得到中间预测信息；

所述模型训练模块具体用于：

根据所述教师预测信息、所述学生预测信息、所述中间预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述中间解码器和所述学生模型中进行训练。

18.根据权利要求17所述的装置，其中，所述模型训练模块包括：

第二蒸馏单元，用于根据所述教师预测信息和所述中间预测信息确定第二蒸馏损失；

第二教师与学生单元，用于根据所述教师预测信息和所述样本图像的真值信息确定第二教师损失，并根据所述学生预测信息和所述样本图像的真值信息确定第二学生损失；

教师训练单元，用于根据所述第二蒸馏损失和所述第二教师损失，对所述教师查询向量进行训练；

中间训练单元，用于根据所述第二蒸馏损失，对所述中间解码器进行训练；

学生训练单元，用于根据所述第二学生损失，对所述学生模型进行训练。

19.根据权利要求17所述的装置，其中，所述教师预测模块包括：

增强教师单元，用于将可学习的教师查询向量输入解码器中的自注意力层得到教师自注意力特征，且将所述教师自注意力特征和所述教师序列特征输入解码器中的交叉注意力层得到增强教师查询向量；

所述教师预测模块还包括第二交叉训练单元；

所述第二交叉训练单元，用于根据所述教师预测信息、所述中间预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练。

20.根据权利要求19所述的装置，其中，所述第二交叉训练单元包括：

第二蒸馏子单元，用于根据所述教师预测信息和所述中间预测信息确定第二蒸馏损失；

第二教师子单元，用于根据所述教师预测信息和所述样本图像的真值信息确定第二教师损失；

第二交叉训练子单元，用于根据所述第二蒸馏损失和所述第二教师损失，对教师模型中的交叉注意力层进行训练。

21.根据权利要求17所述的装置，其中，所述增强中间单元包括：

随机数子单元，用于生成随机数；

学生序列替换子单元，用于在所述随机数大于数量阈值的情况下，采用所述教师序列特征替换所述学生序列特征，得到经替换的学生序列特征；

增强中间子单元，用于将可学习的中间查询向量输入中间解码器中的自注意力层得到中间自注意力特征，且将所述中间自注意力特征和经替换的学生序列特征输入中间解码器中的交叉注意力层得到增强中间查询向量。

22.一种目标检测装置，包括：

图像获取模块，用于获取待检测的目标图像；

图像检测模块，用于将所述目标图像输入目标检测模型得到检测结果；所述目标检测模型为采用如权利要求1-10中任一项所述的方法训练得到的学生模型。

23.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。

24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-11中任一项所述的方法。

25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的方法。

Images