CN114972920B - 一种多层次无监督领域自适应目标检测识别方法 - Google Patents

Abstract

本发明公开了一种多层次无监督领域自适应目标检测识别方法，首先利用源数据域的图像和对应的标签，对深度学习模型进行有监督训练。同时利用仿真生成模型，生成对应目标的图像，和目标域数据中的目标保持一致，通过修改仿真模型参数，生成不同条件下的数据集，从而实现泛化的中间域数据集。之后，利用源域训练好的模型，对中间域数据集进行渐次的域适应。模型参数适应之后，再引入目标域数据集，进行无监督自学习，生成伪标签，再次对模型进行参数微调，最终实现目标检测模型的多层次无监督领域自适应。本发明方法提高了模型的无监督目标检测精度和可靠性。

Description

一种多层次无监督领域自适应目标检测识别方法

技术领域

本发明属于模式识别技术领域，具体涉及一种自适应目标检测识别方法。

背景技术

多模态传感器，如可见光、红外、SAR等图像传感器，被广泛搭载在无人平台中，应用于监视与侦察等军事任务，以及国土勘测，自然灾害预测等民用领域。针对特定的任务，不同模态的图像具有不同的成像机制，传感器生成的数据目视解译和标注难度较大，大规模标记特定样本的代价较高，半监督和无监督检测是目前智能目标检测领域的重要发展方向。深度学习模型可以利用公开数据集进行参数预训练，然而，在面临新的目标检测任务时，训练好的模型因为分辨率、方位角、波长、极化方式等传感器的因素差异，普遍存在跨领域不适应问题，在新的目标数据集中解译性能明显下降。因此，基于深度学习的无监督目标检测准确性和泛化性不高是目前亟待解决的关键难题。综上所述，迫切需要一种可以实现有效无监督领域自适应的图像目标检测算法。

在面对新的图像目标检测任务时，目标受不同分辨率、方位角、地面粗糙度等多个物理因素影响，呈现不同的图像特征，这导致不同分辨率、不同尺寸的目标数据集特征差异较大，深度学习模型迁移后检测性能往往大幅下降，极大限制了目标自动检测模型的泛化性。现有技术在无监督领域自适应过程中，无法适应前后数据集差异过大的情况，对数据集要求很高，并且领域自适应后模型精度不高，模型泛化性不强。

发明内容

为了克服现有技术的不足，本发明提供了一种多层次无监督领域自适应目标检测识别方法，首先利用源数据域的图像和对应的标签，对深度学习模型进行有监督训练。同时利用仿真生成模型，生成对应目标的图像，和目标域数据中的目标保持一致，通过修改仿真模型参数，生成不同条件下的数据集，从而实现泛化的中间域数据集。之后，利用源域训练好的模型，对中间域数据集进行渐次的域适应。模型参数适应之后，再引入目标域数据集，进行无监督自学习，生成伪标签，再次对模型进行参数微调，最终实现目标检测模型的多层次无监督领域自适应。本发明方法提高了模型的无监督目标检测精度和可靠性。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：将公开红外图像数据集作为源域数据集；

步骤2：使用集成了红外摄像机的空天平台获得包含多个目标的红外视频数据，并将其分解为单帧图像，构成目标域数据集；

步骤3：利用红外数据生成模型，生成和目标域数据集分布及图像类别一致的红外图像，构成中间域数据集；对于获得的中间数据集进行数据增强，通过修改红外数据生成模型的参数，生成不同的红外图像，提高中间域数据集的泛化性；

步骤4：利用源域数据集对目标检测模型进行训练，训练完成后得到预训练目标检测模型；

步骤5：利用中间域数据集对预训练目标检测模型进行分批次的渐次调整，以提升模型的迁移鲁棒性和准确度，得到多批次迁移目标检测模型；

步骤6：将生成的多批次迁移目标检测模型在目标域数据集上进行推理，生成目标域数据的伪标签；

步骤7：将目标域伪标签作为训练数据对多批次迁移目标检测模型再次进行调整，最终得到自适应目标域数据集的无监督目标检测模型。

优选地，所述目标检测模型为YOLO V5。

优选地，所述步骤5具体为：

步骤5-1：随机变化源域数据集中图像的物理参数，生成多组仿真图像数据；仿真数据包含分辨率、方位角、俯角、散射特性和背景表面粗糙度；

步骤5-2：利用预训练目标检测模型对仿真图像数据进行测试并按测试分数进行排序；

步骤5-3：依照测试分数从高到低将仿真图像数据依次分为多个批次，每个批次中包含多幅仿真图像；先将测试分数最高的仿真图像批次混入源域数据集中，进行模型参数调整；接着依次混入分数次高的仿真数据批次，直至全部数据集都参与调整。

优选地，所述步骤7中将目标域伪标签作为训练数据对多批次迁移目标检测模型再次进行调整时所用损失函数为组合损失函数，具体如下：

所述组合损失函数由加权的位置损失L_box、类别损失L_cls和置信度损失L_obj构成：

L_d1＝λ_boxL_box+λ_clsL_cls+L_obj+L_λ(λ_box,λ_cls)

其中λ_box和λ_cls分别代表位置损失权重和类别损失权重，设置为可训练超参数，在模型参数后向传递过程中进行更新；L_λ代表λ_box和λ_cls的训练权重。

本发明的有益效果如下：

本发明采用多层次无监督领域自适应模型对图像进行无监督目标检测，能够实现图像的自动化无监督目标检测，利用仿真模型生成中间数据集作为“桥梁”，降低了目标数据集和训练数据集的差异，从而提高了模型在目标数据集中的无监督检测精度，最后采用渐进式自学习技术，利用中间数据集进行训练，进一步提高了模型的无监督目标检测精度和可靠性。

附图说明

图1为本发明方法流程图。

图2为本发明方法源域到中间域模型迁移示意图。

图3为本发明方法中间域到目标域模型迁移示意图。

图4为本发明实施例无监督领域自适应检测识别结果。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

为有效提升目标检测模型对于图像数据集中重要目标的无监督提取能力，本发明提出一种基于多层渐进式无监督跨领域自适应方法，引入渐进式自学习模块，利用仿真算法生成多层次中间层数据，有效降低源域和目标域的域差异，同时引入渐进式自学习训练算法，引导模型实现连续迁移，提高深度学习模型在无监督数据域的检测精度。

一种多层次无监督领域自适应目标检测识别方法，包括如下步骤：

步骤1：将公开红外图像数据集作为源域数据集；

步骤2：使用集成了红外摄像机的空天平台获得包含行人。汽车等多个目标的红外视频数据，并将其分解为单帧图像，构成目标域数据集；

步骤3：利用红外数据生成模型，生成和目标域数据集分布及图像类别一致的红外图像，构成中间域数据集；对于获得的中间数据集进行数据增强，通过修改红外数据生成模型的参数，生成不同的红外图像，提高中间域数据集的泛化性；

步骤4：利用源域数据集对目标检测模型YOLO V5进行训练，训练完成后得到预训练目标检测模型；

步骤5：利用中间域数据集对预训练目标检测模型进行分批次的渐次微调，以提升模型的迁移鲁棒性和准确度，得到多批次迁移目标检测模型；

步骤5-1：随机变化源域数据集中图像的物理参数，生成多组仿真图像数据；仿真数据包含分辨率、方位角、俯角、散射特性和背景表面粗糙度；

步骤5-2：利用预训练目标检测模型对仿真图像数据进行测试并按测试分数进行排序；

步骤5-3：依照测试分数从高到低将仿真图像数据依次分为多个批次，每个批次中包含多幅仿真图像；先将测试分数最高的仿真图像批次混入源域数据集中，进行模型参数调整；接着依次混入分数次高的仿真数据批次，直至全部数据集都参与调整。

步骤6：将生成的多批次迁移目标检测模型在目标域数据集上进行推理，生成目标域数据的伪标签；

步骤7：将目标域伪标签作为训练数据对多批次迁移目标检测模型再次进行微调，最终得到自适应目标域数据集的无监督目标检测模型。

在进行微调时所用损失函数为组合损失函数，具体如下：

所述组合损失函数由加权的位置损失L_box、类别损失L_cls和置信度损失L_obj构成：

L_d1＝λ_boxL_box+λ_clsL_cls+L_obj+L_λ(λ_box,λ_cls)

其中λ_box和λ_cls分别代表位置损失权重和类别损失权重，设置为可训练超参数，在模型参数后向传递过程中进行更新。

具体实施例：

图1为本发明方法整体结构，首先利用源数据域的图像和对应的标签，对深度学习模型模型进行有监督训练。同时利用仿真生成模型，生成对应目标的图像，这里的目标和目标域数据中的目标保持一致，通过修改仿真模型参数，生成不同条件下的数据集，从而实现泛化的中间域数据集。之后，利用源域训练好的模型，对中间域数据集进行渐次的域适应。模型参数适应之后，再引入目标域数据集，进行无监督自学习，生成伪标签，再次对模型进行参数微调，最终实现目标检测模型的多层次无监督领域自适应。

图2表示从源域到中间域的多层次领域自适应原理图。具体内容如下：

考虑领域D包含特征空间X和边缘概率分布P(X),其中X＝{x₁,x₂,…,x_n}。给定一个领域D＝{x,P(X)}，一个任务T由标签空间y和目标预测函数f(·)组成，记为T＝{y,f(·)}。使用函数f(·)预测一个实例x的标签f(x)，从概率观点f(x)可视为P(Y|X)。有标签的领域称为源域，记D_s＝{(x_s1,y_s1),(x_s2,y_s2),…,(x_sn,y_sn)}＝{X_s,y_s},其中y_si∈y_s为样本标签。仿真数据构成的领域称为中间域，记为D_t＝{x_t1,x_t2,…,x_tm}＝{X_t}。给定一个特定的源域D_s和源任务T_s，一个中间域D_t和中间任务T_t，需要利用源域和中间域域的知识改进目标预测函数f(·)的学习，其中D_s≠D_t，同时T_s＝T_t。利用源域的数据集和标签，以及中间域的目标数据集，通过最优化如下损失函数可以求得目标预测函数f(·)。

其中d是源域和中间域的样本合集。可以看出，如果中间域和源域重合，则随着源域样本的不断增大，最终损失函数可以学习到真实的目标域f(·)。然而，本项目中源域数据和中间域数据存在天然的结构差异，大量的源域训练样本反而会造成损失函数的过拟合，使得优化后的f(·)只能检测源域样本的目标，而无法处理中间域域样本。为降低过拟合，本发明提出的办法是提取相同仿真数据不同仿真条件下的共性特征，从而降低无监督领域自适应函数在优化过程中的过拟合。

从源域到中间域的迁移过程中，本发明提出的多层渐近跨领域自适应方法具体步骤为，首先，针对任务，创建合适的基准网络。本发明针对目标检测任务，采用YOLO V5主框架作为基本目标检测网络。根据基准网络，利用源域图像样本和标签对基准网络进行有监督训练。接着随机变化图像相关的物理参数，生成多组仿真图像数据集。仿真数据包含了不同分辨率、方位角、俯角、散射特性、背景表面粗糙度等多维度的多样性。利用训练好的模型对仿真数据进行测试并按测试分数以及数据特征差异进行排序。最后利用域差异最小仿真数据集进行跨领域自适应。首先通过特征泛化模块降低图像幅值分布差异，其次将仿真数据集混入原数据集中，进行模型参数微调。依次混入域差异更大的中间数据集，直至全部数据集都参与调整。

图3为本发明提出的从中间域到目标域数据集进行领域自适应的流程图。利用训练好的模型对无监督目标数据集进行预测，生成伪标签，利用伪标签对模型再次进行微调，最终使模型完成无监督跨领域自适应。由于无监督迁移条件下目标域和中间域存在特征差异，因此需要设计损失函数的融合与平衡机制。设计监督和非监督学习的组合损失函数，对模型检测和迁移的性能进行综合评价。无监督跨领域自适应算法涉及三个数据域的训练，分别是源域少样本的监督训练，中间域多个数据组的渐进训练，以及目标域样本的无监督训练。而在每个数据域训练过程中，又需要进一步优化目标的位置损失、类别损失以及置信度损失。针对多层渐进多损失函数，本发明提出组合损失函数，引导迁移模型在各个数据域中学习出最优参数：

组合损失函数包括了各个数据域中的目标检测损失，同时中间域和目标域的训练权重设置为超参数，训练前预设为经验值，训练过程中作为超参数加入模型的后向传递中。同时对超参数施加正则约束，目的是防止权重更新之后过大。对于每个数据域的目标损失而言，他们分别由加权的位置损失、类别损失和置信度损失构成：

L_d1＝λ_boxL_box+λ_clsL_cls+L_obj+L_λ(_λbox,λ_cls)

其中λ_box和λ_cls分别代表位置损失权重和类别损失权重，他们同样设置为可训练超参数，在模型参数后向传递过程中进行更新。而L_λ(λ_box,λ_clx)项则用于确保权重不会过大。

利用组合的损失函数对参数更新进行约束，同时对多个损伤函数进行有效融合，最终引导迁移模型在各个数据域中学习出最优参数。迁移模型损失函数的融合方法，使网络能在目标域和源域中都有均衡的表现。

图4使用本发明提出的方法在无人平台拍摄的数据集上进行了验证，其中源域为公开采集的SAR图像，中间域为主流开源模型生成的仿真SAR图像目标，目标域为发明人收集的SAR图像，其中公开数据和目标数据存在分辨率和方位角等显著差异。采用本发明方法之后，PR曲线的结果表明提出的模型在无监督目标检测领域方面的提升是显著的。相比于主流的目标检测算法，本发明方法能有效降低领域差异，大幅提高深度学习模型在新数据集上的泛化能力。

Claims (4)

1.一种多层次无监督领域自适应目标检测识别方法，其特征在于，包括如下步骤：

步骤1：将公开红外图像数据集作为源域数据集；

步骤2：使用集成了红外摄像机的空天平台获得包含多个目标的红外视频数据，并将其分解为单帧图像，构成目标域数据集；

步骤3：利用红外数据生成模型，生成和目标域数据集分布及图像类别一致的红外图像，构成中间域数据集；对于获得的中间数据集进行数据增强，通过修改红外数据生成模型的参数，生成不同的红外图像，提高中间域数据集的泛化性；

步骤4：利用源域数据集对目标检测模型进行训练，训练完成后得到预训练目标检测模型；

步骤5：利用中间域数据集对预训练目标检测模型进行分批次的渐次调整，以提升模型的迁移鲁棒性和准确度，得到多批次迁移目标检测模型；

步骤6：将生成的多批次迁移目标检测模型在目标域数据集上进行推理，生成目标域数据的伪标签；

步骤7：将目标域伪标签作为训练数据对多批次迁移目标检测模型再次进行调整，最终得到自适应目标域数据集的无监督目标检测模型。

2.根据权利要求1所述的一种多层次无监督领域自适应目标检测识别方法，其特征在于，所述目标检测模型为YOLO V5。

3.根据权利要求1所述的一种多层次无监督领域自适应目标检测识别方法，其特征在于，所述步骤5具体为：

步骤5-1：随机变化源域数据集中图像的物理参数，生成多组仿真图像数据；仿真数据包含分辨率、方位角、俯角、散射特性和背景表面粗糙度；

步骤5-2：利用预训练目标检测模型对仿真图像数据进行测试并按测试分数进行排序；

步骤5-3：依照测试分数从高到低将仿真图像数据依次分为多个批次，每个批次中包含多幅仿真图像；先将测试分数最高的仿真图像批次混入源域数据集中，进行模型参数调整；接着依次混入分数次高的仿真数据批次，直至全部数据集都参与调整。

4.根据权利要求1所述的一种多层次无监督领域自适应目标检测识别方法，其特征在于，所述步骤7中将目标域伪标签作为训练数据对多批次迁移目标检测模型再次进行调整时所用损失函数为组合损失函数，具体如下：

所述组合损失函数由加权的位置损失L_box、类别损失L_cls和置信度损失L_obj构成：

L_d1＝λ_boxL_box+λ_clsL_cls+L_obj+L_λ(λ_box,λ_cls)

其中λ_box和λ_cls分别代表位置损失权重和类别损失权重，设置为可训练超参数，在模型参数后向传递过程中进行更新；L_λ代表λ_box和λ_cls的训练权重。