CN114332787A - 无源域无监督域自适应车辆再识别方法 - Google Patents
无源域无监督域自适应车辆再识别方法 Download PDFInfo
- Publication number
- CN114332787A CN114332787A CN202111680087.8A CN202111680087A CN114332787A CN 114332787 A CN114332787 A CN 114332787A CN 202111680087 A CN202111680087 A CN 202111680087A CN 114332787 A CN114332787 A CN 114332787A
- Authority
- CN
- China
- Prior art keywords
- domain
- model
- source
- target
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013508 migration Methods 0.000 claims abstract description 14
- 230000005012 migration Effects 0.000 claims abstract description 14
- 238000013140 knowledge distillation Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 18
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 230000014759 maintenance of location Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 229910052739 hydrogen Inorganic materials 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 claims 1
- 230000006978 adaptation Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 2
- 238000004821 distillation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出一种无源域无监督域自适应车辆再识别方法，在车辆再识别过程中，通过源域模型和目标域数据，利用关系保持一致损失和知识蒸馏损失训练一个生成器，目的是生成具有源域风格的伪目标样本，然后利用伪目标样本对模型进行微调，从而提升模型性能。其不再使用源域数据，而是利用隐含在源域模型中学习到的源域知识来作为指导，从而促进目标域数据的风格向源域数据的风格进行迁移。
Description
技术领域
本发明属于机器学习、车辆再识别技术领域，尤其涉及一种无源域无监督域自适应车辆再识别方法。
背景技术
目前大多数基于监督学习的车辆再识别方法都实现了较高的精度，但代价是极度依赖于有效的监督标签，无法很好拓展到无监督领域。为此，一些基于无监督的车辆再识别方法应运而生，这里着重强调一下无监督再识别任务与目前受关注的无监督预训练(Unsupervised Pre-training)任务存在的主要区别：(1)无监督预训练任务从网络随机初始化开始，而无监督再识别任务是从预训练好的网络开始；(2)无监督预训练的网络需要经过fine-tune才可以应用在下游任务上，而无监督再识别任务本身可以看作一个无监督的下游任务，经过训练好的网络可直接部署。无监督车辆再识别又分为无监督域自适应和完全无监督两个方向。
对于无监督域自适应任务和完全无监督任务来说，本质上是十分相似的，区别在于无监督域自适应方法额外需要一个具有标签的源域数据集，先利用源域数据对模型进行预训练，预训练完成后，不再使用源域数据，只使用无标签的目标域数据进行再次训练得到最终模型；而完全无监督的方法只需要用无标签的目标域数据进行训练即可。
目前在无监督车辆再识别任务中，无监督域自适应任务是当前最受关注的，而不依赖于源域数据的完全无监督任务则较少被研究。
目前，基于无监督域自适应的车辆再识别算法通常需要源域模型，然后再利用到有标签的源域数据和无标签的目标域数据进行一系列的微调，使得模型可以在目标域上也可以有着良好的表现。但是由于数据隐私性和安全性被科研工作人员日益重视，源域数据的获取变得不是那么容易，而源域模型的获取相对而言是容易。
在以往基于图片生成的无监督域自适应方法中，通常需要利用源域数据作为内容与风格指导，来促进目标域数据的风格向源域数据的风格进行迁移。
发明内容
考虑到近年来，大多数基于监督学习的车辆再识别方法都实现了较高的精度，但却极度依赖于有效的监督标签，如何将一个车辆再识别模型部署到无标签的数据集上并实现较好的效果是一个巨大的难题。此外，由于数据安全性及私密性的限制，在实际应用当中源域数据的获取也存在较大的难度。
为了弥补现有技术的空白和不足，本发明提出一种无源域无监督域自适应车辆再识别方法。通过源域模型和目标域数据，利用关系保持一致损失和知识蒸馏损失训练一个生成器，目的是生成具有源域风格的伪目标样本，然后利用伪目标样本对模型进行微调，从而提升模型性能。其不再使用源域数据，而是利用隐含在源域模型中学习到的源域知识来作为指导，从而促进目标域数据的风格向源域数据的风格进行迁移。
与其他基于域迁移的无监督域自适应方法相比，本发明方法最大的优势是无需访问源域数据。
本发明具体采用以下技术方案：
一种无源域无监督域自适应车辆再识别方法，其特征在于：在车辆再识别过程中，通过源域模型和目标域数据，利用关系保持一致损失和知识蒸馏损失训练一个生成器，目的是生成具有源域风格的伪目标样本，然后利用伪目标样本对模型进行微调，从而提升模型性能。
进一步地，不使用源域数据，而是利用隐含在源域模型中学习到的源域知识来作为指导，从而促进目标域数据的风格向源域数据的风格进行迁移。
进一步地，运用合成图像，将合成图像通过SPGAN生成伪目标样本进行预训练，同时能够接收源域数据与目标域数据联合进行再次训练，进而完成无监督域自适应任务。
进一步地，通过合成图像设计两个网络模型用来学习车辆的方向相似度和背景相似度，再利用车辆ID相似度减去方向相似度和相机相似度，以此来减小相似的方向和背景的对模型的干扰。
进一步地，源域模型通过公开的预训练模型或者利用公开的数据集以交叉熵损失和三元组损失预训练获取；目标域模型通过加载已获取的源域模型参数，在利用目标域数据微调获得。
进一步地，假设只有源模型中的特征提取器才适应于目标域；给定一个源模型fS(·)和一个目标模型fT(·)，为无源知识迁移模块训练一个生成器；将目标图像设为x，给定生成的图像
源模型输出所有源域数据的特征映射
和概率分布
为了描述生成的图像中所适应的知识，除了知识蒸馏损失外，还引入一种新的关系保持损失，其保持了目标图像目标模型特征图fT(x)与生成的图像源模型特征图
之间的相对通道关系；
所述知识蒸馏损失为：在无源知识迁移模块中，将利用源模型和生成器的组合fS(g(·))描述目标模型fT(·)中适应的知识看做知识蒸馏的一种特殊情况；将源域数据和目标域数据之间的知识差异提取到生成器中；利用生成图像喂入源模型的输出
和目标图像喂入目标模型的输出p(fT(x))构成知识蒸馏损失：
所述关系保持损失为：在经过成功的知识蒸馏之后，目标图像据通过目标模型所得到的全局特征和生成的源域风格图像通过源模型所得到的全局特征应当是相似的，因此利用关系保持损失进行约束；
给定源域特征图
和目标域特征图fT(x)，首先对其进行重塑为特征向量FS和FT，
其中，D、H、W分别为特征图深度(通道数)、高度和宽度；之后，计算它们的通道级自相关性，或格拉姆矩阵，
其中，Gs,GT∈RD×D，并应用行L2归一化：
其中，[i,:]表示矩阵中的第i行；最后，将保持损失的关系定义为归一化格兰氏矩阵之间的均方误差MSE：
总损失为：
通过这两个损失的约束，能够从目标图像中生成源风格的图像，以此用于模型的进一步微调，提升模型辨别能力。
本发明及其优选方案提供了一种新的无源知识迁移的无监督域自适应车辆再识别框架。与其他基于域迁移的无监督域自适应方法相比，其最大的优势是无需访问源域数据。只需要获取源域数据训练的模型，之后利用无源知识迁移模块，就能够将隐含在源域模型当中的知识具象迁移到目标域数据上。
与现有技术相比，本发明及其优选方案具有以下技术优势：
1、现有的方法通常直接利用源域数据对模型进行预训练，在预训练之后不再使用源域数据，只使用目标域进行训练，这使得源域数据中的真实标签无法得到合理利用。
本发明及其优选方案在车辆再识别领域运用合成图像，将合成图像通过SPGAN生成伪目标样本进行预训练，同时能够接收源域数据与目标域数据联合进行再次训练，进而完成无监督域自适应任务。
2、现有的方法由于目标图像没有标注信息，对于一些因车辆方向或视角变化造成的干扰，都可能导致模型不能准确的进行辨别。
本发明及其优选方案通过合成图像设计了两个网络模型用来学习车辆的方向相似度和背景相似度，再利用车辆ID相似度减去方向相似度和相机相似度，以此来减小相似的方向和背景的对模型的干扰。
附图说明
图1为本发明实施例整体方法流程示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
如图1所示，本实施例提出的无源域无监督域自适应车辆再识别方法具体包括以下设计细节：
(1)源域模型和目标域模型获取：源域模型可以通过下载公开的预训练模型或者利用公开的数据集以交叉熵损失和三元组损失预训练获取，而目标域模型通过加载已获取的源域模型参数，在利用目标域数据微调即可。
(2)源域风格图像生成：根据现有的无监督域自适应工作原理，本实施例假设只有源模型中的特征提取器才适应于目标域。给定一个源模型fS(·)和一个目标模型fT(·)，本实施例为无源知识迁移模块训练一个生成器g(·)。由于训练过程是无源的，所以为了简单起见，本实施例在下面的内容中将目标图像称为x。
给定生成的图像
源模型输出所有源域数据的特征映射
和概率分布
为了描述生成的图像中所适应的知识，除了传统的知识蒸馏损失外，本实施例还引入了一种新的关系保持损失，它保持了目标图像目标模型特征图fT(x)与生成的图像源模型特征图
之间的相对通道关系。
知识蒸馏损失：在本实施例所提出的无源知识迁移模块中，利用源模型和生成器的组合fS(g(·))来描述目标模型fT(·)中适应的知识可以看做是知识蒸馏的一种特殊情况。本实施例的目的是将源域数据和目标域数据之间的知识差异提取到生成器中。在这种情况下，本实施例利用生成图像喂入源模型的输出
和目标图像喂入目标模型的输出p(fT(x))构成知识蒸馏损失。
关系保持损失：在经过成功的知识蒸馏之后，本实施例可以想到目标图像据通过目标模型所得到的全局特征和生成的源域风格图像通过源模型所得到的全局特征应当是相似的，因此本实施例利用关系保持损失来进行约束。在特征图fT(x)和
之间促进类似的通道级关系有助于实现这一目标。
在以往的知识蒸馏工作通常是以保持批级或是像素级的关系来进行约束。然而种约束的方式并不适用于当前任务。首先，批级的关系无法很好地监督到每一张图像的生成任务，这将对生成的效果造成损害。而像素级的关系的有效性在经过全局池化之后也会大打折扣。与两者相比，通道级的关系是以每张图像作为基础来进行计算的，并且不会受到全局池化的影响。因此，通道级关系是更加适合用来计算关系保持损失。
给定源域特征图
和目标域特征图fT(x)，本实施例首先需要对它进行重塑为特征向量FS和FT，
其中，D、H、W分别为特征图深度(通道数)、高度和宽度。接下来，本实施例计算它们的通道级自相关性，或格拉姆矩阵，
其中，Gs,GT∈RD×D。像其他知识蒸馏的相似性保持损失一样，本实施例应用行L2归一化，
其中，[i,:]表示矩阵中的第i行。最后，本实施例将保持损失的关系定义为归一化格兰氏矩阵之间的均方误差(MSE)，
总损失为：
通过这两个损失的约束，本实施例能够从目标图像中生成源风格的图像，以此用于模型的进一步微调，提升模型辨别能力。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的无源域无监督域自适应车辆再识别方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。
Claims (6)
1.一种无源域无监督域自适应车辆再识别方法，其特征在于：在车辆再识别过程中，通过源域模型和目标域数据，利用关系保持一致损失和知识蒸馏损失训练一个生成器，目的是生成具有源域风格的伪目标样本，然后利用伪目标样本对模型进行微调，从而提升模型性能。
2.根据权利要求1所述的无源域无监督域自适应车辆再识别方法，其特征在于：不使用源域数据，而是利用隐含在源域模型中学习到的源域知识来作为指导，从而促进目标域数据的风格向源域数据的风格进行迁移。
3.根据权利要求2所述的无源域无监督域自适应车辆再识别方法，其特征在于：运用合成图像，将合成图像通过SPGAN生成伪目标样本进行预训练，同时能够接收源域数据与目标域数据联合进行再次训练，进而完成无监督域自适应任务。
4.根据权利要求3所述的无源域无监督域自适应车辆再识别方法，其特征在于：通过合成图像设计两个网络模型用来学习车辆的方向相似度和背景相似度，再利用车辆ID相似度减去方向相似度和相机相似度，以此来减小相似的方向和背景的对模型的干扰。
5.根据权利要求4所述的无源域无监督域自适应车辆再识别方法，其特征在于：源域模型通过公开的预训练模型或者利用公开的数据集以交叉熵损失和三元组损失预训练获取；目标域模型通过加载已获取的源域模型参数，在利用目标域数据微调获得。
6.根据权利要求5所述的无源域无监督域自适应车辆再识别方法，其特征在于：
假设只有源模型中的特征提取器才适应于目标域；给定一个源模型fS(·)和一个目标模型fT(·)，为无源知识迁移模块训练一个生成器；将目标图像设为x，给定生成的图像
源模型输出所有源域数据的特征映射
和概率分布
为了描述生成的图像中所适应的知识，除了知识蒸馏损失外，还引入一种新的关系保持损失，其保持了目标图像目标模型特征图fT(x)与生成的图像源模型特征图
之间的相对通道关系；
所述知识蒸馏损失为：在无源知识迁移模块中，将利用源模型和生成器的组合fS(g(·))描述目标模型fT(·)中适应的知识看做知识蒸馏的一种特殊情况；将源域数据和目标域数据之间的知识差异提取到生成器中；利用生成图像喂入源模型的输出
和目标图像喂入目标模型的输出p(fT(x))构成知识蒸馏损失：
所述关系保持损失为：在经过成功的知识蒸馏之后，目标图像据通过目标模型所得到的全局特征和生成的源域风格图像通过源模型所得到的全局特征应当是相似的，因此利用关系保持损失进行约束；
给定源域特征图
和目标域特征图fT(x)，首先对其进行重塑为特征向量FS和FT，
其中，D、H、W分别为特征图深度(通道数)、高度和宽度；之后，计算它们的通道级自相关性，或格拉姆矩阵，
其中，Gs，GT∈RD×D，并应用行L2归一化：
其中，[i，：]表示矩阵中的第i行；最后，将保持损失的关系定义为归一化格兰氏矩阵之间的均方误差MSE：
总损失为：
通过这两个损失的约束，能够从目标图像中生成源风格的图像，以此用于模型的进一步微调，提升模型辨别能力。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111680087.8A CN114332787A (zh) | 2021-12-30 | 2021-12-30 | 无源域无监督域自适应车辆再识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111680087.8A CN114332787A (zh) | 2021-12-30 | 2021-12-30 | 无源域无监督域自适应车辆再识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114332787A true CN114332787A (zh) | 2022-04-12 |
Family
ID=81022497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111680087.8A Pending CN114332787A (zh) | 2021-12-30 | 2021-12-30 | 无源域无监督域自适应车辆再识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332787A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116543237A (zh) * | 2023-06-27 | 2023-08-04 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 无源域无监督域适应的图像分类方法、***、设备及介质 |
| CN116612445A (zh) * | 2023-07-20 | 2023-08-18 | 华侨大学 | 基于自适应聚类和困难样本加权的无监督车辆再辨识方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414368A (zh) * | 2019-07-04 | 2019-11-05 | 华中科技大学 | 一种基于知识蒸馏的无监督行人重识别方法 |
| CN112801019A (zh) * | 2021-02-09 | 2021-05-14 | 福州大学 | 基于合成数据消除无监督车辆再识别偏差的方法及*** |
| US20210390686A1 (en) * | 2020-06-15 | 2021-12-16 | Dalian University Of Technology | Unsupervised content-preserved domain adaptation method for multiple ct lung texture recognition |
| US20210390355A1 (en) * | 2020-06-13 | 2021-12-16 | Zhejiang University | Image classification method based on reliable weighted optimal transport (rwot) |
-
2021
- 2021-12-30 CN CN202111680087.8A patent/CN114332787A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414368A (zh) * | 2019-07-04 | 2019-11-05 | 华中科技大学 | 一种基于知识蒸馏的无监督行人重识别方法 |
| US20210390355A1 (en) * | 2020-06-13 | 2021-12-16 | Zhejiang University | Image classification method based on reliable weighted optimal transport (rwot) |
| US20210390686A1 (en) * | 2020-06-15 | 2021-12-16 | Dalian University Of Technology | Unsupervised content-preserved domain adaptation method for multiple ct lung texture recognition |
| CN112801019A (zh) * | 2021-02-09 | 2021-05-14 | 福州大学 | 基于合成数据消除无监督车辆再识别偏差的方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 陈志鸿: ""关于视频图像多目标跟踪优化研究"", 《计算机仿真》, 30 September 2020 (2020-09-30) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116543237A (zh) * | 2023-06-27 | 2023-08-04 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 无源域无监督域适应的图像分类方法、***、设备及介质 |
| CN116543237B (zh) * | 2023-06-27 | 2023-11-28 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 无源域无监督域适应的图像分类方法、***、设备及介质 |
| CN116612445A (zh) * | 2023-07-20 | 2023-08-18 | 华侨大学 | 基于自适应聚类和困难样本加权的无监督车辆再辨识方法 |
| CN116612445B (zh) * | 2023-07-20 | 2023-10-31 | 华侨大学 | 基于自适应聚类和困难样本加权的无监督车辆再辨识方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114332787A (zh) | 无源域无监督域自适应车辆再识别方法 | |
| CN111783521B (zh) | 基于低秩先验引导的域不变信息分离的行人重识别方法 | |
| CN108268871A (zh) | 一种基于卷积神经网络的端到端的车牌识别方法和*** | |
| CN107392131A (zh) | 一种基于人体骨骼节点距离的动作识别方法 | |
| CN111242061B (zh) | 一种基于注意力机制的合成孔径雷达舰船目标检测方法 | |
| CN103440510A (zh) | 一种面部图像中特征点的定位方法 | |
| CN107092931B (zh) | 一种奶牛个体识别的方法 | |
| CN112668648A (zh) | 基于对称融合网络的红外可见光融合识别方法 | |
| CN110659586A (zh) | 一种基于身份保持循环式生成式对抗网络的跨视角步态识别方法 | |
| CN110097033A (zh) | 一种基于特征扩充的单样本人脸识别方法 | |
| John et al. | A comparative study of various object detection algorithms and performance analysis | |
| CN111291669A (zh) | 一种双通道俯角人脸融合校正gan网络及人脸融合校正方法 | |
| CN115205903B (zh) | 一种基于身份迁移生成对抗网络的行人重识别方法 | |
| CN112017263B (zh) | 基于深度学习的试卷智能生成方法和*** | |
| CN112329832A (zh) | 一种基于深度卷积生成对抗网络的无源定位目标轨迹数据增强方法及*** | |
| CN114972904B (zh) | 一种基于对抗三元组损失的零样本知识蒸馏方法及*** | |
| CN101286236A (zh) | 基于多特征图像和均值漂移的红外目标跟踪方法 | |
| CN112380374B (zh) | 一种基于语义扩充的零样本图像分类方法 | |
| CN114091510A (zh) | 基于领域自适应的跨域车辆重识别方法 | |
| CN113591545A (zh) | 一种基于深度学习的多级特征提取网络行人再识别方法 | |
| Sun et al. | Multi-AUV target recognition method based on GAN-meta learning | |
| CN111507276A (zh) | 一种基于隐藏层增强特征的工地安全帽检测方法 | |
| JP7416284B2 (ja) | 学習装置、学習方法、及び、プログラム | |
| CN112651329B (zh) | 一种双流特征学习生成对抗网络的低分辨率船舶分类方法 | |
| CN111445578B (zh) | 一种地图三维道路特征识别方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |