CN114463552A - 迁移学习、行人重识别方法及相关设备 - Google Patents

迁移学习、行人重识别方法及相关设备 Download PDF

Info

Publication number
CN114463552A
CN114463552A CN202111619619.7A CN202111619619A CN114463552A CN 114463552 A CN114463552 A CN 114463552A CN 202111619619 A CN202111619619 A CN 202111619619A CN 114463552 A CN114463552 A CN 114463552A
Authority
CN
China
Prior art keywords
domain image
target
loss
global
target domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111619619.7A
Other languages
English (en)
Inventor
邵晓雯
潘华东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111619619.7A priority Critical patent/CN114463552A/zh
Publication of CN114463552A publication Critical patent/CN114463552A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种迁移学习、行人重识别方法及相关设备。迁移学习方法包括：将源域图像和目标域图像输入目标识别模型，获取源域图像的全局特征、目标域图像的全局特征、目标域图像的局部特征；其中，目标识别模型至少包括全局分支网络和局部分支网络，利用全局分支网络提取得到源域图像的全局特征和目标域图像的全局特征，利用局部分支网络提取得到目标域图像的局部特征；利用源域图像的全局特征、目标域图像的全局特征以及目标域图像的局部特征计算目标识别模型的损失；基于目标识别模型的损失，更新目标识别模型的模型参数。通过上述方式，本发明能够对齐源域图像与目标域图像的特征分布，以有利于提高目标识别模型的识别性能。

Description

迁移学习、行人重识别方法及相关设备
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种迁移学习方法、行人重识别方法、电子设备以及计算机可读存储介质。
背景技术
行人重识别为图像检索的子方案，是利用计算机视觉技术判断图像或视频序列中是否存在特定行人的技术，由于不同摄像设备之间的差异，同时行人外观易受穿着、尺寸和视角等影响，行人重识别具有较高的实现难度。并且，由于领域存在差异，训练好的目标识别模型泛化至另一数据集时可能出现识别效果差等情况，严重影响识别效果。
发明内容
有鉴于此，本发明主要解决的技术问题是提供一种迁移学习方法、行人重识别方法、电子设备以及计算机可读存储介质，能够对齐源域图像与目标域图像的特征分布，以有利于提高目标识别模型的识别性能。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种迁移学习方法，该迁移学习方法包括：获取源域图像和目标域图像，源域图像包含标注信息；将源域图像和目标域图像输入目标识别模型，获取源域图像的全局特征、目标域图像的全局特征、目标域图像的局部特征；其中，目标识别模型至少包括全局分支网络和局部分支网络，源域图像的全局特征和目标域图像的全局特征是利用全局分支网络提取得到的，目标域图像的局部特征是利用局部分支网络提取得到的；利用源域图像的全局特征、目标域图像的全局特征以及目标域图像的局部特征计算目标识别模型的损失；基于目标识别模型的损失，更新目标识别模型的模型参数。
在本发明的一实施例中，利用源域图像的全局特征、目标域图像的全局特征以及目标域图像的局部特征计算目标识别模型的损失包括：利用目标域图像的全局特征与目标域图像的局部特征计算第一损失，以及利用目标域图像的全局特征与源域图像的全局特征计算第二损失；融合第一损失和第二损失，得到第一融合损失；基于第一融合损失，更新目标识别模型的模型参数。
在本发明的一实施例中，利用目标域图像的全局特征与目标域图像的局部特征计算第一损失包括：计算目标域图像的全局特征与目标域全局特征模板的相似度，得到全局相似度向量，目标域全局特征模板为前一次训练提取的目标域图像全局特征的加权特征；分别计算目标域图像的各局部特征与对应的局部特征模板的相似度，得到多个局部相似度向量，局部特征模板为前一次训练提取的目标域图像局部特征的加权特征；分别计算各局部相似度向量与全局相似度向量的散度损失，得到多个散度损失；将多个散度损失进行加权平均，得到第一损失。
在本发明的一实施例中，利用目标域图像的全局特征与源域图像的全局特征计算第二损失包括：计算目标域图像的全局特征与源域图像的全局特征的相似度，得到第二损失。
在本发明的一实施例中，利用目标域图像的全局特征计算第三损失；融合第三损失和第一融合损失，得到第二融合损失；基于第二融合损失，更新目标识别模型的模型参数。
在本发明的一实施例中，利用目标域图像的全局特征计算第三损失包括：获取目标域全局特征模板，对目标域全局特征模板进行聚类，得到若干类别簇，目标域全局特征模板为前一次训练提取的目标域图像全局特征的加权特征；获取各类别簇的类别中心特征，类别中心特征为类别簇的全局特征的平均特征；计算目标域图像的全局特征与类别中心特征的相似度，得到第三损失。
在本发明的一实施例中，利用源域图像的全局特征计算第四损失；融合第四损失和第二融合损失，得到第三融合损失；基于第三融合损失，更新目标识别模型的模型参数。
在本发明的一实施例中，利用源域图像的全局特征计算第四损失包括：对源域图像的全局特征进行分类处理，得到类别预测概率；对源域图像的标注信息进行标签平滑处理，得到平滑标签；计算类别预测概率与平滑标签计算的交叉熵损失，得到第四损失。
在本发明的一实施例中，获取测试图像；将测试图像输入经过参数更新后的目标识别模型，提取测试图像的特征；分别计算测试图像的特征与底库集中各目标图像的特征的相似度；响应于相似度大于第一阈值的个数大于第二阈值，停止对目标识别模型的训练。
在本发明的一实施例中，目标识别模型还包括主干网络；主干网络连接全局分支网络以及局部分支网络；主干网络用于对源域图像以及目标域图像进行处理，并将经处理后的源域图像和目标域图像输入全局分支网络，将经处理后的目标域图像输入局部分支网络。
为解决上述技术问题，本发明采用的又一个技术方案是：提供一种行人重识别方法，该行人重识别方法包括：获取待识别图像；利用目标识别模型对待识别图像进行识别，并输出识别结果；目标识别模型是利用上述任一实施例中所阐述的迁移学习方法训练得到。
为解决上述技术问题，本发明采用的又一个技术方案是：提供一种电子设备，该电子设备包括：处理器，用于执行上述任一实施例中所阐述的迁移学习方法，和/或，用于执行上述实施例中所阐述的行人重识别方法。
为解决上述技术问题，本发明采用的又一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储指令/程序数据，指令/程序数据能够被执行以实现如上述任一实施例中所阐述的迁移学习方法，和/或，上述实施例中所阐述的行人重识别方法。
本发明的有益效果是：区别于现有技术，本发明迁移学习方法中，利用目标识别模型的全局分支网络获取源域图像的全局特征和目标域图像的全局特征，利用局部分支网络获取目标域图像的局部特征，也就是说，源域图像的全局特征与目标域图像的全局特征是通过同一分支网络得到的，即能够通过全局分支网络使得源域图像与目标域图像建立关联，从而在获取源域图像的全局特征以及目标域图像的全局特征时，能够将二者进行对齐，提高源域图像与目标域图像的属性关联，以提升迁移学习的泛化性，从而有利于提高目标识别模型的识别性能。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。此外，这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
图1是本发明目标识别模型一实施例的结构示意图；
图2是本发明迁移学习方法一实施例的流程示意图；
图3是本发明测试目标识别模型一实施例的流程示意图；
图4是本发明行人重识别方法一实施例的流程示意图；
图5是本发明电子设备一实施例的结构示意图；
图6是本发明计算机可读存储介质一实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
为解决现有技术中行人重识别的识别效果较差的技术问题，本发明提供一种迁移学习方法以及行人重识别方法。该迁移学习方法包括：获取源域图像和目标域图像，源域图像包含标注信息；将源域图像和目标域图像输入目标识别模型，获取源域图像的全局特征、目标域图像的全局特征、目标域图像的局部特征；其中，目标识别模型至少包括全局分支网络和局部分支网络，源域图像的全局特征和目标域图像的全局特征是利用全局分支网络提取得到的，目标域图像的局部特征是利用局部分支网络提取得到的；利用源域图像的全局特征、目标域图像的全局特征以及目标域图像的局部特征计算目标识别模型的损失；基于目标识别模型的损失，更新目标识别模型的模型参数。行人重识别方法是利用迁移学习方法所得到的目标识别模型实现的，该行人重识别方法包括：获取待识别图像；利用识别模型对待识别图像进行识别，并输出识别结果；识别模型是利用上述任一实施例中所阐述的迁移学习方法训练得到。以下对本发明进行详细阐述。
请参阅图1，图1是本发明目标识别模型一实施例的结构示意图。需要说明的是，本发明目标识别模型可以用于迁移学习，具体可以应用于行人重识别、语义识别、图像分割、目标识别等，为便于理解，下文以本发明目标识别模型应用于行人重识别方法为例进行阐述。
在一实施例中，源域图像和目标域图像输入目标识别模型，即目标识别模型能够获取源域图像和目标域图像；其中，目标域图像是指包含所要识别对象的图像，源域图像为不包含所要识别对象的图像，例如，目标域图像为包含目标人物的图像，源域图像为包含其他行人的图像。并且，源域图像包含标注信息，举例而言，标注信息可以是对源域图像中的行人身份信息等。
目标识别模型至少包括全局分支网络和局部分支网络；其中，全局分支网络能够提取得到源域图像的全局特征和目标域的全局特征，局部分支网络能够提取得到目标域图像的局部特征。
也就是说，将源域图像和目标域图像输入目标识别模型，能够自全局分支网络和局部分支网络获取源域图像的全局特征、目标域图像的全局特征、目标域的局部特征，以能够利用源域图像的全局特征、目标域图像的全局特征以及目标域图像的局部特征计算目标识别模型的损失，基于所得到的目标识别模型的损失，更新目标识别模型的模型参数，以优化目标识别模型。其中，具体计算目标识别模型的损失将在下文进行阐述。
可选地，全局分支网络可以将所输入的源域图像和目标域图像输入至GAP(GlobalAverage Pooling，全局平均池化)层，对每个特征图一整张图片进行全局均值池化，每张特征图都可以得到一个输出，能够减小网络参数，简化卷积结构减少所需的参数优化，降低目标识别模型过拟合的风险，并且每张特征图相当于一个输出特征，能够表示输出类的特征，通过加强特征图与类别的一致性，且能够对空间信息进行求和，使得空间变换更具有稳定性。
局部分支网络亦可以将所输入的目标域图像输在垂直方向上进行均匀切块处理，得到P个部分；将P个部分输入至GAP层，对每个部分进行全局平均池化，得到P个目标域图像的局部特征。
进一步地，目标识别模型还包括主干网络，主干网络连接全局分支网络以及局部分支网络，主干网络用于对源域图像以及目标域图像进行处理，并将经处理后的源域图像和目标域图像输入全局分支网络，将经处理后的目标域图像输入局部分支网络。其中，前文所提及的“将源域图像和目标域图像输入目标识别模型”，其中的源域图像和目标域图像可以是输入目标识别模型的源域图像和目标域图像，即未经主干网络进行处理的图像，还可以是经主干网络处理过的源域图像和目标域图像的特征图，在此不做限定。下文则以输入全局分支网络和局部分支网络的为，经主干网络处理后所输出的源域图像的特征图以及目标域图像的特征图为例进行阐述。
可选地，主干网络可以是ResNet-50神经网络等，在本实施例中，可以采用ResNet-50的前五个卷积层模块conv1-conv5作为主干网络，其中，卷积层模块conv1-conv5包含卷积层、激活层等，主干网络用于调整源域图像以及目标域图像的尺寸、清晰度等，还可以通过卷积层模块conv1-conv5对源域图像以及目标域图像进行的下采样处理，丰富源域图像以及目标域的语义信息。亦或是，可以去除卷积层模块conv5中的下采样操作，以增加源域图像的特征图尺寸大小、丰富特征的粒度。容易理解的是，基于所得到的目标识别模型的损失，更新目标识别模型的模型参数时，会对目标识别模型进行多次训练，每一次训练基于相邻前次训练所得到的损失更新目标识别模型的模型参数。
在一实施例中，一次训练为，将目标域图像和源域图像输入目标识别模型，经主干网络、全局分支网络以及局部分支网络，得到目标域图像的全局特征、目标域图像的局部特征以及源域的全局特征，存储所得到的目标域图像的全局特征作为目标域全局特征模板，存储所得到的P个目标域图像的局部特征作为P个局部特征模板。在每次训练完成时，对目标域全局特征模板和局部特征模板进行更新，可以是前一次训练提取的目标域图像全局特征以及局部特征的加权特征，如下公式所示：
Figure BDA0003437453470000071
其中，g表示局部特征模板，f表示目标域图像的局部特征，α为动量系数，可以设为0.2。
以下对本发明中计算目标识别模型损失，并利用损失更新目标识别模型的模型参数的实施方式进行举例阐述。
利用目标域图像的全局特征与目标域图像的局部特征计算第一损失；其中，目标域图像的全局特征是利用全局分支网络提取到的，目标域图像的局部特征是利用局部分支网络提取得到的，第一损失能够对目标域图像的全局特征和目标域图像的局部特征进行约束，即利用目标域图像的局部特征对目标域图像的全局特征进行约束，使得目标域图像的全局和局部相似度关系相匹配，甚至能够一致，有利于目标识别模型学习目标域图像的特征分布信息。
可选地，可以计算目标域图像的全局特征与目标域全局特征模板的相似度，得到全局相似度向量；目标域全局特征模板为前一次训练提取的目标域图像全局特征的加权特征。
分别计算目标域图像的各局部特征与对应的局部特征模板的相似度，得到多个局部相似度向量，局部特征模板为前一次训练提取的目标域图像局部特征的加权特征。
分别计算各局部相似度向量与全局相似度向量的散度损失，得到多个散度损失，将多个散度损失进行加权平均，得到第一损失，以对目标域图像的全局特征和目标域图像的局部特征进行约束。其中，散度可以是KL散度等，第一损失可以相当于一致性损失。
利用目标域图像的全局特征以及源域图像的全局特征计算第二损失，通过第二损失学习源域图像和目标域图像之间的风格差异，以利用第二损失对齐源域图像和目标域图像的特征分布，使得目标识别模型能够学习领域不变的特征，具有良好的泛化能力，以在目标识别模型用于对其他目标域进行识别时，仍能够具有良好的识别性能，从而提高目标识别模型的可靠性，有利于提高目标识别模型的识别性能。
可选地，计算目标域图像的全局特征与源域图像的全局特征的相似度，得到第二损失，以学习源域图像和目标域图像的风格差异，提高目标识别模型的泛化能力。其中，计算相似性可以是计算目标域图像的全局特征与源域图像的全局特征的MMD(Maximum meandiscrepancy，最大均值差异)距离，第二损失可以相当于域适应损失，通过减小域适应损失，可以对齐源域图像和目标域图像的特征分布。
在得到第一损失和第二损失后，可以融合第一损失和第二损失，得到第一融合损失，将第一融合损失进行反向传播，即基于第一融合损失，更新目标识别模型的模型参数。进一步地，还可以使用优化算法更新目标识别模型的模型参数以减少损失，从而在训练过程中使得目标识别模型学习到更好的领域不变的特征表达，进而提高目标识别模型的可靠性，提高目标识别模型的识别性能。
在替代实施例中，还可以是利用第一损失更新目标识别模型的模型参数，亦或是，利用第二损失更新目标识别模型的模型参数，在此不做限定。
进一步地，可以利用目标域图像的全局特征计算第三损失，从而利用第三损失提高目标识别模型的特征提取性能，进而提高目标识别模型的特征检索性能。
可选地，可以获取目标域全局特征模板，对目标域全局特征模板进行聚类，得到若干类别簇，还可以估计伪标签，为目标域图像的特征学习提供监督学习。其中，所得到的每个类别簇用于表示一个类别，一个类别代表一个人，也就是说，属于不同人的全局特征分别形成不同的类别簇。之所以会形成多个类别簇的原因在于，目标域图像中除所要识别的目标人物，还会包含其他行人，因此会形成分别表示不同人物的若干类别簇。
容易理解的，本实施例中还会对出现于目标域图像的非目标人物的其他行人进行识别，学习目标域图像中其他行人的身份特征，进一步提高目标识别模型的分类性能以及识别性能。其中，可以利用DBSCAN(Density-Based Spatial Clustering of Applicationswith Noise)等聚类算法对目标域全局特征模板进行聚类。
获取各类别簇的类别中心特征，类别中心特征为类别簇的全局特征的平均特征，计算目标域图像的全局特征与类别中心特征的相似度，得到第三损失，如下公式所示：
Figure BDA0003437453470000091
其中，fi是第i个目标域图像的全局特征，Cyi是其所在聚类簇的中心特征，N是全局模板聚类的类别数量；τ是温度系数，用于平衡特征分布，可以设为0.05；<fi，Cyi>表示fi、Cyi两个特征向量的内积。其中，第三损失可以相当于目标域图像分类损失。
融合第三损失和第一融合损失，得到第二融合损失，也就是说，第二融合损失可以是第一损失、第二损失以及第三损失融合得到的。基于第二融合损失，更新目标识别模型的模型参数。进一步地，还可以使用优化算法更新目标识别模型的模型参数以减少损失，从而在训练过程中使得目标识别模型学习到更好的领域不变的特征表达，进而提高目标识别模型的可靠性，提高目标识别模型的识别性能。
再进一步地，还可以利用源域图像的全局特征计算第四损失，提高目标识别模型的特征提取以及特征识别性能，从而优化目标识别模型的分类能力。
可选地，可以是将源域图像输入全连接层和softmax激活函数，对源域图像的全局特征进行分类处理，即对行人的身份进行分类，得到响应的类别预测概率。与此同时，对源域图像的标注信息进行标签平滑处理，得到平滑标签，计算类别预测概率与平滑标签计算的交叉熵损失，得到第四损失，即第四损失相当于源域分类损失，由于目标域图像数量通常少于源域图像的数目，因此利用源域图像对目标识别模型进行训练能够使得目标识别模型进行充足的训练，从而提高目标识别模型的分类性能，进而提高目标识别模型的识别性能。
融合第四损失和第二融合损失，得到第三融合损失，也就是说，第三融合损失为第一损失、第二损失、第三损失以及第四损失融合得到的，基于第三融合损失，更新目标识别模型的模型参数，从而能够提高目标识别模型的分类性能、域适应性能、特征检索性能等，提高目标识别模型的可靠性，进而提高目标识别模型的识别性能。
在替代实施例中，还可以利用第四损失与第一融合损失进行融合，即将第四损失、第一损失和第二损失进行融合，利用融合得到的损失对目标识别模型的模型参数进行更新，从而提高目标识别模型的识别性能。
需要说明的是，本发明中基于目标识别模型的损失，更新目标识别模型的模型参数时，所利用的损失可以是第一损失、第二损失、第三损失、第四损失之间的至少一者；也就是说，可以利用其中一者，或是其中几者融合后损失，或是四者融合后的损失，在此就不再赘述。
综上所述，本发明的目标识别模型在训练过程中可以得到四个损失，即第一损失、第二损失、第三损失以及第四损失，将损失进行求融合后进行反向传播，更新目标识别模型的模型参数，还可以利用优化算法对目标识别模型的参数进行更新，以减小损失，从而在训练过程中有利于目标识别模型学习领域不变特征。
请参阅图2，图2是本发明迁移学习方法一实施例的流程示意图。需要说明的是，本实施例所阐述的迁移学习方法并不局限于以下步骤：
S101：获取源域图像和目标域图像。
在本实施例中，源域为不包含所要识别目标的图像，且源域图像包含标注信息，例如行人身份信息等；目标域图像为包含所要识别目标的图像，且目标域图像不包含标注信息。
S102：将源域图像和目标域图像输入目标识别模型，获取源域图像的全局特征、目标域图像的全局特征、目标域图像的局部特征。
在本实施例中，目标识别模型至少包括全局分支网络和局部分支网络，源域图像的全局特征和目标域图像的全局特征是利用全局分支网络提取得到的，以能够对齐目标域图像与源域图像的特征分布，目标域图像的局部特征是利用局部分支网络提取得到的，具体获取过程如上述目标识别模型中所阐述的，在此就不再赘述。
S103：利用源域图像的全局特征、目标域图像的全局特征以及目标域图像的局部特征计算目标识别模型的损失。
在本实施例中，计算目标识别模型的损失的具体实施方式已在前文进行举例阐述，在此就不再赘述。
可选地，在每次训练获取源域图像的全局特征、目标域图像的全局特征以及目标域图像的局部特征时，可以随机选取一定数量的源域图像和目标域图像进行训练。
S104：基于目标识别模型的损失，更新目标识别模型的模型参数。
在本实施例中，利用损失更新目标识别模型的模型参数，能够提高目标识别模型的识别性能。其中，具体基于损失更新目标识别模型的模型参数的实施方式，已在前文进行举例阐述，在此就不再赘述。
由此可见，在本实施例中，源域图像的全局特征与目标域图像的全局特征是通过同一分支网络得到的，即能够通过全局分支网络使得源域图像与目标域图像建立关联，从而在获取源域图像的全局特征以及目标域图像的全局特征时，能够将二者特征分布进行对齐，提高源域图像与目标域图像的属性关联，学习领域不变特征，以提高迁移学习的泛化性，从而有利于提高目标识别模型的识别性能。
请参阅图3，图3是本发明测试目标识别模型一实施例的流程示意图。需要说明的是，本实施例所阐述的测试目标识别模型并不局限于以下步骤：
S201：获取测试图像。
在本实施例中，目标域图像可以分为训练图像、测试图像以及底库集，其中，训练图像用于进行上述实施例中的迁移方法，测试图像以及底库集可以用于测试目标识别模型的性能。可选地，训练图像、测试图像以及底库集中可以每两者之间存在交集。
S202：将测试图像输入经过参数更新后的目标识别模型，提取测试图像的特征。
在本实施例中，利用源域图像和标注信息以及目标域图像的训练图像训练得到的目标识别模型，即经过参数更新后的目标识别模型，将测试图像输入该目标识别模型，提取测试图像的特征；其中，测试图像的特征包括测试图像的全局特征以及测试图像的局部特征。
S203：分别计算测试图像的特征与底库集中各目标图像的特征的相似度。
在本实施例中，对于每个测试图像，利用提取的特征计算其与底库集所有目标图像的相似度，例如欧式距离等，即分别计算测试图像的特征与底库集中各目标图像的特征的相似度。
S204：响应于相似度大于第一阈值的个数大于第二阈值，停止对目标识别模型的训练。
在本实施例中，根据预设排序顺序(例如相似度由小至大)排序返回底库中的检索结果，响应于相似度大于第一阈值的个数大于第二阈值，认为目标识别模型训练完成，则结束对目标识别模型的训练。
请参阅图4，图4是本发明行人重识别方法一实施例的流程示意图。需要说明的是，本实施例所阐述的行人重识别方法并不局限于以下步骤：
S301：获取待识别图像。
在本实施例中，待识别图像为需识别出是否包含目标人物的图像，当前并未知晓待识别图像中是否包含目标人物。
S302：利用目标识别模型对待识别图像进行识别，并输出识别结果。
在本实施例中，目标识别模型是利用上述实施例中所阐述的迁移学习方法训练得到的，利用目标识别模型对待识别模型进行识别时，能够提高所输出识别结果的可靠性。其中，输出识别结果能够表示待识别图像中是否包含目标人物，亦或是，输出识别结果为包含目标人物的图像。
请参阅图5，图5是本发明电子设备一实施例的结构示意图。
在一实施例中，电子设备10包括处理器11，处理器11还可以称为CPU(CentralProcessing Unit，中央处理单元)。处理器11可能是一种集成电路芯片，具有信号的处理能力。处理器11还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器11也可以是任何常规的处理器等。
电子设备10可以进一步包括存储器(图中未示出)，用于存储处理器11运行所需的指令和数据。
处理器11用于执行上述任一实施例中所阐述的迁移学习方法，和/或，用于执行上述实施例中所阐述的行人重识别方法。
请参阅图6，图6是本发明计算机可读存储介质一实施例的结构示意图。
在一实施例中，计算机可读存储介质20用于存储指令/程序数据21，指令/程序数据21能够被执行以实现如上述任一实施例中所阐述的迁移学习方法，和/或，上述实施例中所阐述的行人重识别方法，在此就不再赘述。
在本发明所提供的几个实施方式中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式为示意性的，例如，模块或单元的划分，为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式的目的。
另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质20中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所阐述方法的全部或部分步骤。而前述的计算机可读存储介质20包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存储器(RAM，Random AccessMemory)、磁碟或者光盘、服务器等各种可以存储程序代码的介质。
此外，在本发明中，除非另有明确的规定和限定，术语“相连”、“连接”、“层叠”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种迁移学习方法，其特征在于，包括：
获取源域图像和目标域图像，所述源域图像包含标注信息；
将所述源域图像和所述目标域图像输入目标识别模型，获取所述源域图像的全局特征、所述目标域图像的全局特征、所述目标域图像的局部特征；其中，所述目标识别模型至少包括全局分支网络和局部分支网络，所述源域图像的全局特征和所述目标域图像的全局特征是利用所述全局分支网络提取得到的，所述目标域图像的局部特征是利用所述局部分支网络提取得到的；
利用所述源域图像的全局特征、所述目标域图像的全局特征以及所述目标域图像的局部特征计算所述目标识别模型的损失；
基于所述目标识别模型的损失，更新所述目标识别模型的模型参数。
2.根据权利要求1所述的迁移学习方法，其特征在于，所述利用所述源域图像的全局特征、所述目标域图像的全局特征以及所述目标域图像的局部特征计算所述目标识别模型的损失包括：
利用所述目标域图像的全局特征与所述目标域图像的局部特征计算第一损失，以及利用所述目标域图像的全局特征与所述源域图像的全局特征计算第二损失；
融合所述第一损失和所述第二损失，得到第一融合损失；
基于所述第一融合损失，更新所述目标识别模型的模型参数。
3.根据权利要求2所述的迁移学习方法，其特征在于，所述利用所述目标域图像的全局特征与所述目标域图像的局部特征计算第一损失包括：
计算所述目标域图像的全局特征与目标域全局特征模板的相似度，得到全局相似度向量，所述目标域全局特征模板为前一次训练提取的目标域图像全局特征的加权特征；
分别计算所述目标域图像的各局部特征与对应的局部特征模板的相似度，得到多个局部相似度向量，所述局部特征模板为前一次训练提取的目标域图像局部特征的加权特征；
分别计算各所述局部相似度向量与所述全局相似度向量的散度损失，得到多个散度损失；
将所述多个散度损失进行加权平均，得到所述第一损失。
4.根据权利要求2所述的迁移学习方法，其特征在于，所述利用所述目标域图像的全局特征与所述源域图像的全局特征计算第二损失包括：
计算所述目标域图像的全局特征与所述源域图像的全局特征的相似度，得到所述第二损失。
5.根据权利要求2所述的迁移学习方法，其特征在于，包括：
利用所述目标域图像的全局特征计算第三损失；
融合所述第三损失和所述第一融合损失，得到第二融合损失；
基于所述第二融合损失，更新所述目标识别模型的模型参数。
6.根据权利要求5所述的迁移学习方法，其特征在于，所述利用所述目标域图像的全局特征计算第三损失包括：
获取目标域全局特征模板，对所述目标域全局特征模板进行聚类，得到若干类别簇，所述目标域全局特征模板为前一次训练提取的目标域图像全局特征的加权特征；
获取各所述类别簇的类别中心特征，所述类别中心特征为所述类别簇的全局特征的平均特征；
计算所述目标域图像的全局特征与所述类别中心特征的相似度，得到所述第三损失。
7.根据权利要求5所述的迁移学习方法，其特征在于，
利用所述源域图像的全局特征计算第四损失；
融合所述第四损失和所述第二融合损失，得到第三融合损失；
基于所述第三融合损失，更新所述目标识别模型的模型参数。
8.根据权利要求7所述的迁移学习方法，其特征在于，所述利用所述源域图像的全局特征计算第四损失包括：
对所述源域图像的全局特征进行分类处理，得到类别预测概率；
对所述源域图像的标注信息进行标签平滑处理，得到平滑标签；
计算所述类别预测概率与所述平滑标签计算的交叉熵损失，得到所述第四损失。
9.根据权利要求1所述的迁移学习方法，其特征在于，
获取测试图像；
将所述测试图像输入经过参数更新后的目标识别模型，提取所述测试图像的特征；
分别计算所述测试图像的特征与底库集中各目标图像的特征的相似度；
响应于相似度大于第一阈值的个数大于第二阈值，停止对所述目标识别模型的训练。
10.根据权利要求1所述的迁移学习方法，其特征在于，所述目标识别模型还包括主干网络；
所述主干网络连接所述全局分支网络以及所述局部分支网络；所述主干网络用于对所述源域图像以及所述目标域图像进行处理，并将经处理后的所述源域图像和所述目标域图像输入所述全局分支网络，将经处理后的所述目标域图像输入所述局部分支网络。
11.一种行人重识别方法，其特征在于，包括：
获取待识别图像；
利用目标识别模型对所述待识别图像进行识别，并输出识别结果；所述目标识别模型是利用权利要求1-10任一项所述的迁移学习方法训练得到。
12.一种电子设备，其特征在于，包括：
处理器，用于执行权利要求1-10任一项所述的迁移学习方法，和/或，用于执行权利要求11所述的行人重识别方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储指令/程序数据，所述指令/程序数据能够被执行以实现如权利要求1-10任一项所述的迁移学习方法，和/或，如权利要求11所述的行人重识别方法。
CN202111619619.7A 2021-12-27 2021-12-27 迁移学习、行人重识别方法及相关设备 Pending CN114463552A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111619619.7A CN114463552A (zh) 2021-12-27 2021-12-27 迁移学习、行人重识别方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111619619.7A CN114463552A (zh) 2021-12-27 2021-12-27 迁移学习、行人重识别方法及相关设备

Publications (1)

Publication Number Publication Date
CN114463552A true CN114463552A (zh) 2022-05-10

Family

ID=81408132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111619619.7A Pending CN114463552A (zh) 2021-12-27 2021-12-27 迁移学习、行人重识别方法及相关设备

Country Status (1)

Country Link
CN (1) CN114463552A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116882486A (zh) * 2023-09-05 2023-10-13 浙江大华技术股份有限公司 一种迁移学习权重的构建方法和装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116882486A (zh) * 2023-09-05 2023-10-13 浙江大华技术股份有限公司 一种迁移学习权重的构建方法和装置及设备
CN116882486B (zh) * 2023-09-05 2023-11-14 浙江大华技术股份有限公司 一种迁移学习权重的构建方法和装置及设备

Similar Documents

Publication Publication Date Title
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
US11670071B2 (en) Fine-grained image recognition
CN108132968B (zh) 网络文本与图像中关联语义基元的弱监督学习方法
CN108960080B (zh) 基于主动防御图像对抗攻击的人脸识别方法
CN107209860B (zh) 用于处理弱监督图像的方法、***和计算机存储介质
CN111582409B (zh) 图像标签分类网络的训练方法、图像标签分类方法及设备
US20150110387A1 (en) Method for binary classification of a query image
CN110751027B (zh) 一种基于深度多示例学习的行人重识别方法
CN111814857A (zh) 目标重识别方法及其网络训练方法、相关装置
CN112257758A (zh) 细粒度图像识别方法、卷积神经网络及其训练方法
CN114329029B (zh) 对象检索方法、装置、设备及计算机存储介质
TWI780567B (zh) 對象再識別方法、儲存介質及電腦設備
CN114332893A (zh) 表格结构识别方法、装置、计算机设备和存储介质
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN114817596A (zh) 融合语义相似性嵌入和度量学习的跨模态图文检索方法
CN114495004A (zh) 一种基于无监督跨模态的行人重识别方法
CN113870863A (zh) 声纹识别方法及装置、存储介质及电子设备
CN113947101A (zh) 一种基于软化相似性学习的无监督行人重识别方法和***
CN114463552A (zh) 迁移学习、行人重识别方法及相关设备
CN116975347A (zh) 图像生成模型训练方法及相关装置
CN117056474A (zh) 会话应答方法和装置、电子设备、存储介质
CN116957036A (zh) 伪造多媒体检测模型的训练方法、装置和计算设备
CN114912540A (zh) 迁移学习方法、装置、设备及存储介质
CN117011737A (zh) 一种视频分类方法、装置、电子设备和存储介质
US20240135708A1 (en) Permutation invariant convolution (pic) for recognizing long-range activities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination