CN111582107A - 目标重识别模型的训练方法、识别方法、电子设备及装置 - Google Patents

目标重识别模型的训练方法、识别方法、电子设备及装置 Download PDF

Info

Publication number
CN111582107A
CN111582107A CN202010351798.XA CN202010351798A CN111582107A CN 111582107 A CN111582107 A CN 111582107A CN 202010351798 A CN202010351798 A CN 202010351798A CN 111582107 A CN111582107 A CN 111582107A
Authority
CN
China
Prior art keywords
features
attention
anchor point
heterogeneous
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010351798.XA
Other languages
English (en)
Other versions
CN111582107B (zh
Inventor
杨希
李平生
朱树磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010351798.XA priority Critical patent/CN111582107B/zh
Publication of CN111582107A publication Critical patent/CN111582107A/zh
Application granted granted Critical
Publication of CN111582107B publication Critical patent/CN111582107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了目标重识别模型的训练方法、识别方法、电子设备及装置。其中，训练方法包括提取锚点样本特征，进而得到锚点注意力特征；根据锚点样本特征和锚点注意力特征，得到锚点综合特征；提取同类样本特征和异类样本特征，进而得到同类注意力特征和异类注意力特征；根据同类样本特征和同类注意力特征，得到同类综合特征；根据异类样本特征和异类注意力特征，得到异类综合特征；计算同类综合特征和锚点综合特征的同类差异度，以及异类综合特征和锚点综合特征的异类差异度；以同类差异度小于异类差异度为目标训练重识别模型。本训练方法得到的目标重识别模型可抑制重识别过程的背景干扰和局部遮挡的干扰，能够对部分遮挡行人进行再识别。

Description

目标重识别模型的训练方法、识别方法、电子设备及装置
技术领域
本申请属于目标跟踪技术领域，具体涉及目标重识别模型的训练方法、识别方法、电子设备及装置。
背景技术
随着城市化进程的加快，社会公共安全需求日益增加，许多重要的公共场合都覆盖了广泛的摄像头网络，利用计算机视觉技术自动化监控成为关注的热点，行人重识别技术也逐渐成为研究的重点。行人重识别用于检索跨摄像头视野下的目标行人。由于监控场景的复杂多变，采集的行人图像往往存在光照变化，视角姿势变化和遮挡等困难，给行人重识别带来巨大的挑战。所以如何在复杂多变的监控场景识别目标行人成为亟待解决的问题。
发明内容
本申请提供目标重识别模型的训练方法、识别方法、电子设备及装置，以解决在复杂多变的监控场景识别目标行人的问题。
为解决上述技术问题，本申请采用的一个技术方案是：一种目标重识别模型的训练方法，所述重识别模型包括：锚点特征提取模块、连接锚点特征提取模块的锚点注意力模块、以及识别特征提取模块、连接识别特征提取模块的识别注意力模块；所述训练方法包括：将锚点训练样本输入锚点特征提取模块得到锚点样本特征，将锚点样本特征输入锚点注意力模块得到锚点注意力特征；根据锚点样本特征和锚点注意力特征，得到锚点综合特征；将所述锚点训练样本的同类训练样本输入识别特征提取模块得到同类样本特征，将同类样本特征输入识别注意力模块得到同类注意力特征；根据同类样本特征和同类注意力特征，得到同类综合特征；将所述锚点训练样本的异类训练样本输入识别特征提取模块得到异类样本特征，将异类样本特征输入识别注意力模块得到异类注意力特征；根据异类样本特征和异类注意力特征，得到异类综合特征；计算所述同类综合特征和所述锚点综合特征的同类差异度，以及所述异类综合特征和所述锚点综合特征的异类差异度；以所述同类差异度小于所述异类差异度为目标训练所述重识别模型。
根据本申请一实施方式，所述重识别模型还包括识别局部提取模块，连接所述识别特征提取模块；所述训练方法还包括：将所述同类样本特征输入识别局部提取模块得到同类局部特征；将所述异类样本特征输入识别局部提取模块得到异类局部特征；所述根据同类样本特征和同类注意力特征，得到同类综合特征，包括：融合同类局部特征和同类注意力特征，得到所述同类综合特征；所述根据异类样本特征和异类注意力特征，得到异类综合特征，包括：融合异类局部特征和异类注意力特征，得到所述异类综合特征。
根据本申请一实施方式，所述将所述同类样本特征输入识别局部提取模块得到同类局部特征，包括：将同类样本特征和锚点样本特征进行池化及对齐，得到所述同类局部特征；所述将所述异类样本特征输入识别局部提取模块得到异类局部特征，包括：将异类样本特征和锚点样本特征进行池化及对齐，得到所述同类局部特征。
根据本申请一实施方式，所述锚点特征提取模块和识别特征提取模块为ResNet50网络的第四层。
根据本申请一实施方式，所述锚点训练样本为包含训练目标的样本图像，所述训练目标包括车辆或行人；所述同类训练样本为包含所述训练目标的样本图像；所述异类训练样本为不包含所述训练目标的样本图像。
为解决上述技术问题，本申请采用的又一个技术方案是：一种基于目标重识别模型的识别方法，所述目标重识别模型包括：锚点特征提取模块、连接锚点特征提取模块的锚点注意力模块、以及识别特征提取模块、连接识别特征提取模块的识别注意力模块；所述识别方法包括：将目标图像输入锚点特征提取模块得到目标图像特征，将目标图像特征输入锚点注意力模块得到目标图像注意力特征；根据目标图像特征和目标图像注意力特征，得到目标图像综合特征；将预测图像输入识别特征提取模块得到预测图像特征，将预测图像特征输入识别注意力模块得到预测图像注意力特征；根据预测图像特征和预测图像注意力特征，得到预测图像综合特征；计算所述目标图像综合特征和所述预测图像综合特征的相似度；基于所述相似度进行预测图像中目标的识别。
根据本申请一实施方式，所述目标重识别模型还包括局部提取模块，连接所述识别特征提取模块；所述识别方法还包括：将所述预测图像特征输入识别局部提取模块得到预测图像局部特征；所述根据预测图像特征和预测图像注意力特征，得到预测图像综合特征，包括：融合所述预测图像局部特征和预测图像注意力特征得到预测图像综合特征。
根据本申请一实施方式，所述将所述预测图像特征输入识别局部提取模块得到预测图像局部特征，包括：将预测图像特征和目标图像特征进行池化及对齐，得到所述预测图像局部特征。
根据本申请一实施方式，所述目标重识别模型由上述中任一训练方法训练得到。
为解决上述技术问题，本申请采用的又一个技术方案是：一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述任一训练方法和上述任一识别方法。
为解决上述技术问题，本申请采用的又一个技术方案是：一种计算机可读存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述任一训练方法和上述任一识别方法。
本申请的有益效果是：本申请的训练方法训练得到的重识别模型结构精简，减小了参数量，模型更轻量，且经过三元损失函数优化同类差异度小于异类差异度，使得训练的重识别模型提取的特征具有类间低耦合性和类内高聚合性，能够更好的判断特征是否相似。利用本申请训练得到的重识别模型结构识别车辆或行人，可融合注意力特征和对齐的局部特征，关注目标全局特征的同时也关注目标局部特征，从而抑制重识别过程的背景干扰、人姿态变化和局部遮挡的干扰，能够对部分遮挡和非对齐行人进行再识别。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：
图1是本申请的目标重识别模型的训练方法一实施例的流程示意图；
图2是本申请的目标重识别模型的训练方法中同类样本特征和锚点样本特征进行对齐的示意图；
图3是本申请的基于目标重识别模型的识别方法的一实施例的流程示意图；
图4是本申请电子设备一实施例的框架示意图；
图5是本申请的目标重识别模型的训练装置一实施例的框架示意图；
图6是本申请的基于目标重识别模型的识别装置一实施例的框架示意图；
图7是本申请的具有存储功能的装置的一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1是本申请的目标重识别模型的训练方法一实施例的流程示意图。
本申请一实施例提供了一种目标重识别模型的训练方法，其中，目标重识别模型包括锚点特征提取模块、连接锚点特征提取模块的锚点注意力模块、以及识别特征提取模块、连接识别特征提取模块的识别注意力模块。训练方法包括如下步骤：
S101：将锚点训练样本输入锚点特征提取模块得到锚点样本特征，将锚点样本特征输入锚点注意力模块得到锚点注意力特征。
锚点样本为包含训练目标的样本图像，训练目标的类型可以为车辆或行人等。将锚点训练样本输入锚点特征提取模块得到锚点样本特征。锚点特征提取模块可以选用ResNet-50网络模型，并选用ResNet-50网络模型的第四层ResNet50-4layers提取锚点样本特征。ResNet50-4layers输出的锚点样本特征具有合适感受野，既具备目标的上下文信息，又保留目标本身的局部信息和判别信息。选择ResNet50-4layers可增强注意力模块提取注意力特征的能力，减少对对目标空间语义共享不大的特征层的依赖，提高运算速度。
将锚点样本特征输入锚点注意力模块得到锚点注意力特征。注意力模块包括空间注意力和通道注意力，分别识别锚点样本特征、并赋予锚点样本特征权重，得到锚点注意力特征，锚点样本特征与关键信息相似度越高，权重越高。锚点注意力模块从锚点样本特征的全局特征出发，寻找目标在锚点样本特征图上的重点关注区域，抑制与目标不相关的背景影响。
S102：根据锚点样本特征和锚点注意力特征，得到锚点综合特征。
结合锚点样本特征和锚点注意力特征，得到锚点综合特征。
S103：将锚点训练样本的同类训练样本输入识别特征提取模块得到同类样本特征，将同类样本特征输入识别注意力模块得到同类注意力特征。
同类训练样本为与锚点训练样本具有相同的训练目标的样本图像，例如锚点样本的训练目标为车辆或行人，则同类训练样本为包含同一车辆或行人的样本图像。将锚点训练样本的同类训练样本输入识别特征提取模块得到同类样本特征。
识别特征提取模块选用ResNet-50网络模型，并选用ResNet-50网络模型的第四层ResNet50-4layers提取同类样本特征。ResNet50-4layers输出的同类样本特征具有合适感受野，既具备目标的上下文信息，又保留目标本身的局部信息和判别信息。
将同类样本特征输入识别注意力模块得到同类注意力特征。注意力模块包括空间注意力和通道注意力，分别识别同类样本特征、并赋予同类样本特征权重，得到同类注意力特征，同类样本特征与关键信息相似度越高，权重越高。同类注意力模块从同类样本特征的全局特征出发，寻找目标在同类样本特征图上的重点关注区域，抑制与目标不相关的背景影响。
S104：根据同类样本特征和同类注意力特征，得到同类综合特征。
在一实施例中，根据同类样本特征和同类注意力特征，得到同类综合特征。同类综合特征可直接用于后续计算同类差异度。
S105：将锚点训练样本的异类训练样本输入识别特征提取模块得到异类样本特征，将异类样本特征输入识别注意力模块得到异类注意力特征。
异类训练样本为不包含锚点训练样本具的训练目标的样本图像，例如锚点样本的训练目标为车辆或行人，则异类训练样本为不包含相同车辆或行人的样本图像，将锚点训练样本的异类训练样本输入识别特征提取模块得到异类样本特征。
识别特征提取模块选用ResNet-50网络模型，并选用ResNet-50网络模型的第四层ResNet50-4layers提取异类样本特征。ResNet50-4layers输出的异类样本特征具有合适感受野，既具备目标的上下文信息，又保留目标本身的局部信息和判别信息。
将异类样本特征输入识别注意力模块得到异类注意力特征。注意力模块包括空间注意力和通道注意力，分别识别异类样本特征、并赋予异类样本特征权重，得到异类注意力特征，异类样本特征与关键信息相似度越高，权重越高。
S106：根据异类样本特征和异类注意力特征，得到异类综合特征。
在一实施例中，根据异类样本特征和异类注意力特征，得到异类综合特征。异类综合特征可直接用于后续计算异类差异度。
需要说明的是，步骤S101-步骤S102，步骤S103-步骤S104，以及步骤105-步骤S106的进行不分先后，可以同步进行，以提高运算效率。
进一步地，重识别模型还包括识别局部提取模块，识别局部提取模块连接识别特征提取模块。
训练方法还包括：
将同类样本特征输入识别局部提取模块得到同类局部特征，包括：将同类样本特征和锚点样本特征进行池化及对齐，得到同类局部特征。
具体地，将同类样本特征和锚点样本特征分别进行水平池化，并分别输出局部特征图，将同类样本的局部特征图和锚点样本的局部特征图对齐，并计算关联矩阵，通过动态规划的方法求出最短路径，动态规划的求解公式如下：
Figure BDA0002472069080000071
请参阅图2，图2是本申请的目标重识别模型的训练方法中同类样本特征和锚点样本特征进行对齐的示意图。
通过计算最小路径所经过的局部特征的余弦距离，比与阈值比对，若符合阈值要求，则认为是对齐的局部特征。对于对齐的同类局部特征，可标记其对齐向量为1；对于非对齐的同类局部特征，可标记其对齐向量为0。从而可以保留对齐区域的特征，屏蔽非对齐或遮挡区域的特征。
图2中一组长度为8的区域特征的对齐向量为[1,1,1,1,1,0,0,0]，表示前五个局部特征对齐。
进一步地，步骤S104根据同类样本特征和同类注意力特征，得到同类综合特征，包括：S1041：融合同类局部特征和同类注意力特征，得到同类综合特征。
融合同类局部特征和同类注意力特征，将同类局部特征和对应同类注意力特征进行权重相乘，得到融合后的同类综合特征。
将异类样本特征输入识别局部提取模块得到异类局部特征，包括：将异类样本特征和锚点样本特征进行池化及对齐，得到异类局部特征。异类局部特征的具体获得过程与同类局部特征的获得过程大致相同，此处不再赘述。
进一步地，步骤S106根据异类样本特征和异类注意力特征，得到异类综合特征，包括：S1061：融合异类局部特征和异类注意力特征，得到异类综合特征。
融合异类局部特征和异类注意力特征，将异类局部特征和对应异类注意力特征进行权重相乘，得到融合后的异类综合特征。
S107：计算同类综合特征和锚点综合特征的同类差异度，以及异类综合特征和锚点综合特征的异类差异度。
计算同类综合特征和锚点综合特征的同类差异度，以及异类综合特征和锚点综合特征的异类差异度。步骤S104和步骤S106得到的同类综合特征和异类综合特征为二维特征，需要经过全连接层映射为一维特征，并用于下述运算。
本实施例中使用余弦相似度作为差异度度量，其计算公式如下：
Figure BDA0002472069080000081
其中，A和B分别代表需要带入计算的两个综合特征的向量，例如同类综合特征和锚点综合特征、或者异类综合特征和锚点综合特征。Ai和Bi分别代表向量A和B的各分量。
S108：以同类差异度小于异类差异度为目标训练重识别模型。
在一实施例中，重识别模型采用三元损失函数，并以余弦相似度作为度量方式，通过随机梯度下降算法来优化重识别模型，以使得同类综合特征和锚点综合特征的同类差异度，小于异类综合特征和锚点综合特征的异类差异度。当训练一定次数，且达到预定标准后，重识别模型训练完成，可用于识别目标。
其中，三元损失函数如下：
Triplet_losses＝||(Cosin(A,N)–Cosin(A,P)+margin)||
其中Cosin(A,N)和Cosin(A,P)分别表示异类差异度和同类差异度，即异类综合特征和锚点综合特征的余弦相似度，以及同类综合特征和锚点综合特征的余弦相似度。
本申请的训练方法训练得到的重识别模型结构精简，减小了参数量，模型更轻量，且经过三元损失函数优化同类差异度小于异类差异度，使得训练的重识别模型提取的特征具有类间低耦合性和类内高聚合性，能够更好的判断特征是否相似。本申请训练得到的重识别模型结构融合注意力特征和对齐的局部特征，关注目标全局特征的同时也关注目标局部特征，从而抑制重识别过程的背景干扰、人姿态变化和局部遮挡的干扰，能够对部分遮挡和非对齐行人进行再识别。
请参阅图3，图3是本申请的基于目标重识别模型的识别方法的一实施例的流程示意图。
本申请又一实施例提供了一种基于目标重识别模型的识别方法，目标重识别模型包括：锚点特征提取模块、连接锚点特征提取模块的锚点注意力模块、以及识别特征提取模块、连接识别特征提取模块的识别注意力模块。识别方法包括如下步骤：
S201：将目标图像输入锚点特征提取模块得到目标图像特征，将目标图像特征输入锚点注意力模块得到目标图像注意力特征。
目标图像为需要包含需要识别目标的图像，目标可以为车辆或行人。将目标图像输入锚点特征提取模块得到目标图像特征。锚点特征提取模块可以选用ResNet-50网络模型，并选用ResNet-50网络模型的第四层ResNet50-4layers提取锚点样本特征。ResNet50-4layers输出的锚点样本特征具有合适感受野，既具备目标的上下文信息，又保留目标本身的局部信息和判别信息。选择ResNet50-4layers可增强注意力模块提取注意力特征的能力，减少对对目标空间语义共享不大的特征层的依赖，提高运算速度。
将目标图像特征输入锚点注意力模块得到目标图像注意力特征。注意力模块包括空间注意力和通道注意力。锚点注意力模块从目标图像特征的全局特征出发，寻找目标在目标图像特征图上的重点关注区域，抑制与目标不相关的背景影响。
S202：根据目标图像特征和目标图像注意力特征，得到目标图像综合特征。
结合目标图像特征和目标图像注意力特征，得到目标图像综合特征。
S203：将预测图像输入识别特征提取模块得到预测图像特征，将预测图像特征输入识别注意力模块得到预测图像注意力特征。
预测图像具有多个，将预测图像输入识别特征提取模块得到预测图像特征，识别特征提取模块选用ResNet-50网络模型，并选用ResNet-50网络模型的第四层ResNet50-4layers提取预测图像特征。
将预测图像特征输入识别注意力模块得到预测图像注意力特征。注意力模块包括空间注意力和通道注意力。
S204：根据预测图像特征和预测图像注意力特征，得到预测图像综合特征。
在一实施例中，根据预测图像特征和预测图像注意力特征，得到预测图像综合特征。预测图像综合特征可直接用于后续计算异类差异度，从而可识别部分遮挡目标。
进一步地，重识别模型还包括识别局部提取模块，识别局部提取模块连接识别特征提取模块。
识别方法还包括：
将预测图像特征输入识别局部提取模块得到预测图像局部特征，包括：将预测图像特征和目标图像特征进行池化及对齐，得到预测图像局部特征。
具体地，将预测图像特征和目标图像特征分别进行水平池化，并分别输出局部特征图，将预测图像的局部特征图和目标图像的局部特征图对齐，并计算关联矩阵，通过动态规划的方法求出最短路径，并计算局部特征的余弦距离找到对齐的局部特征，并输出预测图像局部特征。对于对齐的预测图像局部特征，可标记其对齐向量为1；对于非对齐的预测图像局部特征，可标记其对齐向量为0。从而可以保留对齐区域的特征，屏蔽非对齐或遮挡区域的特征。
进一步地，步骤S204根据预测图像特征和预测图像注意力特征，得到预测图像综合特征，包括：S2041：融合预测图像局部特征和预测图像注意力特征得到预测图像综合特征。
融合预测图像局部特征和预测图像注意力特征进行权重相乘，得到融合的预测图像综合特征。
S205：计算目标图像综合特征和预测图像综合特征的相似度。
计算目标图像综合特征和预测图像综合特征的相似度，步骤S204得到的预测图像综合特征为二维特征，需要经过全连接层映射为一维特征，并可直接计算余弦相似度。
余弦相似度计算公式如下：
Figure BDA0002472069080000111
其中，A和B分别代表需要带入计算的目标图像综合特征和预测图像综合特征的向量，Ai和Bi分别代表向量A和B的各分量。
S206：基于相似度进行预测图像中目标的识别。
由于预测图像具有多个，可以将每个预测图像与目标图像的相似度计算出，并进行排序，取相似度最高的为最佳匹配预测图像，并认为该预测图像与目标图像为最相似的行人，由此完成对非对齐或遮挡行人的重识别。
本实施例的目标重识别模型由上述任一训练方法训练得到。
本申请的重识别模型结构精简，减小了参数量，模型更轻量，且经过三元损失函数优化同类差异度小于异类差异度，使得重识别模型提取的特征具有类间低耦合性和类内高聚合性，能够更好的判断特征是否相似。本申请的识别方法融合注意力特征和对齐的局部特征，关注目标全局特征的同时也关注目标局部特征，从而抑制重识别过程的背景干扰、人姿态变化和局部遮挡的干扰，能够对部分遮挡和非对齐行人进行再识别。
请参阅图4，图4是本申请电子设备一实施例的框架示意图。
本申请又一实施例提供了一种电子设备30，包括相互耦接的存储器31和处理器32，处理器32用于执行存储器31中存储的程序指令，以实现上述任一实施例的训练方法和上述任一实施例的识别方法。在一个具体的实施场景中，电子设备30可以包括但不限于：微型计算机、服务器，此外，电子设备30还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器32用于控制其自身以及存储器31以实现上述任一视频分析方法实施例的步骤，或实现上述任一用于视频分析的模型训练方法实施例中的步骤。处理器32还可以称为CPU(Central Processing Unit，中央处理单元)。处理器32可能是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器32可以由集成电路芯片共同实现。
请参阅图5，图5是本申请的目标重识别模型的训练装置一实施例的框架示意图。
本申请又一实施例提供了一种目标重识别模型的训练装置40，包括锚点特征提取模块41、锚点注意力模块42、识别特征提取模块45、识别注意力模块46、以及处理模块43和计算模块44。
处理模块43将锚点训练样本输入锚点特征提取模块41得到锚点样本特征，并将锚点样本特征输入锚点注意力模块42得到锚点注意力特征。处理模块43根据锚点样本特征和锚点注意力特征，得到锚点综合特征。处理模块43将锚点训练样本的同类训练样本输入识别特征提取模块45得到同类样本特征，将同类样本特征输入识别注意力模块45得到同类注意力特征。处理模块43根据同类样本特征和同类注意力特征，得到同类综合特征。处理模块43将锚点训练样本的异类训练样本输入识别特征提取模块45得到异类样本特征，将异类样本特征输入识别注意力模块46得到异类注意力特征。处理模块43根据异类样本特征和异类注意力特征，得到异类综合特征。计算模块44计算同类综合特征和锚点综合特征的同类差异度，以及异类综合特征和锚点综合特征的异类差异度，以同类差异度小于异类差异度为目标训练重识别模型。
经过本实施例的训练装置训练出的重识别模型，可抑制重识别过程的背景干扰、人姿态变化和局部遮挡的干扰，能够对部分遮挡和非对齐行人进行再识别。
请参阅图6，图6是本申请的基于目标重识别模型的识别装置一实施例的框架示意图。
本申请又一实施例提供了一种基于目标重识别模型的识别装置50，包括锚点特征提取模块51、锚点注意力模块52、识别特征提取模块55、识别注意力模块56、以及处理模块53和计算模块54。
处理模块53将目标图像输入锚点特征提取模块51得到目标图像特征，将目标图像特征输入锚点注意力模块52得到目标图像注意力特征。处理模块53根据目标图像特征和目标图像注意力特征，得到目标图像综合特征。处理模块53将预测图像输入识别特征提取模块55得到预测图像特征，将预测图像特征输入识别注意力模块56得到预测图像注意力特征。处理模块53根据预测图像特征和预测图像注意力特征，得到预测图像综合特征。计算模块54计算目标图像综合特征和预测图像综合特征的相似度，并基于相似度进行预测图像中目标的识别。
本实施例的识别装置，可抑制重识别过程的背景干扰、人姿态变化和局部遮挡的干扰，能够对部分遮挡和非对齐行人进行再识别。
请参阅图7，图7是本申请的具有存储功能的装置的一实施例的结构示意图。
本申请又一实施例提供了一种计算机可读存储介质60，其上存储有程序数据61，程序数据61被处理器执行时实现上述任一实施例的训练方法和上述任一实施例的识别方法。通过上述方案，能够抑制重识别过程的背景干扰、人姿态变化和局部遮挡的干扰，能够对部分遮挡和非对齐行人进行再识别。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质60中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质60中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质60包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种目标重识别模型的训练方法，其特征在于，所述重识别模型包括：锚点特征提取模块、连接所述锚点特征提取模块的锚点注意力模块、以及识别特征提取模块、连接所述识别特征提取模块的识别注意力模块；所述训练方法包括：
将锚点训练样本输入所述锚点特征提取模块得到锚点样本特征，将所述锚点样本特征输入所述锚点注意力模块得到锚点注意力特征；
根据所述锚点样本特征和所述锚点注意力特征，得到锚点综合特征；
将所述锚点训练样本的同类训练样本输入所述识别特征提取模块得到同类样本特征，将所述同类样本特征输入所述识别注意力模块得到同类注意力特征；
根据所述同类样本特征和所述同类注意力特征，得到同类综合特征；
将所述锚点训练样本的异类训练样本输入所述识别特征提取模块得到异类样本特征，将所述异类样本特征输入所述识别注意力模块得到异类注意力特征；
根据所述异类样本特征和所述异类注意力特征，得到异类综合特征；
计算所述同类综合特征和所述锚点综合特征的同类差异度，以及所述异类综合特征和所述锚点综合特征的异类差异度；
以所述同类差异度小于所述异类差异度为目标训练所述重识别模型。
2.根据权利要求1所述的训练方法，其特征在于，所述重识别模型还包括识别局部提取模块，连接所述识别特征提取模块；所述训练方法还包括：
将所述同类样本特征输入所述识别局部提取模块得到同类局部特征；
将所述异类样本特征输入所述识别局部提取模块得到异类局部特征；
所述根据所述同类样本特征和所述同类注意力特征，得到同类综合特征，包括：融合所述同类局部特征和所述同类注意力特征，得到所述同类综合特征；
所述根据所述异类样本特征和所述异类注意力特征，得到异类综合特征，包括：融合所述异类局部特征和所述异类注意力特征，得到所述异类综合特征。
3.根据权利要求2所述的训练方法，其特征在于，所述将所述同类样本特征输入识别局部提取模块得到同类局部特征，包括：
将所述同类样本特征和所述锚点样本特征进行池化及对齐，得到所述同类局部特征；
所述将所述异类样本特征输入所述识别局部提取模块得到异类局部特征，包括：
将异类样本特征和所述锚点样本特征进行池化及对齐，得到所述同类局部特征。
4.根据权利要求1所述的训练方法，其特征在于，所述锚点特征提取模块和所述识别特征提取模块为ResNet50网络的第四层。
5.根据权利要求1-4中任一项所述的训练方法，其特征在于，所述锚点训练样本为包含训练目标的样本图像，所述训练目标包括车辆或行人；所述同类训练样本为包含所述训练目标的样本图像；所述异类训练样本为不包含所述训练目标的样本图像。
6.一种基于目标重识别模型的识别方法，其特征在于，所述目标重识别模型包括：锚点特征提取模块、连接所述锚点特征提取模块的锚点注意力模块、以及识别特征提取模块、连接所述识别特征提取模块的识别注意力模块；所述识别方法包括：
将目标图像输入所述锚点特征提取模块得到目标图像特征，将所述目标图像特征输入所述锚点注意力模块得到目标图像注意力特征；
根据所述目标图像特征和所述目标图像注意力特征，得到目标图像综合特征；
将预测图像输入所述识别特征提取模块得到预测图像特征，将所述预测图像特征输入所述识别注意力模块得到预测图像注意力特征；
根据所述预测图像特征和所述预测图像注意力特征，得到预测图像综合特征；
计算所述目标图像综合特征和所述预测图像综合特征的相似度；
基于所述相似度进行预测图像中目标的识别。
7.根据权利要求6所述的识别方法，其特征在于，所述目标重识别模型还包括局部提取模块，连接所述识别特征提取模块；所述识别方法还包括：
将所述预测图像特征输入所述识别局部提取模块得到预测图像局部特征；
所述根据所述预测图像特征和所述预测图像注意力特征，得到预测图像综合特征，包括：融合所述预测图像局部特征和所述预测图像注意力特征得到预测图像综合特征。
8.根据权利要求7所述的识别方法，其特征在于，所述将所述预测图像特征输入所述识别局部提取模块得到预测图像局部特征，包括：
将所述预测图像特征和所述目标图像特征进行池化及对齐，得到所述预测图像局部特征。
9.根据权利要求6述的识别方法，其特征在于，所述目标重识别模型由权利要求1-5中任一项所述的训练方法训练得到。
10.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至5中任一项所述的训练方法和权利要求6-9中任一项所述的识别方法。
11.一种计算机可读存储介质，其上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现权利要求1至5中任一项所述的训练方法和权利要求6-9中任一项所述的识别方法。
CN202010351798.XA 2020-04-28 2020-04-28 目标重识别模型的训练方法、识别方法、电子设备及装置 Active CN111582107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010351798.XA CN111582107B (zh) 2020-04-28 2020-04-28 目标重识别模型的训练方法、识别方法、电子设备及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010351798.XA CN111582107B (zh) 2020-04-28 2020-04-28 目标重识别模型的训练方法、识别方法、电子设备及装置

Publications (2)

Publication Number Publication Date
CN111582107A true CN111582107A (zh) 2020-08-25
CN111582107B CN111582107B (zh) 2023-09-29

Family

ID=72124558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010351798.XA Active CN111582107B (zh) 2020-04-28 2020-04-28 目标重识别模型的训练方法、识别方法、电子设备及装置

Country Status (1)

Country Link
CN (1) CN111582107B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130276507A1 (en) * 2012-04-23 2013-10-24 Xenon, Inc. Multi-reference sample validation system and method
CN108197584A (zh) * 2018-01-12 2018-06-22 武汉大学 一种基于三元组深度神经网络的行人重识别方法
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
CN109145766A (zh) * 2018-07-27 2019-01-04 北京旷视科技有限公司 模型训练方法、装置、识别方法、电子设备及存储介质
CN109214366A (zh) * 2018-10-24 2019-01-15 北京旷视科技有限公司 局部目标重识别方法、装置及***
CN109271878A (zh) * 2018-08-24 2019-01-25 北京地平线机器人技术研发有限公司 图像识别方法、图像识别装置和电子设备
CN109472248A (zh) * 2018-11-22 2019-03-15 广东工业大学 一种行人重识别方法、***及电子设备和存储介质
CN109784166A (zh) * 2018-12-13 2019-05-21 北京飞搜科技有限公司 行人重识别的方法及装置
WO2019114726A1 (zh) * 2017-12-14 2019-06-20 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备以及可读存储介质
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN109977798A (zh) * 2019-03-06 2019-07-05 中山大学 用于行人重识别的掩膜池化模型训练和行人重识别方法
CN110110642A (zh) * 2019-04-29 2019-08-09 华南理工大学 一种基于多通道注意力特征的行人重识别方法
CN110363193A (zh) * 2019-06-12 2019-10-22 北京百度网讯科技有限公司 车辆重识别方法、装置、设备和计算机存储介质
WO2019218826A1 (zh) * 2018-05-17 2019-11-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
WO2019231105A1 (ko) * 2018-05-31 2019-12-05 한국과학기술원 트리플릿 기반의 손실함수를 활용한 순서가 있는 분류문제를 위한 딥러닝 모델 학습 방법 및 장치
CN110717411A (zh) * 2019-09-23 2020-01-21 湖北工业大学 一种基于深层特征融合的行人重识别方法
CN110765903A (zh) * 2019-10-10 2020-02-07 浙江大华技术股份有限公司 行人重识别方法、装置及存储介质
WO2020052513A1 (zh) * 2018-09-14 2020-03-19 阿里巴巴集团控股有限公司 图像识别和行人再识别方法及装置，电子和存储设备
CN111027442A (zh) * 2019-12-03 2020-04-17 腾讯科技（深圳）有限公司 用于行人重识别的模型训练方法、识别方法、装置及介质

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130276507A1 (en) * 2012-04-23 2013-10-24 Xenon, Inc. Multi-reference sample validation system and method
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
WO2019114726A1 (zh) * 2017-12-14 2019-06-20 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备以及可读存储介质
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN108197584A (zh) * 2018-01-12 2018-06-22 武汉大学 一种基于三元组深度神经网络的行人重识别方法
WO2019218826A1 (zh) * 2018-05-17 2019-11-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
WO2019231105A1 (ko) * 2018-05-31 2019-12-05 한국과학기술원 트리플릿 기반의 손실함수를 활용한 순서가 있는 분류문제를 위한 딥러닝 모델 학습 방법 및 장치
CN109145766A (zh) * 2018-07-27 2019-01-04 北京旷视科技有限公司 模型训练方法、装置、识别方法、电子设备及存储介质
CN109271878A (zh) * 2018-08-24 2019-01-25 北京地平线机器人技术研发有限公司 图像识别方法、图像识别装置和电子设备
WO2020052513A1 (zh) * 2018-09-14 2020-03-19 阿里巴巴集团控股有限公司 图像识别和行人再识别方法及装置，电子和存储设备
CN109214366A (zh) * 2018-10-24 2019-01-15 北京旷视科技有限公司 局部目标重识别方法、装置及***
CN109472248A (zh) * 2018-11-22 2019-03-15 广东工业大学 一种行人重识别方法、***及电子设备和存储介质
CN109784166A (zh) * 2018-12-13 2019-05-21 北京飞搜科技有限公司 行人重识别的方法及装置
CN109977798A (zh) * 2019-03-06 2019-07-05 中山大学 用于行人重识别的掩膜池化模型训练和行人重识别方法
CN110110642A (zh) * 2019-04-29 2019-08-09 华南理工大学 一种基于多通道注意力特征的行人重识别方法
CN110363193A (zh) * 2019-06-12 2019-10-22 北京百度网讯科技有限公司 车辆重识别方法、装置、设备和计算机存储介质
CN110717411A (zh) * 2019-09-23 2020-01-21 湖北工业大学 一种基于深层特征融合的行人重识别方法
CN110765903A (zh) * 2019-10-10 2020-02-07 浙江大华技术股份有限公司 行人重识别方法、装置及存储介质
CN111027442A (zh) * 2019-12-03 2020-04-17 腾讯科技（深圳）有限公司 用于行人重识别的模型训练方法、识别方法、装置及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
翟耀: "基于特征融合的目标检测与重识别", 中国优秀博士学位论文全文数据库 信息科技辑 *
范星: "智能视频监控中的行人重识别方法研究", pages 1 - 13 *

Also Published As

Publication number Publication date
CN111582107B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN109255352B (zh) 目标检测方法、装置及***
US10152644B2 (en) Progressive vehicle searching method and device
CN111460968B (zh) 基于视频的无人机识别与跟踪方法及装置
US10534957B2 (en) Eyeball movement analysis method and device, and storage medium
KR101528081B1 (ko) 증분 특징 추출을 사용하는 오브젝트 인식
US20170351934A1 (en) Object recognition device, object recognition method, and program
KR20210110823A (ko) 이미지 인식 방법, 인식 모델의 트레이닝 방법 및 관련 장치, 기기
CN109214403B (zh) 图像识别方法、装置及设备、可读介质
CN111581423B (zh) 一种目标检索方法及装置
CN111414888A (zh) 低分辨率人脸识别方法、***、装置及存储介质
CN110598715A (zh) 图像识别方法、装置、计算机设备及可读存储介质
CN112905824A (zh) 目标车辆追踪方法、装置、计算机设备及存储介质
CN107315984B (zh) 一种行人检索的方法及装置
CN116452631A (zh) 一种多目标跟踪方法、终端设备及存储介质
CN114298187B (zh) 一种融合改进注意力机制的目标检测方法
EP3647997A1 (en) Person searching method and apparatus and image processing device
CN111310531B (zh) 图像分类方法、装置、计算机设备及存储介质
CN116069801B (zh) 一种交通视频结构化数据生成方法、装置及介质
CN112257628A (zh) 一种户外比赛运动员的身份识别方法、装置及设备
CN116246287A (zh) 目标对象识别方法、训练方法、装置以及存储介质
CN111582107A (zh) 目标重识别模型的训练方法、识别方法、电子设备及装置
CN116091781A (zh) 一种用于图像识别的数据处理方法及装置
CN113822871A (zh) 基于动态检测头的目标检测方法、装置、存储介质及设备
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质
CN114219938A (zh) 感兴趣区域获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant