CN113095229B - 一种无监督域自适应行人重识别***及方法 - Google Patents

一种无监督域自适应行人重识别***及方法 Download PDF

Info

Publication number
CN113095229B
CN113095229B CN202110399589.7A CN202110399589A CN113095229B CN 113095229 B CN113095229 B CN 113095229B CN 202110399589 A CN202110399589 A CN 202110399589A CN 113095229 B CN113095229 B CN 113095229B
Authority
CN
China
Prior art keywords
pedestrian
domain sample
pictures
picture
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110399589.7A
Other languages
English (en)
Other versions
CN113095229A (zh
Inventor
程德强
寇旗旗
李佳函
李云龙
张皓翔
韩成功
徐进洋
江曼
刘瑞航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202110399589.7A priority Critical patent/CN113095229B/zh
Publication of CN113095229A publication Critical patent/CN113095229A/zh
Application granted granted Critical
Publication of CN113095229B publication Critical patent/CN113095229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种无监督域自适应行人重识别***及方法,属于行人重识别技术领域,解决了现有无监督域自适应行人重识别难度大、识别准确率低的问题。该***包括,数据获取模块,获取多个源域样本子集和多个目标域样本子集;网络模型训练模块,获得行人重识别网络模型的分类损失函数和样本不变性损失函数,根据源域样本子集中每一行人图片与目标域样本子集中每一行人图片的相似度对目标域样本子集中的行人图片进行排序、分层以获得分层损失函数,进而对行人重识别网络模型进行迭代优化;重识别模块,利用优化好的行人重识别网络模型进行行人重识别,获得与待识别行人图像相同或相似的图像。该***能够减少网络的迁移损失,提高行人重识别的精度。

Description

一种无监督域自适应行人重识别***及方法
技术领域
本发明涉及行人重识别技术领域,尤其涉及一种无监督域自适应行人重识别***及方法。
背景技术
在传统的无监督域自适应学习中,大多数方法都用于闭集场景下,在这种场景下源域以及目标域中样本类别是一致的。但是传统的无监督域自适应的算法并不能用于无监督域自适应行人重识别,这是因为由于图像采集的原因,源域以及目标域的行人类别几乎不同,当利用源域图像训练的网络迁移到目标域进行识别的时候会产生较大的迁移损失。而由网络迁移导致的较大的迁移损失会使得无监督域自适应行人重识别比大部分的无监督学习更加具有挑战性。
现有技术中,无监督域自适应行人重识别主要通过目标域的自身聚类来达到区分无标签数据集的目的。现有技术中提出了基于目标域的三种不变性损失来减少网络的迁移损失,但没有充分利用已标记数据,也没有充分的挖掘无标签图片的深层语义信息,因此未能高效的减少网络的迁移损失,对行人重识别的准确度也有待提高。
现有技术中至少存在以下缺陷,未能充分利用源域图片信息和目标域图片信息,以及未能根据源域图片和目标域图片间的相似度对不同相似度的负样本进行网络的区分学习,导致行人重识别网络的迁移损失大,对行人重识别的结果准确率低。
发明内容
鉴于上述的分析,本发明实施例旨在提供一种无监督域自适应行人重识别***及方法,用以解决现有技术中的行人重识别网络迁移损失大、对行人重识别的结果准确率低的问题。
一方面,本发明提供了一种无监督域自适应行人重识别***,包括:
数据获取模块,用于获取包括多个源域样本子集的源域样本集和包括多个目标域样本子集的目标域样本集;
网络模型训练模块,用于获得行人重识别网络模型的分类损失函数和样本不变性损失函数,以及根据所述源域样本子集中每一行人图片与目标域样本子集中每一行人图片的相似度对目标域样本子集中的行人图片进行排序、分层,基于分层后的行人图片特征以及对应的层别权重获得分层损失函数;基于所述分类损失函数、样本不变性损失函数以及分层损失函数遍历每一源域样本子集和目标域样本子集对所述行人重识别网络模型进行迭代优化;
重识别模块,用于利用优化好的行人重识别网络模型对待识别行人图像进行识别,获得与所述待识别行人图像相同或相似的图像。
进一步的,所述行人重识别网络模型包括残差网络结构、与分类损失函数相对应的依次连接的全连接层和Softmax归一化层、与样本不变性损失函数对应的依次连接的目标域存储器、L2标准化层,以及与分层损失函数对应的依次连接的源域存储器和相似度衡量轴网络结构,所述残差网络结构分别与所述全连接层、目标域存储器、源域存储器以及相似度衡量轴网络结构连接。
进一步的,所述网络模型训练模块具体通过下述方式获得分层损失函数:
将源域样本子集和目标域样本子集分别输入行人重识别网络模型的残差网络结构中提取图像特征,以获取源域样本子集中每一行人图片的特征和目标域样本子集中每一行人图片的特征,并分别进行存储,将源域样本子集中每一行人图片的特征与目标域样本子集中每一行人图片的特征相乘获得对应的相似度;
基于所述相似度将目标域样本子集中的行人图片进行降序排序,并按顺序依次选取第一预设数量的图片作为第一层图片,选取第二预设数量的图片作为第二层图片,其余图片作为第三层图片,并分别设置三层图片的层别权重;
基于目标域样本子集中每一行人图片的特征以及其所属层别对应的层别权重获得分层损失函数:
其中,LSL表示分层损失函数,nt表示目标域样本子集中行人图片的数量,wt,r表示层别权重,r表示目标域样本子集中按照相似度排序的行人图片的排序序号,xt,i表示目标域样本子集输入行人重识别网络模型时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i的特征,p(m|xt,i)表示行人图片xt,i与存储的所有源域样本子集中所有类别的行人图片的相似概率,R1[m]表示存储的所有源域样本子集中所有类别的行人图片的特征,R1[j]表示存储的所有源域样本子集中第j类行人图片的特征,Ns表示存储的所有源域样本子集中行人图片的类别数,β为温度系数。
进一步的,设置的所述三层图片的层别权重为:
其中,b表示第一层图片的数量,k1表示第一层图片和第二层图片的数量之和,p(l|i)表示行人图片xt,i属于存储的所有目标域样本子集中第l类行人图片的概率,R1[l]表示存储的所有目标域样本子集中第l类行人图片的特征,Nt表示存储的所有目标域样本子集中行人图片的类别数。
进一步的,所述网络模型训练模块,具体通过下述方式获得分类损失函数:
将所述源域样本子集输入行人重识别网络模型的残差网络结构中提取图像特征,以获取源域样本子集中每一行人图片的特征;
将该每一行人图片的特征依次输入行人重识别网络模型的全连接层和softmax回归层,进行特征维度转化和特征归一化;
基于维度转化和归一化后的每一行人图片的特征采用下述公式分类损失函数;
其中,Lsrc表示分类损失函数,ns表示源域样本子集中行人图片的数量,xs,m表示源域样本子集中的第m张行人图片,f(xs,m)表示行人图片xs,m的特征,ys,m表示源域样本子集中行人图片xs,m的类别标签,p(ys,m|xs,m)表示行人图片xs,m属于类别ys,m的概率,f(xs,j)表示源域样本子集中第j类行人图片的特征,Ns表示存储的所有源域样本子集中行人图片的类别数。
进一步的,所述网络模型训练模块,具体通过下述方式获得样本不变性损失函数:
将所述目标域样本子集输入行人重识别网络模型的残差网络结构中提取图像特征,以获取目标域样本子集中每一行人图片的特征,并将该每一行人图片的特征进行L2标准化处理;
根据标准化处理后的每一行人图片的特征通过下述公式获得样本不变性损失函数:
其中,LT表示样本不变性损失函数,nt表示目标域样本子集中行人图片的数量,xt,i表示目标域样本子集输入行人重识别网络模型时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i的特征,wi,l表示行人图片xt,i属于第l类行人图片的权重,p(l|xt,i)表示行人图片xt,i属于第l类行人图片的概率,Nt表示存储的所有目标域样本子集中行人图片的类别数,β为温度系数。
进一步的,所述网络模型训练模块,具体通过下述方式对所述行人重识别网络模型进行迭代优化:
根据所述分类损失函数、样本不变性损失函数以及分层损失函数获得总损失函数:
L=λ1Lsrc2LT3LSL
其中,L表示总损失函数,Lsrc表示分类损失函数,λ1表示分类损失函数的权重,LT表示样本不变性损失函数,λ2表示样本不变性损失函数的权重,LSL表示分层损失函数,λ3表示分层损失函数的权重;
遍历每一源域样本子集和每一目标域样本子集,迭代更新所述总损失函数,直至总损失函数值的变化量小于预设值,以完成对行人重识别网络模型的优化。
另一方面,本发明提出了一种无监督域自适应行人重识别方法,包括:
获取包括多个源域样本子集的源域样本集和包括多个目标域样本子集的目标域样本集;
基于所述源域样本子集和目标域样本子集分别获得行人重识别网络模型的分类损失函数和样本不变性损失函数,以及根据所述源域样本子集中每一行人图片与目标域样本子集中每一行人图片的相似度对目标域样本子集中的行人图片进行排序、分层,基于分层后的行人图片特征以及对应的层别权重获得分层损失函数;基于所述分类损失函数、样本不变性损失函数以及分层损失函数遍历每一源域样本子集和目标域样本子集对所述行人重识别网络模型进行迭代优化;
利用优化好的行人重识别网络模型对待识别行人图像进行识别,获得与所述待识别行人图像相同或相似的图像。
进一步的,具体通过下述方式获得分层损失函数:
将源域样本子集和目标域样本子集分别输入行人重识别网络模型的残差网络结构中提取图像特征,以获取源域样本子集中每一行人图片的特征和目标域样本子集中每一行人图片的特征,并分别进行存储,将源域样本子集中每一行人图片的特征与目标域样本子集中每一行人图片的特征相乘获得对应的相似度;
基于所述相似度将目标域样本子集中的行人图片进行降序排序,并按顺序依次选取第一预设数量的图片作为第一层图片,选取第二预设数量的图片作为第二层图片,其余图片作为第三层图片,并分别设置三层图片的层别权重;
基于目标域样本子集中每一行人图片的特征以及其所属层别对应的层别权重获得分层损失函数:
其中,LSL表示分层损失函数,nt表示目标域样本子集中行人图片的数量,wt,r表示层别权重,r表示目标域样本子集中按照相似度排序的行人图片的排序序号,xt,i表示目标域样本子集输入行人重识别网络模型时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i的特征,p(m|xt,i)表示行人图片xt,i与存储的所有源域样本子集中所有类别的行人图片的相似概率,R1[m]表示存储的所有源域样本子集中所有类别的行人图片的特征,R1[j]表示存储的所有源域样本子集中第j类行人图片的特征,Ns表示存储的所有源域样本子集中行人图片的类别数,β为温度系数。
进一步的,设置的所述三层图片的层别权重为:
其中,b表示第一层图片的数量,k1表示第一层图片和第二层图片的数量之和,p(l|i)表示行人图片xt,i属于存储的所有目标域样本子集中第l类行人图片的概率,R1[l]表示存储的所有目标域样本子集中第l类行人图片的特征,Nt表示存储的所有目标域样本子集中行人图片的类别数。
与现有技术相比,本发明至少可实现如下有益效果之一:
1、本发明提出的无监督域自适应行人重识别***及方法,通过带标签的源域样本和不带标签的目标域样本的结合有效的将监督行人重识别和无监督行人重识别结合在一起,首次提出通过源域样本与目标域样本间的相似度将目标域样本进行分层,从而提高行人重识别网络对目标域样本的区分度,减少网络的迁移损失,进而提高行人重识别网络对行人重识别结果的准确度。
2、本发明提出的无监督域自适应行人重识别***及方法,利用源域样本和目标域样本特征的相似度对负样本进行分层、加权以得到分层损失函数,该损失函数在行人重识别网络模型的训练中使网络自适应减少对负样本特特征的学习,从而减少网络的迁移损失,在此基础上,结合分类损失函数和样本不变性损失函数对行人重识别网络进行迭代优化,能够大幅提高行人重识别网络对行人重识别结果的精度。
本发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1为本发明实施例无监督域自适应行人重识别***的示意图;
图2为本发明实施例行人重识别网络模型的示意图;
图3为本发明实施例无监督域自适应行人重识别方法的流程图。
附图标记:
110-数据获取模块;120-网络模型训练模块;130-重识别模块。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
***实施例
本发明的一个具体实施例,公开了一种无监督域自适应行人重识别***。如图1所示,该***包括:
数据获取模块110,用于获取包括多个源域样本子集的源域样本集和包括多个目标域样本子集的目标域样本集。具体的,从不同角度随机采集大量行人的图片,每一张图片包含一个行人,将采集的图片分为训练集和测试集,训练集用于对行人重识别网络模型进行训练,测试集用于对训练好的行人重识别网络模型进行测试,以保证行人重识别网络模型的识别精度。在训练集中随机选取部分图片,并为其中每一张图片添加标签,具体的,为同一个行人的多张图片添加同一标签,不同的标签表示不同的行人,将添加标签后的图片分为多个源域样本子集,将训练集中未添加标签的其他图片作为目标域样本集,并为每一图片添加编号,并将添加编号后的图片随机分为多个目标域样本子集。
网络模型训练模块120,用于获得行人重识别网络模型的分类损失函数和样本不变性损失函数,以及根据所述源域样本子集中每一行人图片与目标域样本子集中每一行人图片的相似度对目标域样本子集中的行人图片进行排序、分层,基于分层后的行人图片特征以及对应的层别权重获得分层损失函数。基于分类损失函数、样本不变性损失函数以及分层损失函数遍历每一源域样本子集和目标域样本子集对所述行人重识别网络模型进行迭代优化。
重识别模块,用于利用优化好的行人重识别网络模型对待识别行人图像进行识别,获得与待识别行人图像相同或相似的图像。具体的,将待识别行人图片输入至训练好的行人重识别网络模型中,该模型能够输出与该待识别行人图片最相似的图片,示例性的,设置该模型输出与待识别行人图片相似度最高的前三张图片的编号,该前三张图片为目标域样本集中的图片,再人工比对待识别行人图片和该前三张图片,以确定待识别行人图片的类别。
优选的,如图2所示,行人重识别网络模型包括残差网络结构、与分类损失函数相对应的依次连接的全连接层和Softmax归一化层、与样本不变性损失函数对应的依次连接的目标域存储器、L2标准化层,以及与分层损失函数对应的依次连接的源域存储器和相似度衡量轴网络结构,该残差网络结构分别与全连接层、目标域存储器、源域存储器以及相似度衡量轴网络结构连接。具体的,目标域存储器和源域存储器均为键值存储结构,键中用于存储行人图片的特征,值中用于存储该行人图片对应的编号或标签,示例性的,残差网络结构为ResNet50。
优选,网络模型训练模块,具体通过下述方式获得分类损失函数、样本不变性损失函数和分层损失函数:
步骤1、将源域样本子集、目标域样本子集分别输入行人重识别网络模型的残差网络结构中提取图像特征,以获取源域样本子集中每一行人图片的特征以及目标域样本子集中每一行人图片的特征。
将目标域样本子集中每一行人图片的特征存储于目标域存储器中,将源域样本子集中每一行人图片的特征存储于源域存储器中。
步骤2、具体的,通过下述方式获得分类损失函数:
将源域样本子集中每一行人图片的特征依次输入行人重识别网络模型的全连接层和softmax回归层,进行特征维度转化和特征归一化,以强化行人重识别网络模型在学习中的非线性。
基于维度转化和归一化后的每一行人图片的特征采用下述公式分类损失函数;
其中,Lsrc表示分类损失函数,ns表示源域样本子集中行人图片的数量,xs,m表示源域样本子集中的第m张行人图片,f(xs,m)表示行人图片xs,m的特征,ys,m表示源域样本子集中行人图片xs,m的类别标签,p(ys,m|xs,m)表示行人图片xs,m属于类别ys,m的概率,f(xs,j)表示源域样本子集中第j类行人图片的特征,Ns表示存储的所有源域样本子集中行人图片的类别数。
步骤3、具体的,通过下述方式获得样本不变性损失函数:
将目标域存储器中存储的当前目标域样本子集中每一行人图片的特征进行L2标准化处理。
根据标准化处理后的每一行人图片的特征通过下述公式获得样本不变性损失函数:
其中,LT表示样本不变性损失函数,nt表示当前目标域样本子集中行人图片的数量,xt,i表示当前目标域样本子集输入行人重识别网络模型时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i的特征,wi,l表示行人图片xt,i属于第l类行人图片的权重,p(l|xt,i)表示行人图片xt,i属于第l类行人图片的概率,Nt表示存储的所有目标域样本子集中行人图片的类别数,β为温度系数。
步骤4,具体通过下述方式获得分层损失函数:
基于相似度衡量轴网络结构将当前源域样本子集中每一行人图片的特征与当前目标域样本子集中每一行人图片的特征相乘以获得对应的相似度;
基于该相似度将目标域样本子集中的行人图片进行降序排序,并按顺序依次选取第一预设数量的图片作为第一层图片,选取第二预设数量的图片作为第二层图片,其余图片作为第三层图片,并分别设置三层图片的层别权重。示例性的,第一层图片的数量为3,第二层图片数量为147。
基于目标域样本子集中每一行人图片的特征以及其所属层别对应的层别权重获得分层损失函数:
其中,LSL表示分层损失函数,nt表示目标域样本子集中行人图片的数量,wt,r表示层别权重,r表示目标域样本子集中按照相似度排序的行人图片的排序序号,xt,i表示目标域样本子集输入行人重识别网络模型时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i的特征,p(m|xt,i)表示行人图片xt,i与存储的所有源域样本子集中所有类别的行人图片的相似概率,R1[m]表示存储的所有源域样本子集中所有类别的行人图片的特征,R1[j]表示存储的所有源域样本子集中第j类行人图片的特征,Ns表示存储的所有源域样本子集中行人图片的类别数,β为温度系数。
优选的,设置三层图片的层别权重为:
其中,b表示第一层图片的数量,k1表示第一层图片和第二层图片的数量之和,p(l|i)表示行人图片xt,i属于存储的所有目标域样本子集中第l类行人图片的概率,R1[l]表示存储的所有目标域样本子集中第l类行人图片的特征,Nt表示存储的所有目标域样本子集中行人图片的类别数。
具体的,步骤2至步骤4不分前后顺序,可同时进行。
步骤5、具体通过下述方式对所述行人重识别网络模型进行迭代优化:
根据分类损失函数、样本不变性损失函数以及分层损失函数获得总损失函数:
L=λ1Lsrc2LT3LSL
其中,L表示总损失函数,Lsrc表示分类损失函数,λ1表示分类损失函数的权重,LT表示样本不变性损失函数,λ2表示样本不变性损失函数的权重,LSL表示分层损失函数,λ3表示分层损失函数的权重,示例性的,λ1取值为0.7,λ2取值为0.3,λ3的取值为0.2。
遍历每一源域样本子集和每一目标域样本子集,重复步骤1至步骤5迭代更新该总损失函数,直至总损失函数值的变化量小于预设值,以完成对行人重识别网络模型的优化。
具体的,在迭代更新过程中,目标域存储器中存储的目标域样本子集行人图片特征通过下述方式进行实时更新:
xt,i表示目标域样本子集输入行人重识别网络模型时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i经L2标准化后的特征,Ri表示目标域存储器中所存储的目标域行人图片xt,i的特征,是控制特征更新速度的超参数。
方法实施例
本发明的另一个实施例公开了一种无监督域自适应行人重识别方法,由于该方法实施例与上述***实施例基于相同的原理,因此在此不再赘述,重复之处可以参考上市***实施例。
具体的,如图3所示,该方法包括:
S110、获取包括多个源域样本子集的源域样本集和包括多个目标域样本子集的目标域样本集。
S120、基于所述源域样本子集和目标域样本子集分别获得行人重识别网络模型的分类损失函数和样本不变性损失函数,以及根据所述源域样本子集中每一行人图片与目标域样本子集中每一行人图片的相似度对目标域样本子集中的行人图片进行排序、分层,基于分层后的行人图片特征以及对应的层别权重获得分层损失函数;基于所述分类损失函数、样本不变性损失函数以及分层损失函数遍历每一源域样本子集和目标域样本子集对所述行人重识别网络模型进行迭代优化。
S130、利用优化好的行人重识别网络模型对待识别行人图像进行识别,获得与所述待识别行人图像相同或相似的图像。
优选的,具体通过下述方式获得分层损失函数:
将源域样本子集和目标域样本子集分别输入行人重识别网络模型的残差网络结构中提取图像特征,以获取源域样本子集中每一行人图片的特征和目标域样本子集中每一行人图片的特征,并分别进行存储,将源域样本子集中每一行人图片的特征与目标域样本子集中每一行人图片的特征相乘获得对应的相似度;
基于所述相似度将目标域样本子集中的行人图片进行降序排序,并按顺序依次选取第一预设数量的图片作为第一层图片,选取第二预设数量的图片作为第二层图片,其余图片作为第三层图片,并分别设置三层图片的层别权重;
基于目标域样本子集中每一行人图片的特征以及其所属层别对应的层别权重获得分层损失函数:
其中,LSL表示分层损失函数,nt表示目标域样本子集中行人图片的数量,wt,r表示层别权重,r表示目标域样本子集中按照相似度排序的行人图片的排序序号,xt,i表示目标域样本子集输入行人重识别网络模型时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i的特征,p(m|xt,i)表示行人图片xt,i与存储的所有源域样本子集中所有类别的行人图片的相似概率,R1[m]表示存储的所有源域样本子集中所有类别的行人图片的特征,R1[j]表示存储的所有源域样本子集中第j类行人图片的特征,Ns表示存储的所有源域样本子集中行人图片的类别数,β为温度系数。
优选的,设置的所述三层图片的层别权重为:
其中,b表示第一层图片的数量,k1表示第一层图片和第二层图片的数量之和,p(l|i)表示行人图片xt,i属于存储的所有目标域样本子集中第l类行人图片的概率,R1[l]表示存储的所有目标域样本子集中第l类行人图片的特征,Nt表示存储的所有目标域样本子集中行人图片的类别数。
与现有技术相比,本实施例提供的的无监督域自适应行人重识别***及方法,一方面,通过带标签的源域样本和不带标签的目标域样本的结合有效的将监督行人重识别和无监督行人重识别结合在一起,即首次通过源域样本与目标域样本间的相似度将目标域样本进行分层,从而提高行人重识别网络对目标域样本的区分度,减少网络的迁移损失,进而提高行人重识别网络对行人重识别结果的准确度;另一方面,利用源域样本和目标域样本特征的相似度对负样本进行分层、加权以得到分层损失函数,该损失函数在行人重识别网络模型的训练中使网络自适应减少对负样本特特征的学习,从而减少网络的迁移损失,在此基础上,结合分类损失函数和样本不变性损失函数对行人重识别网络进行迭代优化,能够大幅提高行人重识别网络对行人重识别结果的精度。
本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种无监督域自适应行人重识别***,其特征在于,包括:
数据获取模块,用于获取包括多个源域样本子集的源域样本集和包括多个目标域样本子集的目标域样本集;
网络模型训练模块,用于获得行人重识别网络模型的分类损失函数和样本不变性损失函数,以及根据所述源域样本子集中每一行人图片与目标域样本子集中每一行人图片的相似度对目标域样本子集中的行人图片进行排序、分层,基于分层后的行人图片特征以及对应的层别权重获得分层损失函数;基于所述分类损失函数、样本不变性损失函数以及分层损失函数遍历每一源域样本子集和目标域样本子集对所述行人重识别网络模型进行迭代优化;所述行人重识别网络模型包括残差网络结构、与分类损失函数相对应的依次连接的全连接层和Softmax归一化层、与样本不变性损失函数对应的依次连接的目标域存储器、L2标准化层,以及与分层损失函数对应的依次连接的源域存储器和相似度衡量轴网络结构,所述残差网络结构分别与所述全连接层、目标域存储器、源域存储器以及相似度衡量轴网络结构连接;
所述网络模型训练模块具体通过下述方式获得分层损失函数:
将源域样本子集和目标域样本子集分别输入行人重识别网络模型的残差网络结构中提取图像特征,以获取源域样本子集中每一行人图片的特征和目标域样本子集中每一行人图片的特征,并分别进行存储,将源域样本子集中每一行人图片的特征与目标域样本子集中每一行人图片的特征相乘获得对应的相似度;
基于所述相似度将目标域样本子集中的行人图片进行降序排序,并按顺序依次选取第一预设数量的图片作为第一层图片,选取第二预设数量的图片作为第二层图片,其余图片作为第三层图片,并分别设置三层图片的层别权重;
基于目标域样本子集中每一行人图片的特征以及其所属层别对应的层别权重获得分层损失函数:
其中,LSL表示分层损失函数,nt表示目标域样本子集中行人图片的数量,wt,r表示层别权重,r表示目标域样本子集中按照相似度排序的行人图片的排序序号,xt,i表示目标域样本子集输入行人重识别网络模型时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i的特征,p(m|xt,i)表示行人图片xt,i与存储的所有源域样本子集中所有类别的行人图片的相似概率,R1[m]表示存储的所有源域样本子集中所有类别的行人图片的特征,R1[j]表示存储的所有源域样本子集中第j类行人图片的特征,Ns表示存储的所有源域样本子集中行人图片的类别数,β为温度系数;
设置的所述三层图片的层别权重为:
其中,b表示第一层图片的数量,k1表示第一层图片和第二层图片的数量之和,p(l|i)表示行人图片xt,i属于存储的所有目标域样本子集中第l类行人图片的概率,R1[l]表示存储的所有目标域样本子集中第l类行人图片的特征,Nt表示存储的所有目标域样本子集中行人图片的类别数;
重识别模块,用于利用优化好的行人重识别网络模型对待识别行人图像进行识别,获得与所述待识别行人图像相同或相似的图像。
2.根据权利要求1所述的无监督域自适应行人重识别***,其特征在于,所述网络模型训练模块,具体通过下述方式获得分类损失函数:
将所述源域样本子集输入行人重识别网络模型的残差网络结构中提取图像特征,以获取源域样本子集中每一行人图片的特征;
将该每一行人图片的特征依次输入行人重识别网络模型的全连接层和softmax回归层,进行特征维度转化和特征归一化;
基于维度转化和归一化后的每一行人图片的特征采用下述公式分类损失函数;
其中,Lsrc表示分类损失函数,ns表示源域样本子集中行人图片的数量,xs,m表示源域样本子集中的第m张行人图片,f(xs,m)表示行人图片xs,m的特征,ys,m表示源域样本子集中行人图片xs,m的类别标签,p(ys,m|xs,m)表示行人图片xs,m属于类别ys,m的概率,f(xs,j)表示源域样本子集中第j类行人图片的特征,Ns表示存储的所有源域样本子集中行人图片的类别数。
3.根据权利要求1所述的无监督域自适应行人重识别***,其特征在于,所述网络模型训练模块,具体通过下述方式获得样本不变性损失函数:
将所述目标域样本子集输入行人重识别网络模型的残差网络结构中提取图像特征,以获取目标域样本子集中每一行人图片的特征,并将该每一行人图片的特征进行L2标准化处理;
根据标准化处理后的每一行人图片的特征通过下述公式获得样本不变性损失函数:
其中,LT表示样本不变性损失函数,nt表示目标域样本子集中行人图片的数量,xt,i表示目标域样本子集输入行人重识别网络模型时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i的特征,wi,l表示行人图片xt,i属于第l类行人图片的权重,p(l|xt,i)表示行人图片xt,i属于第l类行人图片的概率,Nt表示存储的所有目标域样本子集中行人图片的类别数,β为温度系数。
4.根据权利要求1所述的无监督域自适应行人重识别***,其特征在于,所述网络模型训练模块,具体通过下述方式对所述行人重识别网络模型进行迭代优化:
根据所述分类损失函数、样本不变性损失函数以及分层损失函数获得总损失函数:
L=λ1Lsrc2LT3LSL
其中,L表示总损失函数,Lsrc表示分类损失函数,λ1表示分类损失函数的权重,LT表示样本不变性损失函数,λ2表示样本不变性损失函数的权重,LSL表示分层损失函数,λ3表示分层损失函数的权重;
遍历每一源域样本子集和每一目标域样本子集,迭代更新所述总损失函数,直至总损失函数值的变化量小于预设值,以完成对行人重识别网络模型的优化。
5.一种无监督域自适应行人重识别方法,其特征在于,包括:
获取包括多个源域样本子集的源域样本集和包括多个目标域样本子集的目标域样本集;
基于所述源域样本子集和目标域样本子集分别获得行人重识别网络模型的分类损失函数和样本不变性损失函数,以及根据所述源域样本子集中每一行人图片与目标域样本子集中每一行人图片的相似度对目标域样本子集中的行人图片进行排序、分层,基于分层后的行人图片特征以及对应的层别权重获得分层损失函数;基于所述分类损失函数、样本不变性损失函数以及分层损失函数遍历每一源域样本子集和目标域样本子集对所述行人重识别网络模型进行迭代优化;
所述行人重识别网络模型包括残差网络结构、与分类损失函数相对应的依次连接的全连接层和Softmax归一化层、与样本不变性损失函数对应的依次连接的目标域存储器、L2标准化层,以及与分层损失函数对应的依次连接的源域存储器和相似度衡量轴网络结构,所述残差网络结构分别与所述全连接层、目标域存储器、源域存储器以及相似度衡量轴网络结构连接;
具体通过下述方式获得分层损失函数:
将源域样本子集和目标域样本子集分别输入行人重识别网络模型的残差网络结构中提取图像特征,以获取源域样本子集中每一行人图片的特征和目标域样本子集中每一行人图片的特征,并分别进行存储,将源域样本子集中每一行人图片的特征与目标域样本子集中每一行人图片的特征相乘获得对应的相似度;
基于所述相似度将目标域样本子集中的行人图片进行降序排序,并按顺序依次选取第一预设数量的图片作为第一层图片,选取第二预设数量的图片作为第二层图片,其余图片作为第三层图片,并分别设置三层图片的层别权重;
基于目标域样本子集中每一行人图片的特征以及其所属层别对应的层别权重获得分层损失函数:
其中,LSL表示分层损失函数,nt表示目标域样本子集中行人图片的数量,wt,r表示层别权重,r表示目标域样本子集中按照相似度排序的行人图片的排序序号,xt,i表示目标域样本子集输入行人重识别网络模型时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i的特征,p(m|xt,i)表示行人图片xt,i与存储的所有源域样本子集中所有类别的行人图片的相似概率,R1[m]表示存储的所有源域样本子集中所有类别的行人图片的特征,R1[j]表示存储的所有源域样本子集中第j类行人图片的特征,Ns表示存储的所有源域样本子集中行人图片的类别数,β为温度系数;
设置的所述三层图片的层别权重为:
其中,b表示第一层图片的数量,k1表示第一层图片和第二层图片的数量之和,p(l|i)表示行人图片xt,i属于存储的所有目标域样本子集中第l类行人图片的概率,R1[l]表示存储的所有目标域样本子集中第l类行人图片的特征,Nt表示存储的所有目标域样本子集中行人图片的类别数;
利用优化好的行人重识别网络模型对待识别行人图像进行识别,获得与所述待识别行人图像相同或相似的图像。
CN202110399589.7A 2021-04-14 2021-04-14 一种无监督域自适应行人重识别***及方法 Active CN113095229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110399589.7A CN113095229B (zh) 2021-04-14 2021-04-14 一种无监督域自适应行人重识别***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110399589.7A CN113095229B (zh) 2021-04-14 2021-04-14 一种无监督域自适应行人重识别***及方法

Publications (2)

Publication Number Publication Date
CN113095229A CN113095229A (zh) 2021-07-09
CN113095229B true CN113095229B (zh) 2024-04-12

Family

ID=76677387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110399589.7A Active CN113095229B (zh) 2021-04-14 2021-04-14 一种无监督域自适应行人重识别***及方法

Country Status (1)

Country Link
CN (1) CN113095229B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115510926B (zh) * 2022-11-23 2023-04-18 武汉理工大学 跨机型的柴油机燃烧室故障诊断方法及***
CN116405651B (zh) * 2023-06-09 2023-08-01 中国矿业大学(北京) 一种多路摄像机跨视域行人数据生成方法和***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126360A (zh) * 2019-11-15 2020-05-08 西安电子科技大学 基于无监督联合多损失模型的跨域行人重识别方法
CN111401281A (zh) * 2020-03-23 2020-07-10 山东师范大学 基于深度聚类和样例学习的无监督行人重识别方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10074041B2 (en) * 2015-04-17 2018-09-11 Nec Corporation Fine-grained image classification by exploring bipartite-graph labels
US11138469B2 (en) * 2019-01-15 2021-10-05 Naver Corporation Training and using a convolutional neural network for person re-identification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126360A (zh) * 2019-11-15 2020-05-08 西安电子科技大学 基于无监督联合多损失模型的跨域行人重识别方法
CN111401281A (zh) * 2020-03-23 2020-07-10 山东师范大学 基于深度聚类和样例学习的无监督行人重识别方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification;Zhun Zhong等;2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR);598-607 *
Unsupervised Person Re-Identification Based on Measurement Axis;Jiahan Li等;IEEE SIGNAL PROCESSING LETTERS;第28卷;第379-383页摘要、正文第Ⅱ-Ⅲ节,图1 *
Unsupervised person re-identification by hierarchical cluster and domain transfer;Suncheng Xiang等;Multimedia Tools and Applications;第79卷;19769-19786 *

Also Published As

Publication number Publication date
CN113095229A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN111967294B (zh) 一种无监督域自适应的行人重识别方法
CN110516095B (zh) 基于语义迁移的弱监督深度哈希社交图像检索方法和***
CN109993236B (zh) 基于one-shot Siamese卷积神经网络的少样本满文匹配方法
CN109446332B (zh) 一种基于特征迁移和自适应学习的人民调解案例分类***及方法
CN114241273B (zh) 基于Transformer网络和超球空间学习的多模态图像处理方法及***
CN110942091B (zh) 寻找可靠的异常数据中心的半监督少样本图像分类方法
CN110866530A (zh) 一种字符图像识别方法、装置及电子设备
CN113190699A (zh) 一种基于类别级语义哈希的遥感图像检索方法及装置
CN113095229B (zh) 一种无监督域自适应行人重识别***及方法
CN105894050A (zh) 一种基于多任务学习的人脸图像种族和性别识别方法
CN113887580B (zh) 一种考虑多粒度类相关性的对比式开放集图像识别方法及装置
CN113065516B (zh) 一种基于样本分离的无监督行人重识别***及方法
CN113326390B (zh) 基于深度特征一致哈希算法的图像检索方法
CN114444600A (zh) 基于记忆增强原型网络的小样本图像分类方法
CN111581368A (zh) 一种基于卷积神经网络的面向智能专家推荐的用户画像方法
CN108052959A (zh) 一种提高深度学习图片识别算法鲁棒性的方法
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN114842343A (zh) 一种基于ViT的航空图像识别方法
CN111582506A (zh) 基于全局和局部标记关系的偏多标记学习方法
CN110442736B (zh) 一种基于二次判别分析的语义增强子空间跨媒体检索方法
CN111191033A (zh) 一种基于分类效用的开集分类方法
CN114357221A (zh) 一种基于图像分类的自监督主动学习方法
CN116910571B (zh) 一种基于原型对比学习的开集域适应方法及***
CN114610924A (zh) 基于多层分类识别模型的商品图片相似度匹配搜索方法和***
CN116304941A (zh) 一种基于多模型组合的海洋数据质量控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Cheng Deqiang

Inventor after: Kou Qiqi

Inventor after: Li Jiahan

Inventor after: Li Yunlong

Inventor after: Zhang Haoxiang

Inventor after: Han Chenggong

Inventor after: Xu Jinyang

Inventor after: Jiang Man

Inventor after: Liu Ruihang

Inventor before: Li Jiahan

Inventor before: Li Yunlong

Inventor before: Cheng Deqiang

Inventor before: Kou Qiqi

Inventor before: Zhang Haoxiang

Inventor before: Han Chenggong

Inventor before: Xu Jinyang

Inventor before: Jiang Man

Inventor before: Liu Ruihang

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240315

Address after: 221116 No. 1 Tongshan University Road, Xuzhou City, Jiangsu Province

Applicant after: CHINA University OF MINING AND TECHNOLOGY

Country or region after: China

Address before: 221116 No. 1 Tongshan University Road, Xuzhou City, Jiangsu Province

Applicant before: CHINA University OF MINING AND TECHNOLOGY

Country or region before: China

Applicant before: Jiangsu Huatu Mining Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant