CN114511883A - 基于图引导的异构深度网络的行人再识别方法 - Google Patents

基于图引导的异构深度网络的行人再识别方法 Download PDF

Info

Publication number
CN114511883A
CN114511883A CN202210106963.4A CN202210106963A CN114511883A CN 114511883 A CN114511883 A CN 114511883A CN 202210106963 A CN202210106963 A CN 202210106963A CN 114511883 A CN114511883 A CN 114511883A
Authority
CN
China
Prior art keywords
network
graph
similarity
pedestrian
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210106963.4A
Other languages
English (en)
Inventor
王其聪
黄艳
秦启峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Shenzhen Research Institute of Xiamen University
Original Assignee
Xiamen University
Shenzhen Research Institute of Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University, Shenzhen Research Institute of Xiamen University filed Critical Xiamen University
Priority to CN202210106963.4A priority Critical patent/CN114511883A/zh
Publication of CN114511883A publication Critical patent/CN114511883A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

基于图引导的异构深度网络的行人再识别方法，属于计算机视觉领域。预处理行人再识别方法数据集，构建交集图；设计一个图引导学习的异构网络，通过这个网络模型推断出行人之间较为全局的相似性关系；在行人再识别数据集上，计算异构网络中两个子网络的分类损失和，通过反向传播算法和随机梯度下降法对异构网络进行端到端的训练，得到最终训练好的网络模型；利用训练好的异构网络测试行人再识别的识别效果，异构网络输出行人图像间的相似度，对相似度排序得到最终的检索结果。可以实现样本间更丰富相关性的度量，有效导引网络学习更具区分性的特征。充分发挥主干网络和复杂相似性学习子网络在特征学习方面各自特点，实现优势互补。

Description

基于图引导的异构深度网络的行人再识别方法
技术领域
本发明属于计算机视觉领域，尤其是涉及一种基于图引导的异构深度网络的行人再识别方法。
背景技术
行人再识别在视频监控中的具有重要应用与研究价值，它可以根据特定行人的外观特征进行活动轨迹的跟踪、检索和定位，是计算机视觉和模式识别领域中的热门研究课题。行人再识别问题被广泛被认为是一个图像检索的子问题：给定一个行人图像，行人再识别算法应当识别出其他设备下的该行人图像。然而，跨设备下的行人存在着以下的研究难点。1)由于摄像设备安置在不同的场景，所以采集到的行人图像会存在光照变化和视角变化的问题，这就会导致，同一个行人其外观差异较大，比较难以识别；2)在实际监控环境中，人流量难以控制，在人流量较大的情况下，难免对目标行人造成遮挡，这对识别算法也提出了较大的要求。
目前，考虑行人图像之间的相关性进行相似性学习，以获得具有差异性的特征是行人再识别方法的研究热点之一。相似性学习的目的是学习一个映射空间，使得在这个空间中的同类样本相互靠近，异类的样本相互远离。基于相似性学习的行人再识别方法往往通过采样策略将样本组织成二元组、三元组或四元组等形式，通过计算元组内特征间的欧氏距离度量样本间的相似性，然后将相似性反馈给深度网络以学习更具区分性的特征。但是，大多数方法所考虑的样本间关系太少，模型不能对全局的相似性做出相对正确的推断，忽略了数据空间的整体结构，导致学习到的特征很有可能仅在当前元组内是具有区分性的，而对于其他元组内的样本来说并不具有区分性。为了解决这些问题，有些研究者开始利用图表示数据间的相关性，并基于图卷积挖掘数据间的相关性，取得了不错的结果。但是这些方法都是二阶段的，即：首先利用卷积神经网络提取特征，再将特征作为图卷积的输入。但由于这两个过程是分开的，这两个模块不能从反向传播中相互受益。
发明内容
本发明的目的在于针对现有技术存在的上述技术问题，提供通过基于图卷积网络的全局相似性推断模块推断出节点间的全局相似性，实现样本间更丰富相关性的度量，充分发挥主干网络和复杂相似性学习子网络在特征学习方面各自的特点实现优势互补的一种基于图引导的异构深度网络的行人再识别方法。
本发明包括以下步骤：
1)预处理行人再识别方法数据集，构建交集图；
2)设计一个图引导学习的异构网络，通过这个网络模型推断出行人之间较为全局的相似性关系；
3)在行人再识别数据集上，计算异构网络中两个子网络的分类损失和，通过反向传播算法和随机梯度下降法对异构网络进行端到端的训练，得到最终训练好的网络模型；
4)利用训练好的异构网络测试行人再识别的识别效果，异构网络输出行人图像间的相似度，对相似度排序得到最终的检索结果。
在步骤1)中，所述预处理行人再识别方法数据集，构建交集图的具体步骤可为：
1.1首先在大规模图像数据上，利用反向传播算法和随机梯度下降法对主干网络预训练；
1.2利用预训练的主干网络模型提取行人再识别数据集图像的特征，每一个特征当作是一个节点；然后根据节点间的相似性，为每一个节点构建其自身的交集图；构建交集图可以分为两个过程，一是节点采样，以确定图内有哪些节点，二是为图内的节点建立连接；
1.3在节点采样过程中，针对每个节点，计算它和所有其他节点之间的欧氏距离并作为相似度，然后根据相似度降序排序，得到每个节点的前k个近邻，这些近邻即为其对应节点的近邻集；
1.4在建立连接的过程中，对于当前节点和它的近邻集，如果某个近邻的近邻集中存在一些节点也存在于当前节点的近邻集，那么就将这些节点和该近邻连接。
在步骤2)中，所述设计一个图引导学习的异构网络的具体步骤可为：
2.1交集图作为异构网络的输入，首先异构网络中的主干网络提取每个交集图中所有节点的特征；
2.2交集图中的节点特征和邻接矩阵作为复杂相似性学习子网络的输入；复杂相似性学习子网络中首先是两层的图卷积网络，用于对交集图中的节点特征进行邻域聚合和转换，从而考虑到每个节点周围较为多样的相似性关系；
2.3图卷积转换后的节点特征经过一层全连接层后转换成图内边的特征，然后在经过一层全连接层对边进行二分类，即预测改边是连接还是不连接；最后将预测值经过softmax函数，以得到一个介于0和1之间的预测值，并把预测值当作是节点之间的相似度。
在步骤3)中，所述进行端到端的训练的具体步骤如下：
3.1主干网络后接上两个个全连接层进行多分类，第一个全连接层的用于降维，神经元数量为512，第二个全连接层用于多分类，神经元数量为训练集中行人的类别数，损失函数采用交叉熵损失函数；复杂相似性学习子网络中最后一层同样是用于分类的全连接层，该全连接层的神经元数量为2，用于预测节点之间的边是否连接，损失函数采用用于二分类的交叉熵损失；
3.2两个子网络的损失相加作为总损失，通过反向传播和随机梯度下降法端到端的更新异构网络的参数直至最优。
与现有技术相比，本发明具有以下突出技术效果：
本发明为一种基于图结构的局部相似性建模方法，并基于局部相似性构建交集图，通过基于图卷积网络的全局相似性推断模块推断出节点间的全局相似性。此外，本发明将图卷积网络组合深度卷积神经网络组成端到端的异构网络，卷积神经网络作为主干网络，而全局相似性推断模块作为复杂相似性学习子网络，两个子网络在端到端训练过程中能够相互受益。
本发明首先提出了为每个样本建立交集图，以建模局部相似性关系。并且设计了基于图卷积网络的复杂相似性学习子网络，通过近邻聚合的方式推断样本的全局相关性关系，它可以实现样本间更丰富相关性的度量，有效导引网络学习更具区分性的特征。另外由于子网络输出是图结构的相似性关系，可以较容易转换成不同的识别应用场景。最后提出了一种可端到端训练的异构网络学习模型，它可以充分发挥主干网络和复杂相似性学习子网络在特征学习方面各自的特点，实现优势互补。
附图说明
图1为构建交集图示意图。
图2为本发明实施例的框架图。
图3为复杂相似性学习子网络框架图。
具体实施方式
下面将结合本发明的实施例和附图，对本发明的方法详细说明。
本发明所述基于图引导的异构深度网络的行人再识别方法，包括以下步骤：
1)预处理行人再识别方法数据集，并构建交集图；
2)设计一个图引导学习的异构网络，通过这个网络模型推断出行人之间较为全局的相似性关系；
3)在行人再识别数据集上，计算异构网络中两个子网络的分类损失和，通过反向传播算法和随机梯度下降法对异构网络进行端到端的训练，得到最终训练好的模型；
4)利用训练好的异构网络测试行人再识别的识别效果，异构网络输出行人图像间的相似度，对相似度排序得到最终的检索结果。
步骤1)中，所述预处理行人再识别数据集和构建交集图的具体步骤可为：
(1)首先在大规模图像数据上，利用反向传播算法和随机梯度下降法对主干网络预训练。
(2)利用预训练的主干网络模型提取行人再识别数据集图像的特征，每一个特征当作是一个节点。然后根据节点间的相似性，为每一个节点构建其自身的交集图。构建交集图可以分为两个过程，一是节点采样，以确定图内有哪些节点，二是为图内的节点建立连接。
(3)在节点采样过程中，针对每个节点，计算它和所有其他节点之间的欧氏距离并作为相似度，然后根据相似度降序排序，得到每个节点的前50个近邻，这些近邻即为其对应节点的近邻集。
(4)在建立连接的过程中，对于当前节点和它的近邻集，如果某个近邻的近邻集中存在一些节点也存在于当前节点的近邻集，那么就将这些节点和该近邻连接。
步骤2)中，所述的图引导的异构网络模型的具体步骤可为：
(1)交集图作为异构网络的输入，首先异构网络中的主干网络提取每个交集图中所有节点的特征。
(2)交集图中的节点特征和邻接矩阵作为复杂相似性学习子网络的输入。复杂相似性学习子网络中首先是两层的图卷积网络，用于对交集图中的节点特征进行邻域聚合和转换，从而考虑到每个节点周围较为多样的相似性关系。
(3)图卷积转换后的节点特征经过一层全连接层后转换成图内边的特征，然后在经过一层全连接层对边进行二分类，即预测改边是连接还是不连接。最后将预测值经过softmax函数，以得到一个介于0和1之间的预测值，并把预测值当作是节点之间的相似度。
步骤3)中，端到端的训练异构深度网络，具体步骤如下：
(1)主干网络后接上两个全连接层进行多分类，第一个全连接层的用于降维，神经元数量为512，第二个全连接层用于多分类，神经元数量为训练集中行人的类别数，损失函数采用交叉熵损失函数。复杂相似性学习子网络中最后一层同样是用于分类的全连接层，该全连接层的神经元数量为2，用于预测节点之间的边是否连接，损失函数采用用于二分类的交叉熵损失。
(2)两个子网络的损失相加作为总损失，通过计算总损失和，并利用反向传播和随机梯度下降法端到端的更新异构网络的参数直至最优。
以下结合附图给出具体实施例。
本实施例包括以下步骤：
1)预处理行人再识别方法数据集，并构建交集图。给定一个行人图像，该步骤的目标是为它建立一个交集图。如果数据集中有O个行人图像，那么就需要建立O个交集图。参见图1，建立交集图分为两个过程，节点采样和建立连接。
假设数据集为T＝{v(1),v(2),…,v(O)}，O表示数据集的规模。针对一个任意节点v(m),m∈{1,2,,…,O}，本发明将为它建立对应的交集图G(m)＝(V(m),A(m))，其中V(m)表示节点v(m)的近邻集，A(m)表示该交集图的邻接矩阵。
过程一：节点采样。首先通过一个预训练的主干网络提取所有训练集数据的特征，然后首先计算出节点v(m)和其他所有节点间的相似性，计算公式为
Figure BDA0003494268750000051
其中d(v(m),v(j))表示节点v(m)和节点v(j)之间的欧式距离，j∈{1,2,,…,O}。然后将欧式距离的值当作相似度，并选择与节点v(m)最相近的前k个，这样即可获得v(m)的近邻集，即：
Figure BDA0003494268750000052
为每一个节点重复过程一，即可得到该数据集所有的交集图。
过程二：建立连接。参见图1，对于节点v(m)来说，用
Figure BDA0003494268750000053
表示它的第j个近邻。对于
Figure BDA0003494268750000054
来说，它也有自身的近邻集，假设
Figure BDA0003494268750000055
那么
Figure BDA0003494268750000056
的近邻集为V(n)。图1中，
Figure BDA0003494268750000057
Figure BDA0003494268750000058
所以将
Figure BDA0003494268750000059
和
Figure BDA00034942687500000510
相连。为V(m)中所有节点重复过程二即可得到节点v(m)的交集图G(m)。
2)设计一个图引导学习的异构网络，通过这个网络模型推断出行人之间较为全局的相似性关系；参见图2，为本发明的整体框架图。
2.1输入交集图G(m)＝(V′(m),A(m))到主干网络中，其中V′(m)为V(m)对应的行人图像，且V′(m)∈Rk×C×H×Wid，C表示二维图像通道数，H表示图像的高，Wid表示图像的宽。主干网络输出节点的特征矩阵X(m)∈Rk×512。
2.2交集图中的节点特征X(m)和邻接矩阵A(m)作为复杂相似性学习子网络的输入。复杂相似性学习子网络结构参见图3，首先是两层的图卷积网络，用于对交集图中的节点特征进行邻域聚合和转换，图卷积网络可以表示为：
Figure BDA0003494268750000061
其中
Figure BDA0003494268750000062
D是邻接矩阵A(m)的对角度矩阵，vstack表示纵向拼接两个矩阵，W表示图卷积网络的可学习的参数矩阵，并且W∈R2dim×dim′。因此，Z(m)∈Rk×dim′。
2.3图卷积转换后的节点特征Z(m)经过两个全连接层进行二分类，它可以表示为：
S(m)＝softmax(σe1(Z(m)F1+b1)F2+b2)
其中F1和b1是第一个全连接层的参数和偏置，F2和b2是第二个全连接层的参数和偏置，σe1是第一个全连接层的激活函数。最后通过一个softmax函数，可以将预测值限定在0和1之间并作为交集图内节点的相似度。
3)在行人再识别数据集上，计算异构网络中两个子网络的分类损失和，并进行端到端的训练。首先主干网络输出的特征经过全连接层进行多分类，多分类损失为：
Figure BDA0003494268750000063
其中，当tij＝1的时候，表示当前行人图像i属于类j，否则，tij＝0。
Figure BDA0003494268750000064
表示模型预测的当前行人图像i属于类j的概率。另外，复杂相似性学习子网络内计算边的二分类损失，二分类损失为：
Figure BDA0003494268750000065
其中，k表示一个交集图中边的条数，yci表示节点v(c)是否真实的和它的第i个邻居
Figure BDA0003494268750000066
相连，值为1表示连接，值为0表示不连接。
Figure BDA0003494268750000067
表示模型预测的节点v(c)和它的第i个邻居
Figure BDA0003494268750000068
建立连接的概率。最终，整个异构网络通过联合损失函数Lall＝LID+LB计算损失和，通过反向传播算法和随机梯度下降法，端到端的训练异构深度网络模型，调整异构网络的参数直至最优。
4)利用训练好的异构网络测试行人再识别的识别效果，异构网络输出行人图像间的相似度，对相似度排序得到最终的检索结果。
在Market-1501、DukeMTMC-reID行人再识别数据集上，本发明提出的方法和其他行人再识别实验结果对比如表1-2所示。
表1
Figure BDA0003494268750000071
表2
Figure BDA0003494268750000072
Figure BDA0003494268750000081
其中：
MHN对应B.Chen等人提出的方法(B.Chen,W.Deng,J.Hu,Mixed high-orderattention network for person re-identification,in:Proceedings of the IEEEInternational Conference on Computer Vision,2019,pp.371–381.)；
CBN对应Z.Zhuang等人提出的方法(Z.Zhuang,L.Wei,L.Xie,T.Zhang,H.Zhang,H.Wu,H.Ai,Q.Tian,Rethinking the distribution gap of person re-identificationwith camera-based batch normalization,in:ECCV,2020.)；
Adversarial对应L.Wu等人提出的方法(L.Wu,R.Hong,Y.Wang,M.Wang,Cross-entropy adversarial view adaptation for person re-identification,IEEETransactions on Circuits and Systems for Video Technology 30(7)(2020)2081–2092.)；
Aligned对应Z.Zhang等人提出的方法(Z.Zhang,Y.Xie,D.Li,W.Zhang,Q.Tian,Learning to align via wasserstein for person re-identification,IEEETransactions on Image Processing 725 29(2020)7104–7116.)；
MuDeep对应X.Qian等人提出的方法(X.Qian,Y.Fu,T.Xiang,Y.G.Jiang,X.Xue,Leader-based multi-scale attention deep architecture for person re-identification,IEEE Transactions on Pattern Analysis and Machine Intelligence42(2)(2020)371–385.)；
PIE对应L.Zheng等人提出的方法(L.Zheng,Y.Huang,H.Lu,Y.Yang,Pose-invariant embedding for deep person re-identification,IEEE Transactions onImage Processing 28(9)(2019)4500–4509.)；
MVP对应H.Sun等人提出的方法(H.Sun,Z.Chen,S.Yan,L.Xu,Mvp matching:Amaximum-value perfect matching for mining hard samples,with application toperson re-identification,in:Proceedings of the IEEE International Conferenceon Computer Vision,2019,pp.6737–6747.)；
Pyramidal对应F.Zheng等人提出的方法(F.Zheng,C.Deng,X.Sun,X.Jiang,X.Guo,Z.Yu,F.Huang,R.Ji,Pyramidal person re-identification via multi-lossdynamic training,in:Proceedings of the IEEE Conference on Computer Vision andPattern Recognition,2019,pp.8514–8522)；
SVDNet对应Y.Sun等人提出的方法(Y.Sun,L.Zheng,W.Deng,S.Wang,Svdnet forpedestrian retrieval,in:2017 IEEE International Conference on Computer Vision(ICCV),2017,pp.3820–3828.)；
TriNet-S对应Y.Zhang等人提出的方法(Y.Zhang,Q.Zhong,L.Ma,D.Xie,S.Pu,Learning incremental triplet margin for person re-identification,Proceedingsof the AAAI Conference on Artificial Intelligence 33(01)(2019)9243–9250.)；
Structural对应X.Yang等人提出的方法(X.Yang,P.Zhou,M.Wang,Personreidentification via structural deep metric learning,IEEE Transactions onNeural Networks and Learning Systems 30(10)(2019)2987–2998.)；
Group-shuffling对应Y.Shen等人提出的方法(Y.Shen,H.Li,T.Xiao,S.Yi,D.Chen,X.Wang,Deep group-shuffling random walk for person re-identification,in:Proceedings of the IEEE Conference on Computer Vision and PatternRecognition(CVPR),2018.)；
SGGNN对应Y.Shen等人提出的方法(Y.Shen,H.Li,S.Yi,D.Chen,X.Wang,Personre-identification with deep similarity-guided graph neural network,in:Proceedings of the European Conference on Computer Vision(ECCV),2018.)；
CACE-Net对应X.Jiang等人提出的方法(X.Jiang,F.Yu,Y.Gong,S.Zhao,X.Guo,F.Huang,W.-S.Zheng,X.Sun,Devil’s in the detail:Graph-based key-pointalignment and embedding for 760 person re-id,arXiv preprint arXiv:2009.05250.)；
本发明设计了一种端到端的图引导的异构深度网络，它可以通过强大的图结构深度相似性推理能力来指导判别性特征的学习。本发明以每个样本为中心节点，构建交集图来表示局部潜在及其上下文的复杂相关性，其中节点特征通过主干网络模型来提取。为了捕获样本之间的全局信息，本发明采用了基于图卷积网络的复杂相似性学习自网络，从提取的特征中预测全局相关性。这两个模型连接成一个异构深度网络，从而驱动两个子网模型以端到端的方式相互学习。通过实验分析可知，提出的异构网络可以考虑到样本再整个数据空间中的相关性，并进行有效的相似性推理，可以缓解视角、光照、遮挡等问题，在多个行人再识别数据集上都具有较好的识别性能。

Claims (4)

1.基于图引导的异构深度网络的行人再识别方法，其特征在于包括以下步骤：
1)预处理行人再识别方法数据集，构建交集图；
2)设计一个图引导学习的异构网络，通过这个网络模型推断出行人之间较为全局的相似性关系；
3)在行人再识别数据集上，计算异构网络中两个子网络的分类损失和，通过反向传播算法和随机梯度下降法对异构网络进行端到端的训练，得到最终训练好的网络模型；
4)利用训练好的异构网络测试行人再识别的识别效果，异构网络输出行人图像间的相似度，对相似度排序得到最终的检索结果。
2.如权利要求1所述基于图引导的异构深度网络的行人再识别方法，其特征在于在步骤1)中，所述预处理行人再识别方法数据集，构建交集图的具体步骤为：
1.1首先在大规模图像数据上，利用反向传播算法和随机梯度下降法对主干网络预训练；
1.2利用预训练的主干网络模型提取行人再识别数据集图像的特征，每一个特征当作是一个节点；然后根据节点间的相似性，为每一个节点构建其自身的交集图；构建交集图可以分为两个过程，一是节点采样，以确定图内有哪些节点，二是为图内的节点建立连接；
1.3在节点采样过程中，针对每个节点，计算它和所有其他节点之间的欧氏距离并作为相似度，然后根据相似度降序排序，得到每个节点的前k个近邻，这些近邻即为其对应节点的近邻集；
1.4在建立连接的过程中，对于当前节点和它的近邻集，如果某个近邻的近邻集中存在一些节点也存在于当前节点的近邻集，那么就将这些节点和该近邻连接。
3.如权利要求1所述基于图引导的异构深度网络的行人再识别方法，其特征在于在步骤2)中，所述设计一个图引导学习的异构网络的具体步骤为：
2.1交集图作为异构网络的输入，首先异构网络中的主干网络提取每个交集图中所有节点的特征；
2.2交集图中的节点特征和邻接矩阵作为复杂相似性学习子网络的输入；复杂相似性学习子网络中首先是两层的图卷积网络，用于对交集图中的节点特征进行邻域聚合和转换，从而考虑到每个节点周围较为多样的相似性关系；
2.3图卷积转换后的节点特征经过一层全连接层后转换成图内边的特征，然后在经过一层全连接层对边进行二分类，即预测改边是连接还是不连接；最后将预测值经过softmax函数，以得到一个介于0和1之间的预测值，并把预测值当作是节点之间的相似度。
4.如权利要求1所述基于图引导的异构深度网络的行人再识别方法，其特征在于在步骤3)中，所述进行端到端的训练的具体步骤如下：
3.1主干网络后接上两个个全连接层进行多分类，第一个全连接层的用于降维，神经元数量为512，第二个全连接层用于多分类，神经元数量为训练集中行人的类别数，损失函数采用交叉熵损失函数；复杂相似性学习子网络中最后一层同样是用于分类的全连接层，该全连接层的神经元数量为2，用于预测节点之间的边是否连接，损失函数采用用于二分类的交叉熵损失；
3.2两个子网络的损失相加作为总损失，通过反向传播和随机梯度下降法端到端的更新异构网络的参数直至最优。
CN202210106963.4A 2022-01-28 2022-01-28 基于图引导的异构深度网络的行人再识别方法 Pending CN114511883A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210106963.4A CN114511883A (zh) 2022-01-28 2022-01-28 基于图引导的异构深度网络的行人再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210106963.4A CN114511883A (zh) 2022-01-28 2022-01-28 基于图引导的异构深度网络的行人再识别方法

Publications (1)

Publication Number Publication Date
CN114511883A true CN114511883A (zh) 2022-05-17

Family

ID=81551140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210106963.4A Pending CN114511883A (zh) 2022-01-28 2022-01-28 基于图引导的异构深度网络的行人再识别方法

Country Status (1)

Country Link
CN (1) CN114511883A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977893A (zh) * 2019-04-01 2019-07-05 厦门大学 基于层次显著性通道学习的深度多任务行人再识别方法
US20210150268A1 (en) * 2017-07-13 2021-05-20 Peking University Shenzhen Graduate School Method of using deep discriminate network model for person re-identification in image or video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210150268A1 (en) * 2017-07-13 2021-05-20 Peking University Shenzhen Graduate School Method of using deep discriminate network model for person re-identification in image or video
CN109977893A (zh) * 2019-04-01 2019-07-05 厦门大学 基于层次显著性通道学习的深度多任务行人再识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊炜;冯川;熊子婕;王娟;刘敏;曾春艳;: "基于CNN的改进行人重识别技术", 计算机工程与科学, no. 04, 15 April 2019 (2019-04-15), pages 95 - 102 *

Similar Documents

Publication Publication Date Title
CN112801404B (zh) 一种基于自适应空间自注意力图卷积的交通预测方法
WO2021043193A1 (zh) 神经网络结构的搜索方法、图像处理方法和装置
Wang et al. RSNet: The search for remote sensing deep neural networks in recognition tasks
CN109858390B (zh) 基于端到端时空图学习神经网络的人体骨架行为识别方法
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN111950372B (zh) 一种基于图卷积网络的无监督行人重识别方法
Bera et al. Sr-gnn: Spatial relation-aware graph neural network for fine-grained image categorization
CN112883839B (zh) 基于自适应样本集构造与深度学习的遥感影像解译方法
Jin et al. Automated dilated spatio-temporal synchronous graph modeling for traffic prediction
CN112766280A (zh) 一种基于图卷积的遥感图像道路提取方法
Cai et al. Softer pruning, incremental regularization
CN113052254A (zh) 多重注意力幽灵残差融合分类模型及其分类方法
CN113128424A (zh) 基于注意力机制的图卷积神经网络动作识别方法
CN112766378A (zh) 一种专注细粒度识别的跨域小样本图像分类模型方法
CN116012880A (zh) 分布式边缘协同推理的行人重识别方法、***及装置
Yang et al. C-RPNs: Promoting object detection in real world via a cascade structure of Region Proposal Networks
Zeinali et al. Esai: Efficient split artificial intelligence via early exiting using neural architecture search
Hao et al. Architecture self-attention mechanism: Nonlinear optimization for neural architecture search
CN114511883A (zh) 基于图引导的异构深度网络的行人再识别方法
CN115019342A (zh) 一种基于类关系推理的濒危动物目标检测方法
Lei et al. ConvBLS: An effective and efficient incremental convolutional broad learning system for image classification
CN115034459A (zh) 一种行人轨迹时间序列预测方法
CN110188692B (zh) 一种有效目标快速识别的强化循环级联方法
Zhang et al. Progressively diffused networks for semantic image segmentation
Ji et al. Hierarchical discriminative sparse coding via bidirectional connections

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination