CN113989851B - 一种基于异构融合图卷积网络的跨模态行人重识别方法 - Google Patents

一种基于异构融合图卷积网络的跨模态行人重识别方法 Download PDF

Info

Publication number
CN113989851B
CN113989851B CN202111324923.9A CN202111324923A CN113989851B CN 113989851 B CN113989851 B CN 113989851B CN 202111324923 A CN202111324923 A CN 202111324923A CN 113989851 B CN113989851 B CN 113989851B
Authority
CN
China
Prior art keywords
visible light
network
image
key point
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111324923.9A
Other languages
English (en)
Other versions
CN113989851A (zh
Inventor
孙锐
张磊
余益衡
单晓全
孙琦景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202111324923.9A priority Critical patent/CN113989851B/zh
Publication of CN113989851A publication Critical patent/CN113989851A/zh
Application granted granted Critical
Publication of CN113989851B publication Critical patent/CN113989851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于异构融合图卷积网络的跨模态行人重识别方法，包括：1、构建可见光与近红外数据集，包括图像的获取以及预处理；2、采用随机批采样策略获取当前批次的可见光和近红外图像；3、构建一阶关键点提取网络提取图像的局部关键点特征，利用领接矩阵生成图数据；4、构建高阶嵌入图卷积网络建模图数据之间的结构关系；5、构建图匹配模块及损失函数的网络结构；6、利用分阶段方式训练得到最优行人重识别模型；7、利用测试集获得行人重识别结果。本发明能通过关键点提取网络、嵌入图卷积网络和图匹配网络，更好的构建跨模态图数据的特征关系，从而提高可见光与近红外行人重识别的准确度。

Description

一种基于异构融合图卷积网络的跨模态行人重识别方法
技术领域
本发明属于计算机视觉、模式识别及行人重识别领域，具体的说公开了一种基于异构融合图卷积网络的跨模态行人重识别方法。
背景技术
近年来，由于公共安全的迫切需求，城市中监控摄像机数量不断增加，而在智能视频监控***设计中，行人重识别技术是必不可少的关键技术之一。行人重识别是一种跨摄像机的图像检索任务，其目的是从不相交摄像机采集的图像库中检索给定查询的人员。鉴于行人重识别研究的影响力和实际重要性，该技术已成为计算机视觉和模式识别领域的一个研究热点。
现有的行人重识别方法主要是处理单模态的可见光图像，但在真实复杂的场景中，即在黑暗和明亮的交叉光照环境中捕捉人物图像，这些方法的效果会显著降低。同时，可见光相机不能在夜间工作。现如今，一些新型监视设备投入使用，如可见光-红外双模摄像机(RGB-IR Dual-mode Cameras)，在较差的照明条件下仍然可以捕捉人的外观特征。这引起了工业界和学术界对可见光-近红外(RGB-NIR)跨模态匹配的广泛研究兴趣。两种模态间图像以及单一模态内人的外观特征均存在较大差异。例如，可见光图像包含了一些像颜色这样的鉴别线索，而这些信息在红外图像中缺失。
目前，已经有一些针对可见光和红外的跨模态行人重识别方法。当前的研究工作主要从两个方面来解决跨模态行人重识别问题。第一类方法试图通过特征级约束(如对齐图像的特征分布)来减少跨模态差异。其目标是最大化具有相同身份特征(类内特征)的相似性，并最小化具有不同身份特征(类间特征)的相似性。例如Zhu等文献《Hetero-Centerloss for cross-modality person Re-identification》设计了双流局部特征网络,为了改进类内跨模态相似性,提出异质中心损失将两个异质模态中心之间的距离拉近，提高模态间特征的相似度。第二类方法是在输入级使用GAN将图像从一种模态转换到另一种模态，同时尽可能地保存身份信息。
然而，这两类方法仅专注于解决跨模态中的模态差异，却忽略了单模态行人重识别中仍然存在的挑战，包括外观差异、背景杂乱、视点变化和遮挡等。现有的工作主要集中在可见光-近红外图像转换或跨模态的全局共享特征学习，而身体部位的局部特征和这些特征之间的结构关系在很大程度上被忽略了。第一类方法忽视了很多模态特有信息，第二类方法会引入随机干扰，这些方法仍然使跨模态信息之间的匹配较困难，导致红外与可见光跨模态行人再识别的识别效果较差。
发明内容
本发明为克服上述现有技术中存在的问题，本发明提出了一种基于异构融合图卷积网络的跨模态行人重识别方法，以期能更好的构建跨模态数据的特征关系并减弱图像数据中噪声的影响，同时考虑到局部关键点之间的联系，从而提高可见光与近红外跨模态行人重识别的准确度。
为了实现上述技术目的，本发明采用如下技术方案：
本发明一种基于异构融合图卷积网络的跨模态行人重识别方法的特点是，包括如下步骤：
步骤1、构建可见光与近红外数据集；
用光学相机和近红外相机分别采集若干张可见光单帧图像与近红外单帧图像，并利用SA-FastRCNN行人检测方法，分别裁剪出可见光与近红外单帧图像中的单个行人图像；对裁剪后的每张单个行人图像进行人工标注和标准化处理，并选取P个行人的Q张单个行人图像分别构成可见光单个行人图像集
Figure BDA0003346695230000021
和近红外单个行人图像集
Figure BDA0003346695230000022
其中，
Figure BDA0003346695230000023
表示第p个行人的第q张可见光单个行人图像，
Figure BDA0003346695230000024
表示第p个行人的第q张近红外单个行人图像；将由可见光单个行人图像集XRGB和近红外单个行人图像集XNIR所构成的数据集分成训练集和测试集；
步骤2、采用随机批采样策略在训练集中进行采样，得到包含N个行人的M张可见光和M张近红外单个行人图像的当前第T个批次；其中，可见光的当前第T个批次记为
Figure BDA0003346695230000029
和近红外的当前第T个批次记为
Figure BDA0003346695230000025
N＜P；M＜Q；
步骤3、构建包含姿态估计网络和CNN网络的一阶关键点提取网络，用于提取图像的局部关键点特征；
步骤3.1、将可见光的当前第T个批次
Figure BDA0003346695230000026
分别输入到姿态估计网络和CNN网络，并相应输出姿态关键点热度图mkey和全局特征向量Vglobal后进行哈达玛积运算，再将运算结果输入全局平均池化层后，得到K个可见光关键点特征向量
Figure BDA0003346695230000027
其中，
Figure BDA0003346695230000028
表示第k个可见光关键点；
步骤3.2、将K个可见光关键点特征向量Vlocal中的每个可见光关键点
Figure BDA0003346695230000031
以及一个全局特征向量Vglobal中的全局特征点按照人体结构进行构图，从而得到可见光的图数据GRGB＝(VRGB,ARGB)；其中，VRGB表示每个可见光关键点所表示的顶点集，ARGB表示领接矩阵定义的自然连接关系所表示的边集；
步骤3.3、将近红外的当前第T个批次
Figure BDA00033466952300000312
分别输入到姿态估计网络和CNN网络后，也按照步骤3.1-步骤3.2的过程进行处理，得到近红外的图数据GNIR＝(VNIR,ANIR)；其中，VNIR表示由每个可见光关键点的顶点集，ANIR表示领接矩阵定义的自然连接关系所表示的边集，且ARGB＝ANIR；
步骤4、构建由输入模块、图内卷积模块、跨图卷积模块、图内卷积模块和输出模块依次级联而成的高阶嵌入图卷积网络；
所述输入模块为一层批归一化层；
所述图内卷积模块由一层图内卷积层、一层归一化层和一层ReLU激活层组成；
所述跨图卷积模块由一层跨图卷积层、一层归一化层和一层ReLU激活层组成；
所述输出层由一层池化层和带有softmax函数的一层全连接层组成；
步骤4.1、将所述可见光的图数据GRGB和近红外的图数据GNIR分别送入所述输入模块进行归一化处理，得到归一化后的可见光的图数据
Figure BDA0003346695230000032
和近红外的
Figure BDA0003346695230000033
其中，
Figure BDA0003346695230000034
分别表示归一化后的可见光顶点集和近红外顶点集，
Figure BDA0003346695230000035
分别表示通过正则化后的可见光邻接矩阵和近红外领接矩阵；
步骤4.2、将所述归一化后的可见光的图数据
Figure BDA0003346695230000036
和近红外的图数据
Figure BDA0003346695230000037
分别依次经过所述图内卷积模块、跨图卷积模块、图内卷积模块的处理后得到可见光异构融合图数据
Figure BDA0003346695230000038
和近红外异构融合图数据
Figure BDA0003346695230000039
其中，
Figure BDA00033466952300000310
分别表示依次经过所述图内卷积模块、跨图卷积模块、图内卷积模块处理的可见光图数据和近红外图数据，V1 GCN、V2 GCN分别表示依次经过所述图内卷积模块、跨图卷积模块、图内卷积模块处理的可见光顶点集和近红外顶点集，
Figure BDA00033466952300000311
分别表示依次经过所述图内卷积模块、跨图卷积模块、图内卷积模块处理的可见光邻接矩阵和近红外领接矩阵；
步骤4.3、将异构融合图数据中的可见光顶点集V1 GCN和近红外顶点集V2 GCN分别送入输出模块后，相应得到分类器预测的可见光预测概率和近红外预测概率；
步骤5、构建由一阶关键点提取网络、高阶嵌入图卷积网络、图匹配模块及loss函数组成的异构融合图卷积网络模型；
步骤5.1、所述图匹配模块根据式(1)计算亲和矩阵M的第i行j列元素Mi,j，从而得到亲和矩阵M：
Figure BDA0003346695230000041
式(1)中，Mi,j表示可见光第i个特征
Figure BDA0003346695230000042
与近红外第j个特征
Figure BDA0003346695230000043
的亲和程度，exp表示指数化，
Figure BDA0003346695230000044
表示可见光特征V1 GCN中的第i个特征，
Figure BDA0003346695230000045
表示近红外特征V2 GCN中的第j个特征，τ为超参数；i∈[1,K+1]；j∈[1,K+1]；A表示边集，且A＝ARGB＝ANIR；
步骤5.2、所述图匹配模块采用Sinkhorn算法求解式(2)得到最优的匹配矩阵U*：
Figure BDA0003346695230000046
式(2)中，argmax(.)表示最大化(.)；U表示初始匹配矩阵，||U||表示U矩阵的欧氏距离；
步骤5.3、设计loss函数：
步骤5.3.1、在一阶关键点提取网络后添加交叉熵、三元组、异质中心三元组的loss函数LE，如式(3)所示：
Figure BDA0003346695230000047
式(3)中，K为局部关键点总数，k∈[1,2K+2]，βk为第k个关键点置信度，λ1是权重参数，
Figure BDA0003346695230000048
表示一阶关键点提取网络输出的第k个特征向量；
Figure BDA0003346695230000049
是第k个特征向量的交叉熵损失，并由式(4)得到：
Figure BDA00033466952300000410
式(4)中，
Figure BDA00033466952300000411
为分类器输出的第k个特征向量的预测概率；
式(3)中，
Figure BDA00033466952300000412
是第k个特征向量
Figure BDA00033466952300000413
的硬挖掘三元组损失，并由式(5)得到：
Figure BDA0003346695230000051
式(5)中，
Figure BDA0003346695230000052
和
Figure BDA0003346695230000053
分别表示当前第T个批次中第i个人的第a张图像和第p张图像对应的特征向量，
Figure BDA0003346695230000054
表示当前第T个批次中第j个人的第n张图像对应的特征向量；
Figure BDA0003346695230000055
表示特征向量
Figure BDA0003346695230000056
与
Figure BDA0003346695230000057
的欧氏距离，[·]+表示max(·,0)，ρ1为控制特征向量间相对距离的超参数；
式(3)中，Lhc_tri(C)是异质中心三元组损失，并由式(6)得到：
Figure BDA0003346695230000058
式(6)中，
Figure BDA0003346695230000059
为可见光图像中第i个人的特征中心，
Figure BDA00033466952300000510
为近红外图像中第i个人特征中心，
Figure BDA00033466952300000511
为从第j个行人中挖掘最难负向特征中心，且j≠i，
Figure BDA00033466952300000512
为特征中心
Figure BDA00033466952300000513
与
Figure BDA00033466952300000514
的欧氏距离，[x]+为max(x,0)，ρ2为控制距离的超参数；
步骤5.3.2、在高阶嵌入图卷积网络的全连接层后添加交叉熵、三元组、异质中心三元组的loss函数LGCN，如式(7)所示：
Figure BDA00033466952300000515
式(7)中，
Figure BDA00033466952300000516
表示嵌入图卷积网络输出特征的交叉熵损失，
Figure BDA00033466952300000517
表示嵌入图卷积网络输出特征的三元组损失，
Figure BDA00033466952300000518
表示嵌入图卷积网络输出特征的异质中心三元组损失，λ2为权重参数；
步骤5.3.3、在所述图匹配模块后添加跨模态验证损失LV，如式(8)所示；
Figure BDA00033466952300000519
式(8)中，
Figure BDA00033466952300000520
为可见光关键点特征
Figure BDA00033466952300000521
与近红外关键点特征
Figure BDA00033466952300000522
的图匹配结果，i,j∈[1,K+1]，
Figure BDA00033466952300000523
表示可见光关键点与近红外关键点的真值矩阵，当可见光图像的第i个关键点与近红外图像的第j个关键点属于同一行人时，令
Figure BDA00033466952300000524
否则为0；
步骤5.3.4、利用式(9)得到总损失函数L：
L＝LE+μ1×LGCN+μ2×LV       (9)
式(9)中，μ1、μ2是对应loss权重值；
步骤6、异构融合图卷积网络模型的训练，包括第一阶段训练和第二阶段训练；
步骤6.1、在所述第一阶段训练中，设置模型的基础学习率为lr1，第一阶段迭代总次数为items1，将当前第T个批次图像输入一阶关键点提取网络中，并采用自适应矩估计Adam优化算法对一阶关键点提取网络中的各个参数进行迭代优化，直至到达迭代总次数items1且一阶关键点提取网络总损失LE趋于稳定为止，得到一阶关键点提取模型；
步骤6.2、所述第二阶段训练中，设置模型的基础学习率为lr2，设置第二阶段迭代总次数为items2，在迭代次数为num1和num2时学习率下降为原来的0.1倍，预加载第一阶段训练一阶关键点提取模型，与高阶嵌入图卷积网络、图匹配模块联合训练，将当前第T个批次图像输入第二阶段网络中，并采用自适应矩估计Adam优化算法对第二阶段网络的各个参数进行迭代优化，直至总损失函数L不再下降为止，从而得到最优异构融合图卷积网络模型；
步骤7、利用所述最优异构融合图卷积网络模型分别对待检索图像和测试集中所有图像提取特征，并计算待检索特征分别和测试集中所有特征的相似度，再将相似度进行降序排序，选取前σ个相似度所对应的图像作为跨模态行人重识别检索结果。
本发明所述的基于异构融合图卷积网络的跨模态行人重识别方法的特点也在于，所述步骤7中是利用式(10)计算相似度：
Figure BDA0003346695230000061
式(10)中，ω为超参数，
Figure BDA0003346695230000062
为低阶相似度，由式(11)得到：
Figure BDA0003346695230000063
式(11)中，
Figure BDA0003346695230000064
分别表示一阶关键点提取网络输出的第k个可见光特征向量和近红外特征向量，cosine()表示计算余弦距离，β1k、β2k表示低阶相似度超参数；
式(10)中，
Figure BDA0003346695230000065
为高阶相似度，由式(12)得到：
Figure BDA0003346695230000066
式(12)中，|·|表示取向量的1-范数，fs为全连接层，σ为sigmoid激活函数。
与已有技术相比，本发明有益效果体现在：
1、本发明设计了一种异构融合图卷积网络，该网络结合局部关键点信息和身体各部位高阶拓扑关系信息，与目前主流的跨模态行人重识别方法相比，本发明的方法效率高，且对图像干扰因素如遮挡等有更好的鲁棒性，从而更利于行人重识别的实际应用。
2、本发明通过所设计的一阶关键点提取网络从人体姿态信息中提取关键点特征，与传统的提取网络相比，该网络能更精确的提取姿态关键点数据，并能够利用人体结构与全局特征点之间的联系构造图数据，从而为后续图处理打下可靠基础。
3、本发明设计一种图内卷积层，促进局部关键点间有意义的信息传递，抑制遮挡或异常值等无意义区域的信息传递，同时设计了一种跨图卷积层，用于学习可见光图像与近红外图像之间的特征对齐，减弱了模态的差异。
4、本发明设计跨模态排列损失来对齐异构模态两个图数据之间的距离，利用即匹配矩阵作为监督信息，有效地对跨模态中的图数据进行距离测度，在多种损失函数的联合监督下模型更易捕获有效特征，从而提高了可见光与近红外行人重识别的准确度。
附图说明
图1为本发明红外与可见光跨模态行人重识别方法的流程图；
图2为本发明一阶关键点提取网络图；
图3为本发明高阶嵌入图卷积网络、图匹配模块及损失图；
图4为本发明图匹配过程图。
具体实施方式
本实施例中，一种基于异构融合图卷积网络的跨模态行人重识别方法，主要利用一阶关键点提取网络、高阶嵌入图卷积网络、图匹配模块从带有干扰的行人图像中构建跨模态图数据的特征关系，如图1所示，具体步骤如下：
步骤1、构建可见光与近红外数据集；
用光学相机和近红外相机分别采集若干张可见光单帧图像与近红外单帧图像，并利用SA-FastRCNN行人检测方法，分别裁剪出可见光与近红外单帧图像中的单个行人图像；对裁剪后的每张单个行人图像进行人工标注和标准化处理，并选取P个行人的Q张单个行人图像分别构成可见光单个行人图像集
Figure BDA0003346695230000071
和近红外单个行人图像集
Figure BDA0003346695230000072
其中，
Figure BDA0003346695230000073
表示第p个行人的第q张可见光单个行人图像，
Figure BDA0003346695230000074
表示第p个行人的第q张近红外单个行人图像；将由可见光单个行人图像集XRGB和近红外单个行人图像集XNIR所构成的数据集分成训练集和测试集；
在本实施例中，采用权威可见光与近红外行人数据集RegDB训练和评估模型。RegDB是由双摄像机***采集的小型数据集，采用一台可见光摄像机和一台热敏摄像机拍摄而成；这个数据集总共包含412个身份，其中每个身份有10个可见光图像和10个红外图像，随机选取206个身份(2060张图像)用于训练，其余206个身份(2060张图像)用于测试；在测试阶段，有两种检索模式；将可见光图像作为检索图像，同时将红外模态的图片作为被检索图像，称为可见光检索模式；而将红外图像作为检索图像称为红外检索模式；
步骤2、采用随机批采样策略在训练集中进行采样，得到包含N个行人的M张可见光和M张近红外单个行人图像的当前第T个批次；其中，可见光的当前第T个批次记为
Figure BDA0003346695230000081
和近红外的当前第T个批次记为
Figure BDA0003346695230000082
N＜P；M＜Q；本实施例中，选取N＝8；M＝4；以使网络达到最佳的识别准确率；
步骤3、构建包含姿态估计网络和CNN网络的一阶关键点提取网络，用于提取图像的局部关键点特征，如图2所示；
步骤3.1、将可见光的当前第T个批次
Figure BDA0003346695230000083
分别输入到姿态估计网络和CNN网络，并相应输出姿态关键点热度图mkey和全局特征向量Vglobal后进行哈达玛积运算，再将运算结果输入全局平均池化层后，得到K个可见光关键点特征向量
Figure BDA0003346695230000084
其中，
Figure BDA0003346695230000085
表示第k个可见光关键点；本实例中，K设置为13；
本实施例中，CNN网络构造细节是，首先将
Figure BDA0003346695230000086
分别送入参数不共享的卷积层Conv1、Conv2，然后将卷积层Conv1、Conv2的两个输出送入ImageNet上预训练的ResNet50中，仅选取ResNet50中stage2-stage5板块，参数设置共享，并删除其stage5中全局平均池化(GAP)层和全连接层。对于一阶关键点提取网络的分类器，使用一个批归一化层(BN neck)和一个全连层，后面连接一个softmax函数；姿态估计网络选取2D高分辨率人体姿态估计网络(Deep High ResolutionNet,HRnet)；
步骤3.2、将K个可见光关键点特征向量Vlocal中的每个可见光关键点
Figure BDA0003346695230000087
以及一个全局特征向量Vglobal中的全局特征点按照人体结构进行构图，从而得到可见光的图数据GRGB＝(VRGB,ARGB)；其中，VRGB表示每个可见光关键点所表示的顶点集，ARGB表示领接矩阵定义的自然连接关系所表示的边集；
步骤3.3、将近红外的当前第T个批次
Figure BDA00033466952300000917
分别输入到姿态估计网络和CNN网络后，也按照步骤3.1-步骤3.2的过程进行处理，得到近红外的图数据GNIR＝(VNIR,ANIR)；其中，VNIR表示由每个可见光关键点的顶点集，ANIR表示领接矩阵定义的自然连接关系所表示的边集，且ARGB＝ANIR；
步骤4、构建由输入模块、图内卷积模块、跨图卷积模块、图内卷积模块和输出模块依次级联而成的高阶嵌入图卷积网络，如图3所示；
输入模块为一层批归一化层；
图内卷积模块由一层图内卷积层、一层归一化层和一层ReLU激活层组成；
跨图卷积模块由一层跨图卷积层、一层归一化层和一层ReLU激活层组成；
输出层由一层池化层和带有softmax函数的一层全连接层组成；
本实例中，图内卷积层的构造算法为：
(1)初始化更新矩阵Aupd＝0和领接矩阵Alim＝ARGB；
(2)依次拼接K个关键点特征Vlocal得到
Figure BDA0003346695230000091
复制K次全局特征向量Vglobal得到
Figure BDA0003346695230000092
(3)
Figure BDA0003346695230000093
再经过取整、归一化、全连接层得到Aupd；
(4)Aupd×Alim×Vlocal得到
Figure BDA0003346695230000094
(5)Vlocal经过全连接层与输入
Figure BDA0003346695230000095
相加得融合特征
Figure BDA0003346695230000096
(6)输出融合特征
Figure BDA0003346695230000097
本实例中，跨图卷积层的构造算法为：
(1)初始化匹配矩阵M；初始化输入特征V1 in和
Figure BDA0003346695230000098
(2)V1 in和
Figure BDA0003346695230000099
经过全连接层和线性激活层得到V1 fr和
Figure BDA00033466952300000910
(3)V1 fr和
Figure BDA00033466952300000911
做图匹配得到匹配矩阵M；
(4)连接V1 in和
Figure BDA00033466952300000912
得到V1 c；连接
Figure BDA00033466952300000913
和M×V1 fr得到
Figure BDA00033466952300000914
(5)V1 c和
Figure BDA00033466952300000915
经过全连接层和线性激活层，分别与输入V1 in和
Figure BDA00033466952300000916
相加；
(6)输出跨图特征V1 out和
Figure BDA0003346695230000101
步骤4.1、将可见光的图数据GRGB和近红外的图数据GNIR分别送入输入模块进行归一化处理，得到归一化后的可见光的图数据
Figure BDA0003346695230000102
和近红外的
Figure BDA0003346695230000103
其中，
Figure BDA0003346695230000104
分别表示归一化后的可见光顶点集和近红外顶点集，
Figure BDA0003346695230000105
分别表示通过正则化后的可见光邻接矩阵和近红外领接矩阵；输入模块将图数据归一化处理为均值为0、方差为1正态分布的数据，有助于减少训练集和测试集分布间的偏差，从而提高准确率；
步骤4.2、将归一化后的可见光的图结构
Figure BDA0003346695230000106
和近红外的图数据
Figure BDA0003346695230000107
分别依次经过图内卷积模块、跨图卷积模块、图内卷积模块的处理后得到可见光异构融合图数据
Figure BDA0003346695230000108
和近红外异构融合图数据
Figure BDA0003346695230000109
其中，
Figure BDA00033466952300001010
分别表示依次经过图内卷积模块、跨图卷积模块、图内卷积模块处理的可见光图数据和近红外图数据，V1 GCN、V2 GCN分别表示依次经过图内卷积模块、跨图卷积模块、图内卷积模块处理的可见光顶点集和近红外顶点集，
Figure BDA00033466952300001011
分别表示依次经过图内卷积模块、跨图卷积模块、图内卷积模块处理的可见光邻接矩阵和近红外领接矩阵；本实施例中使用了2个图内卷积模块和1个跨图卷积模块，每个模块的输出的特征图通道数分别为64，64和64；输出特征向量V1 GCN、V2 GCN的维度均为2048；
Figure BDA00033466952300001012
步骤4.3、将异构融合图数据中的可见光顶点集V1 GCN和近红外顶点集V2 GCN分别送入输出模块后，相应得到分类器预测的可见光预测概率和近红外预测概率；
步骤5、构建由一阶关键点提取网络、高阶嵌入图卷积网络、图匹配模块及loss函数组成的异构融合图卷积网络模型；
步骤5.1、如图4所示，图匹配模块根据式(1)计算亲和矩阵M的第i行j列元素Mi,j，从而得到亲和矩阵M：
Figure BDA00033466952300001013
式(1)中，Mi,j表示可见光第i个特征
Figure BDA00033466952300001014
与近红外第j个特征
Figure BDA00033466952300001015
的亲和程度，exp表示指数化，
Figure BDA00033466952300001016
表示可见光特征V1 GCN中的第i个特征，
Figure BDA00033466952300001017
表示近红外特征V2 GCN中的第j个特征，τ为超参数；i∈[1,K+1]；j∈[1,K+1]；A表示边集，A＝ARGB＝ANIR；
步骤5.2、图匹配模块采用Sinkhorn算法求解式(2)得到最优的匹配矩阵U*：
Figure BDA0003346695230000111
式(2)中，argmax(.)表示最大化(.)；U表示初始匹配矩阵，由式(2)及Sinkhorn算法逐渐优化其值，最终收敛至U*，||U||表示U矩阵的欧氏距离；
步骤5.3、设计loss函数：
步骤5.3.1、在一阶关键点提取网络后添加交叉熵、三元组、异质中心三元组的loss函数LE，如式(3)所示：
Figure BDA0003346695230000112
式(3)中，K为局部关键点总数，k∈[1,2K+2]，βk为第k个关键点置信度，λ1是权重参数，本实例中，λ1＝0.3，
Figure BDA0003346695230000113
表示一阶关键点提取网络输出的第k个特征向量；
Figure BDA0003346695230000114
是第k个特征向量的交叉熵损失，并由式(4)得到：
Figure BDA0003346695230000115
式(4)中，
Figure BDA0003346695230000116
为分类器输出的第k个特征向量的预测概率；
式(3)中，
Figure BDA0003346695230000117
是第k个特征向量
Figure BDA0003346695230000118
的硬挖掘三元组损失，并由式(5)得到：
Figure BDA0003346695230000119
式(5)中，
Figure BDA00033466952300001110
和
Figure BDA00033466952300001111
分别表示当前第T个批次中第i个人的第a张图像和第p张图像对应的特征向量，
Figure BDA00033466952300001112
表示当前第T个批次中第j个人的第n张图像对应的特征向量；
Figure BDA00033466952300001113
表示特征向量
Figure BDA00033466952300001114
与
Figure BDA00033466952300001115
的欧氏距离，[·]+表示max(·,0)，ρ1为控制特征向量间相对距离的超参数；本实例中ρ1取0.3；
式(3)中，Lhc_tri(C)是第k个特征向量
Figure BDA00033466952300001116
的异质中心三元组损失，并由式(6)得到：
Figure BDA00033466952300001117
式(6)中，
Figure BDA0003346695230000121
为可见光图像中第i个人的特征中心，
Figure BDA0003346695230000122
为近红外图像中第i个人特征中心，
Figure BDA0003346695230000123
为从第j(j≠i)个行人中挖掘最难负向特征中心，
Figure BDA0003346695230000124
为特征中心
Figure BDA0003346695230000125
与
Figure BDA0003346695230000126
的欧氏距离，[x]+为max(x,0)，ρ2为控制距离的超参数；本实例中，ρ2取0.3；
步骤5.3.2、在高阶嵌入图卷积网络的全连接层后添加交叉熵、三元组、异质中心三元组的loss函数LGCN，如式(7)所示：
Figure BDA0003346695230000127
式(7)中，
Figure BDA0003346695230000128
表示嵌入图卷积网络输出特征的交叉熵损失，
Figure BDA0003346695230000129
表示嵌入图卷积网络输出特征的三元组损失，
Figure BDA00033466952300001210
表示嵌入图卷积网络输出特征的异质中心三元组损失，λ2为权重参数；本实例中，λ2取0.3；
步骤5.3.3、在图匹配模块后添加跨模态验证损失LV，如式(8)所示；
Figure BDA00033466952300001211
式(8)中，
Figure BDA00033466952300001212
为可见光关键点特征
Figure BDA00033466952300001213
与近红外关键点特征
Figure BDA00033466952300001214
的图匹配结果，i,j∈[1,K+1]，
Figure BDA00033466952300001215
表示可见光关键点与近红外关键点的真值矩阵，当可见光图像的第i个关键点与近红外图像的第j个关键点属于同一行人时，令
Figure BDA00033466952300001216
否则为0；
步骤5.3.4、利用式(9)得到总损失函数L：
L＝LE+μ1×LGCN+μ2×LV     (9)
式(9)中，μ1、μ2是对应loss权重值；本实例中μ1取2.0，μ2取1.0；
步骤6、异构融合图卷积网络模型的训练，包括第一阶段训练和第二阶段训练；
步骤6.1、在第一阶段训练中，设置模型的基础学习率为lr1，第一阶段迭代总次数为items1，将当前第T个批次图像输入一阶关键点提取网络中，并采用自适应矩估计Adam优化算法对一阶关键点提取网络中的各个参数进行迭代优化，直至到达迭代总次数items1且一阶关键点提取网络总损失LE趋于稳定为止，得到一阶关键点提取模型；在本实例中，第一阶段训练的基础学习率设置为0.00035，迭代总次数为20轮，将随机采样的当前T批次共64张图像输入一阶关键点提取网络中，直到20轮且一阶关键点提取网络总损失稳定在1.0～3.0为止；
步骤6.2、第二阶段训练中，设置模型的基础学习率为lr2，设置第二阶段迭代总次数为items2，在迭代次数为num1和num2时学习率下降为原来的0.1倍，预加载第一阶段训练一阶关键点提取模型，与高阶嵌入图卷积网络、图匹配模块联合训练，将当前第T个批次图像输入第二阶段网络中，并采用自适应矩估计Adam优化算法对第二阶段网络的各个参数进行迭代优化，直至总损失函数L不再下降为止，从而得到最优异构融合图卷积网络模型；在本实例中，第二阶段训练的迭代总次数为100轮；训练过程采用了预热的训练策略，该策略有助于缓解网络的过拟合现象，提高准确率，具体策略实施为：基础学习率设置为0.00035，并在前10轮迭代中线性增长到0.35，之后迭代到第30轮、第70轮时都将学习率减少到原来的0.1倍；直至到达100轮且一阶关键点提取网络总损失稳定在0.0001～0.01为止；
步骤7、利用最优异构融合图卷积网络模型分别对待检索图像和测试集中所有图像提取特征，并计算待检索特征分别和测试集中所有特征的相似度，再将相似度进行降序排序，选取前前σ＝20个相似度所对应的图像作为跨模态行人重识别检索结果。
具体实施中，步骤7中利用式(10)计算相似度：
Figure BDA0003346695230000131
式(10)中，ω为超参数，
Figure BDA0003346695230000132
为低阶相似度，由式(11)得到：
Figure BDA0003346695230000133
式(11)中，
Figure BDA0003346695230000134
分别表示一阶关键点提取网络输出的第k个可见光特征向量和近红外特征向量，cosine()表示计算余弦距离，β1k、β2k表示低阶相似度超参数；
式(10)中，
Figure BDA0003346695230000135
为高阶相似度，由式(12)得到：
Figure BDA0003346695230000136
式(12)中，|·|表示取向量的1-范数，fs为全连接层，σ为sigmoid激活函数。
本实例中，除使用常见评估指标：累积匹配特性(Cumulative MatchingCharacteristics，CMC)和平均精度均值(MeanAverage Precision，mAP)外，增加平均反向负惩罚(mean of inverse negative penalty，mINP)作为辅助评估指标；对于一个真实的身份识别***，通过算法一般会返回一个检索到的排名列表，供人工进一步调查。目标人物不应该在从多个摄像机检索到的排名榜中被忽视，因此最难正确匹配的排名位置决定了检查人员的工作量。在实际应用场景中，所有正确的匹配项都应具有低Rank值。而目前广泛使用的CMC和mAP指标不能评估这一特性。因此本发明引入mINP，从多方面评估模型的可靠性。mINP用来衡量Re-ID算法找到最难匹配样本的效率，定义为式(13)：
Figure BDA0003346695230000141
式(13)中，
Figure BDA0003346695230000142
表示最难匹配样本的排名位置，|Gi|表示查询i次正确匹配总数。

Claims (2)

1.一种基于异构融合图卷积网络的跨模态行人重识别方法，其特征是，包括如下步骤：
步骤1、构建可见光与近红外数据集；
用光学相机和近红外相机分别采集若干张可见光单帧图像与近红外单帧图像，并利用SA-FastRCNN行人检测方法，分别裁剪出可见光与近红外单帧图像中的单个行人图像；对裁剪后的每张单个行人图像进行人工标注和标准化处理，并选取P个行人的Q张单个行人图像分别构成可见光单个行人图像集
Figure FDA0003903570190000011
和近红外单个行人图像集
Figure FDA0003903570190000012
其中，
Figure FDA0003903570190000013
表示第p个行人的第q张可见光单个行人图像，
Figure FDA0003903570190000014
表示第p个行人的第q张近红外单个行人图像；将由可见光单个行人图像集XRGB和近红外单个行人图像集XNIR所构成的数据集分成训练集和测试集；
步骤2、采用随机批采样策略在训练集中进行采样，得到包含N个行人的M张可见光和M张近红外单个行人图像的当前第T个批次；其中，可见光的当前第T个批次记为
Figure FDA0003903570190000015
和近红外的当前第T个批次记为
Figure FDA0003903570190000016
N＜P；M＜Q；
步骤3、构建包含姿态估计网络和CNN网络的一阶关键点提取网络，用于提取图像的局部关键点特征；
步骤3.1、将可见光的当前第T个批次
Figure FDA0003903570190000017
分别输入到姿态估计网络和CNN网络，并相应输出姿态关键点热度图mkey和全局特征向量Vglobal后进行哈达玛积运算，再将运算结果输入全局平均池化层后，得到K个可见光关键点特征向量
Figure FDA0003903570190000018
其中，
Figure FDA0003903570190000019
表示第k个可见光关键点；
步骤3.2、将K个可见光关键点特征向量Vlocal中的每个可见光关键点
Figure FDA00039035701900000110
以及一个全局特征向量Vglobal中的全局特征点按照人体结构进行构图，从而得到可见光的图数据GRGB＝(VRGB,ARGB)；其中，VRGB表示每个可见光关键点所表示的顶点集，ARGB表示领接矩阵定义的自然连接关系所表示的边集；
步骤3.3、将近红外的当前第T个批次
Figure FDA00039035701900000111
分别输入到姿态估计网络和CNN网络后，也按照步骤3.1-步骤3.2的过程进行处理，得到近红外的图数据GNIR＝(VNIR,ANIR)；其中，VNIR表示由每个可见光关键点的顶点集，ANIR表示领接矩阵定义的自然连接关系所表示的边集，且ARGB＝ANIR；
步骤4、构建由输入模块、图内卷积模块、跨图卷积模块、图内卷积模块和输出模块依次级联而成的高阶嵌入图卷积网络；
所述输入模块为一层批归一化层；
所述图内卷积模块由一层图内卷积层、一层归一化层和一层ReLU激活层组成；
所述跨图卷积模块由一层跨图卷积层、一层归一化层和一层ReLU激活层组成；
所述输出模块由一层池化层和带有softmax函数的一层全连接层组成；
步骤4.1、将所述可见光的图数据GRGB和近红外的图数据GNIR分别送入所述输入模块进行归一化处理，得到归一化后的可见光的图数据
Figure FDA0003903570190000021
和近红外的
Figure FDA0003903570190000022
其中，
Figure FDA0003903570190000023
分别表示归一化后的可见光顶点集和近红外顶点集，
Figure FDA0003903570190000024
分别表示通过正则化后的可见光邻接矩阵和近红外领接矩阵；
步骤4.2、将所述归一化后的可见光的图数据
Figure FDA0003903570190000025
和近红外的图数据
Figure FDA0003903570190000026
分别依次经过所述图内卷积模块、跨图卷积模块、图内卷积模块的处理后得到可见光异构融合图数据
Figure FDA0003903570190000027
和近红外异构融合图数据
Figure FDA0003903570190000028
其中，
Figure FDA0003903570190000029
分别表示依次经过所述图内卷积模块、跨图卷积模块、图内卷积模块处理的可见光图数据和近红外图数据，V1 GCN、V2 GCN分别表示依次经过所述图内卷积模块、跨图卷积模块、图内卷积模块处理的可见光顶点集和近红外顶点集，A1 GCN、A2 GCN分别表示依次经过所述图内卷积模块、跨图卷积模块、图内卷积模块处理的可见光邻接矩阵和近红外领接矩阵；
步骤4.3、将异构融合图数据中的可见光顶点集V1 GCN和近红外顶点集V2 GCN分别送入输出模块后，相应得到分类器预测的可见光预测概率和近红外预测概率；
步骤5、构建由一阶关键点提取网络、高阶嵌入图卷积网络、图匹配模块及loss函数组成的异构融合图卷积网络模型；
步骤5.1、所述图匹配模块根据式(1)计算亲和矩阵M′的第i行第j列元素M′i,j，从而得到亲和矩阵M′：
Figure FDA0003903570190000031
式(1)中，M′i,j表示可见光第i个特征
Figure FDA0003903570190000032
与近红外第j个特征
Figure FDA0003903570190000033
的亲和程度，exp表示指数化，
Figure FDA0003903570190000034
表示可见光特征V1 GCN中的第i个特征，
Figure FDA0003903570190000035
表示近红外特征V2 GCN中的第j个特征，τ为超参数；i∈[1,K+1]；j∈[1,K+1]；A表示边集，且A＝ARGB＝ANIR；
步骤5.2、所述图匹配模块采用Sinkhorn算法求解式(2)得到最优的匹配矩阵U*：
Figure FDA0003903570190000036
式(2)中，argmax(.)表示最大化(.)；U表示初始匹配矩阵，||U||表示U矩阵的欧氏距离；
步骤5.3、设计loss函数：
步骤5.3.1、在一阶关键点提取网络后添加交叉熵、三元组、异质中心三元组的loss函数LE，如式(3)所示：
Figure FDA0003903570190000037
式(3)中，K′为局部关键点总数，k′∈[1,2K′+2]，βk′为第k′个关键点置信度，λ1是权重参数，
Figure FDA0003903570190000038
表示一阶关键点提取网络输出的第k′个关键点所对应特征向量；
Figure FDA0003903570190000039
是第k′个关键点所对应特征向量的交叉熵损失，并由式(4)得到：
Figure FDA00039035701900000310
式(4)中，
Figure FDA00039035701900000311
为分类器输出的第k′个关键点所对应特征向量的预测概率；
式(3)中，
Figure FDA00039035701900000312
是第k′个特征向量
Figure FDA00039035701900000313
的硬挖掘三元组损失，并由式(5)得到：
Figure FDA00039035701900000314
式(5)中，
Figure FDA00039035701900000315
和
Figure FDA00039035701900000316
分别表示当前第T个批次中第i’个人的第a张图像和第p’张图像对应的特征向量，
Figure FDA00039035701900000317
表示当前第T个批次中第j’个人的第n张图像对应的特征向量；
Figure FDA00039035701900000318
表示特征向量
Figure FDA00039035701900000319
与
Figure FDA00039035701900000320
的欧氏距离，[·]+表示max(·,0)，ρ1为控制特征向量间相对距离的超参数；
式(3)中，Lhc_tri(C)是异质中心三元组损失，并由式(6)得到：
Figure FDA0003903570190000041
式(6)中，
Figure FDA0003903570190000042
为可见光图像中第i″个人的特征中心，
Figure FDA0003903570190000043
为近红外图像中第i″个人特征中心，
Figure FDA0003903570190000044
为从第j″个行人中挖掘最难负向特征中心，且j″≠i″，
Figure FDA0003903570190000045
为特征中心
Figure FDA0003903570190000046
与
Figure FDA0003903570190000047
的欧氏距离，[x]+为max(x,0)，ρ2为控制距离的超参数；
步骤5.3.2、在高阶嵌入图卷积网络的全连接层后添加交叉熵、三元组、异质中心三元组的loss函数LGCN，如式(7)所示：
Figure FDA0003903570190000048
式(7)中，
Figure FDA0003903570190000049
表示嵌入图卷积网络输出特征的交叉熵损失，
Figure FDA00039035701900000410
表示嵌入图卷积网络输出特征的三元组损失，
Figure FDA00039035701900000411
表示嵌入图卷积网络输出特征的异质中心三元组损失，λ2为权重参数；
步骤5.3.3、在所述图匹配模块后添加跨模态验证损失LV，如式(8)所示；
Figure FDA00039035701900000412
式(8)中，
Figure FDA00039035701900000413
为可见光关键点特征
Figure FDA00039035701900000414
与近红外关键点特征
Figure FDA00039035701900000415
的图匹配结果，
Figure FDA00039035701900000416
Figure FDA00039035701900000417
表示可见光关键点与近红外关键点的真值矩阵，当可见光图像的第
Figure FDA00039035701900000418
个关键点与近红外图像的第
Figure FDA00039035701900000419
个关键点属于同一行人时，令
Figure FDA00039035701900000420
否则为0；
步骤5.3.4、利用式(9)得到总损失函数L：
L＝LE+μ1×LGCN+μ2×LV            (9)
式(9)中，μ1、μ2是对应loss权重值；
步骤6、异构融合图卷积网络模型的训练，包括第一阶段训练和第二阶段训练；
步骤6.1、在所述第一阶段训练中，设置模型的基础学习率为lr1，第一阶段迭代总次数为items1，将当前第T个批次图像输入一阶关键点提取网络中，并采用自适应矩估计Adam优化算法对一阶关键点提取网络中的各个参数进行迭代优化，直至到达迭代总次数items1且一阶关键点提取网络总损失LE趋于稳定为止，得到一阶关键点提取模型；
步骤6.2、所述第二阶段训练中，设置模型的基础学习率为lr2，设置第二阶段迭代总次数为items2，在迭代次数为num1和num2时学习率下降为原来的0.1倍，预加载第一阶段训练一阶关键点提取模型，与高阶嵌入图卷积网络、图匹配模块联合训练，将当前第T个批次图像输入第二阶段网络中，并采用自适应矩估计Adam优化算法对第二阶段网络的各个参数进行迭代优化，直至总损失函数L不再下降为止，从而得到最优异构融合图卷积网络模型；
步骤7、利用所述最优异构融合图卷积网络模型分别对待检索图像和测试集中所有图像提取特征，并计算待检索特征分别和测试集中所有特征的相似度，再将相似度进行降序排序，选取前σ个相似度所对应的图像作为跨模态行人重识别检索结果。
2.如权利要求1所述的基于异构融合图卷积网络的跨模态行人重识别方法，其特征是，所述步骤7中是利用式(10)计算相似度：
Figure FDA0003903570190000051
式(10)中，ω为超参数，
Figure FDA0003903570190000052
为低阶相似度，由式(11)得到：
Figure FDA0003903570190000053
式(11)中，
Figure FDA0003903570190000054
分别表示一阶关键点提取网络输出的第k个可见光关键点所对应的特征向量和近红外关键点所对应的特征向量，cosine()表示计算余弦距离，β1k、β2k表示低阶相似度超参数；
式(10)中，
Figure FDA0003903570190000055
为高阶相似度，由式(12)得到：
Figure FDA0003903570190000056
式(12)中，|·|表示取向量的1-范数，fs为全连接层，σ为sigmoid激活函数。
CN202111324923.9A 2021-11-10 2021-11-10 一种基于异构融合图卷积网络的跨模态行人重识别方法 Active CN113989851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111324923.9A CN113989851B (zh) 2021-11-10 2021-11-10 一种基于异构融合图卷积网络的跨模态行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111324923.9A CN113989851B (zh) 2021-11-10 2021-11-10 一种基于异构融合图卷积网络的跨模态行人重识别方法

Publications (2)

Publication Number Publication Date
CN113989851A CN113989851A (zh) 2022-01-28
CN113989851B true CN113989851B (zh) 2023-04-07

Family

ID=79747575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111324923.9A Active CN113989851B (zh) 2021-11-10 2021-11-10 一种基于异构融合图卷积网络的跨模态行人重识别方法

Country Status (1)

Country Link
CN (1) CN113989851B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550210B (zh) * 2022-02-21 2024-04-02 中国科学技术大学 基于模态自适应混合和不变性卷积分解的行人重识别方法
CN114842508B (zh) * 2022-05-20 2024-03-01 合肥工业大学 一种基于深度图匹配的可见光-红外行人重识别方法
CN115272681B (zh) * 2022-09-22 2022-12-20 中国海洋大学 基于高阶特征类解耦的海洋遥感图像语义分割方法及***
CN115641559B (zh) * 2022-12-23 2023-06-02 深圳佑驾创新科技有限公司 一种环视摄像头组的目标匹配方法、装置及存储介质
CN115661780A (zh) * 2022-12-23 2023-01-31 深圳佑驾创新科技有限公司 一种交叉视角下的摄像头目标匹配方法、装置及存储介质
CN117710711B (zh) * 2024-02-06 2024-05-10 东华理工大学南昌校区 一种基于轻量化深度卷积网络的光学和sar图像匹配方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115805A (zh) * 2020-08-27 2020-12-22 山东师范大学 带双模态难挖掘三元-中心损失的行人重识别方法及***
CN112651262A (zh) * 2019-10-09 2021-04-13 四川大学 一种基于自适应行人对齐的跨模态行人重识别方法
CN112883819A (zh) * 2021-01-26 2021-06-01 恒睿(重庆)人工智能技术研究院有限公司 多目标跟踪方法、装置、***及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443828A (zh) * 2019-07-31 2019-11-12 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置
US20210319033A1 (en) * 2020-04-09 2021-10-14 Microsoft Technology Licensing, Llc Learning to rank with alpha divergence and entropy regularization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651262A (zh) * 2019-10-09 2021-04-13 四川大学 一种基于自适应行人对齐的跨模态行人重识别方法
CN112115805A (zh) * 2020-08-27 2020-12-22 山东师范大学 带双模态难挖掘三元-中心损失的行人重识别方法及***
CN112883819A (zh) * 2021-01-26 2021-06-01 恒睿(重庆)人工智能技术研究院有限公司 多目标跟踪方法、装置、***及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《G2DA：Geometry-Guided Dual-Alignment Learning for RGB-Infrared Person ReIdentification》;Wan L et al;《Arxiv》;20210725;全文 *
《基于深度学习的跨模态行人重识别研究》;林建武;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210215;全文 *

Also Published As

Publication number Publication date
CN113989851A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN113989851B (zh) 一种基于异构融合图卷积网络的跨模态行人重识别方法
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN109460702B (zh) 基于人体骨架序列的乘客异常行为识别方法
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN106096561B (zh) 基于图像块深度学习特征的红外行人检测方法
CN114926746B (zh) 基于多尺度差分特征注意力机制的sar图像变化检测方法
CN114220124A (zh) 一种近红外-可见光跨模态双流行人重识别方法及***
CN111898736B (zh) 基于属性感知的高效行人重识别方法
CN110598543B (zh) 基于属性挖掘和推理的模型训练方法及行人再识别方法
CN109190544B (zh) 一种基于序列深度图像的人体身份识别方法
CN114241053B (zh) 基于改进的注意力机制FairMOT多类别跟踪方法
CN114511878A (zh) 一种基于多模态关系聚合的可见光红外行人重识别方法
CN112132157B (zh) 一种基于树莓派的步态人脸融合识别方法
CN112115838A (zh) 一种热红外图像光谱融合的人脸分类方法
CN116580322A (zh) 一种地面背景下无人机红外小目标检测方法
Sun et al. Image target detection algorithm compression and pruning based on neural network
CN113537137B (zh) 一种面向电扶梯的人体动作本征特征提取的方法及***
CN113269099B (zh) 基于图匹配的异构无人***下车辆重新识别方法
CN117705059A (zh) 一种自然资源遥感测绘影像定位方法及***
CN110909678B (zh) 一种基于宽度学习网络特征提取的人脸识别方法及***
CN117333948A (zh) 一种融合时空注意力机制的端到端多目标肉鸡行为识别方法
CN108960005A (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、***
CN116229511A (zh) 基于金丝猴躯干特征提取的身份重识别方法
CN114627493A (zh) 一种基于步态特征的身份识别方法及***
Zou et al. Research on human movement target recognition algorithm in complex traffic environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant