CN113269099A - 基于图匹配的异构无人***下车辆重新识别方法 - Google Patents
基于图匹配的异构无人***下车辆重新识别方法 Download PDFInfo
- Publication number
- CN113269099A CN113269099A CN202110581679.8A CN202110581679A CN113269099A CN 113269099 A CN113269099 A CN 113269099A CN 202110581679 A CN202110581679 A CN 202110581679A CN 113269099 A CN113269099 A CN 113269099A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- images
- image
- feature
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 56
- 239000011159 matrix material Substances 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图匹配的异构无人***下车辆重新识别方法,利用特征提取模块、图卷积模块、图匹配模块三个模块来实现,该三个模块均基于卷积神经网络模型来实现;本发明方法的具体步骤包括:S1,利用特征提取模块实现,获取候选集图像,利用该图像对车辆特征进行提取;S2,利用图卷积模块实现,对车辆局部特征进行融合;S3,车辆特征图匹配;S4,计算车辆图像之间的相似度,对候选集中的车辆图像是否与目标车辆图像为同一id车辆进行判断,步骤S3和S4均利用图匹配模块来实现。本发明解决了车辆多视角匹配的问题,同时一定程度上解决了目标车辆部分被遮挡的问题,且匹配结果准确率高。
Description
技术领域
本发明涉及图像识别领域,尤其涉及一种基于图匹配的异构无人***下车辆重新识别方法。
背景技术
重识别技术旨在从监视***中的多个不重叠的摄像机中识别出同一身份的目标,它可以应用于智能交通***中的实际场景,例如城市监控和安全。当前的重识别技术主要基于距离地面高度固定的安全监控设备来进行目标匹配。由于当前无人平台技术的高速发展,无人平台搭载图像采集装置已成为当前的一种重要的图像采集方式,因此,有必要研究如何有效地将重识别技术由传统的安全监控平台迁移至无人平台***。与此同时,与当前已经得到深入研究的行人重识别相比,无人平台***下的重识别技术更适合应用于车辆的重识别场景,其理由包括,第一,车辆的目标体积较大,更适合无人机在较高的空中对车辆数据图片进行充分采集,第二,无人平台大多是具有高速移动能力的平台,如无人机、无人车等,相较于移动能力较为低的人类,无人平台下的重识别更适用于与其移动能力相近的车辆,从而更方便对目标的跟踪和捕捉。
目前随着行人重识别的深入研究,受到其影响,近年来车辆重识别获得了越来越多的关注。当前针对车辆重识别提出的方法主要分为三类:基于的特征学***台***下时,无法达到车辆重识别的预期效果。在已有的车辆重识别研究中,对于多视角问题,目前研究更多的是通过融合视觉外的其他信息特征如车牌、时空信息等来解决该问题。考虑到车牌信息的隐私性以及其他时空信息获取的复杂性,本发明公开了一种仅基于视觉信息的无人平台***下的车辆重识别通用方法。
发明内容
针对异构无人***下的车辆重识别的问题,本发明公开了一种基于图匹配的异构无人***下车辆重新识别方法,能够很好的将重识别技术适用于异构无人***的情境中。
本发明公开了一种基于图匹配的异构无人***下车辆重新识别方法,本发明方法利用特征提取模块、图卷积模块、图匹配模块三个模块来实现,其中,特征提取模块,基于卷积神经网络模型来实现,用于实现步骤S1;图卷积模块,用于完成步骤S2,其基于卷积神经网络模型来实现,利用图像的拓扑结构信息,对关键点进行图卷积运算,获取车辆关键点信息,并将拓扑信息融合到车辆局部特征中;图匹配模块,基于卷积神经网络模型来实现,用于实现步骤S3和S4;本发明方法的具体步骤包括:
S1,获取候选集图像,利用该图像对车辆特征进行提取;
S11,给定一张目标车辆图像x1,利用已经训练好的基于VGG-16的全卷积神经网络对车辆关键点进行估计,获得车辆的K个关键点的热度图mkp,k=1,2,…,K,mkp表示车辆的第k个关键点热度图;
S2,对车辆局部特征进行融合;
S21,对车辆全局特征做复制操作,使其维度与由K个关键点的局部特征构成的车辆局部特征的维度相同。
S22,将车辆全局特征与车辆局部特征相减,得到差异特征向量,将差异特征向量经过图卷积模块中的全连接层进行降维。
S23,将降维后的差异特征向量通过绝对值操作、归一化操作和全连接层,转化为维度为K×K的差向量Vdif,由车辆的关键点热度图得到维度为K×K的邻接矩阵,将差向量Vsif与该邻接矩阵相乘,得到自适应的差异矩阵A*。
S24,对车辆局部特征做基于差异矩阵A*的图卷积运算,同时将该图卷积运算的运算结果与未经图卷积运算的车辆局部特征,分别经过图卷积模块中的全连接层,将分别经过全连接层的结果进行相加,得到K个融合拓扑信息的车辆局部特征的集合
S3,车辆特征图匹配;
S31,根据步骤S2,得到两个图像x1和x2的输出特征作为该步骤的初始输入特征,对分别进行补全操作,利用车辆轴对称点特性对车辆图像中不可见点进行补全操作,分别得到特征其中,V1 2为图像x1的输出特征,V2 2为图像x2的输出特征。
S33,分别将特征与关联矩阵U相乘,得到特征将与进行交叉连接后,得到了相互融合对方与自身相关特征的特征再将特征通过图匹配模块的第二个全连接层和激活函数后,分别得到特征将与对应相加,得到为俩个相互带有对方与自己特性的特征,该过程用公式表示为:
其中,f()为图匹配模块的第二个全连接层和激活函数的对应操作函数;
S4,计算车辆图像之间的相似度,根据候选集中的所有图像与目标车辆图像的相似度数值,对候选集中的车辆图像是否与目标车辆图像为同一id车辆进行判断。
S41,根据步骤S3的输出特征,计算两个图像x1和x2之间相似度数值。
对于两个图像x1和x2之间相似度数值的计算,根据步骤S2获得的输入图像x1和x2的输出特征集合和 表示步骤S2获得的输入图像x1的第k个输出特征,表示步骤S2获得的输入图像x2的第k个输出特征,表示K+1个输出特征的集合,表示K+1个输出特征的集合,计算两个图像x1和x2的第二阶段相似度为:
其中,β1k和β2k分别是图像x1和x2中的车辆的第k个关键点热度图的置信度;
其中|*|是绝对值操作,fs是图匹配模块的全连接层的对应函数,σ是s型激活函数;
两个图像x1和x2之间相似度数值s(x1,x2)的计算公式为:
其中,η为两个阶段相似度的权重比系数。
S42,计算候选集中的所有车辆图像与目标车辆图像的相似度数值,根据得到的相似度数值大小,对候选集中的所有车辆图像进行由高到低的排序,根据候选集图像的排序先后,对其是否与目标车辆图像为同一id车辆进行判断。
本发明所用的三个模块中的卷积神经网络模型,在使用前采用监督学习方法对上述的模型进行训练;在步骤S1和S2中,在其模型训练阶段,均用分类损失函数和三元损失函数组合得到的总损失函数来训练,在第1个步骤S1和第2个步骤S2中所用的损失函数的公式为,
其中,βk=max(mkp[r],r=1,2,...,R)∈[0,1],βk是车辆的第k个关键点热度图的置信度,k=1,2,…,K,mkp[r]为车辆的第k个关键点热度图中第r个元素的取值,R为车辆的一个关键点热度图所包含的元素的总数,βK+1为车辆全局特征的置信度,其取值满足βK+1=1,是对第k个车辆特征vk的预测值为真实值的概率,车辆特征vk代表车辆局部特征或车辆全局特征,α是一个余量,是第k组的相同车辆即正样本对(vxk,vpk)间的距离,是第k组的不同车辆即负样本对(vxk,vnk)间的距离,其中vxk表示目标车辆的第k个特征,vpk表示候选集中车辆与目标车辆为同一车辆时,候选集中车辆的第k个特征,vnk表示与候选集中车辆与目标车辆不为同一车辆时,候选集中车辆的第k个特征,Lp表示第p个步骤中所用的损失函数,p=1,2。
对于步骤S3中的模型训练阶段,定义认证损失函数来对其卷积神经网络模型进行训练,当输入图片(x1,x2)为相同id车辆的图像时,y=1,表示输入两图像中的车辆为同一车辆,当输入图片(x1,x2)为不同id车辆的图像时,y=0,表示两图像中的车辆为不同车辆,y表示车辆判决量,则步骤S3中所用的认证损失函数L3表示为,
对于本发明方法,通过步骤S3中的训练过程,使得总损失函数Lall最小化,总损失函数Lall的表达式为,
其中,Lp为第p个步骤所用的损失函数,λp为第p个步骤所用的损失函数对应的权重系数。
本发明的有益效果为:本发明从车辆的多角度图片中利用图匹配方法进行特征提取,然后进行匹配,将同一ID车辆匹配到一起,解决了车辆多视角匹配的问题,同时一定程度上解决了目标车辆部分被遮挡的问题,且匹配结果准确率高。
附图说明
图1为本发明方法的实现流程示意图;
图2为本发明方法所用的三个模块的功能实现流程图;
图3为在VeRI-776数据集上使用本发明方法的部分检索结果可视化图。
具体实施方式
为了更好的了解本发明内容,这里给出一个实施例。特征提取模块、图卷积模块、图匹配模块
本发明公开了一种基于图匹配的异构无人***下车辆重新识别方法,本发明方法利用特征提取模块、图卷积模块、图匹配模块三个模块来实现,其中,特征提取模块,基于卷积神经网络模型来实现,用于实现步骤S1;图卷积模块,用于完成步骤S2,其基于卷积神经网络模型来实现,利用图像的拓扑结构信息,对关键点进行图卷积运算,获取车辆关键点信息,并将拓扑信息融合到车辆局部特征中;图匹配模块,基于卷积神经网络模型来实现,用于实现步骤S3和S4;本发明方法的具体步骤包括:
S1,获取候选集图像,利用该图像对车辆特征进行提取;
S11,给定一张目标车辆图像x1,利用已经训练好的基于VGG-16的全卷积神经网络对车辆关键点进行估计,获得车辆的K个关键点的热度图mkp,k=1,2,…,K,mkp表示车辆的第k个关键点热度图;
S2,对车辆局部特征进行融合;
S21,对车辆全局特征做复制操作,使其维度与由K个关键点的局部特征构成的车辆局部特征的维度相同。
S22,将车辆全局特征与车辆局部特征相减,得到差异特征向量,将差异特征向量经过图卷积模块中的全连接层进行降维。
S23,将降维后的差异特征向量通过绝对值操作、归一化操作和全连接层,转化为维度为K×K的差向量Vdif,由车辆的关键点热度图得到维度为K×K的邻接矩阵,将差向量Vdif与该邻接矩阵相乘,得到自适应的差异矩阵A*。
S24,对车辆局部特征做基于差异矩阵A*的图卷积运算,同时将该图卷积运算的运算结果与未经图卷积运算的车辆局部特征,分别经过图卷积模块中的全连接层,将分别经过全连接层的结果进行相加,得到K个融合拓扑信息的车辆局部特征的集合
特征V2为步骤S2的输出特征;
S3,车辆特征图匹配;
S31,根据步骤S2,得到两个图像x1和x2的输出特征作为该步骤的初始输入特征,对分别进行补全操作,利用车辆轴对称点特性对车辆图像中不可见点进行补全操作,分别得到特征其中,V1 2为图像x1的输出特征,V2 2为图像x2的输出特征。
S33,分别将特征与关联矩阵U相乘,得到特征将与进行交叉连接后,得到了相互融合对方与自身相关特征的特征再将特征通过图匹配模块的第二个全连接层和激活函数后,分别得到特征将与对应相加,得到为俩个相互带有对方与自己特性的特征,该过程用公式表示为:
其中,f()为图匹配模块的第二个全连接层和激活函数的对应操作函数;
S4,计算车辆图像之间的相似度,根据候选集中的所有图像与目标车辆图像的相似度数值,对候选集中的车辆图像是否与目标车辆图像为同一id车辆进行判断。
S41,根据步骤S3的输出特征,计算两个图像x1和x2之间相似度数值。
对于两个图像x1和x2之间相似度数值的计算,根据步骤S2获得的输入图像x1和x2的输出特征集合和 表示步骤S2获得的输入图像x1的第k个输出特征,表示步骤S2获得的输入图像x2的第k个输出特征,表示K+1个输出特征的集合,表示K+1个输出特征的集合,计算两个图像x1和x2的第二阶段相似度为:
其中,β1k和β2k分别是图像x1和x2中的车辆的第k个关键点热度图的置信度;
其中|*|是绝对值操作,fs是图匹配模块的全连接层的对应函数,σ是s型激活函数;
两个图像x1和x2之间相似度数值s(x1,x2)的计算公式为:
其中,η为两个阶段相似度的权重比系数。
S42,计算候选集中的所有车辆图像与目标车辆图像的相似度数值,根据得到的相似度数值大小,对候选集中的所有车辆图像进行由高到低的排序,根据候选集图像的排序先后,对其是否与目标车辆图像为同一id车辆进行判断,候选集图像的排序越靠前者,其越可能与检索目标为同一id车辆。
本发明所用的三个模块中的卷积神经网络模型,在使用前采用监督学习方法对上述的模型进行训练;在步骤S1和S2中,在其模型训练阶段,均用分类损失函数和三元损失函数组合得到的总损失函数来训练,在第1个步骤S1和第2个步骤S2中所用的损失函数的公式为,
其中,βk=max(mkp[r],r=1,2,...,R)∈[0,1],βk是车辆的第k个关键点热度图的置信度,k=1,2,…,K,mkp[r]为车辆的第k个关键点热度图中第r个元素的取值,R为车辆的一个关键点热度图所包含的元素的总数,βK+1为车辆全局特征的置信度,其取值满足βK+1=1,是对第k个车辆特征vk的预测值为真实值的概率,车辆特征vk代表车辆局部特征或车辆全局特征,α是一个余量,是第k组的相同车辆即正样本对(vxk,vpk)间的距离,是第k组的不同车辆即负样本对(vxk,vnk)间的距离,其中vxk表示目标车辆的第k个特征,vpk表示候选集中车辆与目标车辆为同一车辆时,候选集中车辆的第k个特征,vnk表示与候选集中车辆与目标车辆不为同一车辆时,候选集中车辆的第k个特征,Lp表示第p个步骤中所用的损失函数,p=1,2。
对于步骤S3中的模型训练阶段,定义认证损失函数来对其卷积神经网络模型进行训练,当输入图片(x1,x2)为相同id车辆的图像时,y=1,表示输入两图像中的车辆为同一车辆,当输入图片(x1,x2)为不同id车辆的图像时,y=0,表示两图像中的车辆为不同车辆,y表示车辆判决量,则步骤S3中所用的认证损失函数L3表示为,
对于本发明方法,通过步骤S3中的训练过程,使得总损失函数Lall最小化,总损失函数Lall的表达式为,
其中,Lp为第p个步骤所用的损失函数,λp为第p个步骤所用的损失函数对应的权重系数。
图1为本发明方法的实现流程示意图,图1中包括三个模块,1为特征提取模块,其完成使用车辆姿态模型提取关键车辆的功能;2为图卷积模块,其根据图元的拓扑结构信息进行关键点图卷积运算车辆关键点,并将原始的局部特征整合到结构信息中;3为图匹配模块,其使用对称点完成姿态问题导致的不可见点,然后使用图形匹配来对齐关键点并测量相似性得分。
图2为本发明方法所用的三个模块的功能实现流程图,其中,图(a)是特征提取模块的功能实现流程图,图(b)是图卷积模块的功能实现流程图,图(c)是图匹配模块的功能实现流程图。
图3为在VeRI-776数据集上使用本发明方法的部分检索结果可视化图。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (6)
1.一种基于图匹配的异构无人***下车辆重新识别方法,其特征在于,利用特征提取模块、图卷积模块、图匹配模块三个模块来实现,其中,特征提取模块,基于卷积神经网络模型来实现,用于实现步骤S1;图卷积模块,用于完成步骤S2,其基于卷积神经网络模型来实现,利用图像的拓扑结构信息,对关键点进行图卷积运算,获取车辆关键点信息,并将拓扑信息融合到车辆局部特征中;图匹配模块,基于卷积神经网络模型来实现,用于实现步骤S3和S4;本发明方法的具体步骤包括:
S1,获取候选集图像,利用该图像对车辆特征进行提取;
S2,对车辆局部特征进行融合;
S3,车辆特征图匹配;
S4,计算车辆图像之间的相似度,根据候选集中的所有车辆图像与目标车辆图像的相似度数值,对候选集中的车辆图像是否与目标车辆图像为同一id车辆进行判断。
2.如权利要求1所述的基于图匹配的异构无人***下车辆重新识别方法,其特征在于,所述的步骤S1,其具体包括:
S11,给定一张目标车辆图像x1,利用已经训练好的基于VGG-16的全卷积神经网络对车辆关键点进行估计,获得车辆的K个关键点的热度图mkp,k=1,2,…,K,mkp表示车辆的第k个关键点热度图;
3.如权利要求1所述的基于图匹配的异构无人***下车辆重新识别方法,其特征在于,
所述的步骤S2,其具体包括:
S21,对车辆全局特征做复制操作,使其维度与由K个关键点的局部特征构成的车辆局部特征的维度相同;
S22,将车辆全局特征与车辆局部特征相减,得到差异特征向量,将差异特征向量经过图卷积模块中的全连接层进行降维;
S23,将降维后的差异特征向量通过绝对值操作、归一化操作和全连接层,转化为维度为K×K的差向量Vdif,由车辆的关键点热度图得到维度为K×K的邻接矩阵,将差向量Vdif与该邻接矩阵相乘,得到自适应的差异矩阵A*;
S24,对车辆局部特征做基于差异矩阵A*的图卷积运算,同时将该图卷积运算的运算结果与未经图卷积运算的车辆局部特征,分别经过图卷积模块中的全连接层,将分别经过全连接层的结果进行相加,得到K个融合拓扑信息的车辆局部特征的集合
4.如权利要求1所述的基于图匹配的异构无人***下车辆重新识别方法,其特征在于,
所述的步骤S3,其具体包括:
S31,根据步骤S2,得到两个图像x1和x2的输出特征作为该步骤的初始输入特征,对分别进行补全操作,利用车辆轴对称点特性对车辆图像中不可见点进行补全操作,分别得到特征其中,V1 2为图像x1的输出特征,为图像x2的输出特征;
S33,分别将特征与关联矩阵U相乘,得到特征将与进行交叉连接后,得到了相互融合对方与自身相关特征的特征再将特征通过图匹配模块的第二个全连接层和激活函数后,分别得到特征将与对应相加,得到为俩个相互带有对方与自己特性的特征,该过程用公式表示为:
其中,f()为图匹配模块的第二个全连接层和激活函数的对应操作函数;
5.如权利要求1所述的基于图匹配的异构无人***下车辆重新识别方法,其特征在于,
所述的步骤S4,其具体包括:
S41,根据步骤S3的输出特征,计算两个图像x1和x2之间相似度数值;
对于两个图像x1和x2之间相似度数值的计算,根据步骤S2获得的输入图像x1和x2的输出特征集合和 k=1,2,...,K+1,表示步骤S2获得的输入图像x1的第k个输出特征,表示步骤S2获得的输入图像x2的第k个输出特征,表示K+1个输出特征的集合,表示K+1个输出特征的集合,计算两个图像x1和x2的第二阶段相似度为:
其中,β1k和β2k分别是图像x1和x2中的车辆的第k个关键点热度图的置信度;
其中|*|是绝对值操作,fs是图匹配模块的全连接层的对应函数,σ是s型激活函数;
两个图像x1和x2之间相似度数值s(x1,x2)的计算公式为:
其中,η为两个阶段相似度的权重比系数;
S42,计算候选集中的所有车辆图像与目标车辆图像的相似度数值,根据得到的相似度数值大小,对候选集中的所有车辆图像进行由高到低的排序,根据候选集图像的排序先后,对其是否与目标车辆图像为同一id车辆进行判断。
6.如权利要求1所述的基于图匹配的异构无人***下车辆重新识别方法,其特征在于,
本方法所用的三个模块中的卷积神经网络模型,在使用前采用监督学习方法对上述的模型进行训练;在步骤S1和S2中,在其模型训练阶段,均用分类损失函数和三元损失函数组合得到的总损失函数来训练,在第1个步骤S1和第2个步骤S2中所用的损失函数的公式为,
其中,βk=max(mkp[r],r=1,2,...,R)∈[0,1],βk是车辆的第k个关键点热度图的置信度,k=1,2,…,K,mkp[r]为车辆的第k个关键点热度图中第r个元素的取值,R为车辆的一个关键点热度图所包含的元素的总数,βK+1为车辆全局特征的置信度,其取值满足βK+1=1,是对第k个车辆特征vk的预测值为真实值的概率,车辆特征vk代表车辆局部特征或车辆全局特征,α是一个余量,是第k组的相同车辆即正样本对(vxk,vpk)间的距离,是第k组的不同车辆即负样本对(vxk,vnk)间的距离,其中vxk表示目标车辆的第k个特征,vpk表示候选集中车辆与目标车辆为同一车辆时,候选集中车辆的第k个特征,vnk表示与候选集中车辆与目标车辆不为同一车辆时,候选集中车辆的第k个特征,Lp表示第p个步骤中所用的损失函数,p=1,2;
对于步骤S3中的模型训练阶段,定义认证损失函数来对其卷积神经网络模型进行训练,当输入图片(x1,x2)为相同id车辆的图像时,y=1,表示输入两图像中的车辆为同一车辆,当输入图片(x1,x2)为不同id车辆的图像时,y=0,表示两图像中的车辆为不同车辆,y表示车辆判决量,则步骤S3中所用的认证损失函数L3表示为,
对于本发明方法,通过步骤S3中的训练过程,使得总损失函数Lall最小化,总损失函数Lall的表达式为,
其中,Lp为第p个步骤所用的损失函数,λp为第p个步骤所用的损失函数对应的权重系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110581679.8A CN113269099B (zh) | 2021-05-27 | 2021-05-27 | 基于图匹配的异构无人***下车辆重新识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110581679.8A CN113269099B (zh) | 2021-05-27 | 2021-05-27 | 基于图匹配的异构无人***下车辆重新识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113269099A true CN113269099A (zh) | 2021-08-17 |
CN113269099B CN113269099B (zh) | 2022-12-20 |
Family
ID=77233078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110581679.8A Active CN113269099B (zh) | 2021-05-27 | 2021-05-27 | 基于图匹配的异构无人***下车辆重新识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113269099B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113887544A (zh) * | 2021-12-07 | 2022-01-04 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN114022869A (zh) * | 2022-01-05 | 2022-02-08 | 中科视语(北京)科技有限公司 | 一种基于级联网络的车辆重识别方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110766061A (zh) * | 2019-10-15 | 2020-02-07 | 武汉中海庭数据技术有限公司 | 一种道路场景匹配方法及装置 |
WO2020254924A1 (en) * | 2019-06-16 | 2020-12-24 | Way2Vat Ltd. | Systems and methods for document image analysis with cardinal graph convolutional networks |
CN112200020A (zh) * | 2020-09-22 | 2021-01-08 | 北京迈格威科技有限公司 | 一种行人重识别方法、装置、电子设备及可读存储介质 |
CN112396027A (zh) * | 2020-12-01 | 2021-02-23 | 北京交通大学 | 基于图卷积神经网络的车辆重识别方法 |
-
2021
- 2021-05-27 CN CN202110581679.8A patent/CN113269099B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020254924A1 (en) * | 2019-06-16 | 2020-12-24 | Way2Vat Ltd. | Systems and methods for document image analysis with cardinal graph convolutional networks |
CN110766061A (zh) * | 2019-10-15 | 2020-02-07 | 武汉中海庭数据技术有限公司 | 一种道路场景匹配方法及装置 |
CN112200020A (zh) * | 2020-09-22 | 2021-01-08 | 北京迈格威科技有限公司 | 一种行人重识别方法、装置、电子设备及可读存储介质 |
CN112396027A (zh) * | 2020-12-01 | 2021-02-23 | 北京交通大学 | 基于图卷积神经网络的车辆重识别方法 |
Non-Patent Citations (2)
Title |
---|
YU XIANG等: "Subcategory-Aware Convolutional Neural Networks for Object Proposals and Detection", 《2017 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》 * |
张超: "监控视频中的车辆再识别研究", 《中国优秀硕士学位论文全文数据库(电子期刊) 信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113887544A (zh) * | 2021-12-07 | 2022-01-04 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN113887544B (zh) * | 2021-12-07 | 2022-02-15 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN114022869A (zh) * | 2022-01-05 | 2022-02-08 | 中科视语(北京)科技有限公司 | 一种基于级联网络的车辆重识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113269099B (zh) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960140B (zh) | 基于多区域特征提取和融合的行人再识别方法 | |
CN107862705B (zh) | 一种基于运动特征和深度学习特征的无人机小目标检测方法 | |
CN110569779B (zh) | 基于行人局部和整体属性联合学习的行人属性识别方法 | |
CN105989369B (zh) | 基于度量学习的行人再识别方法 | |
CN109063649B (zh) | 基于孪生行人对齐残差网络的行人重识别方法 | |
CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
CN113269099B (zh) | 基于图匹配的异构无人***下车辆重新识别方法 | |
CN108830254B (zh) | 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法 | |
CN111582178B (zh) | 基于多方位信息和多分支神经网络车辆重识别方法及*** | |
CN112836677B (zh) | 一种利用深度学习的弱监督车辆重识别方法 | |
CN110765841A (zh) | 基于混合注意力机制的群组行人重识别***及终端 | |
CN111259837B (zh) | 一种基于部位注意力的行人重识别方法及*** | |
CN112084895B (zh) | 一种基于深度学习的行人重识别方法 | |
Lin et al. | Application research of neural network in vehicle target recognition and classification | |
CN112818790A (zh) | 一种基于注意力机制与空间几何约束的行人重识别方法 | |
Cui et al. | Vehicle re-identification by fusing multiple deep neural networks | |
CN112115871B (zh) | 适用于行人目标检测的高低频交织边缘特征增强方法 | |
CN112668557A (zh) | 一种行人再识别***中防御图像噪声攻击的方法 | |
CN115830637B (zh) | 一种基于姿态估计和背景抑制的遮挡行人重识别方法 | |
CN112766378A (zh) | 一种专注细粒度识别的跨域小样本图像分类模型方法 | |
CN110334572B (zh) | 一种多角度下车型精细识别方法 | |
He et al. | Vehicle theft recognition from surveillance video based on spatiotemporal attention | |
Barroso-Laguna et al. | Scalenet: A shallow architecture for scale estimation | |
CN106650814B (zh) | 一种基于车载单目视觉室外道路自适应分类器生成方法 | |
CN117036412A (zh) | 一种融合可变形卷积的孪生网络红外行人目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |