CN114882338A - 基于图神经网络的图像关键点匹配方法 - Google Patents
基于图神经网络的图像关键点匹配方法 Download PDFInfo
- Publication number
- CN114882338A CN114882338A CN202210604896.9A CN202210604896A CN114882338A CN 114882338 A CN114882338 A CN 114882338A CN 202210604896 A CN202210604896 A CN 202210604896A CN 114882338 A CN114882338 A CN 114882338A
- Authority
- CN
- China
- Prior art keywords
- graph
- neural network
- attention
- image
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000010586 diagram Methods 0.000 claims abstract description 9
- 238000000547 structure data Methods 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 52
- 230000000007 visual effect Effects 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 16
- 238000004088 simulation Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 5
- 241000124033 Salix Species 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 241000272525 Anas platyrhynchos Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 241000646858 Salix arbusculoides Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图神经网络的图像关键点匹配方法，其步骤为：构建分层注意力图神经网络；生成训练集；训练分层注意力图神经网络；对待预测的图像关键点进行匹配。本发明根据图像中的关键点坐标构造图结构数据，利用分层注意力图神经网络自适应地融合来自不同邻域范围的节点特征，使得匹配模型能够学习到更为通用的层次结构特征。本发明利用图数据增强方法，对待匹配图的节点特征进行随机遮掩来生成增强视图，并利用增强视图和原始视图之间交互式的匹配对模型进行训练，使得本发明具有较强的抗噪能力和准确的匹配精度。
Description
技术领域
本发明属于计算机技术领域，更进一步涉及计算机视觉技术领域一种基于图神经网络的图像关键点匹配方法。本发明可应用于两张或多张图像中所有视觉关键点之间的匹配。
背景技术
图像视觉目标关键点匹配旨在建立两图或多图关键点之间的对应关系。一般地，该问题首先需要提取图像关键点的视觉特征，随后使用视觉特征来计算关键点之间的亲和分数，并计算最优匹配结果。传统的提取图像目标关键点特征的方法一般采用SIFT，SURF等，而构建目标结构的方法可通过Delaunay三角分解、全连接等方法实现，然而，该过程所涉及的图匹配问题一般为NP难问题，求解难度较大。同时，图像关键点之间的语义信息相互独立，匹配结果只能依据局部的视觉特征，导致图像关键点匹配模型不够鲁棒。
M.Zhang等人在其发表的论文“Neural Graph Matching Network:LearningLawler’s Quadratic Assignment Problem with Extension to Hypergraph andMultiple-graph Matching”(IEEE Transactions on Pattern Analysis and MachineIntelligence,2021.)中提出一种基于关联图节点分类的深度图匹配方法来解决图像关键点匹配问题。该方法的具体步骤是，第一步：构建图结构数据并提取关键点视觉特征；第二步：使用节点和边缘的相似分数构建亲和矩阵，将其转化为匹配关联图的特征矩阵；第三步：使用图神经网络对关联图的节点进行分类来获取匹配结果，并使用反向传播算法对网络进行训练，直接地建立了两图关键点之间的消息传递。关联图分类的匹配方式虽然提升了模型的准确率，但是，该方法仍然存在的不足之处是，关联图的复杂度与关键点数量成平方增长，算法复杂度较高。同时，由于没有显式的图内消息传播机制，使得模型过于依赖关键点的初始视觉特征。
中国科学院自动化研究所在其申请的专利文献“基于深度图嵌入网络与结构自学习的图像关键点匹配方法”(申请号：202110202841.0，申请公布号：CN 112801206 A)中提出了一种对图像关键点进行匹配的方法。该方法实施的步骤是：步骤1，通过Delaunay三角分解或K近邻法分别对获取的待匹配图像对的关键点进行结构化处理，获得两幅图像关键点的邻接矩阵；步骤2，将所述待匹配图像对及其关键点、邻接矩阵输入训练好的图像关键点匹配网络，通过图像关键点匹配网络中的特征提取网络提取关键点特征图，并通过双线性插值法获取关键点特征矩阵；步骤3，通过图像关键点匹配网络中的深度图嵌入网络更新关键点特征矩阵及图结构；步骤4，通过图像关键点匹配网络中的深度图匹配网络计算相似度矩阵，通过Sinkhorn算法得到匹配矩阵；步骤5，基于所述匹配矩阵更新关键点特征矩阵；步骤6，重复执行步骤3到步骤4直至达到设定重复执行次数，获得待匹配图像对的最终匹配矩阵；步骤7，通过匈牙利算法进行所述最终匹配矩阵的离散化，获得待匹配图像对的关键点匹配结果。该方法存在的不足之处是，图像关键点使用Delaunay三角分解或K近邻法构建的图数据结构较为固定，导致需要使用大量的训练数据模型才能学习到普适的结构特征，难以训练出强鲁棒的匹配模型来抵抗图像中离群值和噪声的干扰。
发明内容
本发明的目的在于针对上述现有技术存在的不足，提出一种基于图神经网络的图像关键点匹配方法，用于解决现有匹配方法难以抵抗图中离群值和噪声的干扰和过于依赖图像关键点初始视觉特征的问题。
实现本发明目的的思路是，本发明通过图像关键点结构化方法将图像关键点匹配问题转化为图匹配问题，使用分层注意力图神经网络来度量图像关键点之间的亲和分数，利用层级注意力分数来自适应地融合来自不同邻域范围的消息，使得匹配模型能够学习到更为通用的层次结构特征来提升节点的辨识度，解决了图像关键点匹配模型过于依赖图像关键点初始视觉特征的问题。本发明使用图数据增强方法来训练强鲁棒的匹配模型，对待匹配图的节点特征进行随机遮掩来生成增强视图，并利用增强视图和原始视图之间交互式的匹配对模型进行训练，解决了匹配模型难以抵抗图中离群值和噪声的问题。
实现本发明目的的具体步骤如下：
步骤1，构建分层注意力图神经网络：
步骤1.1，搭建一个十三层的分层注意力图神经网络，其结构依次为：第一图卷积网络层，第一激活函数层，第一注意力层，第二图卷积网络层，第二激活函数层，第二注意力层，第三图卷积网络层，第三激活函数层，第三注意力层，第四图卷积网络层，第四激活函数层，第四注意力层，第一特征融合层；
步骤1.2，将分层注意力图神经网络的第一至第四图卷积网络层的维度分别设置为1024，512，256，128，第一至第四激活函数层设置为LeakyReLU函数，第一至第四注意力层的维度全部设置为128；
步骤2，生成训练集：
步骤2.1，选取至少500对图像，每对图像具有相同的类型和相等的关键点数量；
步骤2.2，将每张图像建模为一个与之对应的图数据，每个图数据中的节点总数与之对应图像中的关键点的数量相等；使用Delaunay三角剖分算法，根据每个图像关键点之间的相对位置，生成与该图像对应图数据的邻接矩阵；
步骤2.3，将每张图像输入到现有技术中已训练好的VGG-16网络中，VGG-16网络第四层中的第二子层和第五层中的第一子层分别输出每张图像的浅层特征图和深层特征图，对每张图像的所有关键点在浅层特征图中进行双线性插值，得到浅层视觉特征矩阵，采用相同方法，得到深层视觉特征矩阵，将浅层视觉特征矩阵和深层视觉特征矩阵组成该图像对应图数据的节点特征矩阵；
步骤2.4，将所有图数据的节点特征矩阵和邻接矩阵组成原始视图，对每个图数据的节点特征进行随机删除，生成扰动节点特征矩阵，将所有图数据的扰动节点特征矩阵和邻接矩阵组成增强视图；
步骤2.5，将原始视图、增强视图和所有图像对之间的关键点匹配标签组成训练集；
步骤3，训练分层注意力图神经网络：
将训练集输入到分层注意力图神经网络中，进行前向传播获得网络的损失值，采用反向传播算法，迭代更新网络的参数，直到分层注意力图神经网络的损失值收敛为止，得到训练好的分层注意力图神经网络；
步骤4，对待预测的图像关键点进行匹配：
步骤4.1，采用与步骤2和步骤3相同的操作，对待匹配的图像关键点进行特性提取与结构化后输入到已训练好的分层注意力图神经网络，得到待匹配图之间的软匹配矩阵；
步骤4.2，利用匈牙利算法，对软匹配矩阵进行离散化，得到待匹配图像对的关键点匹配结果。
本发明与现有技术相比有以下优点：
第一，由于本发明使用分层注意力图神经网络来度量图像关键点之间的亲和分数，用于提升节点特征的辨识度并减少了计算的复杂度，克服了现有匹配方法过于依赖图像关键点初始视觉特征的不足，使得本发明提高了图像关键点匹配的准确性和预测效率。
第二，由于本发明设计了基于图数据增强的增强视图生成方法，对分层注意力图神经网络进行训练，利用增强视图为模型训练引入针对节点特征的随机噪声，使得模型能够学习到图内关键点之间的约束关系，克服了现有匹配方法难以抵抗图中离群值和噪声干扰的缺陷，从而使得本发明可获得强鲁棒的图像关键点匹配结果。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合图1和实施例，对本发明实现的具体步骤做进一步的详细描述。
步骤1，构建基于分层注意力的深度匹配网络。
步骤1.1，搭建一个十三层的分层注意力图神经网络，其结构依次为：第一图卷积层，第一激活函数层，第一注意力层，第二图卷积层，第二激活函数层，
第二注意力层，第三图卷积层，第三激活函数层，第三注意力层，第四图卷积层，第四激活函数层，第四注意力层。
步骤1.2，将分层注意力图神经网络的第一至第四图卷积网络层的维度分别设置为1024，512，256，128，第一至第四激活函数层设置为LeakyReLU函数，第一至第四注意力层的维度分别设置为128，128，128，128。
步骤2，生成训练集。
步骤2.1，从Willow ObjectClass数据集和Pascal VOC Keypoint数据集中分别选取前70％的图像，为每个样本选取一个类型相同和关键点数量相等的样本，从而生成至少500对图像。
步骤2.2，将每张图像建模为一个与之对应的图数据，每个图数据中的节点总数与之对应图像中的关键点的数量相等。使用Delaunay三角剖分算法，根据每个图像关键点之间的相对位置，生成与该图像对应图数据的邻接矩阵。
步骤2.3，将每张图像输入到现有技术中已训练好的VGG-16网络中，VGG-16网络第四层中的第二子层和第五层中的第一子层分别输出每张图像的浅层特征图和深层特征图，对每张图像的所有关键点在浅层特征图中进行双线性插值，得到浅层视觉特征矩阵，采用相同方法，得到深层视觉特征矩阵，将浅层视觉特征矩阵和深层视觉特征矩阵组成该图像对应图数据的节点特征矩阵。
步骤2.4，将所有图数据的节点特征矩阵和邻接矩阵组成原始视图，对每个图数据的节点特征以40％的概率进行随机删除，并填充为0值，生成扰动节点特征矩阵，将所有图数据的扰动节点特征矩阵和邻接矩阵组成增强视图。
步骤2.5，将原始视图、增强视图和所有图像对之间的关键点匹配标签组成图像关键点匹配训练集。
步骤3，训练分层注意力图神经网络。
将训练集输入到分层注意力图神经网络中，进行前向传播求得损失值，采用反向传播算法，迭代更新网络的参数，直到分层注意力图神经网络的损失值收敛为止，得到训练好的分层注意力图神经网络。
所述的分层注意力图神经网络到的前向传播计算步骤如下：
步骤3.1，按照下式，计算训练集中每个图数据在网络各层的节点特征：
其中，
表示分层注意力图神经网络第l个图卷积层输出的第k个图数据中第i个节点的节点特征，MLPl表示分层注意力图神经网络第l个激活函数层的激活函数，εl表示分层注意力图神经网络第l个图卷积层的可学习向量，∑表示求和操作，N(ki)表示在第k个图数据中与第i个节点直接相邻的节点集合，所述的直接相邻是指两个节点之间存在一条边。
步骤3.2，按照下式，计算训练集中每个图数据节点的在网络各层的注意力分数：
其中，
表示分层注意力图神经网络中第l个注意力层输出的第k个图数据中第i个节点的注意力分数，exp(·)表示以自然常数e为底的指数操作，sl表示分层注意力图神经网络第l个注意力层的可学习投影向量，L表示图神经网络的总层数。
步骤3.3，按照下式，计算训练集中每个图数据的节点嵌入特征矩阵：
其中，zki表示在第k个图数据中第i个节点的节点嵌入特征。
步骤3.4，利用下式，计算训练集中每个图数据对之间的亲和矩阵。
其中，M表示训练集中图数据对之间的亲和矩阵，Z和
分别表示训练集中原始视图和增强视图下的节点嵌入特征矩阵，上角标T表示转置操作；
步骤3.5，对所有的亲和矩阵M使用softmax按行进行归一化，并通过Sinkhorn算法，计算与亲和矩阵M对应的软匹配矩阵S；
步骤3.6，按照下式，计算分层注意力图神经网络的损失函数：
l(S)＝-∑YedlogSuv+(1-Yed)log(1-Suv)
其中，l(S)表示损失函数，Suv表示软匹配矩阵中第u行、第v列的元素，Yed表示关键点匹配标签矩阵中第e行、第d列个元素。其中，u与e的取值对应相等，v和d的取值对应相等。
步骤4，对待预测的图像关键点进行匹配。
步骤4.1，采用与步骤2和步骤3相同的操作，对待匹配的图像关键点进行特性提取与结构化后输入到已训练好的分层注意力图神经网络，得到待匹配图之间的软匹配矩阵。
步骤4.2，通过匈牙利算法对软匹配矩阵进行离散化，得到待匹配图像对的匹配结果。
下面结合仿真实验对本发明的效果做进一步的说明。
1.仿真实验条件：
本发明的仿真实验的硬件平台为：处理器为Intel(R)Xeon(R)CPU E5-2650v4，主频为2.20GHz，内存256GB。
本发明的仿真实验的软件平台为：Ubuntu 18.04操作***和python 3.6。
本发明仿真实验所使用的化合物样本数据集为，Willow ObjectClass数据集，Pascal VOC Keypoint数据集。
Willow ObjectClass数据集是一个真实图像匹配数据集，它具有5种类别分别为人脸、鸭子、酒瓶、汽车和摩托车，每个类别至少包含40张图像。来自同一类别的所有实例都在其姿态上进行对齐，所有实例都有10个可见的关键点，由M.Cho等人在“Learning Graphsto Match,2013IEEE International Conference on Computer Vision,2013,pp.25-32”中生成了该数据集。
Pascal VOC Keypoint数据集是一个大规模真实图像匹配数据集，包含20类具有真实关键点位置的实例。我们将原始数据集过滤为7020张训练图像和1682张测试图像用于实验。由L.Bourdev等人在“Poselets:Body part detectors trained using 3D humanpose annotations,IEEE 12th International Conference on Computer Vision,2009,pp.1365-1372”中生成了该数据集。
2.仿真内容及其结果分析：
本发明仿真实验是采用本发明和四个现有图像关键点匹配方法(GMN，PCA-GM，NGM，NHGM)分别对输入的图像样本进行关键点匹配，获得匹配结果。
现有技术GMN图匹配方法指的是，A.Zanfir等人在“Deep Learning ofGraphMatching,2018IEEE/CVF Conference on Computer Vision and Pattern Recognition,2018,pp.2684-2693”中提出的图匹配网络，简称GMN。
现有技术PCA-GM图匹配方法指的是，R.Wang等人在“Learning combinatorialembedding networks for deep graph matching,in Proceedings of the IEEE/CVFInternational Conference on Computer Vision,2019,pp.3056–3065”中提出的基于图神经网络的跨图亲和力匹配方法，简称PCA-GM。
现有技术NGM图匹配方法指的是，M.Zhang等人在“Neural Graph MatchingNetwork:Learning Lawler’s Quadratic Assignment Problem with Extension toHypergraph and Multiple-graph Matching,in IEEE Transactions on PatternAnalysis and Machine Intelligence，2021.”中提出的一个基于关联图的图匹配方法，简称NGM。
现有技术NHGM图匹配方法指的是，M.Zhang等人在“Neural Graph MatchingNetwork:Learning Lawler’s Quadratic Assignment Problem with Extension toHypergraph and Multiple-graph Matching,in IEEE Transactions on PatternAnalysis and Machine Intelligence，2021.”中提出的一个基于超图的图匹配方法，简称NHGM。
利用评价指标匹配正确率分别对五种方法的匹配结果进行评价，将WillowObjectClass数据集和Pascal VOC Keypoint数据集上的实验结果分别绘制为表1和表2。
表1 Willow ObjectClass数据集上的关键点匹配准确率一览表
| 物体类别 | car | duck | face | motorbike | winebottle | mean |
| GMN | 67.8 | 76.7 | 99.8 | 69.2 | 83.1 | 79.3 |
| PCA-GM | 87.6 | 81.4 | 100.0 | 76.5 | 86.9 | 85.6 |
| NGM | 84.2 | 77.6 | 99.4 | 76.8 | 88.3 | 85.3 |
| Ours | 91.1 | 89.2 | 100.0 | 92.1 | 93.3 | 93.1 |
表2 Pascal VOC Keypoint数据集上的关键点匹配准确率一览表
| 物体类别 | aero | bike | bird | boat | bottle | bus | car | cat | chair | cow |
| GMN | 31.9 | 47.2 | 51.9 | 40.8 | 68.7 | 72.2 | 53.6 | 52.8 | 34.6 | 48.6 |
| PCA-GM | 51.2 | 61.3 | 61.6 | 58.4 | 78.8 | 73.9 | 68.5 | 71.1 | 40.1 | 63.3 |
| NGM | 50.1 | 63.5 | 57.9 | 53.4 | 79.8 | 77.1 | 73.6 | 68.2 | 41.1 | 66.4 |
| Ours | 53.3 | 69.7 | 63.5 | 52.0 | 81.2 | 75.7 | 67.4 | 72.8 | 44.5 | 68.5 |
| 物体类别 | table | dog | horse | mbike | person | plant | sheep | sofa | train | tv |
| GMN | 72.3 | 47.7 | 54.8 | 51.0 | 38.6 | 75.1 | 49.5 | 49.5 | 83.0 | 86.3 |
| PCA-GM | 45.1 | 64.4 | 66.4 | 62.2 | 45.1 | 79.1 | 68.4 | 60.0 | 80.3 | 91.9 |
| NGM | 40.8 | 60.3 | 61.9 | 63.5 | 45.6 | 77.1 | 69.3 | 65.5 | 79.2 | 88.2 |
| Ours | 62.6 | 69.7 | 68.2 | 67.0 | 45.3 | 88.7 | 72.1 | 53.0 | 80.2 | 92.2 |
表1和表2中的Ours表示本发明的仿真实验结果。
结合表1可以看出，本发明的在Willow ObjectClass数据集中的五个类别上匹配准确率均超过了现有技术，证明本发明可以在少量图像关键点匹配任务中可以得到较高的准确率。
结合表2可以看出，本发明的在Pascal VOC Keypoint数据集中的多数类别上匹配准确率均超过了现有技术，证明本发明在复杂图像关键点匹配任务中仍能保持较高的准确率。
Claims (2)
1.一种基于图神经网络的图像关键点匹配方法，其特征在于，将图像关键点构建为图结构数据，对节点特征进行随机遮掩来生成增强视图，并使用分层注意力图神经网络对图数据进行嵌入；该匹配方法的具体步骤包括如下：
步骤1，构建分层注意力图神经网络：
步骤1.1，搭建一个十三层的分层注意力图神经网络，其结构依次为：第一图卷积网络层，第一激活函数层，第一注意力层，第二图卷积网络层，第二激活函数层，第二注意力层，第三图卷积网络层，第三激活函数层，第三注意力层，第四图卷积网络层，第四激活函数层，第四注意力层，第一特征融合层；
步骤1.2，将分层注意力图神经网络的第一至第四图卷积网络层的维度分别设置为1024，512，256，128，第一至第四激活函数层设置为LeakyReLU函数，第一至第四注意力层的维度全部设置为128；
步骤2，生成训练集：
步骤2.1，选取至少500对图像，每对图像具有相同的类型和相等的关键点数量；
步骤2.2，将每张图像建模为一个与之对应的图数据，每个图数据中的节点总数与之对应图像中的关键点的数量相等；使用Delaunay三角剖分算法，根据每个图像关键点之间的相对位置，生成与该图像对应图数据的邻接矩阵；
步骤2.3，将每张图像输入到现有技术中已训练好的VGG-16网络中，VGG-16网络第四层中的第二子层和第五层中的第一子层分别输出每张图像的浅层特征图和深层特征图，对每张图像的所有关键点在浅层特征图中进行双线性插值，得到浅层视觉特征矩阵，采用相同方法，得到深层视觉特征矩阵，将浅层视觉特征矩阵和深层视觉特征矩阵组成该图像对应图数据的节点特征矩阵；
步骤2.4，将所有图数据的节点特征矩阵和邻接矩阵组成原始视图，对每个图数据的节点特征进行随机删除，生成扰动节点特征矩阵，将所有图数据的扰动节点特征矩阵和邻接矩阵组成增强视图；
步骤2.5，将原始视图、增强视图和所有图像对之间的关键点匹配标签组成训练集；
步骤3，训练分层注意力图神经网络：
将训练集输入到分层注意力图神经网络中，进行前向传播获得网络的损失值，采用反向传播算法，迭代更新网络的参数，直到分层注意力图神经网络的损失值收敛为止，得到训练好的分层注意力图神经网络；
步骤4，对待预测的图像关键点进行匹配：
步骤4.1，采用与步骤2和步骤3相同的操作，对待匹配的图像关键点进行特性提取与结构化后输入到已训练好的分层注意力图神经网络，得到待匹配图之间的软匹配矩阵；
步骤4.2，利用匈牙利算法，对软匹配矩阵进行离散化，得到待匹配图像对的关键点匹配结果。
2.根据权利要求1所述的基于深度图匹配的图像关键点匹配方法，其特征在于，步骤3中所述的进行前向传播获得网络的损失值的步骤如下：
第一步，按照下式，计算训练集中每个图数据在网络各层的节点特征：
其中，
表示分层注意力图神经网络第l个图卷积层输出的第k图数据中第i个节点的节点特征，MLPl表示分层注意力图神经网络第l个激活函数层的激活函数，εl表示分层注意力图神经网络第l个图卷积层的可学习向量，∑表示求和操作，N(ki)表示在第k个图数据中与第i个节点直接相邻的节点集合，所述的直接相邻是指两个节点之间存在一条边；
第二步，按照下式，计算训练集中每个图数据节点的在网络各层的注意力分数：
其中，
表示分层注意力图神经网络中第l个注意力层输出的第k个图数据中第i个节点的注意力分数，exp(·)表示以自然常数e为底的指数操作，sl表示分层注意力图神经网络第l个注意力层的可学习投影向量，L表示图神经网络的总层数；
第三步，按照下式，计算训练集中每个图数据的节点嵌入特征矩阵：
其中，zki表示在第k个图数据中第i个节点的节点嵌入特征；
第四步，利用下式，计算训练集中每个图数据对之间的亲和矩阵；
其中，M表示训练集中图数据对之间的亲和矩阵，Z和
分别表示训练集中原始视图和增强视图下的节点嵌入特征矩阵，上角标T表示转置操作；
第五步，对所有的亲和矩阵M使用softmax按行进行归一化，并通过Sinkhorn算法，计算与亲和矩阵M对应的软匹配矩阵S；
第六步，按照下式，计算分层注意力图神经网络的损失值：
l(S)＝-∑YedlogSuv+(1-Yed)log(1-Suv)
其中，l(S)表示损失值，Suv表示软匹配矩阵中第u行、第v列的元素，Yed表示关键点匹配标签矩阵中第e行、第d列个元素；其中，u与e的取值对应相等，v和d的取值对应相等。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210604896.9A CN114882338A (zh) | 2022-05-30 | 2022-05-30 | 基于图神经网络的图像关键点匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210604896.9A CN114882338A (zh) | 2022-05-30 | 2022-05-30 | 基于图神经网络的图像关键点匹配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114882338A true CN114882338A (zh) | 2022-08-09 |
Family
ID=82679079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210604896.9A Pending CN114882338A (zh) | 2022-05-30 | 2022-05-30 | 基于图神经网络的图像关键点匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114882338A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117253060A (zh) * | 2023-09-04 | 2023-12-19 | 江苏势通生物科技有限公司 | 图像匹配方法、图像匹配装置、存储介质和计算机设备 |
-
2022
- 2022-05-30 CN CN202210604896.9A patent/CN114882338A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117253060A (zh) * | 2023-09-04 | 2023-12-19 | 江苏势通生物科技有限公司 | 图像匹配方法、图像匹配装置、存储介质和计算机设备 |
| CN117253060B (zh) * | 2023-09-04 | 2024-06-21 | 江苏势通生物科技有限公司 | 图像匹配方法、图像匹配装置、存储介质和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919108B (zh) | 基于深度哈希辅助网络的遥感图像快速目标检测方法 | |
| CN111639240B (zh) | 一种基于注意力感知机制的跨模态哈希检索方法及*** | |
| CN109783666B (zh) | 一种基于迭代精细化的图像场景图谱生成方法 | |
| CN111310861A (zh) | 一种基于深度神经网络的车牌识别和定位方法 | |
| CN111325236B (zh) | 一种基于卷积神经网络的超声图像分类方法 | |
| CN111583263A (zh) | 一种基于联合动态图卷积的点云分割方法 | |
| CN111488911B (zh) | 基于Mask R-CNN与GAN的图像实体抽取方法 | |
| CN112861785B (zh) | 一种基于实例分割和图像修复的带遮挡行人重识别方法 | |
| CN113989340A (zh) | 一种基于分布的点云配准方法 | |
| CN114882338A (zh) | 基于图神经网络的图像关键点匹配方法 | |
| CN114417872A (zh) | 一种合同文本命名实体识别方法及*** | |
| CN115147632A (zh) | 基于密度峰值聚类算法的图像类别自动标注方法及装置 | |
| CN112364974A (zh) | 一种基于激活函数改进的YOLOv3算法 | |
| CN111523586A (zh) | 一种基于噪声可知的全网络监督目标检测方法 | |
| CN113743443B (zh) | 一种图像证据分类和识别方法及装置 | |
| CN117131348B (zh) | 基于差分卷积特征的数据质量分析方法及*** | |
| CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
| Jiang et al. | Noise interference reduction in vision module of intelligent plant cultivation robot using better Cycle GAN | |
| CN112287662A (zh) | 基于多个机器学习模型的自然语言处理方法、装置和设备 | |
| CN115861956A (zh) | 一种基于解耦头部的Yolov3道路垃圾检测方法 | |
| CN113780301B (zh) | 防御对抗攻击的自适应去噪机器学习应用方法 | |
| CN115032682A (zh) | 一种基于图论的多站台地震震源参数估计方法 | |
| CN114972871A (zh) | 基于图像配准的少样本图像异常检测方法及*** | |
| Tong et al. | MBVCNN: joint convolutional neural networks method for image recognition | |
| CN113963235A (zh) | 一种跨类别图像识别模型重用方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |