CN112949765A - 融合局部和全局信息的图像匹配方法 - Google Patents
融合局部和全局信息的图像匹配方法 Download PDFInfo
- Publication number
- CN112949765A CN112949765A CN202110370230.7A CN202110370230A CN112949765A CN 112949765 A CN112949765 A CN 112949765A CN 202110370230 A CN202110370230 A CN 202110370230A CN 112949765 A CN112949765 A CN 112949765A
- Authority
- CN
- China
- Prior art keywords
- data
- matching
- image
- network
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 9
- 230000006872 improvement Effects 0.000 claims abstract description 8
- 230000007246 mechanism Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种融合局部和全局信息的图像匹配方法,通过神经网络对SIFT算法提取的假定匹配对预测是内点匹配的概率,进而建立两幅图像之间的正确匹配。所述图像匹配方法主要包括步骤:A.构建数据集并对数据集进行特征增强;B.通过基于OA‑Net改进的神经网络对数据集的局部和全局信息进行特征提取;C.计算每个匹配对的分类概率(权重);D.将匹配对的权重通过加权8点算法计算得到基础矩阵;E.基于基础矩阵回归训练网络。该新型图像匹配方法能够有效的提取局部和全局特征,能够更有效的获取局部和全局上下文,提高图像匹配的精度,基于网络学习获得潜在的正确对应关系,有效的移除错匹配,提高图像匹配的精度。
Description
技术领域
本发明涉及图像匹配技术领域,尤其涉及一种融合局部和全局信息的图像匹配方法。
背景技术
图像匹配技术在计算机视觉任务中有着广泛的应用,如:图像三维重建、视觉即时定位与地图构建,图像全景拼接,图像配准、立体匹配等。
目前存在很多图像特征匹配的方法,可以将它们分为传统基于特征的方法和基于深度学习的方法。传统的图像特征匹配方法有三个基本步骤:特征提取、特征描述和特征匹配。特征提取就是从图像中提取出关键点或特征点等,它表示图像中重要或独特的内容;特征描述就是用一组数学向量对特征点进行描述,其主要保证不同的向量和不同的特征点之间是一种对应的关系,同时相似的关键点之间的差异尽可能小;特征匹配其实就是特征向量之间的距离计算,常用的距离有欧氏距离、汉明距离、余弦距离等。传统的特征提取及描述算法主要有:Harris、SIFT、SURF、HOG、DPM等。传统图像特征匹配的过程比如:使用SIFT(尺度不变特征变换匹配算法)算法提取特征点,从而建立两张图片之间特征对应点的初始关系,然后使用RANSAC(随机一致性采样算法)及其变体:PROSAC和USAC解决匹配中的外点问题从而移除误匹配对。RANSAC采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数,该算法执行操作简单且效果好,至今仍是流行的错匹配点移除算法。
近年来,深度学习在许多领域得到了广泛应用,并取得了极大成功,尤其是在图像处理领域。基于深度学习的图像特征匹配算法相比于传统的方法有了明显的优势,在性能方面得到了显著的提高,得到更加准确的特征匹配结果。PointCN(Kwang Moo Yi,EduardTrulls,Yuki Ono,Vincent Lepetit,Mathieu Salzmann,and Pascal Fua.Learning tofind good correspondences.In Computer Vision and Pattern Recognition(CVPR),2018)将离群点移除任务重新定义为内点或外点分类问题和基本矩阵回归问题,并引入加权8点算法计算基本矩阵,且提出了上下文归一化方法来捕获全局上下文信息,大大提高了性能。但是存在着缺点是忽略了对局部信息的获取,并且利用上下文归一化的操作通过均值和方差对特征图进行归一化,忽略了不同点之间的复杂关系,可能会影响整体性能。OANet是基于PointCN的改进,提出了DiffPool层、DiffUnpool层和OAFiltering层,其中,DiffPool层、DiffUnpool层以学习的方式捕获无序匹配对的局部信息,OAFiltering层可以提取稀疏匹配对的全局信息。OANet改善了PointCN对全局信息和局部信息的获取,解决了PointCN对局部信息获取不足的缺点。
虽然基于OANet网络的特征匹配方法已经取得了较好的效果,但网络在特征学习的过程对数据集的全局信息和局部信息的捕获不够全面,导致预测匹配对的权重来判断匹配对是内点的概率时预测的权重不够精确,就不能够有效的移除错匹配。
因此如何提高网络对数据集的全局信息和局部信息的提取,并准确移除错匹配,是进一步提升特征匹配精度的重要问题。
发明内容
本发明旨在提出一种融合局部和全局信息的图像匹配方法,该方法通过神经网络对SIFT算法提取的假定匹配对预测是内点匹配的概率,进而建立两幅图像之间的正确匹配。所述图像匹配方法主要包括步骤:A.构建数据集并对数据集进行特征增强;B.通过基于OA-Net改进的神经网络对数据集的局部和全局信息进行特征提取;C.计算每个匹配对的分类概率(权重);D.将匹配对的权重通过加权8点算法计算得到基础矩阵;E.基于基础矩阵回归训练网络。该新型图像匹配方法能够有效的提取局部和全局特征,能够更有效的获取局部和全局上下文,提高图像匹配的精度,基于网络学习获得潜在的正确对应关系,有效的移除错匹配,提高图像匹配的精度。
本发明具体采用以下技术方案:
一种融合局部和全局信息的图像匹配方法,其特征在于:通过神经网络对SIFT算法提取的假定匹配对预测是内点匹配的概率,进而建立两幅图像之间的正确匹配。
进一步地,包括以下步骤:
步骤S1:构建数据集并对数据集进行特征增强;
步骤S2:通过基于OA-Net改进的神经网络对数据集的局部和全局信息进行特征提取;
步骤S3:计算每个匹配对的分类概率,即权重;
步骤S4:将匹配对的权重通过加权8点算法计算得到基础矩阵;
步骤S5:基于基础矩阵回归训练网络。
进一步地,步骤S1具体包括以下步骤:
步骤11:对于给定的一组图像对(I,I'),使用SIFT算法分别提取I与I'中的特征点kpi,kp′i;则从图像I中提取的特征点集为KP={kpi}i∈N,从图像I′中提取的特征点集为KP'={kp'i}i∈N;分别提取两张图像的特征点集后,I从I'中寻找特征点的最近邻居生成初始匹配对的集合C,图像对的初始匹配对集合C如下:
其中,C为N×4维度的数据,将C作为输入数据,
式中,ci表示匹配对,(xi,yi),(x'i,y'i)分别表示匹配的两个特征点在对应图像中的坐标,其中(xi,yi)为在图像I中的坐标,(x'i,y'i)为在图像I'中的坐标;
步骤12:对输入数据C进行一次卷积核大小为1×1的卷积处理,使C的通道维度从4维转换为128维,即C(1×N×4)→C(1×N×128),进行特征增强预处理,增加了特征信息,其中,N为C中匹配对的个数。
进一步地,步骤S2具体包括以下步骤:
步骤21:使用6个改进后的PointCN网络对特征增强后的输入数据C进行在通道上和空间上的特征提取,捕获N个匹配对之间的全局信息;
步骤22:使用改进后的diff-pool模块对经过步骤21后的数据学习一个软分配矩阵并对数据进行下采样,将N个匹配对个数聚类成M个类,使N×128的数据变成维度为500×128的数据,利用下采样和注意力机制学习数据的局部信息;
步骤23:将经过步骤22下采样后的数据使用三个改进后的OAFilter模块在空间维度上建立匹配对间的关系,每一个改进后的OAFilter模块进行一次残差连接,以获得数据的全局上下文;
步骤24:将对经过步骤21后的数据和经过步骤23后的数据输入改进后的diff-unpool模块,将500×128的数据恢复维度为N×128的数据,然后将上采样后的数据经过六次改进后的PointCN网络,完成对数据集的特征提取过程。
进一步地,所述改进后的PointCN网络结构为:在PointCN网络后面***一层注意力机制scSE网络模块;
所述改进后的diff-pool模块结构为:在diff-pool网络中***一层注意力机制scSE网络模块,使数据先经过一个PointCN学习一个软分配,将N×128的数据变成维度为500×128的数据后与之后经过scSE网络模块后的数据进行残差连接;所述改进后的OAFilter模块结构为:在每个PintCN之后***一层注意力机制scSE网络模块,并在空间对应层之后***一层注意力机制scSE网络模块;
所述改进后的diff-unpool模块结构为:在diff-unpool网络中***一层注意力机制scSE网络模块;使数据经过一个PointCN网络,将N×128的数据变成维度为N×500的数据后与之后经过scSE网络模块后的数据进行残差连接。
进一步地,步骤S3具体包括以下步骤:
步骤3具体包括以下步骤:
步骤31:使用1×1的卷积核进行卷积处理,将经过步骤24后的数据维度从N×128压缩为N×1,得到匹配对的分类logit值Z,如下:
z=fφ(C);
式中,fφ(·)是基于OA-Net改进的神经网络,C为初始匹配对集合,再将Z进行归一化处理得到匹配对的对应权重,如下:
w=tanh(ReLU(z));
其中,得到的每个权重wi∈[0,1)。
进一步地,步骤S4具体包括以下步骤:
其中,g(·,·)表示加权8点算法。
进一步地,步骤S5具体包括以下步骤:
步骤51:网络训练过程中最小化分类损失和基础矩阵损失是优化的目的如下所示:
其中,less是通过预测的基础矩阵和标准矩阵E计算几何损失lossgeo得到基础矩阵的损失,p1,p2是对应的匹配对,t[i]为和计算类型的统称,表示向量t的第i个元素;lcls表示分类的损失,计算方法是使用交叉熵损失函数得到。
与现有技术相比,本发明及其优选方案的优势在于引入了通道和空间注意力的方法,能够更有效的提取局部和全局特征,基于网络学习获得潜在的正确对应关系,有效的移除错匹配,提高OANet网络的性能,提高图像匹配的精度。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明:
图1是本发明实施例提出的基于OA-Net改进的神经网络总体结构示意图;
图2是本发明实施例整体流程示意图;
图3是本发明实施例PointCN模块示意图;
图4是本发明实施例scSE模块示意图;
图5是本发明实施例SCP模块示意图;
图6是本发明实施例diff-pool模块改进示意图;
图7是本发明实施例OAFilter模块改进示意图;
图8是本发明实施例diff-unpool模块示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂,下文特举实施例,并配合附图,作详细说明如下:
本实施例的目的是有效的提取数据集的局部和全局特征,基于网络学习建立两张图像间正确的匹配关系,有效减少误匹配,提高图像匹配的精度。具体过程就是,对于给定的两张图像的初始匹配对,利用本文提出的如图1以及图2所示的网络流程来将图像特征匹配的任务当做二分问题,推断出对应匹配对成为内点的概率,并根据判断的概率来回归基础矩阵。为了效的提取数据集的局部和全局特征以及减少误匹配,本实施例引入了基于通道和空间注意力的方法。在网络中引用注意力机制用来强调或选择目标处理对象的重要信息,抑制一些无关的信息,能产生注意力感知的特征。在OANet网络各模块的基础上引用注意力机制,提高关键信息的贡献,加强网络对关键信息的提取,实现更有效的提取数据集的局部和全局特征以及减少误匹配。试验结果表明,本实施例的方法有效地提高了OANet的性能,取得了YFCC100M数据集上当前最好的性能。
如图1以及图2所示,本实施例提供的一种融合局部和全局信息的图像匹配方法,具体包括以下步骤:
步骤S1:构建数据集并对数据集进行特征增强;
步骤S2:通过基于OA-Net改进的神经网络对数据集的局部和全局信息进行特征提取;
步骤S3:计算每个匹配对的分类概率(权重);
步骤S4:将匹配对的权重通过加权8点算法计算得到基础矩阵;
步骤S5:基于基础矩阵回归训练网络。
在本实施例中,步骤1具体包括以下步骤:
步骤11:对于给定的一组图像对(I,I'),使用SIFT算法分别提取I与I'中的特征点kpi,kp′i;则从图像I中提取的特征点集为KP={kpi}i∈N,从图像I′中提取的特征点集为KP'={kp'i}i∈N;分别提取两张图像的特征点集后,I从I'中寻找特征点的最近邻居生成初始匹配对的集合C,图像对的初始匹配对集合C如下:
其中,C为N×4维度的数据,将C作为输入数据,
式中,ci表示匹配对,(xi,yi),(x'i,y'i)分别表示匹配的两个特征点在对应图像中的坐标,其中(xi,yi)为在图像I中的坐标,(x'i,y'i)为在图像I'中的坐标;
步骤12:对输入数据C进行一次卷积核大小为1×1的卷积处理,使C的通道维度从4维转换为128维,即C(1×N×4)→C(1×N×128),进行特征增强预处理,增加了特征信息,其中,N为C中匹配对的个数。
在本实施例中,步骤2具体包括以下步骤:
步骤21:使用6个改进后的PointCN网络对特征增强后的输入数据C进行在通道上和空间上的特征提取,捕获N个匹配对之间的全局信息;
步骤22:使用改进后的diff-pool模块对经过步骤21后的数据学习一个软分配矩阵并对数据进行下采样,将N个匹配对个数聚类成M个类,故N×128的数据变成维度为500×128(M=500)的数据,利用了下采样和注意力机制来学习数据的局部信息。
步骤23:将经过步骤22下采样后的数据使用三个改进后的OAFilter模块来在空间维度上建立匹配对间的关系,每一个OAFilter模块进行一次残差连接,使获得数据的全局上下文。
步骤24:将对经过步骤21后的数据和经过步骤23后的数据输入改进后的diff-unpool模块,将500×128的数据恢复维度为N×128的数据,然后将上采样后的数据经过六次改进后的PointCN网络,完成了对数据集的特征提取过程。
如图3、图4所示,在本实施例中,步骤21中,改进后的PointCN网络结构为:在原来的网络后面再***一层注意力机制scSE网络模块(来源是:《Concurrent Spatial andChannel‘Squeeze&Excitation’in Fully Convolutional Networks》),并将该改进的模块命名为SCPNet。
如图6所示,在本实施例中,步骤22中,改进后的diff-pool模块结构为:在原来的网络后面再***一层注意力机制scSE网络模块,即经过B1步骤后的数据先经过一个PointCN学习一个软分配,将N×128的数据变成维度为500×128(M=500)的数据后与之后经过scSE网络后的数据进行残差连接。
如图5、图7所示,在本实施例中,步骤23中,改进后的OAFilter模块结构为:在每个PintCN之后***一层注意力机制scSE网络模块,并在原来的空间对应层之后***一层注意力机制scSE网络模块。
如图8所示,在本实施例中,步骤24中,改进后的diff-unpool模块结构为:在PointCN网络后面***一层注意力机制scSE网络模块,即经过B1步骤后的数据经过一个PointCN网络,将N×128的数据变成维度为N×M(M=500)的数据后与之后经过scSE网络后的数据进行残差连接。
在本实施例中,步骤3具体包括以下步骤:
步骤31:使用1×1的卷积核进行卷积处理,将经过步骤24后的数据维度从N×128压缩为N×1,得到匹配对的分类logit值Z,如下:
z=fφ(C);
式中,fφ(·)是基于OA-Net改进的神经网络,C为初始匹配对集合,再将Z进行归一化处理得到匹配对的对应权重,如下:
w=tanh(ReLU(z));
其中,得到的每个权重wi∈[0,1),其中权重为0表示误匹配。
在本实施例中,步骤4具体包括以下步骤:
其中,g(·,·)表示加权8点算法。
在本实施例中,步骤5具体包括以下步骤:
步骤51:网络训练过程中最小化分类损失和基础矩阵损失是优化的目的如下:
其中,less是通过预测的基础矩阵和标准矩阵E计算几何损失lossgeo得到基础矩阵的损失,p1,p2是对应的匹配对,t[i](和计算类型的统称)表示向量t的第i个元素。lcls表示分类的损失,计算方法是使用交叉熵损失函数得到。
表1为本实施例与其他几种特征匹配算法在YFCC100M数据集的准确率量化对比。其中,对比的网络有PointCN、OANet、PointNet++、N3Net、DFE。从表1中,可以看到本发明显著提升了图像特征匹配的准确率,相使用六种不同的网络在相同的数据集上进行训练,本发明的方法取得最好的效果,在没有RANSAC后处理下相比于OANet准确率提升了5.62%。
表1
本专利不局限于上述最佳实施方式,任何人在本专利的启示下都可以得出其它各种形式的融合局部和全局信息的图像匹配方法,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本专利的涵盖范围。
Claims (8)
1.一种融合局部和全局信息的图像匹配方法,其特征在于:通过神经网络对SIFT算法提取的假定匹配对预测是内点匹配的概率,进而建立两幅图像之间的正确匹配。
2.根据权利要求1所述的融合局部和全局信息的图像匹配方法,其特征在于:包括以下步骤:
步骤S1:构建数据集并对数据集进行特征增强;
步骤S2:通过基于OA-Net改进的神经网络对数据集的局部和全局信息进行特征提取;
步骤S3:计算每个匹配对的分类概率,即权重;
步骤S4:将匹配对的权重通过加权8点算法计算得到基础矩阵;
步骤S5:基于基础矩阵回归训练网络。
3.根据权利要求2所述的融合局部和全局信息的图像匹配方法,其特征在于:步骤S1具体包括以下步骤:
步骤11:对于给定的一组图像对(I,I'),使用SIFT算法分别提取I与I'中的特征点kpi,kp′i;则从图像I中提取的特征点集为KP={kpi}i∈N,从图像I′中提取的特征点集为KP'={kp'i}i∈N;分别提取两张图像的特征点集后,I从I'中寻找特征点的最近邻居生成初始匹配对的集合C,图像对的初始匹配对集合C如下:
其中,C为N×4维度的数据,将C作为输入数据,
式中,ci表示匹配对,(xi,yi),(x'i,y'i)分别表示匹配的两个特征点在对应图像中的坐标,其中(xi,yi)为在图像I中的坐标,(x'i,y'i)为在图像I'中的坐标;
步骤12:对输入数据C进行一次卷积核大小为1×1的卷积处理,使C的通道维度从4维转换为128维,即C(1×N×4)→C(1×N×128),进行特征增强预处理,增加了特征信息,其中,N为C中匹配对的个数。
4.根据权利要求3所述的融合局部和全局信息的图像匹配方法,其特征在于:步骤S2具体包括以下步骤:
步骤21:使用6个改进后的PointCN网络对特征增强后的输入数据C进行在通道上和空间上的特征提取,捕获N个匹配对之间的全局信息;
步骤22:使用改进后的diff-pool模块对经过步骤21后的数据学习一个软分配矩阵并对数据进行下采样,将N个匹配对个数聚类成M个类,使N×128的数据变成维度为500×128的数据,利用下采样和注意力机制学习数据的局部信息;
步骤23:将经过步骤22下采样后的数据使用三个改进后的OAFilter模块在空间维度上建立匹配对间的关系,每一个改进后的OAFilter模块进行一次残差连接,以获得数据的全局上下文;
步骤24:将对经过步骤21后的数据和经过步骤23后的数据输入改进后的diff-unpool模块,将500×128的数据恢复维度为N×128的数据,然后将上采样后的数据经过六次改进后的PointCN网络,完成对数据集的特征提取过程。
5.根据权利要求4所述的融合局部和全局信息的图像匹配方法,其特征在于:所述改进后的PointCN网络结构为:在PointCN网络后面***一层注意力机制scSE网络模块;
所述改进后的diff-pool模块结构为:在diff-pool网络中***一层注意力机制scSE网络模块,使数据先经过一个PointCN学习一个软分配,将N×128的数据变成维度为500×128的数据后与之后经过scSE网络模块后的数据进行残差连接;所述改进后的OAFilter模块结构为:在每个PintCN之后***一层注意力机制scSE网络模块,并在空间对应层之后***一层注意力机制scSE网络模块;所述改进后的diff-unpool模块结构为:在diff-unpool网络中***一层注意力机制scSE网络模块;使数据经过一个PointCN网络,将N×128的数据变成维度为N×500的数据后与之后经过scSE网络模块后的数据进行残差连接。
6.根据权利要求5所述的融合局部和全局信息的图像匹配方法,其特征在于:步骤S3具体包括以下步骤:
步骤3具体包括以下步骤:
步骤31:使用1×1的卷积核进行卷积处理,将经过步骤24后的数据维度从N×128压缩为N×1,得到匹配对的分类logit值Z,如下:
z=fφ(C);
式中,fφ(·)是基于OA-Net改进的神经网络,C为初始匹配对集合,再将Z进行归一化处理得到匹配对的对应权重,如下:
w=tanh(ReLU(z));
其中,得到的每个权重wi∈[0,1)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110370230.7A CN112949765A (zh) | 2021-04-07 | 2021-04-07 | 融合局部和全局信息的图像匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110370230.7A CN112949765A (zh) | 2021-04-07 | 2021-04-07 | 融合局部和全局信息的图像匹配方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112949765A true CN112949765A (zh) | 2021-06-11 |
Family
ID=76230784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110370230.7A Pending CN112949765A (zh) | 2021-04-07 | 2021-04-07 | 融合局部和全局信息的图像匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112949765A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310417A (zh) * | 2023-03-10 | 2023-06-23 | 济南大学 | 一种基于形状上下文信息的近似图匹配方法及*** |
CN116503628A (zh) * | 2023-06-29 | 2023-07-28 | 华侨大学 | 自动化农业机械的图像匹配算法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111488937A (zh) * | 2020-04-15 | 2020-08-04 | 闽江学院 | 一种基于多尺度邻居深度神经网络的图像匹配方法 |
CN112288011A (zh) * | 2020-10-30 | 2021-01-29 | 闽江学院 | 一种基于自注意力深度神经网络的图像匹配方法 |
CN112308128A (zh) * | 2020-10-28 | 2021-02-02 | 闽江学院 | 一种基于注意力机制神经网络的图像匹配方法 |
CN112489098A (zh) * | 2020-12-09 | 2021-03-12 | 福建农林大学 | 一种基于空间通道注意力机制神经网络的图像匹配方法 |
-
2021
- 2021-04-07 CN CN202110370230.7A patent/CN112949765A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111488937A (zh) * | 2020-04-15 | 2020-08-04 | 闽江学院 | 一种基于多尺度邻居深度神经网络的图像匹配方法 |
CN112308128A (zh) * | 2020-10-28 | 2021-02-02 | 闽江学院 | 一种基于注意力机制神经网络的图像匹配方法 |
CN112288011A (zh) * | 2020-10-30 | 2021-01-29 | 闽江学院 | 一种基于自注意力深度神经网络的图像匹配方法 |
CN112489098A (zh) * | 2020-12-09 | 2021-03-12 | 福建农林大学 | 一种基于空间通道注意力机制神经网络的图像匹配方法 |
Non-Patent Citations (1)
Title |
---|
石国强;赵霞;陈星洲;陈雨佳;陈萌;郭松;陈凤;: "基于卷积神经网络的局部图像特征描述符算法", 上海航天(中英文), no. 01, 25 February 2020 (2020-02-25) * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310417A (zh) * | 2023-03-10 | 2023-06-23 | 济南大学 | 一种基于形状上下文信息的近似图匹配方法及*** |
CN116310417B (zh) * | 2023-03-10 | 2024-04-26 | 济南大学 | 一种基于形状上下文信息的近似图匹配方法及*** |
CN116503628A (zh) * | 2023-06-29 | 2023-07-28 | 华侨大学 | 自动化农业机械的图像匹配算法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022000420A1 (zh) | 人体动作识别方法、人体动作识别***及设备 | |
CN111582044B (zh) | 基于卷积神经网络和注意力模型的人脸识别方法 | |
CN112288011B (zh) | 一种基于自注意力深度神经网络的图像匹配方法 | |
Han et al. | Face recognition with contrastive convolution | |
CN111783748A (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
CN112070058A (zh) | 人脸面部复合情感表情识别方法及*** | |
Liu et al. | Iterative relaxed collaborative representation with adaptive weights learning for noise robust face hallucination | |
CN112967210B (zh) | 一种基于全卷积孪生网络的无人机图像去噪方法 | |
Wang et al. | FaceFormer: Aggregating global and local representation for face hallucination | |
Zhang et al. | Symbol recognition with kernel density matching | |
CN112949765A (zh) | 融合局部和全局信息的图像匹配方法 | |
Xue et al. | Bayesian shape model for facial feature extraction and recognition | |
CN112308128B (zh) | 一种基于注意力机制神经网络的图像匹配方法 | |
Qian et al. | Joint optimal transport with convex regularization for robust image classification | |
CN111738048A (zh) | 一种行人再识别的方法 | |
CN112084895A (zh) | 一种基于深度学习的行人重识别方法 | |
CN107798329B (zh) | 基于cnn的自适应粒子滤波目标跟踪方法 | |
CN112084952A (zh) | 一种基于自监督训练的视频点位跟踪方法 | |
Satybaldina et al. | Deep learning based static hand gesture recognition | |
Akram et al. | A comparative study on face sketch synthesis | |
CN114612681A (zh) | 基于gcn的多标签图像分类方法、模型构建方法及装置 | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
Niu et al. | Research on a face recognition algorithm based on 3D face data and 2D face image matching | |
CN112418250A (zh) | 一种复杂3d点云的优化匹配方法 | |
CN116758092A (zh) | 图像分割方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |