CN109344845B - 一种基于Triplet深度神经网络结构的特征匹配方法 - Google Patents
一种基于Triplet深度神经网络结构的特征匹配方法 Download PDFInfo
- Publication number
- CN109344845B CN109344845B CN201811112938.7A CN201811112938A CN109344845B CN 109344845 B CN109344845 B CN 109344845B CN 201811112938 A CN201811112938 A CN 201811112938A CN 109344845 B CN109344845 B CN 109344845B
- Authority
- CN
- China
- Prior art keywords
- feature
- matching
- neural network
- deep neural
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种基于Triplet深度神经网络结构的特征匹配方法，属于图像处理技术领域。本发明的目的在于解决现有技术的SIFT及基于深度学习的TFeat、HardNet等特征描述方法存在匹配性能较差的问题。本发明设计了一个对训练样本均值和方差做约束的新型损失函数，结合Triplet深度神经网络，可得到性能优异的特征描述，用高斯分布描述匹配特征对和不匹配特征对的距离分布，根据减小特征匹配误差等价于减小两个匹配特征对距离分布重叠面积这一原则，得出对训练样本均值和方差做约束的新型损失函数。实验结果表明，与现有特征描述方法相比，本发明在匹配性能上得到了提升。
Description
技术领域
本发明属于图像处理技术领域，涉及一种基于深度学习的图像特征匹配方法。
背景技术
在计算机视觉应用中，计算良好的特征描述是图像匹配、目标定位、三维重建等的一个重要的组成部分，对最终算法的准确性起了非常关键的作用。在过去的十几年里，计算特征描述一直是图像处理领域的研究热点。一般来说，计算特征描述可以分为人工设计和基于学习的方法。利用人工设计的方法进行特征提取时，很难做到综合考虑各种因素从而得到有效的描述；在复杂情况下很难达到良好的性能，而且调节需要大量的时间。采用基于学习的方法来计算特征描述，可以自动学习良好的特征，免去人工设计过程。传统的SIFT及基于深度学习的TFeat、HardNet等特征描述方法在匹配性能上较差，影响图像匹配的应用价值。
发明内容
本发明要解决的技术问题是：本发明的目的在于解决现有技术的SIFT及基于深度学习的TFeat、HardNet等特征描述方法存在匹配性能较差的问题，提出一种基于Triplet深度神经网络结构的特征匹配方法。
本发明为解决上述技术问题采取的技术方案是：
一种基于Triplet深度神经网络结构的特征匹配方法，所述方法包括如下步骤：
步骤一：训练基于Triplet结构的深度神经网络
Triplet结构的深度神经网络输入为三元组，该三元组由三个样本构成：一个是从训练数据集中随机选一个样本，该样本称为参考样本，然后再随机选取一个和参考样本属于同一类的样本和不同类的样本，这两个样本分别称为同类样本和异类样本；三个样本构成一个三元组，通过损失函数来训练整个网络；
基于Triplet结构的深度神经网络训练过程如下：
从训练数据库中生成三元组，其中
表示参考样本，
表示同类样本，
表示异类样本，λ表示训练间隔；
训练一个深度神经网络，由网络输出得到每组样本相应的特征表达，分别记为：
和
让
和
特征表达之间的距离尽可能小，而
和
的特征表达之间的距离尽可能大，并且要让
与
之间的距离和
与
之间的距离之间有一个最小间隔λ；将上述内容表示成下列不等式形式：
该不等式定义了同类样本和异类样本之间的距离关系，即：所有同类样本之间的距离加上最小间隔λ，要小于异类样本之间的距离；当距离关系不满足上述不等式时，可通过求解下列损失函数：
+表示[]内的值大于零的时候，取该值为误差，小于零的时候，误差为零；
根据对正负匹配对距离分布的分析，对正负匹配对的均值和方差做约束以减小重叠区域面积，其中均值采用如下约束：
其中m是两分布均值之间的最小距离的间隔因子，μneg表示负匹配对的距离均值，μpos表示正匹配对的距离均值；
对分布的方差做如下约束：
Lvar＝σpos+σneg (4)
其中σpos表示正匹配对的方差，σneg表示负匹配对的方差；
将三元组误差函数、均值约束、方差约束结合起来得到最终损失函数：
Lloss＝Ltri+Lmean+Lvar (5)
利用损失函数Lloss分别对
和
求偏导，可分别计算出Lloss在
和
方向的梯度，并根据反向传播算法调节深度神经网络的参数直至网络收敛到稳定状态为止；
步骤二：图像的特征点检测
对目标图像和待匹配图像分别进行特征点检测，
利用FAST(Features from Accelerated Segment Test)算法做图像特征点检测：先通过图像上各像素点与其对应圆周上像素的差值是否满足设定阈值来快速筛选出可能的兴趣点，然后，使用ID3(Iterative Dichotomiser 3)算法训练一个决策树，将特征点圆周上的16个像素输入决策树中，进一步筛选出最优的特征点；
使用非极大值抑制(NMS)算法去除局部密集特征点以减小局部特征点聚集；计算每一个特征点的响应大小，对临近特征点比较，保留响应值大的特征点，删除其余特征点；分别得到目标图像、待匹配图像的特征点；
步骤三：用训练好的神经网络计算目标图像、待匹配图像上各特征点的特征描述子，
以每个特征点为中心提取一个分辨率为32*32大小的正方形图像块，将其输入到训练好的深度神经网络中，得到输出为128维的特征描述子；
步骤四：使用高维数据的近似最近邻(FLANN)算法进行快速匹配
利用FLANN算法计算目标图像上每个特征点与待匹配图像上所有特征点的128维特征描述子的欧式距离以实现快速匹配，欧式距离越小，则相似度越高，当欧式距离小于等于设定的阈值时，判定为匹配成功；
FLANN算法是一种利用k-d树实现快速最近邻搜索算法，适用于高维特征的快速匹配。该发明的特征点匹配是利用FLANN算法，通过计算两组特征点的128维特征描述子的欧式距离实现的。欧式距离越小，则相似度越高，当欧式距离小于设定的阈值时，可以判定为匹配成功；
步骤五：计算仿射变换矩阵，完成特征匹配
由于特征匹配的结果中往往包含一些错误的匹配对，在特征匹配的基础上，利用随机抽样一致性(RANSAC)算法计算两幅图像的仿射变换矩阵。
在步骤四中，特征点匹配是利用FLANN算法，通过计算两组特征点的128维特征描述子的欧式距离实现，具体过程为：
(1)计算待匹配的特征点各维度的方差，选取方差最大一维将特征集合划分成两部分，再在各子集重复相同的过程，以此方式建立k-d树保存特征；
(2)做特征匹配时，进行基于k-d树的特征搜索，通过二叉查找和回溯操作找到最近邻匹配。
步骤五的具体实现过程为：
(1)从目标图像、待匹配图像的所有特征匹配结果中每次随机选出3组不共线点对，计算仿射变换矩阵，并测试其他所有匹配结果在此仿射变换矩阵下的误差，并统计小于设定误差阈值的匹配数目；
(2)重复第(1)步n次，并从最终结果中选择匹配数目最多的一组参数作为最终的仿射变换矩阵。
本发明的有益效果是：
本发明方法用高斯分布近似匹配特征对(正匹配对)与不匹配特征对(负匹配对)的距离分布，通过分析，得到两个匹配特征对重叠区域面积与两个分布统计信息的关系。由于两个匹配特征对距离分布中的重叠区域是容易产生误判的部分，即在这一区间的距离无法准确判定成匹配或者不匹配，因此减小这一混淆区域有利于提高特征度量时的准确性。为减小两个匹配特征对距离分布的重叠区域，本发明提出了一个新的损失函数，结合Triplet深度神经网络，可得到性能优异的特征描述，提高图像的特征匹配准确度。
本发明所述的方法弥补了图像匹配中人工设计特征描述时难于考虑各种综合因素、需要大量时间的不足。通过提出的一个对训练样本均值和方差做约束的新型损失函数，结合Triplet深度神经网络，可以自动学习到性能优异的图像特征点的特征描述，可大大提高图像的匹配准确度，可完全应用于实际的图像匹配中。
本发明提出的基于Triplet深度神经网络结构的特征匹配方法，设计了一个对训练样本均值和方差做约束的新型损失函数，结合Triplet深度神经网络，可得到性能优异的特征描述。该方法用高斯分布描述匹配特征对和不匹配特征对的距离分布，根据减小特征匹配误差等价于减小两个匹配特征对距离分布重叠面积这一原则，得出对训练样本均值和方差做约束的新型损失函数。实验结果表明，与传统SIFT及基于深度学习的TFeat、HardNet等特征描述方法相比，所提出的基于Triplet深度神经网络结构的特征描述方法，在匹配性能上得到了提升，在实际的图像匹配上具有一定的应用价值。
经测试，本发明训练的基于Triplet结构的深度神经网络的性能优于现有方法(参见表1)。用FPR95指标来评价网络性能。训练好网络后，输入从测式数据集中产生的匹配对，计算各匹配对的特征并计算匹配对的距离，基于所有匹配对的距离利用FPR95指标来评价网络性能；即对计算出来的所有距离从小到大排序，设定一距离阈值μ，在μ从最小移动到最大过程中，将小于阈值的匹配对都看作是正匹配，超过阈值的则认为是负匹配对，这样正匹配对的召回率将从0逐步增加到1。在召回率达到0.95时，低于阈值μ的匹配对中包含负匹配对的比例就是FPR95值。显然，该值越小表示误分类的样本越少，网络对距离的计算越准确。
附图说明
图1是本发明的图像匹配的流程图；
图2是本发明的Triplet深度神经网络结构；
图3是本发明的特征匹配的对比图，图中(a)为SIFT算法匹配，(b)为Triplet方法匹配。
具体实施方式
下面结合本发明的附图，对本发明进行说明。
如图1至图3所示,一种基于Triplet深度神经网络结构的特征匹配方法，包括如下步骤：
步骤一，利用UBC图像块匹配数据库，生成大量三元组训练数据，结合本发明中所提出的目标损失函数Lloss训练Triplet结构的深度神经网络并进行测试，triplet深度神经网络结构如图2所示。所用的网络结构为：三个卷积层加一个全连接层，前两个卷积层之后做非线性变换并接最大池化层，最后一层全连接层之后将特征归一化到单位向量。
步骤二，分别在原图像与目标图像中利用FAST算法检测特征点，使用ID3算法训练一个决策树，将特征点圆周上的16个像素输入决策树中，进筛选出最优的特征点，并用NMS算法去除局部密集特征点。
步骤三，分别以原图像与目标图像上得到的特征点为中心，提取一个32*32大小的正方形图像块，将其输入到训练好的深度神经网络中，得到相应为128维的特征描述子。
步骤四，利用FLANN算法，通过计算两组特征点的128维特征描述子的欧式距离实现特征匹配。
步骤五，利用随机抽样一致性(RANSAC)算法计算两幅图像的仿射变换矩阵，计算出正确的特征匹配。
图3和表1分别给出本发明方法与其他方法的定性和定量比较结果。
如图3所示的特征匹配图对比图，本发明的Triplet方法实现的图像匹配正确性明显高于基于SIFT描述子的图像匹配。
如表1所示，与传统SIFT及基于深度学习的TFeat、HardNet等特征描述方法在UBC数据库中Notredame、Yosemite和Liberty公共数据集上做相比，本发明的Triplet方法，匹配准确度均有所提高。其中的数值表示在真正率达到95％时假正率的大小，该数值越小表示性能越好。
实验表明，本发明一种基于Triplet深度神经网络结构的特征匹配方法，通过提出的一个对训练样本均值和方差做约束的新型损失函数，结合Triplet深度神经网络，得到性能优异的特征描述，大大提高图像的匹配的准确度，在实际图像匹配中具有一定的应用价值。
表1
表1是本发明的特征匹配的性能对比。
Claims (3)
1.一种基于Triplet深度神经网络结构的特征匹配方法，其特征在于，所述方法包括如下步骤：
步骤一：训练基于Triplet结构的深度神经网络
Triplet结构的深度神经网络输入为三元组，该三元组由三个样本构成：一个是从训练数据集中随机选一个样本，该样本称为参考样本，然后再随机选取一个和参考样本属于同一类的样本和不同类的样本，这两个样本分别称为同类样本和异类样本；三个样本构成一个三元组，通过损失函数来训练整个网络；
基于Triplet结构的深度神经网络训练过程如下：
从训练数据库中生成三元组，其中
表示参考样本，
表示同类样本，
表示异类样本，λ表示训练间隔；
训练一个深度神经网络，由网络输出得到每组样本相应的特征表达，分别记为：
和
让
和
特征表达之间的距离尽可能小，而
和
的特征表达之间的距离尽可能大，并且要让
与
之间的距离和
与
之间的距离之间有一个最小间隔λ；将上述内容表示成下列不等式形式：
该不等式定义了同类样本和异类样本之间的距离关系，即：所有同类样本之间的距离加上最小间隔λ，要小于异类样本之间的距离；当距离关系不满足上述不等式时，可通过求解下列损失函数：
+表示[]内的值大于零的时候，取该值为误差，小于零的时候，误差为零；
根据对正负匹配对距离分布的分析，对正负匹配对的均值和方差做约束以减小重叠区域面积，其中均值采用如下约束：
其中m是两分布均值之间的最小距离的间隔因子，μneg表示负匹配对的距离均值，μpos表示正匹配对的距离均值；
对分布的方差做如下约束：
Lvar＝σpos+σneg (4)
其中σpos表示正匹配对的方差，σneg表示负匹配对的方差；
将三元组误差函数、均值约束、方差约束结合起来得到最终损失函数：
Lloss＝Ltri+Lmean+Lvar (5)
利用损失函数Lloss分别对
和
求偏导，可分别计算出Lloss在和
方向的梯度，并根据反向传播算法调节深度神经网络的参数直至网络收敛到稳定状态为止；
步骤二：图像的特征点检测
对目标图像和待匹配图像分别进行特征点检测，
利用FAST算法做图像特征点检测：先通过图像上各像素点与其对应圆周上像素的差值是否满足设定阈值来快速筛选出可能的兴趣点，然后，使用ID3算法训练一个决策树，将特征点圆周上的16个像素输入决策树中，进一步筛选出最优的特征点；
使用非极大值抑制算法去除局部密集特征点以减小局部特征点聚集；计算每一个特征点的响应大小，对临近特征点比较，保留响应值大的特征点，删除其余特征点；分别得到目标图像、待匹配图像的特征点；
步骤三：用训练好的神经网络计算目标图像、待匹配图像上各特征点的特征描述子，
以每个特征点为中心提取一个分辨率为32*32大小的正方形图像块，将其输入到训练好的深度神经网络中，得到输出为128维的特征描述子；
步骤四：使用高维数据的近似最近邻算法进行快速匹配
利用FLANN算法计算目标图像上每个特征点与待匹配图像上所有特征点的128维特征描述子的欧式距离以实现快速匹配，欧式距离越小，则相似度越高，当欧式距离小于等于设定的阈值时，判定为匹配成功；
步骤五：计算仿射变换矩阵，完成特征匹配
在特征匹配的基础上，利用随机抽样一致性算法计算两幅图像的仿射变换矩阵。
2.根据权利要求1所述的一种基于Triplet深度神经网络结构的特征匹配方法，其特征在于，在步骤四中，特征点匹配是利用FLANN算法，通过计算两组特征点的128维特征描述子的欧式距离实现，具体过程为：
(1)计算待匹配的特征点各维度的方差，选取方差最大一维将特征集合划分成两部分，再在各子集重复相同的过程，以此方式建立k-d树保存特征；
(2)做特征匹配时，进行基于k-d树的特征搜索，通过二叉查找和回溯操作找到最近邻匹配。
3.根据权利要求1或2所述的一种基于Triplet深度神经网络结构的特征匹配方法，其特征在于，步骤五的具体实现过程为：
(1)从目标图像、待匹配图像的所有特征匹配结果中每次随机选出3组不共线点对，计算仿射变换矩阵，并测试其他所有匹配结果在此仿射变换矩阵下的误差，并统计小于设定误差阈值的匹配数目；
(2)重复第(1)步n次，并从最终结果中选择匹配数目最多的一组参数作为最终的仿射变换矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811112938.7A CN109344845B (zh) | 2018-09-21 | 2018-09-21 | 一种基于Triplet深度神经网络结构的特征匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811112938.7A CN109344845B (zh) | 2018-09-21 | 2018-09-21 | 一种基于Triplet深度神经网络结构的特征匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109344845A CN109344845A (zh) | 2019-02-15 |
| CN109344845B true CN109344845B (zh) | 2020-06-09 |
Family
ID=65306260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811112938.7A Active CN109344845B (zh) | 2018-09-21 | 2018-09-21 | 一种基于Triplet深度神经网络结构的特征匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109344845B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948577B (zh) * | 2019-03-27 | 2020-08-04 | 无锡雪浪数制科技有限公司 | 一种布料识别方法、装置及存储介质 |
| CN110135474A (zh) * | 2019-04-26 | 2019-08-16 | 武汉市土地利用和城市空间规划研究中心 | 一种基于深度学习的倾斜航空影像匹配方法和*** |
| CN110148120B (zh) * | 2019-05-09 | 2020-08-04 | 四川省农业科学院农业信息与农村经济研究所 | 一种基于cnn与迁移学习的病害智能识别方法及*** |
| CN111915480B (zh) * | 2020-07-16 | 2023-05-23 | 抖音视界有限公司 | 生成特征提取网络的方法、装置、设备和计算机可读介质 |
| CN113505929B (zh) * | 2021-07-16 | 2024-04-16 | 中国人民解放军军事科学院国防科技创新研究院 | 基于嵌入物理约束深度学习技术的拓扑最优结构预测方法 |
| CN114972740A (zh) * | 2022-07-29 | 2022-08-30 | 上海鹰觉科技有限公司 | 自动化舰船样本采集方法及*** |
| CN115546521B (zh) * | 2022-11-07 | 2024-05-07 | 佳木斯大学 | 基于关键点响应约束的点匹配方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574215B (zh) * | 2016-03-04 | 2019-11-12 | 哈尔滨工业大学深圳研究生院 | 一种基于多层特征表示的实例级图像搜索方法 |
| CN106845330A (zh) * | 2016-11-17 | 2017-06-13 | 北京品恩科技股份有限公司 | 一种基于深度卷积神经网络的二维人脸识别模型的训练方法 |
| CN106780906B (zh) * | 2016-12-28 | 2019-06-21 | 北京品恩科技股份有限公司 | 一种基于深度卷积神经网络的人证合一识别方法及*** |
| CN106980641B (zh) * | 2017-02-09 | 2020-01-21 | 上海媒智科技有限公司 | 基于卷积神经网络的无监督哈希快速图片检索***及方法 |
| CN108399428B (zh) * | 2018-02-09 | 2020-04-10 | 哈尔滨工业大学深圳研究生院 | 一种基于迹比准则的三元组损失函数设计方法 |
-
2018
- 2018-09-21 CN CN201811112938.7A patent/CN109344845B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109344845A (zh) | 2019-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109344845B (zh) | 一种基于Triplet深度神经网络结构的特征匹配方法 | |
| WO2021134871A1 (zh) | 基于局部二值模式和深度学习的合成人脸图像取证方法 | |
| CN108346154B (zh) | 基于Mask-RCNN神经网络的肺结节分割装置的建立方法 | |
| CN109697692B (zh) | 一种基于局部结构相似的特征匹配方法 | |
| CN103403704B (zh) | 用于查找最近邻的方法和设备 | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| CN105528638A (zh) | 灰色关联分析法确定卷积神经网络隐层特征图个数的方法 | |
| CN110909643B (zh) | 基于最近邻原型表示的遥感舰船图像小样本分类方法 | |
| CN112633382A (zh) | 一种基于互近邻的少样本图像分类方法及*** | |
| CN109903282B (zh) | 一种细胞计数方法、***、装置和存储介质 | |
| CN114091606A (zh) | 一种隧道***炮孔半眼痕识别和损伤平整度评价分类方法 | |
| CN107301643A (zh) | 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法 | |
| CN112365511A (zh) | 基于重叠区域检索与对齐的点云分割方法 | |
| CN116366313A (zh) | 一种小样本异常流量检测方法和*** | |
| CN112529908A (zh) | 一种基于级联卷积网络的数字病理图像分割方法及其模型 | |
| CN113033345B (zh) | 基于公共特征子空间的v2v视频人脸识别方法 | |
| CN110083724A (zh) | 一种相似图像检索方法、装置及*** | |
| CN113762151A (zh) | 一种故障数据处理方法、***及故障预测方法 | |
| CN103823889B (zh) | 基于l1范数全局几何一致性检验的错误匹配检测方法 | |
| CN113177602B (zh) | 图像分类方法、装置、电子设备和存储介质 | |
| CN113470085B (zh) | 一种基于改进的ransac的图像配准方法 | |
| CN112990336B (zh) | 基于竞争注意力融合的深度三维点云分类网络构建方法 | |
| CN112508958B (zh) | 一种轻量多尺度的生物医学图像分割方法 | |
| CN115100694A (zh) | 一种基于自监督神经网络的指纹快速检索方法 | |
| Liu et al. | A new ORB feature matching image algorithm based on Non-maximum suppression method and Retinal sampling model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |