CN115471682A - 一种基于SIFT融合ResNet50的图像匹配方法 - Google Patents
一种基于SIFT融合ResNet50的图像匹配方法 Download PDFInfo
- Publication number
- CN115471682A CN115471682A CN202211110416.XA CN202211110416A CN115471682A CN 115471682 A CN115471682 A CN 115471682A CN 202211110416 A CN202211110416 A CN 202211110416A CN 115471682 A CN115471682 A CN 115471682A
- Authority
- CN
- China
- Prior art keywords
- image
- sift
- feature
- points
- matched
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于SIFT融合ResNet50的图像匹配方法,属于生数字图像处理领域,该方法采用SIFT算法对参考图像与待匹配图像构建高斯金差分字塔并确定尺度空间;在构建的尺度空间中定位极值点作为关键点;计算各关键点的主方向和梯度值确定SIFT特征点;采用深度残差网络ResNet50对SIFT特征点进行特征描述,获取特征描述子;计算参考图像与待匹配图像的特征描述子的欧氏距离作为特征描述子的相似度并判定参考图像与待匹配图像中的区域是否匹配。本发明采用深度残差网络ResNet50改善网络变深准确率拟合性能下降的问题,避免了SIFT计算邻域梯度存在的特征描述不稳定的缺点,解决了特征描述子效率较低。
Description
技术领域
本发明属于数字图像处理领域,尤其涉及一种基于SIFT融合ResNet50的图像匹配方法。
背景技术
图像匹配是指同一场景在两个不同时点下图像之间的对应关系,它是计算机视觉研究领域的一个基本问题,也是计算机视觉应用,如深度恢复、摄像机标定、运动分析以及三维重构等问题的研究起点或基础。
在特征匹配法中,如今运用最多的是点特征。现在常见的特征点提取算法包括:Harris算子、ForIstner算子、SIFT算法和基于小波变换的边缘点提取法。其中SIFT算法以其独特的优势,成为目前最为稳定的一种算法。SIFT(Scale Invariant FeatureTransform)算法即尺度不变特征变换算法,是David G.Lowe在1999年提出的一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子,SIFT将一幅图像映射(变换)为一个局部特征向量集,特征向量具有平移、缩放、旋转不变性,同时对光照变化、仿射及投影变换也有一定的不变性。SIFT特征向量的生成由以下四个步骤组成:1、在尺度空间中检测极值点;2、去除低对比度的极值点和不稳定的边缘极值点,得到特征点;3、计算特征点的方向参数;4、生成SIFT特征点向量。
传统的SIFT算法对部分图像进行匹配时,基于手工设计的特征描述子效率较低,匹配点数较少等问题,导致匹配的准确率不高。
发明内容
本发明提供了一种基于SIFT融合ResNet50的图像匹配方法,以解决传统的SIFT对部分图像进行匹配时,设计特征描述子效率较低,匹配点数较少等问题。
为了解决上述技术问题,本发明提供的技术方案为:
本发明涉及一种基于SIFT融合ResNet50的图像匹配方法,其包括以下步骤:
S1.输入显示区域的两幅图像作为参考图像和待匹配图像;
S2.采用SIFT算法对参考图像与待匹配图像构建高斯金差分字塔,基于高斯金差分字塔确定尺度空间;
S3.在构建的尺度空间中定位极值点,将极值点作为关键点;
S4.计算各关键点的主方向和梯度值,根据主方向和梯度值确定SIFT特征点;
S5.采用深度残差网络ResNet50对SIFT特征点进行特征描述,获取特征描述子;
S6.计算参考图像与待匹配图像的特征描述子的欧氏距离作为特征描述子的相似度,基于相似度判定参考图像与待匹配图像中的区域是否属于同一区域。
优选地,所述的步骤S1中输入两幅图像后,对两幅图像进行去噪处理。
优选地,所述的步骤S2中建立图像多尺度空间的具体步骤为:
对于参考图像和待匹配图像,分别通过卷积运算获得尺度空间,计算公式为:
L(x,y,σ)=G(x,y,σ)*I(x,y) (1)
公式中,L(x,y,σ)为尺度空间,x,y为空间坐标,σ为尺度因子,I(x,y)为二维图像,G(x,y,σ)为高斯核函数;
高斯核函数G(x,y,σ)的表达式为:
高斯差分金字塔由相邻的高斯金字塔相减可得,高斯差分金字塔的表达式为:
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*I(x,y) (3)
公式中,D(x,y,σ)为高斯差分金字塔,G(x,y,kσ)和G(x,y,σ)表示两个相邻的高斯金字塔,k为相邻两个尺度因子的比值;
通过改变尺度因子σ的数值构建多尺度的图像表现形式,建立图像多尺度空间。
优选地,所述的步骤S3在图像多尺度空间中定位极值点,将极值点作为关键点的具体步骤为:
S3.1.将高斯金字塔内的每一个像素点与平面相邻的8个点、上下层2*9个像素点进行对比,取这些点中的极大值或极小值的点作为局部的极值点;
S3.2.去除对比度低和边缘不稳定的极值点,得到关键点。
优选地,所述的步骤S4计算各关键点的主方向和梯度值,根据主方向和梯度值确定SIFT特征点的具体步骤为:
S4.1.计算各关键点的方向和梯度值,计算公式为:
公式中,m(x,y)为梯度值,θ(x,y)为关键点的方向;
S4.2.统计关键点邻域的像素,建立统计直方图,以0~360度为界,将直方图分为8个方向,每组方向相差45度,直方图横纵坐标分别表示梯度方向与同梯度方向关键点邻域像素的数量,令直方图的峰值为主方向,将同时具备位置、尺度、方向的点定义为SIFT特征点。
优选地,所述的步骤S5中采用深度残差网络ResNet50对SIFT特征点进行特征描述,获取特征描述子的具体方式为:取参考图像和待匹配图像中的SIFT特征点为终点,从四周截取灰度图像块,再通过降采样输入到ResNet50网络中进行学习和特征描述,获取特征描述子。
优选地,所述的步骤S6中参考图像与待匹配图像的特征描述子的欧式距离的计算公式为:
公式中,f1为原图像的特征描述子,f2为待匹配图像的特征描述子,128表示128维度特征描述子,i表示第i个特征描述子,i的范围为0~128。
优选地,所述的步骤S6中计算参考图像的每个特征描述子和待匹配图像的每个特征描述子的欧氏距离,按照公式(7)的匹配条件进行匹配
其中,di为参考图像的每个特征描述子与待匹配图像的每个特征描述子的欧氏距离,i表示第i个特征描述子,i的范围为0~128,e为匹配阈值,取0.6。
采用本发明提供的技术方案,与现有技术相比,具有如下有益效果:
本发明涉及的基于SIFT融合ResNet50的图像匹配方法采用深度残差网络ResNet50对SIFT特征点进行特征描述并获取特征描述子,深度残差网络ResNet50改善网络变深准确率拟合性能下降的问题,避免了SIFT计算邻域梯度存在的特征描述不稳定的缺点,解决了特征描述子效率较低的问题。
附图说明
图1为本发明涉及的基于SIFT融合ResNet50的图像匹配方法的流程图。
具体实施方式
为进一步了解本发明的内容,结合实施例对本发明作详细描述,以下实施例用于说明本发明,但不用来限制本发明的范围。
参照附图1所示,本发明涉及一种基于SIFT融合ResNet50的图像匹配方法,其包括以下步骤:
S1.输入显示区域的两幅图像作为参考图像和待匹配图像,两幅图像的尺寸均为640*480,并对两幅图像进行去噪处理;
S2.采用SIFT算法对参考图像与待匹配图像构建高斯金差分字塔,基于高斯金差分字塔确定尺度空间,建立图像多尺度空间的具体步骤为:
对于参考图像和待匹配图像,分别通过卷积运算获得尺度空间,计算公式为:
L(x,y,σ)=G(x,y,σ)*I(x,y) (1)
公式中,L(x,y,σ)为尺度空间,x,y为空间坐标,σ为高斯函数的尺度因子,I(x,y)为二维图像,G(x,y,σ)为高斯核函数;
高斯核函数G(x,y,σ)的表达式为:
高斯差分金字塔由相邻的高斯金字塔相减可得,高斯差分金字塔的表达式为:
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*I(x,y) (3)
公式中,D(x,y,σ)为高斯差分金字塔,G(x,y,kσ)和G(x,y,σ)表示两个相邻的高斯核,k为相邻两个尺度因子的比值;
通过改变尺度因子σ的数值构建多尺度的图像表现形式,建立图像多尺度空间;
S3.在构建的尺度空间中定位极值点,将极值点作为关键点,具体步骤为:
S3.1.将高斯金字塔内的每一个像素点与平面相邻的8个点、上下层2*9个像素点进行对比,取这些点中的极大值或极小值的点作为局部的极值点;
S3.2.去除对比度低和边缘不稳定的极值点,得到关键点。
S4.计算各关键点的主方向和梯度值,根据主方向和梯度值确定SIFT特征点,具体步骤为:
S4.1.计算各关键点的方向和梯度值,计算公式为:
公式中,m(x,y)为梯度值,θ(x,y)为关键点的方向;
S4.2.统计关键点邻域的像素,建立统计直方图,以0~360度为界,将直方图分为8个方向,每组方向相差45度,直方图横纵坐标分别表示梯度方向与同梯度方向关键点邻域像素的数量,令直方图的峰值为主方向,将同时具备位置、尺度、方向的点定义为SIFT特征点;
S5.采用深度残差网络ResNet50对SIFT特征点进行特征描述,获取特征描述子,具体方式为:取参考图像和待匹配图像中的SIFT特征点为终点,从四周截取尺寸为64*64的灰度图像块,对截取后尺寸不足64*64的图像块舍弃,再进行32*32的降采样,即通过降采样输入到ResNet50网络中进行学习和特征描述,获取相关的128维特征描述子;
S6.计算参考图像与待匹配图像的特征描述子的欧氏距离作为特征描述子的相似度,基于相似度判定参考图像与待匹配图像中的区域是否属于同一区域,
其中,特征描述子的欧氏距离的计算公式为:
公式中,f1为原图像的特征描述子,f2为待匹配图像的特征描述子,128表示128维度特征描述子(i的范围为0~128)。
遍历参考图像的每个特征描述子和待匹配图像的每个特征描述子的欧氏距离di(i=1,...,n),按照公式(7)的匹配条件进行匹配,
其中,di为参考图像的每个特征描述子与待匹配图像的每个特征描述子的欧氏距离,i表示第i个特征描述子(i的范围为0~128),e为匹配阈值,取0.6,判断匹配效果的准则是在匹配不出现错误的情况下观察匹配点数目是否有所增加。对于待匹配图像的128维特征描述子,用公式(6)找出与需要与之匹配的图像的欧氏距离,找出最近欧氏距离与次近的欧氏距离,当最近距离与次近距离的比值低于匹配阈值e,匹配成功。
以上结合实施例对本发明进行了详细说明,但所述内容仅为本发明的较佳实施例,不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等,均应仍属于本发明的专利涵盖范围之内。
Claims (8)
1.一种基于SIFT融合ResNet50的图像匹配方法,其特征在于:其包括以下步骤:
S1.输入显示区域的两幅图像作为参考图像和待匹配图像;
S2.采用SIFT算法对参考图像与待匹配图像构建高斯金差分字塔,基于高斯金差分字塔确定尺度空间;
S3.在构建的尺度空间中定位极值点,将极值点作为关键点;
S4.计算各关键点的主方向和梯度值,根据主方向和梯度值确定SIFT特征点;
S5.采用深度残差网络ResNet50对SIFT特征点进行特征描述,获取特征描述子;
S6.计算参考图像与待匹配图像的特征描述子的欧式距离作为特征描述子的相似度,基于相似度判定参考图像与待匹配图像中的区域是否属于同一区域。
2.根据权利要求1所述的基于SIFT融合ResNet50的图像匹配方法,其特征在于:所述的步骤S1中输入两幅图像后,对两幅图像进行去噪处理。
3.根据权利要求1所述的基于SIFT融合ResNet50的图像匹配方法,其特征在于:所述的步骤S2中建立图像多尺度空间的具体步骤为:
对于参考图像和待匹配图像,分别通过卷积运算获得尺度空间,计算公式为:
L(x,y,σ)=G(x,y,σ)*I(x,y) (1)
公式中,L(x,y,σ)为尺度空间,x,y为空间坐标,σ为高斯函数的尺度因子,I(x,y)为二维图像,G(x,y,σ)为高斯核函数;
高斯核函数G(x,y,σ)的表达式为:
高斯差分金字塔由相邻的高斯金字塔相减可得,高斯差分金字塔的表达式为:
D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]*I(x,y) (3)
公式中,D(x,y,σ)为高斯差分金字塔,G(x,y,kσ)和G(x,y,σ)表示两个相邻的高斯金字塔,k为相邻两个尺度因子的比值;
通过改变尺度因子σ的数值构建多尺度的图像表现形式,建立图像多尺度空间。
4.根据权利要求3所述的基于SIFT融合ResNet50的图像匹配方法,其特征在于:所述的步骤S3在图像多尺度空间中定位极值点,将极值点作为关键点的具体步骤为:
S3.1.将高斯金字塔内的每一个像素点与平面相邻的8个点、上下层2*9个像素点进行对比,取这些点中的极大值或极小值的点作为局部的极值点;
S3.2.去除对比度低和边缘不稳定的极值点,得到关键点。
6.根据权利要求1所述的基于SIFT融合ResNet50的图像匹配方法,其特征在于:所述的步骤S5中采用深度残差网络ResNet50对SIFT特征点进行特征描述,获取特征描述子的具体方式为:取参考图像和待匹配图像中的SIFT特征点为终点,从四周截取灰度图像块,再通过降采样输入到ResNet50网络中进行学习和特征描述,获取特征描述子。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211110416.XA CN115471682A (zh) | 2022-09-13 | 2022-09-13 | 一种基于SIFT融合ResNet50的图像匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211110416.XA CN115471682A (zh) | 2022-09-13 | 2022-09-13 | 一种基于SIFT融合ResNet50的图像匹配方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115471682A true CN115471682A (zh) | 2022-12-13 |
Family
ID=84332858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211110416.XA Pending CN115471682A (zh) | 2022-09-13 | 2022-09-13 | 一种基于SIFT融合ResNet50的图像匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115471682A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953332A (zh) * | 2023-03-15 | 2023-04-11 | 四川新视创伟超高清科技有限公司 | 动态图像融合的亮度调整方法、***、电子设备 |
CN116433887A (zh) * | 2023-06-12 | 2023-07-14 | 山东鼎一建设有限公司 | 基于人工智能的建筑物快速定位方法 |
CN117132913A (zh) * | 2023-10-26 | 2023-11-28 | 山东科技大学 | 基于无人机遥感与特征识别匹配的地表水平位移计算方法 |
-
2022
- 2022-09-13 CN CN202211110416.XA patent/CN115471682A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953332A (zh) * | 2023-03-15 | 2023-04-11 | 四川新视创伟超高清科技有限公司 | 动态图像融合的亮度调整方法、***、电子设备 |
CN115953332B (zh) * | 2023-03-15 | 2023-08-18 | 四川新视创伟超高清科技有限公司 | 动态图像融合的亮度调整方法、***、电子设备 |
CN116433887A (zh) * | 2023-06-12 | 2023-07-14 | 山东鼎一建设有限公司 | 基于人工智能的建筑物快速定位方法 |
CN116433887B (zh) * | 2023-06-12 | 2023-08-15 | 山东鼎一建设有限公司 | 基于人工智能的建筑物快速定位方法 |
CN117132913A (zh) * | 2023-10-26 | 2023-11-28 | 山东科技大学 | 基于无人机遥感与特征识别匹配的地表水平位移计算方法 |
CN117132913B (zh) * | 2023-10-26 | 2024-01-26 | 山东科技大学 | 基于无人机遥感与特征识别匹配的地表水平位移计算方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108898610B (zh) | 一种基于mask-RCNN的物体轮廓提取方法 | |
CN109978839B (zh) | 晶圆低纹理缺陷的检测方法 | |
CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
CN115471682A (zh) | 一种基于SIFT融合ResNet50的图像匹配方法 | |
CN111583279A (zh) | 一种基于pcba的超像素图像分割方法 | |
CN114529925B (zh) | 一种全线表表格结构识别方法 | |
CN108932518B (zh) | 一种基于视觉词袋模型的鞋印图像特征提取及检索方法 | |
CN111797744B (zh) | 一种基于共现滤波算法的多模态遥感图像匹配方法 | |
CN113592923B (zh) | 一种基于深度局部特征匹配的批图像配准方法 | |
CN113808180B (zh) | 一种异源图像配准方法、***及装置 | |
CN110458812B (zh) | 一种基于颜色描述及稀疏表达的类圆形水果缺陷检测方法 | |
CN110222661B (zh) | 一种用于运动目标识别及跟踪的特征提取方法 | |
CN113888461A (zh) | 基于深度学习的小五金件缺陷检测方法、***及设备 | |
CN114492619A (zh) | 一种基于统计和凹凸性的点云数据集构建方法及装置 | |
CN113449784A (zh) | 基于先验属性图谱的图像多分类方法、装置、设备及介质 | |
CN115937160A (zh) | 一种基于凸包算法的***火球轮廓检测方法 | |
CN115731257A (zh) | 基于图像的叶片形态信息提取方法 | |
CN109741358B (zh) | 基于自适应超图学习的超像素分割方法 | |
CN106934395B (zh) | 一种采用surf特征和颜色特征相融合的刚体目标跟踪方法 | |
CN112101283A (zh) | 一种交通标志智能识别方法及*** | |
CN109977892B (zh) | 基于局部显著性特征和cnn-svm的舰船检测方法 | |
CN110070626B (zh) | 一种基于多视角分类的三维物体检索方法 | |
CN109829511B (zh) | 基于纹理分类的下视红外图像中云层区域检测方法 | |
CN113643290B (zh) | 一种基于图像处理的吸管计数方法、装置及存储介质 | |
CN114549649A (zh) | 一种基于特征匹配的扫描地图点符号的快速识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Qiao Gan Inventor after: Jiang Xianyang Inventor after: Wei Bo Inventor after: Liang Shangqing Inventor before: Qiao Gan Inventor before: Jiang Xianyang |
|
CB03 | Change of inventor or designer information |