CN112465025A - 一种基于邻域推断的图像特征匹配方法及*** - Google Patents

一种基于邻域推断的图像特征匹配方法及*** Download PDF

Info

Publication number
CN112465025A
CN112465025A CN202011353954.2A CN202011353954A CN112465025A CN 112465025 A CN112465025 A CN 112465025A CN 202011353954 A CN202011353954 A CN 202011353954A CN 112465025 A CN112465025 A CN 112465025A
Authority
CN
China
Prior art keywords
matching
feature
feature point
preliminary
point set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011353954.2A
Other languages
English (en)
Inventor
赵秀阳
展亚茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN202011353954.2A priority Critical patent/CN112465025A/zh
Publication of CN112465025A publication Critical patent/CN112465025A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于邻域推断的图像特征匹配方法及***，均能够：构造参考图像的冗余特征点集R；构造目标图像的特征点集T；获取特征点集T中每一个特征点在参考图像的冗余特征点集R中的候选匹配点集；基于特征点集T的空间邻域图，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配,得到一组初步匹配特征点对；剔除初步匹配特征点对中的错误匹配,得到所述参考图像和所述目标图像的特征匹配点对。本发明用于增加用于进行特征匹配的特征点的数目，用于提高图像特征点匹配精度，降低误匹配率。

Description

一种基于邻域推断的图像特征匹配方法及***
技术领域
本发明涉及图像处理领域，具体涉及一种基于邻域推断的图像特征匹配方法及***。
背景技术
文物是人类物质文明和精神文明的见证和载体，但因自然灾害、人为破坏和材料老化等原因，文物在渐渐消失，急需保护和修复的相关技术。
基于特征点匹配的多视图三维重建技术依赖于运动推断方案对文物进行三维重建，这种技术的实施是对采集好的多视图图像序列进行特征跟踪(特征检测和特征匹配)，恢复摄像机的运动轨迹和真实文物的几何结构来描述文物的外观。通过此技术可以为文物的全局外观和***部图样的保存提供支持，在文物保护方面具有重要的工程应用价值。
目前,用于多视图三维重建技术的特征匹配方法,往往是利用传统的SIFT、GMS等方法进行检测和匹配，但因现实中有很多干扰重建效果的因素，输入的图像因为光影、缺少纹理或者遮挡等影响，导致传统的特征匹配存在以下不足(致使后续重建出来的三维模型的准确度、完整度得不到保证)：
1.检测到的特征点数目相对较少；
2.特征点匹配精度相对低；
3.误匹配率也相对高。
为此，本发明提供一种基于邻域推断的图像特征匹配方法及***，用于解决上述问题。
发明内容
针对现有技术的上述不足，本发明提供一种基于邻域推断的图像特征匹配方法及***，用于增加用于进行特征匹配的特征点的数目，以及用于提高图像特征点匹配精度，降低误匹配率。
第一方面，本发明提供一种基于邻域推断的图像特征匹配方法，包括步骤：
构造参考图像的冗余特征点集R；
构造目标图像的特征点集T；所述目标图像和所述参考图像为读入的待进行特征匹配的两张图像；
获取特征点集T中每一个特征点在参考图像的冗余特征点集R中的候选匹配点集；
基于特征点集T的空间邻域图，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配,得到一组初步匹配特征点对；
剔除初步匹配特征点对中的错误匹配,得到所述参考图像和所述目标图像的特征匹配点对。
进一步地，所述构造参考图像的冗余特征点集R，实现方法为：
获取参考图像的预先设定的不同尺度空间的变形图像；
采用第一特征点检测器检测参考图像及获取到的每一个变形图像上的特征点；
将上述采用第一特征点检测器检测到的所有特征点汇集形成所述的冗余特征点集R；
所述构造目标图像的特征点集T，实现方法为：采用第二特征点检测器检测目标图像上的特征点，将检测到的目标图像上的特征点汇集形成所述的特征点集T。
进一步地，获取特征点集T中每一个特征点在参考图像的冗余特征点集R中的候选匹配点集，实现方法为：采用近似最近邻搜索算法，获取特征点集T中每一个特征点在所述冗余特征点集R上的候选匹配点集。
进一步地，所述基于特征点集T的空间邻域图，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配，得到一组初步匹配特征点对，实现方法为：
基于特征点集T中所有的特征点构建三角剖分图，得到特征点集T对应的空间邻域图；
在所得到的空间邻域图中，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配，得到一组匹配特征点对，该组匹配特征点对即为所述的一组初步匹配特征点对。
进一步地，剔除初步匹配特征点对中的错误匹配，得到所述参考图像和所述目标图像的特征匹配点对，实现方法为：
判断所得到的每一个初步匹配特征点对(Vs，Ks)是否为正确匹配，并获取其中判定为正确匹配的所有的初步匹配特征点对，即得到参考图像和目标图像的特征匹配点对；所述(Vs，Ks)为所得到的所有初步匹配特征点对中的第s个特征点对，其中，Vs为参考图像上的特征点，Ks为目标图像的特征点，s＝1，2，…，L，L为所得到的全部初步匹配特征点对的总个数；
其中，判断所得到的每一个初步匹配特征点对(Vs，Ks)是否为正确匹配的实现方法为：
汇集以特征点Vs为圆心、以预先设定的半径阈值φ为半径的区域内的全部初步匹配特征点对，形成第一组初步匹配特征点对；
汇集以特征点Ks为圆心、以所述半径阈值φ为半径的区域内的所有初步匹配特征点对，形成第二组初步匹配特征点对；
统计第一组初步匹配特征点对中与第二组初步匹配特征点对中相同的初步匹配特征点对的数量，记为统计数量；
判断所述统计数量是否达到预先设定的数量阈值Q：
若是，则判定特征点对(Vs，Ks)为正确匹配；
若否，则判定特征点对(Vs，Ks)为错误匹配。
第二方面，本发明提供一种基于邻域推断的图像特征匹配***，包括：
目标图像读取单元，用于读入待进行特征匹配的两张图像：目标图像和参考图像；
冗余特征点集构造单元，用于构造参考图像的冗余特征点集R；
特征点集构造单元，用于构造目标图像的特征点集T；
候选匹配点集获取单元，用于获取特征点集T中每一个特征点在参考图像的冗余特征点集R中的候选匹配点集；
初步匹配特征点对获取单元，用于基于特征点集T的空间邻域图，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配,得到一组初步匹配特征点对；
错误匹配剔除单元，用于剔除初步匹配特征点对中的错误匹配,得到所述参考图像和所述目标图像的特征匹配点对。
进一步地，所述冗余特征点集构造单元包括：
变形图像获取模块，用于获取参考图像的预先设定的不同尺度空间的变形图像；
第一特征检测模块，用于采用第一特征点检测器检测参考图像及获取到的每一个变形图像上的特征点；
冗余特征点集形成模块，用于将第一特征检测模块检测到的所有特征点汇集形成所述的冗余特征点集R；
所述特征点集构造单元，包括：
第二特征检测模块，用于采用第二特征点检测器检测目标图像上的特征点；
特征点集构造模块，用于将第二特征检测模块检测到的目标图像上的特征点汇集形成所述的特征点集T。
进一步地，所述的候选匹配点集获取单元，采用近似最近邻搜索算法获取特征点集T中每一个特征点在所述冗余特征点集R上的候选匹配点集。
进一步地，初步匹配特征点对获取单元，包括：
空间邻域图构建模块，用于基于特征点集T中所有的特征点构建三角剖分图，得到特征点集T对应的空间邻域图；
初步匹配模块，用于在空间邻域图构建模块所得到的空间邻域图中，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配，得到一组匹配特征点对，该组匹配特征点对即为所述的一组初步匹配特征点对。
进一步地，错误匹配剔除单元，包括：
正确匹配判断模块，用于判断初步匹配特征点对获取单元所得到的每一个初步匹配特征点对(Vs，Ks)是否为正确匹配，s＝1，2，…，L；其中：(Vs，Ks)为初步匹配特征点对获取单元所得到的所有初步匹配特征点对中的第s个特征点对，Vs为参考图像上的特征点，Ks为目标图像上的特征点，L为初步匹配特征点对获取单元得到的全部初步匹配特征点对的总个数；
特征匹配点对获取模块，用于获取正确匹配判断模块判定为正确匹配的所有的初步匹配特征点对，得到参考图像和目标图像的特征匹配点对；
其中，所述正确匹配判断模块，判断初步匹配特征点对获取单元所得到的每一个初步匹配特征点对(Vs，Ks)是否为正确匹配的方法为：
汇集以特征点Vs为圆心、以预先设定的半径阈值φ为半径的区域内的全部初步匹配特征点对，形成第一组初步匹配特征点对；
汇集以特征点Ks为圆心、以所述半径阈值φ为半径的区域内的所有初步匹配特征点对，形成第二组初步匹配特征点对；
统计第一组初步匹配特征点对中与第二组初步匹配特征点对中相同的初步匹配特征点对的数量，记为统计数量；
判断所述统计数量是否达到预先设定的数量阈值Q:
若是，则判定特征点对(Vs，Ks)为正确匹配；
若否，则判定特征点对(Vs，Ks)为错误匹配。
本发明的有益效果在于，
(1)本发明提供的基于邻域推断的图像特征匹配方法及***，均构造参考图像的冗余特征点集R用于参考图像和目标图像的特征匹配，这在一定程度上有助于增加用于进行参考图像和目标图像的特征匹配的特征点的数量/数目。
(2)本发明提供的基于邻域推断的图像特征匹配方法及***，均能够获取特征点集T中每一个特征点在参考图像的冗余特征点集R中的候选匹配点集，并均基于特征点集T的空间邻域图对获取到的各候选匹配点集中的每一个候选匹配点进行特征匹配得到一组初步匹配特征点对，之后在剔除初步匹配特征点对中的错误匹配后才得到所述参考图像和所述目标图像的特征匹配点对，这在一定程度上有助于提高图像特征点匹配精度，降低误匹配率。
(3)本发明提供的基于邻域推断的图像特征匹配方法及***，在剔除初步匹配特征点对中的错误匹配得到所述参考图像和所述目标图像的特征匹配点对时，引入了第一组初步匹配特征点对、第二组初步匹配特征点对和统计数量的概念，能够通过判断统计数量是否达到预先设定的数量阈值Q判定对应特征点对是否为正确匹配，继而实现对初步匹配特征点对中错误匹配的剔除，从而得到参考图像和目标图像的最终的特征匹配点对，与GMS方法相比，本发明无需对参考图像和目标图像进行划分网格，直接基于特征点***圆形区域(通过所述半径阈值φ进行界定)进行操作，不仅有助于剔除错误匹配，从而提高图像特征点匹配精度，降低误匹配率，还更为便于实现。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的***的示意性结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
图1是本发明一个实施例的基于邻域推断的图像特征匹配方法的示意性流程图。
如图1所示，该方法100包括：
步骤110，构造参考图像的冗余特征点集R；
步骤120，构造目标图像的特征点集T；所述目标图像和所述参考图像为读入的待进行特征匹配的两张图像；
步骤130，获取特征点集T中每一个特征点在参考图像的冗余特征点集R中的候选匹配点集；
步骤140，基于特征点集T的空间邻域图，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配,得到一组初步匹配特征点对；
步骤150，剔除初步匹配特征点对中的错误匹配,得到所述参考图像和所述目标图像的特征匹配点对。
可选地，作为本发明的一个实施例，所述构造参考图像的冗余特征点集R，实现方法为：
获取参考图像的预先设定的不同尺度空间的变形图像；
采用第一特征点检测器检测参考图像及获取到的每一个变形图像上的特征点；
将上述采用第一特征点检测器检测到的所有特征点汇集形成所述的冗余特征点集R。
可选地，作为本发明的一个实施例，所述构造目标图像的特征点集T，实现方法为：采用第二特征点检测器检测目标图像上的特征点，将检测到的目标图像上的特征点汇集形成所述的特征点集T。
作为优选，所述第一特征点检测器和所述第二特征点检测器，均采用SURF(SpeedUp Robust Feature)特征点检测器。具体实现时，也可采用其他特征点检测器对所述SURF特征点检测器进行替换。
可选地，作为本发明的一实施例，步骤130的实现方法为：采用近似最近邻搜索算法，获取特征点集T中每一个特征点在所述冗余特征点集R上的候选匹配点集。
可选地，作为本发明的一个实施例，所述步骤140的实现方法为：基于特征点集T中所有的特征点构建三角剖分图，得到特征点集T对应的空间邻域图；
在所得到的空间邻域图中，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配，得到一组匹配特征点对，该组匹配特征点对即为所述的一组初步匹配特征点对。
可选地，作为本发明的一实施例，所述步骤150的实现方法为：
判断所得到的每一个初步匹配特征点对(Vs，Ks)是否为正确匹配，并获取其中判定为正确匹配的所有的初步匹配特征点对，即得到参考图像和目标图像的特征匹配点对；所述(Vs，Ks)为步骤140中所得到的所有初步匹配特征点对中的第s个特征点对，其中，Vs为参考图像上的特征点，Ks为目标图像的特征点，s＝1，2，…，L，L为步骤140中所得到的全部初步匹配特征点对的总个数；
其中，判断所得到的每一个初步匹配特征点对(Vs，Ks)是否为正确匹配的实现方法为：
汇集以特征点Vs为圆心、以预先设定的半径阈值φ为半径的区域(圆形区域)内的全部初步匹配特征点对，形成第一组初步匹配特征点对；
汇集以特征点Ks为圆心、以所述半径阈值φ为半径的区域内的所有初步匹配特征点对，形成第二组初步匹配特征点对；
统计第一组初步匹配特征点对中与第二组初步匹配特征点对中相同的初步匹配特征点对的数量，记为统计数量；
判断所述统计数量是否达到预先设定的数量阈值Q：
若是，则判定特征点对(Vs，Ks)为正确匹配；
若否，则判定特征点对(Vs，Ks)为错误匹配。
为了便于对本发明的理解，下面以本发明基于邻域推断的图像特征匹配方法的原理，结合实施例中对参考图像A和目标图像B进行基于邻域推断的图像特征匹配的过程，对本发明提供的基于邻域推断的图像特征匹配方法做进一步地描述。
参考图像A和目标图像B是预先读入的两个待进行特征匹配的图像。
具体地，该基于邻域推断的图像特征匹配方法，包括：
步骤E1：构造参考图像A的冗余特征点集R。
本实施例中通过图像的模拟变形构造参考图像A的冗余特征点集，一定程度上增加了用于图像特征匹配的特征点的数目。
在本实施例中，该步骤E1，构造参考图像A的冗余特征点集R的方法为：
步骤E11：获取参考图像A的预先设定的不同尺度空间的变形图像。
具体地，本实施例中分别获取将参考图像A旋转45度、90度、135度、180度、125度和270度后的变形图像，依次获取到参考图像A的变形图像1、变形图像2、变形图像3、变形图像4、变形图像5和变形图像6。
步骤E12：采用第一特征点检测器检测参考图像A及获取到的每一个变形图像上的特征点。
具体地，采用SURF特征点检测器，分别检测参考图像A、变形图像1、变形图像2、变形图像3、变形图像4、变形图像5和变形图像6上的特征点。
步骤E13：将上述采用第一特征点检测器检测到的所有特征点汇集形成所述的冗余特征点集R。
具体地，将上述步骤E12中采用SURF特征点检测器检测到的所有特征点汇集形成所述的冗余特征点集R。
步骤E2：构造目标图像B的特征点集T。
具体地，采用第二特征点检测器检测目标图像B上的特征点，将检测到的目标图像B上的所有的特征点汇集形成所述的特征点集T。
在本实施例中，第二特征点检测器也采用SURF特征点检测器。
步骤E3：获取特征点集T中每一个特征点在参考图像A的冗余特征点集R中的候选匹配点集。
记上述步骤E2中构造的特征点集T＝{t1，t2，…，tn}＝{ti|i＝1，2，…，n}，n为特征点集T中特征点的总个数，ti为特征点集T中的第i个特征点。
记上述步骤E1中构造的冗余特征点集R＝{r1，r2，…，rm}＝{rj|j＝1，2，…，m}，m为冗余特征点集R中特征点的总个数，rj为冗余特征点集R中的第j个特征点。
具体地，该步骤E3的实现步骤包括：
(1)预先定义特征点集T中每一个特征点ti的候选匹配点集为C(ti)，
Figure BDA0002802101990000111
为ti的剪枝集，i＝1，2，…，n；
(2)通过在所述冗余特征点集R上运行近似最近邻搜索算法(即为最近邻搜索方法)，获取特征点集T中每一个特征点ti在参考图像A的冗余特征点集R中的所有候选匹配点，来构造对应的候选匹配点集C(ti)，i＝1，2，…，n。
可见经过步骤E3，得到特征点集T中特征点ti在参考图像A的冗余特征点集R中的候选匹配点集C(ti)，i＝1，2，…，n。
步骤E4：基于特征点集T的空间邻域图，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配，得到一组初步匹配特征点对。
在本实施例中，该步骤E4采用二阶变形不变图约束算法，对步骤E3中获取到的所有候选匹配点集C(ti)(i＝1，2，…，n)中的每一个候选匹配点进行特征匹配，得到一组初步匹配特征点对，具体实现方法可以包括：
基于特征点集T中所有的特征点(即t1，t2，…，tn)构建三角剖分图，得到特征点集T对应的空间邻域图(即所构建的三角剖分图)；
在所得到的空间邻域图中，采用二阶的MRF(马尔科夫随机场模型算法)匹配约束算法，对获取到的所有候选匹配点集C(ti)(i＝1，2，…，n)中的每一个候选匹配点进行特征匹配，得到一组匹配特征点对，该组匹配特征点对即为所述的一组初步匹配特征点对。
步骤E5：剔除初步匹配特征点对中的错误匹配，得到所述参考图像A和所述目标图像B的特征匹配点对。
记步骤E4中得到L个初步匹配特征点对。
所述步骤E5，实现方法为：
步骤1)，判断所得到的每一个初步匹配特征点对(Vs，Ks)(s＝1，2，…，L)是否为正确匹配。
所述(Vs，Ks)为步骤E4中所得到的所有初步匹配特征点对中的第s个特征点对，其中，Vs对应参考图像A上的特征点，Ks为目标图像B的特征点。
其中，判断所得到的每一个初步匹配特征点对(Vs，Ks)是否为正确匹配的实现方法为：
汇集以特征点Vs为圆心、以预先设定的半径阈值φ为半径的区域内的全部初步匹配特征点对，形成第一组初步匹配特征点对；
汇集以特征点Ks为圆心、以所述半径阈值φ为半径的区域内的所有初步匹配特征点对，形成第二组初步匹配特征点对；
统计第一组初步匹配特征点对中与第二组初步匹配特征点对中相同的初步匹配特征点对的数量，记为统计数量；
判断所述统计数量是否达到预先设定的数量阈值Q：
若是，则判定特征点对(Vs，Ks)为正确匹配；
若否，则判定特征点对(Vs，Ks)为错误匹配。
为便于理解，下面以初步匹配特征点对(V2，K2)为例，对上述判断所得到的每一个初步匹配特征点对(Vs，Ks)是否为正确匹配的实现方法进行说明。
具体地，本实施例中判断初步匹配特征点对(V2，K2)是否为正确匹配的实现方法为：
汇集以特征点V2为圆心、以预先设定的半径阈值φ为半径的区域内的全部初步匹配特征点对，形成第一组初步匹配特征点对；
汇集以特征点K2为圆心、以所述半径阈值φ为半径的区域内的所有初步匹配特征点对，形成第二组初步匹配特征点对；
统计第一组初步匹配特征点对中与第二组初步匹配特征点对中相同的初步匹配特征点对的数量，记为统计数量；
判断所述统计数量是否达到预先设定的数量阈值Q(可由本领域技术人员依据经验进行设定，比如本实施例中设置数量阈值Q为5。)，若是，则判定初步匹配特征点对(V2，K2)为正确匹配，否则判定特征点对(V2，K2)为错误匹配。
本实施例中所涉及的其他初步匹配特征点对是否为正确匹配的判断方法，可参照特征点对(V2，K2)。
步骤2)，获取上述步骤1)中判定为正确匹配的所有的初步匹配特征点对，即得到参考图像A和目标图像B的特征匹配点对。
步骤2)中获取到的上述步骤1)中判定为正确匹配的所有初步匹配特征点对，即为得到的参考图像A和目标图像B的特征匹配点对。便于实现。
在本实施例中，所述半径阈值φ的大小为15像素。
本发明以初步匹配特征点对对应的统计数量为依据，剔除初步匹配特征点对中的错误匹配,得到参考图像和目标图像的特征匹配点对，与GMS方法不同的是，本发明无需对参考图像和目标图像进行划分网格，直接基于特征点***圆形区域(通过所述半径阈值φ进行界定)进行操作，不仅可剔除误匹配，还更为便于实现。
图2为本发明所述基于邻域推断的图像特征匹配***的一个实施例。
如图2所示，该***200，包括：
目标图像读取单元206，用于读入待进行特征匹配的两张图像：目标图像和参考图像；
冗余特征点集构造单元201，用于构造参考图像的冗余特征点集R；
特征点集构造单元202，用于构造目标图像的特征点集T；
候选匹配点集获取单元203，用于获取特征点集T中每一个特征点在参考图像的冗余特征点集R中的候选匹配点集；
初步匹配特征点对获取单元204，用于基于特征点集T的空间邻域图，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配,得到一组初步匹配特征点对；
错误匹配剔除单元205，用于剔除初步匹配特征点对中的错误匹配,得到所述参考图像和所述目标图像的特征匹配点对。
可选地，作为本发明的一个实施例，所述冗余特征点集构造单元201包括：
变形图像获取模块，用于获取参考图像的预先设定的不同尺度空间的变形图像；
第一特征检测模块，用于采用第一特征点检测器检测参考图像及获取到的每一个变形图像上的特征点；
冗余特征点集形成模块，用于将第一特征检测模块检测到的所有特征点汇集形成所述的冗余特征点集R。
可选地，作为本发明的一个实施例，所述特征点集构造单元202，包括：
第二特征检测模块，用于采用第二特征点检测器检测目标图像上的特征点；
特征点集构造模块，用于将第二特征检测模块检测到的目标图像上的特征点汇集形成所述的特征点集T。
可选地，作为本发明的一个实施例，所述的候选匹配点集获取单元203，采用近似最近邻搜索算法获取特征点集T中每一个特征点在所述冗余特征点集R上的候选匹配点集。
可选地，作为本发明的一实施例，所述初步匹配特征点对获取单元204，包括：
空间邻域图构建模块，用于基于特征点集T中所有的特征点构建三角剖分图，得到特征点集T对应的空间邻域图；
初步匹配模块，用于在空间邻域图构建模块所得到的空间邻域图中，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配，得到一组匹配特征点对，该组匹配特征点对即为所述的一组初步匹配特征点对。
可选地，作为本发明的一个实施例，所述错误匹配剔除单元205，包括：
正确匹配判断模块，用于判断初步匹配特征点对获取单元204所得到的每一个初步匹配特征点对(Vs，Ks)是否为正确匹配，s＝1，2，…，L；其中：(Vs，Ks)为初步匹配特征点对获取单元204所得到的所有初步匹配特征点对中的第s个特征点对，Vs为参考图像上的特征点，Ks为目标图像上的特征点，L为初步匹配特征点对获取单元204得到的全部初步匹配特征点对的总个数；
特征匹配点对获取模块，用于获取正确匹配判断模块判定为正确匹配的所有的初步匹配特征点对，得到参考图像和目标图像的特征匹配点对；
其中，所述正确匹配判断模块，判断初步匹配特征点对获取单元204所得到的每一个初步匹配特征点对(Vs，Ks)是否为正确匹配的方法为：
汇集以特征点Vs为圆心、以预先设定的半径阈值φ为半径的区域内的全部初步匹配特征点对，形成第一组初步匹配特征点对；
汇集以特征点Ks为圆心、以所述半径阈值φ为半径的区域内的所有初步匹配特征点对，形成第二组初步匹配特征点对；
统计第一组初步匹配特征点对中与第二组初步匹配特征点对中相同的初步匹配特征点对的数量，记为统计数量；
判断所述统计数量是否达到预先设定的数量阈值Q：
若是，则判定特征点对(Vs，Ks)为正确匹配；
若否，则判定特征点对(Vs，Ks)为错误匹配。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
需要说明的是，本说明书中所涉及的“参考图像”和“目标图像”是输入的待进行特征匹配的两张图像，其中所涉及的“参考”和“目标”只是用于区分待进行特征匹配的两张图像，具体实现时，本领域技术人员可依据实际需要，指定待进行特征匹配的两张图像中的任意一幅为“参考图像”、而指定另外的一幅为“目标图像”，也可以用“第一图像”和“第二图像”替换所述的“参考图像”和“目标图像”。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于邻域推断的图像特征匹配方法，其特征在于，包括步骤：
构造参考图像的冗余特征点集R；
构造目标图像的特征点集T；所述目标图像和所述参考图像为读入的待进行特征匹配的两张图像；
获取特征点集T中每一个特征点在参考图像的冗余特征点集R中的候选匹配点集；
基于特征点集T的空间邻域图，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配,得到一组初步匹配特征点对；
剔除初步匹配特征点对中的错误匹配,得到所述参考图像和所述目标图像的特征匹配点对。
2.根据权利要求1所述的基于邻域推断的图像特征匹配方法，其特征在于，
所述构造参考图像的冗余特征点集R，实现方法为：
获取参考图像的预先设定的不同尺度空间的变形图像；
采用第一特征点检测器检测参考图像及获取到的每一个变形图像上的特征点；
将上述采用第一特征点检测器检测到的所有特征点汇集形成所述的冗余特征点集R；
所述构造目标图像的特征点集T，实现方法为：采用第二特征点检测器检测目标图像上的特征点，将检测到的目标图像上的特征点汇集形成所述的特征点集T。
3.根据权利要求1所述的基于邻域推断的图像特征匹配方法，其特征在于，获取特征点集T中每一个特征点在参考图像的冗余特征点集R中的候选匹配点集，实现方法为：采用近似最近邻搜索算法，获取特征点集T中每一个特征点在所述冗余特征点集R上的候选匹配点集。
4.根据权利要求1所述的基于邻域推断的图像特征匹配方法，其特征在于，基于特征点集T的空间邻域图，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配,得到一组初步匹配特征点对，实现方法为：
基于特征点集T中所有的特征点构建三角剖分图，得到特征点集T对应的空间邻域图；
在所得到的空间邻域图中，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配,得到一组匹配特征点对，该组匹配特征点对即为所述的一组初步匹配特征点对。
5.根据权利要求1所述的基于邻域推断的图像特征匹配方法，其特征在于，剔除初步匹配特征点对中的错误匹配,得到所述参考图像和所述目标图像的特征匹配点对，实现方法为：
判断所得到的每一个初步匹配特征点对(Vs，Ks)是否为正确匹配，并获取其中判定为正确匹配的所有的初步匹配特征点对,即得到参考图像和目标图像的特征匹配点对；所述(Vs，Ks)为得到的所有初步匹配特征点对中的第s个特征点对,其中，Vs为参考图像上的特征点,Ks为目标图像的特征点，s＝1,2,...,L，L为所得到的全部初步匹配特征点对的总个数；
其中，判断所得到的每一个初步匹配特征点对(Vs，Ks)是否为正确匹配的实现方法为：
汇集以特征点Vs为圆心、以预先设定的半径阈值φ为半径的区域内的全部初步匹配特征点对，形成第一组初步匹配特征点对；
汇集以特征点Ks为圆心、以所述半径阈值φ为半径的区域内的所有初步匹配特征点对，形成第二组初步匹配特征点对；
统计第一组初步匹配特征点对中与第二组初步匹配特征点对中相同的初步匹配特征点对的数量，记为统计数量；
判断所述统计数量是否达到预先设定的数量阈值Q:
若是，则判定特征点对(Vs，Ks)为正确匹配；
若否，则判定特征点对(Vs，Ks)为错误匹配。
6.一种基于邻域推断的图像特征匹配***，其特征在于，包括：
目标图像读取单元，用于读入待进行特征匹配的两张图像：目标图像和参考图像；
冗余特征点集构造单元，用于构造参考图像的冗余特征点集R；
特征点集构造单元，用于构造目标图像的特征点集T；
候选匹配点集获取单元，用于获取特征点集T中每一个特征点在参考图像的冗余特征点集R中的候选匹配点集；
初步匹配特征点对获取单元，用于基于特征点集T的空间邻域图，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配,得到一组初步匹配特征点对；
错误匹配剔除单元，用于剔除初步匹配特征点对中的错误匹配,得到所述参考图像和所述目标图像的特征匹配点对。
7.根据权利要求6所述的基于邻域推断的图像特征匹配***，其特征在于，所述冗余特征点集构造单元包括：
变形图像获取模块，用于获取参考图像的预先设定的不同尺度空间的变形图像；
第一特征检测模块，用于采用第一特征点检测器检测参考图像及获取到的每一个变形图像上的特征点；
冗余特征点集形成模块，用于将第一特征检测模块检测到的所有特征点汇集形成所述的冗余特征点集R；
所述特征点集构造单元，包括：
第二特征检测模块，用于采用第二特征点检测器检测目标图像上的特征点；
特征点集构造模块，用于将第二特征检测模块检测到的目标图像上的特征点汇集形成所述的特征点集T。
8.根据权利要求6所述的基于邻域推断的图像特征匹配***，其特征在于，所述的候选匹配点集获取单元，采用近似最近邻搜索算法获取特征点集T中每一个特征点在所述冗余特征点集R上的候选匹配点集。
9.根据权利要求6所述的基于邻域推断的图像特征匹配***，其特征在于，初步匹配特征点对获取单元，包括：
空间邻域图构建模块，用于基于特征点集T中所有的特征点构建三角剖分图，得到特征点集T对应的空间邻域图；
初步匹配模块，用于在空间邻域图构建模块所得到的空间邻域图中，对获取到的所有候选匹配点集中的每一个候选匹配点进行特征匹配,得到一组匹配特征点对，该组匹配特征点对即为所述的一组初步匹配特征点对。
10.根据权利要求6所述的基于邻域推断的图像特征匹配***，其特征在于，错误匹配剔除单元，包括：
正确匹配判断模块，用于判断初步匹配特征点对获取单元所得到的每一个初步匹配特征点对(Vs，Ks)是否为正确匹配，s＝1,2,...,L；其中:(Vs，Ks)为初步匹配特征点对获取单元所得到的所有初步匹配特征点对中的第s个特征点对,Vs为参考图像上的特征点,Ks为目标图像上的特征点，L为初步匹配特征点对获取单元得到的全部初步匹配特征点对的总个数；
特征匹配点对获取模块，用于获取正确匹配判断模块判定为正确匹配的所有的初步匹配特征点对,得到参考图像和目标图像的特征匹配点对；
其中，所述正确匹配判断模块，判断初步匹配特征点对获取单元所得到的每一个初步匹配特征点对(Vs，Ks)是否为正确匹配的方法为：
汇集以特征点Vs为圆心、以预先设定的半径阈值φ为半径的区域内的全部初步匹配特征点对，形成第一组初步匹配特征点对；
汇集以特征点Ks为圆心、以所述半径阈值φ为半径的区域内的所有初步匹配特征点对，形成第二组初步匹配特征点对；
统计第一组初步匹配特征点对中与第二组初步匹配特征点对中相同的初步匹配特征点对的数量，记为统计数量；
判断所述统计数量是否达到预先设定的数量阈值Q:
若是，则判定特征点对(Vs，Ks)为正确匹配；
若否，则判定特征点对(Vs，Ks)为错误匹配。
CN202011353954.2A 2020-11-26 2020-11-26 一种基于邻域推断的图像特征匹配方法及*** Pending CN112465025A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011353954.2A CN112465025A (zh) 2020-11-26 2020-11-26 一种基于邻域推断的图像特征匹配方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011353954.2A CN112465025A (zh) 2020-11-26 2020-11-26 一种基于邻域推断的图像特征匹配方法及***

Publications (1)

Publication Number Publication Date
CN112465025A true CN112465025A (zh) 2021-03-09

Family

ID=74809644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011353954.2A Pending CN112465025A (zh) 2020-11-26 2020-11-26 一种基于邻域推断的图像特征匹配方法及***

Country Status (1)

Country Link
CN (1) CN112465025A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140365A (zh) * 2022-01-27 2022-03-04 荣耀终端有限公司 基于事件帧的特征点匹配方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120148164A1 (en) * 2010-12-08 2012-06-14 Electronics And Telecommunications Research Institute Image matching devices and image matching methods thereof
CN109101985A (zh) * 2018-06-03 2018-12-28 东南大学 一种基于自适应邻域测试的图像误匹配点对剔除方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120148164A1 (en) * 2010-12-08 2012-06-14 Electronics And Telecommunications Research Institute Image matching devices and image matching methods thereof
CN109101985A (zh) * 2018-06-03 2018-12-28 东南大学 一种基于自适应邻域测试的图像误匹配点对剔除方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIA-WANG BIAN ET AL.: "GMS：Grid-Based Motion Statistics for Fast，Ultra-Robust Feature Correspondence", 《INTERNATIONAL JOURNAL OF COMPUTER VISION(2020)》 *
TOBY COLLINS ET AL.: "An Analysis of Errors in Graph-Based Keypoint Matching and Proposed Solutions", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140365A (zh) * 2022-01-27 2022-03-04 荣耀终端有限公司 基于事件帧的特征点匹配方法及电子设备

Similar Documents

Publication Publication Date Title
CN107123161A (zh) 一种基于narf和fpfh的接触网零全网三维重建方法
CN106997605B (zh) 一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法
CN106651827A (zh) 一种基于sift特征的眼底图像配准方法
CN102236794A (zh) 3d场景中3d对象的识别和姿态确定
CN102521816A (zh) 一种云数据中心机房实时宽场景监控合成方法
CN108550166B (zh) 一种空间目标图像匹配方法
CN107230197B (zh) 基于卫星云图和rvm的热带气旋客观定强方法
CN112163588A (zh) 基于智能进化的异源图像目标检测方法、存储介质及设备
CN110309808A (zh) 一种大范围尺度空间下的自适应烟雾根节点检测方法
CN110232387A (zh) 一种基于kaze-hog算法的异源图像匹配方法
CN111898419B (zh) 基于级联深度卷积神经网络的分区滑坡检测***及方法
JP2011002919A (ja) 物体検出方法、物体検出装置
CN109409418A (zh) 一种基于词袋模型的回环检测方法
Ando et al. Robust surface reconstruction of plant leaves from 3D point clouds
CN104751185A (zh) 基于均值漂移遗传聚类的sar图像变化检测方法
JP6482130B2 (ja) 幾何検証装置、プログラム及び方法
Wang et al. Automatic fault surface detection by using 3D Hough transform
CN109165603B (zh) 一种舰船检测方法及装置
CN110147837A (zh) 基于特征聚焦的任意方向密集目标检测方法、***及设备
CN112906795A (zh) 一种基于卷积神经网络的鸣笛车辆判定方法
CN112465025A (zh) 一种基于邻域推断的图像特征匹配方法及***
Hirshberg et al. Evaluating the automated alignment of 3D human body scans
CN113011359B (zh) 一种基于图像的同时检测平面结构和生成平面描述的方法及应用
Zvietcovich et al. A novel method for estimating the complete 3D shape of pottery with axial symmetry from single potsherds based on principal component analysis
Xiao et al. A topological approach for segmenting human body shape

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210309

RJ01 Rejection of invention patent application after publication