CN110633743A - 一种基于邻域支撑的图像匹配方法 - Google Patents
一种基于邻域支撑的图像匹配方法 Download PDFInfo
- Publication number
- CN110633743A CN110633743A CN201910845966.8A CN201910845966A CN110633743A CN 110633743 A CN110633743 A CN 110633743A CN 201910845966 A CN201910845966 A CN 201910845966A CN 110633743 A CN110633743 A CN 110633743A
- Authority
- CN
- China
- Prior art keywords
- matching
- neighborhood
- support
- image
- true
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于邻域支撑的图像匹配方法,包括以下步骤:S1,获取一幅图像对,分析邻域窗口,并在邻域窗口内计算图像对的特征;S2,分析邻域窗口,并划分特征空间;S3,在邻域窗口,基于图像对的特征点计算匹配正确的概率、对应特征空间点不同的概率与相同的概率;S4,计算邻域匹配支撑统计量;S5,计算支撑统计量的统计特征。根据本发明提供的基于邻域支撑的图像匹配方法,摒去单独依照距离判定特征点相似度的思想,在采用最邻近算法的前提下,再将周围特征点匹配的统计量作为自身匹配对错的判断条件,起到在短时间内增加匹配点对数的作用,从而为图像匹配缩短所需时间并且提高匹配精度。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种基于邻域支撑的图像匹配方法。
背景技术
在图像处理过程中,常需要对两幅图像进行匹配,由于两幅图像间的公共特征点不仅仅是简单的平移关系,因此,图像匹配是一个棘手的问题。但是由于图像之间的变换为刚性变换,即旋转变换加平移变换,这又给图像匹配带来了一个可行性求解方案。即找到一个旋转矩阵和平移矩阵,用其代表两幅图像之间的刚性变换关系,从而能将两幅图像很好地匹配。
传统的图像匹配方法是在不同的图像之间匹配描述符向量,通常是基于向量之间的距离,例如马氏距离或欧氏距离。但是仅采用距离作为图像匹配正确与否的判断条件,不仅图像匹配长,且匹配精度较差。
发明内容
本发明的目的在于解决现有技术图像匹配长、匹配精度差的问题,提出一种基于邻域支撑的图像匹配方法。
一种基于邻域支撑的图像匹配方法,其特征在于,包括以下步骤:
S1,获取一幅图像对,分析邻域窗口,并在邻域窗口内计算图像对的特征;
S2,分析邻域窗口,并划分特征空间;
S3,在邻域窗口,基于图像对的特征点计算匹配正确的概率、对应特征空间点不同的概率与相同的概率;
S4,计算邻域匹配支撑统计量;
S5,计算支撑统计量的统计特征。
上述基于邻域支撑的图像匹配方法,其中,正确的特征点匹配需满足以下三个约束:
(1)运动平滑度使小阈值的邻域实现真匹配,即具有相同的三维空间点,而假匹配周围的邻域将会看到不同的三维空间位置,即具有不同的三维空间点,邻域被定义为围绕着某个特征点像素周围的3*3或者5*5窗口,假设存在一个真匹配的邻域,即具有相同的三维空间区域,因此在两个图像中有很多的相似特征,即为邻域匹配支撑;
(2)如果某个邻域内既有匹配正确的点匹配对,又有匹配错误的匹配对,则分别统计匹配正确与匹配错误的数量,最终由统计量判断该邻域的匹配正误;即当匹配正确的统计量多时,则保留匹配正确的匹配对;如果匹配错误的匹配量多时,则认为该邻域内全部是误匹配;
(3)一个邻域内的所有特征点都具有相同的运动属性,根据该属性可以推导,如果一个邻域内只有一个匹配点,不管其匹配正确与否,都认为该像素邻域内的匹配是假匹配。
上述基于邻域支撑的图像匹配方法,其中,步骤S1具体包括:
设定一幅图像对{Ia,Ib}分别具有{N,M}个特征点,X={x1,x2,…,xi,…,xN}是图像Ia中所有特征点的集合,X最大值取|X|=N,将X划分为真匹配Xi和假匹配的集合,Xi表示匹配数,Si表示邻域匹配支撑统计量,邻域匹配支撑统计量与匹配数之间相差1,通过下式分析每个匹配的邻域支撑量:
Si=|Xi|-1。
上述基于邻域支撑的图像匹配方法,其中,步骤S2具体包括:
选取的邻域窗口为3×3或者5×5,同时考虑部分相似或者非常相似的匹配情况,假设fa是图像Ia区域里N个特征匹配之一,对应的正确匹配的概率t,在图像对{Ia,Ib}做像素匹配时,计算特征点邻域的匹配概率。
上述基于邻域支撑的图像匹配方法,其中,步骤S3具体包括:
当像素a与像素b具有相同的邻域特征,两种匹配正确的概率为下式:
式中,m为图像Ib中的真匹配特征,M为Ib所有特征,β为参数调节因子;
利用上式得到邻域匹配支撑统计量Si的分布,即像素xi附近邻域内的匹配统计量,从而得到一对新的二项分布:
其中,Si的总体可能是双模态的,所以,将Si需要分成真、假匹配两种指标。
上述基于邻域支撑的图像匹配方法,其中,步骤S4具体包括:
如果在一个大区域中,一个真匹配邻域允许存在多个假匹配的小区域,反之,一个假匹配邻域中也允许存在多个真匹配的小区域,因此便能得到更一般的统计模式,如式下:
上述基于邻域支撑的图像匹配方法,其中,步骤S5具体包括:
假设每个小区域对都具有{n,m}个特征点,则将Si表示为新的二项分布,满足下式:
Si分布的均值和标准差分别为:
根据本发明提供的基于邻域支撑的图像匹配方法,摒去单独依照距离判定特征点相似度的思想,在采用最邻近算法的前提下,再将周围特征点匹配的统计量作为自身匹配对错的判断条件,起到在短时间内增加匹配点对数的作用,从而为图像匹配缩短所需时间并且提高匹配精度。
附图说明
本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例提供的基于邻域支撑的图像匹配方法的流程图;
图2为采用本实施例的方法对一幅图像对进行匹配的示意图;
图3为fa的事件空间示意图;
图4为假匹配与真匹配对应的分布示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例提供的基于邻域支撑的图像匹配方法,其包括步骤S101~S105:
S1,获取一幅图像对,分析邻域窗口,并在邻域窗口内计算图像对的特征;
S2,分析邻域窗口,并划分特征空间;
S3,在邻域窗口,基于图像对的特征点计算匹配正确的概率、对应特征空间点不同的概率与相同的概率;
S4,计算邻域匹配支撑统计量;
S5,计算支撑统计量的统计特征。
为了理解本发明,先对以下名词进行解释:
1.图像邻域:邻域就是相邻的区域;
2.邻域支撑量:邻域周围匹配对错的数据统计量-1;
3.最邻近匹配:一种图像匹配算法,匹配数目少;
4.贝叶斯规则:一种概率分布;
5.匹配约束:作为检验是否正确匹配的评定标准。
给定从同一个三维场景中,不同视角拍摄的多幅图像,特征点匹配正确意味着,同一场景点在一幅图像中的一个像素会被识别为另一个图像中对应的像素。在此,由于摄像机之间存在一种特定的运动特性,并且该运动特性具有平滑性,所以,相邻的两幅图像中的公共像素和特征点会一起移动。因此,正确的特征点匹配需要满足以下三个约束。
(1)运动平滑度使小阈值的邻域实现真匹配,即具有相同的三维空间点。而假匹配周围的邻域将会看到不同的三维空间位置,即具有不同的三维空间点。在本发明中,邻域通常被定义为围绕着某个特征点像素周围的3*3或者5*5窗口。假设存在一个真匹配的邻域,即具有相同的三维空间区域,因此在两个图像中有很多的相似特征,这即为邻域匹配支撑。最终,只需统计邻域内的相关匹配支撑数,从而大大缩短匹配时间。
(2)如果某个邻域内既有匹配正确的点匹配对,又有匹配错误的匹配对,则分别统计匹配正确与匹配错误的数量,最终由统计量判断该邻域的匹配正误。即当匹配正确的统计量多时,则保留匹配正确的匹配对;如果匹配错误的匹配量多时,则认为该邻域内全部是误匹配。
(3)一个邻域内的所有特征点都具有相同的运动属性。根据该属性可以推导,如果一个邻域内只有一个匹配点,不管其匹配正确与否,都认为该像素邻域内的匹配是假匹配。
如图2所示,从像素邻域中能够看出,在像素位置18处,该像素邻域有多条匹配线条,依据约束(1),可以判断该像素存在邻域匹配支撑现象。但在像素位置9中,该像素邻域没有其他匹配的线条。依据约束(3),可以判断该像素的匹配是错误的,也即不存在匹配支撑现象。同时,对于图像匹配来说,是一个非对即错的过程,不可能说这个像素点既是正确匹配,又是错误匹配,所以,所有的像素匹配最终会满足二次分布。
其中,S1,获取一幅图像对,分析邻域窗口,并在邻域窗口内计算图像对的特征,具体方法如下:
假设一幅图像对{Ia,Ib}分别具有{N,M}个特征点。X={x1,x2,…,xi,…,xN}是图像Ia中所有特征点的集合。X最大值取|X|=N,将X划分为真匹配Xi和假匹配的集合。Xi表示匹配数,Si表示邻域匹配支撑统计量。很容易知道,邻域匹配支撑统计量与匹配数之间相差1。因此,可以通过式(1)分析每个匹配的邻域支撑量。
Si=|Xi|-1 (1)
S2,分析邻域窗口,并划分特征空间,具体方法如下:
其中,所选取的邻域窗口为3×3或者5×5。但由于区域很小,经常容易陷入只考虑理想化的真匹配或者假匹配对的陷进里,从而忽略了部分相似或者非常相似的像素匹配对。因此,本算法同时考虑部分相似或者非常相似的匹配情况。假设fa是图像Ia区域里N个特征匹配之一,对应的正确匹配的概率t。因此,算法的目的在于在图像对{Ia,Ib}做像素匹配时,计算特征点邻域的匹配概率。表1总结了匹配事件及其所对应的符号,图3则展示了fa的事件空间。
表1匹配事件及其所对应的符号
其中,S3,在邻域窗口,基于图像对的特征点计算匹配正确的概率、对应特征空间点不同的概率与相同的概率,具体方法如下:
当像素a与像素b具有相同的邻域特征,根据事件发生概率及约束(2),他们匹配正确的概率为式(2)。
式中,m为图像Ib中的真匹配特征,M为Ib所有特征,β为参数调节因子。
为了求解两个具有相同邻域特征点所对应的三维空间点相同的概率,此时,令则存在式(3)。
式(4)与式(3)非常相似,计算方法也类似,概率可以通过贝叶斯规则扩展为与无关的子概率。将表3-2和式(2)中的值代入到式(3)和式(4)中,便可以得到最终概率结果。并且,由于每个像素特征点之间的匹配是相互独立的,因此,利用约束(1)、式(3)和(4),我们可以近似地得到邻域匹配支撑统计量Si的分布,即像素xi附近邻域内的匹配统计量,从而得到一对新的二项分布:
尽管方程(5)看起来很复杂,但可以看出,真匹配与假匹配有邻域支撑统计量Si,它们遵循非常不同的分布。这意味着Si的总体可能是双模态的,所以,将Si需要分成真、假匹配两种指标,如图4。
其中,S4,计算邻域匹配支撑统计量,具体方法如下:
像素运动在大面积上是平滑的,并且,邻域支撑现象只能在小窗口范围内满足约束(1)。在过大的窗口中,真匹配可能会包含一些假匹配,反之亦然。这样会降低真、假匹配分布的可分离性。因此,在约束(1)的基础上再做改进,即如果在一个大区域中,一个真匹配邻域允许存在多个假匹配的小区域,反之,一个假匹配邻域中也允许存在多个真匹配的小区域,因此便能得到更一般的统计模式,如式(6)。
其中,S5,计算支撑统计量的统计特征,统计特征包括分布、方差等,具体方法如下:
假设每个小区域对都具有{n,m}个特征点,类似于式(5),则将Si表示为新的二项分布,满足式(7)。
Si分布的均值和标准差分别为:
在处理统计事件时,认为离均值x差远的事件发生的可能性非常小。因此可以进行量化:
需要指出的是,匹配是一个非对即错的过程。不可能说这个像素点既是正确匹配,又是错误匹配。所以,总共有m*n个像素与m*n个像素进行匹配,最终可以总结成二项式分布。将像素邻域内其他匹配对的统计量作为该像素匹配正误的评判指标。根据统计量与阈值做大小比较,归纳总结每个极小邻域内的匹配情况。
与传统技术方案相比,本实施例提供的方法具有以下优点:
1.该方法主要依据运动平滑度使小阈值的邻域实现真匹配,即具有相同的三维空间点,而假匹配周围的邻域将会看到不同的三维空间位置,即具有不同的三维空间点;从而可以转化为一种高效的基于邻域支撑匹配算法统计器;
2.如果某个邻域内既有匹配正确的点匹配对,又有匹配错误的匹配对,则分别统计匹配正确与匹配错误的数量,最终由统计量判断该邻域的匹配正误;从而将运动平滑约束条件转换为计算真、假匹配的统计度量。展示了这种约束可以在以前难以处理的场景中进行匹配;
3.该方法展示了一个邻域内的所有特征点都具有相同的运动属性;
4.应用本发明得到的实验结果,在匹配对的数量上,特征点匹配数目达到了几十万个,实现了指数级的增加,匹配精度也能达97%,为图像匹配的高精度要求奠下了基础。在匹配所需的时间上,只需要50ms左右,为图像匹配的实时性提供了保证。
综上,根据本发明提供的基于邻域支撑的图像匹配方法,摒去单独依照距离判定特征点相似度的思想,在采用最邻近算法的前提下,再将周围特征点匹配的统计量作为自身匹配对错的判断条件,起到在短时间内增加匹配点对数的作用,从而为图像匹配缩短所需时间并且提高匹配精度。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
Claims (7)
1.一种基于邻域支撑的图像匹配方法,其特征在于,包括以下步骤:
S1,获取一幅图像对,分析邻域窗口,并在邻域窗口内计算图像对的特征;
S2,分析邻域窗口,并划分特征空间;
S3,在邻域窗口,基于图像对的特征点计算匹配正确的概率、对应特征空间点不同的概率与相同的概率;
S4,计算邻域匹配支撑统计量;
S5,计算支撑统计量的统计特征。
2.根据权利要求1所述的基于邻域支撑的图像匹配方法,其特征在于,正确的特征点匹配需满足以下三个约束:
(1)运动平滑度使小阈值的邻域实现真匹配,即具有相同的三维空间点,而假匹配周围的邻域将会看到不同的三维空间位置,即具有不同的三维空间点,邻域被定义为围绕着某个特征点像素周围的3*3或者5*5窗口,假设存在一个真匹配的邻域,即具有相同的三维空间区域,因此在两个图像中有很多的相似特征,即为邻域匹配支撑;
(2)如果某个邻域内既有匹配正确的点匹配对,又有匹配错误的匹配对,则分别统计匹配正确与匹配错误的数量,最终由统计量判断该邻域的匹配正误;即当匹配正确的统计量多时,则保留匹配正确的匹配对;如果匹配错误的匹配量多时,则认为该邻域内全部是误匹配;
(3)一个邻域内的所有特征点都具有相同的运动属性,根据该属性可以推导,如果一个邻域内只有一个匹配点,不管其匹配正确与否,都认为该像素邻域内的匹配是假匹配。
4.根据权利要求3所述的基于邻域支撑的图像匹配方法,其特征在于,步骤S2具体包括:
选取的邻域窗口为3×3或者5×5,同时考虑部分相似或者非常相似的匹配情况,假设fa是图像Ia区域里N个特征匹配之一,对应的正确匹配的概率t,在图像对{Ia,Ib}做像素匹配时,计算特征点邻域的匹配概率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910845966.8A CN110633743A (zh) | 2019-09-09 | 2019-09-09 | 一种基于邻域支撑的图像匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910845966.8A CN110633743A (zh) | 2019-09-09 | 2019-09-09 | 一种基于邻域支撑的图像匹配方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110633743A true CN110633743A (zh) | 2019-12-31 |
Family
ID=68971963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910845966.8A Pending CN110633743A (zh) | 2019-09-09 | 2019-09-09 | 一种基于邻域支撑的图像匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110633743A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103729654A (zh) * | 2014-01-22 | 2014-04-16 | 青岛新比特电子科技有限公司 | 基于改进sift算法的图像匹配检索*** |
CN105869120A (zh) * | 2016-06-16 | 2016-08-17 | 哈尔滨工程大学 | 一种图像拼接的实时性优化方法 |
US20180225542A1 (en) * | 2015-09-30 | 2018-08-09 | Tencent Technology (Shenzhen) Company Limited | Image information recognition processing method and device, and computer storage medium |
CN109117851A (zh) * | 2018-07-06 | 2019-01-01 | 航天星图科技(北京)有限公司 | 一种基于网格统计约束的视频图像匹配方法 |
-
2019
- 2019-09-09 CN CN201910845966.8A patent/CN110633743A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103729654A (zh) * | 2014-01-22 | 2014-04-16 | 青岛新比特电子科技有限公司 | 基于改进sift算法的图像匹配检索*** |
US20180225542A1 (en) * | 2015-09-30 | 2018-08-09 | Tencent Technology (Shenzhen) Company Limited | Image information recognition processing method and device, and computer storage medium |
CN105869120A (zh) * | 2016-06-16 | 2016-08-17 | 哈尔滨工程大学 | 一种图像拼接的实时性优化方法 |
CN109117851A (zh) * | 2018-07-06 | 2019-01-01 | 航天星图科技(北京)有限公司 | 一种基于网格统计约束的视频图像匹配方法 |
Non-Patent Citations (1)
Title |
---|
JIAWANG BIAN等: "GMS:Grid-based Motion Statistics for Fast,Ultra-robust Feature Correspondence", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Improved saliency detection in RGB-D images using two-phase depth estimation and selective deep fusion | |
WO2020155755A1 (zh) | 基于谱聚类的异常点比例优化方法、装置及计算机设备 | |
JP5797789B2 (ja) | 準複製画像検索のための方法およびシステム | |
CN102254006B (zh) | 基于内容的互联网视频检索方法 | |
CN108182421A (zh) | 视频分割方法和装置 | |
CN113112519B (zh) | 基于感兴趣目标分布的关键帧筛选方法 | |
US11816117B2 (en) | Data retrieval method and apparatus | |
US10157439B2 (en) | Systems and methods for selecting an image transform | |
CN104899899A (zh) | 一种基于密度峰值的颜色量化方法 | |
WO2023221713A1 (zh) | 图像编码器的训练方法、装置、设备及介质 | |
US20210312587A1 (en) | Distributed image analysis method and system, and storage medium | |
WO2020082866A1 (zh) | 运动轨迹合成方法及电子设备 | |
CN108830283B (zh) | 一种图像特征点匹配方法 | |
CN107563986B (zh) | 图像区域的判断方法和*** | |
CN110633743A (zh) | 一种基于邻域支撑的图像匹配方法 | |
CN111695381B (zh) | 一种文本特征提取方法、装置、电子设备及可读存储介质 | |
US20210034915A1 (en) | Method and apparatus for object re-identification | |
CN114612967A (zh) | 一种人脸聚类的方法、装置、设备及存储介质 | |
CN113689467B (zh) | 一种适用于平面跟踪的特征点优化方法、*** | |
CN114443628B (zh) | 一种基于聚类的金融缺失数据处理方法 | |
CN117495916B (zh) | 多目标轨迹关联方法、装置、通信设备及存储介质 | |
CN113689466B (zh) | 一种基于特征点的平面跟踪方法、*** | |
US20230161845A1 (en) | Method of updating data cluster | |
CN111862161B (zh) | 一种目标跟踪处理方法及装置 | |
Michaelsen et al. | Shortcuts in Production Systems-A way to include clustering in structural Pattern Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191231 |