CN103400388B - 一种利用RANSAC消除Brisk关键点错误匹配点对的方法 - Google Patents
一种利用RANSAC消除Brisk关键点错误匹配点对的方法 Download PDFInfo
- Publication number
- CN103400388B CN103400388B CN201310339996.4A CN201310339996A CN103400388B CN 103400388 B CN103400388 B CN 103400388B CN 201310339996 A CN201310339996 A CN 201310339996A CN 103400388 B CN103400388 B CN 103400388B
- Authority
- CN
- China
- Prior art keywords
- point
- matching
- brisk
- points
- ransac
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000005070 sampling Methods 0.000 claims abstract description 36
- 238000009499 grossing Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 24
- 230000008878 coupling Effects 0.000 claims description 23
- 238000010168 coupling process Methods 0.000 claims description 23
- 238000005859 coupling reaction Methods 0.000 claims description 23
- 230000000875 corresponding effect Effects 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000000052 comparative effect Effects 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000013011 mating Effects 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 3
- 239000006185 dispersion Substances 0.000 claims 1
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 4
- 238000001914 filtration Methods 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001614291 Anoplistes Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000004153 renaturation Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种利用RANSAC消除Brisk关键点错误匹配点对的方法,首先采用高斯平滑滤波对待处理图像进行预处理以去除噪声对后续算法的影响,其次采用Brisk(Binary Robust Invariant Scale Keypoint)对经过上述平滑后的两幅图像进行关键点检测、描述和匹配,从而获得匹配点对,最后利用RANSAC(Random Sampling Consensus)对得到的匹配点对进行进一步处理,消除错误匹配点对,从而提高了匹配精度。与原本仅仅利用Brisk进行关键点检测、描述和匹配的方法相比,本发明在保持原有方法高速的匹配和计算速度的基础之上,进一步提高了匹配精度,为后续用于高精度跟踪提供基础。
Description
技术领域
本发明涉及一种提高匹配精度方法,特别是一种利用RANSAC(Random SamplingConsensus)消除Brisk(Binary Robust Invariant Scale Keypoint)关键点错误匹配点对的方法,从而提高匹配精度的方法,主要用于图像处理、计算机视觉、目标识别和匹配、3D场景重建和目标跟踪。
背景技术
将图像分解为局部感兴趣区域或‘特征’是计算机视觉中广泛应用的技术。图像表达、目标识别和匹配、3D场景重建和运动跟踪都依赖于图像中稳定、表达性强的特征,这些都导致了越来越多对特征提取方法的研究。
理想的关键点检测子发现图像显著性区域,以便发生视角变化时仍然能够重复检测;更一般的是对所有的图像变换都比较鲁棒。类似的,理想的关键点描述子捕捉被检测的图像区域最重要和最具区分性的信息,以便遇到同样地结构时仍然能够被识别。此外,在获得了这些需要的性能之后,检测和描述的速度也需要优化,以满足实时性需求。
目前,SIFT作为一种高性能方法而被广泛接受,独特性强、对许多图像变换具有不变性——然而以计算复杂度作为代价。将FAST检测子和BRIEF描述方法结合起来提供一个更合适的实时应用方法。然而,尽管在速度上面的优势,但它的可靠性和稳健性对图像的变形和变换具有较小的容忍性,尤其是平面旋转和尺度变化。
从图像中抽取合适的特征的内在困难在于平衡两个矛盾的目标:高质量描述和低计算量。对高质量、高速度的特征日益增长的需求导致了更多的学者研究以更高的速率处理更丰富的数据的方法。为此,Stefan et al在2011年提出一种高质量、快速的关键点检测、描述和匹配的方法——Brisk(Binary Robust Invariant Scale Keypoint)。然而,由于环境因素等影响,会出现多个点对应到一个点的错误匹配情况,从而降低了关键点的重复性。因此,如何在保持关键点快速的检测、描述和匹配的基础上,进一步提高匹配精度是目前需要解决的问题。
发明内容
本发明技术解决问题:针对现有技术的不足,提供一种利用RANSAC(RandomSampling Consensus)消除Brisk(Binary Robust Invariant Scale Keypoint)关键点错误匹配点对的方法,在保持关键点快速的检测、描述和匹配的基础上,进一步提高匹配精度。
为实现这样的目的,本发明的技术方案:一种利用RANSAC消除Brisk关键点错误匹配点对的方法,包括如下步骤:
步骤一、图像预处理:采用高斯平滑滤波对待处理的两幅图像分别进行处理,去除噪声的影响,得到滤波后的平滑图像;
步骤二、对步骤一中得到的两幅平滑图像分别进行Brisk(Binary RobustInvariant Scale Keypoint)关键点检测、描述和匹配,得到两幅图像的对应匹配点对;
步骤三、利用RANSAC(Random Sampling Consensus)对步骤二得到的对应匹配点对进行处理,消除错误匹配点对,最终获得正确的匹配点对。
其中,所述步骤二中,对得到的两幅平滑图像分别进行Brisk(Binary RobustInvariant Scale Keypoint)关键点检测、描述和匹配的方法为:
步骤(21)、尺度空间特征点检测:使用AGAST(Adaptive and GenericAccelerated Segment Test)进行特征提取,尺度不变性是获得高质量特征点的前提,因此,不只在图像平面搜索最大值,同时在尺度空间内用FAST(Features from AcceleratedSegment Test)分数s作为显著性测量值,尺度空间金字塔包括n个octaves,第i个octave用ci表示,每个octave包含n个intra-octaves di,i={0,1,2,...,n-1},一般n=4,Octave是原始图像渐进半采样形成,di存在于ci与ci+1之间,第一个intra-octave由原始图像以1.5的采样因子降采样得到,其余的di由连续半采样得来,如果t表示尺度,那么t(ci)=2i,t(di)=2i.1.5,Brisk算法采用FAST9-16(Features from Accelerated Segment Test,需要在16个像素的圆上至少有连续9个像素的灰度值比中心像素灰度值更大或更小)提取特征点的方法如下:
步骤(211)、对每一个octave和每一层intra-octave应用FAST9-16,取相同的阈值T来分辨潜在的感兴趣区域;
步骤(212)、对步骤(211)得到的潜在感兴趣区域的点进行非极大值抑制:首先,问题点需要满足极大值条件,即在同层中八邻域的FAST score s最大,s定义为极大值是考虑到此点是图像角点;其次,同层和上下层的scores都应比此点的score s小,由此得到满足极大值条件的感兴趣点和所在层的尺度;
步骤(213)、检查步骤(212)得到的感兴趣点所在层上的patch,由于相邻层离散程度不同,需要在patch边缘进行插值,至此得到一系列具有亚像素精度和浮点尺度的关键点集;
步骤(22)、关键点描述:对于由步骤(21)得到的一系列关键点集,该关键点集由亚像素精确定位和相关浮点尺度组成,Brisk描述子由通过连接简单的灰度比较结果形成的二值串组成,在Brisk中,确定每个关键点的特征方向来获得方位归一化描述子,因此赢得旋转不变性;
步骤(23)、描述子匹配:匹配两个Brisk描述子是一个简单的汉明距离的计算,两个描述子中不同的比特位的数量为不相似度的度量。
其中,所述步骤三中,利用RANSAC算法对步骤二得到的匹配点对进行处理,消除错误匹配点对的方法为:
步骤(31)、随机在步骤二得到的候选匹配点集中选出三对不共线的匹配点对,根据选取出的匹配点对计算仿射变换矩阵M;
步骤(32)、针对匹配图像中的所有特征点X,计算仿射变换M·X,选出满足|MX-X'|<ε的点对构成内点,其中X'为对应X的匹配点对,ε为选定的阈值,如果内点数大于预设的阈值t,使用这些内点在最小二乘意义下重新计算变换矩阵M,再次更新内点数目,若内点数目小于t,返回步骤(31);
步骤(33)、经过N次迭代后,如果最大内点集合内包含的点的个数趋于稳定收敛且大于t,则可根据内点集合计算变换矩阵M,算法结束;否则,若最大内点集合内包含的点的个数不再改变且小于阈值t,则算法失败。
其中,所述步骤(22)中,对于由步骤(21)得到的一系列关键点集,该关键点集由亚像素精确定位和相关浮点尺度组成,Brisk描述子生成方法为:
步骤(41)、在每个关键点邻域内使用确定的采样模式,定义N个位置均匀分布在以关键点为圆心的同心圆上,其中小的黑色实心圆表示采样位置;大的虚线圆半径对应于平滑该采样点的灰度值所用的高斯核的标准差,模式尺度为1,对于图像中一个特定的关键点,考虑所有采样点对集,定义短距离点对和长距离点对;
步骤(42)、建立描述子:为了获得旋转和尺度归一化描述子,在关键点周围采用旋转采样模式,通过执行所有短距离点对的灰度比较获得二值比特矢量描述子。
本发明与现有技术相比的有益效果在于:
(1)本发明采用基于Brisk(Binary Robust Invariant Scale Keypoint)的特征点检测、描述和匹配方法,与传统基于sift、surf相比在保持较高质量的同时具有更高的匹配速度;
(2)本发明在基于Brisk(Binary Robust Invariant Scale Keypoint)的特征点检测、描述和匹配的基础上,利用RANSAC(Random Sampling Consensus)消除关键点错误匹配点对,在保持原有方法高质量和快速的同时,进一步提高了匹配精度。
(3)本发明采用基于Brisk(Binary Robust Invariant Scale Keypoint)的特征点检测、描述和匹配方法,在此基础上利用RANSAC(Random Sampling Consensus)消除关键点错误匹配点对,对视角变化、尺度、旋转和模糊情况均能适应。
附图说明
图1为本发明方法实现流程图;
图2为本发明采用Brisk关键点描述时使用的采样模式;
图3为本发明采用Brisk方法对两幅待匹配图像进行关键点检测、描述和匹配后的结果;
图4为本发明采用RANSAC方法消除错误匹配点对后得到的匹配结果;
图5为本发明对发生视角变化情况下的图像进行匹配后的结果;
图6为本发明对发生旋转和尺度变化情况下的图像进行匹配后的结果;
图7为本发明对发生模糊情况下的图像进行匹配后的结果。
具体实施方式
下面结合附图对本发明的实施例作详细说明。本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于以下的实施例。
本发明基于Brisk(Binary Robust Invariant Scale Keypoint)关键点检测、描述和匹配,输入图像为网上公开的数据集。
如图1所示,本发明提供了一种利用RANSAC(Random Sampling Consensus)消除Brisk(Binary Robust Invariant Scale Keypoint)关键点错误匹配点对的方法,包含以下步骤:
步骤一、图像预处理。由于光照或成像***的缺陷,获取的待处理图像会受到噪声的影响,从而影响后续的处理。因此,在执行后续的处理算法之前,对待处理图像进行预处理。本方法采用高斯平滑滤波来去除噪声的影响,得到滤波后的平滑图像。
步骤二、对步骤一中得到的两幅平滑图像分别进行Brisk(Binary RobustInvariant Scale Keypoint)关键点检测、描述和匹配,得到两幅图像的对应匹配点对,具体方法如下:
(2.1)尺度空间特征点检测:由于焦点聚集在计算有效性上,使用Mair et al提出的AGAST(Adaptive and Generic Accelerated Segment Test)方法进行特征提取。AGAST(Adaptive and Generic Accelerated Segment Test)是目前流行的FAST的加速性能的一种扩展。尺度不变性是获得高质量特征点的前提,因此,为了获得尺度不变性,不只在图像平面搜索最大值,同时在尺度空间内用FAST分数s作为显著性测量值。尽管离散化的尺度轴比可选高性能的检测子得间隔粗糙,但是Brisk检测子是在连续尺度空间估计每个特征点的真实尺度。
尺度空间金字塔包括n个octaves,第i个octave用ci表示,每个octave包含n个intra-octaves di,i={0,1,2,...,n-1},一般n=4,Octave是原始图像渐进半采样形成。di存在于ci与ci+1之间。第一个intra-octave由原始图像以1.5的采样因子降采样得到。其余的di由连续半采样得来。如果t表示尺度,那么t(ci)=2i,t(di)=2i·1.5。
AGAST在特征点检测中提供多种不同模式的采样模板,Brisk算法大部分采用其中的FAST9-16提取特征点,其需要在16个像素的圆上至少有连续9个像素的灰度值比中心像素灰度值更大或更小,具体方法如下:
(2.1.1)对每一个octave和每一层intra-octave应用FAST9-16,取相同的阈值T来分辨潜在的感兴趣区域;
(2.1.2)对上述(211)得到的潜在感兴趣区域的点进行非极大值抑制:首先,问题点需要满足极大值条件,即在同层中八邻域的FAST score s最大。s定义为极大值是考虑到此点是图像角点。其次,同层和上下层的scores都应比此点的score s小,由此得到满足极大值条件的感兴趣点和所在层的尺度。
检测等大小的方形patch内部:边长选择两个像素。既然相邻层是不同离散化的,就需要在patch边缘进行插值。由于在半采样和降采样时可能滤掉了潜在的最大值,因此需要进行插值,通过曲线拟合把最大值定位出来。
由于确定一个特征点需要除本层以外的上下两层,但c0层是最底层,因此需要虚拟一个d-1层,但这层不使用FAST9-16,而使用FAST5-8,即在8个像素的圆上至少有连续5个像素的灰度值比中心像素灰度值更大或更小。在这种情况下,不要求d-1层的patch分数比c0层上检测的点的分数低。
考虑到图像显著性不仅在图像上同时沿着尺度维作为一个连续的数量,对于每个检测到的极大值执行亚像素和连续尺度精确提取。为了约束提炼过程的复杂度,首先对每个三分数块(关键点所在层、上下层)在最小均方意义上拟合一个2D二次函数,生成三个亚像素显著性最大值。为了避免重采样,在每一层考虑一个3*3的分数块。其次,这些精细分数用来拟合沿着尺度轴的1D抛物线,生成最终的最大值上的分数估计和尺度估计。作为最后一步,在确定的尺度周围的层中块之间的图像坐标上进行重新差值,至此得到一系列具有亚像素精度和浮点尺度的关键点集。
(2.2)关键点描述:对于由步骤(2.1)得到的一系列关键点集(由亚像素精确定位和相关浮点尺度组成),Brisk描述子由通过连接简单的灰度比较结果形成的二值串组成。在Brisk中,确定每个关键点的特征方向来获得方位归一化描述子,因此赢得旋转不变性。此外,为了最大化描述性能,仔细选择亮度比较。
(2.2.1)采样模式和旋转估计。在关键点邻域内使用一种确定的采样模式。如图2所示,定义N个位置均匀分布在以关键点为圆心的同心圆上。其中小的黑色实心圆表示采样位置;大的虚线圆半径对应于平滑该采样点的灰度值所用的高斯核的标准差。图中所示的模式尺度为1。
为了避免混叠效应,在模式中采样点pi的图像灰度时,应用高斯平滑,其标准差σi与独立圆中点之间的距离成正比。对于图像中一个特定的关键点k,考虑N·(N-1)/2个采样点对(pi,pj)中的一个,其中N为关键点k周围同心圆上的采样点数。这些点上的平滑灰度值分别为I(pi,σi)和I(pj,σj),通过式(2-1)估计局部梯度g(pi,pj)
其中pi,pj分别为第i和第j个采样点的位置矢量,I(pi,σi)和I(pj,σj)分别为第i和第j个采样点上高斯平滑核标准差分别为σi和σj的平滑灰度值,g(pi,pj)为点对(pi,pj)上的局部梯度。
考虑所有采样点对集Α:
其中N为关键点k周围同心圆上的采样点数。定义短距离点对子集S和长距离点对子集L:
其中阈值距离设置为δmax=9.75t和δmin=13.67t(t为关键点k的尺度),A为所有采样点对集。迭代长距离点对子集L中的点对,根据式(2-4)估计关键点k的特征模式方位
其中g(pi,pj)表示点对(pi,pj)上的局部梯度,L为长距离点对子集的长度,gx和gy分别为点对(pi,pj)上沿X和Y方向的梯度值,g为关键点k上的梯度矢量。采用长距离点对计算局部梯度是基于这样一个假设:局部梯度互相抵消,因此对全局梯度的确定没有影响。
(2.2.2)建立描述子。为了形成旋转和尺度归一化描述子,Brisk应用在关键点周围旋转α=arctan2(gy,gx)的采样模式。通过执行所有短距离点对(即旋转模式)的灰度比较形成比特矢量描述子dk,每个比特对应于:
其中表示第i个采样点处平滑灰度值的高斯核标准差为σi、旋转角度为α的旋转模式下的灰度值,表示第j个采样点处平滑灰度值的高斯核标准差为σj、旋转角度为α的旋转模式下的灰度值,b为描述子矢量中的比特位。
BRIEF(Binary Robust Independent Elementary Features)描述子也可以通过亮度比较获得,除了预先的尺度化和旋转Brisk有一些基本的不同。首先,Brisk使用确定性的采样模式在关键点周围给定的半径内形成一个均匀的采样点密度。接下来,定制的高斯平滑不会扭曲亮度比较的信息内容,通过模糊两个作比较的采样点对。此外,Brisk使用更少的采样点,限制了查找灰度值的复杂度。最后,从空间上限制比较以便于亮度变化仅限于局部连续。有采样模式和距离阈值,获得512长度的比特串。
(2.3)描述子匹配:匹配两个Brisk描述子是一个简单的汉明距离的计算。两个描述子中不同的比特位的数量为不相似度的度量。
对castle. jpg与castle_1.jpg进行测试,其发生了视角和尺度变化,阈值为70,利用Brisk方法进行关键点检测、描述和匹配后得到的匹配结果如图3所示。其中黑色圆心表示检测到的对应匹配点所在位置,半径大小代表了该点所在的尺度大小,从圆心到圆上的黑色半径表示该点的方位,两幅图像中的灰色线段表示对应匹配点对。实验发现,左边检测到285个关键点,右边检测到299个关键点,匹配对数有16对。从图中可看到,结果会出现多个点匹配到一个点的情况,因此有错误匹配。
步骤三、利用RANSAC(Random Sampling Consensus)对步骤二得到的对应匹配点对进行处理,消除错误匹配点对,最终获得正确的匹配点对,具体步骤如下:
(3.1)随机在步骤二得到的候选匹配点集中选出三对不共线的匹配点对,根据选取出的匹配点对计算仿射变换矩阵M;
(3.2)针对匹配图像中的所有特征点X,计算仿射变换M·X,选出满足|MX-X'|<ε的点对构成内点。其中X'为对应X的匹配点对,ε为选定的阈值。如果内点数大于预设的阈值t,使用这些内点在最小二乘意义下重新计算变换矩阵M,再次更新内点数目。若内点数目小于t,返回步骤(31);
(3.3)经过N次迭代后,如果最大内点集合内包含的点的个数趋于稳定收敛且大于t,则可根据内点集合计算变换矩阵M,算法结束;否则,若最大内点集合内包含的点的个数不再改变且小于阈值t,则算法失败。
利用步骤三所述方法对上述步骤二得到的匹配结果进行错误匹配消除后得到的匹配结果如图4所示。实验发现,经过错误匹配消除后得到的正确匹配点数为9对。从图中可以看出,得到的对应匹配点对均为正确匹配点,从而进一步提高了匹配精度。
为了说明采用Brisk方法对视角变化、尺度、旋转和模糊情况下的不变性,用从网上下载的数据集进行测试,使用本发明进行错误匹配点对消除后得到的匹配结果分别如图5、6、7所示,其中两幅图像间的灰色线段表示对应的匹配点对,线段的两个端点分别表示两幅图像中找到的对应匹配点,以端点为圆心的黑色圆半径大小表示该点的尺度大小,半径取向表示该点的方位。图5发生了视角变化,图6发生了旋转和尺度变化,图7发生了模糊。从图中可以看出,当图像发生视角、旋转、尺度、模糊等变化时,综合利用Brisk以及RANSAC后得到的匹配结果比单一使用Brisk方法更精确,匹配精度更高。
为了定量评估匹配算法的性能,对以上图像进行测试,计算匹配的特征比(匹配点对与两幅匹配图中检测到的特征点中最小个数之比,Ratio of Matching Features withAll Features,RMFAF)、正确匹配的特征百分比(正确匹配点对与两幅匹配图中检测到的特征点中最小个数之比,Ratio of Correct Matching Features with All Features,RCMFAF)以及正确匹配的特征点对与所有匹配的特征点对的百分比(Ratio of CorrectMatching Features with Matching Features,RCMFMF),如表一所示。从表中可以看出,不管图像出现何种变化,均会出现错误匹配点对,经过RANSAC消除错误匹配点对后,进一步提高了匹配精度,为后续用于跟踪应用场景提供了基础。
表一不同图像测试性能比较
Image set | RMFAF | RCMFAF | RCMFMF |
Figure4 | 5.6% | 3.15% | 56.25% |
Figure5 | 39.4% | 38.2% | 96.9% |
Figure6 | 41.75% | 41.47% | 99.35% |
Figure7 | 69.4% | 61.1% | 88% |
本发明未详细阐述部分属于本领域技术人员的公知技术。
本技术领域中的普通技术人员应当认识到,以上的实施例仅是用来说明本发明,而并非用作为对本发明的限定,只要在本发明的实质精神范围内,对以上所述实施例变化,变型都将落在本发明权利要求书的范围内。
Claims (1)
1.一种利用RANSAC消除Brisk关键点错误匹配点对的方法,其特征包括如下步骤:
步骤一、图像预处理:采用高斯平滑滤波对待处理的两幅图像分别进行处理,去除噪声的影响,得到滤波后的平滑图像;
步骤二、对步骤一中得到的两幅平滑图像分别进行Brisk(Binary Robust InvariantScale Keypoint)关键点检测、描述和匹配,得到两幅图像的对应匹配点对;
步骤三、利用RANSAC(Random Sampling Consensus)对步骤二得到的对应匹配点对进行处理,消除错误匹配点对,最终获得正确的匹配点对;
所述步骤二中,对得到的两幅平滑图像分别进行Brisk(Binary Robust InvariantScale Keypoint)关键点检测、描述和匹配的方法为:
步骤(21)、尺度空间特征点检测:使用AGAST(Adaptive and Generic AcceleratedSegment Test)进行特征提取,尺度不变性是获得高质量特征点的前提,因此,不只在图像平面搜索最大值,同时在尺度空间内用FAST分数s作为显著性测量值,所述FAST是Featuresfrom Accelerated Segment Test,尺度空间金字塔包括n个octaves,第i个octave用ci表示,每个octave包含n个intra-octaves di,i={0,1,2,...,n-1},n=4,octave是原始图像渐进半采样形成,di存在于ci与ci+1之间,第一个intra-octave由原始图像以1.5的采样因子降采样得到,其余的di由连续半采样得来,如果t表示尺度,那么t(ci)=2i,t(di)=2i·1.5,Brisk算法采用FAST9-16提取特征点的方法如下,所述FAST9-16是指在需要在16个像素的圆上至少有连续9个像素的灰度值比中心像素灰度值更大或更小:
步骤(211)、对每一个octave和每一层intra-octave应用FAST9-16,取相同的阈值T来分辨潜在的感兴趣区域;
步骤(212)、对步骤(211)得到的潜在感兴趣区域的点进行非极大值抑制:首先,问题点需要满足极大值条件,即在同层中八邻域的FAST score s最大,s定义为极大值是考虑到此点是图像角点;其次,同层和上下层的score s都应比此点的score s小,由此得到满足极大值条件的感兴趣点和所在层的尺度;
步骤(213)、检查步骤(212)得到的感兴趣点所在层上的patch,由于相邻层离散程度不同,需要在patch边缘进行插值,至此得到一系列具有亚像素精度和浮点尺度的关键点集;
步骤(22)关键点描述:对于由步骤(21)得到的一系列关键点集,该关键点集由亚像素精确定位和相关浮点尺度组成,Brisk描述子由通过连接简单的灰度比较结果形成的二值串组成,在Brisk中,确定每个关键点的特征方向来获得方位归一化描述子,因此赢得旋转不变性;
步骤(23)、描述子匹配:匹配两个Brisk描述子是一个简单的汉明距离的计算,两个描述子中不同的比特位的数量为不相似度的度量;
所述步骤三中,利用RANSAC算法对步骤二得到的匹配点对进行处理,消除错误匹配点对的方法为:
步骤(31)、随机在步骤二得到的候选匹配点集中选出三对不共线的匹配点对,根据选取出的匹配点对计算仿射变换矩阵M;
步骤(32)、针对匹配图像中的所有特征点X,计算仿射变换M·X,选出满足|MX-X'|<ε的点对构成内点,其中X'为对应X的匹配点对,ε为选定的阈值,如果内点数大于预设的阈值a,使用这些内点在最小二乘意义下重新计算变换矩阵M,再次更新内点数目,若内点数目小于t,返回步骤(31);
步骤(33)、经过N次迭代后,如果最大内点集合内包含的点的个数趋于稳定收敛且大于t,则可根据内点集合计算变换矩阵M,算法结束;否则,若最大内点集合内包含的点的个数不再改变且小于阈值a,则算法失败;
所述步骤(22)中,对于由步骤(21)得到的一系列关键点集,该关键点集由亚像素精确定位和相关浮点尺度组成,Brisk描述子生成方法为:
步骤(41)、在每个关键点邻域内使用确定的采样模式,定义N个位置均匀分布在以关键点为圆心的同心圆上,其中小的黑色实心圆表示采样位置;大的虚线圆半径对应于平滑该采样位置的灰度值所用的高斯核的标准差,模式尺度为1,对于图像中一个特定的关键点,考虑所有采样点对集,定义短距离点对和长距离点对;
步骤(42)、建立描述子:为了获得旋转和尺度归一化描述子,在关键点周围采用旋转采样模式,通过执行所有短距离点对的灰度比较获得二值比特矢量描述子;
利用步骤三所述方法对上述步骤二得到的匹配结果进行错误匹配消除后得到的对应匹配点对均为正确匹配点,从而进一步提高了匹配精度;
当图像发生视角、旋转、尺度、模糊变化时,综合利用Brisk以及RANSAC后得到的匹配结果比单一使用Brisk方法更精确,匹配精度更高;
为了定量评估匹配算法的性能,对图像进行测试,计算匹配的特征比、正确匹配的特征百分比以及正确匹配的特征点对与所有匹配的特征点对的百分比,所述匹配的特征比为匹配点对与两幅匹配图中检测到的特征点中最小个数之比,所述正确匹配的特征百分比为正确匹配点对与两幅匹配图中检测到的特征点中最小个数之比,可以得出不管图像出现何种变化,均会出现错误匹配点对,经过RANSAC消除错误匹配点对后,进一步提高了匹配精度,为后续用于跟踪应用场景提供了基础;
该利用RANSAC消除Brisk关键点错误匹配点对的方法采用基于Brisk(Binary RobustInvariant Scale Keypoint)的特征点检测、描述和匹配方法,与传统基于sift、surf相比在保持较高质量的同时具有更高的匹配速度;
该利用RANSAC消除Brisk关键点错误匹配点对的方法在基于Brisk(Binary RobustInvariant Scale Keypoint)的特征点检测、描述和匹配的基础上,利用RANSAC(RandomSampling Consensus)消除关键点错误匹配点对,在保持原有方法高质量和快速的同时,进一步提高了匹配精度;
该利用RANSAC消除Brisk关键点错误匹配点对的方法采用基于Brisk(Binary RobustInvariant Scale Keypoint)的特征点检测、描述和匹配方法,在此基础上利用RANSAC(Random Sampling Consensus)消除关键点错误匹配点对,对视角变化、尺度、旋转和模糊情况均能适应。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310339996.4A CN103400388B (zh) | 2013-08-06 | 2013-08-06 | 一种利用RANSAC消除Brisk关键点错误匹配点对的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310339996.4A CN103400388B (zh) | 2013-08-06 | 2013-08-06 | 一种利用RANSAC消除Brisk关键点错误匹配点对的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103400388A CN103400388A (zh) | 2013-11-20 |
CN103400388B true CN103400388B (zh) | 2016-12-28 |
Family
ID=49564000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310339996.4A Active CN103400388B (zh) | 2013-08-06 | 2013-08-06 | 一种利用RANSAC消除Brisk关键点错误匹配点对的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103400388B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103700080B (zh) * | 2013-12-06 | 2016-08-03 | 北京工业大学 | 基于Skinner概率自动机的图像误匹配对去除方法 |
EP3100177A1 (en) * | 2014-01-30 | 2016-12-07 | Huawei Technologies Co., Ltd. | Method for recognizing objects |
CN103824287A (zh) * | 2014-02-14 | 2014-05-28 | 同济大学 | 一种基于稳健平面拟合的相位相关亚像素匹配方法 |
CN104008544A (zh) * | 2014-05-20 | 2014-08-27 | 国家电网公司 | 一种基于brisk的变电站套管红外图像定位方法 |
CN104282005A (zh) * | 2014-09-19 | 2015-01-14 | 天津航天中为数据***科技有限公司 | 一种视频图像拼接方法及装置 |
US9950193B2 (en) * | 2015-06-12 | 2018-04-24 | Accuray Incorporated | Image-based aperture verification system for multi-leaf collimator |
CN106558074B (zh) * | 2015-09-18 | 2019-04-12 | 河北工业大学 | 卫星装配中基于旋转变换矩阵的粗精结合匹配算法 |
CN105551058B (zh) * | 2016-02-02 | 2018-04-03 | 天津大学 | 一种结合surf特征提取和曲线拟合的柱面图像匹配方法 |
CN108388822B (zh) * | 2018-01-25 | 2021-03-23 | 微梦创科网络科技(中国)有限公司 | 一种检测二维码图像的方法和装置 |
CN109448033A (zh) * | 2018-10-14 | 2019-03-08 | 哈尔滨理工大学 | 一种基于brisk算法的图像配准方法 |
CN109559348B (zh) * | 2018-11-30 | 2021-09-28 | 东南大学 | 一种基于特征点追踪的桥梁非接触式变形测量方法 |
CN109754429A (zh) * | 2018-12-14 | 2019-05-14 | 东南大学 | 一种基于图像的桥梁结构挠度测量方法 |
CN109919825B (zh) * | 2019-01-29 | 2020-11-27 | 北京航空航天大学 | 一种orb-slam硬件加速器 |
CN110163894B (zh) * | 2019-05-14 | 2021-04-06 | 中国科学院半导体研究所 | 基于特征匹配的亚像素级目标跟踪方法 |
CN110472662B (zh) * | 2019-07-10 | 2023-12-29 | 上海理工大学 | 基于改进的orb算法的图像匹配方法 |
CN110880139B (zh) * | 2019-09-30 | 2021-03-02 | 珠海必要工业科技股份有限公司 | 一种商品展示方法、装置、终端、服务器及存储介质 |
CN111950483A (zh) * | 2020-08-18 | 2020-11-17 | 北京理工大学 | 一种基于视觉的车辆前碰撞预测方法 |
CN112364879A (zh) * | 2020-10-10 | 2021-02-12 | 南京轩宁信息技术有限公司 | 一种基于双向最优匹配点对的图像匹配方法 |
CN114526682B (zh) * | 2022-01-13 | 2023-03-21 | 华南理工大学 | 一种基于图像特征增强数字体图像相关法的变形测量方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101706957A (zh) * | 2009-10-30 | 2010-05-12 | 无锡景象数字技术有限公司 | 一种双目立体视觉装置的自标定方法 |
CN102682448A (zh) * | 2012-03-14 | 2012-09-19 | 浙江大学 | 一种基于双三视张量的立体视觉快速导航定位方法 |
CN102982561A (zh) * | 2012-12-31 | 2013-03-20 | 哈尔滨工业大学 | 适用于彩色图像彩色的二进制鲁棒尺度不变特征检测方法 |
-
2013
- 2013-08-06 CN CN201310339996.4A patent/CN103400388B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101706957A (zh) * | 2009-10-30 | 2010-05-12 | 无锡景象数字技术有限公司 | 一种双目立体视觉装置的自标定方法 |
CN102682448A (zh) * | 2012-03-14 | 2012-09-19 | 浙江大学 | 一种基于双三视张量的立体视觉快速导航定位方法 |
CN102982561A (zh) * | 2012-12-31 | 2013-03-20 | 哈尔滨工业大学 | 适用于彩色图像彩色的二进制鲁棒尺度不变特征检测方法 |
Non-Patent Citations (3)
Title |
---|
BRISK: Binary Robust Invariant Scalable Keypoints;Stefan Leutenegger 等;《2011 IEEE International Conference on Computer Vision》;20111113;第3.1部分,第3.2部分,第3.3部分,第3.2.1-3.2.2部分,图3 * |
Lossless Compression of Binary Image Descriptors for Visual Sensor Networks;João Ascenso 等;《2013 IEEE CONFERENCE ON DSP》;20130703;1-8 * |
惯性组合导航***中基于BRISK的快速景象匹配算法;许允喜 等;《光电子激光》;20120831;第23卷(第8期);第1部分,第2.2部分,第3部分 * |
Also Published As
Publication number | Publication date |
---|---|
CN103400388A (zh) | 2013-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103400388B (zh) | 一种利用RANSAC消除Brisk关键点错误匹配点对的方法 | |
CN107301661B (zh) | 基于边缘点特征的高分辨率遥感图像配准方法 | |
CN107067415B (zh) | 一种基于图像匹配的目标定位方法 | |
CN108376408B (zh) | 一种基于曲率特征的三维点云数据快速加权配准方法 | |
CN103077512B (zh) | 基于主成分析的数字图像的特征提取与匹配方法 | |
CN102722890B (zh) | 基于光流场模型的非刚性心脏图像分级配准方法 | |
CN106558072A (zh) | 一种基于改进sift特征在遥感图像上配准的方法 | |
CN101714254A (zh) | 联合多尺度sift和区域不变矩特征的配准控制点提取方法 | |
CN103729643A (zh) | 多模式场景中的三维对象的识别和姿势确定 | |
CN107729926B (zh) | 一种基于高维空间变换的数据扩增方法、机器识别*** | |
CN105740899A (zh) | 一种机器视觉图像特征点检测与匹配复合的优化方法 | |
CN109035300B (zh) | 一种基于深度特征与平均峰值相关能量的目标跟踪方法 | |
CN104766084A (zh) | 一种多目标匹配的近复制图像检测方法 | |
CN110135438B (zh) | 一种基于梯度幅值预运算的改进surf算法 | |
CN106340010B (zh) | 一种基于二阶轮廓差分的角点检测方法 | |
CN110211129B (zh) | 基于区域分割的低覆盖点云配准算法 | |
CN104834931A (zh) | 一种基于小波变换的改进的尺度不变特征匹配算法 | |
CN111767960A (zh) | 一种应用于图像三维重建的图像匹配方法及*** | |
CN110598613B (zh) | 一种高速公路团雾监测方法 | |
CN107516322A (zh) | 一种基于对数极空间的图像物体大小和旋转估计计算方法 | |
CN104282001A (zh) | 增强图像特征二值描述子性能的方法 | |
CN110673208B (zh) | 一种机器学习框架下高维特征约束的初至拾取方法及*** | |
CN111257588B (zh) | 一种基于orb和ransac的油相流速测量方法 | |
CN109002828A (zh) | 基于均值跳动迹变换的图像纹理特征提取方法 | |
CN104700359A (zh) | 像平面不同极轴方向图像序列进行超分辨率重建的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |