CN104680516B - 一种图像优质特征匹配集的获取方法 - Google Patents
一种图像优质特征匹配集的获取方法 Download PDFInfo
- Publication number
- CN104680516B CN104680516B CN201510010357.2A CN201510010357A CN104680516B CN 104680516 B CN104680516 B CN 104680516B CN 201510010357 A CN201510010357 A CN 201510010357A CN 104680516 B CN104680516 B CN 104680516B
- Authority
- CN
- China
- Prior art keywords
- matching
- point
- polar curve
- image
- characteristic point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 239000011159 matrix material Substances 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 6
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 11
- 230000006978 adaptation Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 6
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000000746 purification Methods 0.000 claims 1
- 230000008878 coupling Effects 0.000 abstract description 6
- 238000010168 coupling process Methods 0.000 abstract description 6
- 238000005859 coupling reaction Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 2
- 238000001914 filtration Methods 0.000 abstract description 2
- 238000012216 screening Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 7
- 230000032683 aging Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种图像优质特征匹配集的获取方法，本发明解决了原方法获得优质特征匹配数少而不能满足应用需求的问题，提出了新的优质匹配获取方法。该方法能够提高匹配质量，增加特征点优质匹配数量。本发明的大致过程包括：(1)图像特征点检测、描述和匹配；(2)获得待匹配图像之间的基础矩阵；(3)利用基础矩阵计算待匹配图像上特征点的极线；(4)对称性过滤器初次过滤掉错误匹配；(5)极线约束，利用极线与对应图像上特征点的关系，对匹配集合进行筛选过滤，获得优良的匹配集合；(6)剔除掉在同一极线上的匹配点存在相互交叉的匹配，获得最终的优质匹配集合。本发明效果好，适用于各种图像数据。
Description
技术领域
本发明涉及计算机视觉中的图像匹配及投影几何的技术领域，特别涉及一种基于极线约束的图像优质特征匹配集获取方法。
背景技术
计算机视觉领域中，图像点特征可以用来寻找不同图像中对应点位置的稀疏集合，这种点对应方法获得的结果是计算摄像机姿态的一个前期步骤。从早期的立体视觉匹配开始，这种点对应关系就被广泛应用。之后，基于点对应的方法又在图像拼接应用、自动三维建模、物体识别和视频序列的目标跟踪过程中得到大范围推广。上述方法包括两类，一是在第一幅图像中寻找那些可以使用局部搜索方法来精确跟踪的特征(即：基于局部像素区域图像匹配的方法)。二是在所有考察的图像中独立地检测特征点，然后再基于它的局部表观进行匹配(即：基于特征点匹配的方法)。前者在图像以相近的视角拍摄时更为合适，后者更适用于在大多数情况下图像中存在大量的运动或者表观变化的时候，比如在拼接全景图时、在宽基线立体视觉中建立对应关系时或者进行物体识别时。本发明的内容在第二类方法的基础上，提出极线约束获得优质特征点匹配的方法。
在基于特征点匹配的方法中，根据目标跟踪、图像拼接或物体识别的应用要求，算法检测的图像特征点对应匹配必须能够处理外貌变化、亮度变化、遮挡、平移旋转以及镜面反射等情况。然而，因图像存在的上述变化，目前基于特征点(FAST， SIFT， SURF，ORB，FREAK等)的图像匹配技术获得的匹配集合中存在大量的劣质匹配。匹配结果的不准确将导致诸如目标跟踪丢失、图像拼接畸形、物体识别错误等问题。通过引入最近邻比率策略和对称性策略可以剔除掉大量错误匹配，再使用随机采样一致算法(即：RANSAC)，可以更加可靠地匹配图像特征，提高匹配质量。但是，在基于最近邻比率策略(即：NNDR)和基于视差约束的RANSAC算法中，参数设置的太低会导致较多的错误匹配，而参数设置太高将会导致匹配数量太少。两种情况的出现都不能满足普适性的图像匹配应用需求。基于此，本发明提出了基于极线约束的图像优质特征匹配集获取方法，能够很好地解决上面的问题。
发明内容
本发明目的在于提出了一种图像优质特征匹配集的获取方法，该方法能获取质量更优、鲁棒性更高以及数量更多的优质特征点匹配集合。本发明在RANSAC算法获得的基础矩阵的基础上，使用SURF(加速鲁棒特征)特征检测器检测、描述和匹配，然后引入极线约束方法来剔除错误匹配，从而得到更加优质的匹配集合。本发明适用于各种图像数据，诸如：大场 景、局部目标对象以及存在亮度、遮挡、旋转等变化的图像。得到的结果可应用于三维重建，目标跟踪，物体识别等技术领域中。
本发明解决其技术问题所采取的技术方案：一种图像优质特征匹配集的获取方法，该方法分为四个阶段，包括：(1)在SURF特征检测描述阶段，从当前待匹配图像中寻找能够与其他图像良好匹配的位置，把检测到的关键点周围的每一个区域转化成一个更紧凑和稳定的描述子(描述子用来和其他图像的描述子进行匹配)。(2)在特征匹配阶段，对待匹配图像的描述子按照搜索策略进行特征点初始匹配。(3)在计算特征点与空间投影关系的基础矩阵阶段，使用随机采样一致算法(RANSAC)获得高质量的基础矩阵。(4)在匹配提纯阶段，为了得到可靠优质的匹配，找出唯一的图像特征点对应关系。在建立了特征点初始匹配的基础上，利用获得的基础矩阵，引入极线约束概念，进行误匹配点的剔除，得到优质匹配集合。
方法流程：
步骤1：读取待匹配两幅图像，定义为左图和右图，获得计算基础矩阵的RANSAC算法的输入匹配集合；
步骤1-1：用SURF特征检测器分别检测两幅图像的特征点；
步骤1-2：用SURF描述器分别计算两幅图像的特征点描述子；
步骤：1-3：根据最近邻匹配策略的原理，使用匹配器对描述子进行双向匹配。找到左图的每个特征点到右图的两个最佳匹配，找到右图中每个特征点在左图中的两个最佳匹配；
步骤1-4：距离比率测试。分别处理两个匹配集合，计算最优匹配与次优匹配的距离比值，移除距离比率大于给定阈值的匹配；
步骤1-5：利用特征点匹配对的唯一性原则，进行对称性测试。两个匹配集合中的索引值相互对称时，提取这个匹配集合，剔除不对称的匹配集合；
步骤2：使用RANSAC算法计算基础矩阵。根据极性几何投影关系，计算出具有最大匹配支持集合的基础矩阵，返回满足此基础矩阵的优质匹配集合及基础矩阵；
步骤3：对于待匹配的两幅图像，根据描述子内容进行特征点匹配；
步骤3-1：根据最近邻匹配策略的原理，使用匹配器找到左图的每个特征点到右图的一个最佳匹配，返回匹配集合；
步骤3-2：根据最近邻匹配策略的原理，使用匹配器找到右图中每个特征点在左图中的一个最佳匹配，返回匹配集合；
步骤4：对得到的两个匹配集合进行对称性测试。两个匹配集合中的索引值相互对称时保留此匹配集合，不对称时剔除此匹配集合。返回对称性的匹配集合；
步骤5：计算图像特征点在对应图像上的极线；
步骤5-1：根据极线定义，用基础矩阵计算左图中所有特征点在右图上的极线；
步骤5-2：根据极线定义，用基础矩阵计算右图中所有特征点在左图上的极线；
步骤6：对通过对称性测试的匹配集合进行极线约束测试。剔除错误的匹配，返回通过极线约束测试的匹配集合；
步骤6-1：取出匹配集合中参考索引对应的左图上的匹配点，取出匹配集合中训练索引对应的右图上的匹配点；
步骤6-2：使用极线函数，将左图上的匹配点带入右图特征点的极线函数，计算其函数值，将右图上的匹配点带入左图特征点的极线函数，计算其函数值；
步骤6-3：比较左图和右图上的极线函数值，函数值取正后同时为0的匹配保留，即，匹配点在对应各自的极线上的匹配才能保留，否则剔除；
步骤7：对于通过极线约束的匹配集合，剔除在同一根极线上交叉错配的点，返回最终的匹配集合；
步骤7-1：比较每个匹配点的极线方程系数，找到匹配点在同一根极线上的匹配集；
步骤7-2：对同一条极线上的匹配集，计算左图上两两匹配点之间的坐标位置，计算右图上两两匹配点之间的坐标位置；
步骤7-3：将左右两张图像的坐标位置相乘，得到的值小于0，方向相反，匹配点相互交叉，返回相互交叉的匹配集合索引值；
步骤7-4：对于通过极线约束的匹配集合，剔除相互交叉索引值的匹配，保留的匹配集即是最终的优质匹配集合。
有益效果：
1、本发明通过引入极线约束的概念，获得了准确度高、且数量多的匹配集合。
2、本发明使用的图像优质匹配获取方法能够适用于任何图像。
3、本发明使用的基础矩阵准确性高。
4、本发明得到的匹配集合完全包含原有方法的匹配集合。
5、本发明运算简单，处理速度快。
附图说明
图1为本发明的方法流程图。
图2为本发明涉及的极线约束原理图。
图3为本发明极线上出现匹配交叉情况的效果图。
图4为本发明使用的图像数据的匹配结果直观图。
图5为本发明进行实验的数据结果比较的柱状图。
具体实施方式
为了更好的理解本发明基于极线约束的一种图像优质特征匹配集获取方法，下面结合附图，对本发明的具体实施方式作进一步描述。实施的例子描述中使用的语言不造成对本发明权利要求的限制。
实施例一
如图1所示，本发明提出了一种图像优质特征匹配集的获取方法，该方法具体包括以下步骤：
步骤1：读取待匹配两幅图像image1和image2，获得计算基础矩阵的RANSAC算法的输入匹配集合；
基础矩阵F(即：Fundamental Matrix)简单的说就是可以将一个视角中的2D图像点映射到另一个视角中的极线上的矩阵。它具有如下特点：
(1)基础矩阵F是一个秩为2的3×3矩阵，其自由度为7；
(2)基础矩阵F在相差一个非零常数因子下是唯一的；
(3)基础矩阵F可以由图像间的对应点对求出；
(4)给定图像I中的一点m，其相应的图像I′中的极线l′可以表示l′＝Fm。类似地，l＝Fm′。l表示图像I′中的点m′的极线；
(5)图像I(I′)上所有极线交于极点e(e′)，因此有：Fe＝0，Fe′＝0。
利用极线约束之前，需要获得基础矩阵。获得基础矩阵的方法有很多，包括：7点算法、8点算法、FNS、CFNS、M-estimators、LMeds、RANSAC算法。所述方法选择使用鲁棒方法的RANSAC算法获取优质的基础矩阵F；
随机采样一致算法(即：RANSAC)的原理是在输入的特征点匹配集合中随机地挑选8个(即：计算得到基础矩阵的最少数量)匹配，计算它们的基础矩阵F(即：fundamentalmatrix)。集合中剩下来的匹配集用来支持这个基础矩阵，即是使用RANSAC方法计算内点(即：inlier)的数目，这里的内点为在预测对应匹配点位置ε以内的点。随机的选择所述过程重复S次。最后含有最多内点的样本集被作为最终的解。
RANSAC算法的原理要求，算法输入的匹配集合准确性越高，获得的基础矩阵支持集合越大，从而基础矩阵的质量越高。因此获得RANSAC算法的输入匹配集合具体可以通过以下步骤实现：
步骤1-1：用SURF特征检测器分别检测两幅图像的特征点；
使用特征检测器检测待匹配图像上的特征点，这样的特征检测器包括：FAST，SIFT，SURF，ORB，FREAK特征检测器。本发明所述方法选择使用鲁棒性高，检测速度快的SURF特征检 测器。
当尝试在不同图像之间匹配特征时，目标物体在图像中常常伴有尺寸、旋转变化，为了解决这个问题，引入尺寸不变的加速鲁棒特征检测器SURF。SURF检测特征按照特征点强度从大到小排列，强度太小的特征会影响后续匹配的正确度。所以为提高速度和精度，我们对找寻的特征点数目设置上限N，优选的N小于等于1200个。
步骤1-2：用SURF描述器分别计算两幅图像上特征点的描述子；
使用描述器获取特征点的描述子，这样的描述器包括：SIFT，SURF，FREAK，ORB描述器，本发明所述方法选择使用SURF描述器。
描述子就是将检测到的关键点周围的每一个区域转化成一个更紧凑和稳定的描述子。得到的描述子具有的特征是，当(对应的)图像之间存在旋转平移，亮度，阴影等表观变化时具有更好的不变性，同时保持不同(非对应的)图像块之间的区分性。根据使用的特征检测器可以使用相应的描述器计算特征点的描述子。
步骤：1-3：根据最近邻匹配策略的原理，使用匹配器对描述子进行双向匹配。找到左图image1的每个特征点到右图image2的两个最佳匹配，找到右图image2中每个特征点在左图image1中的两个最佳匹配；
最近邻匹配策略(NNDR)的原理是比较最近邻距离和次近邻距离，这个次近邻距离是从已知的和目标不匹配的一幅图像中获得，我们定义这样的最近邻距离比率为
公式1
其中d1和d2是最近邻和次近邻距离，DA是目标描述子DB和Dc是它的最近的两个邻居。
步骤1-4：距离比率测试。分别处理两个匹配集合，计算最优匹配与次优匹配的距离比值，移除距离比率大于给定阈值的匹配；
只有最近邻与次近邻匹配距离值相差一定的值，才认为这个最近邻匹配为最优最稳定，本发明所述方法选择使用的NNDR距离比值为0.5f。
步骤1-5：利用特征点匹配对的唯一性原则进行对称性测试。两个匹配集合中的索引值相互对称时，提取这个匹配集合，剔除不对称的匹配集合；
利用特征点匹配对的唯一性原则，两个待配准图像中的匹配点对应该是一一对应的，匹配点对p，q关系如公式2。即要求匹配集合中的索引值必须一一对应，不满足一一对应条件的匹配集合就一定是错误的匹配。
{p→q}∩{q→p} 公式2
步骤2：使用RANSAC算法计算基础矩阵。根据极性几何投影关系，计算出具有最大匹配支持集合的基础矩阵，返回满足此基础矩阵的优质匹配集合及基础矩阵；
步骤3：对于待匹配的两幅图像，根据描述子内容进行特征点匹配；
步骤3-1：根据最近邻匹配策略的原理，使用匹配器找到左图image1的每个特征点到右图image2的一个最佳匹配，返回匹配集合；
步骤3-2：根据最近邻匹配策略的原理，使用匹配器找到右图image2中每个特征点在左图image1中的一个最佳匹配，返回匹配集合；
步骤4：对得到的两个匹配集合进行对称性测试。两个匹配集合中的索引值相互对称时保留此匹配集合，不对称时剔除此匹配集合。返回对称性的匹配集合；
即，根据图像特征点匹配的唯一性原则，过滤掉匹配集合中错误匹配，检查两个匹配集合中的参考索引值和训练索引值，匹配保留必须满足，1)左匹配的参考索引值等于右匹配的训练索引值；2)左匹配的训练索引值等于右匹配的参考索引值。
如图2所示的是极线约束的原理图。观察场景点的两个相机C0和C1追踪连接3D点与相机中心的直线，可以找到空间3D点P在一幅图像中的点p0(x，y)。相反，位于图像上p0位置的点可以位于3D空间中该直线的任意点上，如果需要通过该图像点p0找到在另一幅图像中的对应点p1，必须沿着这条直线在另一个图像面进行搜索，这条虚构的直线被称为点p0的极线(Epipolar)。极线的一个端点是以原始观察线上的无穷远处的投影为界，另一个端点是原摄像机中心在第二个摄像机的投影为界，这个投影就是极点(Epipole)。基础矩阵F将一个视角中的2D图像点p0映射到另一个视角中的极线表达式为
公式3
因此图像点p0的匹配点p1(x′，y′)在对应图像上应满足方程
公式4
利用极线约束的原理，筛选出优质匹配的方法具体可以通过以下步骤实现：
步骤5：根据公式3计算特征点在对应图像上的极线；
步骤5-1：根据极线定义，用基础矩阵计算左图中所有特征点在右图上的极线；
步骤5-2：根据极线定义，用基础矩阵计算右图中所有特征点在左图上的极线；
步骤6：对通过对称性测试的匹配集合进行极线约束测试。剔除错误的匹配，返回通过极线约束测试的匹配集合；
步骤6-1：取出匹配集合中参考索引对应的左图上的匹配点，取出匹配集合中训练索引对 应的右图上的匹配点；
步骤6-2：根据公式4，得到公式5的极线函数，将左图上的匹配点带入右图特征点的极线函数，计算其函数值，将右图上的匹配点带入左图特征点的极线函数，计算其函数值；
步骤6-3：比较左图和右图上的极线函数值，函数值同时为0的匹配保留，即，匹配点在对应各自的极线上的匹配才能保留，否则剔除。
其中步骤6-2和6-3的极线方程值的计算和比较使用公式5的极线方程
公式5
其中l1，l2，l3为已知的极线系数值，将当前点带入与它匹配的点的极线方程，只有计算出的f(x)为0时，才表示点在极线上，此时的匹配保留。
步骤7：对于通过极线约束的匹配集合，剔除在同一根极线上匹配点交叉的匹配，返回最终的优质匹配集合；
如图3所示的是多数情况下，存在同一条极线上出现的匹配点交叉现象的匹配错误。存在两对匹配(k1，k1′)和(k2，k2′)，其中k1，k2在左图image1的一条极线上，k1′，k2′在右图image2的一条极线上。如果公式6存在，则说明匹配错误，对两个匹配都移除掉。
公式6
在匹配集合中，特征点匹配交叉的错误匹配删除，得到最终的优质匹配方法具体可以通过以下步骤实现：
步骤7-1：比较每个匹配点的极线方程系数，找到匹配点在同一根极线上的匹配集；
判断匹配点在同一条极线上的过程是，1)对于当前图像上的两两匹配点，分别比较极线方程的三个系数，按照四舍五入的原则取整；2)只有一个点与另一个点的极线方程的三个系数同时都相等时，才满足两个匹配点在同一条极线上。
步骤7-2：对同一条极线上的匹配集，计算左图上两两匹配点之间的坐标位置，计算右图上两两匹配点之间的坐标位置；
步骤7-3：将左右两张图像的坐标位置相乘，得到的值小于0，方向相反，匹配点相互交叉，返回相互交叉的匹配集合索引值；
步骤7-4：对于通过极线约束的匹配集合，剔除相互交叉索引值的匹配，保留的匹配集即是最终的优质匹配集合；
至此，本发明完成了基于极线约束的筛选特征优质匹配集方法，获得了更多的优质匹配集合。
实施例二
为了更清楚的理解本发明的优越性，结合实施例的具体步骤，以下列出本发明和现有原方法使用church，canal，circlebuild，monument和parliament五组图像数据时，在特征点匹配方面的比较结果。
由表1可知，使用church图像数据中，old原方法获得的优质匹配数量为15个，new新方法为99个，新方法获得的优质匹配数量是原方法的6.6倍。新方法包含旧方法的优质匹配数的including项为15个，完全包含旧方法的优质匹配集。新方法大大高于旧方法获得的优质匹配数量，并且新方法是完全包含旧方法获得的优质匹配集的。新方法中，极线上存在的互交叉的错误匹配crossing一项在parliament数据中有4个，剔除之后得到的优质匹配数为189个，是原方法的2.1倍。
表1：新算法与旧算法的不同图像数据的比较结果
注：old表示原方法优质匹配数；new表示新方法获得的优质匹配数；including是新算法包含的原算法优质匹配数量；crossing是新算法中极线上存在互交叉的错误匹配数量。
图4是本发明使用的五组图像数据的匹配结果图。每一条白色的线表示一对优秀匹配。每一组图像左边所示的是原方法得到的优质匹配图，右边所示的是本发明的新方法得到的优质匹配图。从匹配效果图能够明显的看出，每一组的右图匹配数是明显多于左图原方法得到的优质匹配数。实验验证新方法中的匹配是完全包含原方法的优质匹配的。因此可以得出结论，本发明使用的方法得到的结果更好。
图5是本发明和现有方法在图像优质特征点匹配集数量方面比较结果的柱状图，即表1中五组数据的old和new两列。图表的行是五组数据，列是优质匹配数量。由图可以直观的看出，对于不同的图像数据，本发明获得的优质匹配数明显高于现有方法的结果。
Claims (9)
1.一种图像优质特征匹配集的获取方法，其特征在于，所述的方法包括如下步骤：
步骤1：读取待匹配两幅图像，获得计算基础矩阵的RANSAC算法的输入匹配集合；
步骤2：使用RANSAC算法计算基础矩阵，根据极性几何投影关系，计算出具有最大匹配支持集合的基础矩阵，返回满足此基础矩阵的优质匹配集合及基础矩阵；
步骤3：对于待匹配的两幅图像，根据描述子内容进行特征点匹配；
步骤4：对得到的两个匹配集合进行对称性测试，两个匹配集合中的索引值相互对称时保留此匹配集合，不对称时剔除此匹配集合，返回对称性的匹配集合；
步骤5：计算图像特征点在对应图像上的极线；
步骤6：对通过对称性测试的匹配集合进行极线约束测试，剔除错误的匹配，返回通过极线约束测试的匹配集合；
步骤7：对于通过极线约束的匹配集合，剔除在同一根极线上匹配点交叉的匹配，返回最终的优质匹配集合，包括：
步骤7-1：比较每个匹配点的极线方程系数，找到匹配点在同一根极线上的匹配集；
步骤7-1判断匹配点在同一条极线上的过程的具体步骤为：
对于当前图像上的两两匹配点，1)分别比较极线方程的三个系数，按照四舍五入的原则取整；2)只有一个点与另一个点的极线方程的三个系数同时都相等时，才满足两个匹配点在同一条极线上；
步骤7-2：对同一条极线上的匹配集，计算左图上两两匹配点之间的坐标位置，计算右图上两两匹配点之间的坐标位置；
步骤7-3：将左右两张图像的坐标位置相乘，得到的值小于0，方向相反，匹配点相互交叉，返回相互交叉的匹配集合索引值；
步骤7-4：对于通过极线约束的匹配集合，剔除相互交叉索引值的匹配，保留的匹配集即是最终的优质匹配集合。
2.根据权利要求1所述的一种图像优质特征匹配集的获取方法，其特征在于，所述步骤1是获得计算基础矩阵的RANSAC算法的输入匹配集合的过程，包括如下步骤：
步骤1-1：用SURF特征检测器分别检测两幅图像的特征点；
所述的步骤1-1使用特征检测器检测待匹配图像上的特征点，这样的特征检测器包括：FAST,SIFT,SURF,ORB,FREAK特征检测器；所述方法选择使用鲁棒性高，检测速度快的SURF特征检测器；
所述步骤1-1是用SURF特征检测器检测待匹配图像的特征点，为提高速度和精度，对找寻的特征点数目设置上限N，优选的N小于等于1200个；
步骤1-2：用SURF描述器分别计算两幅图像上特征点的描述子；
所述的步骤1-2使用描述器获取特征点的描述子，这样的描述器包括：SIFT,SURF,FREAK,ORB描述器，所述方法使用SURF描述器；
步骤:1-3：根据最近邻匹配策略的原理，使用匹配器对描述子进行双向匹配，找到左图的每个特征点到右图的两个最佳匹配，找到右图中每个特征点在左图中的两个最佳匹配；
步骤1-4：距离比率测试；分别处理两个匹配集合，计算最优匹配与次优匹配的距离比值，移除距离比率大于给定阈值的匹配；
本发明所述方法选择使用的NNDR距离比值为0.5f；
步骤1-5：利用特征点匹配对的唯一性原则进行对称性测试，两个匹配集合中的索引值相互对称时，提取这个匹配集合，剔除不对称的匹配集合。
3.根据权利要求1所述的一种图像优质特征匹配集的获取方法，其特征在于，所述步骤2是使用RANSAC算法，获得基础矩阵的过程；
所述的获得基础矩阵的方法，包括：7点算法、8点算法、FNS、CFNS、M-estimators、LMeds、RANSAC算法；所述方法选择使用鲁棒方法的RANSAC算法获取优质的基础矩阵F。
4.根据权利要求1所述的一种图像优质特征匹配集的获取方法，其特征在于，所述步骤3是获得待匹配图像特征匹配集合的过程，包括如下步骤：
步骤3-1：根据最近邻匹配策略的原理，使用匹配器找到左图的每个特征点到右图的一个最佳匹配，返回匹配集合；
步骤3-2：根据最近邻匹配策略的原理，使用匹配器找到右图中每个特征点在左图中的一个最佳匹配，返回匹配集合。
5.根据权利要求1所述的一种图像优质特征匹配集的获取方法，其特征在于，所述步骤4是根据图像特征点匹配的唯一性原则，过滤掉匹配集合中错误匹配的过程；
所述步骤4进行对称性过滤掉错误匹配的具体步骤为：
检查两个匹配集合中的参考索引值和训练索引值，匹配保留必须满足，1)左匹配的参考索引值等于右匹配的训练索引值；2)左匹配的训练索引值等于右匹配的参考索引值。
6.根据权利要求1所述的一种图像优质特征匹配集的获取方法，其特征在于，所述步骤5是计算特征点在对应图像上的极线过程，包括如下步骤：
步骤5-1：根据极线定义，用基础矩阵计算左图中所有特征点在右图上的极线；
步骤5-2：根据极线定义，用基础矩阵计算右图中所有特征点在左图上的极线。
7.根据权利要求1所述的一种图像优质特征匹配集的获取方法，其特征在于，所述步骤6是对通过对称测试的匹配集合使用极线约束的过程，包括如下步骤：
步骤6-1：取出匹配集合中参考索引对应的左图上的匹配点，取出匹配集合中训练索引对应的右图上的匹配点；
步骤6-2：使用极线函数，将左图上的匹配点带入右图特征点的极线函数，计算其函数值，将右图上的匹配点带入左图特征点的极线函数，计算其函数值；
步骤6-3：比较左图和右图上的极线函数值，函数值同时为0的匹配保留，即，匹配点在对应各自的极线上的匹配才能保留，否则剔除；
所述的步骤6-2和6-3的极线方程值的计算和比较过程的具体步骤为：
使用极线方程为
f(x)＝l1′x′+l2′y′+l3′
其中l1,l2,l3为已知的极线系数值，将当前点带入与它匹配的点的极线方程，只有计算出的f(x)为0时，才表示点在极线上，此时的匹配保留。
8.根据权利要求1所述的一种图像优质特征匹配集的获取方法，其特征在于，所述方法的四个阶段，包括：(1)在SURF特征检测描述阶段，从当前待匹配图像中寻找能够与其他图像良好匹配的位置，把检测到的关键点周围的每一个区域转化成一个更紧凑和稳定的描述子，即：描述子用来和其他图像的描述子进行匹配；(2)在特征匹配阶段，对待匹配图像的描述子按照搜索策略进行特征点初始匹配；(3)在计算特征点与空间投影关系的基础矩阵阶段，使用RANSAC算法获得高质量的基础矩阵；(4)在匹配提纯阶段，为了得到可靠优质的匹配，找出唯一的图像特征点对应关系，在建立了特征点初始匹配的基础上，利用获得的基础矩阵，引入极线约束概念，进行误匹配点的剔除，得到优质匹配集合。
9.根据权利要求1所述的一种图像优质特征匹配集的获取方法应用于三维重建、目标跟踪、物体识别的技术领域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510010357.2A CN104680516B (zh) | 2015-01-08 | 2015-01-08 | 一种图像优质特征匹配集的获取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510010357.2A CN104680516B (zh) | 2015-01-08 | 2015-01-08 | 一种图像优质特征匹配集的获取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104680516A CN104680516A (zh) | 2015-06-03 |
| CN104680516B true CN104680516B (zh) | 2017-09-29 |
Family
ID=53315509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510010357.2A Expired - Fee Related CN104680516B (zh) | 2015-01-08 | 2015-01-08 | 一种图像优质特征匹配集的获取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104680516B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105245841B (zh) * | 2015-10-08 | 2018-10-09 | 北京工业大学 | 一种基于cuda的全景视频监控*** |
| CN107688823B (zh) * | 2017-07-20 | 2018-12-04 | 北京三快在线科技有限公司 | 一种图像特征获取方法及装置，电子设备 |
| CN107481269B (zh) * | 2017-08-08 | 2020-07-03 | 西安科技大学 | 一种矿井用多摄像头运动目标连续跟踪方法 |
| CN107993193B (zh) * | 2017-09-21 | 2021-06-11 | 沈阳工业大学 | 基于光照均衡化和改进surf算法的隧道衬砌图像拼接方法 |
| CN108615248B (zh) | 2018-04-27 | 2022-04-05 | 腾讯科技（深圳）有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
| CN110874818B (zh) * | 2018-08-31 | 2023-06-23 | 阿里巴巴集团控股有限公司 | 图像处理和虚拟空间构建方法、装置、***和存储介质 |
| CN111028284A (zh) * | 2019-10-31 | 2020-04-17 | 浙江未来技术研究院(嘉兴) | 一种基于同名标记点的双目视觉立体匹配方法及装置 |
| CN111241979B (zh) * | 2020-01-07 | 2023-06-23 | 浙江科技学院 | 一种基于图像特征标定的实时障碍物检测方法 |
| CN112016610B (zh) * | 2020-08-25 | 2022-05-31 | 济南大学 | 一种图像特征匹配方法及*** |
| CN113298720B (zh) * | 2021-04-21 | 2022-08-19 | 重庆邮电大学 | 一种自适应的重叠图像旋转方法 |
| CN113223184B (zh) * | 2021-05-26 | 2023-09-05 | 北京奇艺世纪科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN114998773B (zh) * | 2022-08-08 | 2023-02-17 | 四川腾盾科技有限公司 | 适用于无人机***航拍图像的特征误匹配剔除方法及*** |
| CN117115708A (zh) * | 2023-08-24 | 2023-11-24 | 中海建筑有限公司 | 一种基于深度学习微小运动放大技术的雾天环境桥梁索力识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101350101A (zh) * | 2008-09-09 | 2009-01-21 | 北京航空航天大学 | 多幅深度图像自动配准方法 |
| CN102722731A (zh) * | 2012-05-28 | 2012-10-10 | 南京航空航天大学 | 一种基于改进sift算法的高效图像匹配方法 |
| CN104240267A (zh) * | 2014-09-19 | 2014-12-24 | 南京理工大学 | 一种基于三维结构坐标约束的运动目标检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140037189A1 (en) * | 2012-08-02 | 2014-02-06 | Qualcomm Incorporated | Fast 3-D point cloud generation on mobile devices |
-
2015
- 2015-01-08 CN CN201510010357.2A patent/CN104680516B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101350101A (zh) * | 2008-09-09 | 2009-01-21 | 北京航空航天大学 | 多幅深度图像自动配准方法 |
| CN102722731A (zh) * | 2012-05-28 | 2012-10-10 | 南京航空航天大学 | 一种基于改进sift算法的高效图像匹配方法 |
| CN104240267A (zh) * | 2014-09-19 | 2014-12-24 | 南京理工大学 | 一种基于三维结构坐标约束的运动目标检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| 利用极线约束方法实现图像特征点的匹配;向登宁 等;《北京机械工业学院学报》;20021231;第17卷(第4期);全文 * |
| 基于RANSAC算法的极线约束立体视觉匹配方法研究;张培耘 等;《组合机床与自动化加工技术》;20131130;论文第0-2节 * |
| 基于SURF与BBF的棉花图像匹配算法;时颢 等;《江苏农业科学》;20140331;第42卷(第3期);全文 * |
| 运动序列中动目标检测的稳健性方法;喻夏琼 等;《激光与光电子学进展》;20111231;论文摘要、第1、3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104680516A (zh) | 2015-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104680516B (zh) | 一种图像优质特征匹配集的获取方法 | |
| US8929602B2 (en) | Component based correspondence matching for reconstructing cables | |
| JP3242529B2 (ja) | ステレオ画像対応付け方法およびステレオ画像視差計測方法 | |
| CN111080529A (zh) | 一种加强鲁棒性的无人机航拍图像拼接方法 | |
| US7680323B1 (en) | Method and apparatus for three-dimensional object segmentation | |
| CN104036480B (zh) | 基于surf算法的快速消除误匹配点方法 | |
| CN108596975A (zh) | 一种针对弱纹理区域的立体匹配算法 | |
| TWI469623B (zh) | 用於區別３維影像與２維影像以及藉由特徵對應決定來識別３維影像格式之存在的方法 | |
| CN107274483A (zh) | 一种物体三维模型构建方法 | |
| CN108550166B (zh) | 一种空间目标图像匹配方法 | |
| CN102834845A (zh) | 用于多摄像装置校准的方法与装置 | |
| CN103679636A (zh) | 基于点、线双重特征的快速图像拼接方法 | |
| CN109544621A (zh) | 基于卷积神经网络的光场深度估计方法、***及介质 | |
| CN103927785B (zh) | 一种面向近景摄影立体影像数据的特征点匹配方法 | |
| CN110310331A (zh) | 一种基于直线特征与点云特征结合的位姿估计方法 | |
| CN106530407A (zh) | 一种用于虚拟现实的三维全景拼接方法、装置和*** | |
| CN109711267A (zh) | 一种行人重识别、行人运动轨迹生成方法及装置 | |
| CN105654479A (zh) | 多光谱图像配准方法和装置 | |
| Fan et al. | Vivid-DIBR based 2D–3D image conversion system for 3D display | |
| KR102577663B1 (ko) | 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법 | |
| US20150131897A1 (en) | Method and Apparatus for Building Surface Representations of 3D Objects from Stereo Images | |
| CN103955929B (zh) | 图像局部边缘模式与非边缘模式判断方法及判断装置 | |
| CN106056599B (zh) | 一种基于物体深度数据的物体识别算法及装置 | |
| CN104599294A (zh) | 基于亮度序均值标准差描述子的图像对称轴检测方法 | |
| Abd Gani et al. | Depth Map Information from Stereo Image Pairs using Deep Learning and Bilateral Filter for Machine Vision Application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170929 |