CN114862902A - 一种基于四叉树的光照自适应orb特征提取和匹配方法 - Google Patents
一种基于四叉树的光照自适应orb特征提取和匹配方法 Download PDFInfo
- Publication number
- CN114862902A CN114862902A CN202210528680.9A CN202210528680A CN114862902A CN 114862902 A CN114862902 A CN 114862902A CN 202210528680 A CN202210528680 A CN 202210528680A CN 114862902 A CN114862902 A CN 114862902A
- Authority
- CN
- China
- Prior art keywords
- quadtree
- image
- matching
- points
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005286 illumination Methods 0.000 title claims abstract description 31
- 238000000605 extraction Methods 0.000 title claims abstract description 28
- 230000001965 increasing effect Effects 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims abstract description 5
- 238000009826 distribution Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 6
- 230000009466 transformation Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于四叉树的光照自适应ORB特征提取和匹配方法，包括如下步骤：步骤1：获取相机运动状态，根据相机运动状态构建金字塔图像；步骤2：提取FAST关键点；步骤3：利用改进四叉树算法对关键点进行增添或剔除；步骤4：提取各关键点的BRIEF描述子，得到特征点；步骤5：根据特征点的汉明距离，获取匹配的特征点对；步骤6：利用改进RANSAC算法剔除误匹配特征点对。提供改进的金字塔图像构建方法、改进的四叉树算法和匹配特征点对的筛选策略，以增强算法对光照的鲁棒性和提升算法的运行速度。
Description
技术领域
本发明涉及图像处理和立体视觉技术领域，特别涉及一种基于四叉树的光照自适应ORB特征提取和匹配方法。
背景技术
同时定位与建图(SLAM)近年来发展迅速，在无人***及设备、智能机器人、增强现实等领域起着重要的作用。其中，特征提取是SLAM算法中最为重要的一步。历史上对于特征提取方法的探索从未停止，曾涌现出了众多优秀的特征提取算法，其中包括SIFT算法、SURF算法和ORB算法。最终，ORB算法被广泛应用于SLAM***。并且，SLAM***在特征提取阶段还加入了四叉树算法提高特征分布的均匀性，添加图像金字塔解决图像特征匹配时的尺度问题。随后，为提升ORB算法在SLAM***中的性能，涌现出了一系列改进ORB算法。J.Yao等人提出的一种改进四叉树的ORB均匀分布算法，他们在提取特征点时考虑图像整体对比度，根据不同金字塔层数设置四叉树的最大深度，消除冗余特征点。K.Yang等人提出一种局部区域自适应阈值的改进ORB特征提取算法，先对原图像和各层金字塔图像进行分块，采用最大类间方差法提取自适应阈值，然后使用自适应阈值提取ORB特征点。
ORB特征提取算法能够一直在SLAM***中应用，表明这一算法的性能比较成熟，能够胜任部分SLAM的任务。这一算法的特点是运算效率高、所需时间少，对图像的尺度、旋转、光照等因素都具有一定的鲁棒性。但经实际应用发现，ORB算法依然存在部分问题。首先，ORB算法对光照变化的适用范围有待提升。ORB算法对光照变化的适用主要表现为在室内有较好的特征点提取效果，但室外图像中光照变化较强烈的区域依然检测不到足够的特征点。其次，ORB算法的运行时间有待提升。在整个SLAM算法的运行过程中，ORB算法依然占据绝大部分时间，而对于ORB算法运行速度的提升一直以来都是SLAM***性能提升的瓶颈。
发明内容
为了解决背景技术提出的技术问题，本发明提供一种基于四叉树的光照自适应ORB特征提取和匹配方法，提供改进的金字塔图像构建方法、改进的四叉树算法和匹配特征点对的筛选策略，以增强算法对光照的鲁棒性和提升算法的运行速度。
为了达到上述目的，本发明采用以下技术方案实现：
一种基于四叉树的光照自适应ORB特征提取和匹配方法，包括如下步骤：
步骤1：获取相机运动状态，根据相机运动状态构建金字塔图像；
步骤2：提取FAST关键点；
步骤3：利用改进四叉树算法对关键点进行增添或剔除；
步骤4：提取各关键点的BRIEF描述子，得到特征点；
步骤5：根据特征点的汉明距离，获取匹配的特征点对；
步骤6：利用改进RANSAC算法剔除误匹配特征点对。
进一步地，所述的步骤1中，获取相机运动状态并构建金字塔图像，步骤如下：
步骤1-1：获取相机的运动状态，相机的运动状态包括相机的运动方向和在各运动方向上的运动速度；
步骤1-2：量化上述相机的运动状态，得到量化后的相机运动参数；
步骤1-3：根据量化后的相机运动参数构建金字塔图像的尺度参数；
步骤1-4：根据尺度参数构建金字塔图像，剔除冗余的金字塔图像层。
进一步地，所述的步骤3中，利用改进四叉树算法对关键点进行增添或剔除，步骤如下：
步骤3-1：统计四叉树节点内图像块中提取的关键点个数；
步骤3-2：如果提取的关键点个数少于设定阈值则执行步骤3-3，如果提取的关键点个数多于设定阈值则执行步骤3-9；
步骤3-3：增加亮度评估，对图像块进行亮度的过亮和过暗估计；
步骤3-4：如果评估结果为亮度过亮则执行步骤3-5，如果评估结果为亮度过暗则执行步骤3-6；
步骤3-5：引入Gamma变换，对过亮图像块进行增强，结束后执行步骤3-7；
步骤3-6：引入直方图均衡化，对过暗图像块进行增强；
步骤3-7：对增强后的图像块再一次提取FAST关键点；
步骤3-8：统计图像块中关键点增加的个数，如果关键点增量超过指定阈值则执行步骤3-9，如果关键点增量没有超过指定阈值则执行步骤3-11；
步骤3-9：四叉树节点继续***；
步骤3-10：四叉树节点***深度达到设定阈值；
步骤3-11：四叉树节点停止继续***；
步骤3-12：保留四叉树节点内图像块中质量最好的关键点，删除其他关键点。
进一步地，所述的步骤3-3中，亮度评估过程如下：
设定四叉树节点***深度阈值η；
确定未达到***深度阈值的四叉树节点ID；
计算四叉树节点ID内图像块中心点在整幅图像中的相对位置坐标；
计算四叉树节点ID内图像块的尺寸数据；
根据相对位置坐标和尺寸数据在四叉树节点ID内图像块中均匀且分散地采集n个像素点，采集的方式有多种；
对第i种采集方式，计算图像块的亮度值ui，公式如下：
ui＝[I0(x0，y0)+I1(x1，y1)+……+In(xn，yn)]/n
In(xn，yn)表示所采集的第n个像素点的像素值；
对多种采集方式计算得到多个亮度值ui，图像块最终的亮度值u可以按照实际需求选择其一或者按照均值、中值、极值等方式计算。
进一步地，所述的步骤6中，利用改进RANSAC算法剔除误匹配特征点对，步骤如下：
步骤6-1：统计所有具有匹配关系的特征点；
步骤6-2：对具有匹配关系的特征点进行判断，如果特征点属于最底层四叉树节点则执行步骤6-3，如果特征点不属于最底层四叉树节点则执行步骤6-4；
步骤6-3：如果特征点所在的四叉树节点不是相邻的则执行步骤6-4，如果特征点所在的四叉树节点是相邻的则执行步骤6-5；
步骤6-4：确定稀疏分布的B类特征点对，并执行步骤6-7；
步骤6-5：确定聚集分布的A类特征点对；
步骤6-6：针对A类特征点对，通过匹配方向剔除误匹配特征点对；
步骤6-7：构建精简数据集，针对精简数据集进行RANSAC迭代，剔除误匹配特征点对；
步骤6-8：得到最佳匹配点对。
进一步地，所述的步骤6-6中，匹配方向的计算过程如下：
对两幅图像中的特征点对进行匹配方向计算：
(x1，y1)表示第一幅图像中的特征点，(x2，y2)表示第二幅图像中与之匹配的特征点，θ表示计算的匹配点对之间的匹配方向，如果匹配方向过大则认为是误匹配特征点对。
进一步地，所述的步骤6-7中，精简数据集包括：
精简数据集中的数据包括两个部分，一部分是已通过匹配方向剔除误匹配的A类特征点对，另一部分B类特征点对；
针对精简数据集的RANSAC迭代的时间会减少，同时精简数据集剔除了误匹配的A类特征点对。
进一步地，所述的步骤6-7中，剔除误匹配特征点对的过程如下：
对A类特征点对进行RANSAC迭代，迭代过程中剔除误匹配特征点对，并确定最佳单应矩阵；
利用最佳单应矩阵对B类特征点对进行筛选，剔除误匹配特征点对。
与现有技术相比，本发明的有益效果是：
1)本发明的一种基于四叉树的光照自适应ORB特征提取和匹配方法，在四叉树算法中增加亮度评估对高曝光和低照度的图像块进行判别，引入Gamma变换对高曝光图像块进行增强，引入直方图均衡化算法对低照度图像块进行增强，使得改进的四叉树算法对光照具有鲁棒性和适应性，继而提升了特征提取和匹配的准确率；
2)本发明的一种基于四叉树的光照自适应ORB特征提取和匹配方法，利用相机的运动状态改进金字塔图像构建的方法，消除了冗余金字塔图像层，提升了算法的运行速度；
3)本发明的一种基于四叉树的光照自适应ORB特征提取和匹配方法，利用匹配方向剔除误匹配特征点对的方法构建精简数据集，在精简数据集上进行RANSAC迭代计算，使得改进的RANSAC算法在剔除误匹配特征点对的同时减少了迭代的时间，提升了算法的运行速度和匹配的准确率。
附图说明
图1是本发明实施例提供的一种基于四叉树的光照自适应ORB特征提取和匹配方法的流程图；
图2是本发明实施例提供的一种构建金字塔图像的子流程图；
图3是本发明实施例提供的一种改进四叉树算法的子流程图；
图4是本发明实施例提供的一种改进RANSAC算法的子流程图；
图5是本发明实施例提供的一种相机运动模式示意图；
图6是本发明实施例提供的一种四叉树节点定向***示意图；
图7是本发明实施例提供的一种亮度评估的像素点采集方式示意图。
具体实施方式
以下结合附图对本发明提供的具体实施方式进行详细说明。
图1-图4的流程图中，标号的第1个字母S表示步骤，第2个数字的值1表示流程图，第3个数字表示主流程图的步骤，第4个数字表示子流程图的步骤。
本发明涉及一种基于四叉树的光照自适应ORB特征提取和匹配方法，流程如图1所示，包括以下步骤：
S1.1.0：获取相机运动模式并构建金字塔图像。
本发明把相机运动状态引入到金字塔图像的构建中，得到量化后的相机运动参数，利用相机运动参数构建金字塔图像的尺度参数，剔除冗余的金字塔图像层，从而提升了算法的运行速度。
所述的S1.1.0获取相机运动模式并构建金字塔图像，子流程如图2所示，步骤如下：
S1.1.1：获取相机运动状态。
相机的运动状态由搭载相机的外部设备决定，读取外部设备共享的运动信息，确定相机运动状态。
本发明实施例把相机运动状态概括为四种：平行于目标特征点向左的相机运动、平行于目标特征点向右的相机运动、垂直于目标特征点向前的相机运动和垂直于目标特征点向后的相机运动，相机的任一方向运动均可拆分为上述四种运动状态的组合；相机的运动状态还包括相机在各运动方向上的运动速度。
如图5所示，图中(a)表示平行于目标特征点的相机运动，图中(b)表示垂直于目标特征点的相机运动；在平行于目标特征点的相机运动中图像目标特征点不存在尺度变化，未构建金字塔图像；在垂直于目标特征点的相机运动中图像目标特征点存在尺度变化，垂直于目标特征点向前的相机运动中图像特征点变大，垂直于目标特征点向后的相机运动中图像特征点变小，构建金字塔图像。
S1.1.2：量化相机状态参数。
量化相机状态参数包括量化相机的运动方向和运动速度。
量化相机状态参数包括：
1)参数+v表示垂直于目标特征点向前的相机运动，其运动速度为v，v的模值范围为[0，+∞)；
2)参数-v表示垂直于目标特征点向后的相机运动，其运动速度为v；
3)参数v＝0表示平行于目标特征点的相机运动。
S1.1.3：构建金字塔图像尺度参数。
结合量化后的相机状态参数构建金字塔图像尺度参数。
金字塔图像尺度参数构建分为两种情况：
1)相机状态参数为-v情况，相机垂直于目标特征点向后运动，此时图像特征点变小，需要对原图像进行放大，构建金字塔图像尺度参数s如下：
s＝αb*v+1
αb为金字塔图像构建系数，具体数值可根据外部设备所量化出的相机状态参数决定，本发明实施例取值为0.4；
2)相机状态参数为+v情况，相机垂直于目标特征点向前运动，此时图像特征点变大，需要对原图像进行缩小，构建金字塔图像尺度参数s如下：
αf为金字塔图像构建系数，具体数值可根据外部设备所量化出的相机状态参数决定，本发明实施例取值为0.4。
S1.1.4：构建金字塔图像。
根据金字塔图像尺度参数构建原始图像的金字塔图像。
构建金字塔图像的过程如下：
1)设定第零层原始图像尺寸：宽为W、高为H，使用尺度参数s对原图像尺度进行计算，如下：
Ws＝W*s
Hs＝H*s
Ws和Hs表示构造出的金字塔图像尺度；
2)对原始图像做尺度变换，得到尺度变换后的金字塔图像。
相比于传统八层金字塔图像构建策略，本发明实施例在原始图像的基础上只构建了一层新的金字塔图像，剔除了冗余的金字塔图像层，提升了算法的运行速度。
本发明实施例中把原始图像和构建出的一层新的金字塔图像统称为金字塔图像，且金字塔图像层数m＝2。
S1.2.0：提取FAST关键点。
对金字塔图像提取FAST关键点。
根据金字塔图像面积将关键点数量分配到各层图像上；金字塔图像的面积越小，对应的图像分辨率越低，提取的图像关键点越少；金字塔图像的面积越大，对应的图像分辨率越高，提取的图像关键点越多。
首先，计算每层金字塔图像FAST关键点提取数量，过程如下：
1)设定提取的关键点数量为X，第零层原始图像的面积为C＝H*W；
2)计算金字塔图像的总面积S，如下：
3)计算单位面积关键点分配数量Xavg，如下：
4)计算第i(i＝0，1)层金字塔图像应该分配的关键点数量Xi，如下：
然后，对关键点进行提取，过程如下：
1)对图像进行边缘扩充，扩充的宽度为g；
2)选取像素点P(x，y)，假设这个点的像素值为p；
3)设置阈值T＝p*40％；
4)选取P(x，y)为圆心、g为半径的圆上所有像素点；
5)如果圆上像素点有连续B个点的像素值大于p+T或小于p-T，那么像素点P(x，y)被确定为关键点；
6)循环执行上述2)-5)，直到遍历完整幅图像的所有像素点。
通过关键点数量分配和关键点提取，金字塔图像中像素灰度变化阈值超过T的区域均提取到了关键点。
S1.3.0：利用改进四叉树算法对关键点进行增添或剔除。
FAST关键点会存在分布不均匀的问题，本发明实施例通过改进四叉树算法对关键点进行增添或剔除；增添关键点时主要考虑了光照对关键点提取结果的影响，对关键点稀疏分布区域进行高曝光和低照度两种光照下的图像增强，对增强后的图像区域进行关键点提取，达到增添关键点的效果；对关键点聚集分布区域进行关键点剔除，实现关键点均匀化。
改进的四叉树算法对光照具有鲁棒性和适应性，提升了特征提取和匹配的准确率
所述的S1.3.0利用改进四叉树算法对关键点进行增添或剔除，子流程如图3所示，步骤如下：
S1.3.1：统计四叉树节点内关键点个数。
对原始图像完成四叉树节点定向***，统计每个四叉树节点内关键点个数。
四叉树节点定向***的过程如下：
1)将原始图像设定为原始节点N，把原始图像分为面积相等的四个部分，也就是节点N***为N1、N2、N3和N4四个子节点，每个子节点对应原始图像的一个图像块，此时完成了四叉树节点的第一次***，如图6所示；
2)设定关键点数量阈值f＝2，统计四叉树节点图像块中关键点的数量，四叉树节点中关键点数量超过阈值f的节点继续***，四叉树节点中关键点数量没有超过设定阈值f节点停止继续***；如图6所示，节点N1、N2、N3内关键点数量均少于设定阈值f，节点停止继续***；节点N4中关键点数量超过阈值f，节点继续***，此时节点N4***为N41、N42、N43和N44四个子节点；节点N42、N43、N44内关键点数量均少于设定阈值f，节点停止继续***；节点N41中关键点数量超过设定阈值f，节点继续***，此时节点N41***为N411、N412、N413和N414四个子节点；
3)检测到四叉树节点***深度达到最大***深度阈值η，四叉树节点停止继续***；如图6所示，四叉树节点N413达到最大***深度，N413停止继续***，统计节点N413图像块中的关键点，得到聚集分布的关键点C0、C1、C2。
S1.3.2：判断四叉树节点内关键点数量是否少于设定阈值。
如果四叉树节点内图像块中提取的关键点个数少于设定阈值，则执行S1.3.3；如果四叉树节点内图像块中提取的关键点个数多于设定阈值，则执行S1.3.9。
对于***深度达到最大***的四叉树节点，认为是关键点聚集分布区域；对于***深度未达到最大***的四叉树节点，认为是关键点稀疏分布区域。
S1.3.3：对节点内图像块做亮度评估。
通过灰度图像的像素值评估图像亮度，在关键点稀疏分布的四叉树节点内图像块后面增加亮度评估；采集图像块的像素点，然后对像素点进行亮度的过亮和过暗估计。
所述的S1.3.3亮度评估过程如下：
定义四叉树节点***到最大***深度为四叉树节点完全***，定义四叉树节点未***到最大***深度为四叉树节点未完全***；确定未完全***深度阈值的四叉树节点ID，计算四叉树节点ID内图像块在整幅图像中的相对位置和图像块的尺寸，根据图像块的尺寸确定图像块中心，根据图像块的相对位置确定图像块中心在整幅图像中的相对位置；根据图像块中心的相对位置和图像块的尺寸，在图像块中均匀且分散地采集n个像素点。
如图7所示，本发明实施例给出了三种采集像素点的方式；以四叉树节点内图像块中心所在整幅图像中的相对位置为中点，图7(a)在图像块尺寸同比例缩小10％的矩形框上均匀的选取n个像素点，图7(b)在图像块尺寸同比例缩小10％的矩形框对角线上均匀的选取n个像素点，图7(c)在图像块尺寸同比例缩小10％的矩形框中线上均匀的选取n个像素点。
对第i种采集方式，计算图像块的亮度值ui，公式如下：
ui＝[I0(x0，y0)+I1(x1，y1)+……+In(xn，yn)]/n
In(xn，yn)表示所采集的第n个像素点的像素值。
对三种采集方式计算得到多个亮度值ui，图像块最终的亮度值u按照实际需求选择其一或者按照均值、中值、极值等的一种方式计算。
S1.3.4：如果统计结果显示此四叉树节点内图像块的亮度总体过亮，则执行S1.3.5；如果统计结果显示此四叉树节点内图像块的亮度总体过暗，则执行S1.3.6。
本发明实时例中通过亮度值u与图像块的像素值相比较，判断此图像块是否过亮。
S1.3.5：Gamma变换，结束后执行S1.3.7。
调用Gamma变换算法，对过亮的四叉树节点内图像块进行处理，得到对比度更高的图像；Gamma变换对原始图像的像素值进行指数变换，拉伸图像的对比度。
Gamma变换过程如下：
1)利用亮度值u计算Gamma指数ξ，公式如下：
ξ＝ψ(u)
变换函数ψ(u)使得ξ与亮度值u相关，且将u变换成合适的指数；
2)把ξ带入Gamma函数，对图像的像素值进行拉伸，公式如下：
sG＝Γ(ξ)＝cpGξ
c为常数，pG为原图像的像素值，sG为Gamma函数拉伸后图像的像素值。
经实验验证，Gamma变换对高曝光即亮度过亮的图像增强效果较好，增强后的图像块能提取到更多的关键点。
S1.3.6：直方图均衡化。
调用传统的直方图均衡化算法，对过暗的四叉树节点内图像块进行处理，得到对比度更高的图像块；直方图均衡化对原始图像像素值的分布做调整，拉伸图像的对比度。
经实验验证，直方图均衡化对低照度即亮度过暗的图像增强效果较好，增强后的图像块能提取到更多的关键点。
S1.3.7：再一次提取FAST关键点。
按照S1.2.0对增强后的图像块再一次提取FAST关键点。
S1.3.8：判断关键点增加数量是否超过指定阈值。
统计四叉树节点内图像块中关键点增加的个数；如果关键点增量超过指定阈值，则执行S1.3.9；如果关键点增量没有超过指定阈值，则执行S1.3.11。
S1.3.9：四叉树节点继续***。
图像块中关键点数量多，四叉树节点继续***。
S1.3.10：四叉树节点***到指定深度。
四叉树节点定向***，达到最大深度η。
S1.3.11：四叉树节点停止继续***。
对四叉树***后的图像块进行关键点统计；若图像块中不存在关键点或关键点数量少于指定阈值，四叉树节点停止继续***；若达到最大深度η，四叉树节点停止***。
S1.3.12：保留四叉树节点内图像块中质量最好的关键点，删除其他关键点。
原始图像的关键点为保留的质量最好的关键点，即为纹理特征最强的关键点。
S1.4.0：计算关键点描述子。
调用BRIEF算法，计算所有原始图像关键点的BRIEF描述子，并将BRIEF描述子确定为原始图像的特征点。
S1.5.0：匹配特征点对。
经过上述步骤的计算，获得原始图像的特征点；经过同样步骤的计算，获得匹配图像的特征点；计算两幅图像特征点之间的汉明距离，确定汉明距离小的两特征点为具有匹配关系的特征点对。
S1.6.0：改进RANSAC算法剔除误匹配特征点对。
改进RANSAC算法利用匹配方向剔除误匹配特征点对的方法构建精简数据集，在精简数据集上进行RANSAC迭代计算，剔除误匹配特征点对，既提升了匹配的准确率又提高了算法的运行速度。
所述的S1.6.0利用改进RANSAC算法剔除误匹配特征点对，子流程如图4所示，步骤如下：
S1.6.1：统计原始图像中所有具有匹配关系的特征点；
S1.6.2：对原始图像中具有匹配关系的特征点进行判断，如果特征点属于最底层四叉树节点，则执行S1.6.3；如果特征点不属于最底层四叉树节点，则执行S1.6.4；
S1.6.3：如果特征点所在的四叉树节点不相邻，则执行S1.6.4；如果特征点所在的四叉树节点相邻，则执行S1.6.5；
S1.6.4：得到原始图像和匹配图像之间的B类匹配点对，并执行S1.6.7；
B类特征点具有稀疏分布的特性。
S1.6.5：得到原始图像和匹配图像之间的A类匹配点对；
A类特征点具有聚集分布的特性。
S1.6.6：通过匹配方向剔除误匹配特征点对；
在特征点聚集分布区域，正确匹配特征点对的匹配方向差异不大，误匹配特征点对的匹配方向与正确匹配特征点对的匹配方向差异较大；计算特征点的匹配方向，通过匹配方向大小剔除误匹配特征点对。
所述的S1.6.6匹配方向的计算过程如下：
对原始图像和匹配图像的特征点对进行方向计算；
(x1，y1)表示原始图像中的特征点，(x2，y2)表示匹配图像中与之匹配的特征点，θ表示计算的匹配点对之间的方向。
如果匹配方向θ超过设定阈值R，则认为此匹配点对为误匹配，剔除此匹配特征点对。
S1.6.7：针对精简数据集进行RANSAC迭代，剔除误匹配特征点对；
构建精简数据集，调用原始的RANSAC算法对精简数据集进行迭代计算，获得最佳单应矩阵，通过RANSAC迭代和最佳单应矩阵剔除误匹配特征点对。
所述的精简数据集包括：
精简数据集中的数据包括两个部分，一部分是已通过匹配方向剔除误匹配的A类特征点对，另一部分B类特征点对。
针对精简数据集的RANSAC迭代时间减少，提高了算法的运行速度；精简数据集剔除了误匹配的A类特征点对，提高了算法的准确率。
所述的S1.6.7剔除误匹配特征点对的过程如下：
对已通过匹配方向剔除误匹配的A类特征点对进行RANSAC迭代，迭代过程中再次剔除误匹配特征点对，并确定最佳单应矩阵；
利用最佳单应矩阵对B类特征点对进行筛选，剔除误匹配特征点对。
S1.6.8：得到最佳匹配点对。
以上实施例公式中未进行说明的变量均为公知常识的变量。
以上实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于上述的实施例。上述实施例中所用方法如无特别说明均为常规方法。
Claims (8)
1.一种基于四叉树的光照自适应ORB特征提取和匹配方法，其特征在于，包括如下步骤：
步骤1：获取相机运动状态，根据相机运动状态构建金字塔图像；
步骤2：提取FAST关键点；
步骤3：利用改进四叉树算法对关键点进行增添或剔除；
步骤4：提取各关键点的BRIEF描述子，得到特征点；
步骤5：根据特征点的汉明距离，获取匹配的特征点对；
步骤6：利用改进RANSAC算法剔除误匹配特征点对。
2.根据权利要求1所述的一种基于四叉树的光照自适应ORB特征提取和匹配方法，其特征在于，所述的步骤1中，获取相机运动状态并构建金字塔图像，步骤如下：
步骤1-1：获取相机的运动状态，相机的运动状态包括相机的运动方向和在各运动方向上的运动速度；
步骤1-2：量化上述相机的运动状态，得到量化后的相机运动参数；
步骤1-3：根据量化后的相机运动参数构建金字塔图像的尺度参数；
步骤1-4：根据尺度参数构建金字塔图像，剔除冗余的金字塔图像层。
3.根据权利要求1所述的一种基于四叉树的光照自适应ORB特征提取和匹配方法，其特征在于，所述的步骤3中，利用改进四叉树算法对关键点进行增添或剔除，步骤如下：
步骤3-1：统计四叉树节点内图像块中提取的关键点个数；
步骤3-2：如果提取的关键点个数少于设定阈值则执行步骤3-3，如果提取的关键点个数多于设定阈值则执行步骤3-9；
步骤3-3：增加亮度评估，对图像块进行亮度的过亮和过暗估计；
步骤3-4：如果评估结果为亮度过亮则执行步骤3-5，如果评估结果为亮度过暗则执行步骤3-6；
步骤3-5：引入Gamma变换，对过亮图像块进行增强，结束后执行步骤3-7；
步骤3-6：引入直方图均衡化，对过暗图像块进行增强；
步骤3-7：对增强后的图像块再一次提取FAST关键点；
步骤3-8：统计图像块中关键点增加的个数，如果关键点增量超过指定阈值则执行步骤3-9，如果关键点增量没有超过指定阈值则执行步骤3-11；
步骤3-9：四叉树节点继续***；
步骤3-10：四叉树节点***深度达到设定阈值；
步骤3-11：四叉树节点停止继续***；
步骤3-12：保留四叉树节点内图像块中质量最好的关键点，删除其他关键点。
4.根据权利要求3所述的一种基于四叉树的光照自适应ORB特征提取和匹配方法，其特征在于，所述的步骤3-3中，亮度评估过程如下：
设定四叉树节点***深度阈值η；
确定未达到***深度阈值的四叉树节点ID；
计算四叉树节点ID内图像块中心点在整幅图像中的相对位置坐标；
计算四叉树节点ID内图像块的尺寸数据；
根据相对位置坐标和尺寸数据在四叉树节点ID内图像块中均匀且分散地采集n个像素点，采集的方式有多种；
对第i种采集方式，计算图像块的亮度值ui，公式如下：
ui＝[I0(x0，y0)+I1(x1，y1)+……+In(xn，yn)]/n
In(xn,yn)表示所采集的第n个像素点的像素值；
对多种采集方式计算得到多个亮度值ui，图像块最终的亮度值u可以按照实际需求选择其一或者按照均值、中值、极值等方式计算。
5.根据权利要求1所述的一种基于四叉树的光照自适应ORB特征提取和匹配方法，其特征在于，所述的步骤6中，利用改进RANSAC算法剔除误匹配特征点对，步骤如下：
步骤6-1：统计所有具有匹配关系的特征点；
步骤6-2：对具有匹配关系的特征点进行判断，如果特征点属于最底层四叉树节点则执行步骤6-3，如果特征点不属于最底层四叉树节点则执行步骤6-4；
步骤6-3：如果特征点所在的四叉树节点不是相邻的则执行步骤6-4，如果特征点所在的四叉树节点是相邻的则执行步骤6-5；
步骤6-4：确定稀疏分布的B类特征点对，并执行步骤6-7；
步骤6-5：确定聚集分布的A类特征点对；
步骤6-6：针对A类特征点对，通过匹配方向剔除误匹配特征点对；
步骤6-7：构建精简数据集，针对精简数据集进行RANSAC迭代，剔除误匹配特征点对；
步骤6-8：得到最佳匹配点对。
6.根据权利要求5所述的一种基于四叉树的光照自适应ORB特征提取和匹配方法，其特征在于，所述的步骤6-6中，匹配方向的计算过程如下：
对两幅图像中的特征点对进行匹配方向计算：
(x1，y1)表示第一幅图像中的特征点，(x2，y2)表示第二幅图像中与之匹配的特征点，θ表示计算的匹配点对之间的匹配方向，如果匹配方向过大则认为是误匹配特征点对。
7.根据权利要求5所述的一种基于四叉树的光照自适应ORB特征提取和匹配方法，其特征在于，所述的步骤6-7中，精简数据集包括：
精简数据集中的数据包括两个部分，一部分是已通过匹配方向剔除误匹配的A类特征点对，另一部分B类特征点对；
针对精简数据集的RANSAC迭代的时间会减少，同时精简数据集剔除了误匹配的A类特征点对。
8.根据权利要求5所述的一种基于四叉树的光照自适应ORB特征提取和匹配方法，其特征在于，所述的步骤6-7中，剔除误匹配特征点对的过程如下：
对A类特征点对进行RANSAC迭代，迭代过程中剔除误匹配特征点对，并确定最佳单应矩阵；
利用最佳单应矩阵对B类特征点对进行筛选，剔除误匹配特征点对。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210528680.9A CN114862902A (zh) | 2022-05-16 | 2022-05-16 | 一种基于四叉树的光照自适应orb特征提取和匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210528680.9A CN114862902A (zh) | 2022-05-16 | 2022-05-16 | 一种基于四叉树的光照自适应orb特征提取和匹配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114862902A true CN114862902A (zh) | 2022-08-05 |
Family
ID=82637761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210528680.9A Pending CN114862902A (zh) | 2022-05-16 | 2022-05-16 | 一种基于四叉树的光照自适应orb特征提取和匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114862902A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665256A (zh) * | 2023-06-05 | 2023-08-29 | 长春理工大学 | 一种基于指纹图像局部区域质量的指纹匹配方法 |
| CN117315274A (zh) * | 2023-11-28 | 2023-12-29 | 淄博纽氏达特机器人***技术有限公司 | 一种基于自适应特征提取的视觉slam方法 |
-
2022
- 2022-05-16 CN CN202210528680.9A patent/CN114862902A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665256A (zh) * | 2023-06-05 | 2023-08-29 | 长春理工大学 | 一种基于指纹图像局部区域质量的指纹匹配方法 |
| CN116665256B (zh) * | 2023-06-05 | 2024-03-15 | 长春理工大学 | 一种基于指纹图像局部区域质量的指纹匹配方法 |
| CN117315274A (zh) * | 2023-11-28 | 2023-12-29 | 淄博纽氏达特机器人***技术有限公司 | 一种基于自适应特征提取的视觉slam方法 |
| CN117315274B (zh) * | 2023-11-28 | 2024-03-19 | 淄博纽氏达特机器人***技术有限公司 | 一种基于自适应特征提取的视觉slam方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109509199B (zh) | 一种基于三维重建的医学影像组织智能分割方法 | |
| CN114862902A (zh) | 一种基于四叉树的光照自适应orb特征提取和匹配方法 | |
| CN107038416B (zh) | 一种基于二值图像改进型hog特征的行人检测方法 | |
| CN110782477A (zh) | 基于序列图像的运动目标快速检测方法、计算机视觉*** | |
| CN111339924B (zh) | 一种基于超像素和全卷积网络的极化sar图像分类方法 | |
| CN115393657B (zh) | 基于图像处理的金属管材生产异常识别方法 | |
| CN111583279A (zh) | 一种基于pcba的超像素图像分割方法 | |
| CN110706294A (zh) | 一种色纺织物颜色差异度检测方法 | |
| CN110276764A (zh) | 基于K值估计的K-Means水下图像背景分割改进算法 | |
| CN109472770B (zh) | 一种印刷电路板检测中的图像特征点快速匹配方法 | |
| CN109035196A (zh) | 基于显著性的图像局部模糊检测方法 | |
| CN113052859A (zh) | 基于自适应种子点密度聚类超像素分割方法 | |
| CN111199245A (zh) | 油菜害虫识别方法 | |
| CN114419413A (zh) | 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法 | |
| CN116630971B (zh) | 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法 | |
| CN111709305B (zh) | 一种基于局部图像块的人脸年龄识别方法 | |
| CN109886146A (zh) | 基于机器视觉检测的洪灾信息遥感智能采集方法及设备 | |
| CN109242854A (zh) | 一种基于flic超像素分割的图像显著性检测方法 | |
| CN116721121A (zh) | 一种植物表型彩色图像特征提取方法 | |
| CN115272319A (zh) | 一种矿石粒度检测方法 | |
| CN109544614B (zh) | 一种基于图像低频信息相似度的匹配图像对识别的方法 | |
| CN113033345B (zh) | 基于公共特征子空间的v2v视频人脸识别方法 | |
| CN106611418A (zh) | 一种图像分割算法 | |
| CN112446417A (zh) | 基于多层超像素分割的纺锤形果实图像分割方法及*** | |
| CN115880181A (zh) | 一种增强图像对比度的方法、装置及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |