CN111222514A - 一种基于视觉定位的局部地图优化方法 - Google Patents

Abstract

本发明实施例提供的一种基于视觉定位的局部地图优化方法，能够根据图像特点，自适应调整参数，提取质量更高的特征点；能够将特征点均匀分布在图像区域，更有利于后续的匹配过程；同时，针对传统的直接采用随机抽样一致性方法进行误匹配筛选，因为样本点过多而导致随机抽样一致性方法出现错误的情况，采用Jaccard相似度进行第一次筛选，降低样本数量后，再进行随机抽样一致性方法算法，能够提高匹配的正确率，在匹配成功后，将更新特征后的图像替代原有的地图图像，进而实现对局部地图优化，以保证地图的准确性。

Description

一种基于视觉定位的局部地图优化方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于视觉定位的局部地图优化方法。

背景技术

目前，计算机视觉不断发展，视觉被广泛应用于各个领域，工业、医学、交通、军事等等。特征提取与匹配技术是计算机视觉领域的一大研究热点，尤其在视觉导航领域，高精度的图像特征提取与匹配是决定视觉导航前端性能的关键。

近年来，ORB算法以其良好的性能被广泛应用于各类研究中，但一方面提取关键点数量和质量依赖于FAST阈值的设定，固定的FAST阈值设置难以满足不同图像所需要的特征点的数目和质量，另一方面，特征点的分布对于后续的匹配存在较大的影响，应当尽量使得特征点分布均匀，同时，目前传统的特征点匹配方法依然存在较大的误匹配情况。

发明内容

为了解决目前传统的特征点匹配方法依然存在较大的误匹配的问题，本发明实施例提供了一种基于视觉定位的局部地图优化方法。具体技术方案如下：

本发明实施例提供了一种基于视觉定位的局部地图优化方法，包括：

获取局部地图的第一图片、第二图片，并构建第一图片的第一图像金字塔；构建第二图片的第二图像金字塔；

将第一图像金字塔中的第一层作为第一当前层；将第二图像金字塔的第一层作第二当前层

采用ORB技术分别对所述第一当前层、第一当前层进行特征提取以及对所述特征进行描述子计算，以确定特征点的方向；

将所述第一图像金字塔中的每一层作为第一当前层，将将所述第二图像金字塔中的每一层作为第二当前层，对所述第一图像金字塔、第二图像金字塔中的每一层进行特征提取以及对所述特征进行描述子计算；

将所述第一图片与所述第二图片进行特征匹配；

对匹配后的所述第一图像以及所述第二图片进行运动估计，得到运动估计结果；

根据所述运动估计结果对所述局部地图进行优化。

可选的，采用ORB技术分别对所述第一当前层、第一当前层进行特征提取以及对所述特征进行描述子计算包括：

分别对所述第一当前层以及所述第二当前层进行粗提取；得到所述第一当前层的多个特征点以及所述第二当前层的多个特征；

利用ID3算法创建决策树模型，将所述第一当前层的多个特征点分别置于所述决策树模型中，得到所述第一当前层的多个FAST特征点；将所述第二当前层的多个特征点分别置于所述建决策树模型中，得到所述第二当前层的多个 FAST特征点；

使用非极大值抑制去除所述第一当前层的多个FAST特征点中，局部密集的特征点；使用非极大值抑制去除所述第二当前层的多个FAST特征点中，局部密集的特征点；

对所述第一图像金字塔中去除局部密集的特征点后的特征点进行缩放，形成第一nlevels幅；对所述第二图像金字塔中去除局部密集的特征点后的特征点进行缩放；形成第二nlevels幅；所述第一nlevels幅中所有的特征点作为所述第一图片的OFAST特征点，将所述第二nlevels幅中所有的特征点作为所述第二图片的OFAST特征点；

利用矩法来确定OFAST特征点的方向。

可选的，利用矩法来确定OFAST特征点的方向包括：

通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向。图像块的矩定义如下：

P为选定的像素点，Ip为像素灰度值，I(x,y)为图像灰度表达式。通过矩可以周到图像块的质心，该矩的质心为：

假设图像块的几何中心为O，连接O与质心C，得到一个方向向量，该向量即为特征点的方向。计算公式如下：

θ＝atan(m₀₁/m₁₀)

运用四叉树算法使得特征点分布均匀，对于已经提取好特征点的图像，构建四叉树，对于每一个子节点，当节点内特征点数目等于1时，不再往下划分，若节点数目大于1，则继续向下划分四叉树，直到所有节点只含有一个特征点，或者此时划分的节点数已经满足特征点数目要求，对于这种情况，将节点中响应值最大的特征点保留，舍弃多余的特征点，这样使得特征点分布均匀。

本发明实施例提供的一种图像智能故障判断预警***，能够根据图像特点，自适应调整参数，提取质量更高的特征点；能够将特征点均匀分布在图像区域，更有利于后续的匹配过程；同时，针对传统的直接采用随机抽样一致性方法进行误匹配筛选，因为样本点过多而导致随机抽样一致性方法出现错误的情况，采用Jaccard相似度进行第一次筛选，降低样本数量后，再进行随机抽样一致性方法算法，能够提高匹配的正确率，在匹配成功后，将更新特征后的图像替代原有的地图图像，进而实现对局部地图优化，以保证地图的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的基于视觉定位的局部地图优化方法的流程图；

图2为本发明实施例提供的一种FAST特征点的示意图。

图3为本发明实施例提供的采用的ORB视觉里程计模块示意图。

图4为本发明实施例提供的相邻两帧之间的视觉里程计示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

为了解决目前传统的特征点匹配方法依然存在较大的误匹配的问题，一种基于视觉定位的局部地图优化方法。

需要说明的是，视觉里程计技术及其是实现是基于视觉定位的局部地图优化方法的关键技术和难点工作，本项目拟采用的ORB视觉里程计模块按照如图 3的流程进行运行。

视觉里程计是用相邻两帧图像来计算相机运动的，前一帧定位后参考帧，后一帧定义当前帧，总是以参考帧为坐标系，用当前帧与它进行匹配，并估计运动关系。相邻两帧之间的视觉里程计可以用图4示意。

请参见图1，本发明实施例提供了一种基于视觉定位的局部地图优化方法，包括：

S110.获取局部地图的第一图片、第二图片，并构建第一图片的第一图像金字塔；构建第二图片的第二图像金字塔；

S120.将第一图像金字塔中的第一层作为第一当前层；将第二图像金字塔的第一层作第二当前层；

S130.采用ORB技术分别对所述第一当前层、第一当前层进行特征提取以及对所述特征进行描述子计算，以确定特征点的方向；

具体的，ORB特征提取是从输入的图片中提取ORB特征点，用于后面进行特征匹配。ORB特征提取可以归纳为oFAST关键点提取、rBRIEF描述子计算两个过程。

S140.将所述第一图像金字塔中的每一层作为第一当前层，将将所述第二图像金字塔中的每一层作为第二当前层，对所述第一图像金字塔、第二图像金字塔中的每一层进行特征提取以及对所述特征进行描述子计算；

S150.将所述第一图片与所述第二图片进行特征匹配；

S160.对匹配后的所述第一图像以及所述第二图片进行运动估计，得到运动估计结果；

S170.根据所述运动估计结果对所述局部地图进行优化。

进一步的，采用ORB技术分别对所述第一当前层、第一当前层进行特征提取以及对所述特征进行描述子计算包括：

分别对所述第一当前层以及所述第二当前层进行粗提取；得到所述第一当前层的多个特征点以及所述第二当前层的多个特征；

具体的，该步能够提取大量的特征点，但是有很大一部分的特征点的质量不高。如图X是FAST特征点，从图像中选取一点P，以P为圆心画一个半径为 3pixel的圆，圆周上如果有连续n个像素点的灰度值比P点的灰度值大或者小，则认为P为特征点。一般n设置为12。为了加快特征点的提取，快速排出非特征点，首先检测1、9、5、13位置上的灰度值，如果P是特征点，那么这四个位置上有3个或3个以上的的像素值都大于或者小于P点的灰度值。如果不满足，则直接排出此点。

利用ID3算法创建决策树模型，将所述第一当前层的多个特征点分别置于所述决策树模型中，得到所述第一当前层的多个FAST特征点；将所述第二当前层的多个特征点分别置于所述建决策树模型中，得到所述第二当前层的多个 FAST特征点，请参见图2，图2为本发明实施例提供的一种FAST特征点的示意图。

具体的，机器学习的方法筛选最优特征点。简单来说就是使用ID3算法训练一个决策树，将特征点圆周上的16个像素输入决策树中，以此来筛选出最优的FAST特征点。

使用非极大值抑制去除所述第一当前层的多个FAST特征点中，局部密集的特征点；使用非极大值抑制去除所述第二当前层的多个FAST特征点中，局部密集的特征点；

具体的，非极大值抑制去除局部较密集特征点。使用非极大值抑制算法去除临近位置多个特征点的问题。为每一个特征点计算出其响应大小。计算方式是特征点P和其周围16个特征点偏差的绝对值和。在比较临近的特征点中，保留响应值较大的特征点，删除其余的特征点。

对所述第一图像金字塔中去除局部密集的特征点后的特征点进行缩放，形成第一nlevels幅；对所述第二图像金字塔中去除局部密集的特征点后的特征点进行缩放；形成第二nlevels幅；所述第一nlevels幅中所有的特征点作为所述第一图片的OFAST特征点，将所述第二nlevels幅中所有的特征点作为所述第二图片的OFAST特征点；

具体的，特征点的尺度不变形。建立金字塔，来实现特征点的多尺度不变性。设置一个比例因子scaleFactor(opencv默认为1.2)和金字塔的层数nlevels (pencv默认为8)。将原图像按比例因子缩小成nlevels幅图像。缩放后的图像为：I’＝I/scaleFactork(k＝1,2,…,nlevels)。nlevels幅不同比例的图像提取特征点总和作为这幅图像的oFAST特征点。

利用矩法来确定OFAST特征点的方向。

进一步的，利用矩法来确定OFAST特征点的方向包括：

通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向。图像块的矩定义如下：

P为选定的像素点，Ip为像素灰度值，I(x,y)为图像灰度表达式。通过矩可以周到图像块的质心，该矩的质心为：

假设图像块的几何中心为O，连接O与质心C，得到一个方向向量，该向量即为特征点的方向。计算公式如下：

θ＝atan(m₀₁/m₁₀)

运用四叉树算法使得特征点分布均匀，对于已经提取好特征点的图像，构建四叉树，对于每一个子节点，当节点内特征点数目等于1时，不再往下划分，若节点数目大于1，则继续向下划分四叉树，直到所有节点只含有一个特征点，或者此时划分的节点数已经满足特征点数目要求，对于这种情况，将节点中响应值最大的特征点保留，舍弃多余的特征点，这样使得特征点分布均匀。

本发明实施例提供的一种图像智能故障判断预警***，能够根据图像特点，自适应调整参数，提取质量更高的特征点；能够将特征点均匀分布在图像区域，更有利于后续的匹配过程；同时，针对传统的直接采用随机抽样一致性方法进行误匹配筛选，因为样本点过多而导致随机抽样一致性方法出现错误的情况，采用Jaccard相似度进行第一次筛选，降低样本数量后，再进行随机抽样一致性方法算法，能够提高匹配的正确率，在匹配成功后，将更新特征后的图像替代原有的地图图像，进而实现对局部地图优化，以保证地图的准确性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (3)

1.一种基于视觉定位的局部地图优化方法，其特征在于，包括：

获取局部地图的第一图片、第二图片，并构建第一图片的第一图像金字塔；构建第二图片的第二图像金字塔；

将第一图像金字塔中的第一层作为第一当前层；将第二图像金字塔的第一层作第二当前层

采用ORB技术分别对所述第一当前层、第一当前层进行特征提取以及对所述特征进行描述子计算，以确定特征点的方向；

将所述第一图像金字塔中的每一层作为第一当前层，将将所述第二图像金字塔中的每一层作为第二当前层，对所述第一图像金字塔、第二图像金字塔中的每一层进行特征提取以及对所述特征进行描述子计算；

将所述第一图片与所述第二图片进行特征匹配；

对匹配后的所述第一图像以及所述第二图片进行运动估计，得到运动估计结果；

根据所述运动估计结果对所述局部地图进行优化。

2.根据权利要求1所述的基于视觉定位的一种辅助定位方法，其特征在于，采用ORB技术分别对所述第一当前层、第一当前层进行特征提取以及对所述特征进行描述子计算包括：

分别对所述第一当前层以及所述第二当前层进行粗提取；得到所述第一当前层的多个特征点以及所述第二当前层的多个特征；

利用ID3算法创建决策树模型，将所述第一当前层的多个特征点分别置于所述决策树模型中，得到所述第一当前层的多个FAST特征点；将所述第二当前层的多个特征点分别置于所述建决策树模型中，得到所述第二当前层的多个FAST特征点；

使用非极大值抑制去除所述第一当前层的多个FAST特征点中，局部密集的特征点；使用非极大值抑制去除所述第二当前层的多个FAST特征点中，局部密集的特征点；

对所述第一图像金字塔中去除局部密集的特征点后的特征点进行缩放，形成第一nlevels幅；对所述第二图像金字塔中去除局部密集的特征点后的特征点进行缩放；形成第二nlevels幅；所述第一nlevels幅中所有的特征点作为所述第一图片的OFAST特征点，将所述第二nlevels幅中所有的特征点作为所述第二图片的OFAST特征点；

利用矩法来确定OFAST特征点的方向。

3.根据权利要求2所述的基于视觉定位的一种辅助定位方法，其特征在于，利用矩法来确定OFAST特征点的方向包括：

通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向。图像块的矩定义如下：

P为选定的像素点，Ip为像素灰度值，I(x,y)为图像灰度表达式。通过矩可以周到图像块的质心，该矩的质心为：

假设图像块的几何中心为O，连接O与质心C，得到一个方向向量，该向量即为特征点的方向。计算公式如下：

θ＝atan(m₀₁/m₁₀)

运用四叉树算法使得特征点分布均匀，对于已经提取好特征点的图像，构建四叉树，对于每一个子节点，当节点内特征点数目等于1时，不再往下划分，若节点数目大于1，则继续向下划分四叉树，直到所有节点只含有一个特征点，或者此时划分的节点数已经满足特征点数目要求，对于这种情况，将节点中响应值最大的特征点保留，舍弃多余的特征点，这样使得特征点分布均匀。

Images