CN113450412B - 一种基于直线特征的视觉slam方法 - Google Patents

一种基于直线特征的视觉slam方法 Download PDF

Info

Publication number
CN113450412B
CN113450412B CN202110798911.3A CN202110798911A CN113450412B CN 113450412 B CN113450412 B CN 113450412B CN 202110798911 A CN202110798911 A CN 202110798911A CN 113450412 B CN113450412 B CN 113450412B
Authority
CN
China
Prior art keywords
straight line
line
point
features
linear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110798911.3A
Other languages
English (en)
Other versions
CN113450412A (zh
Inventor
蒋朝阳
王慷
郑晓妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110798911.3A priority Critical patent/CN113450412B/zh
Publication of CN113450412A publication Critical patent/CN113450412A/zh
Application granted granted Critical
Publication of CN113450412B publication Critical patent/CN113450412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于直线特征的视觉SLAM方法，包括以下步骤：S1、特征直线交点构造新类型点特征；S2、对线特征再提取点特征，引入直线特征描述方法；S3、后端中根据新的线特征描述方法，匹配线特征词袋，确定空间中唯一直线。本发明可以极大的提高特征提取的精度，并且直线特征不受光照等因素影响，***稳定性好，精度高。

Description

一种基于直线特征的视觉SLAM方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于直线特征的视觉SLAM方法。
技术背景
目前图像常用的特征匹配方法有点匹配、直线匹配以及面匹配。在图像匹配时，由于在不同类型的图像中，特征点容易提取，因此，点特征通常是比较常用的匹配方法。但是，与特征直线相比，特征点有三个不足之处：第一，特征点容易受到环境噪声的影响，稳定性较差，而特征直线对环境噪声的抗干扰能力较强，稳定性较高。此外，相比于特征点的提取与定位，特征直线的定位更加准确，可以达到亚像素级别。第二，特征直线是现实场景和人造场景中普遍存在的特征，同时也包含图像中中非常重要的中层信息，利用众多包含中层信息的特征直线，可以构建图像的高层信息，并且特征直线具有更加稳定的几何特性，可有效解决部分阴影或部分遮挡问题。例如基于特征点的三维重建，当特征点被遮挡时，不能利用前方交会得到三维点的坐标，进而直接影响三维重建的性能，而基于特征直线的三维重建，当直线部分被遮挡时，仍能可以从未遮挡部分中获取足够多的信息，实现三维重建。第三，在低纹理图像中，特征点的提取比较困难，使得点匹配比较困难，而低纹理图像中仍能提取特征直线，所以直线匹配更适用于低纹理图像。物体的面特征时由物体的面积、周长、形心以及三维标准矩阵等组成，与特征直线相比，特征面不容易提取与描述。
发明内容
本发明针对基于特征点的视觉SLAM存在的特征点提取困难，易受光照影响，误匹配等问题，引入直线特征。特征较为稳定的直线特征本身就可以为视觉SLAM提供定位与建图的依据，同时利用两直线相交可以构成点的特性，引入新的点特征提取方法，由于该特征点鲁棒性强，易提取，因此可以极大的提升了***的稳定性和精确性。
一种基于直线特征的视觉SLAM方法，包括以下步骤：
S1、特征直线交点构造新类型点特征
在每一帧图像中，利用LSD直线检测方法，提取直线特征；
首先判断两直线是否共面，在利用共面的直线计算出交点后，计算交点的描述子；在前端里程计以及后端优化过程中，将交点特征的视觉约束权重增大，而通过普通点特征提取的特征点权重降低；
S2、对线特征再提取点特征，引入直线特征描述方法
在检测识别到直线后，在直线上遍历提取特征点，并对特征点计算描述子；
当相邻两帧共同观测到一条直线，并且在共同观测区域拥有相同的特征点，即可认为空间中同一条直线；
同时为了在回环检测以及下一帧的直线匹配，将当前帧的直线新的特征点加入到直线词袋库中，在后期的直线匹配阶段中，使用当前帧中直线的LBD描述子以及点特征与直线词袋库中的直线进行匹配实现词袋的匹配；
为了能够充分表征空间中的一条直线，在当前帧还需要提取共同观测区域以外的特征点，同时将当前观测的所有区域中得到特征点更新到对应直线的特征中去，为了接下步骤重定位以及回环检测等环节提供约束。
S3、后端中根据新的线特征描述方法，匹配线特征词袋，确定空间中唯一直线
LBD描述子示意图由若干个相互平行的条带组成一个线段支持域LSR，并定义了dL和d⊥两个方向来实现旋转不变性，其中dL为线段方向，d⊥为dL的顺时针垂直方向。设条带数目为m，宽度为w,长度为线段的长度；
LBD算法引入全局高斯权重函数，以降低LSR区域内沿d⊥方向远离中心行的权重；同时，引入局部高斯权重函数，以削弱边界效应，避免条带间描述子的骤然变化。
直线特征计算完LBD特征后，再通过遍历提取直线上的特征点，并计算相应特征点的描述子；
通过LBD描述子以及点特征，匹配线特征词袋中的线特征，若匹配到了，将当前的特征点加入到对应直线特征中去，逐渐完善直线特征的点特征；若匹配不到任何直线，则认为该条直线为新观测到的直线，并将当前特征直线加入到直线特征词袋中去，完成词袋的更新；匹配到直线后，根据直线的重投影误差即可计算出位姿的变化。
本发明具有的有益效果：
1、直线特征的引入，可以极大的提高特征提取的精度，并且直线特征不受光照等因素影响，***稳定性好，精度高。
2、两直线构成点特征，由于直线特征的稳定性，对应于提取到的点特征，其稳定性也相应较高，同时对于该种点特征，其匹配依赖于线特征，因此其误匹配的几率会相应变小。同时，在后端全局优化的过程中，由于该种点特征的可信度较高，因此设置其核函数随误差变化的对新的构造出的特征点，其核函数随着误差的变大相较于普通的点特征的和函数误差会大一些。
3、对线特征再提取点特征，引入新的直线特征描述方法。
4、匹配线特征词袋，在原来点特征的基础上，在匹配词袋中引入直线特征，增大回环检测的置信率。
附图说明
图1为本发明流程图；
图2为实施例构造新类型点特征示意图；
图3为实施例基于特征点的直线匹配示意图；
图4为实施例提取当前观测到直线中的点特征示意图；
图5为实施例LBD描述子示意图；
图6为实施例直线特征的重投影。
具体实施方式
结合附图说明本发明的具体技术方案。
本发明提供的完整技术方案依次通过以下三个步骤实施：
如图1所示，一种基于直线特征的视觉SLAM方法，包括以下步骤：
S1、特征直线交点构造新类型点特征
如图2所示，在每一帧图像中，利用LSD直线检测方法，提取直线特征。由于直线检测的稳定性，利用直线的交点构造点特征不会受光照以及其他因素影响。同时为了特征点的特异性，以及由于不是共面直线构成的点特征会由于观测角度变化而不同，因此首先判断两直线是否共面，在利用共面的直线计算出交点后，计算交点的描述子。在前端里程计以及后端优化过程中，由于直线交点特征的稳定性，将交点特征的视觉约束权重增大，而通过普通点特征提取的特征点权重降低，进而提高SLAM定位的精确度。
S2、对线特征再提取点特征，引入新的直线特征描述方法
如图3所示，基于LBD线特征描述方法，都是基于观测到完整线段的情况下进行描述的，但当当前帧仅观测到直线的一部分，利用LBD特征的方法并不能正确可靠的匹配到直线特征。因此在检测识别到直线后，在直线上遍历提取特征点，并对特征点计算描述子。由于智能体在运动过程中的连续性，观测到的直线也是连续的，因此当相邻两帧共同观测到一条直线，并且在共同观测区域拥有相同的特征点，即可认为空间中同一条直线。同时为了在回环检测以及下一帧的直线匹配，将当前帧的直线新的特征点加入到直线词袋库中，在后期的直线匹配阶段中，使用当前帧中直线的LBD描述子以及点特征与直线词袋库中的直线进行匹配就可以实现词袋的匹配。
为了能够充分表征空间中的一条直线，在当前帧还需要提取共同观测区域以外的特征点，同时将当前观测的所有区域中得到特征点更新到对应直线的特征中去，为了接下步骤重定位以及回环检测等环节提供约束。如图4所示。
在后端优化中，同样需要直线特征的匹配，对于点特征的匹配已相当成熟，因此在设计方案中不用过多的考虑。对于每一帧中的直线特征，计算其LBD描述子。基于MSLD算法改进的LBD，用来描述线段的局部外观，并结合几何约束来实现线段匹配。与MSLD相比，该算法引入了全局和局部的高斯权重系数，计算速度更快，鲁棒性更强。
S3、后端中根据新的线特征描述方法，匹配线特征词袋，确定空间中唯一直线
如图5所示，LBD描述子示意图由若干个相互平行的条带组成一个线段支持域LSR，并定义了dL和d⊥两个方向来实现旋转不变性，其中dL为线段方向，d⊥为dL的顺时针垂直方向。设条带数目为m，宽度为w,长度为线段的长度。考虑到距离中心较远的像素梯度对描述子的影响，LBD算法引入全局高斯权重函数，以降低LSR区域内沿d⊥方向远离中心行的权重。同时，引入局部高斯权重函数，以削弱边界效应，避免条带间描述子的骤然变化。
直线特征计算完LBD特征后，再通过遍历提取直线上的特征点，并计算相应特征点的描述子。即直线不仅有LBD描述子，同时也拥有所在直线上面的特征点，不过在直线的不同区域有不同的特征点。通过LBD描述子以及点特征，匹配线特征词袋中的线特征，若匹配到了，将当前的特征点加入到对应直线特征中去，逐渐完善直线特征的点特征。若匹配不到任何直线，则认为该条直线为新观测到的直线，并将当前特征直线加入到直线特征词袋中去，完成词袋的更新。匹配到直线后，根据直线的重投影误差即可计算出位姿的变化，如图6所示。
本发明具有以下特征：
1、通过空间中直线特征，通过直线交点构造新的特征点，由于直线特征提取的稳定性，进而增大构造出的点特征的稳定性，同时在全局优化过程中，对新的构造出的特征点，其核函数随着误差的变大相较于普通的点特征的核函数误差会大一些。
2、对于直线特征，提取其上面的点特征，其上面的点特征作为线特征描述的一种方法，通过点特征的匹配，确定两个图像帧中的直线是否为同一直线。
3、在后端优化过程中，直线特征计算完LBD特征后，再通过遍历提取直线上的特征点，并计算相应特征点的描述子。即直线不仅有LBD描述子，同时也拥有所在直线上面的特征点，不过在直线的不同区域有不同的特征点。通过LBD描述子以及点特征，匹配线特征词袋中的线特征。

Claims (2)

1.一种基于直线特征的视觉SLAM方法，其特征在于，包括以下步骤：
S1、特征直线交点构造新类型点特征
在每一帧图像中，利用LSD直线检测方法，提取直线特征；
首先判断两直线是否共面，在利用共面的直线计算出交点后，计算交点的描述子；在前端里程计以及后端优化过程中，将交点特征的视觉约束权重增大，而通过普通点特征提取的特征点权重降低；
S2、对线特征再提取点特征，引入直线特征描述方法
在检测识别到直线后，在直线上遍历提取特征点，并对特征点计算描述子；
当相邻两帧共同观测到一条直线，并且在共同观测区域拥有相同的特征点，即可认为空间中同一条直线；
同时为了在回环检测以及下一帧的直线匹配，将当前帧的直线新的特征点加入到直线词袋库中，在后期的直线匹配阶段中，使用当前帧中直线的LBD描述子以及点特征与直线词袋库中的点特征和直线特征进行匹配实现词袋的匹配；
S3、后端中根据新的线特征描述方法，匹配线特征词袋，确定空间中唯一直线
LBD描述子示意图由若干个相互平行的条带组成一个线段支持域LSR，并定义了dL和d⊥两个方向来实现旋转不变性，其中dL为线段方向，d⊥为dL的顺时针垂直方向；设条带数目为m，宽度为w,长度为线段的长度；
LBD算法引入全局高斯权重函数，以降低LSR区域内沿d⊥方向远离中心行的权重；同时，引入局部高斯权重函数，以削弱边界效应，避免条带间描述子的骤然变化；
直线特征计算完LBD特征后，再通过遍历提取直线上的特征点，并计算相应特征点的描述子；
通过LBD描述子以及点特征，匹配线特征词袋中的线特征，若匹配到了，将当前的特征点加入到对应直线特征中去，逐渐完善直线特征的点特征；若匹配不到任何直线，则认为该条直线为新观测到的直线，并将当前特征直线加入到直线特征词袋中去，完成词袋的更新；匹配到直线后，根据直线的重投影误差即可计算出位姿的变化。
2.根据权利要求1所述的一种基于直线特征的视觉SLAM方法，其特征在于，S2中，为了能够充分表征空间中的一条直线，在当前帧还需要提取共同观测区域以外的特征点，同时将当前观测的所有区域中得到特征点更新到对应直线的特征中去，为了接下步骤重定位以及回环检测环节提供约束。
CN202110798911.3A 2021-07-15 2021-07-15 一种基于直线特征的视觉slam方法 Active CN113450412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110798911.3A CN113450412B (zh) 2021-07-15 2021-07-15 一种基于直线特征的视觉slam方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110798911.3A CN113450412B (zh) 2021-07-15 2021-07-15 一种基于直线特征的视觉slam方法

Publications (2)

Publication Number Publication Date
CN113450412A CN113450412A (zh) 2021-09-28
CN113450412B true CN113450412B (zh) 2022-06-03

Family

ID=77816285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110798911.3A Active CN113450412B (zh) 2021-07-15 2021-07-15 一种基于直线特征的视觉slam方法

Country Status (1)

Country Link
CN (1) CN113450412B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114800504A (zh) * 2022-04-26 2022-07-29 平安普惠企业管理有限公司 机器人位姿分析方法、装置、设备及存储介质
CN117671022B (zh) * 2023-11-02 2024-07-12 武汉大学 一种室内弱纹理环境的移动机器人视觉定位***及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909877B (zh) * 2016-12-13 2020-04-14 浙江大学 一种基于点线综合特征的视觉同时建图与定位方法
CN108682027A (zh) * 2018-05-11 2018-10-19 北京华捷艾米科技有限公司 基于点、线特征融合的vSLAM实现方法及***
CN112085790A (zh) * 2020-08-14 2020-12-15 香港理工大学深圳研究院 点线结合的多相机视觉slam方法、设备及存储介质
CN112396595B (zh) * 2020-11-27 2023-01-24 广东电网有限责任公司肇庆供电局 一种动态环境下基于点线特征的语义slam方法
CN112509044A (zh) * 2020-12-02 2021-03-16 重庆邮电大学 一种基于点线特征融合的双目视觉slam方法

Also Published As

Publication number Publication date
CN113450412A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN108564616B (zh) 快速鲁棒的rgb-d室内三维场景重建方法
CN109146948B (zh) 基于视觉的作物长势表型参数量化与产量相关性分析方法
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及***
CN113450412B (zh) 一种基于直线特征的视觉slam方法
CN110060277A (zh) 一种多特征融合的视觉slam方法
CN109974743B (zh) 一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计
CN112163622B (zh) 全局与局部融合约束的航空宽基线立体像对线段匹配方法
CN104036524A (zh) 一种改进sift算法的快速目标跟踪方法
CN115097442B (zh) 基于毫米波雷达的水面环境地图构建方法
CN102497505A (zh) 基于改进的Meanshift算法的多球机联动目标跟踪方法及***
CN107403451B (zh) 自适应二值特征单目视觉里程计方法及计算机、机器人
CN108597009A (zh) 一种基于方向角信息进行三维目标检测的方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及***
CN113223045A (zh) 基于动态物体语义分割的视觉与imu传感器融合定位***
CN112037268B (zh) 一种动态场景下的基于概率传递模型的环境感知方法
CN108765440B (zh) 一种单极化sar图像的线引导超像素海岸线提取方法
Min et al. Coeb-slam: A robust vslam in dynamic environments combined object detection, epipolar geometry constraint, and blur filtering
CN111709997B (zh) 一种基于点与平面特征的slam实现方法及***
CN117710806A (zh) 一种基于语义分割和光流的语义视觉slam方法及***
CN115717887B (zh) 基于灰度分布直方图的星点快速提取方法
CN112053385A (zh) 基于深度强化学习的遥感视频遮挡目标跟踪方法
CN114283199B (zh) 一种面向动态场景的点线融合语义slam方法
Yang et al. Ground plane matters: Picking up ground plane prior in monocular 3d object detection
CN106558065A (zh) 基于图像颜色和纹理分析实现对目标的实时视觉跟踪方法
CN111860161B (zh) 一种目标遮挡检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant