CN112489083A - 基于orb-slam算法的图像特征点跟踪匹配方法 - Google Patents
基于orb-slam算法的图像特征点跟踪匹配方法 Download PDFInfo
- Publication number
- CN112489083A CN112489083A CN202011418605.4A CN202011418605A CN112489083A CN 112489083 A CN112489083 A CN 112489083A CN 202011418605 A CN202011418605 A CN 202011418605A CN 112489083 A CN112489083 A CN 112489083A
- Authority
- CN
- China
- Prior art keywords
- frame image
- orb
- feature point
- frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于ORB‑SLAM算法的图像特征点跟踪匹配方法,包括:1)对关键帧提取ORB特征点及描述子并做四叉树均匀分布处理;2)对于新来的帧基于匀加速运动预测特征点的位置;3)多层金字塔的稀疏光流法特征点位置的精确求解;4)进行反向稀疏光流跟踪剔除错误匹配;5)对步骤4求取的特征匹配进行鲁棒RANSAC剔除离群点;6)根据剩余匹配点求解6D位姿并判断当前帧是否为关键帧。本发明的方法只需要对关键帧提取ORB特征点和描述子,关键帧之间的跟踪则不需要计算耗时的描述子,本发明在提升方法精度的同时提升了运行速度。
Description
技术领域
本发明涉及计算机视觉技术领域,具体地涉及一种基于ORB-SLAM算法的图像特征点跟踪匹配方法。
背景技术
近年来,随着计算机视觉的不断发展,SLAM技术被广泛的用于各个领域,虚拟现实、增强现实、机器人、无人机、无人驾驶等等。随着计算机硬件的不断发展,视觉信息的处理的实时化也变得可能,利用视觉信息进行实时的定位和地图构建在提高信息获取量的同时也极大的降低了智能机器人产品的价格。
视觉SLAM主要包前端视觉里程计,后端优化以及回环检测模块,其中前端视觉里程计主要通过提取图像的特征点和描述子进行匹配跟踪,并计算帧间相对位姿,后端优化则结合更多的历史信息去优化位姿,回环检测模块主要用于消除累计误差,提升定位建图的精度。ORB-SLAM作为视觉SLAM的一个标杆,以其稳定,接口丰富而逐渐被人们作为一个基准SLAM***。
但ORB-SLAM对计算资源相对要求较高,不适用于低端处理器。
发明内容
本发明针对现有技术中存在的问题,提出了一种基于ORB-SLAM算法的图像特征点跟踪匹配方法,该方法提升了相机跟踪以及姿态估计的计算速度,并提升了该方法跟踪匹配的精度。
本发明的目的是通过如下技术方案实现的:一种基于ORB-SLAM算法的图像特征点跟踪匹配方法,包括以下步骤:
(1)将视频分成帧图像,对于前三帧图像,分别提取ORB特征描述子并做四叉树均匀分布处理,
(2)对于第四帧图像基于匀加速运动预测步骤(1)中ORB特征点的位置,
(3)根据第三帧图像上ORB特征点位置和步骤(2)预测的ORB特征点位置,根据稀疏光流法求解第三帧图像和第四帧图像上对应ORB特征点的运动增量,获得第四帧图像上ORB特征点的精确位置;
(4)将步骤(3)获得的第四帧图像上ORB特征点的精确位置进行反向稀疏光流跟踪,计算出第三帧图像中对应ORB特征点的位置,当计算出第三帧图像中对应ORB特征点的位置与第三帧图像中对应的ORB特征点的实际位置的欧式距离为1.5pixel以上,则将第三帧图像和第四帧图像中对应的ORB特征点剔除,保留第三帧和第四帧图像上对应的ORB特征点欧式距离小于1.5pixel的匹配点对;
(5)对步骤(4)保留的匹配点对进行鲁棒RANSAC估计,并剔除离群点,剩下正确的匹配点对;
(6)根据剩下的匹配点对求解6D位姿并判断第四帧是否为关键帧,若第四帧为关键帧,则提取ORB特征点和描述子,否则输入下一帧图像重复步骤(2)-(6),直至完成对视频中所有图像帧的跟踪匹配。
进一步地,步骤(1)包括如下子步骤:
(1.1)将帧图像进行直方图均衡化处理,随后设置帧图像的比例因子s和金字塔的
层数n,将所述帧图像按比例因子s缩小成n幅图像,缩放后的图像,其中,代表帧图
像,为n的索引,,将幅图像的提取特征点总和作为帧图像的FAST特征点;
(1.3)对于步骤(1.1)获得的FAST特征点的帧图像,构建四叉树,对于每一个子节点,当节点内FAST特征点数目等于1时,不再往下划分,若节点数目大于1,则继续向下划分四叉树,直到所有节点只含有一个特征点或者此时划分的节点数已经满足特征点数目要求;
(1.4)对于剩余的FAST特征点提取BRIEF二进制串的特征描述符,从该关键点周围
的邻域内随机选择a对像素点(),并将该点对旋转,比较每个像素点对的
灰度值大小,如果,则该处二进制串为1,否则为0,最终生成长度为256的ORB特
征描述子;其中,S为邻域的边长,取值为31像素。
进一步地,步骤(2)包括如下子步骤:
(2.3)重复步骤(2.2)预测出第四帧图像上所有ORB特征点位置。
进一步地,所述关键帧满足:当前帧图像与上一帧图像的运动平移距离大于1m、旋转角度大于5°,且步骤(5)中的正确匹配点对小于150。
本发明的有益效果是:由于30Hz的图像序列,相邻两帧的运动量不大,本发明只针对关键帧进行ORB特征点和描述子提取,通过关键帧之间的基于匀加速运动模型预测,正反向光流精细化跟踪ORB特征点位置,相比于传统的需要对输入的每一帧提取耗时的ORB特征点以及对应的ORB特征描述子,然后根据描述子之间的汉明距离进行特征点之间的跟踪和匹配,一方面减少耗时,另一方面,在保证跟踪匹配方法精度的同时能够极大的提高该方法的运行速度。
附图说明
图1为本发明基于ORB-SLAM算法的图像特征点跟踪匹配方法流程图;
图2为本发明基于ORB-SLAM算法的提取特征流程图;
图3为本发明基于匀加速运动模型特征点预测示意图;
图4为本发明正向光流跟踪和反向光流剔除的特征点跟踪示意图。
具体实施方式
下面结合附图和具体实施例进一步说明本发明的原理和方案,显然,所描述的实施例仅仅是本发明一部分实施例,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。
如图1为本发明基于ORB-SLAM算法的图像特征点跟踪匹配方法流程图,具体包括如下步骤:
(1)将视频分成帧图像,对于前三帧图像,分别提取ORB特征描述子并做四叉树均匀分布处理,该流程如图2所示:
(1.1)将帧图像进行直方图均衡化处理,其目的是为了保证帧图像不至于过亮和
过暗,保证信息完整,然后提取FAST特征点,由于FAST特征点不具备尺度不变性和旋转不变
形,因此在处理尺度不变性上,设置帧图像的比例因子s和金字塔的层数n,将所述帧图像按
比例因子s缩小成n幅图像,缩放后的图像,其中,代表帧图像,为n的索引,,将幅图像的提取特征点总和作为帧图像的FAST特征点;
则所述FAST特征点的方向为:
(1.3)运用四叉树算法使得FAST特征点分布均匀,因此对于步骤(1.1)获得的FAST特征点的帧图像,构建四叉树,对于每一个子节点,当节点内FAST特征点数目等于1时,不再往下划分,若节点数目大于1,则继续向下划分四叉树,直到所有节点只含有一个特征点或者此时划分的节点数已经满足特征点数目要求;
(1.4)对于剩余的FAST特征点提取BRIEF二进制串的特征描述符,从该关键点周围的邻域内随机选择a对像素点(),并将该点对旋转度,比较每个像素
点对的灰度值大小,如果,则该处二进制串为1,否则为0,最终生成长度为的
ORB特征描述子;其中,S为邻域的边长,取值为31像素。
(2)为了计算帧图像间的运动,将相机建模为匀加速运动,如图3,对于第四帧图像基于匀加速运动预测步骤(1)中ORB特征点的位置,包括如下子步骤:
(2.3)重复步骤(2.2)预测出第四帧图像上所有ORB特征点位置。
(3)根据第三帧图像上ORB特征点位置和步骤(2)预测的ORB特征点位置,根据稀疏光流法求解第三帧图像和第四帧图像上对应ORB特征点的运动增量,获得第四帧图像上ORB特征点的精确位置;
(4)将步骤(3)获得的第四帧图像上ORB特征点的精确位置进行反向稀疏光流跟
踪,计算出第三帧图像中对应ORB特征点的位置,当计算出第三帧图像中对应ORB特征点的
位置与第三帧图像中对应的ORB特征点的实际位置的欧式距离为以上,则将第三帧
图像和第四帧图像中对应的ORB特征点剔除,保留第三帧和第四帧图像上对应的ORB特征点
欧式距离小于的匹配点对。如图4描述了步骤3和步骤4正向光流跟踪和反向光流校
验剔除离群点的示意图。
(5)对步骤(4)保留的匹配点对进行鲁棒RANSAC估计,并剔除离群点,剩下正确的匹配点对;
(6)根据剩下的匹配点对求解6D位姿并判断第四帧是否为关键帧,若第四帧为关
键帧,则提取ORB特征点和描述子,否则输入下一帧图像重复步骤(2)-(6),直至完成对视频
中所有图像帧的跟踪匹配。所述关键帧满足:当前帧图像与上一帧图像的运动平移距离大
于1m、旋转角度大于5°,且步骤(5)中的正确匹配点对
将本发明的方法与传统方法均用于图像特征点跟踪匹配,采用TUM数据集上的8个公开的数据集,在Intel Core [email protected]的台式机电脑上运行算法并记录每个数据集进行实时定位和地图构建精度,其精度和运行速度对比如表1,可以看出,本发明提出的图像特征点跟踪匹配方法在保证算法精度的同时,极大的加速了运行时间,大约有2倍的提升效果。
表1:本发明跟踪匹配方法与传统方法的效果对比
以上,仅为本发明较佳的具体实施方式;但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其改进构思加以等同替换或改变,都应涵盖在本发明的保护范围内。
Claims (4)
1.一种基于ORB-SLAM算法的图像特征点跟踪匹配方法,其特征在于:包括以下步骤:
(1)将视频分成帧图像,对于前三帧图像,分别提取ORB特征描述子并做四叉树均匀分布处理,
(2)对于第四帧图像基于匀加速运动预测步骤(1)中ORB特征点的位置,
(3)根据第三帧图像上ORB特征点位置和步骤(2)预测的ORB特征点位置,根据稀疏光流法求解第三帧图像和第四帧图像上对应ORB特征点的运动增量,获得第四帧图像上ORB特征点的精确位置;
(4)将步骤(3)获得的第四帧图像上ORB特征点的精确位置进行反向稀疏光流跟踪,计算出第三帧图像中对应ORB特征点的位置,当计算出第三帧图像中对应ORB特征点的位置与第三帧图像中对应的ORB特征点的实际位置的欧式距离为1.5pixel图像和第四帧图像中对应的ORB特征点剔除,保留第三帧和第四帧图像上对应的ORB特征点欧式距离小于1.5pixel的匹配点对;
(5)对步骤(4)保留的匹配点对进行鲁棒RANSAC估计,并剔除离群点,剩下正确的匹配点对;
(6)根据剩下的匹配点对求解6D位姿并判断第四帧是否为关键帧,若第四帧为关键帧,则提取ORB特征点和描述子,否则输入下一帧图像重复步骤(2)-(6),直至完成对视频中所有图像帧的跟踪匹配。
2.根据权利要求1所述基于ORB-SLAM算法的图像特征点跟踪匹配方法,其特征在于,步骤(1)包括如下子步骤:
(1.1)将帧图像进行直方图均衡化处理,随后设置帧图像的比例因子s和金字塔的层数
n,将所述帧图像按比例因子s缩小成n幅图像,缩放后的图像,其中,代表帧图像,为
n的索引,,将幅图像的提取特征点总和作为帧图像的FAST特征点;
(1.3)对于步骤(1.1)获得的FAST特征点的帧图像,构建四叉树,对于每一个子节点,当节点内FAST特征点数目等于1时,不再往下划分,若节点数目大于1,则继续向下划分四叉树,直到所有节点只含有一个特征点或者此时划分的节点数已经满足特征点数目要求;
4.根据权利要求1所述基于ORB-SLAM算法的图像特征点跟踪匹配方法,其特征在于:所述关键帧满足:当前帧图像与上一帧图像的运动平移距离大于1m、旋转角度大于5°,且步骤(5)中的正确匹配点对小于150。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011418605.4A CN112489083B (zh) | 2020-12-07 | 2020-12-07 | 基于orb-slam算法的图像特征点跟踪匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011418605.4A CN112489083B (zh) | 2020-12-07 | 2020-12-07 | 基于orb-slam算法的图像特征点跟踪匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112489083A true CN112489083A (zh) | 2021-03-12 |
CN112489083B CN112489083B (zh) | 2022-10-04 |
Family
ID=74940371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011418605.4A Active CN112489083B (zh) | 2020-12-07 | 2020-12-07 | 基于orb-slam算法的图像特征点跟踪匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112489083B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052750A (zh) * | 2021-03-31 | 2021-06-29 | 广东工业大学 | 一种用于vslam***中任务跟踪的加速器及加速装置 |
CN113103232A (zh) * | 2021-04-12 | 2021-07-13 | 电子科技大学 | 一种基于特征分布匹配的智能设备自适应运动控制方法 |
CN113284232A (zh) * | 2021-06-10 | 2021-08-20 | 西北工业大学 | 一种基于四叉树的光流跟踪方法 |
CN114280323A (zh) * | 2021-12-24 | 2022-04-05 | 凌云光技术股份有限公司 | 一种轨道车辆矢量速度的测量设备、***及方法 |
CN114372510A (zh) * | 2021-12-15 | 2022-04-19 | 北京工业大学 | 一种基于图像区域分割的帧间匹配slam方法 |
CN115919461A (zh) * | 2022-12-12 | 2023-04-07 | 之江实验室 | 一种基于slam的手术导航方法 |
CN117274620A (zh) * | 2023-11-23 | 2023-12-22 | 东华理工大学南昌校区 | 基于自适应均匀划分特征点提取的视觉slam方法 |
CN117893693A (zh) * | 2024-03-15 | 2024-04-16 | 南昌航空大学 | 一种密集slam三维场景重建方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104751465A (zh) * | 2015-03-31 | 2015-07-01 | 中国科学技术大学 | 一种基于lk光流约束的orb图像特征配准方法 |
CN106780557A (zh) * | 2016-12-23 | 2017-05-31 | 南京邮电大学 | 一种基于光流法和关键点特征的运动目标跟踪方法 |
CN109509211A (zh) * | 2018-09-28 | 2019-03-22 | 北京大学 | 同时定位与建图技术中的特征点提取与匹配方法及*** |
CN109631855A (zh) * | 2019-01-25 | 2019-04-16 | 西安电子科技大学 | 基于orb-slam的高精度车辆定位方法 |
WO2019205853A1 (zh) * | 2018-04-27 | 2019-10-31 | 腾讯科技(深圳)有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
-
2020
- 2020-12-07 CN CN202011418605.4A patent/CN112489083B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104751465A (zh) * | 2015-03-31 | 2015-07-01 | 中国科学技术大学 | 一种基于lk光流约束的orb图像特征配准方法 |
CN106780557A (zh) * | 2016-12-23 | 2017-05-31 | 南京邮电大学 | 一种基于光流法和关键点特征的运动目标跟踪方法 |
WO2019205853A1 (zh) * | 2018-04-27 | 2019-10-31 | 腾讯科技(深圳)有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
CN109509211A (zh) * | 2018-09-28 | 2019-03-22 | 北京大学 | 同时定位与建图技术中的特征点提取与匹配方法及*** |
CN109631855A (zh) * | 2019-01-25 | 2019-04-16 | 西安电子科技大学 | 基于orb-slam的高精度车辆定位方法 |
Non-Patent Citations (2)
Title |
---|
孙延奎等: "分层分区域管理的实时图像跟踪算法", 《计算机辅助设计与图形学学报》 * |
孙新成等: "基于视觉与惯性组合信息的图像特征提取与匹配", 《机械设计与制造工程》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052750A (zh) * | 2021-03-31 | 2021-06-29 | 广东工业大学 | 一种用于vslam***中任务跟踪的加速器及加速装置 |
CN113103232A (zh) * | 2021-04-12 | 2021-07-13 | 电子科技大学 | 一种基于特征分布匹配的智能设备自适应运动控制方法 |
CN113103232B (zh) * | 2021-04-12 | 2022-05-20 | 电子科技大学 | 一种基于特征分布匹配的智能设备自适应运动控制方法 |
CN113284232A (zh) * | 2021-06-10 | 2021-08-20 | 西北工业大学 | 一种基于四叉树的光流跟踪方法 |
CN114372510A (zh) * | 2021-12-15 | 2022-04-19 | 北京工业大学 | 一种基于图像区域分割的帧间匹配slam方法 |
CN114280323A (zh) * | 2021-12-24 | 2022-04-05 | 凌云光技术股份有限公司 | 一种轨道车辆矢量速度的测量设备、***及方法 |
CN115919461A (zh) * | 2022-12-12 | 2023-04-07 | 之江实验室 | 一种基于slam的手术导航方法 |
CN115919461B (zh) * | 2022-12-12 | 2023-08-08 | 之江实验室 | 一种基于slam的手术导航方法 |
CN117274620A (zh) * | 2023-11-23 | 2023-12-22 | 东华理工大学南昌校区 | 基于自适应均匀划分特征点提取的视觉slam方法 |
CN117274620B (zh) * | 2023-11-23 | 2024-02-06 | 东华理工大学南昌校区 | 基于自适应均匀划分特征点提取的视觉slam方法 |
CN117893693A (zh) * | 2024-03-15 | 2024-04-16 | 南昌航空大学 | 一种密集slam三维场景重建方法及装置 |
CN117893693B (zh) * | 2024-03-15 | 2024-05-28 | 南昌航空大学 | 一种密集slam三维场景重建方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112489083B (zh) | 2022-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112489083B (zh) | 基于orb-slam算法的图像特征点跟踪匹配方法 | |
CN109387204B (zh) | 面向室内动态环境的移动机器人同步定位与构图方法 | |
CN110222580B (zh) | 一种基于三维点云的人手三维姿态估计方法和装置 | |
CN111310631B (zh) | 一种旋翼作业飞行机器人目标跟踪方法及*** | |
CN111797688A (zh) | 一种基于光流和语义分割的视觉slam方法 | |
Tu et al. | Consistent 3d hand reconstruction in video via self-supervised learning | |
Chen et al. | Using FTOC to track shuttlecock for the badminton robot | |
CN111709301B (zh) | 一种冰壶球运动状态估计方法 | |
Xu et al. | GraspCNN: Real-time grasp detection using a new oriented diameter circle representation | |
CN108961385B (zh) | 一种slam构图方法及装置 | |
CN112861808B (zh) | 动态手势识别方法、装置、计算机设备及可读存储介质 | |
CN111797692A (zh) | 一种基于半监督学习的深度图像手势估计方法 | |
CN110889901A (zh) | 基于分布式***的大场景稀疏点云ba优化方法 | |
Fernandez-Labrador et al. | Panoroom: From the sphere to the 3d layout | |
He et al. | Stereo RGB and deeper LiDAR-based network for 3D object detection in autonomous driving | |
CN116097307A (zh) | 图像的处理方法及相关设备 | |
CN106023256B (zh) | 面向增强现实辅助维修***平面目标粒子滤波跟踪的状态观测方法 | |
Kang et al. | Yolo-6d+: single shot 6d pose estimation using privileged silhouette information | |
CN115018999A (zh) | 一种多机器人协作的稠密点云地图构建方法及装置 | |
Yu et al. | Skgnet: Robotic grasp detection with selective kernel convolution | |
CN115115698A (zh) | 设备的位姿估计方法及相关设备 | |
CN113487713B (zh) | 一种点云特征提取方法、装置及电子设备 | |
Li et al. | A novel two-pathway encoder-decoder network for 3D face reconstruction | |
Li et al. | Few-shot meta-learning on point cloud for semantic segmentation | |
CN115063715A (zh) | 一种基于灰度直方图的orb-slam3回环检测加速方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |