CN113256736A - 一种基于可观测性优化的多相机视觉slam方法 - Google Patents

一种基于可观测性优化的多相机视觉slam方法 Download PDF

Info

Publication number
CN113256736A
CN113256736A CN202110637214.XA CN202110637214A CN113256736A CN 113256736 A CN113256736 A CN 113256736A CN 202110637214 A CN202110637214 A CN 202110637214A CN 113256736 A CN113256736 A CN 113256736A
Authority
CN
China
Prior art keywords
camera
matching
observability
image
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110637214.XA
Other languages
English (en)
Other versions
CN113256736B (zh
Inventor
杨毅
唐笛
梁浩
王俊博
潘淼鑫
王涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110637214.XA priority Critical patent/CN113256736B/zh
Publication of CN113256736A publication Critical patent/CN113256736A/zh
Application granted granted Critical
Publication of CN113256736B publication Critical patent/CN113256736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于可观测性优化的多相机视觉SLAM方法，该方法根据多相机视觉SLAM可观测性设计多相机视觉***，使其用于阿克曼运动模型的地面无人平台时能够更加有效恢复定位信息尺度，该方法充分利用多相机视觉***的基线约束和全景感知能力，依据可观测性进行优化，解决地面无人平台在未知环境中的自主导航问题，并解决现有视觉SLAM方法尺度恢复能力弱、在纹理特征稀疏或分布不均的环境中无法鲁棒地进行定位的问题；根据可观测性设计的可观测度可以直接评估实时定位的效果变化趋势，以此为依据判断关键帧之间所需的视角差异，提高了视觉SLAM的可靠性，使地面无人平台可以精准、可靠地进行真实世界尺度下的自主导航。

Description

一种基于可观测性优化的多相机视觉SLAM方法
技术领域
本发明属于计算机视觉定位领域，涉及基于视觉SLAM可观测性改进的非直接法多相机视觉SLAM。
背景技术
随着技术的不断发展和人们对工作、生活需求的提高，无人驾驶技术成为当前的热点，研究者们希望无人驾驶技术改变车辆控制方式，在城市交通、物流运输等场景实现更加安全、高效的车辆控制。现在，无人车辆在高精地图作为先验信息的情况下能实现全天候厘米级自主导航，在没有高精地图可用时使用卫星导航***和惯性导航***的组合导航方案也可以在开阔的环境中实现高精度定位。然而，高精地图的测绘成本高，并且需要测绘资质才可以自行制作，组合导航方案在隧道、高楼密集的区域内定位精度和可靠性都无法满足导航需求。因此，在无法使用高精地图和组合导航的情况下如何实现精准、可靠的定位是无人驾驶需要解决的技术难题之一。
同时定位与地图构建(Simultaneous Localization And Mapping，SLAM)技术基于激光雷达、相机等传感器采集的环境信息，令无人平台在未知环境的未知位置构建环境地图，同时利用该地图估计其运动轨迹。SLAM技术能够实现无人平台的定位，弥补上述技术应用场景受限的缺点。目前，视觉SLAM技术由于传感器成本低、信息丰富等优点受到研究者们的重视。随着近年来相关的研究不断深入，视觉SLAM技术在精度、鲁棒性等方面取得了长足进步。然而，单目相机、双目相机等传统的视觉传感器视场范围很小，仅能观测水平方向60°，俯仰方向45°左右的环境信息，即使是鱼眼相机也无法做到全景感知，这使得视觉SLAM方法在辨别复杂运动方式时受到很大的限制，在环境特征稀疏或是分布不均匀的场景中很可能出现定位失败的情况，导致视觉SLAM成为一个病态问题。
针对上述问题，研究者们设计了多种视野范围极大的全景成像***，其中多相机视觉***具有环境信息压缩程度低的优点，极大地提高了视觉***的信息量，能够高效地感知环境的变化。多相机视觉***在设计时可以适当地增大相机之间的基线，此时视觉SLAM方法可以利用基线约束将真实世界的尺度信息引入定位和建图的过程中。此外，多相机视觉***中的各个相机可以独立工作，这使得视觉SLAM等应用在极端工况下也有较好的应对能力。因此，近年来多相机视觉SLAM方法得到了广泛的研究。然而，现有的多相机视觉SLAM方法仅在传统视觉SLAM算法框架的基础上利用多相机视觉***的全景感知能力跟踪更多的地图点，并在位姿估计和地图点构建中引入基线约束，没有充分地分析并利用多相机视觉***在视觉SLAM问题中的特点，恢复真实世界尺度的能力较弱。
因此，基于多相机视觉SLAM***的可观测性对多相机视觉SLAM方法进行改进，提升视觉SLAM技术的定位精度和可靠性，对无人平台在未知环境中的自主导航具有重要意义，有极高的研究价值。
发明内容
有鉴于此，本发明提供一种基于SLAM***可观测性优化的非直接法多相机视觉SLAM方法，根据多相机视觉SLAM***的可观测性在多相机视觉***设计、特征匹配、关键帧选取等方面对多相机视觉SLAM方法进行改进，使多相机视觉SLAM方法恢复真实世界尺度的能力进一步提升，令特征匹配结果更有利于提高定位和构图的精度和可靠性，并使多相机视觉SLAM方法能够根据跟踪地图点的状态确定关键帧之间所需要的视角差异，使多相机视觉SLAM方法能兼顾精度和效率，实现高精度的实时定位。
一种基于可观测性优化的多相机视觉SLAM方法，包括如下步骤：
步骤S1、采用四个以上相机组成多相机视觉***，相邻相机之间视野有重叠，多相机视觉***在水平方向上具有360°的视野范围；标定相机成像模型内参和表示相机间位姿关系的外参；
步骤S2、同步触发多相机视觉***中各相机，使其同步采集图像数据，提取各相机获得的图像的二维特征点；
步骤S3、在构建新地图点时，匹配不同相机图像的二维特征点；在跟踪地图点时，匹配当前图像帧二维特征点和三维地图点；
步骤S4、利用不同图像的二维特征点之间的匹配结果，使用三角测量的方式构建新的地图点；利用二维特征点和三维地图点之间的匹配结果，估计多相机视觉***的当前位姿，并优化、更新局部地图；
步骤S5、选取关键帧，利用关键帧进行不同图像间的二维特征点匹配，使用匹配信息更新、拓展地图；
其中，选取关键帧的方法为：
如果当前图像帧对应的可观测度小于最近关键帧之后、当前帧之前的所有历史图像帧对应可观测度最大值的75％，则当前帧为关键帧；所述可观测度η的计算方式为：
Figure BDA0003106244390000031
其中
Figure BDA0003106244390000032
其中，np是与当前图像帧匹配的地图点数，no(j)是第j个地图点Pj在历史关键帧中被匹配的次数，
Figure BDA0003106244390000041
是Pj在其第k个匹配图像对应相机坐标系中的坐标的第三维，
Figure BDA0003106244390000042
是世界坐标系下由Pj的第k个匹配图像对应相机坐标系的原点
Figure BDA0003106244390000043
指向Pj的单位方向向量，
Figure BDA0003106244390000044
是世界坐标系下由当前图像帧中与Pj匹配的二维特征点所在图像对应相机坐标系的原点
Figure BDA0003106244390000045
指向Pj的单位方向向量，
Figure BDA0003106244390000046
是世界坐标系下由当前图像帧对应多相机视觉***坐标系原点O11到Pj的向量，多相机视觉***坐标系定义为多相机视觉***中编号为1的相机的坐标系，[]^是等同于叉乘运算的反对称矩阵转换运算符，tr()是求矩阵迹的运算符。
较佳的，所述步骤S3中，匹配当前图像帧的二维特征点和三维地图点的方法为：
获得所有用于构建三维地图点的二维特征点和与三维地图点匹配的二维特征点，组成特征点集合A；再获得当前帧图像中三维地图点可以以正深度投影到图像范围内的一幅图像，设该图像对应的相机坐标系为c，针对特征点集合A中每一个特征点a，计算其所在相机的坐标系和相机坐标系c之间的平移向量，设为向量D，将三维地图点在相机坐标系c中的坐标设为向量D’，则向量D和向量D’之间的夹角设为β，遍历特征点集合A每一个特征点，均对应一个夹角β，当其中一个夹角β满足要求时，则将地图点投影到相机坐标系c对应的图像中，并在投影点邻域内匹配二维特征点；当所有夹角β都不满足要求时，放弃匹配该地图点与相机坐标系c对应图像内的特征点，并视为匹配失败，再继续匹配该地图点和当前帧图像中其他可以以正深度投影到图像范围内的图像中的特征点。
较佳的，步骤S3中，匹配当前图像帧的二维特征点和三维地图点时，假设多相机视觉***的运动符合匀速运动模型，将当前帧之前的两帧之间的位姿变换作为当前帧与前一帧之间位姿变换的先验信息，预测多相机视觉***当前位姿，根据位姿预测结果将历史三维地图点投影至图像中。
较佳的，所述多相机视觉***的载体采用阿克曼运动模型车辆，多相机视觉***的所有重叠视场尽量朝向载体的两侧。
较佳的，所述步骤S2中，采用动态阈值ORB特征点提取算法提取二维特征点。
较佳的，所述步骤S3中，所述二维特征点匹配过程中，匹配不同图像的二维特征点时使用词袋模型将特征点按单词分类，在每个单词对应的特征点集合内进行匹配。
较佳的，所述步骤S3中，所述二维特征点匹配过程中，使用二维特征点逆投影得到的观测方向向量夹角筛选匹配结果，并使用Sampson误差检查匹配结果是否满足对极几何约束，剔除误差超过设定阈值的匹配点对。
较佳的，步骤S5中选取关键帧时，需要在SLAM初始化后已处理超过10帧图像。
较佳的，步骤S5中选取关键帧时，需要在上一次***关键帧后已处理超过10帧图像，或是已处理超过5帧图像并且局部建图线程空闲。
较佳的，步骤S5中选取关键帧时，需要与当前图像帧匹配上的跟踪地图点少于与最近关键帧观测地图点数量的90％。
本发明具有如下有益效果：
本发明提出一种基于可观测性优化的多相机视觉SLAM方法，该方法使用多相机视觉***提供的全景图像信息，能够感知大范围环境信息，解决视觉SLAM在纹理特征稀疏或分布不均的环境中面对的病态问题，实现精准、鲁棒的实时定位，相机之间的基线约束能解决尺度恢复的问题，相邻相机的重叠视场以及重叠视场的位置可以提升恢复尺度的能力。通过多相机视觉SLAM可观测性改进的特征匹配算法可以有效改进特征匹配结果，剔除无法用于尺度恢复的匹配点对，即对极点附近的匹配信息，提升多相机视觉SLAM方法的精度和可靠性；通过可观测性设计的可观测度可以反映出当前算法运行状态的优劣，基于可观测度改进的关键帧选取方法使多相机视觉SLAM方法能根据算法运行状态的变化确定关键帧之间需要的视角差异，兼顾运行效率的同时提升多相机视觉SLAM方法的可靠性。
附图说明
图1为本发明SLAM方法中的多相机视觉***硬件结构示意图；
图2为本发明SLAM方法的多相机视觉***在载体上的安装方式示意图；
图3为本发明多相机视觉SLAM方法的算法流程图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述，本领域技术人员可以根据本说明书所阐述的内容了解本发明的优点及功能。
本发明涉及一种基于可观测性优化的多相机视觉SLAM方法，包括多相机视觉***的硬件结构和软件算法。多相机视觉***的硬件由N(N≥4)个带有硬件同步触发功能的相机组成，在水平方向上具有360°的视野范围，多相机视觉SLAM方法的算法流程如下：
步骤S1、根据多相机视觉***中每个相机视场角大小、所需测量环境深度和载体运动约束按照一定标准确定相机的排布方式、相机的数量和相机间的基线长度，并根据相机类型选用适当的相机成像模型对多相机视觉***参数进行标定，需要标定的参数包括相机成像模型内参和表示相机间位姿关系的外参；
步骤S2、通过硬件同步触发多个相机，使多个相机同步采集视频数据，并在多个线程中使用动态阈值ORB特征提取算法并行提取多幅图像的特征点，特征点信息包括关键点的位置和具有旋转不变性的局部描述子；
步骤S3、在构建新地图点时匹配不同图像的二维特征点，借助特征点逆投影得到的观测方向向量夹角和对极几何约束筛选匹配结果；在跟踪地图点时借助载体运动模型匹配当前图像帧二维特征点和三维地图点，使用多相机视觉SLAM***可观测性条件筛选匹配结果；
步骤S4、利用不同图像的二维特征点之间的匹配结果，使用三角测量的方式构建新的地图点；利用二维特征点和三维地图点之间的匹配结果，通过非线性优化方法估计多相机视觉***当前位姿，并优化、更新局部地图；
步骤S5、根据多相机视觉SLAM***可观测度等条件选取部分图像帧作为运动轨迹中的关键帧，利用关键帧进行不同图像间的二维特征点匹配，使用匹配信息更新、拓展地图，并通过剔除、融合地图点以及剔除冗余关键帧等方式简化局部地图。
S1中，所述多相机视觉***的硬件结构由相同的若干相机组成，这些相机具有相同的图像采集性能，多相机视觉***整体感知范围在水平方向上可以覆盖多相机视觉***的载体的周围区域，实现水平方向上没有盲区的环境信息感知。
S1中，所述多相机视觉***的载体是阿克曼运动模型车辆，多相机视觉***的所有重叠视场尽量朝向纹理特征更加丰富的载体两侧，在载体运行时可以使更多的环境特征被不同的相机观测，有利于多相机视觉***位姿估计时恢复真实世界的尺度。
S1中，所述相机成像模型采用Scaramuzza提出的泰勒展开式相机成像模型，该模型可以适用于畸变较大的大视场相机，其内参包含逆投影参数和投影参数，通过标定的逆投影参数可以解算图像像素点对应空间点在相机坐标系下的方向向量，即观测方向向量，通过标定的投影参数可以根据相机坐标系下空间点的三维坐标解算该点成像位置的像素坐标。
S2中，所述动态阈值ORB特征点提取算法在图像分割而成的若干图像块中用多个阈值自适应提取FAST角点，削弱光照变化对角点提取算法的影响，然后用四叉树算法分割图像，均匀地在图像中提取特定数量的关键点，使特征点在图像中更接近均匀分布，并通过降采样图像构建图像金字塔，在多幅图像中提取特征点，使特征点具有尺度不变性，同时兼顾ORB特征点的旋转不变性，在编程实现时通过多线程编程并行处理多个相机的图像特征提取过程，使特征提取能够高效完成。
S3中，所述二维特征点匹配过程中，匹配不同图像的二维特征点时使用词袋模型将特征点按单词分类，在每个单词对应的特征点集合内进行匹配，提高特征点匹配的效率和准确度，使用二维特征点逆投影得到的观测方向向量夹角筛选匹配结果，避免引入过大的误差并减少错误匹配，提高后续地图点构建的精度，并使用Sampson误差检查匹配结果是否满足对极几何约束，剔除误差超过阈值的匹配点对，提高特征匹配的准确度，所述Sampson误差计算方法为：
Figure BDA0003106244390000081
其中，
Figure BDA0003106244390000082
为二维特征点逆投影后在相机坐标系中的单位方向向量，E12为两图像间的本质矩阵；
所述特征匹配过程中，匹配当前帧图像的二维特征点和三维地图点时会假设多相机视觉***的运动符合匀速运动模型，将当前帧之前的两帧之间的位姿变换作为当前帧与前一帧之间位姿变换的先验信息，预测多相机视觉***当前位姿，根据位姿预测结果将历史三维地图点投影至图像中，与投影点邻域内的二维特征点进行匹配，使得特征匹配能高效、准确地完成，然后使用多相机视觉SLAM可观测性条件筛选匹配结果，具体方法为：
获得所有用于构建三维地图点的二维特征点和与三维地图点匹配的二维特征点，组成特征点集合A；再获得当前帧图像中三维地图点可以以正深度投影到图像范围内的一幅图像，设该图像对应的相机坐标系为c，针对特征点集合A中每一个特征点a，计算其所在相机的坐标系和相机坐标系c之间的平移向量，设为向量D，将三维地图点在相机坐标系c中的坐标设为向量D’，则向量D和向量D’之间的夹角设为β，遍历特征点集合A每一个特征点，均对应一个夹角β，当其中一个夹角β满足要求时，则将地图点投影到相机坐标系c对应的图像中，并在投影点邻域内匹配二维特征点；当所有夹角β都不满足要求时，放弃匹配该地图点与相机坐标系c对应图像内的特征点，并视为匹配失败，再继续匹配该地图点和当前帧图像中其他可以以正深度投影到图像范围内的图像中的特征点，通过这种方法可使得特征匹配结果更有利于地图构建和位姿估计精度的提高。
S4中，所述非线性优化算法通过链式法则将相机之间的位姿引入观测量对待求解状态量的雅可比矩阵，使得多相机图像提供的全部特征匹配信息可以同时用于实时定位与地图优化更新，并将相机之间的基线约束引入优化过程中，使得优化结果包含真实世界的尺度信息。
S5中，所述多相机视觉SLAM可观测度可以反映出短时间内实时位姿估计的效果，据此判断当前帧是否需要被选为新的关键帧用于更新、拓展地图，可以判断关键帧之间所需要的视角差异，在保证定位和建图精度的同时提高计算效率，提升多相机视觉SLAM方法的可靠性，所述关键帧的选择需要满足以下条件：
当前图像帧对应的可观测度小于最近关键帧之后、当前帧之前的所有历史图像帧对应可观测度最大值的75％；所述可观测度的计算方式为：
Figure BDA0003106244390000091
Figure BDA0003106244390000092
其中，np是与当前图像帧匹配的地图点数，no(j)是第j个地图点Pj在历史关键帧中被匹配的次数，
Figure BDA0003106244390000093
是Pj在其第k个匹配图像对应相机坐标系中的坐标的第三维，
Figure BDA0003106244390000094
是世界坐标系下由Pj的第k个匹配图像对应相机坐标系的原点
Figure BDA0003106244390000095
指向Pj的单位方向向量，
Figure BDA0003106244390000096
是世界坐标系下由当前图像帧中与Pj匹配的二维特征点所在图像对应相机坐标系的原点
Figure BDA0003106244390000097
指向Pj的单位方向向量，
Figure BDA0003106244390000098
是世界坐标系下由当前图像帧对应多相机视觉***坐标系原点O11到Pj的向量，多相机视觉***坐标系定义为多相机视觉***中编号为1的相机的坐标系，[·]^是等同于叉乘运算的反对称矩阵转换运算符，tr(·)是求矩阵迹的运算符。
进一步的，在选取关键帧时，需要在SLAM初始化后已处理超过10帧图像；
进一步的，在选取关键帧时，需要在上一次***关键帧后已处理超过10帧图像，或是已处理超过5帧图像并且局部建图线程空闲；
进一步的，在选取关键帧时，需要与当前图像帧匹配上的跟踪地图点少于与最近关键帧观测地图点数量的90％。
实施例1
本实施案例中所提供的附图只能说明本发明的基本构想，仅显示与本实施案例相关的组件，并非按照实际实施时的组件数目、尺寸绘制，实际实施过程中的各组件形态、数量可以随意改变。
本实施案例提供一种基于可观测性优化的多相机视觉SLAM方法，该方法使用的硬件结构示意图如图1所示，该图显示6个相机组成的多相机视觉***，相邻相机之间的基线长度约为45cm；图2是多相机视觉***在所述载体上的安装排布方式示意图，每个相机的水平视场角约为120°，根据本发明中对多相机视觉***视野范围的要求，多相机视觉***在水平方向上的视场范围完全覆盖载体周围区域，并且相机的排布方式使多相机视觉***的6处重叠视场朝向载体两侧。
如图3所示，所述的基于可观测性优化的多相机视觉SLAM方法包括以下步骤：
步骤S1、多相机视觉***图像采集。利用电路按照15Hz的频率同步触发6个相机，获取时间基准一致并包含时间戳信息的6个相机的图像数据，同时获取预先标定的泰勒展开式内参和位姿变换外参，并与对应的相机图像相关联。在本实施案例中，6个相机按照所述的设计方式排布，通过GMSL接口接收触发信号并返回图像信息，泰勒展开式内参包含仿射变换参数5个参数、逆投影泰勒展开式系数4个参数和投影泰勒展开式系数9个参数，位姿变换外参包含Cayley旋转参数和平移向量参数共6个参数。
步骤S2、多相机图像特征提取。本实施案例中，使用动态阈值ORB特征提取算法提取图像特征，动态阈值指特征提取算法将图像分割为30×30大小的若干图像块，并在这些图像块中根据提取FAST角点的效果选择合适的阈值提取角点，在提取角点后使用四叉树算法分割图像，均匀地在图像中提取1000个关键点，使特征点在图像中均匀分布，为降采样所得图像金字塔内的多个图像进行特征提取，使特征点具有尺度不变性。通过所述特征提取算法获得的特征点信息包括关键点位置以及具有旋转方向的描述子，通过多线程编程并行提取每个相机图像的特征点；
步骤S3、特征匹配与实时位姿估计。该过程主要考虑初始化状态和跟踪地图点状态，在初始化状态时仅匹配不同相机图像在重叠视场区域内的二维特征点，剔除观测方向向量夹角小于1.5°或大于60°的匹配点对，并使用0.01作为Sampson误差阈值检查匹配点对是否满足对极几何约束，然后使用三角测量方法解算地图点位置，同时将多相机视觉***位姿初始化；在跟踪地图点状态中，首先通过匀速运动模型预测当前帧实时位姿，根据多相机视觉SLAM***可观测性条件检查三维地图点的所有历史观测对应相机坐标系和当前帧图像的其中一幅图像对应相机坐标系之间的平移向量与该地图点在这幅图像对应相机坐标系中的坐标向量之间的夹角，为某一个地图点进行匹配时跳过所有夹角均小于15°或大于178.5°的相机图像的特征匹配，将三维地图点投影至满足条件的图像中，与投影点附近的二维特征点进行匹配，然后使用非线性优化方法求解多相机视觉***的当前位姿，在本实施案例中，非线性优化基于Levenberg-Marquardt迭代优化算法实现。
步骤S4、关键帧选取。在本实施案例中，在处理完实时位姿估计之后，根据特征点与地图点的匹配结果、当前帧对应的多相机视觉***实时位姿和历史轨迹中各关键帧对应位姿，计算多相机视觉SLAM可观测度，并以最近关键帧之后、当前帧之前所有历史图像帧对应可观测度最大值为依据判断实时位姿估计结果的优劣变化趋势，使用的关键帧选择依据为
1).在SLAM初始化后已处理超过10帧图像；
2).在上一次***关键帧后已处理超过10帧图像，或是已处理超过5帧图像并且局部建图线程空闲；
3).当前图像帧帧跟踪地图点少于与最近关键帧观测地图点数量的90％；
4).当前图像帧对应的可观测度小于最近关键帧之后所有历史图像帧对应可观测度最大值的75％；
步骤S5、地图构建与更新。在本实施案例中，如果当前帧被选为关键帧，则通过与本实施案例中步骤S3所述初始化状态中的方法匹配当前帧不同相机图像的特征点并构建新的地图点，将当前帧***关键帧序列，然后将关键帧序列中其他关键帧的特征点与该关键帧的特征点进行匹配，并使用与本实施案例中步骤S3所述初始化状态中的方法筛选特征匹配结果，创建新的地图点，然后通过捆集优化方法对地图点位置和关键帧对应的多相机视觉***位姿同时进行优化。在本步骤中，还通过删除冗余地图点、融合重复地图点和剔除冗余关键帧的方式对地图进行调整。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于可观测性优化的多相机视觉SLAM方法，其特征在于，包括如下步骤：
步骤S1、采用四个以上相机组成多相机视觉***，相邻相机之间视野有重叠，多相机视觉***在水平方向上具有360°的视野范围；标定相机成像模型内参和表示相机间位姿关系的外参；
步骤S2、同步触发多相机视觉***中各相机，使其同步采集图像数据，提取各相机获得的图像的二维特征点；
步骤S3、在构建新地图点时，匹配不同相机图像的二维特征点；在跟踪地图点时，匹配当前图像帧二维特征点和三维地图点；
步骤S4、利用不同图像的二维特征点之间的匹配结果，使用三角测量的方式构建新的地图点；利用二维特征点和三维地图点之间的匹配结果，估计多相机视觉***的当前位姿，并优化、更新局部地图；
步骤S5、选取关键帧，利用关键帧进行不同图像间的二维特征点匹配，使用匹配信息更新、拓展地图；
其中，选取关键帧的方法为：
如果当前图像帧对应的可观测度小于最近关键帧之后、当前帧之前的所有历史图像帧对应可观测度最大值的75％，则当前帧为关键帧；所述可观测度η的计算方式为：
Figure FDA0003106244380000011
其中
Figure FDA0003106244380000012
其中，np是与当前图像帧匹配的地图点数，no(j)是第j个地图点Pj在历史关键帧中被匹配的次数，
Figure FDA0003106244380000021
是Pj在其第k个匹配图像对应相机坐标系中的坐标的第三维，
Figure FDA0003106244380000022
是世界坐标系下由Pj的第k个匹配图像对应相机坐标系的原点
Figure FDA0003106244380000023
指向Pj的单位方向向量，
Figure FDA0003106244380000024
是世界坐标系下由当前图像帧中与Pj匹配的二维特征点所在图像对应相机坐标系的原点
Figure FDA0003106244380000025
指向Pj的单位方向向量，
Figure FDA0003106244380000026
是世界坐标系下由当前图像帧对应多相机视觉***坐标系原点O11到Pj的向量，多相机视觉***坐标系定义为多相机视觉***中编号为1的相机的坐标系，[]^是等同于叉乘运算的反对称矩阵转换运算符，tr()是求矩阵迹的运算符。
2.如权利要求1所述的一种基于可观测性优化的多相机视觉SLAM方法，其特征在于，所述步骤S3中，匹配当前图像帧的二维特征点和三维地图点的方法为：
获得所有用于构建三维地图点的二维特征点和与三维地图点匹配的二维特征点，组成特征点集合A；再获得当前帧图像中三维地图点可以以正深度投影到图像范围内的一幅图像，设该图像对应的相机坐标系为c，针对特征点集合A中每一个特征点a，计算其所在相机的坐标系和相机坐标系c之间的平移向量，设为向量D，将三维地图点在相机坐标系c中的坐标设为向量D’，则向量D和向量D’之间的夹角设为β，遍历特征点集合A每一个特征点，均对应一个夹角β，当其中一个夹角β满足要求时，则将地图点投影到相机坐标系c对应的图像中，并在投影点邻域内匹配二维特征点；当所有夹角β都不满足要求时，放弃匹配该地图点与相机坐标系c对应图像内的特征点，并视为匹配失败，再继续匹配该地图点和当前帧图像中其他可以以正深度投影到图像范围内的图像中的特征点。
3.如权利要求2所述的一种基于可观测性优化的多相机视觉SLAM方法，其特征在于，步骤S3中，匹配当前图像帧的二维特征点和三维地图点时，假设多相机视觉***的运动符合匀速运动模型，将当前帧之前的两帧之间的位姿变换作为当前帧与前一帧之间位姿变换的先验信息，预测多相机视觉***当前位姿，根据位姿预测结果将历史三维地图点投影至图像中。
4.如权利要求1或2所述的一种基于可观测性优化的多相机视觉SLAM方法，其特征在于，所述多相机视觉***的载体采用阿克曼运动模型车辆，多相机视觉***的所有重叠视场尽量朝向载体的两侧。
5.如权利要求1或2所述的一种基于可观测性优化的多相机视觉SLAM方法，其特征在于，所述步骤S2中，采用动态阈值ORB特征点提取算法提取二维特征点。
6.如权利要求1或2所述的一种基于可观测性优化的多相机视觉SLAM方法，其特征在于，所述步骤S3中，所述二维特征点匹配过程中，匹配不同图像的二维特征点时使用词袋模型将特征点按单词分类，在每个单词对应的特征点集合内进行匹配。
7.如权利要求1或2所述的一种基于可观测性优化的多相机视觉SLAM方法，其特征在于，所述步骤S3中，所述二维特征点匹配过程中，使用二维特征点逆投影得到的观测方向向量夹角筛选匹配结果，并使用Sampson误差检查匹配结果是否满足对极几何约束，剔除误差超过设定阈值的匹配点对。
8.如权利要求1或2所述的一种基于可观测性优化的多相机视觉SLAM方法，其特征在于，步骤S5中选取关键帧时，需要在SLAM初始化后已处理超过10帧图像。
9.如权利要求8所述的一种基于可观测性优化的多相机视觉SLAM方法，其特征在于，步骤S5中选取关键帧时，需要在上一次***关键帧后已处理超过10帧图像，或是已处理超过5帧图像并且局部建图线程空闲。
10.如权利要求8所述的一种基于可观测性优化的多相机视觉SLAM方法，其特征在于，步骤S5中选取关键帧时，需要与当前图像帧匹配上的跟踪地图点少于与最近关键帧观测地图点数量的90％。
CN202110637214.XA 2021-06-08 2021-06-08 一种基于可观测性优化的多相机视觉slam方法 Active CN113256736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110637214.XA CN113256736B (zh) 2021-06-08 2021-06-08 一种基于可观测性优化的多相机视觉slam方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110637214.XA CN113256736B (zh) 2021-06-08 2021-06-08 一种基于可观测性优化的多相机视觉slam方法

Publications (2)

Publication Number Publication Date
CN113256736A true CN113256736A (zh) 2021-08-13
CN113256736B CN113256736B (zh) 2023-04-14

Family

ID=77187004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110637214.XA Active CN113256736B (zh) 2021-06-08 2021-06-08 一种基于可观测性优化的多相机视觉slam方法

Country Status (1)

Country Link
CN (1) CN113256736B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070615A (zh) * 2019-04-12 2019-07-30 北京理工大学 一种基于多相机协同的全景视觉slam方法
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
US20200240793A1 (en) * 2019-01-28 2020-07-30 Qfeeltech (Beijing) Co., Ltd. Methods, apparatus, and systems for localization and mapping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
US20200240793A1 (en) * 2019-01-28 2020-07-30 Qfeeltech (Beijing) Co., Ltd. Methods, apparatus, and systems for localization and mapping
CN110070615A (zh) * 2019-04-12 2019-07-30 北京理工大学 一种基于多相机协同的全景视觉slam方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YI YANG等: "Multi-camera visual SLAM for off-road navigation", 《ELSEVIER》 *
YIMING GAN等: "Eudoxus: Characterizing and Accelerating Localization in Autonomous Machines", 《ARXIV》 *
张国良等: "考虑多位姿估计约束的双目视觉里程计", 《控制与决策》 *
赵良玉等: "多旋翼无人机单目V-SLAM研究综述", 《航空兵器》 *

Also Published As

Publication number Publication date
CN113256736B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
CN111462200B (zh) 一种跨视频行人定位追踪方法、***及设备
CN109974693B (zh) 无人机定位方法、装置、计算机设备及存储介质
CN109631855B (zh) 基于orb-slam的高精度车辆定位方法
CN110033489B (zh) 一种车辆定位准确性的评估方法、装置及设备
JP7326720B2 (ja) 移動***置推定システムおよび移動***置推定方法
CN110910453B (zh) 基于无重叠视域多相机***的车辆位姿估计方法及其***
CN111126304A (zh) 一种基于室内自然场景图像深度学习的增强现实导航方法
CN112233177B (zh) 一种无人机位姿估计方法及***
CN107167826B (zh) 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位***及方法
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN112734852A (zh) 一种机器人建图方法、装置及计算设备
CN109596121B (zh) 一种机动站自动目标检测与空间定位方法
CN113313763B (zh) 一种基于神经网络的单目相机位姿优化方法及装置
CN111340922A (zh) 定位与地图构建的方法和电子设备
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、***及介质
Bethmann et al. Semi-global matching in object space
CN113506342B (zh) 一种基于多相机全景视觉的slam全向回环校正方法
CN111899280A (zh) 采用深度学习和混合型位姿估计的单目视觉里程计方法
CN111860651B (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN111710040B (zh) 一种高精度地图的构建方法、***、终端和存储介质
Yuan et al. SDV-LOAM: semi-direct visual–LiDAR Odometry and mapping
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
Bethmann et al. Object-based multi-image semi-global matching–concept and first results
CN111829522B (zh) 即时定位与地图构建方法、计算机设备以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant