CN117029802A - 一种基于深度学习的多模态slam方法 - Google Patents
一种基于深度学习的多模态slam方法 Download PDFInfo
- Publication number
- CN117029802A CN117029802A CN202211380256.0A CN202211380256A CN117029802A CN 117029802 A CN117029802 A CN 117029802A CN 202211380256 A CN202211380256 A CN 202211380256A CN 117029802 A CN117029802 A CN 117029802A
- Authority
- CN
- China
- Prior art keywords
- factor
- point cloud
- laser radar
- frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 title claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000010354 integration Effects 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 abstract description 15
- 230000009466 transformation Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 239000003245 coal Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明涉及矿山智能定位与导航技术领域，解决了井下SLAM的特征提取准确度和难度变大的技术问题，尤其涉及一种基于深度学习的多模态SLAM方法，包括以下步骤：S1、通过相机提取当前帧图像帧的信息，生成图像特征金字塔；S2、获取激光雷达当前帧激光帧的信息，并通过逆深度缩放算法对点云进行逆深度缩放后生成点云特征金字塔；S3、将图像特征金字塔和点云特征金字塔作为输入进入双向相机‑激光雷达融合模块，得到融合后的图像和点云特征输出图像特征点。本发明能够在矿山井下非结构化、弱光照、无纹理的环境特征下，提高井下SLAM的特征提取准确度，同时降低提取难度，满足井下机器人感知和定位的需求。
Description
技术领域
本发明涉及矿山智能定位与导航技术领域，尤其涉及一种基于深度学习的多模态SLAM方法。
背景技术
煤矿巷道、采掘工作面等作业区域具有典型的非结构化环境特征，且GPS技术无法直接应用于井下，进而导致煤矿开采时矿难频发，急需机械化换人、自动化减人和提高矿山智能化水平。而构建适用于煤矿机器人的自主定位***方案，解决井下机器人精准定位、姿态感知等问题。如何快速突破惯导、激光和相机等多信息融合的井下机器人精准感知与定位技术，是实现井下机器人局部自主的关键。
然而正由于矿山井下非结构化、弱光照、无纹理的环境特征下，井下SLAM的特征提取准确度和难度变大，成为井下机器人感知和定位的主要难点。
发明内容
针对现有技术的不足，本发明提供了一种基于深度学习的多模态SLAM方法，解决了井下SLAM的特征提取准确度和难度变大的技术问题，能够在矿山井下非结构化、弱光照、无纹理的环境特征下，提高井下SLAM的特征提取准确度，同时降低提取难度，满足井下机器人感知和定位的需求。
为解决上述技术问题，本发明提供了如下技术方案：一种基于深度学习的多模态SLAM方法，包括以下步骤：
S1、通过相机提取当前帧图像帧的信息，生成图像特征金字塔；
S2、获取激光雷达当前帧激光帧的信息，并通过逆深度缩放算法对点云进行逆深度缩放后生成点云特征金字塔；
S3、将图像特征金字塔和点云特征金字塔作为输入进入双向相机-激光雷达融合模块，得到融合后的图像和点云特征输出图像特征点；
S4、对得到的图像特征点使用KLT光流跟踪法进行跟踪，利用重投影误差做误差状态迭代卡尔曼滤波状态更新得到最新的相机位姿；
利用IMU先验对激光雷达进行位姿预测和误差状态迭代卡尔曼滤波更新位姿估计，随后生成视觉里程计因子和激光雷达里程计因子；
S5、将视觉里程计因子、激光雷达里程计因子和IMU预积分因子加入因子图中进行优化；
S6、根据优化后的因子图进行三维地图建模。
进一步地，在步骤S1中，通过相机提取当前帧图像帧的信息，生成图像特征金字塔，具体过程包括以下步骤：
S11、订阅当前相机获得的相邻两帧图像帧的信息；
S12、以PWCNet神经网络结构为基础为图像生成图像特征金字塔。
进一步地，在步骤S2中，获取激光雷达当前帧激光帧的信息，并通过逆深度缩放算法对点云进行逆深度缩放后生成点云特征金字塔，具体过程包括以下步骤：
S21、订阅当前激光雷达获得的帧点云的信息；
S22、先对得到的点云进行逆深度缩放以保证图像和点云一一对应；
S23、以PointPWC-Net神经网络结构为基础，为经过逆深度缩放后的点云生成点云特征金字塔。
进一步地，在步骤S4中，具体过程包括以下步骤：
S41、对步骤三融合的图像帧的特征点进行KLT光流跟踪；
S42、将一个特征点最新的观测帧与在滑动窗口中最老的一帧、两帧对应的IMU位姿估计做重投影误差建立残差关系，最后用误差状态卡尔曼滤波对重投影误差建立的残差关系进行状态更新；
S43、发布视觉里程计因子；
S44、利用IMU先验对激光雷达进行位姿预测和误差状态迭代卡尔曼滤波更新位姿估计；
S45、发布雷达里程计因子。
进一步地，在步骤S5中，将视觉里程计因子、激光雷达里程计因子和IMU预积分因子加入因子图中进行优化，具体过程包括：
S51、向因子图中添加IMU预积分因子；
S52、向因子图中添加相机里程计因子；
S53、向因子图中添加激光雷达里程计因子；
S54、分别求取激光雷达里程计因子、相机里程计因子以及IMU预积分因子关于状态量的雅克比矩阵，使用Levenberg-Marquardt法求解状态量完成因子图的优化。
进一步地，在步骤S6中，根据优化后的因子图进行三维地图建模，具体过程包括：
在ros***中利用map_server服务器配置rgbdslam包并联合因子图优化后的全部数据进行三维地图建模。
借由上述技术方案，本发明提供了一种基于深度学习的多模态SLAM方法，至少具备以下有益效果：
本发明使用基于深度学习的激光雷达、相机和IMU的SLAM方法，将激光雷达的点云特征与相机的图像特征通过深度神经网络提取，解决了井下SLAM的特征提取准确度和难度变大的技术问题，能够在矿山井下非结构化、弱光照、无纹理的环境特征下，提高井下SLAM的特征提取准确度，同时降低提取难度，满足井下机器人感知和定位的需求。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明多模态SLAM方法的步骤流程图；
图2为本发明多模态SLAM方法的原理框图；
图3为本发明图像特征金字塔的示意图；
图4为本发明点云特征金字塔的示意图；
图5为本发明图像特征金字塔与点云特征金字塔由双向相机-激光雷达融合模块的融合示意图；
图6为本发明双向相机-激光雷达融合模块的原理框图；
图7为本发明融合感知插值算法的原理图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本实施例充分考虑了矿山井巷非结构化环境特征且GPS技术无法直接运用的因素，由于矿山井巷非结构化环境特征，所以在一定情况下，激光雷达无法采集到足够的特征点云，但是IMU可以不依赖于外部信息，独立于其它传感器存在，故IMU可以在无足够的特征点云时进行预积分，弥补没有足够特征点云的缺陷。进而对激光雷达进行点云的特征提取，相机也可以提供视觉特征与点云特征进行匹配。同时，运用神经网络对相机和激光雷达帧进行特征提取，能够显著提高特征提取的效率，从而优化整个***，从而使整个***保持稳定。
请参照图1-图7，示出了本实施例的一种具体实施方式，本实施例将激光雷达的点云特征与相机的图像特征通过深度神经网络提取并融合后的特征信息进行一同优化运算，结合神经网络在特征提取较传统方法的的显著优势和一种新的相机、雷达数据融合的双向融合管道在多模态数据联合的新方法，对矿山井下非结构化、弱光照、无纹理环境下SLAM问题中，关于特征提取难以及多模态数据融合难作出有效的解决。
请参照图1和图2，本实施例提出了一种基于深度学习的多模态SLAM方法，包括以下步骤：
S1、通过相机提取当前帧图像帧的信息，生成图像特征金字塔；
在步骤S1中，通过相机提取当前帧图像帧的信息，生成图像特征金字塔，具体过程包括以下步骤：
S11、订阅当前相机获得的相邻两帧图像帧的信息；
S12、以PWCNet神经网络结构为基础为图像生成图像特征金字塔；
为图像生成一个如示意图3结构的图像特征金字塔，图像特征金字塔遵循最初的PWCNet神经网络结构，其修改在于对于图像分支，用残差块替换前馈cnn，并对每个卷积层进行批处理归一化。
图像特征金字塔由顶层作为输入，对于每一级，图像特征使用残差块进行因子为2的下采样。
S2、获取激光雷达当前帧激光帧的信息，并通过逆深度缩放算法对点云进行逆深度缩放后生成点云特征金字塔；
在步骤S2中，获取激光雷达当前帧激光帧的信息，并通过逆深度缩放算法对点云进行逆深度缩放后生成点云特征金字塔，具体过程包括以下步骤：
S21、订阅当前激光雷达获得的帧点云的信息；
S22、先对得到的点云进行逆深度缩放以保证图像和点云一一对应；
具体的，设(Px,Py,Pz)和(Px',Py',Pz')分别为变换前后点的坐标，逆深度缩放算法通过深度的倒数相等地缩放所有三个维度，即：
变换后的坐标(Px',Py',Pz')可通过对上式积分得到：
其中Cx和Cy都设为0，Cz设为1以避免深度为零。
S23、以PointPWC-Net神经网络结构为基础，为经过逆深度缩放后的点云生成点云特征金字塔。
具体的，为经过逆深度缩放后的点云生成一个如图4结构的点云特征金字塔，点云特征金字塔遵循最初的PointPWC-Net神经网络结构。修改在于，原始的PointPWC-Net构建一个三层金字塔，并对点云进行4倍的下采样，如今构建一个六层金字塔，下采样因子为2，以匹配图像特征金字塔各级的级别，然后使用PointConv神经网络来聚合特征。
如图5所示，从级别6到级别2的功能由双向相机-激光雷达融合模块融合以传递补充信息。从顶层开始处理，执行从粗到细的估计方案，直到第2级。
本实施例在激光雷达信息提取中因为点云分布稀疏不符合规则网络而图像特征组织在一个稠密的网格结构中，故难以保证图像像素和点云是一一对应的，为两个模态的融合造成了难题。因此提出了一种逆深度缩放算子用于平衡点云的分布，对点云信息和图像信息的融合在融合前的变换造成了有益效果。
S3、将图像特征金字塔和点云特征金字塔作为输入进入双向相机-激光雷达融合模块，得到融合后的图像和点云特征输出图像特征点；
在步骤S3中，具体过程包括：
具体的，将图像特征金字塔点云特征金字塔以及点位置P＝{pi|i＝1,...N}∈RN×3作为输入按图5所示的方式匹配进入到图6所示的双向相机-激光雷达融合模块，其中N为点数。
通过将图像特征融合到点云特征上和将点云特征融合到图像特征上，两个分支分别融合图像和点云特征得到融合后的图像和点云特征输出图像特征点。
具体的，将图像特征融合到点云特征上：
首先，将点投影到像平面(表示为X＝{xi|i＝1,...N}∈RN×2)来检索对应的二维特征：
其中F(x)表示x点的图像特征，如果坐标不是整数，则可以通过双线性插值得到。然后将提取到的特征H与输入的三维特征g进行拼接，最后通过1×1卷积对融合后的三维特征进行降维处理。
其次，将点云特征融合到图像特征上：
类似地，首先将点投影到像平面(表示为X＝{xi|i＝1,...N}∈RN×2)。
由于点云稀疏，提出融合感知插值算法，从稀疏的3D特征创建一个密集的特征映射然后，将“插值”的点云特征与输入图像特征进行串联，最后进行1×1卷积以降低特征维数。
融合感知插值算法的细节在于如图7所示。
对于每个目标像素，找到它周围最近的k个点。采用可学习的MLP和MEAN来聚合特征。
如图7，对于密集图中的每个目标像素q，在图像平面上的投影点中找到它的k个最近邻。使用MLP和MEAN来聚合特征，可以表述为：
其中Nq表示所有邻点，gi表示点i的三维特征，[·]表示拼接。MLP的输入还包括q与其相邻点之间的2D相似度度量，定义为：
S(q,xi)＝F(q)·F(xi)
本实施例为更好地融合相机和雷达特征信息，提出了一种双向相机-激光雷达融合算法，以提高整个***在非结构化环境中的精度。并且由于点云稀疏，在融合时提出了一种感知融合插值算法，以提高相机和激光雷达信息融合的充分性，使得整个***输出更准确的位姿估计，保证地图重建了的准确性。
S4、对得到的图像特征点使用KLT光流跟踪法进行跟踪，利用重投影误差做误差状态迭代卡尔曼滤波状态更新得到最新的相机位姿；
利用IMU先验对激光雷达进行位姿预测和误差状态迭代卡尔曼滤波更新位姿估计，随后生成视觉里程计因子和激光雷达里程计因子；
在步骤S4中，具体过程包括以下步骤：
S41、对步骤三融合的图像帧的特征点进行KLT光流跟踪；
具体的，判断上一帧图像的特征点数量，若上一帧图像的特征点少于10个，直接设为跟踪失败；若跟踪点的数量满足预设阈值，则直接进行LK光流跟踪。
通过视差判断采取何种边缘化的方法，新帧与上一帧视差大则边缘化最老帧，视差小则边缘化上一帧。
在IMU中加入新特征点的先验，按照IMU先验的位姿估计将一个特征点的所有观测加入三角化计算得到最新的观测帧。
S42、将一个特征点最新的观测帧与在滑动窗口中最老的一帧、两帧对应的IMU位姿估计做重投影误差建立残差关系，最后用误差状态卡尔曼滤波对重投影误差建立的残差关系进行状态更新；
随后进行误差状态卡尔曼滤波的实现：一个迭代周期的大致流程：
1、计算平面的参数方程。将计算得到的平面与上一帧的平面点互相匹配得到认为是同一个平面，即位姿变换的观测量。以IMU积分作为先验做误差卡尔曼滤波更新。更新协方差，得到误差的最优估计以及状态向量。在求解增益矩阵K后，得到误差量的后验，进而计算其变化量。当变化量小于阈值时判断其收敛。
2、当误差状态卡尔曼滤波结束退出时更新后验的协方差矩阵。
3、在完成本次状态估计后，将新的帧中的一些点云加入到kd树中，并更新下一帧在地图中查找它的标志。
4、通过若干次迭代逼近结果，用最新的误差状态卡尔曼滤波后验更新滑窗。
S43、发布视觉里程计因子；
S44、利用IMU先验对激光雷达进行位姿预测和误差状态迭代卡尔曼滤波更新位姿估计；
S45、发布雷达里程计因子。
S5、将视觉里程计因子、激光雷达里程计因子和IMU预积分因子加入因子图中进行优化；
在步骤S5中，将视觉里程计因子、激光雷达里程计因子和IMU预积分因子加入因子图中进行优化，具体过程包括：
S51、向因子图中添加IMU预积分因子；
具体的，考虑滑动窗口内两个连续帧bk和bk-1之间的IMU测量，IMU预积分测量残差定义如下：
其中[.]xyz提取了用于误差状态表示的四元数q的向量部分(虚部)。是四元数的三阶误差状态表示。/>是两个连续图像帧的时间间隔内只采用带噪声的加速度计和陀螺仪测量的IMU预积分测量值，加速度计和陀螺仪偏差还包括在残差项中用于在线矫正。
上式中，表示残差的定义；/>分别是对于IMU的位置速度方向预积分量的差值；δba、δbg分别是对于IMU加速度和角速度的偏置量差值；分别是k-1帧IMU坐标系在世界坐标系下对应的位置、速度、旋转；分别是k-1时刻到k时刻两时刻间位置、速度、角速度的预积分估计值；gW是世界坐标系下的重力矢量；/>是k时刻IMU加速度的偏置量；/>是k时刻IMU角速度的偏置量。
S52、向因子图中添加相机里程计因子；
具体的，考虑第ith幅图像中第一个观测到的第lth个特征，在第jth幅图像中特征观测的残差定义为：
上式中，表示视觉残差的定义，b1，b2为正切平面的两个正交基也就是原点到测量单位球面点的向量a，在球面上的切向单位向量。/>为第l个特征在第j张图像中的像素通过相机内参反向投影到单位球面上的三维坐标。/>为第l个特征在第j张图像中的像素的三维坐标。/>表示从IMU坐标系到相机坐标系的旋转转换矩阵三维坐标表示。/>表示从世界坐标系到IMU坐标系的旋转转换矩阵三维坐标表示。/>表示从相机坐标系到IMU坐标系的位置转换矩阵三维坐标表示。/>表示从IMU坐标系到世界坐标系的位置转换矩阵三维坐标表示。
其中，是使用相机内参将像素坐标转变为单位向量的反投影函数。/>是第ith幅图像中第lth个特征的第一次观测。/>是第jth幅图像中相同特征的观测。由于视觉残差的自由度是2，因此将残差向量投影到切平面上。
S53、向因子图中添加激光雷达里程计因子；
具体的，激光雷达里程计因子为其中ΔTk,k+1为状态节点Xk与Xk+1之间的相对变换关系。
S54、分别求取激光雷达里程计因子、相机里程计因子以及IMU预积分因子关于状态量的雅克比矩阵，使用Levenberg-Marquardt法求解状态量完成因子图的优化。
S6、根据优化后的因子图进行三维地图建模。
在步骤S6中，根据优化后的因子图进行三维地图建模，具体过程包括：
在ros***中利用map_server服务器配置rgbdslam包并联合因子图优化后的全部数据进行三维地图建模。
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种基于深度学习的多模态SLAM方法，其特征在于，包括以下步骤：
S1、通过相机提取当前帧图像帧的信息，生成图像特征金字塔；
S2、获取激光雷达当前帧激光帧的信息，并通过逆深度缩放算法对点云进行逆深度缩放后生成点云特征金字塔；
S3、将图像特征金字塔和点云特征金字塔作为输入进入双向相机-激光雷达融合模块，得到融合后的图像和点云特征输出图像特征点；
S4、对得到的图像特征点使用KLT光流跟踪法进行跟踪，利用重投影误差做误差状态迭代卡尔曼滤波状态更新得到最新的相机位姿；
利用IMU先验对激光雷达进行位姿预测和误差状态迭代卡尔曼滤波更新位姿估计，随后生成视觉里程计因子和激光雷达里程计因子；
S5、将视觉里程计因子、激光雷达里程计因子和IMU预积分因子加入因子图中进行优化；
S6、根据优化后的因子图进行三维地图建模。
2.根据权利要求1所述的多模态SLAM方法，其特征在于：在步骤S1中，通过相机提取当前帧图像帧的信息，生成图像特征金字塔，具体过程包括以下步骤：
S11、订阅当前相机获得的相邻两帧图像帧的信息；
S12、以PWCNet神经网络结构为基础为图像生成图像特征金字塔。
3.根据权利要求1所述的多模态SLAM方法，其特征在于：在步骤S2中，获取激光雷达当前帧激光帧的信息，并通过逆深度缩放算法对点云进行逆深度缩放后生成点云特征金字塔，具体过程包括以下步骤：
S21、订阅当前激光雷达获得的帧点云的信息；
S22、先对得到的点云进行逆深度缩放以保证图像和点云一一对应；
S23、以PointPWC-Net神经网络结构为基础，为经过逆深度缩放后的点云生成点云特征金字塔。
4.根据权利要求1所述的多模态SLAM方法，其特征在于：在步骤S4中，具体过程包括以下步骤：
S41、对步骤三融合的图像帧的特征点进行KLT光流跟踪；
S42、将一个特征点最新的观测帧与在滑动窗口中最老的一帧、两帧对应的IMU位姿估计做重投影误差建立残差关系，最后用误差状态卡尔曼滤波对重投影误差建立的残差关系进行状态更新；
S43、发布视觉里程计因子；
S44、利用IMU先验对激光雷达进行位姿预测和误差状态迭代卡尔曼滤波更新位姿估计；
S45、发布雷达里程计因子。
5.根据权利要求1所述的多模态SLAM方法，其特征在于：在步骤S5中，将视觉里程计因子、激光雷达里程计因子和IMU预积分因子加入因子图中进行优化，具体过程包括：
S51、向因子图中添加IMU预积分因子；
S52、向因子图中添加相机里程计因子；
S53、向因子图中添加激光雷达里程计因子；
S54、分别求取激光雷达里程计因子、相机里程计因子以及IMU预积分因子关于状态量的雅克比矩阵，使用Levenberg-Marquardt法求解状态量完成因子图的优化。
6.根据权利要求1所述的多模态SLAM方法，其特征在于：在步骤S6中，根据优化后的因子图进行三维地图建模，具体过程包括：
在ros***中利用map_server服务器配置rgbdslam包并联合因子图优化后的全部数据进行三维地图建模。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211380256.0A CN117029802A (zh) | 2022-11-05 | 2022-11-05 | 一种基于深度学习的多模态slam方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211380256.0A CN117029802A (zh) | 2022-11-05 | 2022-11-05 | 一种基于深度学习的多模态slam方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117029802A true CN117029802A (zh) | 2023-11-10 |
Family
ID=88628665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211380256.0A Pending CN117029802A (zh) | 2022-11-05 | 2022-11-05 | 一种基于深度学习的多模态slam方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117029802A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117949942A (zh) * | 2024-03-26 | 2024-04-30 | 北京市计量检测科学研究院 | 基于雷达数据和视频数据融合的目标跟踪方法及*** |
-
2022
- 2022-11-05 CN CN202211380256.0A patent/CN117029802A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117949942A (zh) * | 2024-03-26 | 2024-04-30 | 北京市计量检测科学研究院 | 基于雷达数据和视频数据融合的目标跟踪方法及*** |
| CN117949942B (zh) * | 2024-03-26 | 2024-06-07 | 北京市计量检测科学研究院 | 基于雷达数据和视频数据融合的目标跟踪方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109307508B (zh) | 一种基于多关键帧的全景惯导slam方法 | |
| CN109506642B (zh) | 一种机器人多相机视觉惯性实时定位方法及装置 | |
| CN111210463B (zh) | 基于特征点辅助匹配的虚拟宽视角视觉里程计方法及*** | |
| WO2021035669A1 (zh) | 位姿预测方法、地图构建方法、可移动平台及存储介质 | |
| CN112304307A (zh) | 一种基于多传感器融合的定位方法、装置和存储介质 | |
| CN110084832B (zh) | 相机位姿的纠正方法、装置、***、设备和存储介质 | |
| US8761439B1 (en) | Method and apparatus for generating three-dimensional pose using monocular visual sensor and inertial measurement unit | |
| CN111156998A (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
| Cui et al. | Real-time dense mapping for self-driving vehicles using fisheye cameras | |
| CN114013449B (zh) | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 | |
| KR20150144730A (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| CN111623773B (zh) | 一种基于鱼眼视觉和惯性测量的目标定位方法及装置 | |
| CN115406447B (zh) | 拒止环境下基于视觉惯性的四旋翼无人机自主定位方法 | |
| CN114255323A (zh) | 机器人、地图构建方法、装置和可读存储介质 | |
| CN112652001B (zh) | 基于扩展卡尔曼滤波的水下机器人多传感器融合定位*** | |
| CN115272596A (zh) | 一种面向单调无纹理大场景的多传感器融合slam方法 | |
| CN114636414A (zh) | 高清晰度城市地图绘制 | |
| CN110751123A (zh) | 一种单目视觉惯性里程计***及方法 | |
| CN117029802A (zh) | 一种基于深度学习的多模态slam方法 | |
| CN108827287B (zh) | 一种复杂环境下的鲁棒视觉slam*** | |
| Hong et al. | Visual inertial odometry using coupled nonlinear optimization | |
| CN112731503A (zh) | 一种基于前端紧耦合的位姿估计方法及*** | |
| CN115307646A (zh) | 一种多传感器融合的机器人定位方法、***及装置 | |
| CN113720323A (zh) | 基于点线特征融合的单目视觉贯导slam方法及装置 | |
| Hu et al. | Efficient Visual-Inertial navigation with point-plane map |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |