CN111595333B - 视觉惯性激光数据融合的模块化无人车定位方法及*** - Google Patents
视觉惯性激光数据融合的模块化无人车定位方法及*** Download PDFInfo
- Publication number
- CN111595333B CN111595333B CN202010340571.5A CN202010340571A CN111595333B CN 111595333 B CN111595333 B CN 111595333B CN 202010340571 A CN202010340571 A CN 202010340571A CN 111595333 B CN111595333 B CN 111595333B
- Authority
- CN
- China
- Prior art keywords
- pose
- imu
- laser
- camera
- measurement error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000004927 fusion Effects 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 238000005457 optimization Methods 0.000 claims abstract description 86
- 230000007613 environmental effect Effects 0.000 claims abstract description 9
- 230000010354 integration Effects 0.000 claims abstract description 9
- 238000005259 measurement Methods 0.000 claims description 88
- 239000011159 matrix material Substances 0.000 claims description 55
- 238000013519 translation Methods 0.000 claims description 39
- 230000001133 acceleration Effects 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 5
- 230000001105 regulatory effect Effects 0.000 claims description 5
- 230000001276 controlling effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种视觉惯性激光数据融合的模块化无人车定位方法及***,该方法包括以下步骤:1)采集模块通过单目相机、激光雷达及IMU获取无人驾驶汽车当前信息;2)根据步骤1)采集的无人驾驶汽车当前信息,位姿估计模块通过单目里程计和IMU预积分模型进行汽车的位姿估计,获得无人驾驶汽车的位姿信息;3)位姿优化模块根据步骤2)的位姿估计信息,建立多传感器融合的优化模型,并通过权重系数动态调节模块调节各传感器优化比重,增强了环境适应性,优化后得到车辆的最佳位姿,并将其转化至世界坐标系下,得到车辆的实时位姿。本发明能够满足在复杂环境下无人驾驶车辆定位的精确性和鲁棒性要求,适用于无人驾驶车辆的复杂环境下的定位。
Description
技术领域
本发明涉及智能汽车定位技术,尤其涉及一种视觉惯性激光数据融合的模块化无人车定位方法及***。
背景技术
随着社会经济和科学技术的飞速发展,人们出行的需求也越来越旺盛,汽车逐渐成为了人们生活中不可或缺的代步工具。经过多年发展,传统的汽车行业为了应对今后越来越复杂多变的需求,也兴起一股无人驾驶技术的研究热潮。诸如国内的有百度、华为、驭势等,国外的则有谷歌、特斯拉等科技公司和NVIDIA等芯片厂商都加入了无人驾驶技术的研发当中。目前国内各大高校也开始重视无人驾驶相关技术的开发。未来,汽车工业的转型,无人驾驶将成为主要的方向。
基于各种传感器的定位技术是无人驾驶中的关键技术,利用传感器获取的车辆环境与车辆自身的各种信息,计算得到车辆在环境中的准确位置。单独一种或两种传感器的定位方案如IMU航迹推演、视觉惯性里程计、激光惯性里程计等,因为传感器自身的局限性难以在复杂环境(高速运动、弱光照环境等)下进行准确的定位,鲁棒性和准确性无法保证应用要求,多传感器的融合方案中如何合理利用各传感器的优势也是一大挑战。基于此背景,本文提出一种视觉惯性激光数据融合的模块化无人车定位方法及***。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种视觉惯性激光数据融合的模块化无人车定位方法及***。
本发明解决其技术问题所采用的技术方案是:一种视觉惯性激光数据融合的模块化无人车定位方法,包括以下步骤:
1)采集获取无人驾驶汽车当前信息,包括通过单目相机采集的图像信息,激光雷达采集的三维点云信息以及IMU采集的加速度及角速度数据;
2)根据步骤1)采集的无人驾驶汽车当前信息,进行汽车的位姿估计,获得无人驾驶汽车的位姿信息;
3)根据位姿估计的位姿信息建立多传感器融合的优化模型,根据优化模型得到车辆的最佳位姿,并将其转化至世界坐标系下,得到车辆的实时位姿;所述优化模型为基于传感器模型的IMU测量误差、激光测量误差、相机测量误差设定误差函数,根据误差函数联立建立多传感器融合的优化模型。
按上述方案,所述步骤2)中获得无人驾驶汽车的位姿信息,具体如下:
通过对极几何约束从本质矩阵中计算单目相机的帧间运动信息(xv,yv,zv,αv,βv,γv),,(其中6个物理量分别表示欧式坐标系中在x,y,z三坐标轴中的平移与旋转量,下同),并通过路标点对比算法筛选单目图像的关键帧进行标记,对IMU的测量数据进行预积分处理,然后与单目相机进行联合初始化,恢复单目相机的尺度,并估计***的速度、陀螺仪零偏及重力方向,得到无尺度的位姿变换(xvi,yvi,zvi,αvi,βvi,γvi),即无人驾驶汽车的位姿信息。
按上述方案,所述步骤2)中获得无人驾驶汽车的位姿信息,具体如下:
2.1)通过对极几何约束从本质矩阵中计算单目相机的帧间运动信息(xv,yv,zv,αv,βv,γv):
利用ORB特征点算法提取图像中的ORB特征点,并通过采用FLANN算法将相邻两帧图像I和I+1的特征点匹配,利用对极几何约束,通过RANSAC算法来估计两幅图像的本质矩阵,对本质矩阵进行奇异值分解获得两帧图像之间的旋转矩阵R与平移向量t,并恢复为帧间相对位姿(xv,yv,zv,αv,βv,γv);
2.2)利用共视路标点算法筛选图像中的关键帧,并进行标记;
2.3)利用IMU在i时刻的检测量其中/>是i时刻的IMU坐标系下的加速度,/>是i时刻的IMU坐标系下的角速度,建立IMU的预积分模型如下:
其中是i时刻到j时刻的平移量,/>是i时刻到j时刻的速度量,/>是i时刻到j时刻的旋转量。通过IMU预积分得到的旋转矩阵R与平移向量t恢复单目图像中的旋转矩阵R与平移向量t中的未知尺度,得到无尺度的估计位姿,将其转换到世界坐标系下为(xvi,yvi,zvi,αvi,βvi,γvi)。
按上述方案,所述步骤2.2)利用共视路标点算法筛选图像中的关键帧,具体为:
将先验关键帧的A个共视匹配特征点存储为路标点集合,获取单目相机传入的最新图像I,检测到I中共有B个特征点,其中有W个与路标点匹配,判断是否满足下式:
σWA和σWB分别为预先设置的阈值,如果满足则将I记录为新的关键帧,并将先验关键帧中的最旧帧删除。
按上述方案,所述步骤3)中优化模型的误差函数如下:
IMU测量误差函数具体为:
其中,为通过估计的相对运动恢复的IMU位置,/>为通过估计的相对运动恢复的IMU速度,/>为通过估计的相对运动恢复的IMU旋转,/>为估计的加速度计与陀螺仪零偏;
相机测量误差函数具体为:
其中,为***对路标点l在相机坐标系中坐标的预测值归一化处理的结果,/>为路标点为相机观察到的路标l在归一化平面的坐标,两者相减即为相机测量误差;
激光测量误差函数具体为:
其中,
其中,和/>分别是相机与激光雷达之间的旋转矩阵和平移向量;/>和/>为两帧激光点云的匹配点;
对坐标利用相机坐标系Ci和Cj间的旋转矩阵/>和平移向量/>从坐标系Ci变换至坐标系Cj,对应坐标/>
按上述方案,所述步骤3)中根据优化模型得到车辆的最佳位姿,是通过建立位姿优化模型的最小二乘问题,构建残差函数进行最小二乘的迭代优化,利用L-M法迭代优化该最小二乘问题,得到车辆的最佳位姿,其中残差函数为:
其中,是IMU的测量误差,/>是视觉测量误差,/>是激光雷达的扫描误差,P是残差项对应的协方差矩阵;
σ为视觉测量误差的权重系数,τ为激光测量误差的权重系数。
按上述方案,所述步骤3)中视觉测量误差的权重系数和激光测量误差的权重系数确定方法如下:
根据环境信息调控单目相机与激光雷达在优化中所占的权重,权重系数根据单目相机的关键帧共视路标点数和激光雷达点云数据的匹配特征数确定,设定两帧图像关键帧的最佳共视路标点数为A及两帧激光点云数据的最佳匹配特征点数为B,在每次建立优化模型前系计算当前关键帧共视路标点数a与最佳共视路标点数A比值a/A,计算当前激光点云匹配特征点数b与最佳匹配特征点数B比值b/B,视觉测量误差的权重系数σ=2×(a/A)/(b/B),激光测量误差的权重系数τ=2×[1-(a/A)/(b/B)]。
一种视觉惯性激光数据融合的模块化无人车定位***,包括:
采集模块,用于采集获取无人驾驶汽车当前信息,包括通过单目相机采集的图像信息,激光雷达采集的三维点云信息以及IMU采集的加速度及角速度数据;
位姿估计模块,用于根据无人驾驶汽车当前信息,进行汽车的位姿估计,获得无人驾驶汽车的位姿信息;
位姿优化模块,用于根据位姿估计模块的位姿信息建立多传感器融合的优化模型,根据优化模型得到车辆的最佳位姿,并将其转化至世界坐标系下,得到车辆的实时位姿;所述优化模型为基于传感器模型的IMU测量误差、激光测量误差、相机测量误差设定误差函数,根据误差函数联立建立多传感器融合的优化模型。
按上述方案,所述位姿估计模块中获得无人驾驶汽车的位姿信息,具体如下:
1)通过对极几何约束从本质矩阵中计算单目相机的帧间运动信息(xv,yv,zv,αv,βv,γv):
利用ORB特征点算法提取图像中的ORB特征点,并通过采用FLANN算法将相邻两帧图像I和I+1的特征点匹配,利用对极几何约束,通过RANSAC算法来估计两幅图像的本质矩阵,对本质矩阵进行奇异值分解获得两帧图像之间的旋转矩阵R与平移向量t,并恢复为帧间相对位姿(xv,yv,zv,αv,βv,γv);
2)利用共视路标点算法筛选图像中的关键帧,并进行标记;
3)利用IMU在i时刻的检测量其中/>是i时刻的IMU坐标系下的加速度,是i时刻的IMU坐标系下的角速度,建立IMU的预积分模型如下:
其中是i时刻到j时刻的平移量,/>是i时刻到j时刻的速度量,/>是i时刻到j时刻的旋转量。通过IMU预积分得到的旋转矩阵R与平移向量t恢复单目图像中的旋转矩阵R与平移向量t中的未知尺度,得到无尺度的估计位姿,将其转换到世界坐标系下为(xvi,yvi,zvi,αvi,βvi,γvi)。
按上述方案,所述位姿优化模块中优化模型的误差函数如下:
IMU测量误差函数具体为:
其中,为通过估计的相对运动恢复的IMU位置,/>为通过估计的相对运动恢复的IMU速度,/>为通过估计的相对运动恢复的IMU旋转,/>为估计的加速度计与陀螺仪零偏;
相机测量误差函数具体为:
其中,为***对路标点l在相机坐标系中坐标的预测值归一化处理的结果,/>为路标点为相机观察到的路标l在归一化平面的坐标,两者相减即为相机测量误差;
激光测量误差函数具体为:
其中,
其中,和/>分别是相机与激光雷达之间的旋转矩阵和平移向量;/>和/>为两帧激光点云的匹配点;
对坐标利用相机坐标系Ci和Cj间的旋转矩阵/>和平移向量/>从坐标系Ci变换至坐标系Cj,对应坐标/>
按上述方案,所述位姿优化模块中根据优化模型得到车辆的最佳位姿,是通过建立位姿优化模型的最小二乘问题,构建残差函数进行最小二乘的迭代优化,利用L-M法迭代优化该最小二乘问题,得到车辆的最佳位姿,其中残差函数为:
其中,是IMU的测量误差,/>是视觉测量误差,/>是激光雷达的扫描误差,P是残差项对应的协方差矩阵;
σ为视觉测量误差的权重系数,τ为激光测量误差的权重系数。
按上述方案,所述位姿优化模块中视觉测量误差的权重系数和激光测量误差的权重系数确定方法如下:
根据环境信息调控单目相机与激光雷达在优化中所占的权重,权重系数根据单目相机的关键帧共视路标点数和激光雷达点云数据的匹配特征数确定,设定两帧图像关键帧的最佳共视路标点数为A及两帧激光点云数据的最佳匹配特征点数为B,在每次建立优化模型前系计算当前关键帧共视路标点数a与最佳共视路标点数A比值a/A,计算当前激光点云匹配特征点数b与最佳匹配特征点数B比值b/B,视觉测量误差的权重系数σ=2×(a/A)/(b/B),激光测量误差的权重系数τ=2×[1-(a/A)/(b/B)]。
本发明产生的有益效果是:
1)本发明在位姿估计中弥补了单目视觉里程计的未知尺度,并修正了IMU的零偏bias缺陷;
2)建立各传感器的误差函数,在位姿优化中对估计的位姿进行二次优化;
3)通过建立一种新的误差权重系数调节方式,对单目相机和激光雷达的测量误差根据环境场景进行权重系数的动态调节,最终通过滑动窗口和L-M法得到车辆实时地精确定位信息;
4)本发明提高了传统定位方法的环境适应性,能够满足在复杂环境下无人驾驶车辆定位的精确性和鲁棒性要求,适用于无人驾驶车辆的复杂环境下的定位。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例的***结构示意图;
图2是本发明实施例的单目视觉里程计的原理流程图;
图3是本发明实施例的单目视觉里程计中本质矩阵奇异值分解得到四种R、t的示意图;
图4是本发明实施例的IMU预积分与单目相机的联合初始化方法流程图;
图5是本发明实施例的误差函数权重系数动态调节的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,一种视觉惯性激光数据融合的模块化无人车定位***,采集模块涉及的传感器包括IMU、激光雷达、单目相机,将三种传感器的实时检测数据传入***内处理模块处理,***进行多模块的分离式设计,位姿估计模块通过IMU与单目相机进行联合初始化解决单目视觉里程计的尺度问题;位姿优化模块接受位姿估计模块传入的位姿信息,建立多传感器融合的优化模型,并根据不同环境动态调节相机与激光雷达在优化中的比重,通过滑动窗口法得到车辆在世界坐标系下的最优定位信息。
如图1,具体实施过程为:
采集模块,当无人驾驶车辆在环境中运行驶时,采集模块通过三种传感器实时检测车辆的周围环境,激光雷达提供周围环境的三维点云数据,单目相机提供连续图像帧组成的视频流,IMU提供车辆自身的加速度和角速度信息,传感器的数据上传给***的位姿估计模块,处理步骤如下:
如图2,
1)首先位姿估计模块接收单目相机的视频流信息,进行单目视觉里程计的计算,步骤如下:
(1)***从视频流中获取相邻两帧图像I和I+1,通过张正友标定法获取相机的内部参数和畸变参数,利用畸变参数对图像进行去畸变处理。
(2)通过ORB算法检测图像I和I+1的ORB特征点,如果特征点数未达到预期,则重新检测;
(3)通过对比二进制形式的BRIEF描述子的汉明距离,汉明距离即二进制数相同位数的个数,并采用FLANN算法将I和I+1的特征点匹配,判定特征点匹配数,如果小于某个阈值,则重新进行特征点检测;
(4)通过RANSAC算法来估计两幅图像的本质矩阵E,对本质矩阵E进行奇异值分解E=U∑VT,则:
如图3,此时得到旋转矩阵R与平移向量t有四种结果,只有图3(d)是所需要求解的运动,通过检测点P在两个相机下的深度,当两个深度均为正时,所得到的R、t则为需要的解,最后利用三角测量恢复深度,输出带有尺度的视觉里程计的相对位姿(xv,yv,zv,αv,βv,γv);
在进行单目视觉里程计计算的同时,前端位姿估计模块同步地筛选图像序列中的关键帧,将先验关键帧的A个共视匹配特征点存储为路标点集合,获取单目相机传入的最新图像I,检测到I中共有B个特征点,其中有W个与路标点匹配,判断是否满足其中σWA和σWB分别为设置的阈值,如果满足则将I记录为新的关键帧,并将先验关键帧中的最旧帧删除。
2)对单目视觉里程计的结果进行尺度恢复操作,该操作是通过建立的IMU预积分与单目相机的联合初始化完成,具体步骤如图4所示:
(1)建立旋转约束其中/>是k时刻IMU坐标系到初始相机坐标系c1的旋转,以四元数表示,/>是k时刻IMU坐标系bk到IMU坐标系bk的旋转,qbc是同时刻相机坐标系到IMU坐标的固定旋转;建立平移约束/>其中s是未知尺度,/>是k时刻IMU坐标系到初始相机坐标系c1的平移,/>是k时刻相机坐标系ck到相机坐标系ck的平移,pbc是同时刻相机坐标系到IMU坐标的固定平移。
(2)建立待估参数向量其中/>表示k时刻IMU的速度在IMU坐标系下的表示,/>为重力加速度向量在初始图像帧c1对应的相机坐标系C1下的表示,s为尺度因子。
(3)建立最小二乘方程
其中γbkbk+1是k到k+1时刻IMU预积分旋转量,利用L-M法恢复IMU的零偏bias;建立最小二乘方程
其中
利用L-M法优化视觉里程计的尺度和***的速度及重力方向。
3)利用恢复的尺度信息将视觉里程计的位姿恢复至世界坐标系中得到(xvi,yvi,zvi,αvi,βvi,γvi),极大地提高了前段位姿优化的精确度。
位姿优化模块:
视觉惯性激光数据融合的位姿估计模块位姿估计完成后,位姿优化模块将接受位姿估计模块对位姿进行进一步的优化,具体过程如下:
1)建立位姿优化模块优化模型的误差函数,包括三种传感器的数据,首先是IMU测量误差:
其中,其中,为通过估计的相对运动恢复的IMU位置,/>为通过估计的相对运动恢复的IMU速度,为通过估计的相对运动恢复的IMU旋转,/>为估计的加速度计与陀螺仪零偏,将这些量与测量值的积分作差得到IMU测量误差。
2)然后建立位姿优化模块优化的相机测量误差:
其中,为***对路标点l在相机坐标系中坐标的预测值归一化处理的结果,/>为路标点为相机观察到的路标l在归一化平面的坐标,两者相减即为相机测量误差。
3)为了位姿优化模块优化的误差模型形模型的复杂度,本申请提出了一种激光雷达点云数据的点对点匹配算法,具体步骤为:通过kd-tree方法找寻相邻两帧激光点云间的点-线匹配和点-面特征匹配,点的匹配特征线为/>和/>所确定直线,点/>的匹配特征面为由/>和/>三点确定的平面,则建立点/>与点/>所对应的匹配点与/>的约束方程:
求解其匹配点的约束方程得到匹配点
建立激光测量误差函数,将其转换为视觉测量误差的相同形式,首先计算激光特征的点-点匹配,得到两帧激光点云的匹配点和/>将匹配点转换至相机坐标系下:
其中和/>分别是相机与激光雷达之间的旋转矩阵和平移向量,接着***对坐标/>利用相机坐标系Ci和Cj间的旋转矩阵/>和平移向量/>变换至Cj,对应坐标并将/>投影至归一化平面:/>计算重构后的激光测量误差为:/>
融合三种传感器的误差函数,建立权重动态调节模块,根据环境信息调控单目相机与激光雷达在优化中所占的权重,权重系数根据单目相机的关键帧共视路标点数和激光雷达点云数据的匹配特征数,具体步骤如图5:
***将设定两帧图像关键帧的最佳共视路标点数为A及两帧激光点云数据的最佳匹配特征点数为B,在每次建立优化模型前***计算当前关键帧共视路标点数a与最佳共视路标点数A比值a/A,计算当前激光点云匹配特征点数b与最佳匹配特征点数B比值b/B,于是视觉测量误差的权重系数σ与激光测量误差的权重系数τ计算为:
***建立视觉惯性激光数据融合的模块化无人车定位方法的位姿优化模块的优化模型,将位姿估计模块估计的位姿传入位姿优化模块进行滑动窗口优化,具体步骤为:
导入算法位姿估计模块估计的位姿,并筛选其中关键帧的位姿 ***速度vw1,第i个路标点逆深度di为待优化变量。并将所有待优化变量整合为向量χ,建立位姿优化模块优化的最小二乘问题,构建***的残差函数进行最小二乘的迭代优化:
其中,是IMU的测量误差,,/>是视觉测量误差,/>是激光雷达的扫描误差,P是残差项对应的协方差矩阵。
利用L-M法优化该最小二乘问题,得到优化后得最佳位姿,并将其转化至世界坐标系下,得到车辆实时位姿Pvil=(xvil,yvil,zvil,αvil,βvil,γvil)。
根据上述***的介绍,我们容易获得对应的定位方法,,包括以下步骤:
1)采集获取无人驾驶汽车当前信息,包括通过单目相机采集的图像信息,激光雷达采集的三维点云信息以及IMU采集的加速度及角速度数据;
2)根据步骤1)采集的无人驾驶汽车当前信息,进行汽车的位姿估计,获得无人驾驶汽车的位姿信息;
通过对极几何约束从本质矩阵中计算单目相机的帧间运动信息(xv,yv,zv,αv,βv,γv),并通过路标点对比算法筛选单目图像的关键帧进行标记,对IMU的测量数据进行预积分处理,然后与单目相机进行联合初始化,恢复单目相机的尺度,并估计***的速度、陀螺仪零偏及重力方向,得到无尺度的位姿变换(xvi,yvi,zvi,αvi,βvi,γvi),即无人驾驶汽车的位姿信息。
3)根据位姿估计的位姿信息建立多传感器融合的优化模型,根据优化模型得到车辆的最佳位姿,并将其转化至世界坐标系下,得到车辆的实时位姿;所述优化模型为基于传感器模型的IMU测量误差、激光测量误差、相机测量误差设定误差函数,根据误差函数联立建立多传感器融合的优化模型。
3.1)导入位姿估计的位姿,并筛选其中关键帧的位姿***速度vw1,第i个路标点逆深度di为待优化变量。并将所有待优化变量整合为向量χ。
建立优化模型的视觉测量误差:
建立优化模型的IMU测量误差:
通过近似匹配的思想,将点对线或点对面的激光点云特征匹配转换成点对点的特征匹配,通过求解下列约束方程:
通过kd-tree方法找寻相邻两帧激光点云间的点-线匹配和点-面特征匹配。第k帧点云中的点的匹配特征线为第k-1帧点云中的点/>和/>所确定直线,则对于线匹配点/>求解其在第k-1帧点云中的匹配点/>的约束方程得到匹配点:
同样地,点的匹配特征面为由/>和/>三点确定的平面,则对于面匹配点/>求解其匹配点/>的约束方程得到匹配点:/>
建立视觉测量误差相同形式的优化模型的激光测量误差具体步骤如下:
利用近似匹配点思想计算激光特征的点-点匹配,得到两帧激光点云的匹配点和/>
将匹配点转换至相机坐标系下:
其中和/>分别是相机与激光雷达之间的旋转矩阵和平移向量。
对坐标利用相机坐标系Ci和Cj间的旋转矩阵/>和平移向量/>变换至Cj,对应坐标/>并将/>投影至归一化平面:
计算重构后的激光测量误差为:
3.2)定位姿估计模块中的误差函数权重系数动态调节;
环境信息调控单目相机与激光雷达在优化中所占的权重,权重系数根据单目相机的关键帧公式路标点数和激光雷达点云数据的匹配特征数进行动态调节。***将设定两帧图像关键帧的最佳共视路标点数为A及两帧激光点云数据的最佳匹配特征点数为B,在每次建立优化模型前***计算当前关键帧共视路标点数a与最佳共视路标点数A比值a/A,计算当前激光点云匹配特征点数b与最佳匹配特征点数B比值b/B,于是视觉测量误差的权重系数σ=2×(a/A)/(b/B),激光测量误差的权重系数τ=2×[1-(a/A)/(b/B)]。
3.3)将估计的位姿传入位姿优化模型进行滑动窗口优化,具体步骤为:
导入算法位姿估计中的位姿,并筛选其中关键帧的位姿***速度vw1,第i个路标点逆深度di为待优化变量。并将所有待优化变量整合为向量χ。
建立优化模型优化的最小二乘问题,构建***的残差函数进行最小二乘的迭代优化:
其中,是IMU的测量误差,/>是视觉测量误差,/>是激光雷达的扫描误差,P矩阵是各误差差项对应的协方差矩阵。
3.4)利用L-M法优化该最小二乘问题,得到优化后得最佳位姿,并将
其转化至世界坐标系下,得到车辆实时位姿Pvil=(xvil,yvil,zvil,αvil,βvil,γvil)。
本发明在位姿估计模块利用IMU的预积分模型与单目相机进行联合的初始化,弥补了单目视觉里程计的未知尺度,并修正了IMU的零偏bias缺陷,在位姿优化模块利用滑动窗口法对估计的位姿进行二次优化,建立各传感器的误差函数,将三种传感器的数据融合在一起,并通过建立一种新的误差权重系数调节方式,对单目相机和激光雷达的测量误差根据环境场景进行权重系数的动态调节,最终通过滑动窗口和L-M法得到车辆实时地精确定位信息,本发明提高了传统定位方法的环境适应性,能够满足在复杂环境下无人驾驶车辆定位的精确性和鲁棒性要求,适用于无人驾驶车辆的复杂环境下的定位。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (8)
1.一种视觉惯性激光数据融合的模块化无人车定位方法,其特征在于,包括以下步骤:
1)采集获取无人驾驶汽车当前信息,包括通过单目相机采集的图像信息,激光雷达采集的三维点云信息以及IMU采集的加速度及角速度数据;
2)根据步骤1)采集的无人驾驶汽车当前信息,进行汽车的位姿估计,获得无人驾驶汽车的位姿信息;
3)根据位姿估计的位姿信息建立多传感器融合的优化模型,根据优化模型得到车辆的最佳位姿,并将其转化至世界坐标系下,得到车辆的实时位姿;所述优化模型为基于传感器模型的IMU测量误差、激光测量误差、相机测量误差设定误差函数,根据误差函数联立建立多传感器融合的优化模型;
其中,优化模型是通过建立位姿优化模型的最小二乘问题,构建残差函数进行最小二乘的迭代优化,利用L-M法迭代优化该最小二乘问题,得到车辆的最佳位姿,其中残差函数为:
其中,是IMU的测量误差,/>是视觉测量误差,/>是激光雷达的扫描误差,P是残差项对应的协方差矩阵;σ为视觉测量误差的权重系数,τ为激光测量误差的权重系数;
视觉测量误差的权重系数和激光测量误差的权重系数确定方法如下:
根据环境信息调控单目相机与激光雷达在优化中所占的权重,权重系数根据单目相机的关键帧共视路标点数和激光雷达点云数据的匹配特征数确定,设定两帧图像关键帧的最佳共视路标点数为A及两帧激光点云数据的最佳匹配特征点数为B,在每次建立优化模型前系计算当前关键帧共视路标点数a与最佳共视路标点数A比值a/A,计算当前激光点云匹配特征点数b与最佳匹配特征点数B比值b/B,视觉测量误差的权重系数σ=2×(a/A)/(b/B),激光测量误差的权重系数τ=2×[1-(a/A)/(b/B)]。
2.根据权利要求1所述的视觉惯性激光数据融合的模块化无人车定位方法,其特征在于,所述步骤2)中获得无人驾驶汽车的位姿信息,具体如下:
通过对极几何约束从本质矩阵中计算单目相机的帧间运动信息(xv,yv,zv,αv,βv,γv),并通过路标点对比算法筛选单目图像的关键帧进行标记,对IMU的测量数据进行预积分处理,然后与单目相机进行联合初始化,恢复单目相机的尺度,并估计***的速度、陀螺仪零偏及重力方向,得到无尺度的位姿变换(xvi,yvi,zvi,αvi,βvi,γvi),即无人驾驶汽车的位姿信息。
3.根据权利要求1所述的视觉惯性激光数据融合的模块化无人车定位方法,其特征在于,所述步骤2)中获得无人驾驶汽车的位姿信息,具体如下:
2.1)通过对极几何约束从本质矩阵中计算单目相机的帧间运动信息(xv,yv,zv,αv,βv,γv):
利用ORB特征点算法提取图像中的ORB特征点,并通过采用FLANN算法将相邻两帧图像I和I+1的特征点匹配,利用对极几何约束,通过RANSAC算法来估计两幅图像的本质矩阵,对本质矩阵进行奇异值分解获得两帧图像之间的旋转矩阵R与平移向量t,并恢复为帧间相对位姿(xv,yv,zv,αv,βv,γv);
2.2)利用共视路标点算法筛选图像中的关键帧,并进行标记;
2.3)利用IMU在i时刻的检测量其中/>是i时刻的IMU坐标系下的加速度,/>是i时刻的IMU坐标系下的角速度,建立IMU的预积分模型如下:
其中,是i时刻到j时刻的平移量,/>是i时刻到j时刻的速度量,/>是i时刻到j时刻的旋转量;通过IMU预积分得到的旋转矩阵R与平移向量t恢复单目图像中的旋转矩阵R与平移向量t中的未知尺度,得到无尺度的估计位姿,将其转换到世界坐标系下为(xvi,yvi,zvi,αvi,βvi,γvi)。
4.根据权利要求3所述的视觉惯性激光数据融合的模块化无人车定位方法,其特征在于,所述步骤2.2)利用共视路标点算法筛选图像中的关键帧,具体为:
将先验关键帧的A个共视匹配特征点存储为路标点集合,获取单目相机传入的最新图像I,检测到I中共有B个特征点,其中有W个与路标点匹配,判断是否满足下式:
σWA和σWB分别为预先设置的阈值,如果满足则将I记录为新的关键帧,并将先验关键帧中的最旧帧删除。
5.根据权利要求1所述的视觉惯性激光数据融合的模块化无人车定位方法,其特征在于,所述步骤3)中优化模型的误差函数如下:
IMU测量误差函数具体为:
其中,R旋转矩阵,p表示平移向量,v表示速度,其对应时刻、所在坐标系、转换关系有各自的上下标表示,w表示世界坐标系,bi表示i时刻车体坐标系;为通过估计的相对运动恢复的IMU位置,为通过估计的相对运动恢复的IMU速度,gw表示重力加速度;为四元数,表示通过估计的相对运动所恢复的IMU旋转;/> 分别表示平移量、速度量和旋转量的IMU预积分,/>为估计的加速度计与陀螺仪零偏;
相机测量误差函数具体为:
其中,为***对路标点l在相机坐标系中坐标的预测值归一化处理的结果,为路标点为相机观察到的路标l在归一化平面的坐标,两者相减即为相机测量误差;
激光测量误差函数具体为:
其中
其中,和/>分别是相机与激光雷达之间的旋转矩阵和平移向量;/>和/>为两帧激光点云的匹配点;
对坐标利用相机坐标系Ci和Cj间的旋转矩阵/>和平移向量/>从坐标系Ci变换至坐标系Cj,对应坐标/>
6.一种视觉惯性激光数据融合的模块化无人车定位***,其特征在于,包括:
采集模块,用于采集获取无人驾驶汽车当前信息,包括通过单目相机采集的图像信息,激光雷达采集的三维点云信息以及IMU采集的加速度及角速度数据;
位姿估计模块,用于根据无人驾驶汽车当前信息,进行汽车的位姿估计,获得无人驾驶汽车的位姿信息;
位姿优化模块,用于根据位姿估计模块的位姿信息建立多传感器融合的优化模型,根据优化模型得到车辆的最佳位姿,并将其转化至世界坐标系下,得到车辆的实时位姿;所述优化模型为基于传感器模型的IMU测量误差、激光测量误差、相机测量误差设定误差函数,根据误差函数联立建立多传感器融合的优化模型;
根据优化模型得到车辆的最佳位姿,是通过建立位姿优化模型的最小二乘问题,构建残差函数进行最小二乘的迭代优化,利用L-M法迭代优化该最小二乘问题,得到车辆的最佳位姿,其中残差函数为:
其中,是IMU的测量误差,/>是视觉测量误差,/>是激光雷达的扫描误差,P是残差项对应的协方差矩阵;σ为视觉测量误差的权重系数,τ为激光测量误差的权重系数;
视觉测量误差的权重系数和激光测量误差的权重系数确定方法如下:
根据环境信息调控单目相机与激光雷达在优化中所占的权重,权重系数根据单目相机的关键帧共视路标点数和激光雷达点云数据的匹配特征数确定,设定两帧图像关键帧的最佳共视路标点数为A及两帧激光点云数据的最佳匹配特征点数为B,在每次建立优化模型前系计算当前关键帧共视路标点数a与最佳共视路标点数A比值a/A,计算当前激光点云匹配特征点数b与最佳匹配特征点数B比值b/B,视觉测量误差的权重系数σ=2×(a/A)/(b/B),激光测量误差的权重系数τ=2×[1-(a/A)/(b/B)]。
7.根据权利要求6所述的视觉惯性激光数据融合的模块化无人车定位***,其特征在于,所述位姿估计模块中获得无人驾驶汽车的位姿信息,具体如下:
1)通过对极几何约束从本质矩阵中计算单目相机的帧间运动信息(xv,yv,zv,αv,βv,γv):
利用ORB特征点算法提取图像中的ORB特征点,并通过采用FLANN算法将相邻两帧图像I和I+1的特征点匹配,利用对极几何约束,通过RANSAC算法来估计两幅图像的本质矩阵,对本质矩阵进行奇异值分解获得两帧图像之间的旋转矩阵R与平移向量t,并恢复为帧间相对位姿(xv,yv,zv,αv,βv,γv);
2)利用共视路标点算法筛选图像中的关键帧,并进行标记;
3)利用IMU在i时刻的检测量其中/>是i时刻的IMU坐标系下的加速度,/>是i时刻的IMU坐标系下的角速度,建立IMU的预积分模型如下:
其中,是i时刻到j时刻的平移量,/>是i时刻到j时刻的速度量,/>是i时刻到j时刻的旋转量;通过IMU预积分得到的旋转矩阵R与平移向量t恢复单目图像中的旋转矩阵R与平移向量t中的未知尺度,得到无尺度的估计位姿,将其转换到世界坐标系下为(xvi,yvi,zvi,αvi,βvi,γvi)。
8.根据权利要求6所述的视觉惯性激光数据融合的模块化无人车定位***,其特征在于,所述位姿优化模块中优化模型的误差函数如下:
IMU测量误差函数具体为:
其中,为通过估计的相对运动恢复的IMU位置,/>为通过估计的相对运动恢复的IMU速度,/>为通过估计的相对运动恢复的IMU旋转,/>为估计的加速度计与陀螺仪零偏;
相机测量误差函数具体为:
其中,为***对路标点l在相机坐标系中坐标的预测值归一化处理的结果,为路标点为相机观察到的路标l在归一化平面的坐标,两者相减即为相机测量误差;
激光测量误差函数具体为:
其中,
其中,和/>分别是相机与激光雷达之间的旋转矩阵和平移向量;/>和/>为两帧激光点云的匹配点;
对坐标利用相机坐标系Ci和Cj间的旋转矩阵/>和平移向量/>从坐标系Ci变换至坐标系Cj,对应坐标/>
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010340571.5A CN111595333B (zh) | 2020-04-26 | 2020-04-26 | 视觉惯性激光数据融合的模块化无人车定位方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010340571.5A CN111595333B (zh) | 2020-04-26 | 2020-04-26 | 视觉惯性激光数据融合的模块化无人车定位方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111595333A CN111595333A (zh) | 2020-08-28 |
CN111595333B true CN111595333B (zh) | 2023-07-28 |
Family
ID=72183682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010340571.5A Active CN111595333B (zh) | 2020-04-26 | 2020-04-26 | 视觉惯性激光数据融合的模块化无人车定位方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111595333B (zh) |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232126B (zh) * | 2020-09-14 | 2023-08-25 | 广东工业大学 | 一种提高多变场景定位鲁棒性的降维表达方法 |
CN112304307A (zh) * | 2020-09-15 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种基于多传感器融合的定位方法、装置和存储介质 |
CN114585879A (zh) * | 2020-09-27 | 2022-06-03 | 深圳市大疆创新科技有限公司 | 位姿估计的方法和装置 |
CN114323035A (zh) * | 2020-09-30 | 2022-04-12 | 华为技术有限公司 | 定位方法、装置和*** |
CN112197773B (zh) * | 2020-09-30 | 2022-11-11 | 江苏集萃未来城市应用技术研究所有限公司 | 基于平面信息的视觉和激光定位建图方法 |
CN112230211A (zh) * | 2020-10-15 | 2021-01-15 | 长城汽车股份有限公司 | 车辆定位方法、装置、存储介质及车辆 |
CN112652001B (zh) * | 2020-11-13 | 2023-03-31 | 山东交通学院 | 基于扩展卡尔曼滤波的水下机器人多传感器融合定位*** |
CN112097768B (zh) * | 2020-11-17 | 2021-03-02 | 深圳市优必选科技股份有限公司 | 机器人位姿的确定方法、装置、机器人及存储介质 |
CN114518108B (zh) * | 2020-11-18 | 2023-09-08 | 宇通客车股份有限公司 | 一种定位地图构建方法及装置 |
CN112461237B (zh) * | 2020-11-26 | 2023-03-14 | 浙江同善人工智能技术有限公司 | 一种应用于动态变化场景下的多传感器融合定位方法 |
CN112561841A (zh) * | 2020-12-04 | 2021-03-26 | 深兰人工智能(深圳)有限公司 | 激光雷达和相机的点云数据融合方法、装置 |
CN112529965A (zh) * | 2020-12-08 | 2021-03-19 | 长沙行深智能科技有限公司 | 一种激光雷达与单目相机的标定方法及装置 |
CN112669354B (zh) * | 2020-12-08 | 2024-07-23 | 重庆邮电大学 | 一种基于车辆非完整约束的多相机运动状态估计方法 |
CN112712107B (zh) * | 2020-12-10 | 2022-06-28 | 浙江大学 | 一种基于优化的视觉和激光slam融合定位方法 |
CN112697131B (zh) * | 2020-12-17 | 2024-07-23 | 中国矿业大学 | 基于视觉和惯性导航***的井下移动装备定位方法及*** |
CN112747749B (zh) * | 2020-12-23 | 2022-12-06 | 浙江同筑科技有限公司 | 一种基于双目视觉和激光融合定位导航*** |
CN112712018B (zh) * | 2020-12-29 | 2024-06-28 | 东软睿驰汽车技术(沈阳)有限公司 | 标识地图的建立方法、视觉定位方法及装置 |
CN112634451B (zh) * | 2021-01-11 | 2022-08-23 | 福州大学 | 一种融合多传感器的室外大场景三维建图方法 |
CN113074726A (zh) * | 2021-03-16 | 2021-07-06 | 深圳市慧鲤科技有限公司 | 位姿确定方法及装置、电子设备和存储介质 |
CN113155121B (zh) * | 2021-03-22 | 2024-04-02 | 珠海深圳清华大学研究院创新中心 | 一种车辆定位方法、装置及电子设备 |
CN113074754A (zh) * | 2021-03-27 | 2021-07-06 | 上海智能新能源汽车科创功能平台有限公司 | 一种基于车辆运动学约束的视觉惯性slam***初始化方法 |
CN112729294B (zh) * | 2021-04-02 | 2021-06-25 | 北京科技大学 | 适用于机器人的视觉和惯性融合的位姿估计方法及*** |
CN113052908B (zh) * | 2021-04-16 | 2023-08-04 | 南京工业大学 | 一种基于多传感器数据融合的移动机器人位姿估计算法 |
CN113158459A (zh) * | 2021-04-20 | 2021-07-23 | 浙江工业大学 | 一种基于视觉和惯性信息融合的人体姿态估计方法 |
CN113420590B (zh) * | 2021-05-13 | 2022-12-06 | 北京航空航天大学 | 弱纹理环境下的机器人定位方法、装置、设备及介质 |
CN113324542B (zh) * | 2021-06-07 | 2024-04-12 | 北京京东乾石科技有限公司 | 一种定位方法、装置、设备和存储介质 |
CN113390422B (zh) * | 2021-06-10 | 2022-06-10 | 奇瑞汽车股份有限公司 | 汽车的定位方法、装置及计算机存储介质 |
CN113432602B (zh) * | 2021-06-23 | 2022-12-02 | 西安电子科技大学 | 基于多传感器融合的无人机位姿估计方法 |
CN113551666A (zh) * | 2021-07-06 | 2021-10-26 | 杭州鸿泉物联网技术股份有限公司 | 自动驾驶多传感器融合定位方法和装置、设备及介质 |
CN113432595A (zh) * | 2021-07-07 | 2021-09-24 | 北京三快在线科技有限公司 | 设备状态获取方法、装置、计算机设备及存储介质 |
US11835341B2 (en) | 2021-07-20 | 2023-12-05 | Honeywell International Inc. | Integrity monitoring of vehicle kinematic states using map-based, vision navigation systems |
CN113566833A (zh) * | 2021-07-28 | 2021-10-29 | 上海工程技术大学 | 一种多传感器融合的车辆定位方法及*** |
CN113658337B (zh) * | 2021-08-24 | 2022-05-03 | 哈尔滨工业大学 | 一种基于车辙线的多模态里程计方法 |
CN113916223B (zh) * | 2021-09-29 | 2022-11-11 | 深圳市慧鲤科技有限公司 | 定位方法及装置、设备、存储介质 |
CN113936120B (zh) * | 2021-10-12 | 2024-07-12 | 北京邮电大学 | 一种无标记的轻量化Web AR方法及*** |
CN113946151A (zh) * | 2021-10-20 | 2022-01-18 | 北京百度网讯科技有限公司 | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 |
CN114170320B (zh) * | 2021-10-29 | 2022-10-28 | 广西大学 | 一种基于多传感器融合的打桩机自动定位和工况自适应方法 |
CN114046787B (zh) * | 2021-10-29 | 2024-01-30 | 广州文远知行科技有限公司 | 基于传感器的位姿优化方法、装置、设备及存储介质 |
CN114013449B (zh) * | 2021-11-02 | 2023-11-03 | 阿波罗智能技术(北京)有限公司 | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 |
CN114332360A (zh) * | 2021-12-10 | 2022-04-12 | 深圳先进技术研究院 | 一种协同三维建图方法及*** |
CN114370871A (zh) * | 2022-01-13 | 2022-04-19 | 华南理工大学 | 一种可见光定位与激光雷达惯性里程计的紧耦合优化方法 |
CN114088087B (zh) * | 2022-01-21 | 2022-04-15 | 深圳大学 | 无人机gps-denied下高可靠高精度导航定位方法和*** |
CN114608554B (zh) * | 2022-02-22 | 2024-05-03 | 北京理工大学 | 一种手持slam设备以及机器人即时定位与建图方法 |
CN114612665B (zh) * | 2022-03-15 | 2022-10-11 | 北京航空航天大学 | 基于法向量直方图特征的位姿估计及动态车辆检测方法 |
CN114739402B (zh) * | 2022-04-22 | 2024-06-25 | 合众新能源汽车股份有限公司 | 一种融合定位方法、介质和电子设备 |
CN114648584B (zh) * | 2022-05-23 | 2022-08-30 | 北京理工大学前沿技术研究院 | 一种用于多源融合定位的鲁棒性控制方法和*** |
CN115655264B (zh) * | 2022-09-23 | 2024-07-05 | 智己汽车科技有限公司 | 位姿估计方法及设备 |
CN115855117B (zh) * | 2023-02-16 | 2023-06-02 | 深圳佑驾创新科技有限公司 | 相机和惯性测量单元相对车体安装姿态的联合标定方法 |
CN116295507B (zh) * | 2023-05-26 | 2023-08-15 | 南京师范大学 | 一种基于深度学习的激光惯性里程计优化方法、*** |
CN116660923B (zh) * | 2023-08-01 | 2023-09-29 | 齐鲁空天信息研究院 | 一种融合视觉和激光雷达的无人农机机库定位方法和*** |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105371840B (zh) * | 2015-10-30 | 2019-03-22 | 北京自动化控制设备研究所 | 一种惯性/视觉里程计/激光雷达的组合导航方法 |
CN109099901B (zh) * | 2018-06-26 | 2021-09-24 | 中科微易(苏州)智能科技有限公司 | 基于多源数据融合的全自动压路机定位方法 |
CN109544638B (zh) * | 2018-10-29 | 2021-08-03 | 浙江工业大学 | 一种用于多传感器融合的异步在线标定方法 |
CN110261870B (zh) * | 2019-04-15 | 2021-04-06 | 浙江工业大学 | 一种用于视觉-惯性-激光融合的同步定位与建图方法 |
CN110243358B (zh) * | 2019-04-29 | 2023-01-03 | 武汉理工大学 | 多源融合的无人车室内外定位方法及*** |
CN110345944A (zh) * | 2019-05-27 | 2019-10-18 | 浙江工业大学 | 融合视觉特征和imu信息的机器人定位方法 |
CN110428467B (zh) * | 2019-07-30 | 2020-05-19 | 四川大学 | 一种相机、imu和激光雷达联合的机器人定位方法 |
-
2020
- 2020-04-26 CN CN202010340571.5A patent/CN111595333B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111595333A (zh) | 2020-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111595333B (zh) | 视觉惯性激光数据融合的模块化无人车定位方法及*** | |
CN109993113B (zh) | 一种基于rgb-d和imu信息融合的位姿估计方法 | |
CN109307508B (zh) | 一种基于多关键帧的全景惯导slam方法 | |
CN109029433B (zh) | 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法 | |
CN111156984A (zh) | 一种面向动态场景的单目视觉惯性slam方法 | |
CN111337943B (zh) | 一种基于视觉引导激光重定位的移动机器人定位方法 | |
CN112734841B (zh) | 一种用轮式里程计-imu和单目相机实现定位的方法 | |
CN113903011B (zh) | 一种适用于室内停车场的语义地图构建及定位方法 | |
CN112815939B (zh) | 移动机器人的位姿估计方法及计算机可读存储介质 | |
CN112556719B (zh) | 一种基于cnn-ekf的视觉惯性里程计实现方法 | |
CN111623773B (zh) | 一种基于鱼眼视觉和惯性测量的目标定位方法及装置 | |
CN113503873B (zh) | 一种多传感器融合的视觉定位方法 | |
CN111890373A (zh) | 车载机械臂的感知定位方法 | |
CN115272596A (zh) | 一种面向单调无纹理大场景的多传感器融合slam方法 | |
CN115574816B (zh) | 仿生视觉多源信息智能感知无人平台 | |
CN116518984B (zh) | 一种煤矿井下辅助运输机器人车路协同定位***及方法 | |
CN111307146A (zh) | 一种基于双目相机和imu的虚拟现实头戴显示设备定位*** | |
CN113188557A (zh) | 一种融合语义特征的视觉惯性组合导航方法 | |
CN114964276A (zh) | 一种融合惯导的动态视觉slam方法 | |
CN112991400B (zh) | 一种无人艇的多传感器辅助定位方法 | |
CN113701750A (zh) | 一种井下多传感器的融合定位*** | |
CN117710476A (zh) | 基于单目视觉的无人机位姿估计与稠密建图方法 | |
CN116182855B (zh) | 一种弱光强环境下仿复眼偏振视觉无人机组合导航方法 | |
CN116804553A (zh) | 基于事件相机/imu/自然路标的里程计***及方法 | |
CN111862146A (zh) | 一种目标对象的定位方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |