CN111595333A - 视觉惯性激光数据融合的模块化无人车定位方法及*** - Google Patents

视觉惯性激光数据融合的模块化无人车定位方法及*** Download PDF

Info

Publication number
CN111595333A
CN111595333A CN202010340571.5A CN202010340571A CN111595333A CN 111595333 A CN111595333 A CN 111595333A CN 202010340571 A CN202010340571 A CN 202010340571A CN 111595333 A CN111595333 A CN 111595333A
Authority
CN
China
Prior art keywords
pose
imu
camera
laser
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010340571.5A
Other languages
English (en)
Other versions
CN111595333B (zh
Inventor
李其仲
童祺堃
黄妙华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202010340571.5A priority Critical patent/CN111595333B/zh
Publication of CN111595333A publication Critical patent/CN111595333A/zh
Application granted granted Critical
Publication of CN111595333B publication Critical patent/CN111595333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种视觉惯性激光数据融合的模块化无人车定位方法及***，该方法包括以下步骤：1)采集模块通过单目相机、激光雷达及IMU获取无人驾驶汽车当前信息；2)根据步骤1)采集的无人驾驶汽车当前信息，位姿估计模块通过单目里程计和IMU预积分模型进行汽车的位姿估计，获得无人驾驶汽车的位姿信息；3)位姿优化模块根据步骤2)的位姿估计信息，建立多传感器融合的优化模型，并通过权重系数动态调节模块调节各传感器优化比重，增强了环境适应性，优化后得到车辆的最佳位姿，并将其转化至世界坐标系下，得到车辆的实时位姿。本发明能够满足在复杂环境下无人驾驶车辆定位的精确性和鲁棒性要求，适用于无人驾驶车辆的复杂环境下的定位。

Description

视觉惯性激光数据融合的模块化无人车定位方法及***
技术领域
本发明涉及智能汽车定位技术，尤其涉及一种视觉惯性激光数据融合的模块化无人车定位方法及***。
背景技术
随着社会经济和科学技术的飞速发展，人们出行的需求也越来越旺盛，汽车逐渐成为了人们生活中不可或缺的代步工具。经过多年发展，传统的汽车行业为了应对今后越来越复杂多变的需求，也兴起一股无人驾驶技术的研究热潮。诸如国内的有百度、华为、驭势等，国外的则有谷歌、特斯拉等科技公司和NVIDIA等芯片厂商都加入了无人驾驶技术的研发当中。目前国内各大高校也开始重视无人驾驶相关技术的开发。未来，汽车工业的转型，无人驾驶将成为主要的方向。
基于各种传感器的定位技术是无人驾驶中的关键技术，利用传感器获取的车辆环境与车辆自身的各种信息，计算得到车辆在环境中的准确位置。单独一种或两种传感器的定位方案如IMU航迹推演、视觉惯性里程计、激光惯性里程计等，因为传感器自身的局限性难以在复杂环境(高速运动、弱光照环境等)下进行准确的定位，鲁棒性和准确性无法保证应用要求，多传感器的融合方案中如何合理利用各传感器的优势也是一大挑战。基于此背景，本文提出一种视觉惯性激光数据融合的模块化无人车定位方法及***。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种视觉惯性激光数据融合的模块化无人车定位方法及***。
本发明解决其技术问题所采用的技术方案是：一种视觉惯性激光数据融合的模块化无人车定位方法，包括以下步骤：
1)采集获取无人驾驶汽车当前信息，包括通过单目相机采集的图像信息，激光雷达采集的三维点云信息以及IMU采集的加速度及角速度数据；
2)根据步骤1)采集的无人驾驶汽车当前信息，进行汽车的位姿估计，获得无人驾驶汽车的位姿信息；
3)根据位姿估计的位姿信息建立多传感器融合的优化模型，根据优化模型得到车辆的最佳位姿，并将其转化至世界坐标系下，得到车辆的实时位姿；所述优化模型为基于传感器模型的IMU测量误差、激光测量误差、相机测量误差设定误差函数，根据误差函数联立建立多传感器融合的优化模型。
按上述方案，所述步骤2)中获得无人驾驶汽车的位姿信息，具体如下：
通过对极几何约束从本质矩阵中计算单目相机的帧间运动信息(xv，yv，zv，αv，βv，γv)，，(其中6个物理量分别表示欧式坐标系中在x，y，z三坐标轴中的平移与旋转量，下同),并通过路标点对比算法筛选单目图像的关键帧进行标记，对IMU的测量数据进行预积分处理，然后与单目相机进行联合初始化，恢复单目相机的尺度，并估计***的速度、陀螺仪零偏及重力方向，得到无尺度的位姿变换(xvi，yvi，zvi，αvi，βvi，γvi)，即无人驾驶汽车的位姿信息。
按上述方案，所述步骤2)中获得无人驾驶汽车的位姿信息，具体如下：
2.1)通过对极几何约束从本质矩阵中计算单目相机的帧间运动信息(xv，yv，zv，αv，βv，γv)：
利用ORB特征点算法提取图像中的ORB特征点，并通过采用FLANN算法将相邻两帧图像I和I+1的特征点匹配，利用对极几何约束，通过RANSAC算法来估计两幅图像的本质矩阵，对本质矩阵进行奇异值分解获得两帧图像之间的旋转矩阵R与平移向量t，并恢复为帧间相对位姿(xv，yv,zv,αv,βv,γv)；
2.2)利用共视路标点算法筛选图像中的关键帧，并进行标记；
2.3)利用IMU在i时刻的检测量
Figure BDA0002468304630000031
其中
Figure BDA0002468304630000032
是i时刻的IMU坐标系下的加速度，
Figure BDA0002468304630000033
是i时刻的IMU坐标系下的角速度，建立IMU的预积分模型如下：
Figure BDA0002468304630000041
Figure BDA0002468304630000042
Figure BDA0002468304630000043
其中
Figure BDA0002468304630000044
是i时刻到j时刻的平移量，
Figure BDA0002468304630000045
是i时刻到j时刻的速度量，
Figure BDA0002468304630000046
是i时刻到j时刻的旋转量。通过IMU预积分得到的旋转矩阵R与平移向量t恢复单目图像中的旋转矩阵R与平移向量t中的未知尺度，得到无尺度的估计位姿，将其转换到世界坐标系下为(xvi,yvi,zvi,αvi,βvi,γvi)。
按上述方案，所述步骤2.2)利用共视路标点算法筛选图像中的关键帧，具体为：
将先验关键帧的A个共视匹配特征点存储为路标点集合，获取单目相机传入的最新图像I，检测到I中共有B个特征点，其中有W个与路标点匹配，判断是否满足下式：
Figure BDA0002468304630000047
σWA和σWB分别为预先设置的阈值，如果满足则将I记录为新的关键帧，并将先验关键帧中的最旧帧删除。
按上述方案，所述步骤3)中优化模型的误差函数如下：
IMU测量误差函数
Figure BDA0002468304630000048
具体为：
Figure BDA0002468304630000051
其中，
Figure BDA0002468304630000052
为通过估计的相对运动恢复的IMU位置，
Figure BDA0002468304630000053
为通过估计的相对运动恢复的IMU速度，
Figure BDA0002468304630000054
为通过估计的相对运动恢复的IMU旋转，
Figure BDA0002468304630000055
为估计的加速度计与陀螺仪零偏；
相机测量误差函数
Figure BDA0002468304630000056
具体为：
Figure BDA0002468304630000057
其中，
Figure BDA0002468304630000058
为***对路标点l在相机坐标系中坐标的预测值归一化处理的结果，
Figure BDA0002468304630000059
为路标点为相机观察到的路标l在归一化平面的坐标，两者相减即为相机测量误差；
激光测量误差函数
Figure BDA00024683046300000510
具体为：
Figure BDA0002468304630000061
其中，
Figure BDA0002468304630000062
其中，
Figure BDA0002468304630000063
和
Figure BDA0002468304630000064
分别是相机与激光雷达之间的旋转矩阵和平移向量；
Figure BDA0002468304630000065
和
Figure BDA0002468304630000066
为两帧激光点云的匹配点；
对坐标
Figure BDA0002468304630000067
利用相机坐标系Ci和Cj间的旋转矩阵
Figure BDA0002468304630000068
和平移向量
Figure BDA0002468304630000069
从坐标系Ci变换至坐标系Cj，对应坐标
Figure BDA00024683046300000610
Figure BDA00024683046300000611
按上述方案，所述步骤3)中根据优化模型得到车辆的最佳位姿，是通过建立位姿优化模型的最小二乘问题，构建残差函数进行最小二乘的迭代优化，利用L-M法迭代优化该最小二乘问题，得到车辆的最佳位姿，其中残差函数为：
Figure BDA00024683046300000612
其中，
Figure BDA00024683046300000613
是IMU的测量误差，
Figure BDA00024683046300000614
是视觉测量误差，
Figure BDA00024683046300000615
是激光雷达的扫描误差，P是残差项对应的协方差矩阵；
σ为视觉测量误差的权重系数，τ为激光测量误差的权重系数。
按上述方案，所述步骤3)中视觉测量误差的权重系数和激光测量误差的权重系数确定方法如下：
根据环境信息调控单目相机与激光雷达在优化中所占的权重，权重系数根据单目相机的关键帧共视路标点数和激光雷达点云数据的匹配特征数确定，设定两帧图像关键帧的最佳共视路标点数为A及两帧激光点云数据的最佳匹配特征点数为B，在每次建立优化模型前系计算当前关键帧共视路标点数a与最佳共视路标点数A比值a/A，计算当前激光点云匹配特征点数b与最佳匹配特征点数B比值b/B，视觉测量误差的权重系数σ＝2×(a/A)/(b/B)，激光测量误差的权重系数τ＝2×[1-(a/A)/(b/B)]。
一种视觉惯性激光数据融合的模块化无人车定位***，包括：
采集模块，用于采集获取无人驾驶汽车当前信息，包括通过单目相机采集的图像信息，激光雷达采集的三维点云信息以及IMU采集的加速度及角速度数据；
位姿估计模块，用于根据无人驾驶汽车当前信息，进行汽车的位姿估计，获得无人驾驶汽车的位姿信息；
位姿优化模块，用于根据位姿估计模块的位姿信息建立多传感器融合的优化模型，根据优化模型得到车辆的最佳位姿，并将其转化至世界坐标系下，得到车辆的实时位姿；所述优化模型为基于传感器模型的IMU测量误差、激光测量误差、相机测量误差设定误差函数，根据误差函数联立建立多传感器融合的优化模型。
按上述方案，所述位姿估计模块中获得无人驾驶汽车的位姿信息，具体如下：
1)通过对极几何约束从本质矩阵中计算单目相机的帧间运动信息(xv,yv,zv,αv,βv，γv)：
利用ORB特征点算法提取图像中的ORB特征点，并通过采用FLANN算法将相邻两帧图像I和I+1的特征点匹配，利用对极几何约束，通过RANSAC算法来估计两幅图像的本质矩阵，对本质矩阵进行奇异值分解获得两帧图像之间的旋转矩阵R与平移向量t，并恢复为帧间相对位姿(xv,yv，zv，αv，βv，γv)；
2)利用共视路标点算法筛选图像中的关键帧，并进行标记；
3)利用IMU在i时刻的检测量
Figure BDA0002468304630000081
其中
Figure BDA0002468304630000082
是i时刻的IMU坐标系下的加速度，
Figure BDA0002468304630000083
是i时刻的IMU坐标系下的角速度，建立IMU的预积分模型如下：
Figure BDA0002468304630000091
Figure BDA0002468304630000092
Figure BDA0002468304630000093
其中
Figure BDA0002468304630000094
是i时刻到j时刻的平移量，
Figure BDA0002468304630000095
是i时刻到j时刻的速度量，
Figure BDA0002468304630000096
是i时刻到j时刻的旋转量。通过IMU预积分得到的旋转矩阵R与平移向量t恢复单目图像中的旋转矩阵R与平移向量t中的未知尺度，得到无尺度的估计位姿，将其转换到世界坐标系下为(xvi，yvi，zvi，αvi，βvi，γvi)。
按上述方案，所述位姿优化模块中优化模型的误差函数如下：
IMU测量误差函数
Figure BDA0002468304630000097
具体为：
Figure BDA0002468304630000098
其中，
Figure BDA0002468304630000099
为通过估计的相对运动恢复的IMU位置，
Figure BDA00024683046300000910
为通过估计的相对运动恢复的IMU速度，
Figure BDA00024683046300000911
为通过估计的相对运动恢复的IMU旋转，
Figure BDA00024683046300000912
为估计的加速度计与陀螺仪零偏；
相机测量误差函数
Figure BDA0002468304630000101
具体为：
Figure BDA0002468304630000102
其中，
Figure BDA0002468304630000103
为***对路标点l在相机坐标系中坐标的预测值归一化处理的结果，
Figure BDA0002468304630000104
为路标点为相机观察到的路标l在归一化平面的坐标，两者相减即为相机测量误差；
激光测量误差函数
Figure BDA0002468304630000105
具体为：
Figure BDA0002468304630000106
其中，
Figure BDA0002468304630000107
其中，
Figure BDA0002468304630000108
和
Figure BDA0002468304630000109
分别是相机与激光雷达之间的旋转矩阵和平移向量；
Figure BDA00024683046300001010
和
Figure BDA00024683046300001011
为两帧激光点云的匹配点；
对坐标
Figure BDA00024683046300001012
利用相机坐标系Ci和Cj间的旋转矩阵
Figure BDA00024683046300001013
和平移向量
Figure BDA00024683046300001014
从坐标系Ci变换至坐标系Cj，对应坐标
Figure BDA00024683046300001015
Figure BDA0002468304630000111
按上述方案，所述位姿优化模块中根据优化模型得到车辆的最佳位姿，是通过建立位姿优化模型的最小二乘问题，构建残差函数进行最小二乘的迭代优化，利用L-M法迭代优化该最小二乘问题，得到车辆的最佳位姿，其中残差函数为：
Figure BDA0002468304630000112
其中，
Figure BDA0002468304630000113
是IMU的测量误差，
Figure BDA0002468304630000114
是视觉测量误差，
Figure BDA0002468304630000115
是激光雷达的扫描误差，P是残差项对应的协方差矩阵；
σ为视觉测量误差的权重系数，τ为激光测量误差的权重系数。
按上述方案，所述位姿优化模块中视觉测量误差的权重系数和激光测量误差的权重系数确定方法如下：
根据环境信息调控单目相机与激光雷达在优化中所占的权重，权重系数根据单目相机的关键帧共视路标点数和激光雷达点云数据的匹配特征数确定，设定两帧图像关键帧的最佳共视路标点数为A及两帧激光点云数据的最佳匹配特征点数为B，在每次建立优化模型前系计算当前关键帧共视路标点数a与最佳共视路标点数A比值a/A，计算当前激光点云匹配特征点数b与最佳匹配特征点数B比值b/B，视觉测量误差的权重系数σ＝2×(a/A)/(b/B)，激光测量误差的权重系数τ＝2×[1-(a/A)/(b/B)]。
本发明产生的有益效果是：
1)本发明在位姿估计中弥补了单目视觉里程计的未知尺度，并修正了IMU的零偏bias缺陷；
2)建立各传感器的误差函数，在位姿优化中对估计的位姿进行二次优化；
3)通过建立一种新的误差权重系数调节方式，对单目相机和激光雷达的测量误差根据环境场景进行权重系数的动态调节，最终通过滑动窗口和L-M法得到车辆实时地精确定位信息；
4)本发明提高了传统定位方法的环境适应性，能够满足在复杂环境下无人驾驶车辆定位的精确性和鲁棒性要求，适用于无人驾驶车辆的复杂环境下的定位。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例的结构示意图；
图1是本发明实施例的***结构示意图；
图2是本发明实施例的单目视觉里程计的原理流程图；
图3是本发明实施例的单目视觉里程计中本质矩阵奇异值分解得到四种R、t的示意图；
图4是本发明实施例的IMU预积分与单目相机的联合初始化方法流程图；
图5是本发明实施例的误差函数权重系数动态调节的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，一种视觉惯性激光数据融合的模块化无人车定位***，采集模块涉及的传感器包括IMU、激光雷达、单目相机，将三种传感器的实时检测数据传入***内处理模块处理，***进行多模块的分离式设计，位姿估计模块通过IMU与单目相机进行联合初始化解决单目视觉里程计的尺度问题；位姿优化模块接受位姿估计模块传入的位姿信息，建立多传感器融合的优化模型，并根据不同环境动态调节相机与激光雷达在优化中的比重，通过滑动窗口法得到车辆在世界坐标系下的最优定位信息。
如图1，具体实施过程为：
采集模块，当无人驾驶车辆在环境中运行驶时，采集模块通过三种传感器实时检测车辆的周围环境，激光雷达提供周围环境的三维点云数据，单目相机提供连续图像帧组成的视频流，IMU提供车辆自身的加速度和角速度信息，传感器的数据上传给***的位姿估计模块，处理步骤如下：
如图2，
1)首先位姿估计模块接收单目相机的视频流信息，进行单目视觉里程计的计算，步骤如下：
(1)***从视频流中获取相邻两帧图像I和I+1，通过张正友标定法获取相机的内部参数和畸变参数，利用畸变参数对图像进行去畸变处理。
(2)通过ORB算法检测图像I和I+1的ORB特征点，如果特征点数未达到预期，则重新检测；
(3)通过对比二进制形式的BRIEF描述子的汉明距离，汉明距离即二进制数相同位数的个数，并采用FLANN算法将I和I+1的特征点匹配，判定特征点匹配数，如果小于某个阈值，则重新进行特征点检测；
(4)通过RANSAC算法来估计两幅图像的本质矩阵E，对本质矩阵E进行奇异值分解E＝U∑VT，则：
Figure BDA0002468304630000141
Figure BDA0002468304630000142
如图3，此时得到旋转矩阵R与平移向量t有四种结果，只有图3(d)是所需要求解的运动，通过检测点P在两个相机下的深度，当两个深度均为正时，所得到的R、t则为需要的解，最后利用三角测量恢复深度，输出带有尺度的视觉里程计的相对位姿(xv，yv，zv，αv，βv,γv)；
在进行单目视觉里程计计算的同时，前端位姿估计模块同步地筛选图像序列中的关键帧，将先验关键帧的A个共视匹配特征点存储为路标点集合，获取单目相机传入的最新图像I，检测到I中共有B个特征点，其中有W个与路标点匹配，判断是否满足
Figure BDA0002468304630000151
其中σWA和σWB分别为设置的阈值，如果满足则将I记录为新的关键帧，并将先验关键帧中的最旧帧删除。
2)对单目视觉里程计的结果进行尺度恢复操作，该操作是通过建立的IMU预积分与单目相机的联合初始化完成，具体步骤如图4所示：
(1)建立旋转约束
Figure BDA0002468304630000152
其中
Figure BDA0002468304630000153
是k时刻IMU坐标系到初始相机坐标系c1的旋转，以四元数表示，
Figure BDA0002468304630000154
是k时刻IMU坐标系bk到IMU坐标系bk的旋转，qbc是同时刻相机坐标系到IMU坐标的固定旋转；建立平移约束
Figure BDA0002468304630000155
其中s是未知尺度，
Figure BDA0002468304630000156
是k时刻IMU坐标系到初始相机坐标系c1的平移，
Figure BDA0002468304630000157
是k时刻相机坐标系ck到相机坐标系ck的平移，pbc是同时刻相机坐标系到IMU坐标的固定平移。
(2)建立待估参数向量
Figure BDA0002468304630000158
其中
Figure BDA0002468304630000159
表示k时刻IMU的速度在IMU坐标系下的表示，
Figure BDA00024683046300001510
为重力加速度向量在初始图像帧c1对应的相机坐标系C1下的表示，s为尺度因子。
(3)建立最小二乘方程
Figure BDA0002468304630000161
其中γbkbk+1是k到k+1时刻IMU预积分旋转量，利用L-M法恢复IMU的零偏bias；建立最小二乘方程
Figure BDA0002468304630000162
其中
Figure BDA0002468304630000163
Figure BDA0002468304630000164
利用L-M法优化视觉里程计的尺度和***的速度及重力方向。
3)利用恢复的尺度信息将视觉里程计的位姿恢复至世界坐标系中得到(xvi,yvi,zvi,αvi,βvi,γvi)，极大地提高了前段位姿优化的精确度。
位姿优化模块：
视觉惯性激光数据融合的位姿估计模块位姿估计完成后，位姿优化模块将接受位姿估计模块对位姿进行进一步的优化，具体过程如下：
1)建立位姿优化模块优化模型的误差函数，包括三种传感器的数据，首先是IMU测量误差：
Figure BDA0002468304630000171
其中，其中，
Figure BDA0002468304630000172
为通过估计的相对运动恢复的IMU位置，
Figure BDA0002468304630000173
为通过估计的相对运动恢复的IMU速度，
Figure BDA0002468304630000174
为通过估计的相对运动恢复的IMU旋转，
Figure BDA0002468304630000175
为估计的加速度计与陀螺仪零偏，将这些量与测量值的积分作差得到IMU测量误差。
2)然后建立位姿优化模块优化的相机测量误差：
Figure BDA0002468304630000176
其中，
Figure BDA0002468304630000177
为***对路标点l在相机坐标系中坐标的预测值归一化处理的结果，
Figure BDA0002468304630000178
为路标点为相机观察到的路标l在归一化平面的坐标，两者相减即为相机测量误差。
3)为了位姿优化模块优化的误差模型形模型的复杂度，本申请提出了一种激光雷达点云数据的点对点匹配算法，具体步骤为：通过kd-tree方法找寻相邻两帧激光点云间的点-线匹配和点-面特征匹配，点
Figure BDA0002468304630000181
的匹配特征线为
Figure BDA0002468304630000182
和
Figure BDA0002468304630000183
所确定直线，点
Figure BDA0002468304630000184
的匹配特征面为由
Figure BDA0002468304630000185
和
Figure BDA0002468304630000186
三点确定的平面，则建立点
Figure BDA0002468304630000187
与点
Figure BDA0002468304630000188
所对应的匹配点
Figure BDA0002468304630000189
与
Figure BDA00024683046300001810
的约束方程：
Figure BDA00024683046300001811
Figure BDA00024683046300001812
求解其匹配点的约束方程得到匹配点
建立激光测量误差函数，将其转换为视觉测量误差的相同形式，首先计算激光特征的点-点匹配，得到两帧激光点云的匹配点
Figure BDA00024683046300001813
和
Figure BDA00024683046300001814
将匹配点转换至相机坐标系下：
Figure BDA00024683046300001815
其中
Figure BDA00024683046300001816
和
Figure BDA00024683046300001817
分别是相机与激光雷达之间的旋转矩阵和平移向量，接着***对坐标
Figure BDA00024683046300001818
利用相机坐标系Ci和Cj间的旋转矩阵
Figure BDA00024683046300001819
和平移向量
Figure BDA00024683046300001820
变换至Cj，对应坐标
Figure BDA00024683046300001821
并将
Figure BDA00024683046300001822
投影至归一化平面：
Figure BDA00024683046300001823
计算重构后的激光测量误差为：
Figure BDA0002468304630000191
融合三种传感器的误差函数，建立权重动态调节模块，根据环境信息调控单目相机与激光雷达在优化中所占的权重，权重系数根据单目相机的关键帧共视路标点数和激光雷达点云数据的匹配特征数，具体步骤如图5：
***将设定两帧图像关键帧的最佳共视路标点数为A及两帧激光点云数据的最佳匹配特征点数为B，在每次建立优化模型前***计算当前关键帧共视路标点数a与最佳共视路标点数A比值a/A，计算当前激光点云匹配特征点数b与最佳匹配特征点数B比值b/B，于是视觉测量误差的权重系数σ与激光测量误差的权重系数τ计算为：
Figure BDA0002468304630000192
Figure BDA0002468304630000193
***建立视觉惯性激光数据融合的模块化无人车定位方法的位姿优化模块的优化模型，将位姿估计模块估计的位姿传入位姿优化模块进行滑动窗口优化，具体步骤为：
导入算法位姿估计模块估计的位姿，并筛选其中关键帧的位姿
Figure BDA0002468304630000194
Figure BDA0002468304630000195
***速度vw1，第i个路标点逆深度di为待优化变量。并将所有待优化变量整合为向量χ，建立位姿优化模块优化的最小二乘问题，构建***的残差函数进行最小二乘的迭代优化：
Figure BDA0002468304630000201
其中，
Figure BDA0002468304630000202
是IMU的测量误差，，
Figure BDA0002468304630000203
是视觉测量误差，
Figure BDA0002468304630000204
是激光雷达的扫描误差，P是残差项对应的协方差矩阵。
利用L-M法优化该最小二乘问题，得到优化后得最佳位姿，并将其转化至世界坐标系下，得到车辆实时位姿Pvil＝(xvil,yvil,zvil,αvil,βvil,γvil)。
根据上述***的介绍，我们容易获得对应的定位方法，，包括以下步骤：
1)采集获取无人驾驶汽车当前信息，包括通过单目相机采集的图像信息，激光雷达采集的三维点云信息以及IMU采集的加速度及角速度数据；
2)根据步骤1)采集的无人驾驶汽车当前信息，进行汽车的位姿估计，获得无人驾驶汽车的位姿信息；
通过对极几何约束从本质矩阵中计算单目相机的帧间运动信息(xv,yv,zv,αv,βv,γv)，并通过路标点对比算法筛选单目图像的关键帧进行标记，对IMU的测量数据进行预积分处理，然后与单目相机进行联合初始化，恢复单目相机的尺度，并估计***的速度、陀螺仪零偏及重力方向，得到无尺度的位姿变换(xvi,yvi,zvi,αvi,βvi,γvi)，即无人驾驶汽车的位姿信息。
3)根据位姿估计的位姿信息建立多传感器融合的优化模型，根据优化模型得到车辆的最佳位姿，并将其转化至世界坐标系下，得到车辆的实时位姿；所述优化模型为基于传感器模型的IMU测量误差、激光测量误差、相机测量误差设定误差函数，根据误差函数联立建立多传感器融合的优化模型。
3.1)导入位姿估计的位姿，并筛选其中关键帧的位姿
Figure BDA0002468304630000211
***速度vw1，第i个路标点逆深度di为待优化变量。并将所有待优化变量整合为向量χ。
建立优化模型的视觉测量误差：
Figure BDA0002468304630000212
建立优化模型的IMU测量误差：
Figure BDA0002468304630000213
通过近似匹配的思想，将点对线或点对面的激光点云特征匹配转换成点对点的特征匹配，通过求解下列约束方程：
通过kd-tree方法找寻相邻两帧激光点云间的点-线匹配和点-面特征匹配。第k帧点云中的点
Figure BDA0002468304630000221
的匹配特征线为第k-1帧点云中的点
Figure BDA0002468304630000222
和
Figure BDA0002468304630000223
所确定直线，则对于线匹配点
Figure BDA0002468304630000224
求解其在第k-1帧点云中的匹配点
Figure BDA0002468304630000225
的约束方程得到匹配点：
Figure BDA0002468304630000226
同样地，点
Figure BDA0002468304630000227
的匹配特征面为由
Figure BDA0002468304630000228
和
Figure BDA0002468304630000229
三点确定的平面，则对于面匹配点
Figure BDA00024683046300002210
求解其匹配点
Figure BDA00024683046300002211
的约束方程得到匹配点：
Figure BDA00024683046300002212
建立视觉测量误差相同形式的优化模型的激光测量误差
Figure BDA00024683046300002213
具体步骤如下：
利用近似匹配点思想计算激光特征的点-点匹配，得到两帧激光点云的匹配点
Figure BDA00024683046300002214
和
Figure BDA00024683046300002215
将匹配点转换至相机坐标系下：
Figure BDA00024683046300002216
其中
Figure BDA00024683046300002217
和
Figure BDA00024683046300002218
分别是相机与激光雷达之间的旋转矩阵和平移向量。
对坐标
Figure BDA0002468304630000231
利用相机坐标系Ci和Cj间的旋转矩阵
Figure BDA0002468304630000232
和平移向量
Figure BDA0002468304630000233
变换至Cj，对应坐标
Figure BDA0002468304630000234
并将
Figure BDA0002468304630000235
投影至归一化平面：
Figure BDA0002468304630000236
计算重构后的激光测量误差为：
Figure BDA0002468304630000237
3.2)定位姿估计模块中的误差函数权重系数动态调节；
环境信息调控单目相机与激光雷达在优化中所占的权重，权重系数根据单目相机的关键帧公式路标点数和激光雷达点云数据的匹配特征数进行动态调节。***将设定两帧图像关键帧的最佳共视路标点数为A及两帧激光点云数据的最佳匹配特征点数为B，在每次建立优化模型前***计算当前关键帧共视路标点数a与最佳共视路标点数A比值a/A，计算当前激光点云匹配特征点数b与最佳匹配特征点数B比值b/B，于是视觉测量误差的权重系数σ＝2×(a/A)/(b/B)，激光测量误差的权重系数τ＝2×[1-(a/A)/(b/B)]。
3.3)将估计的位姿传入位姿优化模型进行滑动窗口优化，具体步骤为：
导入算法位姿估计中的位姿，并筛选其中关键帧的位姿
Figure BDA0002468304630000241
***速度vw1，第i个路标点逆深度di为待优化变量。并将所有待优化变量整合为向量χ。
建立优化模型优化的最小二乘问题，构建***的残差函数进行最小二乘的迭代优化：
Figure BDA0002468304630000242
其中，
Figure BDA0002468304630000243
是IMU的测量误差，
Figure BDA0002468304630000244
是视觉测量误差，
Figure BDA0002468304630000245
是激光雷达的扫描误差，P矩阵是各误差差项对应的协方差矩阵。
3.4)利用L-M法优化该最小二乘问题，得到优化后得最佳位姿，并将
其转化至世界坐标系下，得到车辆实时位姿Pvil＝(xvil,yvil,zvil,αvil,βvil,γvil)。
本发明在位姿估计模块利用IMU的预积分模型与单目相机进行联合的初始化，弥补了单目视觉里程计的未知尺度，并修正了IMU的零偏bias缺陷，在位姿优化模块利用滑动窗口法对估计的位姿进行二次优化，建立各传感器的误差函数，将三种传感器的数据融合在一起，并通过建立一种新的误差权重系数调节方式，对单目相机和激光雷达的测量误差根据环境场景进行权重系数的动态调节，最终通过滑动窗口和L-M法得到车辆实时地精确定位信息，本发明提高了传统定位方法的环境适应性，能够满足在复杂环境下无人驾驶车辆定位的精确性和鲁棒性要求，适用于无人驾驶车辆的复杂环境下的定位。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种视觉惯性激光数据融合的模块化无人车定位方法，其特征在于，包括以下步骤：
1)采集获取无人驾驶汽车当前信息，包括通过单目相机采集的图像信息，激光雷达采集的三维点云信息以及IMU采集的加速度及角速度数据；
2)根据步骤1)采集的无人驾驶汽车当前信息，进行汽车的位姿估计，获得无人驾驶汽车的位姿信息；
3)根据位姿估计的位姿信息建立多传感器融合的优化模型，根据优化模型得到车辆的最佳位姿，并将其转化至世界坐标系下，得到车辆的实时位姿；所述优化模型为基于传感器模型的IMU测量误差、激光测量误差、相机测量误差设定误差函数，根据误差函数联立建立多传感器融合的优化模型。
2.根据权利要求1所述的视觉惯性激光数据融合的模块化无人车定位方法，其特征在于，所述步骤2)中获得无人驾驶汽车的位姿信息，具体如下：
通过对极几何约束从本质矩阵中计算单目相机的帧间运动信息(xv，yv，zv,αv，βv，γv)，并通过路标点对比算法筛选单目图像的关键帧进行标记，对IMU的测量数据进行预积分处理，然后与单目相机进行联合初始化，恢复单目相机的尺度，并估计***的速度、陀螺仪零偏及重力方向，得到无尺度的位姿变换(xvi，yvi，zvi,αvi,βvi,γvi)，即无人驾驶汽车的位姿信息。
3.根据权利要求1所述的视觉惯性激光数据融合的模块化无人车定位方法，其特征在于，所述步骤2)中获得无人驾驶汽车的位姿信息，具体如下：
2.1)通过对极几何约束从本质矩阵中计算单目相机的帧间运动信息(xv,yv,zv,αv,βv,γv)：
利用ORB特征点算法提取图像中的ORB特征点，并通过采用FLANN算法将相邻两帧图像I和I+1的特征点匹配，利用对极几何约束，通过RANSAC算法来估计两幅图像的本质矩阵，对本质矩阵进行奇异值分解获得两帧图像之间的旋转矩阵R与平移向量t，并恢复为帧间相对位姿(xv,yv,zv,αv,βv,γv)；
2.2)利用共视路标点算法筛选图像中的关键帧，并进行标记；
2.3)利用IMU在i时刻的检测量
Figure FDA0002468304620000021
其中
Figure FDA0002468304620000022
是i时刻的IMU坐标系下的加速度，
Figure FDA0002468304620000023
是i时刻的IMU坐标系下的角速度，建立IMU的预积分模型如下：
Figure FDA0002468304620000024
Figure FDA0002468304620000025
Figure FDA0002468304620000026
其中，
Figure FDA0002468304620000027
是i时刻到j时刻的平移量，
Figure FDA0002468304620000028
是i时刻到j时刻的速度量，
Figure FDA0002468304620000029
是i时刻到j时刻的旋转量；通过IMU预积分得到的旋转矩阵R与平移向量t恢复单目图像中的旋转矩阵R与平移向量t中的未知尺度，得到无尺度的估计位姿，将其转换到世界坐标系下为(xvi,yvi,zvi,αvi,βvi,αvi)。
4.根据权利要求3所述的视觉惯性激光数据融合的模块化无人车定位方法，其特征在于，所述步骤2.2)利用共视路标点算法筛选图像中的关键帧，具体为：
将先验关键帧的A个共视匹配特征点存储为路标点集合，获取单目相机传入的最新图像I，检测到I中共有B个特征点，其中有W个与路标点匹配，判断是否满足下式：
Figure FDA0002468304620000031
σWA和σWB分别为预先设置的阈值，如果满足则将I记录为新的关键帧，并将先验关键帧中的最旧帧删除。
5.根据权利要求1所述的视觉惯性激光数据融合的模块化无人车定位方法，其特征在于，所述步骤3)中优化模型的误差函数如下：
IMU测量误差函数
Figure FDA0002468304620000032
具体为：
Figure FDA0002468304620000033
其中，R旋转矩阵，p表示平移向量，v表示速度，其对应时刻、所在坐标系、转换关系有各自的上下标表示，w表示世界坐标系，bi表示i时刻车体坐标系；
Figure FDA0002468304620000041
为通过估计的相对运动恢复的IMU位置，
Figure FDA0002468304620000042
为通过估计的相对运动恢复的IMU速度，gw表示重力加速度；
Figure FDA0002468304620000043
为四元数，表示通过估计的相对运动所恢复的IMU旋转；
Figure FDA0002468304620000044
Figure FDA0002468304620000045
分别表示平移量、速度量和旋转量的IMU预积分，
Figure FDA0002468304620000046
为估计的加速度计与陀螺仪零偏；
相机测量误差函数
Figure FDA0002468304620000047
具体为：
Figure FDA0002468304620000048
其中，
Figure FDA0002468304620000049
为***对路标点l在相机坐标系中坐标的预测值归一化处理的结果，
Figure FDA00024683046200000410
为路标点为相机观察到的路标l在归一化平面的坐标，两者相减即为相机测量误差；
激光测量误差函数
Figure FDA00024683046200000411
具体为：
Figure FDA00024683046200000412
其中
Figure FDA0002468304620000051
其中，
Figure FDA0002468304620000052
和
Figure FDA0002468304620000053
分别是相机与激光雷达之间的旋转矩阵和平移向量；
Figure FDA0002468304620000054
和
Figure FDA0002468304620000055
为两帧激光点云的匹配点；
对坐标
Figure FDA0002468304620000056
利用相机坐标系Ci和Cj间的旋转矩阵
Figure FDA0002468304620000057
和平移向量
Figure FDA0002468304620000058
从坐标系Ci变换至坐标系Cj，对应坐标
Figure FDA0002468304620000059
Figure FDA00024683046200000510
6.根据权利要求5所述的视觉惯性激光数据融合的模块化无人车定位方法，其特征在于，所述步骤3)中根据优化模型得到车辆的最佳位姿，是通过建立位姿优化模型的最小二乘问题，构建残差函数进行最小二乘的迭代优化，利用L-M法迭代优化该最小二乘问题，得到车辆的最佳位姿，其中残差函数为：
Figure FDA00024683046200000511
其中，
Figure FDA00024683046200000512
是IMU的测量误差，
Figure FDA00024683046200000513
是视觉测量误差，
Figure FDA00024683046200000514
是激光雷达的扫描误差，P是残差项对应的协方差矩阵；σ为视觉测量误差的权重系数，τ为激光测量误差的权重系数。
7.根据权利要求6所述的视觉惯性激光数据融合的模块化无人车定位方法，其特征在于，所述步骤3)中视觉测量误差的权重系数和激光测量误差的权重系数确定方法如下：
根据环境信息调控单目相机与激光雷达在优化中所占的权重，权重系数根据单目相机的关键帧共视路标点数和激光雷达点云数据的匹配特征数确定，设定两帧图像关键帧的最佳共视路标点数为A及两帧激光点云数据的最佳匹配特征点数为B，在每次建立优化模型前系计算当前关键帧共视路标点数a与最佳共视路标点数A比值a/A，计算当前激光点云匹配特征点数b与最佳匹配特征点数B比值b/B，视觉测量误差的权重系数σ＝2×(a/A)/(b/B)，激光测量误差的权重系数τ＝2×[1-(a/A)/(b/B)]。
8.一种视觉惯性激光数据融合的模块化无人车定位***，其特征在于，包括：
采集模块，用于采集获取无人驾驶汽车当前信息，包括通过单目相机采集的图像信息，激光雷达采集的三维点云信息以及IMU采集的加速度及角速度数据；
位姿估计模块，用于根据无人驾驶汽车当前信息，进行汽车的位姿估计，获得无人驾驶汽车的位姿信息；
位姿优化模块，用于根据位姿估计模块的位姿信息建立多传感器融合的优化模型，根据优化模型得到车辆的最佳位姿，并将其转化至世界坐标系下，得到车辆的实时位姿；所述优化模型为基于传感器模型的IMU测量误差、激光测量误差、相机测量误差设定误差函数，根据误差函数联立建立多传感器融合的优化模型。
9.根据权利要求8所述的视觉惯性激光数据融合的模块化无人车定位***，其特征在于，所述位姿估计模块中获得无人驾驶汽车的位姿信息，具体如下：
1)通过对极几何约束从本质矩阵中计算单目相机的帧间运动信息(xv，yv，zv，αv，βv，γv)：
利用ORB特征点算法提取图像中的ORB特征点，并通过采用FLANN算法将相邻两帧图像I和I+1的特征点匹配，利用对极几何约束，通过RANSAC算法来估计两幅图像的本质矩阵，对本质矩阵进行奇异值分解获得两帧图像之间的旋转矩阵R与平移向量t，并恢复为帧间相对位姿(xv,yv,zv,αv，βv，γv)；
2)利用共视路标点算法筛选图像中的关键帧，并进行标记；
3)利用IMU在i时刻的检测量
Figure FDA0002468304620000071
其中
Figure FDA0002468304620000072
是i时刻的IMU坐标系下的加速度，
Figure FDA0002468304620000073
是i时刻的IMU坐标系下的角速度，建立IMU的预积分模型如下：
Figure FDA0002468304620000074
Figure FDA0002468304620000075
Figure FDA0002468304620000076
其中，
Figure FDA0002468304620000077
是i时刻到j时刻的平移量，
Figure FDA0002468304620000078
是i时刻到j时刻的速度量，
Figure FDA0002468304620000079
是i时刻到j时刻的旋转量。通过IMU预积分得到的旋转矩阵R与平移向量t恢复单目图像中的旋转矩阵R与平移向量t中的未知尺度，得到无尺度的估计位姿，将其转换到世界坐标系下为(xvi，yvi，zvi，αvi,βvi，γvi)。
10.根据权利要求8所述的视觉惯性激光数据融合的模块化无人车定位***，其特征在于，所述位姿优化模块中优化模型的误差函数如下：
IMU测量误差函数
Figure FDA0002468304620000081
具体为：
Figure FDA0002468304620000082
其中，
Figure FDA0002468304620000083
为通过估计的相对运动恢复的IMU位置，
Figure FDA0002468304620000084
为通过估计的相对运动恢复的IMU速度，
Figure FDA0002468304620000085
为通过估计的相对运动恢复的IMU旋转，
Figure FDA0002468304620000086
为估计的加速度计与陀螺仪零偏；
相机测量误差函数
Figure FDA0002468304620000087
具体为：
Figure FDA0002468304620000088
其中，
Figure FDA0002468304620000091
为***对路标点l在相机坐标系中坐标的预测值归一化处理的结果，
Figure FDA0002468304620000092
为路标点为相机观察到的路标l在归一化平面的坐标，两者相减即为相机测量误差；
激光测量误差函数
Figure FDA0002468304620000093
具体为：
Figure FDA0002468304620000094
其中，
Figure FDA0002468304620000095
其中，
Figure FDA0002468304620000096
和
Figure FDA0002468304620000097
分别是相机与激光雷达之间的旋转矩阵和平移向量；
Figure FDA0002468304620000098
和
Figure FDA0002468304620000099
为两帧激光点云的匹配点；
对坐标
Figure FDA00024683046200000910
利用相机坐标系Ci和Cj间的旋转矩阵
Figure FDA00024683046200000911
和平移向量
Figure FDA00024683046200000912
从坐标系Ci变换至坐标系Cj，对应坐标
Figure FDA00024683046200000913
Figure FDA00024683046200000914
CN202010340571.5A 2020-04-26 2020-04-26 视觉惯性激光数据融合的模块化无人车定位方法及*** Active CN111595333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010340571.5A CN111595333B (zh) 2020-04-26 2020-04-26 视觉惯性激光数据融合的模块化无人车定位方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010340571.5A CN111595333B (zh) 2020-04-26 2020-04-26 视觉惯性激光数据融合的模块化无人车定位方法及***

Publications (2)

Publication Number Publication Date
CN111595333A true CN111595333A (zh) 2020-08-28
CN111595333B CN111595333B (zh) 2023-07-28

Family

ID=72183682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010340571.5A Active CN111595333B (zh) 2020-04-26 2020-04-26 视觉惯性激光数据融合的模块化无人车定位方法及***

Country Status (1)

Country Link
CN (1) CN111595333B (zh)

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112097768A (zh) * 2020-11-17 2020-12-18 深圳市优必选科技股份有限公司 机器人位姿的确定方法、装置、机器人及存储介质
CN112197773A (zh) * 2020-09-30 2021-01-08 江苏集萃未来城市应用技术研究所有限公司 基于平面信息的视觉和激光定位建图方法
CN112230211A (zh) * 2020-10-15 2021-01-15 长城汽车股份有限公司 车辆定位方法、装置、存储介质及车辆
CN112232126A (zh) * 2020-09-14 2021-01-15 广东工业大学 一种提高多变场景定位鲁棒性的降维表达方法
CN112304307A (zh) * 2020-09-15 2021-02-02 浙江大华技术股份有限公司 一种基于多传感器融合的定位方法、装置和存储介质
CN112529965A (zh) * 2020-12-08 2021-03-19 长沙行深智能科技有限公司 一种激光雷达与单目相机的标定方法及装置
CN112561841A (zh) * 2020-12-04 2021-03-26 深兰人工智能(深圳)有限公司 激光雷达和相机的点云数据融合方法、装置
CN112634451A (zh) * 2021-01-11 2021-04-09 福州大学 一种融合多传感器的室外大场景三维建图方法
CN112652001A (zh) * 2020-11-13 2021-04-13 山东交通学院 基于扩展卡尔曼滤波的水下机器人多传感器融合定位***
CN112669354A (zh) * 2020-12-08 2021-04-16 重庆邮电大学 一种基于车辆非完整约束的多相机运动状态估计方法
CN112697131A (zh) * 2020-12-17 2021-04-23 中国矿业大学 基于视觉和惯性导航***的井下移动装备定位方法及***
CN112712018A (zh) * 2020-12-29 2021-04-27 东软睿驰汽车技术（沈阳）有限公司 标识地图的建立方法、视觉定位方法及装置
CN112712107A (zh) * 2020-12-10 2021-04-27 浙江大学 一种基于优化的视觉和激光slam融合定位方法
CN112729294A (zh) * 2021-04-02 2021-04-30 北京科技大学 适用于机器人的视觉和惯性融合的位姿估计方法及***
CN112747749A (zh) * 2020-12-23 2021-05-04 浙江同筑科技有限公司 一种基于双目视觉和激光融合定位导航***
CN113052908A (zh) * 2021-04-16 2021-06-29 南京工业大学 一种基于多传感器数据融合的移动机器人位姿估计算法
CN113074726A (zh) * 2021-03-16 2021-07-06 深圳市慧鲤科技有限公司 位姿确定方法及装置、电子设备和存储介质
CN113074754A (zh) * 2021-03-27 2021-07-06 上海智能新能源汽车科创功能平台有限公司 一种基于车辆运动学约束的视觉惯性slam***初始化方法
CN113155121A (zh) * 2021-03-22 2021-07-23 珠海深圳清华大学研究院创新中心 一种车辆定位方法、装置及电子设备
CN113324542A (zh) * 2021-06-07 2021-08-31 北京京东乾石科技有限公司 一种定位方法、装置、设备和存储介质
CN113390422A (zh) * 2021-06-10 2021-09-14 奇瑞汽车股份有限公司 汽车的定位方法、装置及计算机存储介质
CN113420590A (zh) * 2021-05-13 2021-09-21 北京航空航天大学 弱纹理环境下的机器人定位方法、装置、设备及介质
CN113432602A (zh) * 2021-06-23 2021-09-24 西安电子科技大学 基于多传感器融合的无人机位姿估计方法
CN113432595A (zh) * 2021-07-07 2021-09-24 北京三快在线科技有限公司 设备状态获取方法、装置、计算机设备及存储介质
CN113551666A (zh) * 2021-07-06 2021-10-26 杭州鸿泉物联网技术股份有限公司 自动驾驶多传感器融合定位方法和装置、设备及介质
CN113566833A (zh) * 2021-07-28 2021-10-29 上海工程技术大学 一种多传感器融合的车辆定位方法及***
CN113658337A (zh) * 2021-08-24 2021-11-16 哈尔滨工业大学 一种基于车辙线的多模态里程计方法
CN113936120A (zh) * 2021-10-12 2022-01-14 北京邮电大学 一种无标记的轻量化Web AR方法及***
CN113946151A (zh) * 2021-10-20 2022-01-18 北京百度网讯科技有限公司 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆
CN114013449A (zh) * 2021-11-02 2022-02-08 阿波罗智能技术(北京)有限公司 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆
CN114046787A (zh) * 2021-10-29 2022-02-15 广州文远知行科技有限公司 基于传感器的位姿优化方法、装置、设备及存储介质
CN114088087A (zh) * 2022-01-21 2022-02-25 深圳大学 无人机gps-denied下高可靠高精度导航定位方法和***
CN114170320A (zh) * 2021-10-29 2022-03-11 广西大学 一种基于多传感器融合的打桩机自动定位和工况自适应方法
CN114323035A (zh) * 2020-09-30 2022-04-12 华为技术有限公司 定位方法、装置和***
CN114370871A (zh) * 2022-01-13 2022-04-19 华南理工大学 一种可见光定位与激光雷达惯性里程计的紧耦合优化方法
CN114518108A (zh) * 2020-11-18 2022-05-20 郑州宇通客车股份有限公司 一种定位地图构建方法及装置
CN114585879A (zh) * 2020-09-27 2022-06-03 深圳市大疆创新科技有限公司 位姿估计的方法和装置
CN114608554A (zh) * 2022-02-22 2022-06-10 北京理工大学 一种手持slam设备以及机器人即时定位与建图方法
CN114612665A (zh) * 2022-03-15 2022-06-10 北京航空航天大学 基于法向量直方图特征的位姿估计及动态车辆检测方法
CN114648584A (zh) * 2022-05-23 2022-06-21 北京理工大学前沿技术研究院 一种用于多源融合定位的鲁棒性控制方法和***
CN114739402A (zh) * 2022-04-22 2022-07-12 合众新能源汽车有限公司 一种融合定位方法、介质和电子设备
CN115655264A (zh) * 2022-09-23 2023-01-31 智己汽车科技有限公司 位姿估计方法及设备
CN112461237B (zh) * 2020-11-26 2023-03-14 浙江同善人工智能技术有限公司 一种应用于动态变化场景下的多传感器融合定位方法
CN115855117A (zh) * 2023-02-16 2023-03-28 深圳佑驾创新科技有限公司 相机和惯性测量单元相对车体安装姿态的联合标定方法
WO2023050632A1 (zh) * 2021-09-29 2023-04-06 深圳市慧鲤科技有限公司 定位方法及装置、设备、存储介质及计算机程序产品
WO2023104207A1 (zh) * 2021-12-10 2023-06-15 深圳先进技术研究院 一种协同三维建图方法及***
CN116295507A (zh) * 2023-05-26 2023-06-23 南京师范大学 一种基于深度学习的激光惯性里程计优化方法、***
CN116660923A (zh) * 2023-08-01 2023-08-29 齐鲁空天信息研究院 一种融合视觉和激光雷达的无人农机机库定位方法和***
US11835341B2 (en) 2021-07-20 2023-12-05 Honeywell International Inc. Integrity monitoring of vehicle kinematic states using map-based, vision navigation systems

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105371840A (zh) * 2015-10-30 2016-03-02 北京自动化控制设备研究所 一种惯性/视觉里程计/激光雷达的组合导航方法
CN109099901A (zh) * 2018-06-26 2018-12-28 苏州路特工智能科技有限公司 基于多源数据融合的全自动压路机定位方法
CN109544638A (zh) * 2018-10-29 2019-03-29 浙江工业大学 一种用于多传感器融合的异步在线标定方法
CN110243358A (zh) * 2019-04-29 2019-09-17 武汉理工大学 多源融合的无人车室内外定位方法及***
CN110261870A (zh) * 2019-04-15 2019-09-20 浙江工业大学 一种用于视觉-惯性-激光融合的同步定位与建图方法
CN110345944A (zh) * 2019-05-27 2019-10-18 浙江工业大学 融合视觉特征和imu信息的机器人定位方法
CN110428467A (zh) * 2019-07-30 2019-11-08 四川大学 一种相机、imu和激光雷达联合的机器人定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105371840A (zh) * 2015-10-30 2016-03-02 北京自动化控制设备研究所 一种惯性/视觉里程计/激光雷达的组合导航方法
CN109099901A (zh) * 2018-06-26 2018-12-28 苏州路特工智能科技有限公司 基于多源数据融合的全自动压路机定位方法
CN109544638A (zh) * 2018-10-29 2019-03-29 浙江工业大学 一种用于多传感器融合的异步在线标定方法
CN110261870A (zh) * 2019-04-15 2019-09-20 浙江工业大学 一种用于视觉-惯性-激光融合的同步定位与建图方法
CN110243358A (zh) * 2019-04-29 2019-09-17 武汉理工大学 多源融合的无人车室内外定位方法及***
CN110345944A (zh) * 2019-05-27 2019-10-18 浙江工业大学 融合视觉特征和imu信息的机器人定位方法
CN110428467A (zh) * 2019-07-30 2019-11-08 四川大学 一种相机、imu和激光雷达联合的机器人定位方法

Cited By (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232126B (zh) * 2020-09-14 2023-08-25 广东工业大学 一种提高多变场景定位鲁棒性的降维表达方法
CN112232126A (zh) * 2020-09-14 2021-01-15 广东工业大学 一种提高多变场景定位鲁棒性的降维表达方法
CN112304307A (zh) * 2020-09-15 2021-02-02 浙江大华技术股份有限公司 一种基于多传感器融合的定位方法、装置和存储介质
CN114585879A (zh) * 2020-09-27 2022-06-03 深圳市大疆创新科技有限公司 位姿估计的方法和装置
CN112197773A (zh) * 2020-09-30 2021-01-08 江苏集萃未来城市应用技术研究所有限公司 基于平面信息的视觉和激光定位建图方法
CN114323035A (zh) * 2020-09-30 2022-04-12 华为技术有限公司 定位方法、装置和***
CN112230211A (zh) * 2020-10-15 2021-01-15 长城汽车股份有限公司 车辆定位方法、装置、存储介质及车辆
CN112652001A (zh) * 2020-11-13 2021-04-13 山东交通学院 基于扩展卡尔曼滤波的水下机器人多传感器融合定位***
CN112097768B (zh) * 2020-11-17 2021-03-02 深圳市优必选科技股份有限公司 机器人位姿的确定方法、装置、机器人及存储介质
CN112097768A (zh) * 2020-11-17 2020-12-18 深圳市优必选科技股份有限公司 机器人位姿的确定方法、装置、机器人及存储介质
CN114518108B (zh) * 2020-11-18 2023-09-08 宇通客车股份有限公司 一种定位地图构建方法及装置
CN114518108A (zh) * 2020-11-18 2022-05-20 郑州宇通客车股份有限公司 一种定位地图构建方法及装置
CN112461237B (zh) * 2020-11-26 2023-03-14 浙江同善人工智能技术有限公司 一种应用于动态变化场景下的多传感器融合定位方法
CN112561841A (zh) * 2020-12-04 2021-03-26 深兰人工智能(深圳)有限公司 激光雷达和相机的点云数据融合方法、装置
CN112669354A (zh) * 2020-12-08 2021-04-16 重庆邮电大学 一种基于车辆非完整约束的多相机运动状态估计方法
CN112529965A (zh) * 2020-12-08 2021-03-19 长沙行深智能科技有限公司 一种激光雷达与单目相机的标定方法及装置
CN112712107A (zh) * 2020-12-10 2021-04-27 浙江大学 一种基于优化的视觉和激光slam融合定位方法
CN112712107B (zh) * 2020-12-10 2022-06-28 浙江大学 一种基于优化的视觉和激光slam融合定位方法
CN112697131A (zh) * 2020-12-17 2021-04-23 中国矿业大学 基于视觉和惯性导航***的井下移动装备定位方法及***
CN112747749A (zh) * 2020-12-23 2021-05-04 浙江同筑科技有限公司 一种基于双目视觉和激光融合定位导航***
CN112712018A (zh) * 2020-12-29 2021-04-27 东软睿驰汽车技术（沈阳）有限公司 标识地图的建立方法、视觉定位方法及装置
CN112634451B (zh) * 2021-01-11 2022-08-23 福州大学 一种融合多传感器的室外大场景三维建图方法
CN112634451A (zh) * 2021-01-11 2021-04-09 福州大学 一种融合多传感器的室外大场景三维建图方法
CN113074726A (zh) * 2021-03-16 2021-07-06 深圳市慧鲤科技有限公司 位姿确定方法及装置、电子设备和存储介质
CN113155121B (zh) * 2021-03-22 2024-04-02 珠海深圳清华大学研究院创新中心 一种车辆定位方法、装置及电子设备
CN113155121A (zh) * 2021-03-22 2021-07-23 珠海深圳清华大学研究院创新中心 一种车辆定位方法、装置及电子设备
CN113074754A (zh) * 2021-03-27 2021-07-06 上海智能新能源汽车科创功能平台有限公司 一种基于车辆运动学约束的视觉惯性slam***初始化方法
CN112729294A (zh) * 2021-04-02 2021-04-30 北京科技大学 适用于机器人的视觉和惯性融合的位姿估计方法及***
CN113052908A (zh) * 2021-04-16 2021-06-29 南京工业大学 一种基于多传感器数据融合的移动机器人位姿估计算法
CN113052908B (zh) * 2021-04-16 2023-08-04 南京工业大学 一种基于多传感器数据融合的移动机器人位姿估计算法
CN113420590B (zh) * 2021-05-13 2022-12-06 北京航空航天大学 弱纹理环境下的机器人定位方法、装置、设备及介质
CN113420590A (zh) * 2021-05-13 2021-09-21 北京航空航天大学 弱纹理环境下的机器人定位方法、装置、设备及介质
CN113324542B (zh) * 2021-06-07 2024-04-12 北京京东乾石科技有限公司 一种定位方法、装置、设备和存储介质
CN113324542A (zh) * 2021-06-07 2021-08-31 北京京东乾石科技有限公司 一种定位方法、装置、设备和存储介质
CN113390422B (zh) * 2021-06-10 2022-06-10 奇瑞汽车股份有限公司 汽车的定位方法、装置及计算机存储介质
CN113390422A (zh) * 2021-06-10 2021-09-14 奇瑞汽车股份有限公司 汽车的定位方法、装置及计算机存储介质
CN113432602A (zh) * 2021-06-23 2021-09-24 西安电子科技大学 基于多传感器融合的无人机位姿估计方法
CN113432602B (zh) * 2021-06-23 2022-12-02 西安电子科技大学 基于多传感器融合的无人机位姿估计方法
CN113551666A (zh) * 2021-07-06 2021-10-26 杭州鸿泉物联网技术股份有限公司 自动驾驶多传感器融合定位方法和装置、设备及介质
CN113432595A (zh) * 2021-07-07 2021-09-24 北京三快在线科技有限公司 设备状态获取方法、装置、计算机设备及存储介质
US11835341B2 (en) 2021-07-20 2023-12-05 Honeywell International Inc. Integrity monitoring of vehicle kinematic states using map-based, vision navigation systems
CN113566833A (zh) * 2021-07-28 2021-10-29 上海工程技术大学 一种多传感器融合的车辆定位方法及***
CN113658337A (zh) * 2021-08-24 2021-11-16 哈尔滨工业大学 一种基于车辙线的多模态里程计方法
WO2023050632A1 (zh) * 2021-09-29 2023-04-06 深圳市慧鲤科技有限公司 定位方法及装置、设备、存储介质及计算机程序产品
CN113936120A (zh) * 2021-10-12 2022-01-14 北京邮电大学 一种无标记的轻量化Web AR方法及***
CN113946151A (zh) * 2021-10-20 2022-01-18 北京百度网讯科技有限公司 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆
CN114170320A (zh) * 2021-10-29 2022-03-11 广西大学 一种基于多传感器融合的打桩机自动定位和工况自适应方法
CN114046787B (zh) * 2021-10-29 2024-01-30 广州文远知行科技有限公司 基于传感器的位姿优化方法、装置、设备及存储介质
CN114170320B (zh) * 2021-10-29 2022-10-28 广西大学 一种基于多传感器融合的打桩机自动定位和工况自适应方法
CN114046787A (zh) * 2021-10-29 2022-02-15 广州文远知行科技有限公司 基于传感器的位姿优化方法、装置、设备及存储介质
CN114013449B (zh) * 2021-11-02 2023-11-03 阿波罗智能技术(北京)有限公司 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆
CN114013449A (zh) * 2021-11-02 2022-02-08 阿波罗智能技术(北京)有限公司 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆
WO2023104207A1 (zh) * 2021-12-10 2023-06-15 深圳先进技术研究院 一种协同三维建图方法及***
CN114370871A (zh) * 2022-01-13 2022-04-19 华南理工大学 一种可见光定位与激光雷达惯性里程计的紧耦合优化方法
CN114088087A (zh) * 2022-01-21 2022-02-25 深圳大学 无人机gps-denied下高可靠高精度导航定位方法和***
CN114088087B (zh) * 2022-01-21 2022-04-15 深圳大学 无人机gps-denied下高可靠高精度导航定位方法和***
WO2023138007A1 (zh) * 2022-01-21 2023-07-27 深圳大学 无人机gps-denied下高可靠高精度导航定位方法和***
CN114608554A (zh) * 2022-02-22 2022-06-10 北京理工大学 一种手持slam设备以及机器人即时定位与建图方法
CN114608554B (zh) * 2022-02-22 2024-05-03 北京理工大学 一种手持slam设备以及机器人即时定位与建图方法
CN114612665A (zh) * 2022-03-15 2022-06-10 北京航空航天大学 基于法向量直方图特征的位姿估计及动态车辆检测方法
CN114612665B (zh) * 2022-03-15 2022-10-11 北京航空航天大学 基于法向量直方图特征的位姿估计及动态车辆检测方法
CN114739402A (zh) * 2022-04-22 2022-07-12 合众新能源汽车有限公司 一种融合定位方法、介质和电子设备
CN114739402B (zh) * 2022-04-22 2024-06-25 合众新能源汽车股份有限公司 一种融合定位方法、介质和电子设备
CN114648584B (zh) * 2022-05-23 2022-08-30 北京理工大学前沿技术研究院 一种用于多源融合定位的鲁棒性控制方法和***
CN114648584A (zh) * 2022-05-23 2022-06-21 北京理工大学前沿技术研究院 一种用于多源融合定位的鲁棒性控制方法和***
CN115655264A (zh) * 2022-09-23 2023-01-31 智己汽车科技有限公司 位姿估计方法及设备
CN115855117A (zh) * 2023-02-16 2023-03-28 深圳佑驾创新科技有限公司 相机和惯性测量单元相对车体安装姿态的联合标定方法
CN115855117B (zh) * 2023-02-16 2023-06-02 深圳佑驾创新科技有限公司 相机和惯性测量单元相对车体安装姿态的联合标定方法
CN116295507B (zh) * 2023-05-26 2023-08-15 南京师范大学 一种基于深度学习的激光惯性里程计优化方法、***
CN116295507A (zh) * 2023-05-26 2023-06-23 南京师范大学 一种基于深度学习的激光惯性里程计优化方法、***
CN116660923A (zh) * 2023-08-01 2023-08-29 齐鲁空天信息研究院 一种融合视觉和激光雷达的无人农机机库定位方法和***
CN116660923B (zh) * 2023-08-01 2023-09-29 齐鲁空天信息研究院 一种融合视觉和激光雷达的无人农机机库定位方法和***

Also Published As

Publication number Publication date
CN111595333B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN111595333A (zh) 视觉惯性激光数据融合的模块化无人车定位方法及***
CN109029433B (zh) 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN109993113B (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN111156984B (zh) 一种面向动态场景的单目视觉惯性slam方法
CN110044354A (zh) 一种双目视觉室内定位与建图方法及装置
CN111258313A (zh) 多传感器融合slam***及机器人
CN112734841B (zh) 一种用轮式里程计-imu和单目相机实现定位的方法
CN112556719B (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
CN113503873B (zh) 一种多传感器融合的视觉定位方法
CN115272596A (zh) 一种面向单调无纹理大场景的多传感器融合slam方法
CN114964276A (zh) 一种融合惯导的动态视觉slam方法
CN111890373A (zh) 车载机械臂的感知定位方法
CN115574816B (zh) 仿生视觉多源信息智能感知无人平台
CN114693787A (zh) 停车库建图与定位方法、***及车辆
CN112101160A (zh) 一种面向自动驾驶场景的双目语义slam方法
CN117367427A (zh) 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法
CN116007609A (zh) 一种多光谱图像和惯导融合的定位方法和计算***
CN115147344A (zh) 一种增强现实辅助汽车维修中的零件三维检测与跟踪方法
CN115218889A (zh) 一种基于点线特征融合的多传感器室内定位方法
CN113345032B (zh) 一种基于广角相机大畸变图的初始化建图方法及***
CN116182855B (zh) 一种弱光强环境下仿复眼偏振视觉无人机组合导航方法
CN116804553A (zh) 基于事件相机/imu/自然路标的里程计***及方法
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant