CN109099901A - 基于多源数据融合的全自动压路机定位方法 - Google Patents

基于多源数据融合的全自动压路机定位方法 Download PDF

Info

Publication number
CN109099901A
CN109099901A CN201810670215.2A CN201810670215A CN109099901A CN 109099901 A CN109099901 A CN 109099901A CN 201810670215 A CN201810670215 A CN 201810670215A CN 109099901 A CN109099901 A CN 109099901A
Authority
CN
China
Prior art keywords
road roller
point
point cloud
laser radar
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810670215.2A
Other languages
English (en)
Other versions
CN109099901B (zh
Inventor
李煊鹏
李宇杰
谌中平
王东
张为公
许剑
邹承利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Weiyi (Suzhou) Intelligent Technology Co., Ltd.
Original Assignee
Suzhou Road Agent Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Road Agent Intelligent Technology Co Ltd filed Critical Suzhou Road Agent Intelligent Technology Co Ltd
Priority to CN201810670215.2A priority Critical patent/CN109099901B/zh
Publication of CN109099901A publication Critical patent/CN109099901A/zh
Application granted granted Critical
Publication of CN109099901B publication Critical patent/CN109099901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了基于多源数据融合的全自动压路机定位方法，在施工区域边界设置边界标志，多路同步相机获取包含边界标志的图像，并利用激光雷达获取施工区域点云数据，将图像与激光点云数据进行匹配，识别施工区域标志，计算施工围栏区域；利用激光点云数据与IMU输出信息融合计算压路机在施工区域内的位置与姿态信息，实现无人压路机在施工区域的定位。通过机器视觉的定位方法，将视觉数据与IMU数据融合，能够适应压路机特殊的施工环境，有效避免单纯依赖GPS定位产生的信号缺失的问题，并且在定位精度与速度方面都可以满足无人压路机在施工环境中的定位及路径规划要求，有效应用于压路机施工现场，有效解决压路机定位精度差的问题。

Description

基于多源数据融合的全自动压路机定位方法
技术领域
本发明涉及一种基于多源数据融合的全自动压路机定位方法。
背景技术
工程机械经常在地震、洪水、海啸等灾害现场以及高温、高寒、高海拔、高辐射的恶劣工况下施工，不仅施工效率低，而且操作人员常常还要冒着生命危险。利用无人技术优化现有工程机械可以提升施工质量、降低人员成本、减少安全隐患，并且为实现产业更新提供了重要依托。特别针对于工程机械中的压路机，其属于道路设备的范畴，广泛应用于公路、铁路、机场跑道、大坝、体育场等大型工程项目的填方压实作业，可以碾压沙性、半粘性及粘性土壤、路基稳定土及沥青混凝土路面层，具有极广阔的施工需求和较高的作业难度。压路机的标准化施工也是目前全世界各施工单位和机械生产厂亟需解决的问题，而全自动压路机为解决这一问题提供了有效保证。
实现全自动压路机自主施工前提是要准确获取自身位置。目前工程机械的主要定位方法是基于GPS定位或者GPS与里程计融合定位。由于依托于GPS设备定位，其本身存在误差，同时在信号遮挡的情况下，比如隧道、繁华的市区等特殊工况环境，GPS信号会迅速减弱甚至丢失，从而无法完成满足作业精度的自动化施工。
目前无人压路机大多存在定位精度低、成本高等不足。专利公开号为CN106127177A公开了一种无人压路机，采用GPS对压路机进行定位，尚未考虑到当压路机在特殊环境下施工作业时GPS信号无法接收的问题，导致在隧道、桥梁下等特殊环境中无法作业的问题。
机器视觉是利用视觉传感器获取图片并利用图像处理***进行各种测量和判断，是计算机学科的一个重要分支，综合了光学、机械、电子、计算机软硬件等方面的技术，涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。视觉导航是对视觉传感器获取的图像进行相应处理从而得到载***姿参数的一种技术。目前视觉导航技术主要应用于移动机器人的竞速竞赛、工业AGV、智能车辆的自主导航和国防科技技术研究这四个方面。专利公开号CN104835173A提出了一种基于机器视觉的定位方法，但该方法通过车载视觉***实现AGV定位，该方法单独依靠相机实现视觉定位，稳定性不够。
发明内容
本发明的目的是克服现有技术存在的不足，提供一种基于多源数据融合的全自动压路机定位方法。
本发明的目的通过以下技术方案来实现：
基于多源数据融合的全自动压路机定位方法，其特征在于：在施工区域边界设置边界标志，作为激光点云数据和图像数据融合定位辅助中的标志点，多路同步相机获取包含边界标志的图像，并利用激光雷达获取施工区域点云数据，将图像与激光点云数据进行匹配，识别施工区域标志，计算施工围栏区域；利用激光点云数据与IMU输出信息融合计算压路机在施工区域内的位置与姿态信息，实现无人压路机在施工区域的定位。
进一步地，上述的基于多源数据融合的全自动压路机定位方法，其中，在施工现场设置施工区域边界标志物，在压路机上安装工控机和惯性导航单元，压路机的四周安装用于获取压路机施工区域图像信息的相机，压路机前侧设置三维激光雷达。
进一步地，上述的基于多源数据融合的全自动压路机定位方法，其中，压路机的前、后、左、右四侧分布有相机，相机搭配广角镜头，覆盖压路机周围360°范围，利用棋盘格对相机进行标定，获取相机内参，并对相机进行畸变校正；
所述三维激光雷达扫描30度垂直方向和360度水平方向在半径100米范围内的目标，通过连续点云数据匹配的方式获得对压路机运动轨迹的标记；
所述施工区域边界标志物为交通锥，利用图像与点云数据匹配的方法，获得对交通锥的有效识别和距离测量，实现施工区域边界的勘定；
所述惯性导航单元获取压路机速度、位置的信息，利用扩展卡尔曼滤波器对激光雷达信息与惯性导航信息进行融合，实现无人压路机的同步构图和定位。
进一步地，上述的基于多源数据融合的全自动压路机定位方法，其中，所述交通锥为三角锥，作为施工区域边界标志物，通过三维激光雷达和相机分别采集三角锥在两个视点下的三维激光点云和图像，利用建立的激光点云数据和图像数据之间的标定关获取三角锥标志物的点云语义，作为车辆定位参考依据。
进一步地，上述的基于多源数据融合的全自动压路机定位方法，其中，利用三维激光雷达获取场景的三维点云数据，利用LOAM方法实现三维SLAM构图，在LOAM方法中，通过提取特征点匹配后计算坐标变换；首先对点云和IMU数据进行预处理，用于提取特征点：一次扫描的点通过曲率值进行分类，公式如下：
其中，{L}为激光雷达的三维坐标系，起源于激光雷达的几何中心，x轴指向左侧，y轴指向上方，z轴指向前方；pk表示在扫描k期间感知的点云，{Lk}中点i，i∈pk的坐标表示为S是激光扫描仪在同一扫描过程中返回的一组连续点；
扫描中的点根据C值排序并进行特征点的选取，其中选取C的最大值点作为边缘点，C的最小值点作为平面点；将一次扫描划分为4个独立的子区域使特征点均匀分布在环境中，每个子区域最多提供2个边缘点和4个平面点，然后进行相邻两帧点云数据间的配准，即完成t时刻和t+1时刻点云数据的关联，并估计雷达的相对运动关系；点云配准的流程为：对于特征线，利用KD树找到点i在t时刻点云中最近的一点j，并在j周围找次近点l，于是把(j，l)称为点i在t时刻点云中的对应；对于特征面，与特征线类似，先找最近点j，在j周围找l，在j周围找m，将(j，l，m)称为点i在t时刻点云中的对应；
找到配准点之后，得到不同时刻点云之间的约束关系，计算从特征点到其对应关系的距离，从边缘点开始，对于点i，若(j，l)是相应的边缘线，则点到线的距离计算为：
其中是{L}中的点i的坐标，是上一时刻中i的对应点j、l的坐标；若(j，l，m)是对应的平面，则点到面的距离计算为：
其中是{L}中点m的坐标；
对上式中的待估参数求偏导得到Jaccobian矩阵，利用L-M算法进行运动估计求解：
其中，包含激光雷达在6自由度上的刚性运动，tx,ty和tz分别沿着坐标系{L}的x，y和z轴，θx,θy和θz为旋转角度，遵循右手定则；f的每一行对应一个特征点，d包含相应的距离，J为为f的Jaccobian矩阵，然后，通过非线性迭代将d趋近于零得到：
进一步地，上述的基于多源数据融合的全自动压路机定位方法，其中，利用车载三维激光雷达获得原始数据，经过数据过滤和数据聚类处理，得到准路标集合；然后采用迭代最近点算法搜索这些路标与地图中路标之间的对应关系，通过对所得对应关系计算出两个点集合之间的位置偏移T和角度偏移r，并利用此偏移量计算激光雷达的位姿，假设当前激光雷达在全局坐标系下的位姿表示为状态变量(xL,yL,φL)，前两项为激光雷达在全局坐标系下的位置，第三项φL表示激光雷达的前进方向；
其中，(xk,yk,φk)为***状态变量，(xL,k,yL,k,φL,k)为***观测变量，T为位置偏移，r为角度偏移，v是误差矩阵为R的观测噪声。
进一步地，上述的基于多源数据融合的全自动压路机定位方法，其中，压路机运行过程中，由于激光雷达扫描范围的局限性，压路机视野可能会没有明显的路标特征，此时无法进行压路机的位姿估计；因此，对压路机位姿进行跟踪保持其位姿估计的连续性，采用扩展卡尔曼滤波融合里程计和激光雷达的数据，从里程计数据中，计算出压路机的位置和方向上的增量，作为输入量u＝(ΔS，Δφ)T，建立车辆***状态方程如下：
其中，w是误差矩阵为Q的过程白噪声。
进一步地，上述的基于多源数据融合的全自动压路机定位方法，其中，所述相机为大靶面工业相机。
进一步地，上述的基于多源数据融合的全自动压路机定位方法，其中，所述三维激光雷达设置于压路机前侧钢轮上方台架处。
进一步地，上述的基于多源数据融合的全自动压路机定位方法，其中，所述三维激光雷达以倾斜角度安装。
本发明与现有技术相比具有显著的优点和有益效果，具体体现在以下方面：
本发明通过机器视觉的定位方法，将视觉数据与IMU数据融合，能够适应压路机特殊的施工环境，有效避免单纯依赖GPS定位产生的信号缺失的问题，并且在定位精度与速度方面都可以满足无人压路机在施工环境中的定位及路径规划要求，可有效应用于压路机施工现场；本发明有效解决了压路机定位精度差的问题，并可降低了施工人员的工作量，提高劳动生产率。
附图说明
图1：本发明的结构示意图。
图中各附图标记的含义见下表：
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现详细说明具体实施方案。
本发明基于多源数据融合的全自动压路机定位方法，在施工区域边界设置边界标志，多路同步相机获取包含边界标志的图像，并利用激光雷达获取施工区域点云数据，将图像与激光点云数据进行匹配，识别施工区域标志，计算施工围栏区域；利用激光点云数据与IMU输出信息融合计算压路机在施工区域内的位置与姿态信息，实现无人压路机在施工区域的定位。
如图1所示，压路机1的驾驶舱内架设工控机2，工控机2处固定惯性导航单元5，在压路机的驾驶舱顶部四周安装用于获取压路机施工区域图像信息的相机3，压路机1的前侧设置三维激光雷达4；在施工现场设置施工区域边界标志物。工控机为各传感器单元提供丰富的扩展接口，并对各传感器数据进行处理，相机、三维激光雷达、惯性导航单元以及工控机之间通过基于机器人操作***(ROS)节点信息发布与接收的通信方式进行连接，即在ROS程序进程中，节点通过发布话题信息供其他节点接收，完成相互间的通信。数据的处理流程如下：
其中，压路机1的前、后、左、右四侧均分布有相机3，相机3采用大靶面工业相机，相机3搭配广角镜头，覆盖压路机周围360°范围，利用棋盘格对相机进行标定，获取相机内参，并对相机进行畸变校正。
三维激光雷达4设置于压路机1的前侧钢轮上方台架处，以倾斜角度安装，三维激光雷达4扫描30度垂直方向和360度水平方向在半径100米范围内的目标，通过连续点云数据匹配的方式获得对压路机运动轨迹的标记；实现压路机精确定位，解决GPS信号缺失等问题。
施工区域边界标志物为交通锥，利用图像与点云数据匹配的方法，获得对交通锥的有效识别和距离测量，实现施工区域边界的勘定；实现无人压路机在施工区域的精确定位。
惯性导航单元5获取压路机速度、位置的信息，利用扩展卡尔曼滤波器对激光雷达信息与惯性导航信息进行融合，实现无人压路机的同步构图和定位。实现无人压路机在施工区域的精确定位。
具体实施时，包含以下方面：
a)边界标志物检测
采用基于深度学习的目标检测方法，具体采用基于区域的卷积神经网络，即结合区域提名和卷积神经网络的目标检测方法。综合考虑运算速度和准确率两方面要求，在caffe框架下训练Faster R-CNN模型，Faster-RCNN引入RPN网络，使得区域提取、分类、回归共用卷积特征，保证计算精度的同时提升运算速率。
b)相机与激光数据融合
交通锥为三角锥，作为施工区域边界标志物，通过三维激光雷达和相机分别采集三角锥在两个视点下的三维激光点云和图像，利用建立的激光点云数据和图像数据之间的标定关获取三角锥标志物的点云语义，作为车辆定位参考依据。
c)基于边界标志物点云的LOAM定位方法
利用三维激光雷达获取场景的三维点云数据，利用LOAM方法实现三维SLAM构图，在LOAM方法中，通过提取特征点匹配后计算坐标变换；首先对点云和IMU数据进行预处理，用于提取特征点：一次扫描的点通过曲率值进行分类，公式如下：
其中，{L}为激光雷达的三维坐标系，起源于激光雷达的几何中心，x轴指向左侧，y轴指向上方，z轴指向前方；pk表示在扫描k期间感知的点云，{Lk}中点i，i∈pk的坐标表示为是激光扫描仪在同一扫描过程中返回的一组连续点。
扫描中的点根据C值排序并进行特征点的选取，其中选取C的最大值点作为边缘点，C的最小值点作为平面点，将一次扫描划分为4个独立的子区域使特征点均匀分布在环境中，每个子区域最多提供2个边缘点和4个平面点，然后进行相邻两帧点云数据间的配准，即完成t时刻和t+1时刻点云数据的关联，并估计雷达的相对运动关系；点云配准的流程为：对于特征线，利用KD树找到点i在t时刻点云中最近的一点j，并在j周围找次近点l，于是把(j，l)称为点i在t时刻点云中的对应；对于特征面，与特征线类似，先找最近点j，在j周围找l，在j周围找m，将(j，l，m)称为点i在t时刻点云中的对应；
找到配准点之后，得到不同时刻点云之间的约束关系，计算从特征点到其对应关系的距离，从边缘点开始，对于点i，若(j，l)是相应的边缘线，则点到线的距离可以计算为：
其中是{L}中的点i的坐标，是上一时刻中i的对应点j、l的坐标。若(j，l，m)是对应的平面，则点到面的距离计算为：
其中是{L}中点m的坐标。
对上式中的待估参数求偏导得到Jaccobian矩阵，利用L-M算法进行运动估计求解：
其中，包含激光雷达在6自由度上的刚性运动，tx,ty和tz分别沿着坐标系{L}的x，y和z轴，θx,θy和θz为旋转角度，遵循右手定则。f的每一行对应一个特征点，d包含相应的距离，J为为f的Jaccobian矩阵，然后，通过非线性迭代将d趋近于零得到：
d)压路机运动姿态连续估计
利用车载三维激光雷达获得原始数据，经过数据过滤和数据聚类处理，得到准路标集合；然后采用迭代最近点算法搜索这些路标与地图中路标之间的对应关系，通过对所得对应关系计算出两个点集合之间的位置偏移T和角度偏移r，并利用此偏移量计算激光雷达的位姿，假设当前激光雷达在全局坐标系下的位姿表示为状态变量(xL,yL,φL)，前两项为激光雷达在全局坐标系下的位置，第三项φL表示激光雷达的前进方向；
其中，其中，(xk,yk,φk)为***状态变量，(xL,k,yL,k,φL,k)为***观测变量，T为位置偏移，r为角度偏移，v是误差矩阵为R的观测噪声。
压路机运行过程中，由于激光雷达扫描范围的局限性，压路机视野可能会没有明显的路标特征，此时无法进行压路机的位姿估计；因此，对压路机位姿进行跟踪保持其位姿估计的连续性，采用扩展卡尔曼滤波融合里程计和激光雷达的数据，从里程计数据中，计算出压路机的位置和方向上的增量，作为输入量u＝(ΔS，Δφ)T，建立车辆***状态方程如下：
其中，w是误差矩阵为Q的过程白噪声。
综上所述，本发明在施工区域周边设置标志物，标志物为交通锥，作为激光点云数据和图像数据融合定位辅助中的标志点；采用基于机器学习的方法识别施工区域的标志物以及移动目标，采集施工现场图像数据，标记标志物及移动目标，在caffe框架下训练Faster R-CNN模型识别施工区域标志物及移动目标；将相机获取的图像数据、激光点云数据以及IMU惯性数据融合，求解压路机在施工区域中的位置与姿态信息。
通过机器视觉的定位方法，将视觉数据与IMU数据融合，能够适应压路机特殊的施工环境，有效避免单纯依赖GPS定位产生的信号缺失的问题，并且在定位精度与速度方面都可以满足无人压路机在施工环境中的定位及路径规划要求，可有效应用于压路机施工现场。本发明有效解决了压路机定位精度差的问题，并可降低了施工人员的工作量，提高劳动生产率。
需要说明的是：以上所述仅为本发明的优选实施方式，并非用以限定本发明的权利范围；同时以上的描述，对于相关技术领域的专门人士应可明了及实施，因此其它未脱离本发明所揭示的精神下所完成的等效改变或修饰，均应包含在申请专利范围中。

Claims (10)

1.基于多源数据融合的全自动压路机定位方法，其特征在于：在施工区域边界设置边界标志，作为激光点云数据和图像数据融合定位辅助中的标志点，多路同步相机获取包含边界标志的图像，并利用激光雷达获取施工区域点云数据，将图像与激光点云数据进行匹配，识别施工区域标志，计算施工围栏区域；利用激光点云数据与IMU输出信息融合计算压路机在施工区域内的位置与姿态信息，实现无人压路机在施工区域的定位。
2.根据权利要求1所述的基于多源数据融合的全自动压路机定位方法，其特征在于：在施工现场设置施工区域边界标志物，在压路机上安装工控机和惯性导航单元，压路机的四周安装用于获取压路机施工区域图像信息的相机，压路机前侧设置三维激光雷达。
3.根据权利要求2所述的基于多源数据融合的全自动压路机定位方法，其特征在于：压路机的前、后、左、右四侧分布有相机，相机搭配广角镜头，覆盖压路机周围360°范围，利用棋盘格对相机进行标定，获取相机内参，并对相机进行畸变校正；
所述三维激光雷达扫描30度垂直方向和360度水平方向在半径100米范围内的目标，通过连续点云数据匹配的方式获得对压路机运动轨迹的标记；
所述施工区域边界标志物为交通锥，利用图像与点云数据匹配的方法，获得对交通锥的有效识别和距离测量，实现施工区域边界的勘定；
所述惯性导航单元获取压路机速度、位置的信息，利用扩展卡尔曼滤波器对激光雷达信息与惯性导航信息进行融合，实现无人压路机的同步构图和定位。
4.根据权利要求3所述的基于多源数据融合的全自动压路机定位方法，其特征在于：所述交通锥为三角锥，作为施工区域边界标志物，通过三维激光雷达和相机分别采集三角锥在两个视点下的三维激光点云和图像，利用建立的激光点云数据和图像数据之间的标定关获取三角锥标志物的点云语义，作为车辆定位参考依据。
5.根据权利要求3所述的基于多源数据融合的全自动压路机定位方法，其特征在于：利用三维激光雷达获取场景的三维点云数据，利用LOAM方法实现三维SLAM构图，在LOAM方法中，通过提取特征点匹配后计算坐标变换；首先对点云和IMU数据进行预处理，用于提取特征点：一次扫描的点通过曲率值进行分类，公式如下：
其中，{L}为激光雷达的三维坐标系，起源于激光雷达的几何中心，x轴指向左侧，y轴指向上方，z轴指向前方；pk表示在扫描k期间感知的点云，{Lk}中点i，i∈pk的坐标表示为S是激光扫描仪在同一扫描过程中返回的一组连续点；
扫描中的点根据C值排序并进行特征点的选取，其中选取C的最大值点作为边缘点，C的最小值点作为平面点；将一次扫描划分为4个独立的子区域使特征点均匀分布在环境中，每个子区域最多提供2个边缘点和4个平面点，然后进行相邻两帧点云数据间的配准，即完成t时刻和t+1时刻点云数据的关联，并估计雷达的相对运动关系；点云配准的流程为：对于特征线，利用KD树找到点i在t时刻点云中最近的一点j，并在j周围找次近点l，于是把(j，l)称为点i在t时刻点云中的对应；对于特征面，与特征线类似，先找最近点j，在j周围找l，在j周围找m，将(j，l，m)称为点i在t时刻点云中的对应；
找到配准点之后，得到不同时刻点云之间的约束关系，计算从特征点到其对应关系的距离，从边缘点开始，对于点i，若(j，l)是相应的边缘线，则点到线的距离计算为：
其中是{L}中的点i的坐标，是上一时刻中i的对应点j、l的坐标；若(j，l，m)是对应的平面，则点到面的距离计算为：
其中是{L}中点m的坐标；
对上式中的待估参数求偏导得到Jaccobian矩阵，利用L-M算法进行运动估计求解：
其中，包含激光雷达在6自由度上的刚性运动，tx,ty和tz分别沿着坐标系{L}的x，y和z轴，θx,θy和θz为旋转角度，遵循右手定则；f的每一行对应一个特征点，d包含相应的距离，J为为f的Jaccobian矩阵，然后，通过非线性迭代将d趋近于零得到：
6.根据权利要求3所述的基于多源数据融合的全自动压路机定位方法，其特征在于：利用车载三维激光雷达获得原始数据，经过数据过滤和数据聚类处理，得到准路标集合；然后采用迭代最近点算法搜索这些路标与地图中路标之间的对应关系，通过对所得对应关系计算出两个点集合之间的位置偏移T和角度偏移r，并利用此偏移量计算激光雷达的位姿，假设当前激光雷达在全局坐标系下的位姿表示为状态变量(xL,yL,φL)，前两项为激光雷达在全局坐标系下的位置，第三项φL表示激光雷达的前进方向；
其中，(xk,yk,φk)为***状态变量，(xL,k,yL,k,φL,k)为***观测变量，T为位置偏移，r为角度偏移，v是误差矩阵为R的观测噪声。
7.根据权利要求6所述的基于多源数据融合的全自动压路机定位方法，其特征在于：压路机运行过程中，由于激光雷达扫描范围的局限性，压路机视野可能会没有明显的路标特征，此时无法进行压路机的位姿估计；因此，对压路机位姿进行跟踪保持其位姿估计的连续性，采用扩展卡尔曼滤波融合里程计和激光雷达的数据，从里程计数据中，计算出压路机的位置和方向上的增量，作为输入量u＝(ΔS，Δφ)T，建立车辆***状态方程如下：
其中，w是误差矩阵为Q的过程白噪声。
8.根据权利要求2所述的基于多源数据融合的全自动压路机定位方法，其特征在于：所述相机为大靶面工业相机。
9.根据权利要求2所述的基于多源数据融合的全自动压路机定位方法，其特征在于：所述三维激光雷达设置于压路机前侧钢轮上方台架处。
10.根据权利要求2所述的基于多源数据融合的全自动压路机定位方法，其特征在于：所述三维激光雷达以倾斜角度安装。
CN201810670215.2A 2018-06-26 2018-06-26 基于多源数据融合的全自动压路机定位方法 Active CN109099901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810670215.2A CN109099901B (zh) 2018-06-26 2018-06-26 基于多源数据融合的全自动压路机定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810670215.2A CN109099901B (zh) 2018-06-26 2018-06-26 基于多源数据融合的全自动压路机定位方法

Publications (2)

Publication Number Publication Date
CN109099901A true CN109099901A (zh) 2018-12-28
CN109099901B CN109099901B (zh) 2021-09-24

Family

ID=64845012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810670215.2A Active CN109099901B (zh) 2018-06-26 2018-06-26 基于多源数据融合的全自动压路机定位方法

Country Status (1)

Country Link
CN (1) CN109099901B (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110082739A (zh) * 2019-03-20 2019-08-02 深圳市速腾聚创科技有限公司 数据同步方法和设备
CN110147095A (zh) * 2019-03-15 2019-08-20 广东工业大学 基于路标信息与多传感器数据融合的机器人重定位方法
CN110244322A (zh) * 2019-06-28 2019-09-17 东南大学 基于多源传感器的路面施工机器人环境感知***及方法
CN110389590A (zh) * 2019-08-19 2019-10-29 杭州电子科技大学 一种融合2d环境地图和稀疏人工地标的agv定位***及方法
CN110568447A (zh) * 2019-07-29 2019-12-13 广东星舆科技有限公司 视觉定位的方法、装置及计算机可读介质
CN110749327A (zh) * 2019-08-08 2020-02-04 南京航空航天大学 一种合作环境下的车辆导航方法
CN110782497A (zh) * 2019-09-06 2020-02-11 腾讯科技（深圳）有限公司 相机外参的标定方法、装置
CN110849362A (zh) * 2019-11-28 2020-02-28 湖南率为控制科技有限公司 一种基于车载惯性的激光雷达与视觉组合导航算法
CN111364549A (zh) * 2020-02-28 2020-07-03 江苏徐工工程机械研究院有限公司 一种基于激光雷达的同步建图和自动作业方法及***
WO2020154970A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. Deep learning–based feature extraction for lidar localization of autonomous driving vehicles
CN111551976A (zh) * 2020-05-20 2020-08-18 四川万网鑫成信息科技有限公司 一种结合多种数据对异常定位进行自动补全的方法
CN111595333A (zh) * 2020-04-26 2020-08-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及***
CN111709355A (zh) * 2020-06-12 2020-09-25 北京百度网讯科技有限公司 识别目标区域的方法、装置、电子设备和路侧设备
CN111754798A (zh) * 2020-07-02 2020-10-09 上海电科智能***股份有限公司 融合路侧激光雷达和视频实现车辆和周边障碍物探知方法
CN111929699A (zh) * 2020-07-21 2020-11-13 北京建筑大学 一种顾及动态障碍物的激光雷达惯导里程计与建图方法及***
CN111947647A (zh) * 2020-08-26 2020-11-17 四川阿泰因机器人智能装备有限公司 一种视觉与激光雷达融合的机器人精准定位方法
CN111998832A (zh) * 2020-08-12 2020-11-27 河北雷神科技有限公司 一种基于激光点云的利用无人机准确定位目标物的巡检方法
CN112254729A (zh) * 2020-10-09 2021-01-22 北京理工大学 一种基于多传感器融合的移动机器人定位方法
CN112334790A (zh) * 2019-08-21 2021-02-05 深圳市大疆创新科技有限公司 可移动物体的定位***与定位方法、可移动物体、存储介质
CN112540382A (zh) * 2019-09-07 2021-03-23 山东大学 一种基于视觉识别检测的激光导航agv辅助定位方法
WO2021056190A1 (en) * 2019-09-24 2021-04-01 Beijing Didi Infinity Technology And Development Co., Ltd. Semantic-assisted multi-resolution point cloud registration
CN112904395A (zh) * 2019-12-03 2021-06-04 青岛慧拓智能机器有限公司 一种矿用车辆定位***及方法
CN113091736A (zh) * 2021-04-02 2021-07-09 京东数科海益信息科技有限公司 机器人定位方法、装置、机器人及存储介质
CN113359782A (zh) * 2021-05-28 2021-09-07 福建工程学院 一种融合lidar点云与图像数据的无人机自主选址降落方法
CN113777600A (zh) * 2021-09-09 2021-12-10 北京航空航天大学杭州创新研究院 一种多毫米波雷达协同定位跟踪方法
CN114429432A (zh) * 2022-04-07 2022-05-03 科大天工智能装备技术（天津）有限公司 一种多源信息分层融合方法、装置及存储介质
CN114663992A (zh) * 2022-03-18 2022-06-24 福建工程学院 一种多源数据融合高速公路门架定位方法
WO2022142827A1 (zh) * 2020-12-30 2022-07-07 华为技术有限公司 占道信息确定方法和装置
CN115235478A (zh) * 2022-09-23 2022-10-25 武汉理工大学 基于视觉标签和激光slam的智能汽车定位方法及***
WO2022256976A1 (zh) * 2021-06-07 2022-12-15 深圳市大疆创新科技有限公司 稠密点云真值数据的构建方法、***和电子设备
US11550058B2 (en) 2020-04-10 2023-01-10 Caterpillar Paving Products Inc. Perception system three lidar coverage
CN116299367A (zh) * 2023-05-18 2023-06-23 中国测绘科学研究院 一种多激光空间标定方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017080A (zh) * 2002-09-30 2007-08-15 石川岛播磨重工业株式会社 物体的计测装置
CN101469998A (zh) * 2007-12-27 2009-07-01 爱信艾达株式会社 地物信息收集装置及程序、自车位置识别装置和导航装置
CN103389103A (zh) * 2013-07-03 2013-11-13 北京理工大学 一种基于数据挖掘的地理环境特征地图构建与导航方法
CN105210128A (zh) * 2013-04-10 2015-12-30 谷歌公司 地图构建活跃的和不活跃的施工地带以用于自主驾驶
CN105512646A (zh) * 2016-01-19 2016-04-20 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
CN105719284A (zh) * 2016-01-18 2016-06-29 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法
CN106774335A (zh) * 2017-01-03 2017-05-31 南京航空航天大学 基于多目视觉和惯导的导引装置、地标布局及导引方法
CN106932780A (zh) * 2017-03-14 2017-07-07 北京京东尚科信息技术有限公司 物体定位方法、装置和***
CN107111885A (zh) * 2014-12-30 2017-08-29 诺基亚技术有限公司 用于确定便携式设备的位置的方法
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
CN107688184A (zh) * 2017-07-24 2018-02-13 宗晖（上海）机器人有限公司 一种定位方法以及***
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶***
CN108628206A (zh) * 2017-03-17 2018-10-09 通用汽车环球科技运作有限责任公司 道路施工检测***和方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017080A (zh) * 2002-09-30 2007-08-15 石川岛播磨重工业株式会社 物体的计测装置
CN101469998A (zh) * 2007-12-27 2009-07-01 爱信艾达株式会社 地物信息收集装置及程序、自车位置识别装置和导航装置
CN105210128A (zh) * 2013-04-10 2015-12-30 谷歌公司 地图构建活跃的和不活跃的施工地带以用于自主驾驶
CN107976200A (zh) * 2013-04-10 2018-05-01 伟摩有限责任公司 操作具有自主驾驶模式的车辆的方法和***
CN103389103A (zh) * 2013-07-03 2013-11-13 北京理工大学 一种基于数据挖掘的地理环境特征地图构建与导航方法
CN107111885A (zh) * 2014-12-30 2017-08-29 诺基亚技术有限公司 用于确定便携式设备的位置的方法
CN105719284A (zh) * 2016-01-18 2016-06-29 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
CN105512646A (zh) * 2016-01-19 2016-04-20 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法
CN106774335A (zh) * 2017-01-03 2017-05-31 南京航空航天大学 基于多目视觉和惯导的导引装置、地标布局及导引方法
CN106932780A (zh) * 2017-03-14 2017-07-07 北京京东尚科信息技术有限公司 物体定位方法、装置和***
CN108628206A (zh) * 2017-03-17 2018-10-09 通用汽车环球科技运作有限责任公司 道路施工检测***和方法
CN107688184A (zh) * 2017-07-24 2018-02-13 宗晖（上海）机器人有限公司 一种定位方法以及***
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶***

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020154970A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. Deep learning–based feature extraction for lidar localization of autonomous driving vehicles
CN110147095A (zh) * 2019-03-15 2019-08-20 广东工业大学 基于路标信息与多传感器数据融合的机器人重定位方法
CN110082739A (zh) * 2019-03-20 2019-08-02 深圳市速腾聚创科技有限公司 数据同步方法和设备
CN110082739B (zh) * 2019-03-20 2022-04-12 深圳市速腾聚创科技有限公司 数据同步方法和设备
CN110244322A (zh) * 2019-06-28 2019-09-17 东南大学 基于多源传感器的路面施工机器人环境感知***及方法
CN110568447A (zh) * 2019-07-29 2019-12-13 广东星舆科技有限公司 视觉定位的方法、装置及计算机可读介质
CN110749327A (zh) * 2019-08-08 2020-02-04 南京航空航天大学 一种合作环境下的车辆导航方法
CN110389590A (zh) * 2019-08-19 2019-10-29 杭州电子科技大学 一种融合2d环境地图和稀疏人工地标的agv定位***及方法
CN110389590B (zh) * 2019-08-19 2022-07-05 杭州电子科技大学 一种融合2d环境地图和稀疏人工地标的agv定位***及方法
CN112334790A (zh) * 2019-08-21 2021-02-05 深圳市大疆创新科技有限公司 可移动物体的定位***与定位方法、可移动物体、存储介质
CN110782497A (zh) * 2019-09-06 2020-02-11 腾讯科技（深圳）有限公司 相机外参的标定方法、装置
CN110782497B (zh) * 2019-09-06 2022-04-29 腾讯科技（深圳）有限公司 相机外参的标定方法、装置
CN112540382B (zh) * 2019-09-07 2024-02-13 山东大学 一种基于视觉识别检测的激光导航agv辅助定位方法
CN112540382A (zh) * 2019-09-07 2021-03-23 山东大学 一种基于视觉识别检测的激光导航agv辅助定位方法
WO2021056190A1 (en) * 2019-09-24 2021-04-01 Beijing Didi Infinity Technology And Development Co., Ltd. Semantic-assisted multi-resolution point cloud registration
CN110849362A (zh) * 2019-11-28 2020-02-28 湖南率为控制科技有限公司 一种基于车载惯性的激光雷达与视觉组合导航算法
CN110849362B (zh) * 2019-11-28 2022-01-04 湖南率为控制科技有限公司 一种基于车载惯性的激光雷达与视觉组合导航算法
CN112904395A (zh) * 2019-12-03 2021-06-04 青岛慧拓智能机器有限公司 一种矿用车辆定位***及方法
CN111364549B (zh) * 2020-02-28 2021-11-09 江苏徐工工程机械研究院有限公司 一种基于激光雷达的同步建图和自动作业方法及***
CN111364549A (zh) * 2020-02-28 2020-07-03 江苏徐工工程机械研究院有限公司 一种基于激光雷达的同步建图和自动作业方法及***
US11550058B2 (en) 2020-04-10 2023-01-10 Caterpillar Paving Products Inc. Perception system three lidar coverage
CN111595333A (zh) * 2020-04-26 2020-08-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及***
CN111551976A (zh) * 2020-05-20 2020-08-18 四川万网鑫成信息科技有限公司 一种结合多种数据对异常定位进行自动补全的方法
CN111709355B (zh) * 2020-06-12 2023-08-29 阿波罗智联(北京)科技有限公司 识别目标区域的方法、装置、电子设备和路侧设备
CN111709355A (zh) * 2020-06-12 2020-09-25 北京百度网讯科技有限公司 识别目标区域的方法、装置、电子设备和路侧设备
CN111754798A (zh) * 2020-07-02 2020-10-09 上海电科智能***股份有限公司 融合路侧激光雷达和视频实现车辆和周边障碍物探知方法
CN111929699A (zh) * 2020-07-21 2020-11-13 北京建筑大学 一种顾及动态障碍物的激光雷达惯导里程计与建图方法及***
CN111998832A (zh) * 2020-08-12 2020-11-27 河北雷神科技有限公司 一种基于激光点云的利用无人机准确定位目标物的巡检方法
CN111947647B (zh) * 2020-08-26 2024-05-17 四川阿泰因机器人智能装备有限公司 一种视觉与激光雷达融合的机器人精准定位方法
CN111947647A (zh) * 2020-08-26 2020-11-17 四川阿泰因机器人智能装备有限公司 一种视觉与激光雷达融合的机器人精准定位方法
CN112254729A (zh) * 2020-10-09 2021-01-22 北京理工大学 一种基于多传感器融合的移动机器人定位方法
WO2022142827A1 (zh) * 2020-12-30 2022-07-07 华为技术有限公司 占道信息确定方法和装置
CN113091736A (zh) * 2021-04-02 2021-07-09 京东数科海益信息科技有限公司 机器人定位方法、装置、机器人及存储介质
CN113359782B (zh) * 2021-05-28 2022-07-29 福建工程学院 一种融合lidar点云与图像数据的无人机自主选址降落方法
CN113359782A (zh) * 2021-05-28 2021-09-07 福建工程学院 一种融合lidar点云与图像数据的无人机自主选址降落方法
WO2022256976A1 (zh) * 2021-06-07 2022-12-15 深圳市大疆创新科技有限公司 稠密点云真值数据的构建方法、***和电子设备
CN113777600B (zh) * 2021-09-09 2023-09-15 北京航空航天大学杭州创新研究院 一种多毫米波雷达协同定位跟踪方法
CN113777600A (zh) * 2021-09-09 2021-12-10 北京航空航天大学杭州创新研究院 一种多毫米波雷达协同定位跟踪方法
CN114663992A (zh) * 2022-03-18 2022-06-24 福建工程学院 一种多源数据融合高速公路门架定位方法
CN114429432B (zh) * 2022-04-07 2022-06-21 科大天工智能装备技术（天津）有限公司 一种多源信息分层融合方法、装置及存储介质
CN114429432A (zh) * 2022-04-07 2022-05-03 科大天工智能装备技术（天津）有限公司 一种多源信息分层融合方法、装置及存储介质
CN115235478A (zh) * 2022-09-23 2022-10-25 武汉理工大学 基于视觉标签和激光slam的智能汽车定位方法及***
CN115235478B (zh) * 2022-09-23 2023-04-07 武汉理工大学 基于视觉标签和激光slam的智能汽车定位方法及***
CN116299367B (zh) * 2023-05-18 2024-01-26 中国测绘科学研究院 一种多激光空间标定方法
CN116299367A (zh) * 2023-05-18 2023-06-23 中国测绘科学研究院 一种多激光空间标定方法

Also Published As

Publication number Publication date
CN109099901B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN109099901A (zh) 基于多源数据融合的全自动压路机定位方法
CN110084272B (zh) 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法
US10897575B2 (en) Lidar to camera calibration for generating high definition maps
CN108571971B (zh) 一种agv视觉定位***及方法
CN106651953B (zh) 一种基于交通指示牌的车辆位姿估计方法
CN111652179A (zh) 基于点线特征融合激光的语义高精地图构建与定位方法
CN103411609B (zh) 一种基于在线构图的飞行器返航路线规划方法
CN106296814B (zh) 公路养护检测与可视化交互方法和***
CN104729485A (zh) 一种基于车载全景影像与街景地图匹配的视觉定位方法
CN105667518A (zh) 车道检测的方法及装置
CN110308729A (zh) 基于视觉与imu或里程计的agv组合导航定位方法
CN103837143B (zh) 一种超视瞄准测绘机
CN103885455B (zh) 跟踪测量机器人
CN103868504B (zh) 自主测绘机
CN110263607A (zh) 一种用于无人驾驶的道路级全局环境地图生成方法
CN106705962A (zh) 一种获取导航数据的方法及***
CN111721279A (zh) 一种适用于输电巡检工作的末端路径导航方法
CN112749584B (zh) 一种基于图像检测的车辆定位方法及车载终端
CN116129067A (zh) 一种基于多源地理信息耦合的城市实景三维建模方法
CN116883604A (zh) 一种基于天、空、地影像的三维建模技术方法
Hara et al. Vehicle localization based on the detection of line segments from multi-camera images
Alshaiba et al. Automatic manhole extraction from MMS data to update basemaps
CN112446915A (zh) 一种基于图像组的建图方法及装置
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
CN112530270B (zh) 一种基于区域分配的建图方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190404

Address after: Room 525, Building 333 Xingpu Road, Suzhou Industrial Park, Jiangsu Province

Applicant after: Zhongke Weiyi (Suzhou) Intelligent Technology Co., Ltd.

Address before: 215021 Linquan Street 399, Suzhou Industrial Park, Jiangsu Province

Applicant before: Suzhou Road Agent Intelligent Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant