CN115097419A - 一种激光雷达到imu的外参标定方法及装置 - Google Patents

一种激光雷达到imu的外参标定方法及装置 Download PDF

Info

Publication number
CN115097419A
CN115097419A CN202210498192.8A CN202210498192A CN115097419A CN 115097419 A CN115097419 A CN 115097419A CN 202210498192 A CN202210498192 A CN 202210498192A CN 115097419 A CN115097419 A CN 115097419A
Authority
CN
China
Prior art keywords
point cloud
cloud data
frames
imu
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210498192.8A
Other languages
English (en)
Inventor
李怡康
闫国行
施春磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai AI Innovation Center
Original Assignee
Shanghai AI Innovation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai AI Innovation Center filed Critical Shanghai AI Innovation Center
Priority to CN202210498192.8A priority Critical patent/CN115097419A/zh
Publication of CN115097419A publication Critical patent/CN115097419A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manufacturing & Machinery (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请涉及激光雷达标定技术领域，提供一种激光雷达到IMU的外参标定方法，包括：获取激光雷达探测到的连续N帧点云数据，N≥2；对连续N帧点云数据进行特征提取，确定与N帧点云数据对应的特征点；根据预设的IMU与第一坐标系之间的转换关系，将N帧点云数据投射至第一坐标系下；在第一坐标系下，根据N帧点云数据中的第K帧点云数据对应的特征点与N帧点云数据中的第1帧点云数据对应的特征点，确定激光雷达至IMU的外参矩阵，1≤K＜N。本申请实施例提供的激光雷达到IMU的外参标定方法可以基于激光雷达和IMU这两个传感器，通过优化融合处理上述两个传感器获取的数据，为自动驾驶***提供准确的周围环境数据。

Description

一种激光雷达到IMU的外参标定方法及装置
技术领域
本申请属于激光雷达标定技术领域，尤其涉及一种激光雷达到IMU的外参标定方法及装置。
背景技术
在自动驾驶***中，可以说传感器感知周围环境的精准度决定了自动驾驶***运行的稳定程度，为了提高传感器感知周围环境的精准度，常采用多模型互补的传感器协作技术以获取更多的周围环境信息，然后对多传感获取到的数据进行融合处理，得到可靠的周围环境数据。
其中，激光雷达可以获取包含准确深度信息和反射强度信息的3D点云数据，惯性测量单元(Inertial measurement unit，IMU)可以稳定的观测车辆的本体运动状态并高频输出车辆的驾驶状态数据，但是激光雷达针对环境因素较为相似的场景则会获取模糊的点云数据，后续无法较好的提取点云数据的特征；IMU输出的数据可能受温度以及噪声的影响而使得输出的驾驶状态数据存在偏差。因此，二者的融合能够克服单一传感器在使用过程中的缺陷，但是异构传感器获取的数据存在较大差异，如何基于激光雷达和IMU这两个传感器进一步优化融合过程，提供准确的周围环境数据成为了亟需解决的问题。
发明内容
本申请实施例提供了一种激光雷达到IMU的外参标定方法及装置，可以基于激光雷达和IMU这两个传感器，优化融合处理上述两个传感器获取的数据，为自动驾驶***提供准确的周围环境数据。
第一方面，本申请实施例提供了一种激光雷达到IMU的外参标定方法，该方法包括：获取激光雷达探测到的连续N帧点云数据，N≥2；对连续N帧点云数据进行特征提取，确定与N帧点云数据对应的特征点；根据预设的IMU与第一坐标系之间的转换关系，将N帧点云数据投射至第一坐标系下；在第一坐标系下，根据N帧点云数据中的第K帧点云数据对应的特征点与第1帧点云数据对应的特征点，确定激光雷达至IMU的外参矩阵，1≤K＜N。
在第一方面的一种可能的实现方式中，获取激光雷达探测到的连续N帧点云数据，N≥2，包括：获取激光雷达探测的点云数据；将点云数据划分M个滑动窗口，每个滑动窗口包括N帧点云数据，M≥1，N≥2。
在第一方面的一种可能的实现方式中，对连续N帧点云数据进行特征提取，确定与N帧点云数据对应的特征点，包括：对N帧点云数据中的每帧点云数据，按照第一预设分辨率划分多个第一体素网格；根据多个第一体素网格中每个第一体素网格对应的协方差矩阵，确定每帧点云数据对应的特征点。
在第一方面的一种可能的实现方式中，根据多个第一体素网格中每个第一体素网格对应的协方差矩阵，确定每帧点云数据对应的特征点，包括：计算多个第一体素网格中每个第一体素网格对应的协方差矩阵的特征值，确定每个第一体素网格内的点云数据对应的特征点；
若每个第一体素网格内的点云数据对应的特征点属于同一特征点，则保留所述第一体素网格；
若每个第一体素网格内的点云数据对应的特征点不属于同一特征点，则将第一体素网格按照第二预设分辨率划分多个第二体素网格，确定每个第二体素网格内的点云数据对应的特征点，直至确定每个第一体素网格内的点云数据的特征点，第二预设分辨率小于所述第一预设分辨率。
在第一方面的一种可能的实现方式中，该方法还包括：若第一体素网格内的点云数据的数量大于预设阈值，则获取第一体素网格内所有点云数据的均值；确定每个第一体素网格内的点云数据的特征点。
在第一方面的一种可能的实现方式中，对连续N帧点云数据进行特征提取，确定与N帧点云数据对应的特征点之后，该方法还包括：
根据N帧点云数据和与N帧点云数据对应的特征点之间的关联关系，建立哈希表。
在第一方面的一种可能的实现方式中，在第一坐标系下，根据N帧点云数据中的第K帧点云数据对应的特征点与第1帧点云数据对应的特征点，确定激光雷达至IMU的外参矩阵，1≤K＜N，包括：
在第一坐标系下，最小化N帧点云数据中第K帧点云数据对应的特征点到第1帧点云数据对应的特征点之间的距离之和，得到激光雷达至IMU的外参矩阵，1≤K＜N。
第二方面，本申请实施例提供了一种激光雷达到IMU的外参标定装置，包括：获取单元，用于获取激光雷达探测到的连续N帧点云数据，N≥2；
第一确定单元，用于对连续N帧点云数据进行特征提取，确定与N帧点云数据对应的特征点；
转换单元，用于根据预设的IMU与第一坐标系之间的转换关系，将N帧点云数据投射至第一坐标系下；
第二确定单元，用于在第一坐标系下，根据N帧点云数据中的第K帧点云数据对应的特征点与第1帧点云数据对应的特征点，确定激光雷达至IMU的外参矩阵，1≤K＜N。
第三方面，本申请提供一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面或第一方面的任一可选方式所述的方法。
第四方面，一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面或第一方面的任一可选方式所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行如第一方面或第一方面的任一可选方式所述的方法。
本申请实施例与现有技术相比存在的有益效果是：
本申请实施例提供的一种激光雷达到IMU的外参标定方法，该方法通过对激光雷达探测到的多帧点云数据进行特征提取，得到与多帧点云数据对应的特征点，然后基于多帧点云数据中第一帧点云数据与其他帧点云数据之间的转换关系，将多帧点云数据转换至同一第一坐标系下，最后根据同一第一坐标系下点云数据中各帧点云数据的特征点与第一帧点云数据对应的特征点，得到激光雷达至IMU的外参转换矩阵。该方法未直接对激光雷达获取的数据与IMU数据进行融合处理，克服了由于IMU数据累计误差导致标定结果不准确的问题，实现了基于激光雷达和IMU这两个传感器，通过优化处理激光雷达获取的数据，为自动驾驶***提供准确的周围环境数据。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的多个传感器感知范围的示意图；
图2是本申请一实施例提供的基于滤波的激光雷达到IMU外参估计的流程示意图；
图3是本申请一实施例提供的一种激光雷达到IMU的外参标定方法的流程示意图；
图4是本申请一实施例提供的获取激光雷达探测的多帧点云数据的一种场景示意图；
图5是本申请一实施例提供的一种特征提取后的效果示意图；
图6是本申请一实施例提供的一种第一坐标系转换过程的示意图；
图7是本申请一实施例提供的利用未优化外参矩阵对获取的点云数据处理后的效果示意；
图8是本申请实施例提供的利用优化后的外参矩阵对获取的同一点云数据处理后的效果示意图；
图9是本申请实施例提供的一种激光雷达到IMU的外参标定装置的结构框图；
图10是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
在自动驾驶***中，可以说传感器感知周围环境的精准度决定了自动驾驶***运行的稳定程度，为了提高传感器感知周围环境的精准度，常采用多传感器标定技术以获取更多的周围环境信息，然后对多传感获取到的数据进行融合处理，得到可靠的周围环境数据。
其中，多传感器标定技术中，多传感器感知周围环境的能力以及感知范围不同，多传感器的标定过程是指确定多个传感器之间的相对位置关系的过程。如图1所示为本申请实施例提供的多个传感器感知范围的示意图，参见图1，Four-Layer Laserscanner表示四层激光扫描传感器，Single-Layer Laserscanner表示单层激光扫描传感器，Radar表示毫米波雷达传感器，UItrasonic表示超声波传感器，Imu表示惯性测量传感器。
其中，激光雷达可以获取包含准确深度信息和反射强度信息的3D点云数据，IMU可以稳定的观测车辆的本体运动状态并高频输出车辆的驾驶状态数据，但是激光雷达针对环境因素较为相似的场景则会获取模糊的点云数据，后续无法较好的提取点云数据的特征；IMU输出的数据可能受温度以及噪声的影响而使得输出的驾驶状态数据存在偏差。因此，二者的融合能够克服单一传感器在使用过程中的缺陷，但是异构传感器获取的数据存在较大差异，如何基于激光雷达和IMU这两个传感器进一步优化融合过程，提供准确的周围环境数据成为了亟需解决的问题。
现有技术中，针对激光雷达和IMU传感器的标定技术有两种，一种是基于滤波的外参标定方法，该方法是分别求解激光雷达的位姿数据和IMU的位姿数据，然后利用卡尔曼滤波算法对得到的激光雷达位姿数据的位姿数据和IMU的位姿数据进行融合。
如图2所示为本申请实施例提供的基于滤波的激光雷达到IMU外参估计的流程示意图，基于滤波的外参标定方法是确定相邻两个时刻的激光雷达坐标系与IMU坐标系之间的关系，具体地，假设相邻两个时刻对应的第一时刻标记为k，第二时刻标记为k+1，Lk表示激光雷达在k时刻的坐标系，Ik表示IMU在k时刻的坐标系，Lk+1表示激光雷达在k+1时刻的坐标系，Ik+1表示IMU在k+1时刻的坐标系，IMU到激光雷达坐标系下的转换矩阵为
Figure BDA0003634117140000061
从k时刻到k+1时刻上述激光雷达的旋转矩阵为
Figure BDA0003634117140000062
若知道IMU到激光雷达坐标系下的转换矩阵
Figure BDA0003634117140000063
则k时刻到k+1时刻激光雷达的旋转矩阵
Figure BDA0003634117140000064
可通过以下公式(1)确定：
Figure BDA0003634117140000065
上述公式(1)可以参考以下四元数的相关公式进行求解，上述公式(1)用四元数表示为以下公式(2)：
Figure BDA0003634117140000066
其中，将上述(2)分别左乘和右乘，可以得到以下公式(3)：
Figure BDA0003634117140000071
若存在多组激光雷达探测到的数据与IMU获取到的数据之间的对应关系，则可以得到如下公式(4)所示的超定方程：
Figure BDA0003634117140000072
上述公式(4)中，ω表示不同组数据对应的权重值，其由相邻两个时刻激光雷达之间的变换向量与通过IMU坐标系推导得到的变换向量之间的差值确定，Q表示上述公式(2)中的
Figure BDA0003634117140000073
最后利用奇异值分解法计算上述公式(4)，取最小奇异值对应的特征向量来得到激光雷达到IMU坐标系下的转换矩阵为
Figure BDA0003634117140000074
即可得到图2所示的
Figure BDA0003634117140000075
上述这种方法中仅仅利用激光雷达探测到的数据和IMU得到的数据无法得到车身坐标系下二者之间的外参标定参数，且利用IMU获取的数据存在累计误差，该方法并没有对IMU获取的数据进行优化，导致无法获取准确的标定参数。
另一种是基于优化的外参标定方法，该方法利用假设的六自由度参数将激光雷达探测的数据转换至IMU坐标系下，构成点云数据，然后基于两次扫描得到的点云数据通过kd树(k-dimensional tree)或者八叉树确定最近邻的数据点，并计算每个最近邻的数据点对应的距离，得到总距离，当总距离最小时认为扫描两次得到的由转换至IMU坐标系下的激光雷达探测的数据构成的点云数据重合，取此时对应的六自由度参数作为激光雷达到IMU传感器的标定参数。该方法虽然考虑了IMU获取到的数据存在累计误差的情况，但是该过程中需要建立对应的模型并计算最近邻数据点的总距离，延长了计算时间，无法保证数据处理的实时性。
因此，为解决上述问题，本申请实施例提供一种激光雷达到IMU的外参标定方法，该方法通过对激光雷达探测到的多帧点云数据进行特征提取，得到与多帧点云数据对应的特征点，然后基于多帧点云数据中第一帧点云数据与其他帧点云数据之间的转换关系，将多帧点云数据转换至同一第一坐标系下，最后根据同一第一坐标系下点云数据中各帧点云数据的特征点与第一帧点云数据对应的特征点，得到激光雷达至IMU的外参转换矩阵。该方法未直接对激光雷达获取的数据与IMU数据进行融合处理，克服了由于IMU数据累计误差导致标定结果不准确的问题，实现了基于激光雷达和IMU这两个传感器，通过优化处理激光雷达获取的数据，为自动驾驶***提供准确的周围环境数据。
此外，该方法基于同一第一坐标系，最小化多帧点云数据中第K帧点云数据对应的特征点到第1帧点云数据对应的特征点之间的距离之和，得到激光雷达至所述IMU的外参矩阵，使得获取的外参转换矩阵为优化处理后的外参转换矩阵，进一步保证了外参转换矩阵的精确度。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
如图3所示为本申请实施例提供的一种激光雷达到IMU的外参标定方法的流程示意图，该方法包括：
S101，获取激光雷达探测到的连续N帧点云数据，N≥2。
应理解，点云数据是指一个三维坐标系中的一组向量的集合。该步骤中本质上是获取到点云数据中每个点云点对应的三维坐标。
为了加速点云数据的处理过程，在一种可能的实施方式中，获取激光雷达探测到的连续N帧点云数据，N≥2，包括：获取激光雷达探测的点云数据；将点云数据划分M个滑动窗口，每个滑动窗口包括N帧点云数据，M≥1，N≥2。
示例性的，假设激光雷达探测到的点云数据包括10帧点云数据，可以将10帧点云数据划分两个滑动窗口，每个滑动窗口包括5帧点云数据，依次对包括5帧点云数据的滑动窗口内的点云数据进行处理。
在本申请实施例中，将获取的点云数据存储为*.pcd格式的文件，便于后续的数据调用。
为了充分获取不同旋转角度下的点云数据，本申请实施例中，部署有IMU和激光雷达的车辆绕如图4所示的八字形轨迹驾驶，以获取旋转角度为360°下的点云数据。
在一种可能的实施方式中，为了避免噪点对外参结果的影响，可以对激光雷达探测的点云数据进行滤波处理，从探测到的点云数据中滤除噪点，示例性的，滤波方法可以包括卡尔曼滤波、平滑滤波和/或拉普拉斯算子等。
S102，对连续N帧点云数据进行特征提取，确定与N帧点云数据对应的特征点。
特征提取过程也是抽取N帧点云数据中的每一帧点云数据对应的特征点的过程，即判断每一帧点云数据中的点云点是属于边缘线上的点(以下简称为线点)还是属于平面上的点(以下简称为面点)。
在一种可能的实施方式中，对连续N帧点云数据进行特征提取，确定与N帧点云数据对应的特征点，包括：对N帧点云数据中的每帧点云数据，按照第一预设分辨率划分多个第一体素网格；根据多个第一体素网格中每个第一体素网格对应的协方差矩阵，确定每帧点云数据对应的特征点。
其中，根据多个第一体素网格中每个第一体素网格对应的协方差矩阵，确定每帧点云数据对应的特征点，包括：计算多个第一体素网格中每个第一体素网格对应的协方差矩阵的特征值，确定每个第一体素网格内的点云数据对应的特征点；若每个第一体素网格内的点云数据对应的特征点属于同一特征点，则保留所述第一体素网格；若每个第一体素网格内的点云数据对应的特征点不属于同一特征点，则将第一体素网格按照第二预设分辨率划分多个第二体素网格，确定每个第二体素网格内的点云数据对应的特征点，直至确定每个第一体素网格内的点云数据的特征点，第二预设分辨率小于所述第一预设分辨率。
在本申请实施例中，采用自适应体素栅格方法抽取N帧点云数据中每一帧点云数据对应的特征点，如图5所示为本申请实施例提供的一种特征提取后的效果示意图。
特征提取过程包括：针对N帧点云数据中的每一帧点云数据，按照第一预设分辨率划分多个第一体素网格，计算多个第一体素网格中，每个第一体素网格内协方差矩阵的特征值，判断每个第一体素网格内的点云点是否落在同一个边缘线上或平面上，若第一体素网格内的点都落在同一个边缘线上或平面上，则保留当前第一体素网格；反之，将第一体素网格按照第二预设分辨率划分多个第二体素网格，第二预设分辨率小于第一预设分辨率；重复执行确定每个第二体素网格内的点都落在同一个边缘线上或平面上步骤，直至每个第一体素网格内的点云数据都落在同一个边缘线上或平面上。
示例性的，假设激光雷达采集到的点云数据的三维坐标值是以米为单位计量的，则可以设置第一预设分辨率为1m，选取分辨率为1m的体素网格划分N帧点云数据中的每一帧点云数据。
在实际设计过程中，若第一体素网格内的点云数据的数量大于第一预设阈值，则获取第一体素网格内点云数据的均值，以判断第一体素网格内的点云点是否落在同一个边缘线上或平面上。
当然，若第二体素网格内的点云数据的数量大于第二预设阈值，则也可以获取第二体素网格内点云数据的均值，以判断第二体素网格内的点云点是否落在同一个边缘线上或平面上。
上述第一预设阈值和第二预设阈值可以根据实际需要进行设计，本申请对此不作限定。
在另一种可能的实施方式中，将获取的点云数据划分M个滑动窗口，M个滑动窗口中的每个滑动窗口中包括N帧点云数据，其中，M≥1，N≥2；对每个滑动窗口中的N帧点云数据进行特征提取，确定N帧点云数据中的每一帧点云数据对应的特征点。
S103，根据预设的IMU与第一坐标系之间的转换关系，将N帧点云数据投射至预设的第一坐标系下。
其中，第一坐标系是指某一固定坐标系，示例性的，在本申请实施例中第一坐标系可以为世界坐标系，该世界坐标系为激光雷达和IMU所在的自动驾驶***的绝对坐标系。
如图6所示为本申请实施例提供的一种第一坐标系转换过程的示意图，参见图6，实线坐标系L表示激光雷达坐标系，虚线坐标系I表示IMU坐标系，第一坐标系为世界坐标系W。
假设N＝5，图6中P时刻表示获取5帧点云数据中的第1帧点云数据的时间，图6中O时刻表示获取5帧点云数据中的第3帧点云数据的时间，则将第3帧点云数据投影至世界坐标系W下的过程可以参见以下公式(5)：
Figure BDA0003634117140000111
上述公式(5)中，
Figure BDA0003634117140000112
表示O时刻激光雷达坐标系到P时刻激光雷达坐标系之间的转换矩阵；
Figure BDA0003634117140000113
表示激光雷达坐标系到IMU坐标系之间的转换矩阵，即预设的外参矩阵，
Figure BDA0003634117140000114
表示P时刻IMU坐标系到世界坐标系之间的转换矩阵，即
Figure BDA0003634117140000115
表示P时刻IMU坐标系到世界坐标系之间的转换矩阵的逆矩阵，
Figure BDA0003634117140000116
表示O时刻IMU坐标系到世界坐标系之间的转换矩阵。不难理解的，上述将第3帧点云数据投影至世界坐标系W下的过程本质上是将N帧点云数据中，第2帧点云数据至第N帧点云数据分别投射至第1帧点云数据中，然后再转换至世界坐标系W下的过程。
在实际应用过程中，
Figure BDA0003634117140000117
即IMU与世界坐标系W之间的转换关系，其具体取值可以根据IMU采集的数据确定，
Figure BDA0003634117140000118
的具体取值可以根据激光雷达的探测到的点云数据确定，预设的外参矩阵可以根据实际应用设置，本申请对此不作限定。
将连续N帧点云数据均通过上述公式(5)转换至第一坐标系(即世界坐标系)下后，为了便于查询、检索点云数据与其对应的特征点，可选地，根据N帧点云数据和与N帧点云数据分别对应的特征点之间的关联关系，建立哈希表。
S104，在第一坐标系下，根据N帧点云数据中的第K帧点云数据对应的特征点与第1帧点云数据对应的特征点，确定激光雷达至IMU的外参矩阵，1≤K＜N。
在本申请实施例中，利用以下公式(6)在第一坐标系下，最小化N帧点云数据中第K帧点云数据对应的特征点到第1帧点云数据对应的特征点之间的距离之和，得到激光雷达至IMU的外参矩阵，1≤K＜N。
Figure BDA0003634117140000121
上述公式(6)中，i表示第i个特征点，q表示M帧滑动窗口中第1帧点云数据的某一边缘线或者平面内的特征点，pi表示在M帧滑动窗口中第K帧点云数据的特征点pi，nT表示边缘线的方向向量或者是平面的法向量。
假设第i个特征点是从第Si帧提取的，其中，i∈{1，…，N}，Si∈{1，…，M}，M帧滑动窗口中点云数据对应的三维坐标标记为T＝(T1，…，TM)；则在M帧滑动窗口中第K帧点云数据的特征点pi可以用以下公式(7)表示：
pi＝Rsipfi+tsii＝1，…，N (7)
上述公式(7)中，pfi(i∈{1，…，N})表示从M帧滑动窗口中抽取到的特征点，且该特征点关联到了同一平面或者同一边缘线上；Rsi表示旋转矩阵，tsi表示平移矩阵。
根据上述公式(6)和上述公式(7)即可确定激光雷达至IMU的外参矩阵。
针对将激光雷达探测到的点云数据划分滑动窗口的情况，则最小化M帧滑动窗口中第K帧点云数据到对应更新后的第1帧点云数据之间的距离之和，即可得到针对每个滑动窗口的激光雷达至IMU的外参矩阵，1≤K＜N。不难理解的，基于激光雷达与IMU在车辆上不变的部署位置，因此，基于每个滑动窗口获取的激光雷达至IMU的外参矩阵是相等的。
如图7所示为本申请实施例提供的利用未优化外参矩阵对获取的点云数据处理后的效果示意，如图8所示为本申请实施例提供的利用优化后的外参矩阵对获取的同一点云数据处理后的效果示意图，根据图8不仅验证本申请实施例提供的激光雷达到IMU的外参标定方法的可行性，而且从图8中可以看出，利用本申请实施例提供的激光雷达到IMU的外参标定方法处理后的结果更加清晰、准确，相比与现有技术，明显能够提高激光雷达到IMU的外参标定的准确度。
本申请实施例提供的一种激光雷达到IMU的外参标定方法，该方法通过对激光雷达探测到的多帧点云数据进行特征提取，得到与多帧点云数据对应的特征点，然后基于多帧点云数据中第一帧点云数据与其他帧点云数据之间的转换关系，将多帧点云数据转换至同一第一坐标系下，最后根据同一第一坐标系下点云数据中各帧点云数据的特征点与第一帧点云数据对应的特征点，得到激光雷达至IMU的外参转换矩阵。该方法未直接对激光雷达获取的数据与IMU数据进行融合处理，克服了由于IMU数据累计误差导致标定结果不准确的问题，实现了基于激光雷达和IMU这两个传感器，通过优化处理激光雷达获取的数据，为自动驾驶***提供准确的周围环境数据。
此外，该方法基于同一第一坐标系，最小化多帧点云数据中第K帧点云数据对应的特征点到第1帧点云数据对应的特征点之间的距离之和，得到激光雷达至所述IMU的外参矩阵，使得获取的外参转换矩阵为优化处理后的外参转换矩阵，进一步保证了外参转换矩阵的精确度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的激光雷达至IMU的外参标定方法，图9示出了本申请实施例提供的一种激光雷达到IMU的外参标定装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图5，该装置激光雷达到IMU的外参标定装置200包括：获取单元201，用于获取激光雷达探测到的连续N帧点云数据，N≥2；
第一确定单元202，用于对连续N帧点云数据进行特征提取，确定与N帧点云数据对应的特征点；
转换单元203，用于根据预设的IMU与第一坐标系之间的转换关系，将N帧点云数据投射至第一坐标系下；
第二确定单元204，用于在第一坐标系下，根据N帧点云数据中的第K帧点云数据对应的特征点与第1帧点云数据对应的特征点，确定激光雷达至IMU的外参矩阵，1≤K＜N。
可选地，获取单元201，还用于：获取激光雷达探测的点云数据；将点云数据划分M个滑动窗口，每个滑动窗口包括N帧点云数据，M≥1，N≥2。
可选地，第一确定单元202，还用于：对N帧点云数据中的每帧点云数据，按照第一预设分辨率划分多个第一体素网格；根据多个第一体素网格中每个第一体素网格对应的协方差矩阵，确定每帧点云数据对应的特征点。
可选地，根据多个第一体素网格中每个第一体素网格对应的协方差矩阵，确定每帧点云数据对应的特征点，包括：计算多个第一体素网格中每个第一体素网格对应的协方差矩阵的特征值，确定每个第一体素网格内的点云数据对应的特征点；
若每个第一体素网格内的点云数据对应的特征点属于同一特征点，则保留所述第一体素网格；
若每个第一体素网格内的点云数据对应的特征点不属于同一特征点，则将第一体素网格按照第二预设分辨率划分多个第二体素网格，确定每个第二体素网格内的点云数据对应的特征点，直至确定每个第一体素网格内的点云数据的特征点，第二预设分辨率小于所述第一预设分辨率。
可选地，该方法还包括：若第一体素网格内的点云数据的数量大于预设阈值，则获取第一体素网格内所有点云数据的均值；确定每个第一体素网格内的点云数据的特征点。
可选地，对连续N帧点云数据进行特征提取，确定与N帧点云数据对应的特征点之后，该方法还包括：
根据N帧点云数据和与N帧点云数据对应的特征点之间的关联关系，建立哈希表。
可选地，第二确定单元204，还用于：在第一坐标系下，最小化N帧点云数据中第K帧点云数据对应的特征点到第1帧点云数据对应的特征点之间的距离之和，得到激光雷达至IMU的外参矩阵，1≤K＜N。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
基于同一发明构思，本申请实施例还提供了一种终端设备，该终端设备300如图10所示。
如图10所示，该实施例的终端设备300包括：处理器301、存储器302以及存储在存储器302中并可在处理器301上运行的计算机程序303。计算机程序303可被处理器301运行，生成指令，处理器301可根据指令实现上述各个权限认证方法实施例中的步骤。或者，处理器301执行计算机程序303时实现上述各装置实施例中各模块/单元的功能。
示例性的，计算机程序303可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器302中，并由处理器301执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序303在终端设备300中的执行过程。
本领域技术人员可以理解，图10仅仅是终端设备300的示例，并不构成对终端设备300的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备300还可以包括输入输出设备、网络接入设备、总线等。
处理器301可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器302可以是终端设备300的内部存储单元，例如终端设备300的硬盘或内存。存储器302也可以是终端设备300的外部存储设备，例如终端设备300上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)等。进一步地，存储器302还可以既包括终端设备300的内部存储单元也包括外部存储设备。存储器302用于存储计算机程序以及终端设备300所需的其它程序和数据。存储器302还可以用于暂时地存储已经输出或者将要输出的数据。
本实施例提供的终端设备可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的方法。
本申请实施例还提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述方法实施例的方法。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在本申请中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
此外，在本申请中，除非另有明确的规定和限定，术语“连接”、“相连”等应做广义理解，例如可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定、对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种激光雷达到IMU的外参标定方法，其特征在于，包括：
获取激光雷达探测到的连续N帧点云数据，N≥2；
对所述连续N帧点云数据进行特征提取，确定与所述N帧点云数据对应的特征点；
根据预设的IMU与第一坐标系之间的转换关系，将所述N帧点云数据投射至所述第一坐标系下；
在所述第一坐标系下，根据所述N帧点云数据中的第K帧点云数据对应的特征点与第1帧点云数据对应的特征点，确定所述激光雷达至所述IMU的外参矩阵，1≤K＜N。
2.根据权利要求1所述的方法，其特征在于，所述获取激光雷达探测到的连续N帧点云数据，N≥2，包括：
获取激光雷达探测的点云数据；
将所述点云数据划分M个滑动窗口，每个滑动窗口包括N帧点云数据，M≥1，N≥2。
3.根据权利要求1所述的方法，其特征在于，所述对所述连续N帧点云数据进行特征提取，确定与所述N帧点云数据对应的特征点，包括：
对所述N帧点云数据中的每帧点云数据，按照第一预设分辨率划分多个第一体素网格；
根据多个所述第一体素网格中每个所述第一体素网格对应的协方差矩阵，确定所述每帧点云数据对应的特征点。
4.根据权利要求3所述的方法，其特征在于，所述根据多个所述第一体素网格中每个所述第一体素网格对应的协方差矩阵，确定所述每帧点云数据对应的特征点，包括：
计算多个所述第一体素网格中每个所述第一体素网格对应的协方差矩阵的特征值，确定每个所述第一体素网格内的点云数据对应的特征点；
若每个所述第一体素网格内的点云数据对应的特征点属于同一特征点，则保留所述第一体素网格；
若每个所述第一体素网格内的点云数据对应的特征点不属于同一特征点，则将所述第一体素网格按照第二预设分辨率划分多个第二体素网格，确定每个所述第二体素网格内的点云数据对应的特征点，直至确定每个所述第一体素网格内的点云数据的特征点，所述第二预设分辨率小于所述第一预设分辨率。
5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：若所述第一体素网格内的点云数据的数量大于预设阈值，则获取所述第一体素网格内所有点云数据的均值；确定每个所述第一体素网格内的点云数据的特征点。
6.根据权利要求1所述的方法，其特征在于，所述对所述连续N帧点云数据进行特征提取，确定与所述N帧点云数据对应的特征点之后，所述方法还包括：
根据所述N帧点云数据和与所述N帧点云数据对应的特征点之间的关联关系，建立哈希表。
7.根据权利要求1所述的方法，其特征在于，所述在所述第一坐标系下，根据所述N帧点云数据中的第K帧点云数据对应的特征点与所述第1帧点云数据对应的特征点，确定所述激光雷达至所述IMU的外参矩阵，1≤K＜N，包括：
在所述第一坐标系下，最小化所述N帧点云数据中第K帧点云数据对应的特征点到所述第1帧点云数据对应的特征点之间的距离之和，得到所述激光雷达至所述IMU的外参矩阵，1≤K＜N。
8.一种激光雷达到IMU的外参标定装置，其特征在于，包括：
获取单元，用于获取激光雷达探测到的连续N帧点云数据，N≥2；
第一确定单元，用于对所述连续N帧点云数据进行特征提取，确定与所述N帧点云数据对应的特征点；
转换单元，用于根据预设的IMU与第一坐标系之间的转换关系，将所述N帧点云数据投射至第一坐标系下；
第二确定单元，用于在所述第一坐标系下，根据所述N帧点云数据中的第K帧点云数据对应的特征点与第1帧点云数据对应的特征点，确定所述激光雷达至所述IMU的外参矩阵，1≤K＜N。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202210498192.8A 2022-05-09 2022-05-09 一种激光雷达到imu的外参标定方法及装置 Pending CN115097419A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210498192.8A CN115097419A (zh) 2022-05-09 2022-05-09 一种激光雷达到imu的外参标定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210498192.8A CN115097419A (zh) 2022-05-09 2022-05-09 一种激光雷达到imu的外参标定方法及装置

Publications (1)

Publication Number Publication Date
CN115097419A true CN115097419A (zh) 2022-09-23

Family

ID=83287072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210498192.8A Pending CN115097419A (zh) 2022-05-09 2022-05-09 一种激光雷达到imu的外参标定方法及装置

Country Status (1)

Country Link
CN (1) CN115097419A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292140A (zh) * 2023-10-17 2023-12-26 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质
CN117590362A (zh) * 2024-01-19 2024-02-23 深圳海星智驾科技有限公司 一种多激光雷达外参标定方法、装置和设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292140A (zh) * 2023-10-17 2023-12-26 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质
CN117292140B (zh) * 2023-10-17 2024-04-02 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质
CN117590362A (zh) * 2024-01-19 2024-02-23 深圳海星智驾科技有限公司 一种多激光雷达外参标定方法、装置和设备
CN117590362B (zh) * 2024-01-19 2024-04-16 深圳海星智驾科技有限公司 一种多激光雷达外参标定方法、装置和设备

Similar Documents

Publication Publication Date Title
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、***、装置
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及***
CN108319655B (zh) 用于生成栅格地图的方法和装置
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
KR102054455B1 (ko) 이종 센서 간의 캘리브레이션 장치 및 방법
CN115097419A (zh) 一种激光雷达到imu的外参标定方法及装置
CN110189257B (zh) 点云获取的方法、装置、***及存储介质
EP3293700A1 (en) 3d reconstruction for vehicle
Konrad et al. Localization in digital maps for road course estimation using grid maps
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN114217665A (zh) 一种相机和激光雷达时间同步方法、装置及存储介质
CN115436920A (zh) 一种激光雷达标定方法及相关设备
CN115187941A (zh) 目标检测定位方法、***、设备及存储介质
CN114494466A (zh) 外参标定方法、装置及设备、存储介质
CN117541655A (zh) 融合视觉语义消除radar建图z轴累积误差的方法
CN114648639B (zh) 一种目标车辆的检测方法、***及装置
CN115236643A (zh) 一种传感器标定方法、***、装置、电子设备及介质
CN112433193B (zh) 一种基于多传感器的模位置定位方法及***
CN115082289A (zh) 激光雷达点云的投影方法、装置、设备及存储介质
CN111462321B (zh) 点云地图处理方法、处理装置、电子装置和车辆
CN114241011A (zh) 目标检测方法、装置、设备及存储介质
CN112712062A (zh) 基于解耦截断物体的单目三维物体检测方法和装置
CN112802117B (zh) 一种激光雷达和摄像头标定参数盲复原方法
CN115994934B (zh) 数据时间对齐方法、装置以及域控制器
Wu et al. Research on traffic object recognition based on multi-sensor fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination