CN114758005B - 激光雷达与相机外参标定方法及装置 - Google Patents

Abstract

本发明提供一种激光雷达与相机外参标定方法及装置，包括：基于相机采集到的图像数据，获取相机坐标系下的标定板几何参数；并基于激光雷达采集到的点云数据，获取激光雷达坐标系下的标定板几何参数；基于标定板几何参数在相机和激光雷达坐标系中的对应关系构建第一约束条件；利用所述第一约束条件进行递进式的迭代优化，确定激光雷达与相机之间的外参。本发明提供的激光雷达与相机外参标定方法及装置，充分利用标定板的先验信息对传感器采集数据进行误差抑制优化，从而保证标定结果的高精度和可靠性。

Description

激光雷达与相机外参标定方法及装置

技术领域

本发明涉及定位与三维重建技术领域，尤其涉及一种激光雷达与相机外参标定方法及装置。

背景技术

激光雷达与相机是在自动驾驶、机器人等领域常见的两种传感器，在融合两种传感器的数据前，需要对激光雷达与相机的外参进行标定。

现有的标定方案，直接利用激光雷达点云中提取出来的激光点来进行标定板几何参数的计算，进而实现对激光雷达与相机的外参标定。

但是，激光雷达本身的测量误差相对于标定板尺寸大小并不可以直接忽略，使用含有较明显相对测量误差的激光点坐标进行外参标定，必然会使最终的外参标定结果存在较大误差。

发明内容

本发明提供一种激光雷达与相机外参标定方法及装置，用以解决现有技术中激光雷达与相机外参标定结果不精确的缺陷，提高了激光雷达与相机外参标定结果的精确度。

本发明提供一种激光雷达与相机外参标定方法，包括：

基于相机采集到的图像数据，获取相机坐标系下的标定板几何参数；并基于激光雷达采集到的点云数据，获取激光雷达坐标系下的标定板几何参数；

基于标定板几何参数在相机和激光雷达坐标系中的对应关系构建第一约束条件；

利用所述第一约束条件进行递进式的迭代优化，确定激光雷达与相机之间的外参。

在一些实施例中，所述基于相机采集到的图像数据，获取相机坐标系下的标定板几何参数，包括：

基于相机内参、畸变系数，确定标定板坐标系与相机坐标系之间的相对位姿；

基于标定板坐标系与相机坐标系之间的相对位姿，确定相机坐标系下的标定板几何参数。

在一些实施例中，所述基于标定板坐标系与相机坐标系之间的相对位姿，确定相机坐标系下的标定板几何参数，包括：

基于标定板坐标系与相机坐标系之间的相对位姿，确定相机坐标系下的标定板平面参数；

基于标定板角点在标定板坐标系下的坐标，以及标定板坐标系与相机坐标系之间的相对位姿，确定相机坐标系下的标定板角点坐标；

基于相机坐标系下的标定板角点坐标，确定相机坐标系下的反投影平面；

其中，相机坐标系下的标定板几何参数包括标定板平面参数、标定板角点坐标和反投影平面。

在一些实施例中，所述基于激光雷达采集到的点云数据，获取激光雷达坐标系下的标定板几何参数，包括：

基于相机坐标系下的标定板几何参数和相机内参，确定图像坐标系下的标定板角点坐标；

基于图像坐标系下的标定板角点坐标，利用激光雷达与相机之间的初始外参将激光点云变换到相机坐标系下，并投影到成像平面上；

根据投影后坐标落在标定板在图像坐标系下横纵坐标分量范围内的激光点确定激光雷达坐标系下的标定板几何参数。

在一些实施例中，所述根据投影后坐标落在标定板在图像坐标系下横纵坐标分量范围内的激光点确定激光雷达坐标系下的标定板几何参数，包括：

根据投影后坐标落在标定板在图像坐标系下横纵坐标分量范围内的激光点确定投射到标定板平面上的激光点；

对标定板平面上的激光点进行平面拟合以去除外点，获得激光雷达坐标系下的标定板平面参数，并优化标定板平面激光点坐标；

基于优化后的标定板平面激光点确定标定板四条边缘所对应的四组激光点；

对每一条边缘所对应的一组激光点进行直线拟合以去除外点，获得激光雷达坐标系下的每一条边缘对应的标定板边缘直线参数；

基于四条边缘对应的标定板边缘直线参数确定激光雷达坐标系下的标定板角点坐标；

其中，激光雷达坐标系下的标定板几何参数包括标定板平面参数、标定板边缘直线参数和标定板角点坐标。

在一些实施例中，所述基于四条边缘对应的标定板边缘直线参数确定激光雷达坐标系下的标定板角点坐标，包括：

基于四条边缘对应的标定板边缘直线参数确定激光雷达坐标系下的初始标定板角点坐标；任意相邻两条边缘对应的标定板边缘直线的交点为一个标定板角点；

基于标定板先验信息和激光雷达采集到的点云数据，使用第二约束条件对所述初始标定板角点坐标进一步优化，确定激光雷达坐标系下的标定板角点坐标。

在一些实施例中，所述第二约束条件具体包括以下五项：

标定板边长约束；

相临边相互垂直约束；

四个角点共平面约束；

点在平面上约束；

点在边缘直线上约束。

在一些实施例中，所述第一约束条件具体包括以下四项：

点到标定板平面的距离约束；

点到反投影平面的距离约束；

点到边缘直线的距离约束；

点到点的距离约束。

本发明提供一种激光雷达与相机外参标定装置，包括：

获取模块，用于基于相机采集到的图像数据，获取相机坐标系下的标定板几何参数；并基于激光雷达采集到的点云数据，获取激光雷达坐标系下的标定板几何参数；

构建模块，用于基于标定板几何参数在相机和激光雷达坐标系中的对应关系构建第一约束条件；

确定模块，用于利用所述第一约束条件进行递进式的迭代优化，确定激光雷达与相机之间的外参。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述激光雷达与相机外参标定方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述激光雷达与相机外参标定方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述激光雷达与相机外参标定方法。

本发明提供的激光雷达与相机外参标定方法及装置，充分利用标定板的先验信息对传感器采集数据进行误差抑制优化，从而保证标定结果的高精度和可靠性。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的激光雷达与相机外参标定方法的流程示意图；

图2是本发明提供的激光雷达与相机外参标定装置的结构示意图；

图3是本发明提供的电子设备的结构示意图。

具体实施方式

激光雷达与相机是在自动驾驶、机器人等领域非常常见的两种传感器，被广泛应用于实现机器人平台的自主定位、环境的三维重建。激光雷达通过扫描周围环境获取直接的深度信息，以三维点云的形式表征环境的结构信息。相机通过投影获取周围环境的灰度信息或色彩信息，以二维图像的形式表征环境的纹理信息。激光雷达通常在水平方向上具有较大的扫描范围和较高的分辨率，但在竖直方向上扫描范围和分辨率都很低；相反，相机在水平和竖直两个方向上都有较好的视场范围和较高的测量分辨率，且能获得纹理信息，但无法获取深度信息。在利用激光雷达或相机进行定位或三维重建过程中，激光雷达在几何结构特征稀少的退化环境中无法获取足够的几何约束信息，相机在光照条件不理想、纹理稀少或高度重复等退化环境中无法获取可用于有效匹配跟踪的特征信息，这都会导致定位或建模结果出现错误甚至完全失效。正是由于激光雷达与相机在测量上的互补特性，融合应用两种传感器的测量信息成为解决在挑战性环境条件下完成准确、稳定的定位或三维重建任务的一个重要途径和方法。而要融合两种传感器的数据，首先需要把两种传感器的测量数据表达在同一坐标系下，因此需要获得激光雷达坐标系与相机坐标系之间的相对位姿关系，也即激光雷达与相机的外参标定。

基于标定板的外参标定方法是最常用的标定激光雷达和相机之间外参的方法之一。标定板指的是印有特定标志物的平板，通常是长方形，如经典的棋盘格标定板。在已有的基于标定板的标定方法中，基本思路是利用标定板所能够提供的点、线、面三种信息来构建约束，完成传感器之间相对位姿的确定。具体地，从图像中获取到的标定板信息主要包括标定板顶点坐标、边缘直线参数、标定板平面参数；从激光雷达点云中获取的标定板信息主要包括位于标定板平面上的激光点坐标、位于标定板边缘上的激光点坐标、以及位于标定板顶点的激光点坐标。然而，在这些已有方法中，一般是直接利用激光雷达点云中提取出来的激光点来进行标定板几何参数的计算，没有考虑激光雷达本身的测量误差，也没有利用标定板自身可以提供的先验信息来优化从激光雷达点云中提取出来的激光点坐标。通常激光雷达本身的测量误差相对于标定板尺寸大小并不可以直接忽略，使用含有较明显相对测量误差的激光点坐标进行外参标定，必然会使最终的外参标定结果存在较大误差。此外，在从激光雷达点云中提取位于标定板平面和边缘上的激光点的过程中，目前方法大多采用手动辅助筛选的方法。通常基于标定板的标定方法需要采集多组标定数据，手动筛选激光点的方式使得整个标定过程繁琐且耗时，整体标定流程不够高效。

为了使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明提供的激光雷达与相机外参标定方法的流程示意图，如图1所示，本发明提供的激光雷达与相机外参标定方法，包括：

步骤101、基于相机采集到的图像数据，获取相机坐标系下的标定板几何参数；并基于激光雷达采集到的点云数据，获取激光雷达坐标系下的标定板几何参数。

具体地，首先定义任意一点在激光雷达坐标系{L}下的齐次坐标为P_L＝(X_L,Y_L,Z_L,1)^T，在相机坐标系{C}下的齐次坐标为P_C＝(X_C,Y_C,Z_C,1)^T，P_L与P_C之间的变换关系满足如下公式：

其中，

为激光雷达坐标系和相机坐标系之间的旋转矩阵，是一个3×3大小的正交矩阵；/>

为激光雷达坐标系和相机坐标系之间的平移向量，是一个3×1大小的向量；/>

称为从激光雷达坐标系到相机坐标系的变换矩阵，表达了激光雷达坐标系与相机坐标系之间的相对位姿关系，也即激光雷达与相机之间的外参，是本发明外参标定所要求解的目标。

本发明可以使用ArUco标志物进行视觉定位。ArUco是一种常用的视觉定位标志物，将已知尺寸的ArUco标志物打印在相同尺寸的标定板上(以下称之为ArUco标定板)，通过相机拍摄的标定板图像即可计算出标定板几何参数在该相机坐标系下的几何表达。

在一些实施例中，所述基于相机采集到的图像数据，获取相机坐标系下的标定板几何参数，包括：

基于相机内参、畸变系数，确定标定板坐标系与相机坐标系之间的相对位姿；

基于标定板坐标系与相机坐标系之间的相对位姿，确定相机坐标系下的标定板几何参数。

在一些实施例中，所述基于标定板坐标系与相机坐标系之间的相对位姿，确定相机坐标系下的标定板几何参数，包括：

基于标定板坐标系与相机坐标系之间的相对位姿，确定相机坐标系下的标定板平面参数；

基于标定板角点在标定板坐标系下的坐标，以及标定板坐标系与相机坐标系之间的相对位姿，确定相机坐标系下的标定板角点坐标；

基于相机坐标系下的标定板角点坐标，确定相机坐标系下的反投影平面参数；

其中，相机坐标系下的标定板几何参数包括标定板平面参数、标定板角点坐标和反投影平面参数。

具体地，对任意一个ArUco标定板，可以确定标定板坐标系{B}。利用ArUco提供的方法可以在已知相机内参K、畸变系数D的情况下，计算出ArUco标定板坐标系与相机坐标系之间的相对位姿

其表示如下：

其中，

是标定板坐标系和相机坐标系之间的旋转矩阵，/>

是标定板坐标系和相机坐标系之间的平移向量。

旋转矩阵

可使用列向量表示为：

其中，r₁是旋转矩阵

的第1列，r₂是旋转矩阵/>

的第2列，r₃是旋转矩阵/>

的第3列。

记相机坐标系下，标定板平面的参数为

其中n_C,plane为相机坐标系下标定板平面的法向量，其模长为1；d_C,plane为相机坐标系下标定板上任意一点的坐标，在本发明中将该点选取为标定板坐标系的原点。由已求出的/>

可得n_C,plane和d_C,plane，表示如下：

由于标定板的尺寸已知，可得标定板四个角点在标定板坐标系下的坐标，将其表示为

j＝1,2,3,4，那么在相机坐标系下四个角点的坐标则可通过以下方法求得：

进一步地，根据已知的相机内参K可以求出四个角点在图像上的图像坐标

j＝1,2,3,4，具体如下：/>

其中，s^j为尺度因子。

在获取到四个角点的图像坐标后，可以计算得出标定板四条边缘直线在图像坐标系中的参数表达

j＝1,2,3,4。假定/>

是由角点

与/>

决定的直线，那么该直线参数可通过下式计算：

同理，可以计算得到其余三条直线在图像坐标系中的参数表达。

在相机坐标系下，标定板的一个边缘与相机光心(相机坐标系原点)决定了一个平面，称为反投影平面。记该反投影平面在相机坐标系中的表达参数为：

其中，法向量

可由图像坐标系中对应直线的参数计算得到：

由于每个标定板有四条边缘，因此共可得到四个反投影平面的参数表达。

至此，利用一张相机图像，获取到的标定板的几何信息有：

1、相机坐标系下的标定板平面参数π_C,plane；

2、相机坐标系下的标定板角点坐标

j＝1,2,3,4；

3、相机坐标系下的反投影平面参数

j＝1,2,3,4；

4、图像坐标系下的标定板角点坐标

j＝1,2,3,4；

5、图像坐标系下的标定板边缘直线参数

j＝1,2,3,4。

在一些实施例中，所述基于激光雷达采集到的点云数据，获取激光雷达坐标系下的标定板几何参数，包括：

基于相机坐标系下的标定板几何参数和相机内参，确定图像坐标系下的标定板角点坐标；

基于图像坐标系下的标定板角点坐标，利用激光雷达与相机之间的初始外参将激光点云变换到相机坐标系下，并投影到成像平面上；

根据投影后坐标落在标定板在图像坐标系下横纵坐标分量范围内的激光点确定激光雷达坐标系下的标定板几何参数。

所述根据投影后坐标落在标定板在图像坐标系下横纵坐标分量范围内的激光点确定激光雷达坐标系下的标定板几何参数，包括：

根据投影后坐标落在标定板在图像坐标系下横纵坐标分量范围内的激光点确定投射到标定板平面上的激光点；

对标定板平面上的激光点进行平面拟合以去除外点，获得激光雷达坐标系下的标定板平面参数，并优化标定板平面激光点坐标；

基于优化后的标定板平面激光点确定标定板四条边缘所对应的四组激光点；

对每一条边缘所对应的一组激光点进行直线拟合以去除外点，获得激光雷达坐标系下的每一条边缘对应的标定板边缘直线参数；

基于四条边缘对应的标定板边缘直线参数确定激光雷达坐标系下的标定板角点坐标；

其中，激光雷达坐标系下的标定板几何参数包括标定板平面参数、标定板边缘直线参数和标定板角点坐标。

具体地，在数据采集过程中，激光雷达与相机的相对位姿初值可以从安装设计图纸中获取，利用该初值可以实现图像启发式的激光平面点提取。利用上述计算得到的图像坐标系下的标定板角点坐标，可以求得标定板在图像坐标系下x分量范围[x_min,x_max]和y分量的范围[y_min,y_max]。由于两种传感器之间的相对位姿初值与真值存在一定差距，将标定板的像素坐标范围进行一定程度的放宽，如下：

其中，放宽量为：

同时，利用以下约束将像素范围限定在图像边界范围内：

其中，image_w和image_h分别为图像的像素宽度和高度。

在确定了标定板在图像中的像素范围后，将激光点云利用激光雷达与相机之间的外参初值变换到相机坐标系下，然后根据相机参数投影到成像平面上。将投影后坐标落在[x_min,x_max]，[y_min,y_max]范围内的激光点作为标定板平面点的候选点。

进一步地，可以根据标定板平面点的深度范围对候选点进行进一步的筛选。根据已求出的相机坐标系下标定板四个角点的坐标计算出这四个角点与相机坐标系原点之间的距离，记其中最大值为D_max。投射到标定板上的激光点到激光雷达坐标系原点的距离应该小于该最大值。由于相机坐标系与激光雷达坐标系不重合，将该距离阈值进行一定程度的放宽，例如，该距离阈值的计算公式可以如下：

D_th＝1.2×D_max (14)

据此，可以从标定板平面点的候选点中选取距离激光雷达坐标系原点不大于D_th的激光点作为最终选定的标定板平面点。

基于选定的标定板平面点，使用RANSAC(随机抽样一致)方法对其进行平面拟合以去除外点，得到拟合平面参数为π_L＝(A,B,C,D)^T。为了抑制激光雷达测量噪声对标定的影响，将标定板平面点重新投影到所拟合的平面上，得到激光雷达坐标系下新的标定板平面点坐标，记为

1≤k≤M，其中M是平面点的个数。

基于上述优化后的标定板平面点，进一步对其中每一条激光扫描线寻找最左端和最右端的激光点，从而可以确定每个标定板的四条边缘所对应的四组激光点，记为

j＝1,2,3,4,1≤k≤M_j，其中M_j是每条边上点的个数。

进一步，使用RANSAC方法对每一条边缘所对应的激光点进行直线拟合以去除外点，得到拟合直线参数为

j＝1,2,3,4，其中/>

是拟合直线的方向向量，/>

是拟合直线上的任意一点。

在一些实施例中，所述基于四条边缘对应的标定板边缘直线参数确定激光雷达坐标系下的标定板角点坐标，包括：

基于四条边缘对应的标定板边缘直线参数确定激光雷达坐标系下的初始标定板角点坐标；任意相邻两条边缘对应的标定板边缘直线的交点为一个标定板角点；

基于标定板先验信息和激光雷达采集到的点云数据，使用第二约束条件对所述初始标定板角点坐标进一步优化，确定激光雷达坐标系下的标定板角点坐标。

在一些实施例中，所述第二约束条件具体包括以下五项：

标定板边长约束；

相临边相互垂直约束；

四个角点共平面约束；

点在平面上约束；

点在边缘直线上约束。

具体地，记激光雷达坐标系下标定板角点坐标为

j＝1,2,3,4。令/>

是相邻边缘直线/>

(/>

是激光雷达坐标系下标定板的第1条边缘直线，/>

是激光雷达坐标系下标定板的边缘直线中与边缘直线/>

邻边的第2条边缘直线)相交的角点，将两条边缘直线的参数方程联立后可列下式：

其中，

是边缘直线/>

上的任意一点，/>

是边缘直线/>

的方向向量，

是边缘直线/>

上的任意一点，/>

是边缘直线/>

的方向向量。t₁和t₂分别是两条边缘直线参数方程的参数。

利用该式求得参数t₁,t₂后，该角点的坐标

可以表达为：

使用同样的方法可以求得另外3个角点在激光雷达坐标系下的坐标表示。

进一步地，本发明利用上述得到的四个角点坐标作为初值，使用标定板先验信息和激光雷达测量信息进一步优化四个角点的坐标。优化过程中可以使用如下5个约束条件：

1、标定板边长约束。设相邻的两个标定板顶点为第m,n(1≤m≤4,1≤n≤4,m≠n)顶点，那么他们在激光雷达坐标系下的距离应该等于标定板边缘的长度L_Board，因此，标定板边长约束代价可记为d_B：

其中，

是激光雷达坐标系下第m个角点坐标，/>

是激光雷达坐标系下第n个角点坐标，L_Board是标定板边缘的长度。

2、相临边相互垂直约束。由于使用的标定板为正方形，因此相临边的方向向量应互相垂直。设相邻的两条标定板边缘直线由第m,n,q(1≤m≤4,1≤n≤4,1≤q≤4,m≠n≠q)三个顶点决定，那么垂直约束代价d_A可以表达为投影距离：

其中，

是激光雷达坐标系下第m个角点坐标，/>

是激光雷达坐标系下第n个角点坐标，/>

是激光雷达坐标系下第q个角点坐标。

3、四个角点共平面约束。四个角点共面，也即任意一个角点到其它三个角点所决定平面的距离应为0。例如，角点

与另外三个角点共平面约束条件代价d_CP可表达为点到平面的距离：

其中，

是激光雷达坐标系下第1个角点坐标，/>

是激光雷达坐标系下第2个角点坐标，s是中间参数，/>

是激光雷达坐标系下第3个角点坐标，/>

是激光雷达坐标系下第4个角点坐标。

由于共有四个角点并且是对等关系，因此可用同样方法构造另外3个约束条件。

4、点在平面上约束。对于提取出来的标定板平面上的每个激光点

1≤k≤M，其到由标定板角点所决定的平面的距离应为0。假设使用第m,n,q(1≤m≤4,1≤n≤4,1≤q≤4,m≠n≠q)三个顶点确定标定板平面，那么点在平面上的约束代价d_PP可表达为：

其中，

是激光雷达坐标系下标定板平面上的第k个激光点，/>

是激光雷达坐标系下第m个角点坐标，s是中间参数，/>

是激光雷达坐标系下第n个角点坐标，/>

是激光雷达坐标系下第q个角点坐标。

由于共有四个角点并且是对等关系，因此可用同样方法构造另外3个约束条件。

5、点在边缘直线上约束。对于提取出的每条标定板边缘上的激光点

j＝1,2,3,4,1≤k≤M_j，其到由第m,n(1≤m≤4,1≤n≤4,m≠n)顶点决定的第j条边缘直线的距离应为0。该边缘直线参数可表达为：

其中，

是边缘直线/>

的方向向量，/>

是激光雷达坐标系下第m个角点坐标，/>

是激光雷达坐标系下第n个角点坐标，/>

是边缘直线/>

上的任意一点。

则点在边缘直线上这一约束代价d_LL可表达为激光点到边缘直线的距离：

综合应用以上5种约束条件，可以构建如下代价函数，并通过最小化该代价函数得到优化后的激光雷达坐标系下的标定板顶点坐标

其中，d_B是标定板边长约束代价，N₁是标定板边长约束代价的数量，d_A是垂直约束代价，N₂是垂直约束代价的数量，d_CP是共平面约束代价，N₃是共平面约束代价的数量，d_PP是点在平面上约束代价，N₄是点在平面上约束代价的数量，d_LL是点在边缘直线上约束代价N₅是点在边缘直线上约束代价的数量。

至此，从激光雷达点云数据中可以获得的标定板几何信息包括：

1、经过优化的所有投射到标定板平面上的激光点坐标

1≤k≤M以及标定板平面参数；

2、经过优化的所有投射到标定板边缘上的激光点坐标

j＝1,2,3,4,1≤k≤M_j以及标定板边缘直线参数；

3、经过优化的标定板的4个角点的坐标

j＝1,2,3,4。

步骤102、基于标定板几何参数在相机和激光雷达坐标系中的对应关系构建第一约束条件。

在一些实施例中，所述第一约束条件具体包括以下四项：

点到标定板平面的距离约束；

点到反投影平面的距离约束；

点到边缘直线的距离约束；

点到点的距离约束。

具体地，约束1：点到标定板平面的距离约束。激光雷达坐标系下位于标定板平面的激光点，转换到相机坐标系下，应该满足相机坐标系下的标定板平面参数方程。该约束条件对应的代价C_plane可以表示如下：

其中，n是采集的标定数据的组数，每组标定数据中对应包含两个标定板数据。M_i是第i个标定板数据中所提取出的位于标定板上的激光点的个数，

是标定板平面的法向量，/>

是激光雷达坐标系与相机坐标系之间的相对位姿，/>

是位于标定板平面上的激光点坐标，d_C,plane,i是标定板平面上任意一点。

约束2：点到反投影平面的距离约束。激光雷达坐标系下位于标定板边缘上的激光点，转换到相机坐标系下，应该满足该边缘所对应的反投影平面参数方程。该约束条件对应的代价C_plane,edge可以表示如下：

其中，n是采集的标定数据的组数，每组标定数据中对应包含两个标定板数据。M_ij是第i个标定板数据中提取出的位于第j(1≤j≤4)条边缘上的激光点的个数，

是反投影平面的法向量，/>

是激光雷达坐标系与相机坐标系之间的相对位姿，/>

是位于标定板边缘上的激光点坐标。

约束3：点到边缘直线的距离约束。激光雷达坐标系下位于标定板边缘上的激光点，转换到相机坐标系下，应该满足由相机坐标系下标定板相邻角点所确定的边缘直线参数

1≤j≤4。该约束条件对应的代价C_edge可以表示如下：

其中，n是采集的标定数据的组数，每组标定数据中对应包含两个标定板数据。M_ij是第i个标定板数据中提取出来的位于第j(1≤j≤4)条边缘上的激光点的个数，

是边缘直线上的任意一点，/>

是激光雷达坐标系与相机坐标系之间的相对位姿，/>

是位于标定板边缘上的激光点，/>

是边缘直线的方向向量。

约束4：点到点的距离约束。将激光雷达坐标系下利用激光点云数据所确定的标定板角点坐标变换到相机坐标系下，应该与相机坐标系下由图像所确定的标定板角点坐标一致。该约束条件对应的代价C_p可以表示如下：

其中，n是采集的标定数据的组数，每组标定数据中对应包含两个标定板数据，

是激光雷达坐标系与相机坐标系之间的相对位姿，/>

是激光点云数据所确定的标定板角点坐标，/>

是相机坐标系下由图像所确定的标定板角点坐标。

步骤103、利用所述第一约束条件进行递进式的迭代优化，确定激光雷达与相机之间的外参。

具体地，在构建点到标定板平面的距离约束条件之后，迭代优化激光雷达与相机的外参。

首先，构建点到反投影平面的距离约束条件，以上一步优化结果为初值，迭代优化激光雷达与相机的外参；

其次，构建点到边缘直线的距离约束条件，以上一步优化结果为初值，迭代优化激光雷达与相机的外参；

最后，构建点到点的距离约束条件，以上一步优化结果为初值，迭代优化得到最终的激光雷达与相机的外参。

例如，在优化求解激光雷达和相机的外参时，依次使用上述四种约束条件进行递进式的迭代优化，使其代价函数达到最小。优化过程中，本发明定义代价函数变化率如下：

其中，δ是代价函数的变化率，K代表迭代的次数，C_K代表第K次优化完成时对应的代价，C_K-1代表第K-1次优化完成时对应的代价。设定优化迭代最大次数MAX_ITER和代价函数变化率阈值Δ。如果在某次优化完成后，达到δ＜Δ或达到最大优化次数MAX_ITER时，则停止优化迭代，并将该优化结果用作初值，进行下一种约束条件的优化过程。全部完成四种约束条件的优化后即可得到最终的激光雷达坐标系到相机坐标系的变换矩阵

也即完成了激光雷达与相机的外参标定。

本发明提供的一种基于双标定板的激光雷达与相机的外参标定方法，首先基于图像数据计算获取标定板几何参数在相机坐标系下的表达；基于点云数据计算获取标定板几何参数在激光雷达坐标系下的表达；进而，利用标定板几何结构在相机和激光雷达坐标系中的对应关系构建约束条件，通过优化方法确定相机和激光雷达之间的精准外参。

本发明适用于具有重叠视场的多种类型激光雷达与相机之间的外参标定。本发明所提出的方法充分利用标定板的先验信息对传感器采集数据进行误差抑制优化，从而保证标定结果的高精度和可靠性；该方法无需人工手动辅助选取几何特征，全过程自动化，标定过程简单高效；该方法使用两个标定板进行标定数据生成，能够更充分利用相机视野提供更充分的约束条件用于外参标定，从而降低标定过程对标定数据数量的要求，进一步提高了标定的效率。

本发明所述标定方法标定精度高、计算高效、结果稳定、操作简单便捷、全过程自动化，适合用于激光雷达与视觉组合传感器***的流程化、快速、精准标定。

下面对本发明提供的激光雷达与相机外参标定装置进行描述，下文描述的激光雷达与相机外参标定装置与上文描述的激光雷达与相机外参标定方法可相互对应参照。

图2是本发明提供的激光雷达与相机外参标定装置的结构示意图，如图2所示，本发明提供的激光雷达与相机外参标定装置，包括获取模块201、构建模块202和确定模块203，其中：

获取模块201用于基于相机采集到的图像数据，获取相机坐标系下的标定板几何参数；并基于激光雷达采集到的点云数据，获取激光雷达坐标系下的标定板几何参数；构建模块202用于基于标定板几何参数在相机和激光雷达坐标系中的对应关系构建第一约束条件；确定模块203用于利用所述第一约束条件进行递进式的迭代优化，确定激光雷达与相机之间的外参。

具体地，本申请实施例提供的上述激光雷达与相机外参标定装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

图3是本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行激光雷达与相机外参标定方法，该方法包括：

基于相机采集到的图像数据，获取相机坐标系下的标定板几何参数；并基于激光雷达采集到的点云数据，获取激光雷达坐标系下的标定板几何参数；

基于标定板几何参数在相机和激光雷达坐标系中的对应关系构建第一约束条件；

利用所述第一约束条件进行递进式的迭代优化，确定激光雷达与相机之间的外参。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的激光雷达与相机外参标定方法，该方法包括：

基于相机采集到的图像数据，获取相机坐标系下的标定板几何参数；并基于激光雷达采集到的点云数据，获取激光雷达坐标系下的标定板几何参数；

基于标定板几何参数在相机和激光雷达坐标系中的对应关系构建第一约束条件；

利用所述第一约束条件进行递进式的迭代优化，确定激光雷达与相机之间的外参。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的激光雷达与相机外参标定方法，该方法包括：

基于相机采集到的图像数据，获取相机坐标系下的标定板几何参数；并基于激光雷达采集到的点云数据，获取激光雷达坐标系下的标定板几何参数；

基于标定板几何参数在相机和激光雷达坐标系中的对应关系构建第一约束条件；

利用所述第一约束条件进行递进式的迭代优化，确定激光雷达与相机之间的外参。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种激光雷达与相机外参标定方法，其特征在于，包括：

基于相机采集到的图像数据，获取相机坐标系下的标定板几何参数；并基于激光雷达采集到的点云数据，获取激光雷达坐标系下的标定板几何参数；

基于标定板几何参数在相机和激光雷达坐标系中的对应关系构建第一约束条件；

利用所述第一约束条件进行递进式的迭代优化，确定激光雷达与相机之间的外参；

所述第一约束条件具体包括以下四项：

点到标定板平面的距离约束；

点到反投影平面的距离约束；

点到边缘直线的距离约束；

点到点的距离约束；

所述相机坐标系下的标定板几何参数包括标定板平面参数、标定板角点坐标和反投影平面参数；

反投影平面为在相机坐标系下，标定板的一个边缘与相机坐标系原点所决定的平面。

2.根据权利要求1所述的激光雷达与相机外参标定方法，其特征在于，所述基于相机采集到的图像数据，获取相机坐标系下的标定板几何参数，包括：

基于相机内参、畸变系数，确定标定板坐标系与相机坐标系之间的相对位姿；

基于标定板坐标系与相机坐标系之间的相对位姿，确定相机坐标系下的标定板几何参数。

3.根据权利要求2所述的激光雷达与相机外参标定方法，其特征在于，所述基于标定板坐标系与相机坐标系之间的相对位姿，确定相机坐标系下的标定板几何参数，包括：

基于标定板坐标系与相机坐标系之间的相对位姿，确定相机坐标系下的标定板平面参数；

基于标定板角点在标定板坐标系下的坐标，以及标定板坐标系与相机坐标系之间的相对位姿，确定相机坐标系下的标定板角点坐标；

基于相机坐标系下的标定板角点坐标，确定相机坐标系下的反投影平面参数。

4.根据权利要求1所述的激光雷达与相机外参标定方法，其特征在于，所述基于激光雷达采集到的点云数据，获取激光雷达坐标系下的标定板几何参数，包括：

基于相机坐标系下的标定板几何参数和相机内参，确定图像坐标系下的标定板角点坐标；

基于图像坐标系下的标定板角点坐标，利用激光雷达与相机之间的初始外参将激光点云变换到相机坐标系下，并投影到成像平面上；

根据投影后坐标落在标定板在图像坐标系下横纵坐标分量范围内的激光点确定激光雷达坐标系下的标定板几何参数。

5.根据权利要求4所述的激光雷达与相机外参标定方法，其特征在于，所述根据投影后坐标落在标定板在图像坐标系下横纵坐标分量范围内的激光点确定激光雷达坐标系下的标定板几何参数，包括：

根据投影后坐标落在标定板在图像坐标系下横纵坐标分量范围内的激光点确定投射到标定板平面上的激光点；

对标定板平面上的激光点进行平面拟合以去除外点，获得激光雷达坐标系下的标定板平面参数，并优化标定板平面激光点坐标；

基于优化后的标定板平面激光点确定标定板四条边缘所对应的四组激光点；

对每一条边缘所对应的一组激光点进行直线拟合以去除外点，获得激光雷达坐标系下的每一条边缘对应的标定板边缘直线参数；

基于四条边缘对应的标定板边缘直线参数确定激光雷达坐标系下的标定板角点坐标；

其中，激光雷达坐标系下的标定板几何参数包括标定板平面参数、标定板边缘直线参数和标定板角点坐标。

6.根据权利要求5所述的激光雷达与相机外参标定方法，其特征在于，所述基于四条边缘对应的标定板边缘直线参数确定激光雷达坐标系下的标定板角点坐标，包括：

基于四条边缘对应的标定板边缘直线参数确定激光雷达坐标系下的初始标定板角点坐标；任意两条相邻边缘对应的标定板边缘直线的交点为一个标定板角点；

基于标定板先验信息和激光雷达采集到的点云数据，使用第二约束条件对所述初始标定板角点坐标进一步优化，确定激光雷达坐标系下的标定板角点坐标。

7.根据权利要求6所述的激光雷达与相机外参标定方法，其特征在于，所述第二约束条件具体包括以下五项：

标定板边长约束；

相临边相互垂直约束；

四个角点共平面约束；

点在平面上约束；

点在边缘直线上约束。

8.一种激光雷达与相机外参标定装置，其特征在于，包括：

获取模块，用于基于相机采集到的图像数据，获取相机坐标系下的标定板几何参数；并基于激光雷达采集到的点云数据，获取激光雷达坐标系下的标定板几何参数；

构建模块，用于基于标定板几何参数在相机和激光雷达坐标系中的对应关系构建第一约束条件；

确定模块，用于利用所述第一约束条件进行递进式的迭代优化，确定激光雷达与相机之间的外参；

所述第一约束条件具体包括以下四项：

点到标定板平面的距离约束；

点到反投影平面的距离约束；

点到边缘直线的距离约束；

点到点的距离约束；

所述相机坐标系下的标定板几何参数包括标定板平面参数、标定板角点坐标和反投影平面参数；

反投影平面为在相机坐标系下，标定板的一个边缘与相机坐标系原点所决定的平面。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述激光雷达与相机外参标定方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述激光雷达与相机外参标定方法。

Images