CN114022566A - 一种用于单线激光雷达和相机的联合标定方法 - Google Patents

Abstract

本发明公开了一种用于单线激光雷达和相机的联合标定方法，属于多传感器标定技术领域。标定方法包括以下步骤：调整标定板的位置和高度，将一带有镂空区和非镂空区的标定板置于相机和激光雷达的视野中；(2)激光雷达扫描标定板，使用相机拍照，激光雷达扫描得到一系列若干点云信息，将扫描线与标定板的非镂空和镂空区的边界线的交点处的点云作为特征点，从若干点云中筛选靠近特征点处的点云，通过LM算法对其优化处理后，进行直线拟合；(3)通过直线拟合方程和边界线的方程，计算在标定板坐标系下的坐标；(4)在相机图像中找到激光雷达特征点对应的像素点的坐标；(5)参数拟合求解激光雷达与相机之间的位姿矩阵。

Description

一种用于单线激光雷达和相机的联合标定方法

技术领域

本发明涉及多传感器标定技术领域，具体的说，涉及一种用于单线激光雷达和相机的的联合标定方法。

背景技术

人工智能与汽车工业有机结合的新技术开始引起人们的关注与重视。汽车安装相机传感器并结合汽车的整体可以完成对周围环境数据的收集，分析和决策。但在恶劣的环境条件下，与相机传感器相比，雷达传感器对环境条件更加鲁棒。因此，激光雷达与相机的联合应用更加广泛。获取激光雷达坐标系和相机坐标系之间的关系是二者进行数据融合的前提。

传感器联合标定的方法有许多，特征点法是最常用且较为简便的标定方法。标定误差主要存在于标定板的设计，特征点与对应像素点的确定以及标定方法。激光雷达与相机联合标定的标定板目前还没有统一的标准，其设计取决于标定方法的选择。对于相机的标定可以实用圆形标定板，利用检测到的圆心点进行标定和畸变矫正。二维激光雷达扫描线不可见，无法在相机采集的图像中准确获得对应特征点的位置及坐标。因此，本发明设计了一种带有镂空区和非镂空区的标定板，解决了二维激光雷达与相机之间的标定。

发明内容

为了解决以上技术问题，本发明的目的在于提供一种新的单线激光雷达和相机的标靶设计和联合标定方法。本发明通过二维激光雷达扫描标定板可以反馈点云线段的距离信息，从而可以求得点云的坐标，扫描线与标定板的镂空区和非镂空区的边界的交点为特征点，对靠近特征点的点云通过LM算法进行优化，然后进行直线拟合，提取特征点建立约束方程，筛选符合要求的特征点，最后采用参数拟合的方法计算相机和激光雷达之间位姿关系的转换矩阵。

为解决上述技术问题，本发明采用如下技术方案：

一种用于单线激光雷达和相机的标靶设计和联合标定方法，包括以下步骤：

(1)调整标定板的位置和高度，将一带有镂空区和非镂空区的标定板置于相机和激光雷达的视野中；

(2)激光雷达扫描标定板，使用相机拍照，激光雷达扫描得到一系列若干点云信息，将扫描线与标定板的非镂空和镂空区的边界线的交点处的点云作为特征点，从若干点云中筛选靠近特征点处的点云，通过LM算法对其优化处理后，进行直线拟合；

(3)通过直线拟合方程和边界线的方程，计算在标定板坐标系下的坐标；

(4)在相机图像中找到激光雷达特征点对应的像素点的坐标；

(5)参数拟合求解激光雷达与相机之间的位姿矩阵。

进一步的技术方案，所述的标定板包括长方形基板，设于基板上的、正方形状的第一镂空区，设于基板上的、等腰直角三角形状的第二镂空区和第三镂空区，第一镂空区的右侧的边长作为第二镂空区的腰，第三镂空区与第二镂空区呈轴对称，第三镂空区与第二镂空区的底角相接。

进一步的技术方案，所述的直线拟合的方程，如公式(1)所示：

式中，xi,yi是点云的坐标。

进一步的技术方案，所述的步骤(3)中，计算特征点在标定板坐标系下的坐标的具体方法为：设扫描线与标定板非镂空和镂空区域边界线的交点A、B、C、 D为特征点，激光雷达安装的位置与标定板底部的距离为高度h，调整其安装位置找到落在标定板的左侧的初始点云

其中

以标定板的左下角为坐标原点，水平方向为x轴建立坐标系，激光雷达固定位置到标定板的直线距离L：

式中，β为雷达俯仰角；

则在标定板坐标系下各特征点的坐标为：

式中，h为点云E的纵坐标长度，

为激光雷达信号发射点到特征点的角度；α为雷达侧倾角；ρ_i为激光雷达发射激光信号到扫描点的距离。

进一步的技术方案，所述的步骤(4)的具体方法为：

找到相机图像中激光雷达特征点对应的像素点，设特征点对应的像素点的坐标为A′(u_A,v_A)，B′(u_B,v_B)，C′(u_C,v_C)，D′(u_D,v_D)，则得到4组激光雷达数据和图像数据对应的坐标点对，则激光雷达数据点与摄相机图像像素点对应坐标系序列如下：

{(x_A,y_A,u_A,v_A),(x_B,y_B,u_B,v_B),(x_C,y_C,u_C,v_C),(x_D,y_D,u_D,v_D)}

进一步的技术方案，所述的步骤(5)包括：

在激光雷达与相机的共同视野范围内，激光雷达每个数据点(x_l,y_l)在相机的图像中都存在且唯一的对应像素点(u,v)；则激光雷达和相机之间的位置关系为：：

假设有n组特征点满足上述方程，根据公式(4)可得：

式中，A_9×1＝(a₁₁,a₁₂,a₁₃,a₂₁,a₂₂,a₂₃,a₃₁,a₃₂,a₃₃)^T，输入特征点的激光雷达数据和图像数据对应的坐标点对，即可计算A_9×1，即得到激光雷达与相机之间的位姿矩阵。

有益效果

1、本发明通过在标定板的设计成镂空区和非镂空区。镂空区选择特殊的几何图形，使得计算简单方便，同时在边界线上选择特征点，有利于对特征点进行标记，降低激光雷达扫描频率对点云分布的影响，保证相机图像中提取的像素点坐标更接近真实值。而切割镂空区的正方形、等腰直角三角形可以用于激光雷达侧倾角、俯仰角的测量；正方形部分可以完成相机的标定。标定板的尺寸可以根据设计要求调整，确保精确度。

3、本发明的标定方法采用特征点法，通过数学推导获得特征点的精确坐标，然后再提取对应图像像素点，保证特征点对的准确性。

4、本发明在直线拟合时，考虑到如果数据中存在离散点云，会导致在拟合的过程中存在较大的误差。故本发明先采用LM最小二乘法对点云处理后再对其直线拟合，减小误差的同时使拟合直线更接近于真实激光雷达的扫描线，保证了标定结果的准确性。

附图说明

图1为本发明的用于单线激光雷达和相机的标靶设计和联合标定方法的流程图；

图2为标定板的结构示意图；

图3为标定板的结构示意图(有标靶板)

图4为坐标系关系图

图5为侧倾角标定图

图6为俯仰角标定图

图7为联合标定图。

图中标记：1、基板，2、第一镂空区，3、第二镂空区，4、第三镂空区，5、标靶板，6、靶点。

具体实施方式

为了使本技术领域的人员更好的理解本发明，将结合本发明实施例提供的附图，对发明实施例的工作过程和功能实现提供更详细完整的描述。

实施例

一种用于单线激光雷达和相机的标靶设计和联合标定方法，包括以下步骤：

(1)调整标定板的位置和高度，将一带有镂空区和非镂空区的标定板置于相机和激光雷达的视野中；

(2)激光雷达扫描标定板，同时使用相机拍照，激光雷达扫描得到一系列若干点云信息，将扫描线与标定板的非镂空和镂空区的边界线的交点处的点云作为特征点，从若干点云中筛选靠近特征点处的点云，通过LM算法对其优化处理后，进行直线拟合；

(3)通过直线拟合方程和边界线的方程，计算在标定板坐标系下的坐标；

(4)在相机机图像中找到激光雷达特征点对应的像素点坐标；(5)参数拟合求解激光雷达与相机之间的位姿矩阵。

如图1所示，所述的标定板包括长方形基板1，设于基板上的、正方形状的第一镂空区2，设于基板上的、等腰直角三角形状的第二镂空区和第三镂空区，第一镂空区2的右侧的边长作为第二镂空区3的腰，第三镂空区4与第二镂空区 3呈轴对称，第三镂空区4与第二镂空区3的底角相接。

所述的标定板还包括与第一镂空区2配合的标靶板5，标靶板5上设有若干行等间距排列的圆形靶点6。

本发明的标定板，以满足多传感器的单独标定和联合标定，节约了成本，同时使得标定过程在减小误差的基础上操作更加方便。为了提高数据采集的精度，应尽量增大标定板的尺寸使特征点之间有足够的距离。

以标定板的尺寸是86cm×40cm为例：

所述标定板由pvc板制作而成，分为镂空区和非镂空区。第一镂空区是边长 22cm的正方形abcd，第二镂空区是直角边长22cm的等腰直角三角形bce，第三镂空区是等腰直角三角形feg。第一镂空区可以完成激光雷达标定；当是非镂空区时，将标靶板置于第一镂空区上可以完成相机的内外参标定和激光雷达侧倾角的标定。同时第一镂空区可以完成激光雷达侧倾角的标定。等腰直角三角形可以完成激光雷达俯仰角的标定，同时特殊的三角形方便对激光雷达特征点的提取和验算。

所述标定板设计成镂空区和非镂空区，在激光雷达扫描范围内几乎没有多余障碍物的环境内，激光雷达扫描经过标定板的非镂空区可以得到一系列点云信息，而在扫描镂空区时没有点云信息，可以满足对特征点的提取。

由于激光雷达的点云分布可能不在一条直线上，呈现一种曲线分布状态。因此，为了使最终拟合的直线更加接近准确形态，采用LM算法首先对初始点云分布进行优化处理，步骤如下：

假设初始点云分布的曲线方程为f(x)，则LM算法优化问题定义如下：

对f(x)在x_n处一阶泰勒展开为：

f(x+x_n)≈f(x_n)+J(x_n)Δx

采用阻尼法，对上述公式进行迭代求最优解，

令Δx导数等于0，得最优解为：

Δx^*＝-(J(x_n)^TJ(x_n)+μI)^-1J(x_n)^Tf(x_n)

其中，I为单位矩阵，μ为阻尼参数，J(x_n)为f(x)的雅可比矩阵。

根据最优解，计算迭代增量Δx，通过迭代增量计算增益率ρ，根据增益率调节阻尼系数：

其中，增益率ρ是指一阶泰勒展开近似函数与真实函数的比值，越接近于1，近似越精确。

同理进行下一次迭代增量的求解，每次迭代增量求解完成后，通过基本递归公式求解优化后的点云，所有点云优化完成，再进行直线拟合。

优化后，进行直线拟合，得到直线拟合方程，如公式(1)所示：

式中，x_i,y_i是点云的坐标。

本发明的特征点的位置是在镂空区与非镂空区的边界上，即分别在边ad、 be、fe和fg上寻找特征点。激光雷达尽可能大范围的扫描标定板可以提高实验的准确性，同时其扫描线经过所选边界线。

计算特征点在标定板坐标系下的坐标的具体方法为：设扫描线与标定板非镂空和镂空区域边界线的交点A、B、C、D为特征点，激光雷达安装的位置与标定板底部的距离为高度h，调整其安装位置找到落在标定板的左侧的初始点云

其中

以标定板的左下角为坐标原点，水平方向为x轴建立坐标系，激光雷达固定位置到标定板的直线距离L：

式中，β为雷达俯仰角；

如图6所示，调整激光雷达位置，发出激光信号O₀E和O₀B，两线之间的夹角为θ，其中BB₀和O₀E同时垂直O₀B₀。当i取值2时，通过公式(16)可以得到B 点在激光雷达坐标系下的坐标，通过勾股定理可以得到B点距雷达安装高度所在平面的距离，即BF的长度，从而可以得到B点在标定板坐标系下的坐标。同理，当i取值1，3，4时可以求出A，C，D点的坐标。因此，可以计算出从激光雷达扫描标定板得到的一系列点云中筛选出所需的四个特征点在标定板坐标系下的坐标:

则在标定板坐标系下各特征点的坐标为：

式中，h为点云E的纵坐标长度，

为激光雷达信号发射点到特征点的角度；α为雷达侧倾角；ρ_i为激光雷达发射激光信号到扫描点的距离。

所述的侧倾角的的计算方法为：

如图3所示，将第一镂空区切割下来的正方形进行侧倾角的计算，激光雷达发射扫描线落在正方形左右边界线上的点分别为E点、F点，∠EOF，L_OE，L_OF可由激光雷达测得，由余弦定理求得L_EF的数值，则侧倾角α的求解公式：

上式中，L_AB代表第一镂空区的边长；

所述的俯仰角的计算方法为：

如图4所示，将第二镂空区和第三镂空区切割下来的两个等腰直角三角形板用来进行俯仰角的测量，将第一个等腰直角三角形板记为△A₁B₁C₁，第二个等腰直角三角形板与第一个等腰直角三角形板间隔一定距离，同样的姿态放置，记为△A₂B₂C₂，激光雷达位于两个三角形板的前方进行扫描，扫描线与△A₁B₁C₁的交点记为E₁、F₁,与△A₂B₂C₂的交点记为E₂、F₂，∠E₁OF₁，L_OE1，L_OF1可以通过激光雷达测得，经过余弦定理可求得L_E1F1，作直线E₁Z₁垂直于直线B₁C₁，得

得E₁Z₁＝Z₁C₁，因此，

同理可求得

则

则俯仰角的求解公式：

本发明实施例提供了一种激光雷达偏转角的标定方法。

具体的，特征点的直线拟合方程近似为激光雷达扫描线，该直线斜率的反正切值即为激光雷达的偏转角。

θ＝tan^-1k (8)

上式中，k代表的是像素点直线的斜率。

激光雷达数据点不可见，为了获取特征点对应的图像中的像素点坐标，将经过激光雷达扫描标定板得到的一系列点筛选出在边界线上或在附近的四个点，先优化在进行直线拟合，得到直线方程。通过标定板设计的尺寸数据可以得到直线L_ad，L_be，L_ef，L_fg，联立方程求解在边界线上的特征点的坐标在标定板上标记特征点的位置，在相机图像中提取对应特征点的坐标，即得到像素坐标。

找到相机图像中激光雷达特征点对应的像素点，设特征点对应的像素点的坐标为A′(u_A,v_A)，B′(u_B,v_B)，C′(u_C,v_C)，D′(u_D,v_D)，则得到4组激光雷达数据和图像数据对应的坐标点对，则激光雷达数据点与摄相机图像像素点对应坐标系序列如下：

{(x_A,y_A,u_A,v_A),(x_B,y_B,u_B,v_B),(x_C,y_C,u_C,v_C),(x_D,y_D,u_D,v_D)}

进一步的技术方案，所述的步骤(5)的具体方法为：

如图2和图6所示，激光雷达坐标系和基准坐标系的转换关系为：

上式中，基准坐标系O_w-x_wy_wz_w；激光雷达坐标系坐标O_w-x_ly_l

所述基准坐标系和摄像机坐标系的转换关系：

通过式(8)和式(9)得到二维激光雷达到摄像机的坐标转换：

三维空间中的一个点在摄像机坐标系下的齐次坐标表示为p＝(x_c,y_c,z_c,1)，该点在成像平面中的坐标表示为p′＝(u,v,1)，则

上式中，f_x和f_y分别表示摄像机在x轴水平方向和y轴水平方向上的焦距； (u₀,v₀)表示图像像素中心坐标；图像坐标系O-uv。

二维激光雷达与摄像机之间的外参标定问题即为激光雷达数据点与二维图像像素之间的映射矩阵求解问题。

在激光雷达与相机的共同视野范围内，激光雷达每个数据点(x_l,y_l)在相机的图像中都存在且唯一的对应像素点(u,v)；则激光雷达和相机之间的位置关系为：

假设有n组特征点满足上述方程，根据上述公式可得：

式中，A_9×1＝(a₁₁,a₁₂,a₁₃,a₂₁,a₂₂,a₂₃,a₃₁,a₃₂,a₃₃)^T，输入特征点的激光雷达数据和图像数据对应的坐标点对，即可计算A_9×1。

Claims (6)

1.一种用于单线激光雷达和相机的联合标定方法，其特征在于，包括以下步骤：

(1)调整标定板的位置和高度，将一带有镂空区和非镂空区的标定板置于相机和激光雷达的视野中；

(2)激光雷达扫描标定板，使用相机拍照，激光雷达扫描得到一系列若干点云信息，将扫描线与标定板的非镂空和镂空区的边界线的交点处的点云作为特征点，从若干点云中筛选靠近特征点处的点云，通过LM算法对其优化处理后，进行直线拟合；

(3)通过直线拟合方程和边界线的方程，计算在标定板坐标系下的坐标；

(4) 在相机图像中找到激光雷达特征点对应的像素点的坐标；

(5)参数拟合求解激光雷达与相机之间的位姿矩阵。

2.根据权利要求1所述的单线激光雷达和相机的联合标定方法，其特征在于，所述的标定板包括长方形基板，设于基板上的、正方形状的第一镂空区，设于基板上的、等腰直角三角形状的第二镂空区和第三镂空区，第一镂空区的右侧的边长作为第二镂空区的腰，第三镂空区与第二镂空区呈轴对称，第三镂空区与第二镂空区的底角相接。

3.根据权利要求2所述的单线激光雷达和相机的联合标定方法，其特征在于，所述的标定板还包括与第一镂空区配合的标靶板，标靶板上设有若干行等间距排列的圆形靶点。

4.根据权利要求1所述的单线激光雷达和相机的联合标定方法，其特征在于， 所述的直线拟合的方程，如公式（1）所示：

(1)

式中，xi,yi是点云的坐标。

5.根据权利要求1所述的单线激光雷达和相机的联合标定方法，其特征在于，

所述的步骤（3）中，计算特征点在标定板坐标系下的坐标的具体方法为：设扫描线与标 定板非镂空和镂空区域边界线的交点A、B、C、D为特征点，激光雷达安装的位置与标定板底 部的距离为高度h，调整其安装位置找到落在标定板的左侧的初始点云Q

，其中

；以标定板的左下角为坐标原点，水平方向为x轴建立坐标系，激光雷达固定位置到 标定板的直线距离L：

(2)

式中，

为雷达俯仰角；

则在标定板坐标系下各特征点的坐标为：

(3)

式中，h为点云E的纵坐标长度，

为激光雷达信号发射点到特征点的角度；

为雷达侧 倾角；

为激光雷达发射激光信号到扫描点的距离。

6.根据权利要求1所述的单线激光雷达和相机的联合标定方法，其特征在于，所述的步骤（5）包括：

设激光雷达每个点云

在相机的图像中都存在且唯一的对应像素点

；则激光 雷达和相机之间的位置关系为：

(4)

假设有n组特征点满足上述方程，根据上述公式可得：

(5)

式中，

，为位姿矩阵的外参，输入特征点 的激光雷达数据和图像数据对应的坐标点对数据，即可计算外参

。

Images