CN113327296A - 基于深度加权的激光雷达与相机在线联合标定方法 - Google Patents

Abstract

本发明公开了一种基于深度加权的激光雷达与相机在线联合标定方法，考虑到当激光雷达与相机之间发生抖动或者位置偏移的时候，初始的标定外参将不再适用，需要对其在线校正，该方法首先对激光点云和相机图像分别进行边缘特征提取，获取边缘特征点云和边缘特征图像；然后根据初始标定外参建立激光雷达与相机之间的投影模型，以边缘特征点云和边缘特征图像的匹配重合度作为标定外参的质量指标，构建基于深度加权的边缘一致性目标函数；最后通过差分进化算法对标定外参进行优化，在线校正激光雷达与相机之间的标定外参。本发明可应用于自动驾驶场景中激光雷达与相机的在线联合标定问题，适用于各种复杂的环境，提高了在线联合标定方法的精度。

Description

基于深度加权的激光雷达与相机在线联合标定方法

技术领域

本发明涉及一种基于深度加权的激光雷达与相机在线联合标定方法，可以应用到自动驾驶传感器标定等领域。该方法主要包括对激光点云和相机图像进行边缘特征提取、构建基于深度加权的边缘一致性目标函数以及使用差分进化算法对标定外参优化估计三部分。

背景技术

随着人工智能和环境感知技术在近几年的发展以及控制规划理论和技术的日趋完善，自动驾驶作为AI中最受关注的重要应用之一，发展十分迅速。自动驾驶不仅可以改变人们交通出行的方式，而且对于货物运输、城市道路规划等都将产生变革性影响。

自动驾驶***的主要技术包括环境感知、SLAM建图、定位导航、障碍物识别与目标检测追踪、路径规划与运动决策、人机交互等。对整个自动驾驶***而言，环境感知是重要模块，因为其它模块的功能实现和执行决策大多需要多传感器的融合数据作为前提。

多传感器数据融合，即利用计算机视觉技术把多个传感器的跨模态数据，在一定的规则下综合分析，最终产生对周围环境的一致性解释。由于不同传感器的数据是跨模态的，在进行数据融合过程中，需要获取不同传感器之间的坐标转换参数，所以不同传感器之间的外参标定是非常重要的。

在自动驾驶***的感知模块中，单目相机和激光雷达数据融合是当今自动驾驶传感器融合的主流解决方案。其中，激光雷达获取的点云很稀疏，分辨率比较低，而图像包含丰富的颜色信息，但不包含深度信息，激光雷达和单目相机两者之间的数据可以弥补各自的不足，所以激光雷达和相机的外参标定是自动驾驶***中境感知模块中很重要的前置环节。

授权公告号为CN201910793555.9，发明名称为“一种相机与激光雷达之间外参无目标自动标定方法及***”的发明专利根据相机与激光雷达之间的运动约束获取初始标定外参，然后根据初始标定外参建立相机与激光雷达之间的投影模型，获取相机与激光雷达所有共视点的灰度值直方图与反射率直方图，调整相机与激光雷达之间的标定外参使得灰度值直方图与反射率直方图的相似度最大。但这种方法的缺陷是对环境的鲁棒性不够好，容易受到环境因素的影响。

授权公告号为CN202010472725.6，发明名称为“一种车载三维激光雷达和相机外参联合标定的自动化方法”的发明专利利用激光雷达和相机对运动的平面靶标进行测量，在测量数据中提取多组属于靶标特征区域的点云、图像数据，对特征区域进行拟合，利用拟合结果对激光雷达和相机外参由粗到精进行标定。这种方法的明显缺陷是由粗到精的外参优化过程收敛速度慢，无法满足自动驾驶实时性需求。

发明内容

本发明针对目前现有的关于激光雷达与相机在线联合标定算法中准确性不够高、收敛速度慢等不足，提出了一种基于深度加权的激光雷达与相机在线联合标定的方法，包括如下步骤：

S1：获取同步的激光点云和原始相机图像数据；

S2：对每一帧原始相机图像数据进行如下处理：

S21：把原始相机图像转化为灰度图像；

S22：对灰度图像使用图像边缘检测算子进行处理，得到边缘图像；

S23：对边缘图像进行逆距离变换，得到逆距离变换后的图像；

S24：对逆距离变换后的图像进行图像膨胀操作，获取边缘特征图像；

S3：对每一帧激光点云进行如下处理：

S31：分别求解出每个激光点的深度差；

S32：借助深度差特征，通过设置阈值对激光点云进行边缘特征提取，获取边缘特征点云；

S4：构建基于深度加权的边缘一致性目标函数：

S41：根据初始标定外参建立激光雷达与相机之间的投影模型，把边缘特征点云投影到边缘特征图像上得到激光点云与相机图像投影图；

S42：根据初始标定外参单位平移向量导致像素点的坐标变化与深度呈反比的特点，计算出激光点云与相机图像投影图中每个共视点深度权重；

S43：将激光点云与相机图像投影图中每个共视点的深度差与像素值相乘，得到的乘积再乘以深度权重，利用所有共视点的乘积和构建基于深度加权的边缘一致性目标函数；所述共视点为激光点云与相机图像投影图上的激光点和对应像素点的结合点；

S5：使用差分进化算法对标定外参优化进行估计：

S51：把初始标定外参的旋转矩阵转化为欧拉角的形式，这样标定外参可以写成6维向量的形式；

S52：根据初始标定外参设置每一维参数搜索的上下边界；

S53：执行差分进化算法的变异交叉选择操作；

S54：满足最大迭代次数时，终止优化过程，根据优化结果校正激光雷达与相机之间的标定外参。

上述技术方案中，进一步地，所述步骤S23中，采用如下公式对边缘图像进行逆距离变换，从而增强图像的边缘特征，：D_i,j＝α×E_i,j+(1-α)×max_x,y(E_x,y×γ^{max(|x-i|,|y-i|)})

其中，x,y和i,j表示图像像素点的行列索引，E_i,j表示像素点的原始像素值，E_x,y表示遍历过程中邻域内像素点的像素值，D_i,j表示逆距离变换后像素点的像素值，α和γ为常数。最后对距离变换图像做图像膨胀操作进一步增强相机图像的边缘特征。

本发明所述的基于深度加权的激光雷达与相机在线联合标定方法，所述步骤S3中，对激光点云进行边缘特征提取，首先计算出每一帧激光点云中所有激光点的深度差：

其中，i表示激光点云帧序列，p表示每帧激光点云的激光点序列，r表示激光点到激光雷达的距离，

和

分别表示

左右相邻点到激光雷达的距离，δ为常数，

表示第p个点的深度差。然后通过设置深度差阈值提取出激光点云的边缘特征

其中，θ表示常数，

表示边缘特征点云，由原始点云数据中的边缘激光点组成。

本发明所述的基于深度加权的激光雷达与相机在线联合标定方法，所述步骤S4中：把边缘特征点云和边缘特征图像的匹配重合度作为衡量标定外参的质量指标，根据标定外参单位平移向量导致像素点的坐标变化与深度呈反比的特点，计算出激光点云与相机图像投影图中每个共视点的深度权重：

其中，(X_c,Y_c,Z_c)^T表示激光点在相机坐标系下的对应坐标；然后构建基于深度加权的边缘一致性目标函数：

其中，f是边缘特征点云和边缘特征图像的索引，w表示优化过程中使用的数据帧数，p表示激光点的索引，R和t表示激光雷达与相机之间的旋转矩阵和平移向量，J表示目标函数值。

本发明所述的基于深度加权的激光雷达与相机在线联合标定方法，所述步骤S5中：把标定外参可以写成6维向量的形式：C＝(t_x,t_y,t_z,roll,pitch,yaw)；其中，t_x,t_y,t_z表示标定外参平移方向的三个分量，roll,pitch,yaw表示标定外参旋转方向的三个分量。

根据初始标定外参设置每一维参数搜索的上下边界，然后根据目标函数值执行差分进化算法的变异交叉选择操作，满足最大迭代次数时，终止优化过程，根据优化结果校正激光雷达与相机之间的标定外参。

本发明的有益效果是：相比于传统的手动标定算法，本发明的优势在于整个在线联合标定过程不需要特定的标定目标，只需要借助最新采集的激光点云和相机图像就能够对激光雷达与相机之间的标定外参进行在线校正。为了减小平移参数的变化对不同深度的共视点的影响，本发明设计了深度权重，提高了在线联合标定的准确性；并采用差分进化算法来提高优化过程中的收敛速度

附图说明

图1是本发明基于深度加权的激光雷达与相机在线联合标定的方法流程图；

图2是激光点云的边缘特征点云效果图；

图3是相机图像的边缘特征图像效果图；

图4是标定外参平移方向参数变化前后投影点的坐标变化对比图，图4(a)是变化前的投影点的坐标图，图4(b)是变化后的投影点的坐标图；

图5是标定外参校正前后激光点云与相机图像融合结果对比图，图5(a)是校正前的融合结果图，图5(b)是校正后的融合结果图；

具体实施方式

以下结合具体实施例和附图进一步说明本发明：

实施例

当激光雷达与相机之间的标定外参发生变化时，车辆对周围环境的感知出现偏差，导致车辆无法正常工作。为了保证激光点云与相机图像数据融合的可靠性，需要对标定外参进行在线校正，如图1所示，本发明提供了一种基于深度加权的激光雷达与相机在线联合标定的方法，具体实施方式如下：

本实施例的应用场景设置为KITTI数据集中的校园道路环境，一共选4500帧数据，每9帧数据作为一组测试用例，其中有汽车的速度变化，行人移动，从相反的方向来的汽车。本实例设置每个平移参数的偏移为0.06m以及每个旋转参数的偏移为0.04弧度模拟激光雷达与相机之间的传感器位置变化。

在环境中存在带有边缘的可见3D物体，可以提取出激光点云和相机图像的边缘特征，由于激光点云和相机图像的边缘部分存在共性，当激光点云中的边缘区域投影到相机图像平面后，相比其它非边缘区域会更大概率投影到相机图像中的边缘区域。在激光点云边缘特征提取过程中，本实例首先计算出每一帧激光点云中所有激光点的深度差：

其中，i表示点云帧序列，p表示每帧点云的激光点序列，r表示激光点到激光雷达的距离，

和

分别表示

左右相邻点到激光雷达的距离，δ为常数，本实例根据激光雷达的探测距离设置为0.5，

表示第p个点的深度差。然后对激光点云进行边缘特征提取：

其中，θ表示常数，本实例根据激光雷达的点云密度把θ设置为0.5，

表示边缘特征点云，由原始点云数据中的边缘激光点组成，边缘特征点云如图2所示，由图中蓝色点可知，边缘特征点云能够比较清晰地反映出障碍物的轮廓信息。

在相机图像边缘特征提取过程中，本实例首先把相机原始图像转换为灰度图像，使用Sobel算子对灰度图像进行边缘检测，得到对应的边缘图像Eⁱ(i＝1,2,3,…n)，然后对边缘图像E做逆距离变换增强图像的边缘特征：D_i,j＝α×E_i,j+(1-α)×max_x,y(E_x,y×γ^{max(|x-i|,|y-i|)})

其中，x,y和i,j表示图像像素点的行列索引，α和γ为常数，本实例分别设置为0.98和0.33。最后对边缘图像D做2×2邻域的膨胀操作进一步增强图像的边缘特征，边缘特征图像如图3所示，由图中像素值高的地方可知，边缘特征图像的障碍物边缘区域的像素值要远远大于非边缘区域。

根据初始标定外参建立激光雷达与相机之间的投影模型，把边缘特征点云投影到边缘特征图像上，当激光雷达与相机之间的平移方向的标定外参发生变化时，激光点云投影到相机图像上像素点的横纵坐标也会发生变化，而且深度不同的点横纵坐标的变化幅度是不同的，如图4所示，当像素点的坐标发生变化时，其对应的像素值也会发生变化。由图4中前后变化可知，当改变平移方向参数，远处的共视点横坐标变化了2个像素，而近处的共视点的横坐标变化了4个像素，所以平移参数对深度不同的共视点影响是不同的。假设激光点在雷达坐标系下的坐标为(X_l,Y_l,Z_l)^T，其对应的相机坐标系下的坐标和像素坐标系下的坐标分别为(X_c,Y_c,Z_c)^T和(u,v)^T，像素点的横纵坐标的变化率K的计算公式为：

其中，Z_c表示点云的深度大小，t＝(t_x,t_y,t_z)表示平移向量，因为f_x和f_y表示相机在U轴和V轴上的尺度因子，是两个定值并且大致相等，所以本实例设计深度权重的计算公式为：

将激光点云与相机图像投影图中所有每个共视点的深度差与像素值相乘，得到的乘积再乘以深度权重，利用所有共视点的乘积和构建基于深度加权的边缘一致性目标函数：

其中，f是边缘点云和边缘图像的索引，w表示优化过程中使用的数据帧数，本实例设置为3；R和t表示激光雷达与相机之间的旋转矩阵和平移向量，J表示目标函数值。

因为标定外参中的旋转矩阵可以转化为欧拉角的形式(roll,pitch,yaw)，其中，roll为翻滚角，表示绕X轴旋转的角度，pitch为俯仰角，表示绕Y轴旋转的角度，yaw为偏航角，表示绕Z轴旋转的角度，所以标定外参可以写成C＝(t_x,t_y,t_z,roll,pitch,yaw)6维向量的形式，根据标定外参初始值和参数最大偏移量设定每一维的搜索上下界，在搜索范围内使用差分进化算法进行外参的优化估计，在迭代过程中根据目标函数值选择标定外参，终止优化过程，根据优化结果校正激光雷达与相机之间的标定外参。

本实例主要分析了标定外参校正前后激光点云与相机图像投影效果的对比，如图5所示，由前后融合效果图中红色方框对比所示，外参校正以后激光点云和相机图像的边缘对齐效果变好，说明了本方法对外参校正的有效性。图5(a)表示标定外参发生校正前对应的投影效果，图5(b)表示使用该方法校正标定外参后对应的投影效果，主要的性能指标分析见表1，主要对比分析了使用该方法在校正有误差的标定外参时得到的实验结果与KITTI数据集给出的Ground Truth之间的平均误差，其中，t_x,t_y,t_z表示标定外参平移方向的三个分量，roll,pitch,yaw表示标定外参旋转方向的三个分量，Error表示平均误差，rad表示弧度。可以发现，6个方向的平均误差相对较低。所以当激光雷达与相机之间的位置发生变化时，该方法可以在线校正两者之间的标定外参，能够保证激光雷达与相机数据融合的稳定性。

表1

	t<sub>x</sub>(m)	t<sub>x</sub>(m)	t<sub>x</sub>(m)	roll(rad)	pitch(rad)	yaw(rad)
							Error	0.015	0.012	0.014	0.015	0.004	0.014

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的优选实施例子，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度加权的激光雷达与相机在线联合标定方法，其特征在于，包含以下步骤：

S1：获取同步的激光点云和原始相机图像数据；

S2：对每一帧原始相机图像数据进行如下处理：

S21：把原始相机图像转化为灰度图像；

S22：对灰度图像使用图像边缘检测算子进行处理，得到边缘图像；

S23：对边缘图像进行逆距离变换，得到逆距离变换后的图像；

S24：对逆距离变换后的图像进行图像膨胀操作，获取边缘特征图像；

S3：对每一帧激光点云进行如下处理：

S31：分别求解出每个激光点的深度差；

S32：借助深度差特征，通过设置阈值对激光点云进行边缘特征提取，获取边缘特征点云；

S4：构建基于深度加权的边缘一致性目标函数：

S41：根据初始标定外参建立激光雷达与相机之间的投影模型，把边缘特征点云投影到边缘特征图像上得到激光点云与相机图像投影图；

S42：根据初始标定外参单位平移向量导致像素点的坐标变化与深度呈反比的特点，计算出激光点云与相机图像投影图中每个共视点深度权重；

S43：将激光点云与相机图像投影图中每个共视点的深度差与像素值相乘，得到的乘积再乘以深度权重，利用所有共视点的乘积和构建基于深度加权的边缘一致性目标函数；

S5：使用差分进化算法对标定外参进行优化：

S51：把初始标定外参的旋转矩阵转化为欧拉角的形式，从而将标定外参写成6维向量的形式；

S52：根据初始标定外参设置每一维参数搜索的上下边界；

S53：执行差分进化算法的变异交叉选择操作；

S54：满足最大迭代次数时，终止优化过程，根据优化结果校正激光雷达与相机之间的标定外参。

2.根据权利要求1所述的基于深度加权的激光雷达与相机在线联合标定方法，其特征在于，所述步骤S23中，采用如下公式对边缘图像进行逆距离变换：

其中，(x,y)和(i,j)分别表示逆距离变换前后图像像素点的行列索引，E_i,j表示像素点的原始像素值，E_x,y表示遍历过程中邻域内像素点的像素值，D_i,j表示逆距离变换后像素点的像素值，α和γ为常数。

3.根据权利要求1所述的基于深度加权的激光雷达与相机在线联合标定方法，其特征在于，所述步骤S31中，采用如下公式计算每个激光点的深度差：

其中，i表示激光点云帧序列，p表示每帧激光点云的激光点序列，r表示激光点到激光雷达的距离，

和

分别表示

左右相邻点到激光雷达的距离，δ为常数，

表示第p个点的深度差；

所述的S32中，采用如下公式提取出激光点云的边缘特征

其中，θ表示常数，

表示边缘特征点云。

4.根据权利要求1所述的基于深度加权的激光雷达与相机在线联合标定方法，其特征在于，所述步骤S42中采用如下公式计算出激光点云与相机图像投影图中每个共视点的深度权重W：

其中，(X_c,Y_c,Z_c)^T表示激光点在相机坐标系下的对应坐标；

S43中构建的基于深度加权的边缘一致性目标函数如下：

其中，f是边缘特征点云和边缘特征图像的索引，w表示优化过程中使用的数据帧数，p表示激光点的索引，R和t表示激光雷达与相机之间的旋转矩阵和平移向量，J表示目标函数值。

5.根据权利要求1所述的基于深度加权的激光雷达与相机在线联合标定方法，其特征在于，所述步骤S5中：以6维向量的形式将标定外参表示如下：

C＝(t_x,t_y,t_z,roll,pitch,yaw)

其中，t_x,t_y,t_z表示标定外参平移方向的三个分量，roll,pitch,yaw表示标定外参旋转方向的三个分量。

Images