CN109741402A - 基于激光雷达的小重合视野多摄像机联合标定方法 - Google Patents

Abstract

一种基于激光雷达的小重合视野多摄像机联合标定方法，根据两台相邻摄像机的视野位置选定激光雷达位置，针对每台摄像机各自手动获取至少十个标定场景的标定点的坐标值，然后利用激光雷达获取该标定场景的标定板在激光雷达坐标系中的测量值，根据坐标值和测量值计算每台摄像机与激光雷达的相对位姿，进而利用相对位姿关系得到相邻的两台摄像机的相对位姿，通过两台摄像机联合标定实现多个摄像机之间的联合标定。本发明方便快捷，无需费时费力地建造专业的车辆传感器标定室。本发明虽需采用一个激光雷达，但激光雷达已是智能车常用设备之一，所以实现本发明没有额外的开销，具有一定的普适性。

Description

基于激光雷达的小重合视野多摄像机联合标定方法

技术领域

本发明涉及的是一种多传感器联合标定领域的技术，具体是一种基于激光雷达的小重合视野多摄像机联合标定方法。

背景技术

在改善交通安全与效率方面，智能车具有巨大的潜力，而车辆感知***无疑是智能车得以运作的前提。目前，智能车感知***常常依托于摄像机作为传感器，然而一个摄像机的视野是有限的，无法观测智能车的整个周边环境，针对单个摄像机视野的局限性，解决方法是在一辆智能车上装载多个摄像机，以便形成一种具有环视功能的摄像机组。为了以数量最少的摄像机实现环视功能，要求相邻两个摄像机之间的重合视野尽可能小，高效利用每个摄像机的观测视野。但也正因相邻两个摄像机之间的重合视野小，造成摄像机联合标定十分困难。现有技术是借助具有特殊标定图案的车辆传感器标定室进行标定，然而建造这种专业的车辆传感器标定室，费时、费力又费财，不适宜推广普及。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于激光雷达的小重合视野多摄像机联合标定方法，能方便快捷地对小重合视野的多摄像机之间的相对位姿关系进行联合标定。

本发明是通过以下技术方案实现的：

本发明根据两台相邻摄像机的视野位置选定激光雷达位置，针对每台摄像机各自手动获取至少十个标定场景的标定点的坐标值，然后利用激光雷达获取该标定场景的标定板在激光雷达坐标系中的测量值，根据坐标值和测量值计算每台摄像机与激光雷达的相对位姿，进而利用相对位姿关系得到相邻的两台摄像机的相对位姿，通过两台摄像机联合标定实现多个摄像机之间的联合标定。

所述的选定激光雷达位置是要求激光雷达的测量范围与两台相邻的摄像机的视野均有重合。

所述的标定场景是指：将带有标定点的标定板设置于每台摄像机与激光雷达重合的感知区内的不同位置，标定板每设置于一处位置构成一个标定场景。

所述的坐标值是通过选取一个固定在标定板的平面上的直角坐标系，并手动测量标定点在该坐标系中的坐标而得到的值。

技术效果

与现有技术相比，本发明方便快捷，无需费时费力地建造专业的车辆传感器标定室。本发明虽需采用一个激光雷达，但激光雷达已是智能车常用设备之一，所以实现本发明没有额外的开销，具有一定的普适性。

附图说明

图1为两台摄像机与激光雷达联合标定的示意图；

图2为贴有黑白交错方块图案的标定板的示意图；

图3为手动测量结果与本发明获取结果对两台摄像机图片进行融合后的效果对比图；

图中：a为手动测量的效果图；b为本发明的效果图。

具体实施方式

如图1所示，本实施例以两台摄像机为例，当有多台摄像机联合时，依照下述方法对每相邻两台摄像机采用同样的标定方法，即可得到全部摄像机联合标定的结果，具体步骤如下：

1)选择激光雷达的设置位置：满足使激光雷达的感知范围与两台摄像机的视野均有重合的位置作为激光雷达的设置位置；

2)制作标定板：制作表面贴有图案的标定板，选择图案上的特殊点作为标定点并建立直角坐标系，如图2所示，本实施例制作了一块具有黑白交错方块图案的矩形标定板，并选取黑白方块的角点作为标定点，将矩形标定板的一角作为原点并选与之相连的两条边作为坐标轴，建立直角坐标系，选取一组标定点手动测得其在直角坐标系中的坐标值为(x_p1,y_p1),(x_p2,y_p2),……,(x_pm,y_pm)；

3)计算第一摄像机与激光雷达的相对位姿：

3.1)构键一组标定场景：在第一摄像机与激光雷达共同的感知区域内选定十处以上不同的位置作为标定位置，为了更好的标定效果，所选的标定位置最好均匀分布在第一摄像机的有效视野上，将标定板放置在一处标定位置即构成一个标定场景，依次将标定板设置于所选的几处标定位置上，即构成第一摄像机的一组标定场景；

3.2)记录标定点在标定场景的图像坐标值：当有N个标定场景，在场景k中(k＝1,2,……,N)记录所有标定点的图像坐标值(u_1,k1,v_1,k1),(u_1,k2,v_1,k2),……,(u_1,km,v_1,km)；

3.3)记录标定板在标定场景的激光雷达测量值：当有N个标定场景，在场景k中(k＝1,2,……,N)记录标定板在标定场景的激光雷达测量值(x_1,k1,y_1,k1,z_1,k1),(x_1,k2,y_1,k2,z_1,k2),……,(x_1,kq,y_1,kq,z_1,kq)；

3.4)通过四个公式计算第一摄像机与激光雷达的相对位姿：

公式(1)L_1,kh_1,k＝0计算h_1,k的非零解，即计算最小特征值对应的特征向量，求得：h_1,k＝[h_1,k11 h_1,k12 h_1,k13 h_1,k21 h_1,k22 h_1,k23 h_1,k31 h_1,k32 h_1,k33]^T，其中：h_1,k为9×1的向量；为2m×9的矩阵，是矩阵L_1,k的转置。

公式(2)其中：A₁为第一摄像机的内参数矩阵，R_1,pk为3×3的矩阵，T_1,pk为3×1的向量，H_1,k1＝[h_1,k11 h_1,k21h_1,k31]^T为3×1的向量，H_1,k2＝[h_1,k12 h_1,k22 h_1,k32]^T为3×1的向量，H_1,k3＝[h_1,k13 h_1,k23h_1,k33]^T为3×1的向量。

公式(3)L_cs1H_cs1＝b_cs1，其中：L_cs1为qN×9的矩阵，H_cs1为9×1的向量，b_cs1为qN×1的向量。求得：H_cs1＝(L_cs1 ^TL_cs1)^-1L_cs1 ^Tb_cs1，e₁＝[1 0 0]^T；e₂＝[0 1 0]^T；e₃＝[0 0 1]^T，其中：表示直积：记H_cs1为H_cs1＝[h_1,cs11 h_1,cs12 h_1,cs13 h_1,cs21 h_1,cs22 h_1,cs23 h_1,cs31 h_1,cs32 h_1,cs33]^T。

公式(4)其中：H_cs1(1)和H_cs1(2)均为3×1的向量，R_cs1为3×3的矩阵，T_cs1为3×1的向量，得到第一摄像机与激光雷达之间的相对位姿关系为{R_cs1,T_cs1}；

4)计算第二摄像机与激光雷达的相对位姿：

4.1)构键一组标定场景：在第二摄像机与激光雷达共同的感知区域内选定十处以上不同的位置作为标定位置，为了更好的标定效果，所选的标定位置最好均匀分布在第二摄像机的有效视野上，将标定板放置在一处标定位置即构成一个标定场景，依次将标定板设置于所选的几处标定位置上，即构成第二摄像机的一组标定场景；

4.2)记录标定点在标定场景的图像坐标值：当有N个标定场景，在场景k中(k＝1,2,……,N)记录所有标定点的图像坐标值(u_2,k1,v_2,k1),(u_2,k2,v_2,k2),……,(u_2,km,v_2,km)；

4.3)记录标定板在标定场景的激光雷达测量值：当有N个标定场景，在场景k中(k＝1,2,……,N)记录标定板在标定场景的激光雷达测量值(x_2,k1,y_2,k1,z_2,k1),(x_2,k2,y_2,k2,z_2,k2),……,(x_2,kq,y_2,kq,z_2,kq)；

4.4)通过四个公式计算第二摄像机与激光雷达的相对位姿：

公式(5)L_2,kh_2,k＝0计算h_2,k的非零解，即计算最小特征值对应的特征向量，求得：h_2,k＝[h_2,k11 h_2,k12 h_2,k13 h_2,k21 h_2,k22 h_2,k23 h_2,k31 h_2,k32 h_2,k33]^T，其中：h_2,k为9×1的向量；为2m×9的矩阵，是矩阵L_2,k的转置。

公式(6)其中：A₂为第二摄像机的内参数矩阵，R_2,pk为3×3的矩阵，T_2,pk为3×1的向量，H_2,k1＝[h_2,k11h_2,k21 h_2,k31]^T为3×1的向量，H_2,k2＝[h_2,k12 h_2,k22 h_2,k32]^T为3×1的向量，H_2,k3＝[h_2,k13 h_2,k23h_2,k33]^T为3×1的向量。

公式(7)L_cs2H_cs2＝b_cs2，其中：L_cs2为qN×9的矩阵，H_cs2为9×1的向量，b_cs2为qN×1的向量。求得：H_cs2＝(L_cs2 ^TL_cs2)^-1L_cs2 ^Tb_cs2，其中：表示直积：记H_cs2为H_cs2＝[h_2,cs11 h_2,cs12 h_2,cs13 h_2,cs21 h_2,cs22 h_2,cs23 h_2,cs31 h_2,cs32 h_2,cs33]^T。

公式(8)其中：H_cs2(1)和H_cs2(2)均为3×1的向量，R_cs2为3×3的矩阵，T_cs2为3×1的向量，得到第二摄像机与激光雷达之间的相对位姿关系为{R_cs2,T_cs2}；

5)推算第一摄像机与第二摄像机之间的相对位姿：利用激光雷达与第一摄像机的相对位姿{R_cs1,T_cs1}和激光雷达与第二摄像机的相对位姿{R_cs2,T_cs2}，推算第一摄像机与第二摄像机之间的相对位姿：即完成了第一摄像机与第二摄像机的联合标定。

如图3a所示，为利用手动测量结果对两台摄像机图片进行融合后得到的效果图；如图3b所示，为利用本实施例获取的结果对两台摄像机图片进行融合后得到的效果图。经过对比可以发现：图3a存在明显的***与不一致；图3b融合的十分自然。

与现有技术相比本发明的优势在于：本发明方便快捷，无需费时费力地建造专业的车辆传感器标定室。本发明虽需采用一个激光雷达，但激光雷达已是智能车常用设备之一，所以实现本发明没有额外的开销，具有一定的普适性。本发明为相关科技人员提供了一种行之有效的、对小重合视野多摄像机进行联合标定的方法。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (7)

1.一种基于激光雷达的小重合视野多摄像机联合标定方法，其特征在于，根据两台相邻摄像机的视野位置选定激光雷达位置，针对每台摄像机各自手动获取至少十个标定场景的标定点的坐标值，然后利用激光雷达获取该标定场景的标定板在激光雷达坐标系中的测量值，根据坐标值和测量值计算每台摄像机与激光雷达的相对位姿，进而利用相对位姿关系得到相邻的两台摄像机的相对位姿，完成两台摄像机之间的联合标定，既而实现多个摄像机之间的联合标定；

所述的选定激光雷达位置是要求激光雷达的测量范围与两台相邻的摄像机的视野均有重合。

2.根据权利要求1所述的方法，其特征是，所述的标定场景是指：将带有标定点的标定板设置于每台摄像机与激光雷达重合的感知区内的不同位置，标定板每设置于一处位置构成一个标定场景。

3.根据权利要求2所述的方法，其特征是，所述的带有标定点的标定板是指：选取一块带有图案的标定板，在图案上选取点作为标定点。

4.根据权利要求2所述的方法，其特征是，所述的不同位置优选以均匀分布的方式选取。

5.根据权利要求1所述的方法，其特征是，所述的坐标值是通过选取一个固定在标定板的平面上的直角坐标系，并手动测量标定点在该坐标系中的坐标而得到的值。

6.根据权利要求1所述的方法，其特征是，所述的计算是通过公式：(1)L_1,kh_1,k＝0计算h_1,k的非零解，即计算最小特征值对应的特征向量，求得：h_1,k＝[h_1,k11 h_1,k12 h_1,k13h_1,k21 h_1,k22 h_1,k23 h_1,k31 h_1,k32 h_1,k33]^T，其中：h_1,k为9×1的向量；为2m×9的矩阵，是矩阵L_1,k的转置；

(2)其中：A₁为第一摄像机的内参数矩阵，R_1,pk为3×3的矩阵，T_1,pk为3×1的向量，H_1,k1＝[h_1,k11 h_1,k21 h_1,k31]^T为3×1的向量，H_1,k2＝[h_1,k12 h_1,k22 h_1,k32]^T为3×1的向量，H_1,k3＝[h_1,k13 h_1,k23 h_1,k33]^T为3×1的向量。

(3)L_cs1H_cs1＝b_cs1，其中：L_cs1为qN×9的矩阵，H_cs1为9×1的向量，b_cs1为qN×1的向量。求得：H_cs1＝(L_cs1 ^TL_cs1)^-1L_cs1 ^Tb_cs1，e₁＝[1 0 0]^T；e₂＝[0 1 0]^T；e₃＝[0 0 1]^T，其中：表示直积：记H_cs1为H_cs1＝[h_1,cs11 h_1,cs12 h_1,cs13 h_1,cs21 h_1,cs22 h_1,cs23 h_1,cs31 h_1,cs32 h_1,cs33]^T。

(4)其中：H_cs1(1)和H_cs1(2)均为3×1的向量，R_cs1为3×3的矩阵，T_cs1为3×1的向量，得到第一摄像机与激光雷达之间的相对位姿关系为{R_cs1,T_cs1}，依照上述公式计算第二台摄像机与激光雷达之间的相对位姿关系为{R_cs2,T_cs2}。

7.根据权利要求6所述的方法，其特征是，所述的推算是通过公式计算得到相邻两台摄像机之间的位姿关系{R₁₂,T₁₂}。