CN112233188A - 一种基于激光雷达的车顶全景相机及其标定方法 - Google Patents

Abstract

本发明涉及一种基于激光雷达的车顶全景相机及其标定方法，包括架设在车顶的全景相机和环扫式激光雷达，全景相机和环扫式激光雷达之间相互垂直且不遮挡，标定方法包括：S1：将标定好的全景相机安装在汽车顶部；S2：制作印刷有规则的棋盘格的长方形标定布；S3：将汽车行驶至标定布上，汽车与标定布长边和短边对齐，并且汽车坐标系原点与棋盘格某一角点对齐；S4：采集所述全景相机的标定图像，并测量标定图像上部分角点的像素坐标和对应整车坐标系的三维坐标；S5：通过非线性优化算法，获取全景相机至汽车坐标系的数据转换外参。本发明构造的全景相机在车顶上方获取感知区域的全景图像，能进行交通标识的检测和识别，形成全景环境感知***。

Description

一种基于激光雷达的车顶全景相机及其标定方法

技术领域

本发明属于全景相机标定领域，尤其是涉及一种用于汽车车顶的环境感知***的全景相机及其标定方法。

背景技术

智能驾驶技术在预防及避免交通事故方面发挥重要作用。为代替人类驾驶员完成周围环境感知和认知，智能驾驶车辆通常配备有环境感知传感器，如相机、激光雷达和毫米波雷达等。但是，基于单一传感器的环境感知技术存在不足，例如，图像虽提供丰富的彩色语义信息，但由于成像原理，各像素未提供深度信息；激光雷达能够提供空间三维点云信息，但点云通常比较稀疏导致小物体容易出现漏检情况；毫米波雷达抗环境干扰能力强，但精度较低且常出现杂波。针对单一传感器的不足，传感器融合逐渐受到广泛的重视。

智能汽车通常配备多个传感器形成准确且冗余的感知***，且对于智能汽车的特定问题，近年已经提出多种融合***，如激光雷达与相机、相机与相机、激光雷达与激光雷达、相机与IMU、激光雷达与IMU、环视相机与超声波等，尤其是激光雷达与相机的融合，极大提高环境目标检测的准确率。但当前大部分图像与激光点云的数据融合主要使用平面相机与激光雷达的融合方案或者超过2个相机构成的全景相机。另外，多传感器融合的前提条件是各传感器数据之间能够形成空间对准，数据对准的精度直接将决定融合结果。目前多传感器融合装置及标定方法主要存在如下不足：

(1)基于多个相机组装而成的全景相机通过朝向不同的平面相机进行图像拼接技术，从而获得全景图像，但由于各相机的光心偏离较大，拼接图像容易出现严重的纹理不均匀现象。即使是采用最小二乘等图像变换算法，只有部分纹理能够对齐，但由于像素移动较大，造成部分物体失真或像素的空间位置不准确。

(2)当前存在部分融合装置将激光雷达放在全景相机上方。该方式虽能够保证所有激光雷达点云的数据不受支架的遮挡，但全景相机的上方区域将受到激光雷达的底面遮挡，导致融合装置上方较大区域将不被传感器覆盖。

(3)传感器之间的外参主要用于获取两个传感器坐标系之间的数据转换关系，若直接用于多传感器之间的联合标定将产生累计误差。目前没有合适的标定方法能够同时标定两个鱼眼摄像头和一个激光雷达组成的全景相机。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提一种基于激光雷达的车顶全景相机及其标定方法。

本发明的目的通过以下技术方案来实现：一种基于激光雷达的车顶全景相机及其标定方法，包括采用支架架设在车顶的全景相机和环扫式激光雷达，所述全景相机和所述环扫式激光雷达之间相互垂直且不遮挡，全景相机既能设置在环扫式激光雷达正上方，也能设置在环扫式激光雷达正下方，当然，为了使全景相机和环扫式激光雷达方便安装，需要设计专门的支架。

所述标定方法包括以下步骤：

S1：将标定好的全景相机安装在汽车顶部；

S2：制作长方形标定布，标定布上印刷有规则的棋盘格，并将标定布铺设在表面平整的水平地面；

S3：将汽车行驶至标定布上，要求车头方向定义为X轴与长方形标定布长边平行，汽车朝左方向定义为Y轴与长方形标定布短边平行，并且整车坐标系原点与棋盘格某一角点对齐；

S4：采集所述全景相机的标定图像，并测量标定图像上部分角点的像素坐标和对应整车坐标系的三维坐标；

S5：通过非线性优化算法，获取全景相机至汽车坐标系的数据转换外参T_s2v＝(R_s2v,t_s2v)。

设全景相机感知任意一个障碍物的坐标在全景相机坐标系为O(x_s,y_s,z_s)，则所述障碍物在汽车坐标系下的坐标为：

进一步地，全景相机由两个背靠背贴合安装的鱼眼摄像头组合而成；其中一个鱼眼摄像头正对汽车前进方向，另外一个鱼眼摄像头正对汽车后方。

进一步地，全景相机和所述环扫式激光雷达之间的时空对准主要包括时间同步和空间同步；

所述空间同步主要求取数据之间相互对齐的转换矩阵T，方法如下：

两个鱼眼摄像头所获取的两张鱼眼图像，以获取鱼眼图像内各黑点的像素位置，各黑点在环境坐标系的三维位置也已知，则通过非线性优化方法，求取重投影误差的目标损失函数最小，即求出环境坐标系与两个所述鱼眼摄像头的外参转换矩阵T_g2c1和T_g2c2，目标损失函数如下：

其中，R_g2c和t_g2c表示旋转矩阵和平移向量，X表示黑点的三维坐标，

表示黑点的三维坐标投影到图像平面后的坐标，f表示鱼眼相机投影函数，p_c表示对应的黑点在图像上的像素坐标，K表示鱼眼摄像头的内参。

分别获取标定环境坐标系与环扫式激光雷达、两个鱼眼摄像头的外参转换矩阵T_l2g，T_g2c1和T_g2c2后，再获取环扫式激光雷达、两个鱼眼摄像头之间的外参T_l2c1和T_c22c1，所述环扫式激光雷达的激光点云(xl,y_l,z_l)投影至所述鱼眼摄像头的鱼眼图像的像素坐标(u_c,v_c)公式如下：

其中，激光点云先转换至鱼眼相机坐标系坐标(x_c,y_c,z_c)，f_K为鱼眼摄像头坐标系下的三维点投影至图像平面的转换公式，如下：

f_K：

θ_dist＝θ(1+p₁·θ²+p₂·θ⁴+p₃·θ⁶+p₄·θ⁸)

其中，f_x，f_y，u₀，v₀，p₁，p₂，p₃，p₄为鱼眼摄像头内参，由内参标定方法获取。

而两个所述鱼眼摄像头进行全景图像拼接，从而构成全景相机的功能；

首先，需要根据两个所述鱼眼摄像头之间的数据转换矩阵，将后视的所述鱼眼摄像头的图像投影到前视的所述鱼眼摄像头，从而形成球面全景视图；将后视的所述鱼眼摄像头的图像投影到半径为1的球面上，再通过旋转球面上的像素点，将像素点与前视的所述鱼眼摄像头的坐标系重合，转换矩阵为：

其中，

R^-1 _g2c2为R_g2c2的逆矩阵。

转换好的像素点按照f_K投影公式，投影至球面鱼眼摄像头(1)获取的图像，从而形成全景图像；两个所述鱼眼摄像头在全景展开后像素重合的区域采用alpha混合算法进行融合，融合后的全景图在过渡部分的图像纹理和亮度更加连续且均匀过渡，从而构造成全景相机而形成全景图像；

环扫式激光雷达的激光点云投影至所述鱼眼摄像头的转换矩阵以及两个所述鱼眼摄像头图像之间拼接成全景相机图像的公式如下：

激光点云至前视鱼眼摄像头图像：T_l2g·T_g2c1

鱼眼图像的全景拼接公式：T_c22c1·T_g2c1·T^-1 _g2c2，其中，前视鱼眼摄像头的光轴正对汽车驾驶方向，T^-1 _g2c2为T_g2c2的逆矩阵，T_c22c1为绕y轴旋转180度的转换矩阵。

所述时间同步，对于两个型号相同的所述鱼眼摄像头，由于帧率相同，只需要设置相同图像捕获时间，并启动多线程即能够同步获取两个所述鱼眼相机的图像；对于所述环扫激光雷达与所述鱼眼摄像头之间的异构传感器时间同步，由于帧率不同，将帧率较低的所述环扫激光雷达的帧率作为数据更新帧率，并在激光点云数据输出时，将当前所述鱼眼摄像头的图像输出，形成时间同步。

进一步地，全景相机和所述环扫式激光雷达之间的异构数据融合方法侧重于全景图像与全景激光点云的融合，分为像素级融合、特征级融合和目标级融合，计算公式为：

像素级融合：

特征级融合：

目标级融合：

其中，x_c为相机图像的原始图像，x_l为激光雷达的原始点云，Conv_E代表在像素级融合的深度卷积神经网络，Conv_M为特征及级融合的深度卷积神经网络，Conv_c和Conv_l分别表示全景相机图像和环扫式激光雷达的处理的神经网络。

进一步地，全景图像拼接过程中，两个所述鱼眼摄像头在全景展开后像素重合的区域采用alpha混合算法进行融合。

与现有技术相比，本发明具有以下优点：

(1)本发明采用长方形标定布能够同时标定两个鱼眼摄像头和环扫式激光雷达组成的全景相机的外参，且只需要把汽车驶入标定布即能完成，标定方法简洁、高效。

(2)全景相机和环扫式激光雷达之间相互垂直且不遮挡，并使全景相机的过渡区域指向汽车的两侧，使得汽车前后重点区域的部分具有较高的像素质量。同时，全景相机的上方区域不受任何遮挡，有利于识别交通标志，如信号灯或指路牌等。

(3)在获取全景相机外参时，将展开的图像的过渡部分采用alpha混合算法进行融合，过渡部分的图像纹理和亮度更加连续且均匀过渡，从而构造成全景相机而形成全景图像。

附图说明

图1为本发明一种基于激光雷达的车顶全景相机的标定方法流程图；

图2为本发明一种基于激光雷达的车顶全景相机的融合区域示意图；

图3为本发明一种基于激光雷达的车顶全景相机的标定方法示意图；

图4为本发明全景相机和环扫式激光雷达的数据转换图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

如图1-3所示，一种基于激光雷达的车顶全景相机及其标定方法，包括采用支架架设在车顶的全景相机和环扫式激光雷达，所述全景相机和所述环扫式激光雷达之间相互垂直且不遮挡，全景相机既能设置在环扫式激光雷达正上方，也能设置在环扫式激光雷达正下方，当然，为了使全景相机和环扫式激光雷达方便安装，需要设计专门的支架。

一种基于激光雷达的车顶全景相机的标定方法包括以下步骤：

S1：将标定好的全景相机安装在汽车顶部；

S2：制作长方形标定布，标定布上印刷有规则的棋盘格，并将标定布铺设在表面平整的水平地面；

S3：将汽车行驶至标定布上，要求车头方向定义为X轴与长方形标定布长边平行，汽车朝左方向定义为Y轴与长方形标定布短边平行，并且整车坐标系原点与棋盘格某一角点对齐；

S4：采集所述全景相机的标定图像，并测量标定图像上部分角点的像素坐标和对应整车坐标系的三维坐标；

S5：通过非线性优化算法，获取全景相机至汽车坐标系的数据转换外参T_s2v＝(R_s2v,t_s2v)。

设全景相机感知任意一个障碍物的坐标在全景相机坐标系为O(x_s,y_s,z_s)，则所述障碍物在汽车坐标系下的坐标为：

优选地，全景相机由两个背靠背贴合安装的鱼眼摄像头组合而成；其中一个鱼眼摄像头正对汽车前进方向，另外一个鱼眼摄像头正对汽车后方。

具体安装方法为：首先，将两个鱼眼摄像头组成的全景相机1在支架3顶部，同时将环扫式激光雷达2紧固在支架3的侧边，并使环扫式激光雷达2位于全景相机1的正下方，或者将全景相机1和环扫式激光雷达2的位置调换，即将环扫式激光雷达2架设在支架3顶部，而全景相机1位于环扫式激光雷达2的正下方，此时需对支架3进行改进设计，例如将紧固全景相机1的部分设计成一个圆环；最后，将数据线沿着支架3侧面固定，避免线束干扰激光雷达的点云。

优选地，全景相机和所述环扫式激光雷达之间的时空对准主要包括时间同步和空间同步；

空间同步主要求取数据之间相互对齐的转换矩阵T，方法如下：

两个鱼眼摄像头所获取的两张鱼眼图像，以获取鱼眼图像内各黑点的像素位置，各黑点在环境坐标系的三维位置也可知，则通过非线性优化方法，求取重投影误差的目标损失函数最小，即求出环境坐标系与两个所述鱼眼摄像头的外参转换矩阵T_g2c1和T_g2c2，目标损失函数如下：

其中，R_g2c和t_g2c表示旋转矩阵和平移向量，X表示黑点的三维坐标，

表示黑点的三维坐标投影到图像平面后的坐标，f表示鱼眼相机投影函数，p_c表示对应的黑点在图像上的像素坐标，K表示鱼眼摄像头的内参。

分别获取标定环境坐标系与环扫式激光雷达、两个鱼眼摄像头的外参转换矩阵T_l2g，T_g2c1和T_g2c2后，再获取环扫式激光雷达、两个鱼眼摄像头之间的外参T_l2c1和T_c22c1，如图4所示，所述环扫式激光雷达的激光点云(x_l,y_l,z_l)投影至所述鱼眼摄像头的鱼眼图像的像素坐标(u_c,v_c)公式如下：

其中，激光点云先转换至鱼眼相机坐标系坐标(x_c,y_c,z_c)，f_K为鱼眼摄像头坐标系下的三维点投影至图像平面的转换公式，如下：

f_K：

θ_dist＝θ(1+p₁·θ²+p₂·θ⁴+p₃·θ⁶+p₄·θ⁸)

其中，f_x，f_y，u₀，v₀，p₁，p₂，p₃，p₄为鱼眼摄像头内参，由内参标定方法获取。

而两个所述鱼眼摄像头进行全景图像拼接，从而构成全景相机的功能；

首先，需要根据两个所述鱼眼摄像头之间的数据转换矩阵，将后视的所述鱼眼摄像头的图像投影到前视的所述鱼眼摄像头，从而形成球面全景视图；将后视的所述鱼眼摄像头的图像投影到半径为1的球面上，再通过旋转球面上的像素点，将像素点与前视的所述鱼眼摄像头的坐标系重合，转换矩阵为：

其中，

R^-1 _g2c2为R_g2c2的逆矩阵。

转换好的像素点按照f_K投影公式，投影至球面鱼眼摄像头(1)获取的图像，从而形成全景图像；两个所述鱼眼摄像头在全景展开后像素重合的区域采用alpha混合算法进行融合，融合后的全景图在过渡部分的图像纹理和亮度更加连续且均匀过渡，从而构造成全景相机而形成全景图像；

时间同步，对于两个型号相同的所述鱼眼摄像头，由于帧率相同，只需要设置相同图像捕获时间，并启动多线程即能够同步获取两个所述鱼眼相机的图像；对于所述环扫激光雷达与所述鱼眼摄像头之间的异构传感器时间同步，由于帧率不同，将帧率较低的所述环扫激光雷达的帧率作为数据更新帧率，并在激光点云数据输出时，将当前所述鱼眼摄像头的图像输出，形成时间同步。

对于鱼眼摄像头与环扫式激光雷达的异构传感器目标级数据融合，时间同步问题可以不用考虑，此时在融合过程中通过sensor-to-global Kalman filter的方式，将各传感器的观测数据z(t)与全局***的预测数据

相融合，融合后的数据为

其中，K为卡尔曼增益，H为空间转换矩阵，F为状态转移矩阵，

上时刻***数据。

优选地，全景相机和所述环扫式激光雷达之间的异构数据融合方法侧重于全景图像与全景激光点云的融合，分为像素级融合、特征级融合和目标级融合，计算公式为：

像素级融合：

特征级融合：

目标级融合：

其中，x_c为相机图像的原始图像，x_l为激光雷达的原始点云，Conv_E代表在像素级融合的深度卷积神经网络，Conv_M为特征及级融合的深度卷积神经网络，Conv_c和Conv_l分别表示全景相机图像和环扫式激光雷达的处理的神经网络。

进一步地，环扫式激光雷达的激光点云投影至所述鱼眼摄像头的转换矩阵以及两个所述鱼眼摄像头图像之间拼接成全景相机图像的公式如下：

激光点云至前视鱼眼摄像头图像：T_l2g·T_g2c1

鱼眼图像的全景拼接公式：T_c22c1·T_g2c1·T^-1 _g2c2，其中，前视鱼眼摄像头的光轴正对汽车驾驶方向，T^-1 _g2c2为T_g2c2的逆矩阵，T_c22c1为绕y轴旋转180度的转换矩阵。

优选地，全景图像拼接过程中，两个所述鱼眼摄像头在全景展开后像素重合的区域采用alpha混合算法进行融合。

总之，本发明通过两个鱼眼摄像头构造的全景相机能够形成360度区域的感知，且与环扫式激光雷达不会发生遮挡。安装在汽车顶部后，前后方重要区域能够同时被全景相机和激光雷达覆盖。另外，本发明提供的标定方法能够同时标定安装在车顶的全景相机和环扫式激光雷达的外参，标定方法更加稳定可靠。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种基于激光雷达的车顶全景相机及其标定方法，其特征在于：包括采用支架架设在车顶的全景相机和环扫式激光雷达，所述全景相机和所述环扫式激光雷达之间相互垂直且不遮挡，所述标定方法包括以下步骤：

S1：将标定好的全景相机安装在汽车顶部；

S2：制作长方形标定布，标定布上印刷有规则的棋盘格，并将标定布铺设在表面平整的水平地面；

S3：将汽车行驶至标定布上，要求车头方向定义为X轴与长方形标定布长边平行，汽车朝左方向定义为Y轴与长方形标定布短边平行，并且整车坐标系原点与棋盘格某一角点对齐；

S4：采集所述全景相机的标定图像，并测量标定图像上部分角点的像素坐标和对应整车坐标系的三维坐标；

S5：通过非线性优化算法，获取全景相机至汽车坐标系的数据转换外参T_s2v＝(R_s2v,t_s2v)；

设全景相机感知任意一个障碍物的坐标在全景相机坐标系为O(x_s,y_s,z_s)，则所述障碍物在汽车坐标系下的坐标为：

2.根据权利要求1所述的一种基于激光雷达的车顶全景相机及其标定方法，其特征在于，所述全景相机由两个背靠背贴合安装的鱼眼摄像头组合而成；其中一个鱼眼摄像头正对汽车前进方向，另外一个鱼眼摄像头正对汽车后方。

3.根据权利要求2所述的一种基于激光雷达的车顶全景相机及其标定方法，其特征在于：所述全景相机和所述环扫式激光雷达之间的时空对准包括时间同步和空间同步；

所述空间同步主要求取数据之间相互对齐的转换矩阵T，方法如下：

两个鱼眼摄像头所获取的两张鱼眼图像，以获取鱼眼图像内各黑点的像素位置，各黑点在环境坐标系的三维位置也已知，则通过非线性优化方法，求取重投影误差的目标损失函数最小，即求出环境坐标系与两个所述鱼眼摄像头的外参转换矩阵T_g2c1和T_g2c2，目标损失函数如下：

其中，R_g2c和t_g2c表示旋转矩阵和平移向量，X表示黑点的三维坐标，

表示黑点的三维坐标投影到图像平面后的坐标，f表示鱼眼相机投影函数，p_c表示对应的黑点在图像上的像素坐标，K表示鱼眼摄像头的内参；

分别获取标定环境坐标系与环扫式激光雷达、两个鱼眼摄像头的外参转换矩阵T_l2g，T_g2c1和T_g2c2后，再获取环扫式激光雷达、两个鱼眼摄像头之间的外参T_l2c1和T_c22c1，所述环扫式激光雷达的激光点云(x_l,y_l,z_l)投影至所述鱼眼摄像头的鱼眼图像的像素坐标(u_c,v_c)公式如下：

其中，激光点云先转换至鱼眼相机坐标系坐标(x_c,y_c,z_c)，f_K为鱼眼摄像头坐标系下的三维点投影至图像平面的转换公式，如下：

f_K：

θ_dist＝θ(1+p₁·θ²+p₂·θ⁴+p₃·θ⁶+p₄·θ⁸)

其中，f_x，f_y，u₀，v₀，p₁，p₂，p₃，p₄为鱼眼摄像头内参，由内参标定方法获取；

而两个所述鱼眼摄像头进行全景图像拼接，从而构成全景相机的功能；

首先，需要根据两个所述鱼眼摄像头之间的数据转换矩阵，将后视的所述鱼眼摄像头的图像投影到前视的所述鱼眼摄像头，从而形成球面全景视图；将后视的所述鱼眼摄像头的图像投影到半径为1的球面上，再通过旋转球面上的像素点，将像素点与前视的所述鱼眼摄像头的坐标系重合，转换矩阵为：

其中，

为R_g2c2的逆矩阵；

转换好的像素点按照f_K投影公式，投影至球面鱼眼摄像头获取的图像，从而形成全景图像；

所述环扫式激光雷达的激光点云投影至所述鱼眼摄像头的转换矩阵以及两个所述鱼眼摄像头图像之间拼接成全景相机图像的公式如下：

激光点云至前视鱼眼摄像头图像：T_l2g·T_g2c1

鱼眼摄像头图像的全景拼接公式：T_c22c1·T_g2c1·T^-1 _g2c2，其中，前视鱼眼摄像头的光轴正对汽车驾驶方向，T^-1 _g2c2为T_g2c2的逆矩阵，T_c22c1为绕y轴旋转180度的转换矩阵；

所述时间同步，对于两个型号相同的所述鱼眼摄像头，由于帧率相同，只需要设置相同图像捕获时间，并启动多线程即能够同步获取两个所述鱼眼相机的图像；对于所述环扫激光雷达与所述鱼眼摄像头之间的异构传感器时间同步，由于帧率不同，将帧率较低的所述环扫激光雷达的帧率作为数据更新帧率，并在激光点云数据输出时，将当前所述鱼眼摄像头的图像输出，形成时间同步。

4.根据权利要求1所述的一种基于激光雷达的车顶全景相机及其标定方法，其特征在于：所述全景相机和所述环扫式激光雷达之间还包括异构数据融合方法，所述异构数据融合方法侧重于全景图像与全景激光点云的融合，分为像素级融合、特征级融合和目标级融合，计算公式为：

像素级融合：

特征级融合：

目标级融合：

其中，x_c为相机图像的原始图像，x_l为激光雷达的原始点云，Conv_E代表在像素级融合的深度卷积神经网络，Conv_M为特征及级融合的深度卷积神经网络，Conv_c和Conv_l分别表示全景相机图像和环扫式激光雷达的处理的神经网络。

5.根据权利要求3所述的一种基于激光雷达的车顶全景相机及其标定方法，其特征在于：所述全景图像拼接过程中，两个所述鱼眼摄像头在全景展开后像素重合的区域采用alpha混合算法进行融合。

Images