CN113406604A

CN113406604A - 一种激光雷达和摄像机位置标定的装置和方法

Info

Publication number: CN113406604A
Application number: CN202110736902.1A
Authority: CN
Inventors: 高发钦
Original assignee: Shandong New Generation Information Industry Technology Research Institute Co Ltd
Current assignee: Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority date: 2021-06-30
Filing date: 2021-06-30
Publication date: 2021-09-17

Abstract

本发明公开一种激光雷达和摄像机位置标定的装置和方法,涉及光学及算法定位技术领域；通过摄像机采集标定参照装置图像，利用图像算法获取标定点的图像坐标，其中标定参照装置包括至少两个正方形平板，所述正方形平板依次相互连接，且颜色均不相同并依次增大，通过图像算法至少分别识别两个正方形平板的四个顶点，将顶点作为标定点，标定顶点的图像坐标，通过激光雷达采集标定参照装置的点云，利用点云算法获取标定点的三维坐标，其中通过点云算法至少分别识别两个正方形平板的四个顶点，标定顶点的三维坐标，通过图像坐标和三维坐标对应标定点，利用PnP算法确定激光雷达和摄像机的位置关系。

Description

一种激光雷达和摄像机位置标定的装置和方法

技术领域

本发明公开一种装置和方法,涉及光学及算法定位技术领域，具体地说是一种激光雷达和摄像机位置标定的装置和方法。

背景技术

激光雷达和摄像机是两种常用的环境感知传感器。激光雷达通过光源主动发射激光，通过感知器件接收在物体表面反射回来的激光，从而计算出目标的距离，可以得到空间中点的三维坐标，也就是点云。摄像机是被动式感知的方式，通过感光芯片把物体表面反射回来的光，转换为电信号，可以得到每个像素的颜色信息，也就是二维图像。从图像中通过图像识别的算法可以识别出目标类别，但是深度信息已经丢失了，点云中有深度信息，但是不便于识别目标。为了增加环境感知的能力，自动驾驶或者机器人等智能设备会同时安装激光雷达和摄像机进行信息的融合，先通过图像识别出目标，比如行人或者车辆，然后在点云中找到对应目标的距离信息，为了找到点云中空间点和图像中像素点的对应关系，需要知道标定出激光雷达坐标系和摄像机坐标系的相对位置关系。另外实现实场景三维重建时，需要进行激光雷达和摄像机融合应用，通过激光雷达采集的点云，在图像中找到对应的像素点获得颜色，给点云着色，形成彩色点云，也需要事先标定出激光雷达和摄像机的位置关系。

而现有的激光雷达和摄像机的标定方法，使激光雷达和摄像机同时对同一个方形平板作为标定物，采集点云和图像，通过人眼观察，找到点云和图像中对应的点作为一对标定点，然后在点云和图像文件中手动点击获取三维坐标和图像坐标，当标定点对足够多时可以解出激光雷达和摄像机的位置关系。但是这种人眼观察对应点，手动获取坐标的方法，存在很大的人为主观误差，而且有些激光雷达采集的点云比较稀疏，手动点击获取的并不是标定点的三维坐标，很可能是空间邻域最近点的坐标。并且激光雷达与摄像机的距离，和标定板的尺寸不一定在一个数量级上，容易导致标定误差很大；标定板上的标定点对，都在一个平面上，不能同时获取多个深度上的标定点，计算的结果很可能只是满足特定距离的最优解。这些问题都容易导致标定误差很大，给后续的激光雷达和摄像机的融合带来问题。

发明内容

本发明针对现有技术的问题，提供一种激光雷达和摄像机位置标定的装置和方法，可以使用算法自动找到点云和图像的对应点，准确度高；标定装置是立体的而不是平面，可以获取不同深度上的标定点对，标定结果更加准确；标定装置尺寸可以调整，可以标定不同距离的激光雷达和摄像机；具有很强的实用价值。

本发明提出的具体方案是：

一种激光雷达和摄像机位置标定的方法，通过摄像机采集标定参照装置图像，利用图像算法获取标定点的图像坐标，其中标定参照装置包括至少两个正方形平板，所述正方形平板依次相互连接，且颜色均不相同并依次增大，通过图像算法至少分别识别两个正方形平板的四个顶点，将顶点作为标定点，标定顶点的图像坐标，

通过激光雷达采集标定参照装置的点云，利用点云算法获取标定点的三维坐标，其中通过点云算法至少分别识别两个正方形平板的四个顶点，标定顶点的三维坐标，

通过图像坐标和三维坐标对应标定点，利用PnP算法确定激光雷达和摄像机的位置关系。

进一步，所述的一种激光雷达和摄像机位置标定的方法中估算激光雷达和摄像机的距离，调整激光雷达和摄像机的距离到标定参照装置为同一数量级，保持标定参照装置位置不动，通过摄像机采集标定参照装置的图像，通过激光雷达采集标定参照装置的点云。

进一步，所述的一种激光雷达和摄像机位置标定的方法中对于标定参照装置的图像，利用霍夫变换方法提取分别每个平板的4条直线，利用直线求交点获得4个顶点的图像坐标。

进一步，所述的一种激光雷达和摄像机位置标定的方法中对于标定参照装置的点云，利用RANSAC方法，从激光雷达采集的点云中，分割出正方形平板的平面，拟合成正方形平板的正方形，得到四个顶点的三维坐标。

进一步，所述的一种激光雷达和摄像机位置标定的方法中根据摄像机的内参数矩阵，通过PnP算法获取激光雷达和摄像机的相对位置关系参数，根据相对位置关系参数将标定参照装置点云的空间点重投影到标定参照装置图像，并与图像坐标进行对比，确定激光雷达和摄像机的位置关系。

进一步，所述的一种激光雷达和摄像机位置标定的方法中使用张正友标定法，对摄像机进行标定，得到内参数矩阵。

一种激光雷达和摄像机位置标定的***，包括图像标定模块、点云标定模块及计算模块，

图像标定模块通过摄像机采集的标定参照装置图像，利用图像算法获取标定点的图像坐标，其中标定参照装置包括至少两个正方形平板，所述正方形平板依次相互连接，且颜色均不相同并依次增大，图像标定模块通过图像算法至少分别识别两个正方形平板的四个顶点，将顶点作为标定点，标定顶点的图像坐标，

点云标定模块通过激光雷达采集的标定参照装置的点云，利用点云算法获取标定点的三维坐标，其中点云标定模块通过点云算法至少分别识别两个正方形平板的四个顶点，标定顶点的三维坐标，

计算模块通过图像坐标和三维坐标对应标定点，利用PnP算法确定激光雷达和摄像机的位置关系。

一种激光雷达和摄像机位置标定的装置，包括至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行所述的一种激光雷达和摄像机位置标定的方法。

本发明的有益之处是：

本发明提供一种激光雷达和摄像机位置标定的方法，用来计算激光雷达和摄像机的相对位置，根据标定参照装置，从摄像机采集的图像中，容易识别每个平板的四个顶点，从激光雷达采集的点云中，容易识别每个平板的四个顶点，利用至少8个标定点对，可以通过PnP算法解出激光雷达和摄像机的位置关系。本发明实施过程简单，使用的标定装置制作简单，成本低廉，可以自动找到点云和图像的对应点，准确度高；并且标定参照装置无需限定尺寸，可以获取不同深度广度上的标定点对，标定结果更加准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法应用场景示意图。

图2是标定装置示意图。

图3是两个正方形平板的顶点标定示意图。

附图标记：

平板1，平板2，平板3，连接杆4，

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

本发明提供一种激光雷达和摄像机位置标定的方法，通过摄像机采集标定参照装置图像，利用图像算法获取标定点的图像坐标，其中标定参照装置包括至少两个正方形平板，所述正方形平板依次相互连接，且颜色均不相同并依次增大，通过图像算法至少分别识别两个正方形平板的四个顶点，将顶点作为标定点，标定顶点的图像坐标，

利用本发明方法根据激光雷达和摄像机观察同一个标定参照装置，通过图像算法获取标定点的图像坐标，通过点云算法获取标定点的三维坐标，并对应标定点对，当标定点对足够多时，即至少8对时，可以快速准确计算出激光雷达和摄像机的相对位置。便于增加环境感知的能力，应用于自动驾驶或者机器人等智能设备中完成激光雷达和摄像机的信息融合。同时还可在现实场景三维重建时，通过本发明方法也可以快速融合两个传感器的信息，使激光雷达采集的点云，在图像中找到对应的像素点获得颜色，给点云着色，形成彩色点云。

具体应用中，在本发明的一些实施例中，过程为：

步骤1：粗略估计激光雷达和摄像机的距离，将激光雷达和摄像机到标定参照装置的距离分别调整到同一个数量级。通过摄像机采集标定装置的图像，通过激光雷达采集标定装置的点云。参照图1和2，其中标定参照装置包括三个正方形的平板和连接杆4，连接杆4连接平板1-3，平板分别是平板1、平板2及平板3，三个正方形板的边长依次增大，且颜色不同。

步骤2:图像中，参考图3，平板1、平板2颜色不同，利用霍夫变换方法分别提取平板1正方形4条边缘直线，再利用直线求交点获得4个顶点的图像坐标。同理，求得平板2的四个顶点的图像坐标。

步骤3:在点云中，使用随机采样一致性RANSAC方法，从激光雷达采集的点云中，分割出正方形平板的平面，可参考如下过程：

步骤31：在点云中，随机取三个点，确定一个平面，设置距离阈值为0.01米，即只要点到平面的距离小于该阈值都作为平面上的点看待。计算在此距离阈值内有多少点满足这个平面。

步骤32：重新随机选三点，确定一个平面，计算这个平面是不是能在同样的距离阈值内，包含更多点云中的点，如果是则记此平面为结果。

步骤33：重复步骤32进行循环迭代。迭代足够多的次数。

步骤34：迭代结束，记录当前结果，当前平面上包含的点就是分割出的一个平面。

步骤35：将步骤34得到的平面所包含的点从激光雷达点云中移除，剩余的点云重复步骤31-34，得到下一个平面，直到获取每个平板的平面。

分割出平板的平面后，根据前后位置或者面积大小，可以对应到平板1-3。对平板1和平板2的点云拟合成正方形，获取平板1的四个顶点坐标和平板2的四个顶点的三维坐标。

步骤4:根据摄像机内参矩阵，及8个标定点对的空间坐标和图像坐标，通过PnP算法解出激光雷达和摄像机的相对位置关系参数，也就是旋转矩阵和平移向量。

步骤5:根据上述结果，将点云的空间点重投影到图像，和图像坐标进行对比，评价标定结果。

在上述实施过程中，本发明的另一些实施例中，说明了步骤4中使用张正友标定法，对摄像机进行标定，得到内参数矩阵

其中

和

分别表示摄像机在x和y方向上以像素为单位的焦距长度，(u₀,v₀)表示光心在图像上的像素坐标。而从激光雷达坐标系到图像坐标的转换关系的公式如下所示：

从激光雷达获取的是标定点的三维坐标

从摄像机获取的是标定点的图像坐标

当标定点对数达到8对，能够解出激光雷达和摄像机的旋转矩阵R和平移向量t。根据上述结果，将空间点重投影到图像，和图像坐标进行对比，评价标定结果。

而上述实施过程中，标定参照装置是立体的而非平面，可以获取不同深度上的标定点对，使标定结果更加准确，同时标定参照装置的尺寸可以调整，可以标定不同距离的激光雷达和摄像机，具有广泛的应用价值。

同时本发明提供一种激光雷达和摄像机位置标定的***，包括图像标定模块、点云标定模块及计算模块，

计算模块通过图像坐标和三维坐标对应标定点，利用PnP算法确定激光雷达和摄像机的位置关系。上述***内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。同样的，本发明***可以根据激光雷达和摄像机观察同一个标定参照装置，通过图像算法获取标定点的图像坐标，通过点云算法获取标定点的三维坐标，并对应标定点对，当标定点对足够多时，即至少8对时，可以快速准确计算出激光雷达和摄像机的相对位置。便于增加环境感知的能力，应用于自动驾驶或者机器人等智能设备中完成激光雷达和摄像机的信息融合。同时还可在现实场景三维重建时，通过本发明方法也可以快速融合两个传感器的信息，使激光雷达采集的点云，在图像中找到对应的像素点获得颜色，给点云着色，形成彩色点云。

以及本发明提供一种激光雷达和摄像机位置标定的装置，包括至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行所述的一种激光雷达和摄像机位置标定的方法。上述装置内的处理器的信息交互、执行可读程序过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。同样的，利用本发明装置可以根据激光雷达和摄像机观察同一个标定参照装置，通过图像算法获取标定点的图像坐标，通过点云算法获取标定点的三维坐标，并对应标定点对，当标定点对足够多时，即至少8对时，可以快速准确计算出激光雷达和摄像机的相对位置。便于增加环境感知的能力，应用于自动驾驶或者机器人等智能设备中完成激光雷达和摄像机的信息融合。同时还可在现实场景三维重建时，通过本发明方法也可以快速融合两个传感器的信息，使激光雷达采集的点云，在图像中找到对应的像素点获得颜色，给点云着色，形成彩色点云。

需要说明的是，上述较佳实施例的各流程和各***结构中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的***结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims

1.一种激光雷达和摄像机位置标定的方法，其特征是通过摄像机采集标定参照装置图像，利用图像算法获取标定点的图像坐标，其中标定参照装置包括至少两个正方形平板，所述正方形平板依次相互连接，且颜色均不相同并依次增大，通过图像算法至少分别识别两个正方形平板的四个顶点，将顶点作为标定点，标定顶点的图像坐标，

2.根据权利要求1所述的一种激光雷达和摄像机位置标定的方法，其特征是估算激光雷达和摄像机的距离，调整激光雷达和摄像机的距离到标定参照装置为同一数量级，保持标定参照装置位置不动，通过摄像机采集标定参照装置的图像，通过激光雷达采集标定参照装置的点云。

3.根据权利要求1或2所述的一种激光雷达和摄像机位置标定的方法，其特征是对于标定参照装置的图像，利用霍夫变换方法提取分别每个平板的4条直线，利用直线求交点获得4个顶点的图像坐标。

4.根据权利要求1或3所述的一种激光雷达和摄像机位置标定的方法，其特征是对于标定参照装置的点云，利用RANSAC方法，从激光雷达采集的点云中，分割出正方形平板的平面，拟合成正方形平板的正方形，得到四个顶点的三维坐标。

5.根据权利要求1或4所述的一种激光雷达和摄像机位置标定的方法，其特征是根据摄像机的内参数矩阵，通过PnP算法获取激光雷达和摄像机的相对位置关系参数，根据相对位置关系参数将标定参照装置点云的空间点重投影到标定参照装置图像，并与图像坐标进行对比，确定激光雷达和摄像机的位置关系。

6.根据权利要求5所述的一种激光雷达和摄像机位置标定的方法，其特征是使用张正友标定法，对摄像机进行标定，得到内参数矩阵。

7.一种激光雷达和摄像机位置标定的***，其特征是包括图像标定模块、点云标定模块及计算模块，

8.一种激光雷达和摄像机位置标定的装置，其特征是包括至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至6中任一项所述的一种激光雷达和摄像机位置标定的方法。