CN111815716A - 一种参数标定方法及相关装置 - Google Patents

Abstract

本申请公开了一种参数标定方法及相关装置。方法包括：获得相机对标定组件拍摄的图像和激光雷达对标定组件探测的点云数据，标定组件包括N个不共面的标定板，N为大于2的整数；根据图像得到在相机的坐标系下每个标定板的第一平面方程，并根据点云数据得到在激光雷达的坐标系下每个标定板的第二平面方程；利用标定组件中每个标定板的第一平面方程和第二平面方程得到激光雷达与相机之间的外参。本申请通过N个不共面的标定板，利用平面约束便可自动实现外参标定。由于标定过程中不需要人工操作介入，因此节省人力成本，方便快捷。

Description

一种参数标定方法及相关装置

技术领域

本申请涉及仪器设备标定技术领域，特别是涉及一种参数标定方法及相关装置。

背景技术

激光雷达通常在较大场景下用以定位和建图。其可以获取到扫描范围内稀疏的三维点云。因为每种传感器都有自身的使用局限性，所以在实际应用中通常采用多传感器融合的方法来进行定位和建图。

例如，相机采集的图像可以用于在空间结构单一但存在视觉纹理的场景下的定位，而激光雷达可以用于在没有视觉纹理但三维结构明显的场景下的定位。再例如，通过在图像上判别出行人，然后将激光雷达点云投影到图像上，能够去除激光雷达点云中的行人，得到更干净的点云拼接结果。

然而使用上述多类型传感器融合的方法的一个前提，是要已知一个绑定有激光雷达和相机的模块(或***)中激光雷达和相机的外参。因为装配误差和模组封装等原因，导致目前无法通过直接测量或者从设计图中获取到准确的外参。通常的情况下，一般采用观测匹配的方法，将激光雷达和相机的观测以某种方式进行匹配，然后再计算外参，这个过程叫做外参标定。

现有很多标定激光雷达与相机的方案，但是在标定过程需要人工参与，操作复杂。在激光雷达和相机普遍应用的如今，急需提供一种可自动化实现的外参标定方案。

发明内容

基于上述问题，本申请提供了一种参数标定方法及相关装置，以自动化实现对激光雷达和相机之间的外参标定。

本申请实施例公开了如下技术方案：

第一方面，本申请提供一种参数标定方法，包括：

获得相机对标定组件拍摄的图像和激光雷达对所述标定组件探测的点云数据；所述标定组件包括N个不共面的标定板，所述N为大于2的整数；

根据所述图像得到在所述相机的坐标系下每个标定板的第一平面方程，并根据所述点云数据得到在所述激光雷达的坐标系下每个标定板的第二平面方程；

利用所述标定组件中每个标定板的第一平面方程和第二平面方程得到所述激光雷达与所述相机之间的外参。

可选地，每个标定板包括预设图案；

所述根据所述图像得到在所述相机的坐标系下每个标定板的第一平面方程，具体包括：

从所述图像中检测每个标定板上的预设图案，获得预设图案的实测特征信息；

根据所述相机的内参、所述预设图案的已知特征信息和所述预设图案的实测特征信息，得到在所述标定组件所在的空间坐标系下所述相机的位姿信息；所述位姿信息包括：旋转信息和位移信息；

根据所述位姿信息和每个标定板在所述空间坐标系下的平面表达式，得到在所述相机的坐标系下每个标定板的第一平面方程。

可选地，所述根据所述点云数据得到在所述激光雷达的坐标系下每个标定板的第二平面方程，具体包括：

从所述点云数据中分割出每个标定板对应的点云集合；

对每个点云集合所在的平面进行拟合，得到在所述激光雷达的坐标系下每个标定板的第二平面方程。

可选地，N个标定板的材质不同，且N个标定板分别具有唯一对应的标识信息和反射值；

所述从所述点云数据中分割出每个标定板对应的点云集合，具体包括：

从所述点云数据中分割出N个点云集合；

根据所述N个点云集合分别计算，得到N个平均反射值；

根据所述N个平均反射值，确定所述N个点云集合分别对应的标识信息，以确定每个标定板对应的点云集合。

可选地，所述利用所述标定组件中每个标定板的第一平面方程和第二平面方程得到所述激光雷达与所述相机之间的外参，具体包括：

通过闭式解求解方式联合每个标定板的第一平面方程和第二平面方程进行求解，将求解结果作为所述激光雷达与所述相机之间的外参初值；

对所述外参初值进行非线性优化，获得优化后所述激光雷达与所述相机之间的外参。

可选地，外参初值包括：所述激光雷达相对于所述相机的第一旋转矩阵和第一平移向量；

所述通过闭式解求解方式联合每个标定板的第一平面方程和第二平面方程进行求解，将求解结果作为所述激光雷达与所述相机之间的外参初值，具体包括：

根据N个标定板分别对应的第一平面参数和第二平面参数，利用奇异值分解SVD方法求解得到所述第一旋转矩阵；所述第一平面参数为依据标定板的第一平面方程提取，所述第二平面参数为依据标定板的第二平面方程提取；

利用N个标定板分别对应的第一平面参数和第二平面参数以及所述第一旋转矩阵构建线性方程组；

对所述线性方程组求解得到所述第一平移向量。

可选地，对所述外参初值进行非线性优化，获得优化后所述激光雷达与所述相机之间的外参，具体包括：

利用所述外参初值将每个点云集合转换到所述相机的坐标系下，得到转换后的点集合；

获得所述相机的坐标系下所有转换后的点集合中各个点到对应的标定板的距离之和；

以所述距离之和作为代价函数进行非线性优化，得到优化后所述激光雷达相对于所述相机的第二旋转矩阵和第二平移向量。

可选地，所述预设图案包括按照预设规格排布的特征图形。特征图形例如二维码。

第二方面，本申请提供一种参数标定装置，该装置包括：

数据获取模块，用于获得相机对标定组件拍摄的图像和激光雷达对所述标定组件探测的点云数据；所述标定组件包括N个不共面的标定板，所述N为大于2的整数；

方程构建模块，用于根据所述图像得到在所述相机的坐标系下每个标定板的第一平面方程，并根据所述点云数据得到在所述激光雷达的坐标系下每个标定板的第二平面方程；

参数求解模块，用于利用所述标定组件中每个标定板的第一平面方程和第二平面方程得到所述激光雷达与所述相机之间的外参。

该装置利用N个不共面的标定板以及平面约束便可自动实现外参标定。由于标定过程中不需要人工操作介入，因此节省人力成本，方便快捷。

可选地，每个标定板包括预设图案。作为示例，预设图案包括按照预设规格排布的特征图形。特征图形包括：二维码。

可选地，方程构建模块包括第一构建单元，该第一构建单元包括：

实测特征信息获取子单元，用于从所述图像中检测每个标定板上的预设图案，获得预设图案的实测特征信息；

位姿信息获取子单元，用于根据所述相机的内参、所述预设图案的已知特征信息和所述预设图案的实测特征信息，得到在所述标定组件所在的空间坐标系下所述相机的位姿信息；所述位姿信息包括：旋转信息和位移信息；

方程第一构建子单元，用于根据所述位姿信息和每个标定板在所述空间坐标系下的平面表达式，得到在所述相机的坐标系下每个标定板的第一平面方程。

可选地，方程构建模块还包括第二构建单元，该第二构建单元包括：

点云分割子单元，用于从所述点云数据中分割出每个标定板对应的点云集合；

平面拟合子单元，用于对每个点云集合所在的平面进行拟合，得到在所述激光雷达的坐标系下每个标定板的第二平面方程。

可选地，N个标定板的材质不同，且N个标定板分别具有唯一对应的标识信息和反射值；

点云分割子单元，具体用于从所述点云数据中分割出N个点云集合；根据所述N个点云集合分别计算，得到N个平均反射值；根据所述N个平均反射值，确定所述N个点云集合分别对应的标识信息，以确定每个标定板对应的点云集合。

可选地，参数求解模块包括：

参数初值求解单元，用于通过闭式解求解方式联合每个标定板的第一平面方程和第二平面方程进行求解，将求解结果作为所述激光雷达与所述相机之间的外参初值；

参数优化单元，用于对所述外参初值进行非线性优化，获得优化后所述激光雷达与所述相机之间的外参。

可选地，外参初值包括：所述激光雷达相对于所述相机的第一旋转矩阵和第一平移向量；

上述参数初值求解单元，包括：

第一旋转矩阵求解子单元，用于根据N个标定板分别对应的第一平面参数和第二平面参数，利用奇异值分解SVD方法求解得到所述第一旋转矩阵；所述第一平面参数为依据标定板的第一平面方程提取，所述第二平面参数为依据标定板的第二平面方程提取；

方程组构建子单元，用于利用N个标定板分别对应的第一平面参数和第二平面参数以及所述第一旋转矩阵构建线性方程组；

第一平移向量求解子单元，用于对所述线性方程组求解得到所述第一平移向量。

可选地，参数优化单元，具体包括：

点云转换子单元，用于利用所述外参初值将每个点云集合转换到所述相机的坐标系下，得到转换后的点集合；

距离求和子单元，用于获得所述相机的坐标系下所有转换后的点集合中各个点到对应的标定板的距离之和；

非线性优化子单元，用于以所述距离之和作为代价函数进行非线性优化，得到优化后所述激光雷达相对于所述相机的第二旋转矩阵和第二平移向量。

相较于现有技术，本申请具有以下有益效果：

本申请提供的参数标定方法及相关装置，获得相机对标定组件拍摄的图像和激光雷达对标定组件探测的点云数据，标定组件包括N个不共面的标定板，N为大于2的整数；根据图像得到在相机的坐标系下每个标定板的第一平面方程，并根据点云数据得到在激光雷达的坐标系下每个标定板的第二平面方程；利用标定组件中每个标定板的第一平面方程和第二平面方程得到激光雷达与相机之间的外参。该方案中通过N个不共面的标定板，利用平面约束便可自动实现外参标定。由于标定过程中不需要人工操作介入，因此节省人力成本，方便快捷。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1A为本申请实施例提供的一种标定组件的示意图；

图1B为本申请实施例提供的一种参数标定方法的流程图；

图2为本申请实施例提供的另一种参数标定方法的流程图；

图3为本申请实施例提供的一种标定板上预设图案的示意图；

图4A为本申请实施例提供的激光雷达针对标定组件扫描探测的点云示意图；

图4B为本申请实施例提供的一种点云根据标定得到的外参初值投影到相机拍摄的图像上的示意图；

图5为本申请实施例提供的一种参数标定装置的结构示意图。

具体实施方式

目前标定激光雷达与相机的外参的技术方案需要在标定过程中人工参与。例如，人工制造一些能够同时利用点云和图像进行识别的特征：在棋盘格标定板中心挖出一个圆形区域，然后从点云中提取出空洞的圆形区域，并拟合计算圆心位置，同时在图像上找到空洞中心的像素，最后通过投影关系计算出激光雷达相对于相机的外参。另外，还可以应用基于点匹配的外参标定方案：找到标定板的四个角对应的点云，然后人工地与图像中标定板的四个角的像素进行匹配。显然，上述两种标定方式操作复杂，均需要人工介入，费时费力。

基于以上问题，发明人经过研究提供一种参数标定方法及相关装置。利用N个不共面的标定板和平面约束便可自动实现激光雷达和相机之间的外参标定，期间不需要人工介入，便捷快速，节省人力成本。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先对本申请技术方案的实现场景进行介绍。本申请技术方案应用于共同包含激光雷达和相机的场景中。实际应用中，场景具体可以为：1)行车场景，激光雷达和相机装设于同一车辆上；2)停车场景，激光雷达和相机装设在同一停车场内；3)商场场景，激光雷达和相机装设在商场的同一楼层。以上三个场景仅为示例，此处对于本方案的应用场景不进行限定。

为了标定激光雷达与相机的外参，本申请技术方案应用到标定组件。标定组件位于待标定外参的激光雷达的扫描视场中，且位于待标定外参的相机的视场中。该标定组件包括N个不共面的标定板，N为大于2的整数。也就是说，标定组件中包含3个或3个以上的不共面的标定板。为便于描述，在以下的实施例中，假设标定组件包含3个不共面的标定板，分别为标定板001、标定板002和标定板003。

不共面是指三个标定板互不平行，两两相互呈现一定的夹角。在一种可能的实现方式中，标定板001、标定板002和标定板003三者中两两垂直，如图1A中所示。本申请对于标定板之间的夹角度数不进行具体限定。

方法实施例

参见图1B，该图为本申请实施例提供的一种参数标定方法的流程图。

如图1B所示，该标定方法包括：

步骤101：获得相机对标定组件拍摄的图像和激光雷达对标定组件探测的点云数据；标定组件包括3个不共面的标定板。

当相机对标定组件进行拍摄时，由于其中包括3个不共面的标定板，因此可以拍摄到包含该三个不共面的标定板001～003的图像。

激光雷达向标定组件发射探测信号，即激光束；然后接收到从标定组件反射回来的信号，即目标回波。通过激光雷达对标定组件的扫描探测，即可获得点云数据。这些点云数据包含了对3个标定板分别扫描探测时获得的点云数据。

上述的图像和点云数据分别为相机和激光雷达对标定组件实行自身功能所获得的数据。由于标定组件之中3个标定板不共面，上述这些数据之中，与各个标定板相关联的数据分别可以用于建立与各个标定板对应的平面方程。以下结合步骤102进行详细说明。

步骤102：根据图像得到在相机的坐标系下每个标定板的第一平面方程，并根据点云数据得到在激光雷达的坐标系下每个标定板的第二平面方程。

具体实现时，通过识别图像中的标定板001并进行相关运算，可以得标定板001的第一平面方程。同理，类似地，通过识别图像中的标定板002并进行相关运算可得到标定板002的第一平面方程，通过识别图像中的标定板003并进行相关运算可得到标定板003的第一平面方程。需要说明的是，第一平面方程均建立在相机的坐标系下。

此外，由于标定板001～003不共面，因此可以基于该特点，从步骤101获得的点云数据中区分和确定出标定板001、标定板002和标定板003分别对应的点云集合。例如，点云集合011为激光雷达探测标定板001得到的，点云集合022为激光雷达探测标定板002得到的，点云集合033为激光雷达探测标定板003得到的。利用点云集合011、点云集合022和点云集合033分别可以得到标定板001、标定板002和标定板003的第二平面方程。例如，利用点云集合对点云集合中各点所在的平面进行拟合，从而得到第二平面方程。需要说明的是，第二平面方程均建立在激光雷达的坐标系下。

步骤103：利用标定组件中每个标定板的第一平面方程和第二平面方程得到激光雷达与相机之间的外参。

由于各个标定板的第一平面方程均是建立于相机的坐标系下，各个标定板的第二平面方程均是建立于激光雷达的坐标系下，因此可以联合第一平面方程和第二平面方程进行求解，得到激光雷达与相机之间的外参。即，激光雷达相对于相机的旋转量和平移量。求解过程中，利用了第一平面方程中标定板相关的参数，例如第一平面方程中的系数，且利用了第二平面方程中标定板相关的参数，例如第二平面方程中的系数。

在一种可能的求解方式中，采用闭式解求解的方法结合各个第一平面方程和各个第二平面方程求解出激光雷达相对于相机的外参。解出的外参较为稳定。

以上即为本申请提供的参数标定方法。该方法首先获得相机对标定组件拍摄的图像和激光雷达对标定组件探测的点云数据，标定组件包括N个不共面的标定板，N为大于2的整数；其后根据图像得到在相机的坐标系下每个标定板的第一平面方程，并根据点云数据得到在激光雷达的坐标系下每个标定板的第二平面方程；最后利用标定组件中每个标定板的第一平面方程和第二平面方程得到激光雷达与相机之间的外参。该方法中通过N个不共面的标定板，利用平面约束便可自动实现外参标定。由于标定过程中不需要人工操作介入，因此节省人力成本，方便快捷。

为了提升激光雷达与相机的外参标定的精度，使外参趋于准确，并申请进一步提供了如下实施例。

参见图2，该图为本申请实施例提供的另一种参数标定方法的流程图。

如图2所示，该方法包括：

步骤201：获得相机对标定组件拍摄的图像和激光雷达对标定组件探测的点云数据，标定组件包括3个不共面的标定板，每个标定板包括预设图案，3个标定板的材质不同，且3个标定板分别具有唯一对应的标识信息和反射值。

获取图像和点云数据的方式与前述实施例基本相同，此处不再赘述，可参照前述实施例。

在一种可能的实现方式中，每个标定板的预设图案相同。在另一种可能的实现方式中，每个标定板的预设图案不同。在进行拍摄和扫描探测之前，标定板的预设图案均是已知的，具体地，预设图案包括按照预设规格排布的特征图形，这些特征图形的规格是已知的。例如，特征图形的规格包括：尺寸、形状、数量。

作为示例，预设图案中的特征图形是二维码。参见图3，该图为标定板上预设图案的示意图，如图3中所示，预设图案中包含规律排布的二维码。预设图案中特征图形在所拍摄的图像中呈现出相应的特征，这些特征的信息可以通过图像检测、识别的方式提取出来。

3个不共面的标定板的材质不同。例如，3个标定板表面的粗糙度不同，有的相对光滑，有的相对粗糙。或者，3个标定板的亮度存在区别，有的相对亮度高，有的相对亮度低。在激光雷达探测时，接收到反射光束的同时还可获取到激光的反射值。反射值的大小与反射激光的物体的材质不同。因此，3个标定板的材质差异可以用于区分点云数据中不同标定板分别对应的点云集合。

为便于区分不同的标定板，预先为每个标定板分别设置了标识信息(id)。例如，3个标定板的标识信息分别为001、002和003。由于材质也是已知的，反射值与材质相关，因此可以预先构建出标定板的标识信息与反射光束的反射值的对应关系。例如，标定板001对应反射值R1，标定板002对应反射值R2，标定板003对应反射值R3。

步骤202：从图像中检测每个标定板上的预设图案，获得预设图案的实测特征信息。

对于本领域技术人员，如何从图像中检测二维码等特征图形属于比较成熟的技术，已有多种成熟的算法，故此处对检测获得预设图案的实测特征信息的具体实现方式不进行限定，也不加以赘述。

实测特征信息可以是从步骤201相机拍摄的图像中提取出的预设图案中特征图形的中心点、角点的位置和位置关联等。

步骤203：根据相机的内参、预设图案的已知特征信息和预设图案的实测特征信息，得到在标定组件所在的空间坐标系下相机的位姿信息。

由于预设图案中特征图形是已知的，因此本申请还可以获得预设图案的已知特征信息，例如预设图案中特征图形的中心点、角点的位置和位置关联等特征的真实排布信息。这些已知特征信息不受拍摄环境、拍摄方式、拍摄距离和拍摄角度的影响，是固有的存在。

相机的内参可以包括但不限于以下至少一种：镜头的畸变模型、等效焦距、主点坐标。在获得相机内参、预设图案的已知特征信息和实测特征信息后，可以通过数学转换的方式(例如solvePnP方法)获得标定组件所在的空间坐标系下该相机的位姿信息。solvePnP方法属于比较成熟的方法，此处不加赘述。

位姿信息包括：旋转信息和位移信息。该位姿信息可以表示为：[R_c,t_c]。其中R_c为3*3的旋转矩阵，t_c为3*1的位移向量。

步骤204：根据位姿信息和每个标定板在空间坐标系下的平面表达式，得到在相机的坐标系下每个标定板的第一平面方程。

实际应用中可以用ax+by+cz＝d的平面表达式表达三维空间中的平面，参数缩写为(a,b,c,d)。结合标定板所在的空间坐标系下相机的位姿信息[R_c,t_c]，可以得到标定板在相机坐标系下的表达式为：

[a,b,c]^T＝(R_c ^-1*[0,0,1]^T)，d＝[a,b,c]*(-R_c ^-1)t_c

上述表达式即可作为相机的坐标系下标定板的第一平面方程的参数。

为了区分不同标定板在相机坐标系下的第一平面方程，以如下参数表示标定板与参数的对应关系：

标定板001的第一平面方程的参数(a1,b1,c1,d1)；

标定板002的第一平面方程的参数(a2,b2,c2,d2)；

标定板003的第一平面方程的参数(a3,b3,c3,d3)。

步骤205：从点云数据中分割出每个标定板对应的点云集合。

下面描述本步骤的具体实现方式：

首先，从点云数据中分割出N个点云集合(本示例中N＝3)。其后，根据N个点云集合分别计算，得到N个平均反射值。最后，根据N个平均反射值，确定N个点云集合分别对应的标识信息，以确定每个标定板对应的点云集合。

图4A为激光雷达针对标定组件扫描探测的点云示意图。如图4A所示，激光雷达扫描得到的点云中一般包含标定板和背景，点云分割的目的是为了把每个标定板对应的点云从总体的点云中切割出来。

多线激光雷达在扫描中，每一条线是按固定时针方向，以固定角分辨率(例如0.4度)在360度范围内进行顺序扫描，每一条线在同一个平面上扫描到的点近似在同一条直线上。不同的线在同一平面上扫描的直线近似平行。

为从点云数据中分割出3个点云集合，对于每一个激光雷达点，首先根据距离判断它是否在可能存在标定板的区域内，如果距离合适(例如满足预设的距离条件)，再根据这个点对应的激光线扫描到的前一个点，两点组合计算出该点所在的直线方向。计算完成后，对于每一个在合适距离内的点云，均获得其对应的直线方向，然后对所有的直线方向使用k-means方法聚类成三类，每一类对应一个标定板平面。每一类直线关联相应的点云数据，至此，就获得了3个不同的点云集合。

在前述操作中，虽然获得了3个不同的点云集合，但是还是难以将每个点云集合与标定板关联，即，无法确认点云集合与标定板的对应关系。为解决上述问题，对每个点云集合分别计算平均反射值。由于标定板的标识信息与反射值具有对应关系，因此结合点云集合的平均反射值，也可相应确定点云集合对应的标定板的标识信息。最终，作为一示例，确定标定板001对应点云集合011，标定板002对应点云集合022，标定板003对应点云集合033。如此，构建出标定板与点云集合的一一对应关系。

步骤206：对每个点云集合所在的平面进行拟合，得到在激光雷达的坐标系下每个标定板的第二平面方程。

在一种可能的实现方式中，利用随机抽样一致性(RANdom SAmple Consensus,RANSAC)算法对每个点云集合所在的平面进行拟合。RANSAC方法在拟合平面的同时也具备一定的去噪效果。

具体地，对点云集合011所在的平面拟合，得到标定板001的第二平面方程，参数(a1’,b1’,c1’,d1’)；

对点云集合022所在的平面拟合，得到标定板002的第二平面方程，参数(a2’,b2’,c2’,d2’)；

对点云集合033所在的平面拟合，得到标定板003的第二平面方程，参数(a3’,b3’,c3’,d3’)。

以上步骤202-204介绍了第一平面方程的建立过程，步骤205-206介绍了第二平面方程的建立过程。在图2所示的方法流程图中，仅以先建立第一平面方程再建立第二平面方程为示例，实际应用中对于两类方程的建立顺序不进行限定。

步骤207：通过闭式解求解方式联合每个标定板的第一平面方程和第二平面方程进行求解，将求解结果作为激光雷达与相机之间的外参初值。

下面描述本步骤的具体实现操作：

首先根据N个标定板分别对应的第一平面参数和第二平面参数，利用奇异值分解(Singular Value Decomposition，SVD)方法求解得到第一旋转矩阵。其后利用N个标定板分别对应的第一平面参数和第二平面参数以及第一旋转矩阵构建线性方程组。最后对线性方程组求解得到第一平移向量。外参初值包括上述第一旋转矩阵和第一平移向量。

此处，第一平面参数为依据标定板的第一平面方程提取的参数，第二平面参数为依据标定板的第二平面方程提取的参数。

在上述求解第一旋转矩阵的操作中，应用到第一平面参数(a1,b1,c1)，(a2,b2,c2)和(a3,b3,c3)，以及第二平面参数(a1’,b1’,c1’)，(a2’,b2’,c2’)和(a3’,b3’,c3’)。

在构建线性方程组的操作中，应用到第一平面参数(a1,b1,c1,d1)，(a2,b2,c2,d2)和(a3,b3,c3,d3)，以及第二平面参数(a1’,b1’,c1’,d1’)，(a2’,b2’,c2’,d2’)和(a3’,b3’,c3’,d3’)。

闭式解求解的优势是稳定，劣势是受限于前面拟合出的平面的参数精度，若平面参数中存在的较小误差，可能导致闭式解出现较大差别。所以在使用闭式解求解出外参后，为了提升求解精度，提升外参标定的准确性，本实施例中可以将求解出的外参作为初值(即步骤207提及的外参初值)，再通过以下步骤208利用非线性优化的方法进行进一步求解，以标定更加准确的外参。

步骤208：对外参初值进行非线性优化，获得优化后激光雷达与相机之间的外参。

本步骤在具体实现时，不再利用点云拟合出来的平面参数，而是直接将每个点乘以外参转换到相机坐标系下，然后计算该点到对应相机坐标系下标定板平面的距离，最后将所有点乘以外参后到对应二维码平面的距离总和作为代价函数进行优化，通过莱文贝格－马夸特(Levenberg-Marquardt，LM)方法迭代非线性优化的方法，求解得到使代价函数最小的外参。

结合示例进行说明，以便理解。

利用外参初值将每个点云集合转换到相机的坐标系下，得到转换后的点集合。例如，转换前点云集合011、022和033，转换后点集合111、222和333。参见图4B，该图为本申请实施例提供的一种点云根据标定得到的外参初值投影到相机拍摄的图像上的示意图。投影到相机拍摄的图像上的转换后的点与对应的标定板可能存在距离。获得相机的坐标系下所有转换后的点集合中各个点到对应的标定板的距离之和。例如转换后点集合111中各点到标定板001的距离之和为L1，转换后点集合222中各点到标定板002的距离之和为L2，转换后点集合333中各点到标定板003的距离之和为L3。本步骤中作为代价函数的距离之和为L1+L2+L3。以L1+L2+L3作为代价函数进行非线性优化，得到优化后激光雷达相对于相机的第二旋转矩阵和第二平移向量。

非线性优化的方法，优势是求解精度高，不受点云平面拟合精度的影响。这种先利用闭式解求解外参，再以闭式解结果为初值进行非线性优化的求解方式，能够稳定地获取精确解。最终，第二旋转矩阵和第二平移向量相比于第一旋转矩阵和第一平移向量，精度更高，准确性更高，且稳定性也有保障。

以上实施例技术方案中，用于标定的工具简单，只需要三个不共面且不同材质的标定板进行组合，对标定板的制作精度没有太高要求。只利用平面信息，整个标定过程不需要人工操作，不需要手动挑选点，或者人工来做特征匹配，非常适用于自动化标定。

基于前述实施例提供的参数标定方法，相应地，本申请还提供一种参数标定装置。下面结合实施例和附图进行说明。

装置实施例

参见图5，该图为本申请实施例提供的一种参数标定装置的结构示意图。

如图5所示，该参数标定装置包括：

数据获取模块501，用于获得相机对标定组件拍摄的图像和激光雷达对所述标定组件探测的点云数据；所述标定组件包括N个不共面的标定板，所述N为大于2的整数；

方程构建模块502，用于根据所述图像得到在所述相机的坐标系下每个标定板的第一平面方程，并根据所述点云数据得到在所述激光雷达的坐标系下每个标定板的第二平面方程；

参数求解模块503，用于利用所述标定组件中每个标定板的第一平面方程和第二平面方程得到所述激光雷达与所述相机之间的外参。

该装置利用N个不共面的标定板以及平面约束便可自动实现外参标定。由于标定过程中不需要人工操作介入，因此节省人力成本，方便快捷。

可选地，每个标定板包括预设图案。作为示例，预设图案包括按照预设规格排布的特征图形。特征图形包括：二维码。

方程构建模块502包括第一构建单元，该第一构建单元包括：

实测特征信息获取子单元，用于从所述图像中检测每个标定板上的预设图案，获得预设图案的实测特征信息；

位姿信息获取子单元，用于根据所述相机的内参、所述预设图案的已知特征信息和所述预设图案的实测特征信息，得到在所述标定组件所在的空间坐标系下所述相机的位姿信息；所述位姿信息包括：旋转信息和位移信息；

方程第一构建子单元，用于根据所述位姿信息和每个标定板在所述空间坐标系下的平面表达式，得到在所述相机的坐标系下每个标定板的第一平面方程。

方程构建模块502还包括第二构建单元，该第二构建单元包括：

点云分割子单元，用于从所述点云数据中分割出每个标定板对应的点云集合；

平面拟合子单元，用于对每个点云集合所在的平面进行拟合，得到在所述激光雷达的坐标系下每个标定板的第二平面方程。

可选地，N个标定板的材质不同，且N个标定板分别具有唯一对应的标识信息和反射值；

点云分割子单元，具体用于从所述点云数据中分割出N个点云集合；根据所述N个点云集合分别计算，得到N个平均反射值；根据所述N个平均反射值，确定所述N个点云集合分别对应的标识信息，以确定每个标定板对应的点云集合。

为了提升激光雷达与相机的外参标定的精度，使外参趋于准确，可以在获得外参后将其作为初值，针对初值进一步地优化。可选地，参数求解模块503包括：

参数初值求解单元，用于通过闭式解求解方式联合每个标定板的第一平面方程和第二平面方程进行求解，将求解结果作为所述激光雷达与所述相机之间的外参初值；

参数优化单元，用于对所述外参初值进行非线性优化，获得优化后所述激光雷达与所述相机之间的外参。

非线性优化的方法，优势是求解精度高，不受点云平面拟合精度的影响。这种先利用闭式解求解外参，再以闭式解结果为初值进行非线性优化的求解方式，能够稳定地获取精确解。最终，解出的外参的精度更高，准确性更高，且稳定性也有保障。

可选地，外参初值包括：所述激光雷达相对于所述相机的第一旋转矩阵和第一平移向量；

上述参数初值求解单元，包括：

第一旋转矩阵求解子单元，用于根据N个标定板分别对应的第一平面参数和第二平面参数，利用奇异值分解SVD方法求解得到所述第一旋转矩阵；所述第一平面参数为依据标定板的第一平面方程提取，所述第二平面参数为依据标定板的第二平面方程提取；

方程组构建子单元，用于利用N个标定板分别对应的第一平面参数和第二平面参数以及所述第一旋转矩阵构建线性方程组；

第一平移向量求解子单元，用于对所述线性方程组求解得到所述第一平移向量。

可选地，参数优化单元，具体包括：

点云转换子单元，用于利用所述外参初值将每个点云集合转换到所述相机的坐标系下，得到转换后的点集合；

距离求和子单元，用于获得所述相机的坐标系下所有转换后的点集合中各个点到对应的标定板的距离之和；

非线性优化子单元，用于以所述距离之和作为代价函数进行非线性优化，得到优化后所述激光雷达相对于所述相机的第二旋转矩阵和第二平移向量。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及***实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种参数标定方法，其特征在于，包括：

获得相机对标定组件拍摄的图像和激光雷达对所述标定组件探测的点云数据；所述标定组件包括N个不共面的标定板，所述N为大于2的整数；

根据所述图像得到在所述相机的坐标系下每个标定板的第一平面方程，并根据所述点云数据得到在所述激光雷达的坐标系下每个标定板的第二平面方程；

利用所述标定组件中每个标定板的第一平面方程和第二平面方程得到所述激光雷达与所述相机之间的外参。

2.根据权利要求1所述的参数标定方法，其特征在于，每个标定板包括预设图案；

所述根据所述图像得到在所述相机的坐标系下每个标定板的第一平面方程，具体包括：

从所述图像中检测每个标定板上的预设图案，获得预设图案的实测特征信息；

根据所述相机的内参、所述预设图案的已知特征信息和所述预设图案的实测特征信息，得到在所述标定组件所在的空间坐标系下所述相机的位姿信息；所述位姿信息包括：旋转信息和位移信息；

根据所述位姿信息和每个标定板在所述空间坐标系下的平面表达式，得到在所述相机的坐标系下每个标定板的第一平面方程。

3.根据权利要求1所述的参数标定方法，其特征在于，所述根据所述点云数据得到在所述激光雷达的坐标系下每个标定板的第二平面方程，具体包括：

从所述点云数据中分割出每个标定板对应的点云集合；

对每个点云集合所在的平面进行拟合，得到在所述激光雷达的坐标系下每个标定板的第二平面方程。

4.根据权利要求3所述的参数标定方法，其特征在于，N个标定板的材质不同，且N个标定板分别具有唯一对应的标识信息和反射值；

所述从所述点云数据中分割出每个标定板对应的点云集合，具体包括：

从所述点云数据中分割出N个点云集合；

根据所述N个点云集合分别计算，得到N个平均反射值；

根据所述N个平均反射值，确定所述N个点云集合分别对应的标识信息，以确定每个标定板对应的点云集合。

5.根据权利要求3所述的参数标定方法，其特征在于，所述利用所述标定组件中每个标定板的第一平面方程和第二平面方程得到所述激光雷达与所述相机之间的外参，具体包括：

通过闭式解求解方式联合每个标定板的第一平面方程和第二平面方程进行求解，将求解结果作为所述激光雷达与所述相机之间的外参初值；

对所述外参初值进行非线性优化，获得优化后所述激光雷达与所述相机之间的外参。

6.根据权利要求5所述的参数标定方法，其特征在于，所述外参初值包括：所述激光雷达相对于所述相机的第一旋转矩阵和第一平移向量；

所述通过闭式解求解方式联合每个标定板的第一平面方程和第二平面方程进行求解，将求解结果作为所述激光雷达与所述相机之间的外参初值，具体包括：

根据N个标定板分别对应的第一平面参数和第二平面参数，利用奇异值分解SVD方法求解得到所述第一旋转矩阵；所述第一平面参数为依据标定板的第一平面方程提取，所述第二平面参数为依据标定板的第二平面方程提取；

利用N个标定板分别对应的第一平面参数和第二平面参数以及所述第一旋转矩阵构建线性方程组；

对所述线性方程组求解得到所述第一平移向量。

7.根据权利要求5所述的参数标定方法，其特征在于，所述对所述外参初值进行非线性优化，获得优化后所述激光雷达与所述相机之间的外参，具体包括：

利用所述外参初值将每个点云集合转换到所述相机的坐标系下，得到转换后的点集合；

获得所述相机的坐标系下所有转换后的点集合中各个点到对应的标定板的距离之和；

以所述距离之和作为代价函数进行非线性优化，得到优化后所述激光雷达相对于所述相机的第二旋转矩阵和第二平移向量。

8.根据权利要求2所述的参数标定方法，其特征在于，所述预设图案包括按照预设规格排布的特征图形。

9.一种参数标定装置，其特征在于，包括：

数据获取模块，用于获得相机对标定组件拍摄的图像和激光雷达对所述标定组件探测的点云数据；所述标定组件包括N个不共面的标定板，所述N为大于2的整数；

方程构建模块，用于根据所述图像得到在所述相机的坐标系下每个标定板的第一平面方程，并根据所述点云数据得到在所述激光雷达的坐标系下每个标定板的第二平面方程；

参数求解模块，用于利用所述标定组件中每个标定板的第一平面方程和第二平面方程得到所述激光雷达与所述相机之间的外参。

10.根据权利要求9所述的参数标定装置，其特征在于，所述方程构件模块包括：第二构建单元；所述第二构建单元，具体包括：

点云分割子单元，用于从所述点云数据中分割出每个标定板对应的点云集合；

平面拟合子单元，用于对每个点云集合所在的平面进行拟合，得到在所述激光雷达的坐标系下每个标定板的第二平面方程。

Images