CN111308448A - 图像采集设备与雷达的外参确定方法及装置 - Google Patents

Abstract

本申请实施例提供了图像采集设备与雷达的外参确定方法及装置，该方法包括：获取图像采集设备与激光雷达的外参的初始值、图像采集设备的内参、由图像采集设备采集的图像数据、由激光雷达采集的点云数据，其中，图像采集设备及激光雷达的共同探测区域内设置有预设标定板，预设标定板具备图像特征及反射特征；按照外参的初始值及内参，将图像数据及点云数据转换到同一坐标系下；调整外参的值，在图像数据与点云数据满足预设重合条件时，输出外参的标定值，其中，预设重合条件表征图像数据中预设标定板图像与点云数据中预设标定板点云重合。上述方法可以确定图像采集设备与雷达的外参，并且外参确定准确。

Description

图像采集设备与雷达的外参确定方法及装置

技术领域

本申请涉及设备参数标定技术领域，特别是涉及图像采集设备与雷达的外参确定方法及装置。

背景技术

针对测量精度要求较高的场景，多传感器信息融合技术相比于单一传感器能够获得更加准确的参数，并且能够提高***的可靠性和容错能力。而多种传感器之间信息融合的前提就是进行联合标定。

图像采集设备可以获得可见光图像信息，但容易受外界天气、光照等因素的影响，并且缺少目标物体的三维数据信息；激光雷达可以快速的获取空间目标物体的三维数据信息，但不能获得物体纹理及颜色等信息。因此，激光雷达和图像采集设备在性能上能够很好的互补，但是由于这两种传感器所获得的数据都是基于各自的坐标系，因此需要将两者采集的数据表示在同一个坐标系下，而将二者采集的数据表示到一个坐标系下，就需要确定图像采集设备与雷达的外参。

发明内容

本申请实施例的目的在于提供一种图像采集设备与雷达的外参确定方法及装置，以实现确定图像采集设备与雷达的外参。具体技术方案如下：

第一方面，本申请实施例提供了一种图像采集设备与雷达的外参确定方法，所述方法包括：

获取图像采集设备与激光雷达的外参的初始值、所述图像采集设备的内参、由所述图像采集设备采集的图像数据、由所述激光雷达采集的点云数据，其中，所述图像采集设备及所述激光雷达的共同探测区域内设置有预设标定板，所述预设标定板具备图像特征及反射特征；

按照所述外参的初始值及所述内参，将所述图像数据及所述点云数据转换到同一坐标系下；

调整所述外参的值，在所述图像数据与所述点云数据满足预设重合条件时，输出所述外参的标定值，其中，所述预设重合条件表征所述图像数据中预设标定板图像与所述点云数据中预设标定板点云重合。

可选的，所述按照所述外参的初始值及所述内参，将所述图像数据及所述点云数据转换到同一坐标系下，包括：

在所述点云数据中，确定所述预设标定板对应的目标点云；

按照所述外参的初始值及所述内参，将所述目标点云转换到所述图像数据的坐标系下；

所述调整所述外参的值，在所述图像数据与所述点云数据满足预设重合条件时，输出所述外参的标定值，包括：

调整所述外参的值，在所述图像数据与所述目标点云满足预设重合条件时，输出所述外参的标定值。

可选的，所述在所述点云数据中，确定所述预设标定板对应的目标点云，包括：

确定所述预设标定板在所述图像数据中的目标标定区域；

按照所述外参的初始值及所述内参，确定所述目标标定区域在所述点云数据中的映射区域；

按照所述映射区域，在所述点云数据中确定初始点云；

基于各点的深度，在所述初始点云中滤除深度与所述预设标定板深度不同的点云，得到目标点云。

可选的，所述预设标定板中灰度大的区域的反射强度高于灰度小的区域的反射强度，所述方法还包括：

对所述图像数据进行二值化处理及模糊处理，得到目标标定图像；

按照反射强度，通过预设聚类方法将所述目标点云中的各点进行聚类，得到高反射强度点云和/或低反射强度点云，其中，所述高反射强度点云为反射强度大于预设强度阈值的点所组成的点云，所述低反射强度点云为反射强度低于所述预设强度阈值的点所组成的点云；

所述调整所述外参的值，在所述图像数据与所述目标点云满足预设重合条件时，输出所述外参的标定值，包括：

将目标点云与目标标定图像的投影图像的灰度的平均值作为优化目标，将所述外参的值作为优化变量，通过预设非线性优化方法确定所述优化变量的最优值，得到所述外参的标定值。

可选的，在所述对所述图像数据进行二值化处理及模糊处理，得到目标标定图像之前，所述方法还包括：

按照所述内参，对所述图像数据进行去畸变处理。

第二方面，本申请实施例提供了一种图像采集设备与雷达的外参确定装置，所述装置包括：

参数获取模块，用于获取图像采集设备与激光雷达的外参的初始值、所述图像采集设备的内参、由所述图像采集设备采集的图像数据、由所述激光雷达采集的点云数据，其中，所述图像采集设备及所述激光雷达的共同探测区域内设置有预设标定板，所述预设标定板具备图像特征及反射特征；

坐标转换模块，用于按照所述外参的初始值及所述内参，将所述图像数据及所述点云数据转换到同一坐标系下；

标定值输出模块，用于调整所述外参的值，在所述图像数据与所述点云数据满足预设重合条件时，输出所述外参的标定值，其中，所述预设重合条件表征所述图像数据中预设标定板图像与所述点云数据中预设标定板点云重合。

可选的，所述坐标转换模块，包括：

目标点云确定子模块，用于在所述点云数据中，确定所述预设标定板对应的目标点云；

目标点云映射子模块，用于按照所述外参的初始值及所述内参，将所述目标点云转换到所述图像数据的坐标系下；

所述标定值输出模块，具体用于：

调整所述外参的值，在所述图像数据与所述目标点云满足预设重合条件时，输出所述外参的标定值。

可选的，所述目标点云确定子模块，包括：

标定区域确定单元，用于确定所述预设标定板在所述图像数据中的目标标定区域；

映射区域确定单元，用于按照所述外参的初始值及所述内参，确定所述目标标定区域在所述点云数据中的映射区域；

初始点云确定单元，用于按照所述映射区域，在所述点云数据中确定初始点云；

点云过滤单元，用于基于各点的深度，在所述初始点云中滤除深度与所述预设标定板深度不同的点云，得到目标点云。

可选的，所述预设标定板中灰度大的区域的反射强度高于灰度小的区域的反射强度，所述装置还包括：

图像处理模块，用于对所述图像数据进行二值化处理及模糊处理，得到目标标定图像；

点云聚类模块，用于按照反射强度，通过预设聚类方法将所述目标点云中的各点进行聚类，得到高反射强度点云和/或低反射强度点云，其中，所述高反射强度点云为反射强度大于预设强度阈值的点所组成的点云，所述低反射强度点云为反射强度低于所述预设强度阈值的点所组成的点云；

所述标定值输出模块，具体用于：

将目标点云与目标标定图像的投影图像的灰度的平均值作为优化目标，将所述外参的值作为优化变量，通过预设非线性优化方法确定所述优化变量的最优值，得到所述外参的标定值。

可选的，所述装置还包括：

去畸变模块，用于按照所述内参，对所述图像数据进行去畸变处理。

第三方面，本申请实施例提供了一种图像采集设备与雷达的外参确定装置，所述装置包括：

图像处理模块，被设置为确定预设标定板图像数据中所在的区域，将所述预设标定板所在的区域图像进行二值化及模糊处理，得到目标标定区域图像；

激光点云处理模块，被设置为按照所述外参的初始值及所述内参，将所述反射强度点云投影到所述图像数据上；在投影后的反射强度点云中，将所述目标位置处的点云作为所述预设标定板反射的初始点云；基于反射强度点云中各点云的深度，在所述初始点云中滤除深度与所述预设标定板深度不同的点云，得到过滤点云；按照反射强度，通过预设聚类方法，在所述过滤点云中确定高反射强度点云及低反射强度点云，将所述高反射强度点云和/或所述低反射强度点云作为目标点云；

非线性优化模块，被设置为按照上述外参的初始值及上述内参，将上述目标点云及上述目标标定区域转换到同一坐标系下，将目标点云与目标标定区域投影图像的灰度的平均值作为优化目标，将上述外参的值作为优化变量，通过预设非线性优化方法确定上述优化变量的最优值，得到上述外参的标定值。

第四方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面任一所述的图像采集设备与雷达的外参确定方法。

第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的图像采集设备与雷达的外参确定方法。

本申请实施例提供的图像采集设备与雷达的外参确定方法及装置，获取图像采集设备与激光雷达的外参的初始值、图像采集设备的内参、由图像采集设备采集的图像数据、由激光雷达采集的点云数据，其中，图像采集设备及激光雷达的共同探测区域内设置有预设标定板，预设标定板具备图像特征及反射特征；按照外参的初始值及内参，将图像数据及点云数据转换到同一坐标系下；调整外参的值，在图像数据与点云数据满足预设重合条件时，输出外参的标定值，其中，预设重合条件表征图像数据中预设标定板图像与点云数据中预设标定板点云重合。可以确定图像采集设备与雷达的外参，并且外参确定准确。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的图像采集设备与雷达的外参确定方法的第一种流程示意图；

图2为本申请实施例的设置预设标定板的一种示意图；

图3为本申请实施例的图像采集设备与雷达的外参确定方法的第二种流程示意图；

图4为本申请实施例的图像采集设备与雷达的外参确定装置的第一种示意图；

图5为本申请实施例的图像采集设备与雷达的外参确定装置工作流程的第一种示意图；

图6为本申请实施例的图像采集设备与雷达的外参确定装置工作流程的第二种示意图；

图7为本申请实施例的图像采集设备与雷达的外参确定装置工作流程的第三种示意图；

图8为本申请实施例的图像采集设备与雷达的外参确定装置工作流程的第四种示意图；

图9为本申请实施例的图像采集设备与雷达的外参确定装置的第二种示意图；

图10为本申请实施例的电子设备的一种示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先，对本申请实施例中的专业术语进行解释说明。

激光雷达：一种光学距离传感器，可以通过激光测距的方式感知周围物体的几何形状以及反射强度。获得的数据为带有反射强度信息的三维点云。一般激光雷达存在多根扫描线，这些扫描线在雷达的垂直方向上以一定规律分布。雷达工作时会水平旋转并得到每根扫描线上对应某个水平角度时的距离，以此实现对三维环境的感知。

外参：相对位姿关系，在本申请实施例中指图像采集设备与雷达之间的距离和角度。一般数学表示形式为4x4旋转平移矩阵。

图像采集设备的内参：图像采集设备本身的参数，一般包含焦距和主点信息以及畸变系数等。

标定板：一种为了实现标定功能，而经过设计和制造的特征物。具有已知的形状、尺寸、颜色等特性。由于一般为板状，因此也称为标定板。在进行标定时，需要采集传感器对标定板进行探测时的数据，以实现标定功能。

初始值：指经过初步处理得到的值，该值距离准确值较为接近，但仍有一定误差。

图像二值化：将灰度图像转化为黑白图像。

为了准确获取图像采集设备与激光雷达的外参，本申请实施例提供了一种图像采集设备与雷达的外参确定方法，参见图1，该方法包括：

S11，获取图像采集设备与激光雷达的外参的初始值、上述图像采集设备的内参、由上述图像采集设备采集的图像数据、由上述激光雷达采集的点云数据，其中，上述图像采集设备及上述激光雷达的共同探测区域内设置有预设标定板，上述预设标定板具备图像特征及反射特征。

本申请实施例中的图像采集设备与激光雷达的外参确定方法可以通过标定***实现，标定***为任意能够实现本申请实施例的图像采集设备与激光雷达的外参确定方法的***。例如：

标定***可以为一种电子设备，包括：处理器、存储器、通信接口和总线；处理器、存储器和通信接口通过总线连接并完成相互间的通信；存储器存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行本申请实施例的图像采集设备与激光雷达的外参确定方法。

标定***还可以为一种应用程序，用于在运行时执行本申请实施例的图像采集设备与激光雷达的外参确定方法。

标定***还可以为一种存储介质，用于存储可执行代码，可执行代码用于执行本申请实施例的图像采集设备与激光雷达的外参确定方法。

如图2所示，图像采集设备与激光雷达安装在底座上，需要确定的外参为图像采集设备与激光雷达之间的距离和角度。图像采集设备为任意能够采集图像数据的设备，例如可以为相机或摄像机等。图像采集设备的内参可以直接按照图像采集设备的出厂参数确定。图像采集设备与激光雷达的外参的初始值可以通过任意相关外参确定方法获得，例如，图像采集设备与激光雷达的外参的初始值为使用测量工具测量得到的数值；图像采集设备与激光雷达的外参的初始值还可以为底座的安装值等。

点云数据包括各反射的点的位置信息及反射强度信息。预先将预设标定板设置在图像采集设备及激光雷达的共同探测区域内，因此图像采集设备采集的图像数据中包括预设标定板的图像，且激光雷达采集的点云数据中包括预设标定板反射的点。在本申请实施例中，应该保证图像采集设备采集图像数据时，及激光雷达采集反射强度点云时，预设标定板在同一位置。

预设标定板具备图像特征及反射特征。预设标定板的图像特征是指预设标定板能够区别于背景，可以方便的在图像数据中确定预设标定板的位置。具体的，图像特征可以为灰度特征。预设标定板的反射特征支持反射激光雷达的扫描光束。为了提高激光雷达的数据分辨率，可以在图像采集设备及激光雷达的共同探测区域内调整预设标定板的位置，并且使激光雷达在垂直方向上的数据分辨率大于设定的分辨率阈值，从而提高测试精度。当然也可以移动包括图像采集设备及激光雷达的组件，以提高激光雷达的数据分辨率，但是应当保证预设标定板至少有一部分在图像采集设备及激光雷达的共同探测区域内。

S12，按照上述外参的初始值及上述内参，将上述图像数据及上述点云数据转换到同一坐标系下。

标定***按照外参的初始值及图像采集设备的内参，将点云数据由激光雷达的坐标系转化到图像采集设备的坐标系下，即将点云数据投影到图像数据上。当然，还可以将图像数据由图像采集设备的坐标系转移到激光雷达的坐标系中。

S13，调整上述外参的值，在上述图像数据与上述点云数据满足预设重合条件时，输出上述外参的标定值，其中，上述预设重合条件表征上述图像数据中预设标定板图像与上述点云数据中预设标定板点云重合。

预设重合条件可以按照实际情况进行设定，预设重合条件表征图像数据中预设标定板的图像的坐标，与点云数据中预设标定板的点云的坐标重合。例如，标定***可以通过计算机视觉技术确定预设标定板在图像数据中的区域，通过检测各点的位置信息确定预设标定板在点云数据中的区域，将二者区域不重合程度作为代价函数，调整外参的值在不重合程度最小时，输出此时外参的参数，作为标定值。

在本申请实施例中，实现了确定图像采集设备与雷达的外参，并且外参确定准确。

可选的，参见图3，上述S12，按照上述外参的初始值及上述内参，将上述图像数据及上述点云数据转换到同一坐标系下，包括：

S121，在上述点云数据中，确定上述预设标定板对应的目标点云。

标定***可以获取人工输入的点云选取指令，点云选取指令中包括人工选取的目标点云的位置信息，标定***按照该点云选取指令确定目标点云。标定***还可以半自动或者全自动的筛选出目标点云。在使用算法分离时可以利用已知的信息来进行。

例如，可以利用预设标定板与激光雷达的距离来进行确定，将预设标定板设置为距离激光雷达最近的反射平面，因此距离雷达最近的点云平面，即为目标点云。

例如：标定***可以获取预设标定板距离激光雷达的距离，以下称为测试距离，将反射强度点云中深度与测试距离相同的点云，作为目标点云。在按照测试距离确定目标点云时，为了提高精度，需要保证在距离激光雷达为测试距离的空间上仅存在预设标定板。本领域人员可以理解的是，在实际应用的过程中测试距离并不是一个单纯的数值，而是一个区间，例如，预设标定板距离激光雷达的距离为A，取1％作为容错率，则实际计算时应用的测试距离为[0.99A，1.01A]。

标定***还可以利用外参初始值和相机内参，将点云数据投影至图像数据上，确定图像数据中预设标定板的位置，并按照图像数据中预设标定板的位置在点云数据中确定预设标定板的点作为目标点云等。

S122，按照上述外参的初始值及上述内参，将上述目标点云转换到上述图像数据的坐标系下。

上述S13，调整上述外参的值，在上述图像数据与上述点云数据满足预设重合条件时，输出上述外参的标定值，包括：

调整上述外参的值，在上述图像数据与上述目标点云满足预设重合条件时，输出上述外参的标定值。

在本申请实施例中，仅将预设标定板对应的目标点云转换到图像数据的坐标系中，可以节约计算资源，提高标定效率。

可选的，上述S121，在上述点云数据中，确定上述预设标定板对应的目标点云，包括：

S1211，确定上述预设标定板在上述图像数据中的目标标定区域。

预设标定板具备图像特征，标定***可以按照预设标定板的图像特征，通过计算机视觉技术在图像数据中确定目标标定区域，例如，通过预先训练的卷积神经网络，在图像数据中确定目标标定区域。当然，标定***可以按照预设标定板形状及纹理等特征，利用计算机视觉技术确定目标标定区域。

S1212，按照上述外参的初始值及上述内参，确定上述目标标定区域在上述点云数据中的映射区域。

标定***按照外参的初始值及图像采集设备的内参，将点云数据的坐标转换到图像数据的坐标系下，即将点云数据投影到图像数据上，并确定目标标定区域在点云数据中的映射区域。当然还可以将目标标定区域由图像数据的坐标转换到点云数据的坐标系中，从而确定目标标定区域在点云数据中的映射区域。

S1213，按照上述映射区域，在上述点云数据中确定初始点云。

按照映射区域，在点云数据中，选取映射区域覆盖的区域的点云，作为初始点云。当然，如果想获取完整的预设标定板的点云，还可以将映射区域的中心作为中心点，将映射区域的范围增加为N倍，其中，N为预设的经验值，且N大于1。

S1214，基于各点的深度，在上述初始点云中滤除深度与上述预设标定板深度不同的点云，得到目标点云。

标定***可以预先获取预设标定板距离激光雷达的距离，从而得到预设标定板深度。

可选的，在预设标定板为平面时，上述S1214可以替换为：对初始点云进行平面拟合，把不符合平面假设的点滤除，得到目标点云。上述预设标定板近似为平面。对初始点云进行平面拟合，把不符合平面假设的点滤除，得到仅包含上述预设标定板的目标点云。

可选的，上述预设标定板中灰度大的区域的反射强度高于灰度小的区域的反射强度，上述方法还包括：

S21，对上述图像数据进行二值化处理及模糊处理，得到目标标定图像。

标定***对目标位置的图像信息，即预设标定板的图像信息进行二值化处理，得到二值化图像，并对二值化图像进行模糊处理，模糊处理后的二值化图像即为目标标定图像。

例如，预设标定板上印刷有国际象棋棋盘格图案，通过棋盘格角点的方法来确定预设标定板在图像数据中的位置，即目标位置。对目标位置的图像采用自适应阈值的方法进行二值化处理。对二值化处理后的黑白图像采用均值滤波的方法进行模糊处理，均值滤波的核尺寸大小可以按照高反射强度点相比于高反射强度区域外扩的尺寸来确定，例如可以取棋盘格边长的一半。其中，反射强度的范围一般为0-255，可以设定预设强度阈值，例如为125、126或128等，反射强度高于预设强度阈值的点则为高反射强度点。一般的，高反射强度点位于高反射区域中，但是由于激光雷达探测原理的限制，导致在高反射强度区域边沿外的一些点的反射强度也很高，因此无法将高反射强度点和高反射区域内的点完全等同。

S22，按照反射强度，通过预设聚类方法将上述目标点云中的各点进行聚类，得到高反射强度点云和/或低反射强度点云，其中，上述高反射强度点云为反射强度大于预设强度阈值的点所组成的点云，上述低反射强度点云为反射强度低于上述预设强度阈值的点所组成的点云。

预设强度阈值可以按照实际情况进行设定，例如设定为128或130等。预设聚类方法可以为任意相关的聚类方法，例如k-means(k均值)聚类算法、Mean-Shift(均值漂移)聚类、基于密度的噪声应用空间聚类及使用高斯混合模型的期望最大化聚类等聚类方法。标定***可以对激光雷达的点云按照所在的扫描线进行排列，对每根扫描线的点采用预设聚类方法，分成高反射强度点云和低反射强度点云两类点云，得到高反射强度点云和/或低反射强度点云。

相应的，在S122，按照上述外参的初始值及上述内参，将上述目标点云转换到上述图像数据的坐标系下中，目标点云可以替换为聚类后的高反射强度点云和/或低反射强度点云。当然，在S122中，还可以按照上述外参的初始值及上述内参，将上述高反射强度点云和/或低反射强度点云转换到上述图像数据的坐标系下。

上述S13，调整上述外参的值，在上述图像数据与上述目标点云满足预设重合条件时，输出上述外参的标定值，包括：

将目标点云与目标标定图像的投影图像的灰度的平均值作为优化目标，将上述外参的值作为优化变量，通过预设非线性优化方法确定上述优化变量的最优值，得到上述外参的标定值。

将目标点云投影到图像数据上，在投影后的图像中将目标点云所在像素的灰度平均值作为优化目标，将上述外参的值作为优化变量，通过预设非线性优化方法确定上述优化变量的最优值，得到上述外参的标定值。

例如：预设标定板上有国际象棋棋盘格图案，其中，低灰度值(接近黑色)部分由逆反材料制成，激光雷达探测到该材料时获得的点云的反射强度值较高。因此，与高反射强度目标点云相对应的区域为目标标定图像上低灰度值区域(接近黑色区域)。可以只将高反射强度目标点云投影在目标标定图像上，当外参的数值准确时，高反射强度点云应当投影在目标标定图像灰度值较低的区域附近。利用这一对应关系，建立优化目标/代价函数。由于预设标定板和每根激光扫描线上点云的数量可能不同，在代价函数中对点云数量做了归一化处理。

其中，R,t分别表示外参中的旋转矩阵和平移向量。P_ijk表示位于第i帧雷达数据中的第j根高反射雷达扫描线中的第k个雷达点的高反射强度点云。共有f+1帧高反射强度激光雷达数据。其中，第i帧数据具有n(i)+1根高反射强度的激光雷达扫描线；第i帧的第j根高反射强度的扫描线中有m(i,j)+1个高反射强度的激光雷达点。Proj(X)函数为投影函数，将图像采集设备坐标***下空间中三维点投影到二维平面中。Grey(X,i)函数为在第i幅经过二值化和模糊处理的灰度图像上，获取x处坐标对应的图像灰度值，该灰度值可以在灰度图像上进行双三次插值后获得。W_ij为第i帧数据第j根雷达扫描线上的点对应的权重系数。该系数通过计算第i帧中扫描线的数量和第j根线上的点的数量的乘积并取倒数得到。

使用非线性优化方法，对这个代价函数进行优化，从而得到最优值，将最优值作为外参的标定值。

在本申请实施例中，通过点云数据中的反射强度信息和图像数据中的灰度信息建立数据关联，来确定外参的标定值，不需要建立在标定板为一个严格平面的假设上，也不会引入从图像上提取标定板位姿时带来的误差，确定的外参标定值的准确度高。

可选的，在上述对上述图像数据进行二值化处理及模糊处理，得到目标标定图像之前，上述方法还包括：

按照上述内参，对上述图像数据进行去畸变处理。

在本申请实施例中按照图像采集设备的内参，对图像数据进行去畸变处理，得到的图像数据更加准确。

本申请实施例还提供了一种图像采集设备与雷达的外参确定装置，如图4所示，包括：图像处理模块401、激光点云处理模块402及非线性优化模块403。其中，如图5所示，图像处理模块401的输入数据为包含预设标定板的图像数据以及图像采集设备的内参；图像处理模块401的输出数据是经过二值化和模糊处理后的图像(目标标定图像)以及预设标定板所在区域的坐标。激光点云处理模块402的输入数据是图像采集设备的内参，激光雷达的点云数据，图像采集设备和激光雷达外参的初始值，以及由图像处理模块401输出的预设标定板所在区域的坐标；激光点云处理模块402的输出数据是预设标定板上高反射强度点云和/或低反射强度点云。非线性优化模块403的输入数据是图像采集设备的内参，图像处理模块401输出的目标标定图像，激光点云处理模块402输出的预设标定板上高反射强度点云和/或低反射强度点云，图像采集设备和激光雷达的外参的初始值；非线性优化模块403的输出数据是外参的标定值。

图像处理模块401，被设置为确定预设标定板图像数据中所在的区域，将上述预设标定板所在的区域图像进行二值化及模糊处理，得到目标标定图像。

图像处理模块401可以通过计算机视觉技术对预设标定板上的特征标记进行检测，以得到预设标定板在图像数据中的区域，将该区域的位置(目标位置)进行输出。并对预设标定板所在区域的图像进行二值化处理，再对二值化处理后的黑白图像进行模糊处理。

例如图6所示，预设标定板上印刷有国际象棋棋盘格图案，图像处理模块401通过相机内参将图像数据进行去畸变处理，在通过检测标定板上的棋盘格角点的方法来确定标定板所在的图像区域。对这块区域的图像采用自适应阈值的方法进行二值化处理。再对该区域的黑白图像采用均值滤波的方法进行模糊处理，均值滤波的核尺寸大小以高反射强度点相比高反射强度区域外扩的尺寸来确定，如取棋盘格边长的一半。

激光点云处理模块402，被设置为按照外参的初始值及内参，将点云数据投影到图像数据上；在投影后的点云数据中，将目标位置处的点云作为预设标定板反射的初始点云；基于反射强度点云中各点云的深度，在初始点云中滤除深度与预设标定板深度不同的点云，得到过滤点云；按照反射强度，通过预设聚类方法，在上述过滤点云中确定高反射强度点云及低反射强度点云，将高反射强度点云和/或低反射强度点云作为目标点云。

激光点云处理模块402按照外参的初始值以及图像采集设备的内参，将激光雷达的反射强度点云投影到目标标定图像上。根据图像处理模块401输出的标定板所在的区域位置(目标位置)，选出投影在预设标定板区域内的反射强度点云。由于图像采集设备和激光雷达之间存在视差(两个传感器在安装时中心无法完全重合，存在视角上的差异)，图像数据上预设标定板视角区域内可能存在其他非预设标定板上的激光雷达点云。对这些激光雷达点云基于深度进行滤除，得到预设标定板上的激光雷达点云。对标定板上每根雷达扫描线上的点按照反射强度各自进行分类，将每根扫描线的激光雷达点云分为反射强度高和低两种类型的点。

例如图7所示，通过外参初始值以及内参将激光雷达的点云数据投影到图像数据上。根据图像处理模块401输出的标定板所在区域数据，选出投影在标定板区域内的激光雷达点云。为了滤除区域内由视差造成的额外的激光雷达点云，对区域内所有的点云按照距离进行聚类(将相互之间离得近的点云聚合成一个类别)，并选取数量最多且最靠近雷达(通常标定板和激光雷达之间不存在别的物体)的一类点云作为标定板上的激光雷达点云。对这些激光雷达点云按照所在的扫描线进行排列，对每根扫描线的点采用k-means聚类的方式，分成高反射强度和低反射强度两类点云，输出高反射强度点云和/或上述低反射强度点云，得到目标点云。

非线性优化模块403，被设置为按照上述外参的初始值及上述内参，将上述目标点云及上述目标标定图像转换到同一坐标系下，将目标点云与目标标定图像的投影图像的灰度的平均值作为优化目标，将上述外参的值作为优化变量，通过预设非线性优化方法确定上述优化变量的最优值，得到上述外参的标定值。

例如图8所示，非线性优化模块403根据外参初始值和内参将激光雷达点云处理模块402输出的目标点云中的高反射强度点云和/或低反射强度点云投影在图像处理模块输出的二值化和模糊处理的图像上，以投影图像的灰度平均值作为优化目标，优化的变量为外参，进行非线性优化后即可以得到外参的标定值。

例如：预设标定板上印刷有国际象棋棋盘格图案，因此，对应目标点云中高反射强度点云的区域为目标标定图像上低灰度值区域(接近黑色区域)。可以只对高反射强度点云投影在目标标定图像，当外参的数值准确时，高反射强度点云应当投影在目标标定区域灰度值较低的区域内。利用高反射强度点应当投影在黑色棋盘格附近，建立优化目标/代价函数。由于预设标定板和每根激光扫描线上点云的数量可能不同，在代价函数中对点云数量做了归一化处理。

其中，R,t分别表示外参中的旋转矩阵和平移向量。P_ijk表示位于第i帧雷达数据中的第j根高反射雷达扫描线中的第k个雷达点的高反射强度点云。共有f+1帧高反射强度激光雷达数据。其中，第i帧数据具有n(i)+1根高反射强度的激光雷达扫描线；第i帧的第j根高反射强度的扫描线中有m(i,j)+1个高反射强度的激光雷达点。Proj(X)函数为投影函数，将图像采集设备坐标***下空间中三维点投影到二维平面中。Grey(X,i)函数为在第i幅经过二值化和模糊处理的灰度图像上，获取x处坐标对应的图像灰度值，该灰度值可以在灰度图像上进行双三次插值后获得。W_ij为第i帧数据第j根雷达扫描线上的点对应的权重系数。该系数通过计算第i帧中扫描线的数量和第j根线上的点的数量的乘积并取倒数得到。

使用非线性优化方法，对这个代价函数进行优化，从而得到最优值，将最优值作为外参的标定值。

在本申请实施例中，确定了图像采集设备及激光雷达的外参，通过反射强度点云中的反射强度信息和图像数据中的灰度信息建立数据关联，来确定外参的标定值，不需要建立在标定板为一个严格平面的假设上，也不会引入从图像上提取标定板位姿时带来的误差，确定的外参标定值的准确度高。

本申请实施例提供了一种图像采集设备与雷达的外参确定装置，参见图9，该装置包括：

参数获取模块901，用于获取图像采集设备与激光雷达的外参的初始值、所述图像采集设备的内参、由所述图像采集设备采集的图像数据、由所述激光雷达采集的点云数据，其中，所述图像采集设备及所述激光雷达的共同探测区域内设置有预设标定板，所述预设标定板具备图像特征及反射特征；

坐标转换模块902，用于按照所述外参的初始值及所述内参，将所述图像数据及所述点云数据转换到同一坐标系下；

标定值输出模块903，用于调整所述外参的值，在所述图像数据与所述点云数据满足预设重合条件时，输出所述外参的标定值，其中，所述预设重合条件表征所述图像数据中预设标定板图像与所述点云数据中预设标定板点云重合。

可选的，所述坐标转换模块902，包括：

目标点云确定子模块，用于在所述点云数据中，确定所述预设标定板对应的目标点云；

目标点云映射子模块，用于按照所述外参的初始值及所述内参，将所述目标点云转换到所述图像数据的坐标系下；

所述标定值输出模块903，具体用于：

调整所述外参的值，在所述图像数据与所述目标点云满足预设重合条件时，输出所述外参的标定值。

可选的，所述目标点云确定子模块，包括：

标定区域确定单元，用于确定所述预设标定板在所述图像数据中的目标标定区域；

映射区域确定单元，用于按照所述外参的初始值及所述内参，确定所述目标标定区域在所述点云数据中的映射区域；

初始点云确定单元，用于按照所述映射区域，在所述点云数据中确定初始点云；

点云过滤单元，用于基于各点的深度，在所述初始点云中滤除深度与所述预设标定板深度不同的点云，得到目标点云。

可选的，所述预设标定板中灰度大的区域的反射强度高于灰度小的区域的反射强度，本申请实施例的图像采集设备与雷达的外参确定装置还包括：

图像处理模块，用于对所述图像数据进行二值化处理及模糊处理，得到目标标定图像；

点云聚类模块，用于按照反射强度，通过预设聚类方法将所述目标点云中的各点进行聚类，得到高反射强度点云和/或低反射强度点云，其中，所述高反射强度点云为反射强度大于预设强度阈值的点所组成的点云，所述低反射强度点云为反射强度低于所述预设强度阈值的点所组成的点云；

所述标定值输出模块903，具体用于：

将目标点云与目标标定图像的投影图像的灰度的平均值作为优化目标，将所述外参的值作为优化变量，通过预设非线性优化方法确定所述优化变量的最优值，得到所述外参的标定值。

可选的，本申请实施例的图像采集设备与雷达的外参确定装置还包括：

去畸变模块，用于按照所述内参，对所述图像数据进行去畸变处理。

本申请实施例还提供了一种电子设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信，

存储器1003，用于存放计算机程序；

处理器1001，用于执行存储器1003上所存放的程序时，实现如下步骤：

获取图像采集设备与激光雷达的外参的初始值、上述图像采集设备的内参、由上述图像采集设备采集的图像数据、由上述激光雷达采集的点云数据，其中，上述图像采集设备及上述激光雷达的共同探测区域内设置有预设标定板，上述预设标定板具备图像特征及反射特征；

按照上述外参的初始值及上述内参，将上述图像数据及上述点云数据转换到同一坐标系下；

调整上述外参的值，在上述图像数据与上述点云数据满足预设重合条件时，输出上述外参的标定值，其中，上述预设重合条件表征上述图像数据中预设标定板图像与上述点云数据中预设标定板点云重合。

在本申请实施例中，实现了确定图像采集设备与雷达的外参，并且外参确定准确。

可选的，处理器1001，用于执行存储器1003上所存放的程序时，还能够实现上述任一图像采集设备与雷达的外参确定方法。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现如下步骤：

获取图像采集设备与激光雷达的外参的初始值、上述图像采集设备的内参、由上述图像采集设备采集的图像数据、由上述激光雷达采集的点云数据，其中，上述图像采集设备及上述激光雷达的共同探测区域内设置有预设标定板，上述预设标定板具备图像特征及反射特征；

按照上述外参的初始值及上述内参，将上述图像数据及上述点云数据转换到同一坐标系下；

调整上述外参的值，在上述图像数据与上述点云数据满足预设重合条件时，输出上述外参的标定值，其中，上述预设重合条件表征上述图像数据中预设标定板图像与上述点云数据中预设标定板点云重合。

可选的，上述计算机程序被处理器执行时还可以实现上述任一图像采集设备与雷达的外参确定方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (11)

1.一种图像采集设备与雷达的外参确定方法，其特征在于，所述方法包括：

获取图像采集设备与激光雷达的外参的初始值、所述图像采集设备的内参、由所述图像采集设备采集的图像数据、由所述激光雷达采集的点云数据，其中，所述图像采集设备及所述激光雷达的共同探测区域内设置有预设标定板，所述预设标定板具备图像特征及反射特征；

按照所述外参的初始值及所述内参，将所述图像数据及所述点云数据转换到同一坐标系下；

调整所述外参的值，在所述图像数据与所述点云数据满足预设重合条件时，输出所述外参的标定值，其中，所述预设重合条件表征所述图像数据中预设标定板图像与所述点云数据中预设标定板点云重合。

2.根据权利要求1所述的方法，其特征在于，所述按照所述外参的初始值及所述内参，将所述图像数据及所述点云数据转换到同一坐标系下，包括：

在所述点云数据中，确定所述预设标定板对应的目标点云；

按照所述外参的初始值及所述内参，将所述目标点云转换到所述图像数据的坐标系下；

所述调整所述外参的值，在所述图像数据与所述点云数据满足预设重合条件时，输出所述外参的标定值，包括：

调整所述外参的值，在所述图像数据与所述目标点云满足预设重合条件时，输出所述外参的标定值。

3.根据权利要求2所述的方法，其特征在于，所述在所述点云数据中，确定所述预设标定板对应的目标点云，包括：

确定所述预设标定板在所述图像数据中的目标标定区域；

按照所述外参的初始值及所述内参，确定所述目标标定区域在所述点云数据中的映射区域；

按照所述映射区域，在所述点云数据中确定初始点云；

基于各点的深度，在所述初始点云中滤除深度与所述预设标定板深度不同的点云，得到目标点云。

4.根据权利要求2所述的方法，其特征在于，所述预设标定板中灰度大的区域的反射强度高于灰度小的区域的反射强度，所述方法还包括：

对所述图像数据进行二值化处理及模糊处理，得到目标标定图像；

按照反射强度，通过预设聚类方法将所述目标点云中的各点进行聚类，得到高反射强度点云和/或低反射强度点云，其中，所述高反射强度点云为反射强度大于预设强度阈值的点所组成的点云，所述低反射强度点云为反射强度低于所述预设强度阈值的点所组成的点云；

所述调整所述外参的值，在所述图像数据与所述目标点云满足预设重合条件时，输出所述外参的标定值，包括：

将目标点云与目标标定图像的投影图像的灰度的平均值作为优化目标，将所述外参的值作为优化变量，通过预设非线性优化方法确定所述优化变量的最优值，得到所述外参的标定值。

5.根据权利要求4所述的方法，其特征在于，在所述对所述图像数据进行二值化处理及模糊处理，得到目标标定图像之前，所述方法还包括：

按照所述内参，对所述图像数据进行去畸变处理。

6.一种图像采集设备与雷达的外参确定装置，其特征在于，所述装置包括：

参数获取模块，用于获取图像采集设备与激光雷达的外参的初始值、所述图像采集设备的内参、由所述图像采集设备采集的图像数据、由所述激光雷达采集的点云数据，其中，所述图像采集设备及所述激光雷达的共同探测区域内设置有预设标定板，所述预设标定板具备图像特征及反射特征；

坐标转换模块，用于按照所述外参的初始值及所述内参，将所述图像数据及所述点云数据转换到同一坐标系下；

标定值输出模块，用于调整所述外参的值，在所述图像数据与所述点云数据满足预设重合条件时，输出所述外参的标定值，其中，所述预设重合条件表征所述图像数据中预设标定板图像与所述点云数据中预设标定板点云重合。

7.根据权利要求6所述的装置，其特征在于，所述坐标转换模块，包括：

目标点云确定子模块，用于在所述点云数据中，确定所述预设标定板对应的目标点云；

目标点云映射子模块，用于按照所述外参的初始值及所述内参，将所述目标点云转换到所述图像数据的坐标系下；

所述标定值输出模块，具体用于：

调整所述外参的值，在所述图像数据与所述目标点云满足预设重合条件时，输出所述外参的标定值。

8.根据权利要求7所述的装置，其特征在于，所述目标点云确定子模块，包括：

标定区域确定单元，用于确定所述预设标定板在所述图像数据中的目标标定区域；

映射区域确定单元，用于按照所述外参的初始值及所述内参，确定所述目标标定区域在所述点云数据中的映射区域；

初始点云确定单元，用于按照所述映射区域，在所述点云数据中确定初始点云；

点云过滤单元，用于基于各点的深度，在所述初始点云中滤除深度与所述预设标定板深度不同的点云，得到目标点云。

9.根据权利要求7所述的装置，其特征在于，所述预设标定板中灰度大的区域的反射强度高于灰度小的区域的反射强度，所述装置还包括：

图像处理模块，用于对所述图像数据进行二值化处理及模糊处理，得到目标标定图像；

点云聚类模块，用于按照反射强度，通过预设聚类方法将所述目标点云中的各点进行聚类，得到高反射强度点云和/或低反射强度点云，其中，所述高反射强度点云为反射强度大于预设强度阈值的点所组成的点云，所述低反射强度点云为反射强度低于所述预设强度阈值的点所组成的点云；

所述标定值输出模块，具体用于：

将目标点云与目标标定图像的投影图像的灰度的平均值作为优化目标，将所述外参的值作为优化变量，通过预设非线性优化方法确定所述优化变量的最优值，得到所述外参的标定值。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

去畸变模块，用于按照所述内参，对所述图像数据进行去畸变处理。

11.一种图像采集设备与雷达的外参确定装置，其特征在于，所述装置包括：

图像处理模块，被设置为确定预设标定板图像数据中所在的区域，将所述预设标定板所在的区域图像进行二值化及模糊处理，得到目标标定区域图像；

激光点云处理模块，被设置为按照所述外参的初始值及所述内参，将所述反射强度点云投影到所述图像数据上；在投影后的反射强度点云中，将所述目标位置处的点云作为所述预设标定板反射的初始点云；基于反射强度点云中各点云的深度，在所述初始点云中滤除深度与所述预设标定板深度不同的点云，得到过滤点云；按照反射强度，通过预设聚类方法，在所述过滤点云中确定高反射强度点云及低反射强度点云，将所述高反射强度点云和/或所述低反射强度点云作为目标点云；

非线性优化模块，被设置为按照上述外参的初始值及上述内参，将上述目标点云及上述目标标定区域转换到同一坐标系下，将目标点云与目标标定区域投影图像的灰度的平均值作为优化目标，将上述外参的值作为优化变量，通过预设非线性优化方法确定上述优化变量的最优值，得到上述外参的标定值。

Images