CN112991372B - 一种基于多边形匹配的2d-3d相机外参标定方法 - Google Patents

Abstract

本发明具体公开了一种基于多边形匹配的2D‑3D相机外参标定方法，通过标定板提取构造图像的2D多边形与3D多边形信息，并将边分别对应，计算2D点到直线的距离，通过最小化全局损失函数，得到2D相机与3D相机之间的外参。本发明提供的2D‑3D相机外参标定方法相比于特征点的2D‑3D相机标定方法，直线特征代替点特征，大大提高图像数据的特征检测精度。

Description

一种基于多边形匹配的2D-3D相机外参标定方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于多边形匹配的2D-3D相机外参标定方法。

背景技术

多源传感器的融合是精确表征环境的一种有效途径，传感器的融合可以弥补单一传感器信息量不足的缺点。近年来，多传感器融合技术无论是在军事还是民事领域的应用都极为广泛，多传感器融合技术已经成为军事、工业和高新技术开发等多方面关心的问题。这一技术广泛应用于复杂工业过程控制、机器人、自动目标识别、惯性导航、农业、遥感、医疗诊疗、图像处理、模式识别等领域。实践证明：与单一传感器***相比，运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面，能够有效增强***的生存能力，提高整个***的可靠性和鲁棒性，增强数据可信度的同时，提高数据的精度，从而扩展整个***的时间、空间覆盖率。

不同传感器之间的刚性变换，也称为外部参数，是融合多传感器信息的前提。外参标定的方法可分为在线标定和离线标定两大类。在线标定法是在无人车运行过程中实时校准外参矩阵，能够修正行驶过程中颠簸等因素造成的外参偏移，但需要通过离线标定或者人工测量的方式得到初始值以提高收敛速率。当前，多传感器的离线标定方法主要依靠特征的检测和匹配对外参进行计算，然而，在2D-3D相机的外参标定中，对比分辨率较高的图像，3D传感器采集得到的点云分辨率较低，因此，无法检测出精度较高的点云特征点与图像特征点进行匹配，严重降低了2D-3D相机之间的外参标定精度。

发明内容

本发明的目的在于提一种基于多边形匹配的2D-3D相机外参标定方法，以提高2D-3D相机之间的外参标定的精度。

鉴于此，本发明的方案如下：

一种基于多边形匹配的2D-3D相机外参标定方法，包括如下步骤：

2D相机内参的标定；

使用标定板提取构造图像的2D多边形信息；

提取构造图像的3D多边形直线边信息，获得满足单一直线特征的点云；

将2D多边形与3D多边形的边分别对应；

计算点到直线的距离，通过最小化全局损失函数，得到2D相机与3D相机之间的外参。

根据本发明的实施例，所述2D多边形与3D多边形的边对应方法为，将2D多边形和3D多边形进行排序，索引补偿值为offset，

，

其中，

，

式中n∈{0,1,2,3}，i为多边形匹配对的索引，Q _i ^a 表示第i组匹配数据中3D多边形的第a条边，E _i ^a 表示第i组匹配数据中2D多边形的第a条边， f（Q，E）为2D-3D点线误差函数， g(.)为2D点到直线的距离函数，其中R’和t’为2D相机与3D相机之间的初始外参。

根据本发明的实施例，所述3D多边形直线边信息构造方法步骤包括：

S31.提取标定板平面点云，在水平方向将标定板平面点云切片为若干个点云块，每个点云块的左右端点构成标定板的左右边缘点云；

S32.将得到的标定板边缘点云按照标定板的形状分割为单一直线特征的点云块。

进一步地，所述步骤S32包括：

S3201.对边缘点云按照极角排序原理进行排序；

S3202.遍历边缘点云中的每个点P _seg ，按照点索引将边缘点云分割成两个部分P ₁ 和P ₂ ；

S3203.分别计算点云P ₁ 和P ₂ 最大主成分分量值与次大主成分分量值之间的比值ratio ₁ 和ratio ₂ ，并且，记得分score=ratio ₁ * ratio ₂ ；

S3204. 重复S3202、S3203过程，取得分最大的分割点P _seg ，将边缘点云分割为满足单一直线特征的点云。

根据本发明的实施例，所述损失函数的形式为：

，

式中f(.)为2D-3D点线误差函数。进一步地，所述损失函数进行去粗差，再使用Levenberg-Marquart进行迭代求解，即得到2D-3D相机外参。

相对于现有技术，本发明的有益效果为：

1. 本发明提出一种基于多边形标定板的2D-3D相机外参标定方法，对比基于特征点的2D-3D相机标定方法，由于使用直线特征替代点特征，使得点云数据特征检测精度大大提高，从而保证了外参标定的精度；

2. 本发明通过使用了基于主成分分析的边缘点云分割方法，无需设置分割阈值，便能将含有多种直线特征的点云精准分割为单一直线特征的点云块，不仅提高了点云边缘直线提取的效率，也提高了点云边缘直线提取的精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明基于多边形匹配的2D-3D相机外参标定方法总体流程图。

图2为本发明“锚点”连接原理示意图。

图3为本发明水平方向点云切片示意图。

图4为本发明图像直线边缘提取结果示意图。

图5为本发明标定板边缘直线提取结果示意图。

图6为本发明标定板左右边缘点云提取效果示意图。

图7为本发明标定板边缘点云提取效果示意图。

图8为本发明图像投影至点云效果示意图。

图9为本发明点云投影至图像效果示意图。

具体实施方式

为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。

本文提出一种基于多边形匹配的2D-3D相机外参标定方法，该方法通过同时使用2D相机、3D相机对矩形标定板采集数据（为了便利，本发明采用棋盘格板作为标定板），并且在图像数据和点云数据中采集标定板的边缘进行匹配，从而精确求解2D相机与3D相机的外参。该方法在CPU中运行，技术路线图如图1所示。

步骤一：2D相机内参标定

由于2D相机只能表征环境的平面信息，3D相机表征的是环境的三维空间信息。因此，2D相机与3D相机之间的外部参数标定，其关键在于求解2D相机像空间辅助坐标系与3D相机相机坐标系之间的刚性变换参数。然而，2D相机采集的信息仅在二维空间中，因此，需要求解2D相机的焦距、像点平移参数（即相机内参），将二维信息投影到三维空间中，从而实现像平面坐标系到像空间辅助坐标系的转换。

本文使用张正友相机标定方法，并且，为了提高2D相机的标定精度，使用圆形标定板对2D相机进行了标定，最终得到的2D相机标定重投影误差为0.05pixel 。

步骤二：2D多边形信息提取

本发明使用矩形标定板作为标定工具，因此需提取矩形四条边构造图像的2D多边形信息。传统的直线段检测算法通常使用图像的边缘图像经过Hough变换，提取其中含有一定数量的边缘点的所有线段，通过设置长度阈值提取直线，然而，由于数据量较大，这类方法通常效率较低，并且需要设置固定阈值进行检测。因此，本发明使用一种基于“锚点”的线段提取算法，并且基于Helmholtz Principle验证线段的有效性：

1.图像边缘提取

本发明使用基于梯度的图像边缘提取算法，详细步骤如下所示：

1） 图像平滑

图像平滑的目标是降低噪声对图像边缘提取算法的影响，本发明使用5×5的高斯平滑算子对图像进行平滑，该算子的中误差为δ=1；

2）边缘像素计算

为了提高图像边缘提取的效率，本发明使用一种基于梯度图像边缘提取技术，使用Sobel核对图像进行逐像素的卷积运算，得到x方向和y方向的梯度值分别为G _x 和G _y ，若G _x +G _y 的值大于给定阈值，则该像素标记为“边缘像素”，否则标记为“非边缘像素”。同时，为了加速后面“锚点”连接算法，标记每个“边缘像素”的方向：若G _x ≥G _y ，标记该“边缘像素”方向为垂直方向，否则，该像素方向标记为水平方向；

3）边缘“锚点”计算

边缘像素计算完成后，为了加速“锚点”连接算法，本发明选取一定数量的“边缘像素”点作为“锚点”，考虑到“锚点”需均匀分布于图像中，本发明采用一种间隔取点的方法选取“锚点”，即在已选取的“边缘像素”中，每隔一定图像行n _row ，选取一个“边缘像素”作为“锚点”。 n _row 的值决定了图像边缘的细节，n _row 越小，则图像边缘细节越丰富；

4）“锚点”连接

“锚点”提取完成后，需要将“锚点”连接成线，本发明根据步骤3）中计算的“边缘像素”及其方向，指导“锚点”连接的路径。如图2所示，框中的数值指该像素的梯度值，并且使用三个红色的圆框指代三个“锚点”，假定“锚点”连接程序从中间“锚点”开始进行连接。若“锚点”方向为垂直方向，则在垂直方向上（上下各三个像素）搜索梯度最大的点与“锚点”连接；若“锚点”方向为水平方向，则在水平方向（左右各三个像素）搜索梯度最大的点与“锚点”连接。按照以上原理。“锚点”连接结果见图2 中圆框像素，可得到连续的单个像素宽度的图像边缘；

2. 标定板边缘直线提取

基于步骤1中的方法，可提取图像的边缘信息，边缘信息中同时包含标定板的边缘直线。本发明采用基于最小二乘的原理，将边缘信息中的点依次加入最小二乘直线提取器中，从而得到图像中所有的直线信息；考虑到直线提取的鲁棒性，提出点数量较少的直线，并且使用Helmholtz Principle原则剔除鲁棒性较差的直线。此时，可得到图像中稳定可靠的直线特征。

步骤三：3D多边形信息提取

1.点云边缘提取

为了准确提取标定板边缘的点云数据，首先使用RANSAC算法提取标定板平面点云，并且，在水平方向将标定板平面点云切片为若干个点云块，每个点云块的左右端点构成标定板的左右边缘点云。如图3所示，不同的条纹表示不同的点云切片：

2. 点云边缘分割

按照步骤1中的方法得到标定板左右点云边缘后，为了确定每个标定板点云边缘点与图像边缘直线的对应关系，需要将得到的标定板边缘点云按照标定板的形状分割为单一直线特征的点云块。本发明提出一种基于主成分分析的标定板左右边缘分割方法。对步骤1中提取的标定板左边缘或右边缘，点云分割步骤如下：

（1）对边缘点云按照极角排序原理进行排序；

（2）遍历边缘点云中的每个点P _seg ，按照点索引将边缘点云分割成两个部分P ₁ 和P ₂ ；

（3）分别计算点云P ₁ 和P ₂ 最大主成分分量值与次大主成分分量值之间的比值ratio ₁ 和ratio ₂ ，并且，记得分score=ratio ₁ * ratio ₂ ；

（4）重复（2）（3）过程，取得分最大的分割点P _seg ，将边缘点云分割为满足单一直线特征的点云。

步骤四：多边形匹配

基于步骤二和步骤三中求解的2D多边形信息与3D多边形信息，此时需将2D多边形的边与3D多边形的边一一对应。为了简化对应问题，本发明通过将2D多边形和3D多边形进行排序，从而将匹配问题变为索引补偿问题，即对于同一组2D多边形与3D多边形，在多边形边索引间必然存在一个补偿值offset，满足下式：

对于本发明中使用的矩形标定板，式中n∈{0,1,2,3}，i为多边形匹配对的索引，Q _i ^a 表示第i组匹配数据中3D多边形的第a条边，E _i ^a 表示第i组匹配数据中2D多边形的第a条边， f（Q，E）为2D-3D点线误差函数， g(.)为2D点到直线的距离函数，其中R’和t’为2D相机与3D相机之间的初始外参，本发明中，将两相机的初始外参设置为单位阵。

步骤五：基于L-M的外参求解

本发明通过最小化全局的损失函数，从而得到2D相机与3D相机之间的外参。该全局损失函数通过计算点到直线的距离，将匹配数据一一加入到该函数中，损失函数的具体形式如下：

式中f(.)为公式（2）中定义的2D-3D点线误差函数。为了避免粗差对损失函数的影响，加入鲁棒核函数φ(.)，将残差的范围限制在指定的函数空间中，此时，式（3）可变为：

鲁棒核函数的形式较多，实际工程应用中常常使用形如φ(u)=u ² 的曲线形式，然而，这种形式的核函数依然对粗差有着较高的敏感性，因此，本发明中使用Soft=L1的鲁棒核函数，该函数可将粗差对损失函数的影响由指数级别降低到线性级别，大大提高相机外参标定的效果，该核函数的形式如下。

按照公式（4）中的原理，使用Levenberg-Marquart(L-M)对式（4）进行迭代求解，即可得到2D-3D相机外参。

实施例

（1）2D多边形提取

采用本发明基于图像梯度信息的边缘直线信息检测方法，该方法通过计算图像的梯度信息确定边缘“锚点”，然后按照步骤二中提供的方法连接“锚点”，即可得到图像中的边缘信息，此时，通过最小二乘方法，反复加入边缘信息中的点，即可将边缘中的直线信息一一提取出来，如图4所示：

由图4可知，标定板边缘提取算法在提取标定板边缘的同时，也提取到了标定板内部棋盘格的边缘以及外部环境边缘，然而，棋盘格边缘与外部环境边缘是冗余信息，本发明通过加入标定板的四个顶点作为先验信息，对所有提取的边缘信息进行过滤，从而得到仅包含标定板边缘的图像边缘信息如图5所示。

（2）3D多边形提取

采用本发明提出的一种基于点云切片和主成分分析方法的点云边缘提取算法，基于水平方向的点云切片，按照步骤三中的方法可将点云边缘分割为左右两个部分，如图6所示：

由图6可知，由于原始点云数据部分缺失以及测量噪声等原因，算法提取得到的左右边缘存在一定的噪声，本发明中使用一种基于RANSAC的直线提取方法，结合基于主成分分析的点云分割方法，得到标定板边缘点云提取效果如图7所示。

（3）多边形匹配

多边形匹配的目的旨在将2D多边形数据与3D多边形数据正确地匹配起来，按照步骤四中多边形匹配的方法，将2D多边形与3D多边形一一对应，此时，完成图像特征和点云特征的对应。

（4）L-M优化

图像特征与点云特征一一对应后，本发明使用一种基于L-M优化的非线性优化方法求解2D相机与3D相机之间的外参，为了评估相机外参标定的结果，本发明将点云投影到图像中，同时，将图像信息反投影到点云中，具体效果如图8和图9所示。

由图8和图9可知，本发明提出的2D-3D外参标定方法能够有效且精确地将两相机的外参标定。

本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。

Claims (5)

1.一种基于多边形匹配的2D-3D相机外参标定方法，其特征在于，包括如下步骤：

2D相机内参的标定；

使用标定板提取构造图像的2D多边形信息；

提取构造图像的3D多边形直线边信息，获得满足单一直线特征的点云；

将2D多边形与3D多边形的边分别对应；

计算点到直线的距离，通过最小化全局损失函数，得到2D相机与3D相机之间的外参；

所述3D多边形直线边信息构造方法步骤包括：

S31.提取标定板平面点云，在水平方向将标定板平面点云切片为若干个点云块，每个点云块的左右端点构成标定板的左右边缘点云；

S32.将得到的标定板边缘点云按照标定板的形状分割为单一直线特征的点云块。

2.根据权利要求1所述的外参标定方法，其特征在于，所述2D多边形与3D多边形的边对应方法为，将2D多边形和3D多边形进行排序，索引补偿值为offset，

，

其中，

，

式中n∈{0,1,2,3}，i为多边形匹配对的索引，Q _i ^a 表示第i组匹配数据中3D多边形的第a条边，E _i ^a 表示第i组匹配数据中2D多边形的第a条边，Q _i ^b 表示第i组匹配数据中3D多边形的第b条边，E _i ^b 表示第i组匹配数据中2D多边形的第b条边；f（Q，E）为2D-3D点线误差函数， g (.)为2D点到直线的距离函数，其中R’和t’为2D相机与3D相机之间的初始外参，E代表2D多边形的一条边，K代表2D相机内参，P _i 代表Q中的第i个点。

3.根据权利要求1所述的外参标定方法，其特征在于，所述步骤S32包括：

S3201.对边缘点云按照极角排序原理进行排序；

S3202.遍历边缘点云中的每个点P _seg ，按照点索引将边缘点云分割成两个部分P ₁ 和P ₂ ；

S3203.分别计算点云P ₁ 和P ₂ 最大主成分分量值与次大主成分分量值之间的比值ratio ₁ 和ratio ₂ ，并且，记得分score=ratio ₁ * ratio ₂ ；

S3204. 重复S3202、S3203过程，取得分最大的分割点P _seg ，将边缘点云分割为满足单一直线特征的点云。

4.根据权利要求1所述的外参标定方法，其特征在于，所述损失函数的形式为：

，

式中f(.)为2D-3D点线误差函数，其中：Q _i ^k 表示第i组匹配数据中3D多边形的第k条边，E _i ^k 表示第i组匹配数据中2D多边形的第k条边。

5.根据权利要求4所述的外参标定方法，其特征在于，所述损失函数进行去粗差，再使用Levenberg-Marquart进行迭代求解，即得到2D-3D相机外参。

Images