CN113610929A - 一种相机与多线激光的联合标定方法 - Google Patents

Abstract

一种相机与多线激光的联合标定方法，包括以下步骤；步骤S1，相机的标定，图像的采集，加载与去畸变预处理；步骤S2，通过标定板上的特征点与相机的内外参，拟合相机坐标系下的标定板平面；步骤S3，提取亚像素级别的激光点，并对这些点进行聚类或者分类，确定该点归于哪条激光线。并拟合出各条激光线在像素坐标系下的方程；步骤S4，计算激光线与标定板上特征点在水平或者垂直方向上连线的交点；步骤S5，根据得到的已知数据，计算2D交点在相机坐标系下的3D坐标；步骤S6，拟合各条2D激光线在相机坐标系下所属的3D激光平面；步骤S7，通过激光平面与相机x轴延长线的交点，确定等效的激光发射点。本发明具有操作方便，标定速度快，标定结果准确的特点。

Description

一种相机与多线激光的联合标定方法

技术领域

本发明属于图像处理与多传感器标定技术领域，特别涉及一种相机与多线激光的联合标定方法。

背景技术

在机器视觉中，相机与线激光的联合测量一直是一种解决方法，为了让结果测量结果更准确，通常需要对相机与激光线进行联合标定。

但是目前的各种标定方式，标定简单的精度不够，精度足够的又不够简单方便。于是本发明提出了一种全新的相机与多线激光的联合标定方法，兼顾了准确性与简单易实施特点。

发明内容

为了克服以上技术问题，本发明的目的在于提供一种相机与多线激光的联合标定方法，可以快速且准确的标定出相机与多线激光的空间位置，从而使后续的测量结果更准确，具有操作方便，标定速度快，标定结果准确的特点。

为了实现上述目的，本发明采用的技术方案是：

一种相机与多线激光的联合标定方法，包括以下步骤；

步骤S1，相机的标定，图像的采集，加载与去畸变预处理；

步骤S2，通过标定板上的特征点与相机的内外参，拟合相机坐标系下的标定板平面；

步骤S3，提取亚像素级别的激光点，并对这些点进行聚类或者分类，确定该点归于哪条激光线。并拟合出各条激光线在像素坐标系下的方程Ax+By+C＝0；

步骤S4，计算激光线与标定板上特征点在水平或者垂直方向上连线的交点；

步骤S5，根据S2与S5得到的已知数据，计算S4中的2D交点在相机坐标系下的3D坐标；

步骤S6，拟合各条2D激光线在相机坐标系下所属的3D激光平面；

步骤S7，通过激光平面与相机x轴延长线的交点，确定等效的激光发射点。

所述步骤S1具体为，首先对相机进行单独标定，获得相机的内参，对每一张图像进行rectify矫正，消除因为镜头带来的畸变，得到相机坐标系下的真实坐标；保证激光线完全打在标定板平面上；保证标定板中的所有目标点都显示在图像熵；同一位置,在激光器打开与激光器关闭情况下，分别采集两组图像；对采集到的图像进行矫正处理，去除畸变；

得到的矫正后的所有的激光线关闭情况下的各组I类图像；根据已知标定板中所有特征点的3D坐标，与得到的相机的内参，求解出各组图像中的相机的外参(相机的旋转R与平移T)，通过计算，获取相机坐标系下，各组I类图像中的标定板上的各个特征点的3D空间坐标；

公式如下：Pc＝Tw->c*Pw，其中，Pc为需要计算得到的相机坐标系下的3D坐标，Tw->c为计算的到的各组照片的相机外参，Pw为已知的当前组照片的标定板***坐标系下的3D坐标。

所述步骤S2通过步骤S1得到各组I类图像中的的特征点，在相机坐标系下3D坐标，进行空间平面拟合，剔除误差较大的3D点后，最终得到各组照片中的标定板所属的平面坐标，公式为Ax+By+Cz+D＝0，其中x,y,z为变量，A,B,C,D为计算得到的常量。

所述步骤S3，获取步骤S1中得到的矫正后的所有的激光线打开情况下的各组II类图像；

使用灰度重心法，提取得到各组II类图像中的激光线中的亚像素中心点；

对得到的所有亚像素激光点进行聚类，得到图像中的每条激光线归属与哪条激光线；

各个激光线投射在标定板上都是一条直线，所以可以根据得到的各个激光线所属的2D激光点坐标，拟合出各组II类图像中所属的各条激光线的2D坐标，坐标公式为Ax+By+C＝0。其中x,y为变量，A,B,C为计算得到的常量，直线的斜率为-A/B。

所述步骤S4，根据S3得到的斜率，计算各组I类图像中，各条激光线与标定板横/竖方向上特征点的连线与延长线上的交点；

其中，如果斜率>1，说明该组激光线更接近垂直，则计算各行特征点的直线公式Ax+By+C＝0；

如果斜率<1，说明该组激光线更接近垂直，则计算各列特征点的直线公式Ax+By+C＝0；

根据斜率计算各条激光线与标定板横/竖方向上特征点的连线与延长线上的交点；

其中，如果斜率>1，说明该组激光线更接近垂直，则计算与水平方向连线与延长线上的交点；

如果斜率<1，说明该组激光线更接近垂直，则计算与竖直方向连线与延长线上的交点。

所述步骤S5根据拟合的标定板平面，与得到的各组II类图像中的各条激光线的交点，与张正友的小孔成像模型公式，即可得到最终结果，得到相机坐标系下的各条激光线的空间方程。

所述步骤S7，根据激光平面方程，与相机坐标的x轴坐标的交点，就是虚拟的激光发射点，激光入射角度可以根据需要进行定义；

循环执行步骤S5和步骤S6，遍历各个激光线，即可分别得到每条激光线相对于相机位置的激光平面方程。

本发明的有益效果。

本发明可以在一次性的拍摄多组照片后，直接并准确标定出各条激光线的空间平面坐标，对使用相机与多线激光器进行经过的空间测量有重大意义。

附图说明：

图1为本发明流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[1]特质标定板的描述如下：

标定板更大，中心部分是传统的棋盘格标定板，但拥有更大的边缘空白区域。中心是棋盘格，边缘是白色图涂料。

[2]步骤S1，首先对相机进行单独标定，获得相机的内参。

[3]对每一张图像进行rectify矫正，消除因为镜头带来的畸变，得到相机坐标系下的真实坐标。

[4]采集图像：

保证激光线完全打在标定板平面上。

保证标定板中的所有目标点都显示在图像熵。

同一位置,在激光器打开与激光器关闭情况下，分别采集两组图像。

[5]矫正：

对采集到的图像进行矫正处理，去除畸变。

[6]获取步骤[5]中得到的矫正后的所有的激光线关闭情况下的各组I类图像。

此时，根据已知标定板中所有特征点的3D坐标，与步骤[2]得到的相机的内参，求解出各组图像中的相机的外参(相机的旋转R与平移T)。

[7]通过计算，获取相机坐标系下，各组I类图像中的标定板上的各个特征点的3D空间坐标。

公式如下：Pc＝Tw->c*Pw，其中，Pc为需要计算得到的相机坐标系下的3D坐标，Tw->c为步骤[6]计算的到的各组照片的相机外参，Pw为已知的当前组照片的标定板***坐标系下的3D坐标。

[8]步骤S2，通过步骤[7]得到各组I类图像中的的特征点，在相机坐标系下3D坐标，进行空间平面拟合，剔除误差较大的3D点后，最终得到各组照片中的标定板所属的平面坐标，公式为Ax+By+Cz+D＝0，其中x,y,z为变量，A,B,C,D为计算得到的常量。

[9]步骤S3，获取步骤[5]中得到的矫正后的所有的激光线打开情况下的各组II类图像。

[10]使用灰度重心法，提取得到各组II类图像中的激光线中的亚像素中心点。

[11]对步骤[10]中得到的所有亚像素激光点进行聚类，得到图像中的每条激光线归属与哪条激光线。

[12]各个激光线，投射在标定板上都是一条直线。所以可以根据步骤[11]得到的各个激光线所属的2D激光点坐标，拟合出各组II类图像中所属的各条激光线的2D坐标，坐标公式为Ax+By+C＝0。其中x,y为变量，A,B,C为计算得到的常量，直线的斜率为-A/B。

[13]步骤S4，根据步骤[12]得到的斜率，计算各组I类图像中，各条激光线与标定板横/竖方向上特征点的连线与延长线上的交点。

其中，如果斜率>1，说明该组激光线更接近垂直，则计算各行特征点的直线公式Ax+By+C＝0；

如果斜率<1，说明该组激光线更接近垂直，则计算各列特征点的直线公式Ax+By+C＝0；

[14]根据步骤[12]得到的斜率，计算各条激光线与标定板横/竖方向上特征点的连线与延长线上的交点。

其中，如果斜率>1，说明该组激光线更接近垂直，则计算与水平方向连线与延长线上的交点；

如果斜率<1，说明该组激光线更接近垂直，则计算与竖直方向连线与延长线上的交点；

[15]步骤S5，根据步骤[8]拟合的标定板平面，与步骤[14]得到的各组II类图像中的各条激光线的交点，与张正友的小孔成像模型公式，即可按照如下公式，即可得到最终结果，得到相机坐标系下的各条激光线的空间方程。

[16]推倒公式如下图：

其中，Zc是Z方向上的深度d；

(Xc,Yc,Zc)是相机坐标系下的3D空间坐标，也就似乎最终的结果；CameraMatrix为3x4的相机内参矩阵；

u,v为步骤[14]得到的特征点与各个激光线在像素坐标系下的交点，为输入的已知变量；

fx,fy是相机的内参；

u0,v0是相机坐标系下的中心点；

A,B,C,D是步骤[8]拟合的标定板平面的计算参数。

[17]通过最小二乘法，求解如下矩阵，解出来各个交点(u,v)所对应的像素坐标系下的3D坐标(Xc,Yc,Zc)。

[18]步骤S6，遍历当前组II类图像的所有交点，循环统计出3D激光点在当前组II类图像所对应的标定平面下的，相机坐标系下的3D空间坐标(Xc,Yc,Zc)。

[19]遍历各组II类图像的所有交点，循环统计出3D激光点在各个II类图像所对应的各个标定平面下的，相机坐标系下的3D空间坐标(Xc,Yc,Zc)。

对本次遍历的结果进行3D平面拟合，即可得到该激光平面相对于相机的空间坐标，即所要求的结果。

[20]步骤S7，根据步骤[19]得到的激光平面方程，与相机坐标的x轴坐标的交点，就是虚拟的激光发射点，激光入射角度可以根据需要进行定义。

[21]循环执行步骤[16]到步骤[20]，遍历各个激光线，即可分别得到每条激光线相对于相机位置的激光平面方程。

Claims (7)

1.一种相机与多线激光的联合标定方法，其特征在于，包括以下步骤；

步骤S1，相机的标定，图像的采集，加载与去畸变预处理；

步骤S2，通过标定板上的特征点与相机的内外参，拟合相机坐标系下的标定板平面；

步骤S3，提取亚像素级别的激光点，并对这些点进行聚类或者分类，确定该点归于哪条激光线。并拟合出各条激光线在像素坐标系下的方程Ax+By+C＝0；

步骤S4，计算激光线与标定板上特征点在水平或者垂直方向上连线的交点；

步骤S5，根据S2与S5得到的已知数据，计算S4中的2D交点在相机坐标系下的3D坐标；

步骤S6，拟合各条2D激光线在相机坐标系下所属的3D激光平面；

步骤S7，通过激光平面与相机x轴延长线的交点，确定等效的激光发射点。

2.根据权利要求1所述的一种相机与多线激光的联合标定方法，其特征在于，所述步骤S1具体为，首先对相机进行单独标定，获得相机的内参，对每一张图像进行rectify矫正，消除因为镜头带来的畸变，得到相机坐标系下的真实坐标；保证激光线完全打在标定板平面上；保证标定板中的所有目标点都显示在图像熵；同一位置,在激光器打开与激光器关闭情况下，分别采集两组图像；对采集到的图像进行矫正处理，去除畸变；

得到的矫正后的所有的激光线关闭情况下的各组I类图像；根据已知标定板中所有特征点的3D坐标，与得到的相机的内参，求解出各组图像中的相机的外参(相机的旋转R与平移T)，通过计算，获取相机坐标系下，各组I类图像中的标定板上的各个特征点的3D空间坐标；

公式如下：Pc＝Tw->c*Pw，其中，Pc为需要计算得到的相机坐标系下的3D坐标，Tw->c为计算的到的各组照片的相机外参，Pw为已知的当前组照片的标定板***坐标系下的3D坐标。

3.根据权利要求1所述的一种相机与多线激光的联合标定方法，其特征在于，所述步骤S2通过步骤S1得到各组I类图像中的的特征点，在相机坐标系下3D坐标，进行空间平面拟合，剔除误差较大的3D点后，最终得到各组照片中的标定板所属的平面坐标，公式为Ax+By+Cz+D＝0，其中x,y,z为变量，A,B,C,D为计算得到的常量。

4.根据权利要求1所述的一种相机与多线激光的联合标定方法，其特征在于，所述步骤S3，获取步骤S1中得到的矫正后的所有的激光线打开情况下的各组II类图像；

使用灰度重心法，提取得到各组II类图像中的激光线中的亚像素中心点；

对得到的所有亚像素激光点进行聚类，得到图像中的每条激光线归属与哪条激光线；

各个激光线投射在标定板上都是一条直线，所以可以根据得到的各个激光线所属的2D激光点坐标，拟合出各组II类图像中所属的各条激光线的2D坐标，坐标公式为Ax+By+C＝0。其中x,y为变量，A,B,C为计算得到的常量，直线的斜率为-A/B。

5.根据权利要求1所述的一种相机与多线激光的联合标定方法，其特征在于，所述步骤S4，根据S3得到的斜率，计算各组I类图像中，各条激光线与标定板横/竖方向上特征点的连线与延长线上的交点；

其中，如果斜率>1，说明该组激光线更接近垂直，则计算各行特征点的直线公式Ax+By+C＝0；

如果斜率<1，说明该组激光线更接近垂直，则计算各列特征点的直线公式Ax+By+C＝0；

根据斜率计算各条激光线与标定板横/竖方向上特征点的连线与延长线上的交点；

其中，如果斜率>1，说明该组激光线更接近垂直，则计算与水平方向连线与延长线上的交点；

如果斜率<1，说明该组激光线更接近垂直，则计算与竖直方向连线与延长线上的交点。

6.根据权利要求1所述的一种相机与多线激光的联合标定方法，其特征在于，所述步骤S5根据拟合的标定板平面，与得到的各组II类图像中的各条激光线的交点，与张正友的小孔成像模型公式，即可得到最终结果，得到相机坐标系下的各条激光线的空间方程。

7.根据权利要求1所述的一种相机与多线激光的联合标定方法，其特征在于，所述步骤S7，根据激光平面方程，与相机坐标的x轴坐标的交点，就是虚拟的激光发射点，激光入射角度可以根据需要进行定义；

循环执行步骤S5和步骤S6，遍历各个激光线，即可分别得到每条激光线相对于相机位置的激光平面方程。

Images