CN106340044A - 摄像机外参自动标定方法及标定装置 - Google Patents

Abstract

本发明公开了一种摄像机外参自动标定方法及装置，该方法包括以下步骤：步骤1，建立世界坐标***与相机坐标***之间的关系；步骤2，采集并转换标定板图像；步骤3，对图像进行二值化处理；步骤4，检测图像中的连通域信息，得到标定板连通域，并进一步提取标定板的灰度图像；步骤5，提取标定板上的标志点；步骤6，求取标志点的圆心；步骤7，将计算出的圆心坐标排序，建立世界坐标与图像坐标之间的对应关系；步骤8，根据对应关系，计算无畸变状态的投影映射模型参数，并利用畸变系数计算摄像头在当前状态下的精确成像模型系数；步骤9，根据成像模型系数对检测到的标定标志点进行反投影计算，得出摄像头的外部安装参数。

Description

摄像机外参自动标定方法及标定装置

技术领域

本发明涉及视觉***的方法与装置，更具体地说，涉及摄像机外参自动标定方法及标定装置。

背景技术

摄像机标定是指利用摄像机所拍摄到的图像来还原空间中的物体。假设摄像机所拍摄到的图像与三维空间中的物体之间存在以下一种简单的线性关系：[像]＝M[物]。这里，矩阵M可以看成是摄像机成像的几何模型，M中的参数就是摄像机参数。通常，这些参数是要通过实验与计算来得到的。这个求解参数的过程就称为摄像机标定。

计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机定标(或称为标定)。标定过程就是确定摄像机的几何和光学参数，摄像机相对于世界坐标系的方位。

摄像机外参标定，即计算出定义的世界坐标***与相机坐标***之间的转换关系参数。两个坐标***的转换主要表现为旋转变换操作和平移变换操作，与之相对应的是求解出旋转矩阵R与平移矩阵T。

目前的视觉***中，需要对后装的摄像机进行外部参数标定，获得摄像机与外部世界坐标系之间的转换关系。现有的标定***存在操作过程复杂、标定精度低、人工参与标定结果判断等问题。

发明内容

针对现有技术中存在的操作过程复杂、标定精度低、人工参与标定结果判断等问题，本发明的目的是提供摄像机外参自动标定方法及标定装置。

为实现上述目的，本发明采用如下技术方案：

一种摄像机外参自动标定方法，包括以下步骤：步骤1，建立世界坐标***与相机坐标***之间的关系；步骤2，采集并转换标定板图像；步骤3，对图像进行二值化处理；步骤4，检测图像中的连通域信息，得到标定板连通域，并进一步提取标定板的灰度图像；步骤5，提取标定板上的标志点；步骤6，求取标志点的圆心；步骤7，将计算出的圆心坐标排序，建立世界坐标与图像坐标之间的对应关系；步骤8，根据对应关系，计算无畸变状态的投影映射模型参数，并利用畸变系数计算摄像头在当前状态下的精确成像模型系数；步骤9，根据成像模型系数对检测到的标定标志点进行反投影计算，得出摄像头的外部安装参数。

根据本发明的一实施例，步骤2进一步包括：使用安装好的待标定的摄像机采集标定板图像，并将彩色图像转换为8位灰度图像。

根据本发明的一实施例，步骤4进一步包括：检测图像中的连通域信息，并按照标定板物理结构特征进行筛选，得到标定板连通域；对提取出的标定板连通域进行填充，得到标定板区域模板；将标定板区域模板与步骤2得到的灰度图像进行“与”操作，提取出标定板的灰度图像。

根据本发明的一实施例，步骤5进一步包括：重复步骤3，提取出标定板上的标定标志点，并根据标定点物理特征进行筛选，去除噪声点。

根据本发明的一实施例，步骤6进一步包括：采用求取连通域重心的方法，求取标定标志点的圆心，根据摄像机成像尺寸进行相应的缩放裁剪。

根据本发明的一实施例，步骤8进一步包括：利用步骤7计算出的对应关系和摄像机反投影模型，计算出无畸变状态的投影映射模型参数；利用畸变系数计算出该摄像头在当前状态下的精确成像模型系数。

为实现上述目的，本发明采用如下技术方案：

一种摄像机外参自动标定装置，包括标定板，其特征在于：标定板包括辅助测距线、标定板边缘、标定板主体、标定标志点；标定板主***于标定板的中央，标定板主体上设有多个中心对称排列的标定标志点；各个标定标志点之间具有一定间隔；标定板边缘环绕于标定板主体的***，且具有一定的宽度；辅助测距线位于标定板边缘的外侧，且环绕标定板边缘。

根据本发明的一实施例，还包括：辅助标尺，辅助标尺具有刻度。

在上述技术方案中，本发明的摄像机外参自动标定方法及标定装置通过图像处理的算法自动计算标定结果，不仅具有较高的标定精度，而且减少了摄像机外参标定工作的成本，保障***精度。

附图说明

图1是摄像机外参自动标定方法的流程图；

图2是标定板的结构示意图；

图3是辅助标尺的结构示意图。

具体实施方式

下面结合附图和实施例进一步说明本发明的技术方案。

如图2和图3所示，本发明首先公开一种摄像机外参自动标定装置，包括标定板和辅助标尺。其中，标定板主要包括4部分，即：辅助测距线N4、标定板边缘N1、标定板主体N3、标定标志点N2。

具体来说，标定板主体N3位于标定板的中央，标定板主体N3上设有多个中心对称排列的标定标志点N2，标定板主体N3部分用于提取出仅包含有效标定标志点N2的区域，对标定板进行精确定位。各个标定标志点N2之间具有一定间隔，用于确定标定板所处世界坐标系的准确坐标位置。标定板边缘N1环绕于标定板主体N3的***，且具有一定的宽度，用于将标定板主体N3与周围环境隔离，在***运行的过程中，用于标定板的自动定位。辅助测距线N4位于标定板边缘N1的外侧，且环绕标定板边缘N1，用于确定标定板的摆放位置参数。辅助标尺具有刻度，用于确定标定板的摆放参数。

如图1所示，本发明的标定方法主要包括以下几个步骤：

步骤S1：设计标定设备包括标定板和辅助标尺，从而建立世界坐标***与相机坐标***之间的关系。

对于步骤S1中的标定设备，标定板作为标定的标准，其自身各标志点之间的位置关系是明确的。在水平方向，各标志点的圆心之间有确定的距离；在垂直方向，各标志点的圆心之间也有着确定的距离，根据应用场景范围的不同，可将圆心间距进行不同的定义。

步骤S2：使用安装好的待标定的摄像机采集标定板图像，并将彩色图像转换为8位灰度图像。

步骤S3：对整幅图像按照自适应阈值的方法，进行图像二值化处理。

步骤S4：检测图像中的连通域信息，并按照标定板物理结构特征进行筛选，得到标定板连通域。对提取出的标定板连通域进行填充，得到标定板区域模板，将标定板区域模板与步骤S2得到的灰度图像进行“与”操作，提取出标定板的灰度图像。

步骤S4中有一套自动搜索策略。***认为在标定图像中只允许出现一块参与标定的标定板，即只存在一个标定板连通域。标定板连通域检索过程中，采用逐级收缩的策略进行标定板区域搜索。首先在整幅图像中标记连通域，若连通域数目>1，在收缩图像边界继续搜索，直到在所搜索的图像中只存在一个符合标定板特征的连通域，则搜索结束。

步骤S5：重复步骤S3，提取出标定板上的标定标志点N2。根据标定点物理特征进行筛选，去除噪声点。

步骤S6：采用求取连通域重心的方法，求取标定标志点N2的圆心，根据摄像机成像尺寸进行相应的缩放裁剪。

步骤S7：将计算出的圆心坐标排序，使图像坐标与世界坐标系中的圆心坐标一一对应，建立世界坐标与图像坐标之间的对应关系。

步骤S8：利用步骤S7计算出的对应关系，和摄像机反投影模型，计算出无畸变状态的投影映射模型参数。然后，利用畸变系数计算出该摄像头在当前状态下的精确成像模型系数。

步骤S9：利用计算出的摄像机成像模型，对检测到的标定标志点N2进行反投影计算，得出摄像头的外部安装参数。

本发明的摄像机外参自动标定的方法及装置通过图像处理技术对采集到的标定板图像进行检测和标定点提取，自动计算摄像机的外部安装参数，避免了标定过程中的人为因素误差和人工干预，降低了人工成本，提高了标定精度。

下面通过一个实施例来进一步说明上述技术方案。

步骤S1:标定板设计的过程中，根据所要标定的摄像机的安装情况及成像情况进行适当的调整。本发明中涉及的是5米成像范围内的摄像机标定。设计成水平横向设计成3行，垂直纵向设计成5列，共15个标定标志点N2。

标定板参数如图2所示：

标定板边缘N1，对应宽度T1＝5cm、T2＝5cm

标定板标志点，对应直径T3＝10cm

标定板主体N3，标定点横向间距T4＝10cm，标定点纵向间距T5＝10cm。

辅助测距线N4。

辅助标尺参数如图3所示：

M1：辅助标尺主体部分

M2：辅助标尺的辅助测距线

标定板摆放过程中，将辅助标尺的辅助测距线M2与标定板的辅助测距线N4相对齐，确定标定板在水平和垂直方位的摆放参数信息。

若在某些领域涉及到大(小)视野的情况下，可增加(减少)标定标志点N2的行数或列数，增大(减小)标定标志点N2的直径，增大(减小)各标定点之间的间距等，以上改动均属于本发明的保护范围。

步骤S2：初始采集到的是标定板的彩色图像。在24位彩色图像中，每个像素都是由红、绿、蓝三基色组合存储的。为了减少计算量，利用像素点的次序重新加权组合，形成新的图像数据，即形成8位灰度图像。

步骤S3：对图像利用OTSU自适应阈值的方法，进行图像二值化处理。

步骤S4：标定板图像二值化处理后，采用逐级收缩的策略对标定板区域进行检测。因为标定板的周围设计有白色的边缘，所以标定板连通区域是一个独立的连通域；并且标定板连通域有一定的面积范围和一定的宽度高度比。将这些特征条件设置成标定板连通域搜索的定性基准。首先，对整幅图像进行连通域标定，若满足检测条件的连通域个数大于1个，则认为这些连通域中除了包含标定板区域外，还包含噪声区域。此时，将待检测的图像范围向图像中心收缩固定步长，在收缩后的图像范围内重新搜索，依次进行，直到所检测的图像范围中只存在一个满足标定板条件的连通域为止。对搜索到的标定板连通域进行空洞填充处理，使该连通域形成一个完整的标定板连通域。将填充后的标定板连通域与S2计算的灰度图像进行“与”操作，即可提取出原始图像中的标定板图像。

步骤S5：利用步骤S3的方法，对提取出的标定板灰度图像进行二值化处理。得到标定板中的标志点连通域。对二值化的图像进行数学形态学的开操作，消除边界点带来的噪声数据。得到仅有的标定点连通域。

步骤S6：对标定点连通域进行标记，得到各标志点的连通域的分布信息。对每个标志点连通域中的有效像素点的坐标进行加权求平均的方式求取每个连通域的重心，将该重心作为标志点的圆心坐标。

步骤S7：取标定板中左下角的标志点为世界坐标的坐标原点，取垂直方向为世界坐标系X方向，取水平方向为世界坐标系Y方向。将标定标志点N2在世界坐标系中按X方向的顺序排序，得到标定点序列。在检测到的图像坐标系中的圆心坐标中，取左下角的坐标点为坐标原点，与世界坐标系中的标定点对应。以该坐标点为起始检测点，依次计算其余标定点与起始坐标点的距。将所得取距离排序，求取距离最小的3个点。通过判断这3个点之间的夹角比例关系，分别将其对应于世界坐标系X方向第一个标志点，世界坐标系Y方向第一个标志点以及坐标原点的右上角标志点。一次搜索结束后，取X方向的下一个点作为新的起始检索点，重复S7的搜索策略，直至全部的图像坐标系中的标志点与世界坐标系中的标志点全部对应。

步骤S8：标志点的世界坐标系坐标与标志点的图像坐标系中的坐标完成一一对应的关系后，即确定了摄像机在当前姿态下的成像关系。结合相机内参的基本成像部分参数和基本成像模型y＝tanθ,计算出无畸变状态下的图像坐标投影位置模型。

r(θ)＝k1θ+k2θ+k3θ+k4θ+k5θ+…

在基本成像模型的基础上，结合摄像机内参的径向畸变系数和切向畸变系数，以及在径向方向和切向方向的单位向量，计算出该摄像头在当前姿态下的精确成像模型投影关系。

Δr(θ,ψ)＝(l1θ+l2θ3+l3θ5)(i1cosψ+i2sinψ+i3cos2ψ+i4sin2ψ)

Δt(θ,ψ)＝(m1θ+m2θ3+m3θ5)(j1cosψ+j2sinψ+j3cos2ψ+j4sin2ψ)

Xd＝r(θ)ur(ψ)+Δr(θ,ψ)ur(ψ)+Δt(θ,ψ)ur(ψ)

步骤S9：摄像机的外参参数是相对于世界坐标系和相机坐标系而言的。我们选择标定平面即标定板所处的平面为世界坐标系，摄像机自身光轴所确定的坐标系为相机坐标系，通过对相机坐标系进行旋转和平移操作，可以使两个坐标系重合。所谓摄像机外参，就是求解出这两个坐标之间的转换关系，即求解出旋转矩阵系数和平移矩阵系数。它们之间有如下转换关系：

Xc＝RX+T

根据求解的摄像机内参数据，对提取到的图像坐标系的标定点坐标进行反投影到球面坐标，球面坐标和图像坐标通过单应性矩阵建立关系。分解单应性矩阵即可得到旋转矩阵和平移矩阵。

H＝[r1 r2 r3 t]

综上所述，本发明提供了一种摄像机外部参数自动标定的方法，并提供了一种用于自动标定的标定模板。因为在整个处理过程中，***对采集到的图像进行自动检测，自动提取标志点，避免了人为因素的干扰，同时，保证了标定的精度。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (8)

1.一种摄像机外参自动标定方法，其特征在于，包括以下步骤：

步骤1，建立世界坐标***与相机坐标***之间的关系；

步骤2，采集并转换标定板图像；

步骤3，对图像进行二值化处理；

步骤4，检测图像中的连通域信息，得到标定板连通域，并进一步提取标定板的灰度图像；

步骤5，提取标定板上的标志点；

步骤6，求取标志点的圆心；

步骤7，将计算出的圆心坐标排序，建立世界坐标与图像坐标之间的对应关系；

步骤8，根据所述对应关系，计算无畸变状态的投影映射模型参数，并利用畸变系数计算摄像头在当前状态下的精确成像模型系数；

步骤9，根据所述成像模型系数对检测到的标定标志点进行反投影计算，得出摄像头的外部安装参数。

2.如权利要求1所述的摄像机外参自动标定方法，其特征在于，所述步骤2进一步包括：

使用安装好的待标定的摄像机采集标定板图像，并将彩色图像转换为8位灰度图像。

3.如权利要求2所述的摄像机外参自动标定方法，其特征在于，所述步骤4进一步包括：

检测图像中的连通域信息，并按照标定板物理结构特征进行筛选，得到标定板连通域；

对提取出的标定板连通域进行填充，得到标定板区域模板；

将标定板区域模板与步骤2得到的灰度图像进行“与”操作，提取出标定板的灰度图像。

4.如权利要求3所述的摄像机外参自动标定方法，其特征在于，所述步骤5进一步包括：

重复步骤3，提取出标定板上的标定标志点，并根据标定点物理特征进行筛选，去除噪声点。

5.如权利要求4所述的摄像机外参自动标定方法，其特征在于，所述步骤6进一步包括：

采用求取连通域重心的方法，求取标定标志点的圆心，根据摄像机成像尺寸进行相应的缩放裁剪。

6.如权利要求5所述的摄像机外参自动标定方法，其特征在于，所述步骤8进一步包括：

利用步骤7计算出的对应关系和摄像机反投影模型，计算出无畸变状态的投影映射模型参数；

利用畸变系数计算出该摄像头在当前状态下的精确成像模型系数。

7.一种摄像机外参自动标定装置，包括标定板，其特征在于：

所述标定板包括辅助测距线、标定板边缘、标定板主体、标定标志点；

所述标定板主***于所述标定板的中央，标定板主体上设有多个中心对称排列的标定标志点；

各个标定标志点之间具有一定间隔；

所述标定板边缘环绕于所述标定板主体的***，且具有一定的宽度；

所述辅助测距线位于所述标定板边缘的外侧，且环绕所述标定板边缘。

8.如权利要求7所述的摄像机外参自动标定装置，其特征在于，还包括：

辅助标尺，所述辅助标尺具有刻度。