CN106097300A - 一种基于高精度运动平台的多相机标定方法 - Google Patents

Abstract

本发明一种基于高精度运动平台的多相机标定方法，在整个工作区域内，通过载物台固定在高精度运动平台上的标定板可以做任意已知的旋转平移等线性运动，获得标定板在世界坐标系下的位姿。标定板在高精度运动平台的控制下运动，使其出现在某个相机或多个相机的视野中，相机拍摄图像，寻找世界坐标系下与图像坐标系下对应点对坐标，最后采用全局优化算法，整体一次求解各个相机参数，克服了现有标定方法需要对多相机***中的相机逐个标定存在的低效率、有较大累积误差或设计特定标定部件的麻烦等缺点，实现了多相机***整体的一次性标定，具有极其重要的工程应用价值，完成高精度标定及三维重建。测量过程简单，标定结果精确，提高了工作效率。

Description

一种基于高精度运动平台的多相机标定方法

技术领域

本发明涉及计算机视觉领域中的多相机***，具体为一种基于高精度运动平台的多相机标定方法。

背景技术

多相机***在计算机视觉领域相当常见，如在3D重建、运动捕捉、多视点视频等应用中，常常需要各种不同相机、光源、存储设备的组成的多相机***。多相机***标定，即确定各个相机的内、外参数，是多相机***进行可靠高效工作不可或缺的重要步骤。

以往，多相机***标定一般采用两种方式：(1)使用传统标定方式，但这些标定物存在自身遮挡，无法从多个视角同时观测到标定物，因而无法一次性地标定多相机***，只能先两两进行标定，最后转换到同一坐标系下，实现全局标定。由于涉及到各种不精确的坐标转换，存在较大的累积误差；并且需要对多相机***中的相机逐个标定，效率极低。(2)设置特定的标定物，在多相机标定过程中使其绕固定轴转动或静止，由于特定标志物不存在自身遮挡，多相机可以同时拍摄，一起标定。但在实际使用中标定物设计比较困难且没有普遍性，实用性差且标定过的参数精度低。当任意两个相机的视野重叠区域小或根本没有重叠时，上述两种方法便无能为力。

发明内容

针对现有技术中存在的问题，本发明提供一种基于高精度运动平台的多相机标定方法，在保证操作高效率的前提下，提高标定精度。

本发明是通过以下技术方案来实现：

一种基于高精度运动平台的多相机标定方法，包括如下步骤，

步骤1，初始化多相机标定***，所述的多相机标定***包括载物台和高精度运动平台，以及至少两个相机；所有相机均匀布置于载物台的上方，且相机的取景框均朝向载物台，载物台上固定放置标定板，高精度运动平台控制载物台的运动；所述的高精度运动平台具有6个及以上自由度，位移精度达到0.1mm的运动平台；

步骤2，在初始位姿的标定板上建立世界坐标系，并在标定板上选取至少五个标定点，得到所有标定点的世界坐标；

步骤3，通过高精度运动平台的控制，将标定板从上一位姿移动到下一位姿，并使标定板填充到未拍摄两幅标定板在不同位姿下图像的一个或多个当前相机视野内；

步骤4，一个或多个当前相机对当前位姿下的标定板分别进行图像采集，并获取标定板中步骤2选取的至少五个标定点在图像上对应点的图像坐标和在世界坐标系上的世界坐标；

步骤5，重复步骤3和4直到每个相机至少拍摄两幅标定板在不同位姿下的图像；

步骤6，对所有相机内外参数进行全局标定，采用全局算法对步骤4得到的所有标定点的图像坐标与其世界坐标的关系进行优化，确定各个相机精确的标定参数。

优选的，步骤2中，初始位姿的标定板位于任意一个或多个相机的视野内。

优选的，标定板填充到对应相机视野中时，使得拍摄图像中标定板所占区域占一半以上。

优选的，在求解标定点的世界坐标时，假定标定板坐标系与载物台坐标系重合，若不重合则经过向量运算进行相互转化。

优选的，当多个相机对标定板同时进行拍摄时，所述的多个相机的视野重叠，且在视野重叠区域能够拍摄到全部的标定板。

优选的，标定板采用棋盘格标定板，初始姿态下标定板的任意一个点作为世界坐标系原点O_w，标定板互相垂直的两边界为X_w轴与Y_w轴，Z_w垂直与标定板平面。

优选的，当所有相机依次进行对标定板的拍摄标定时，具体步骤如下，

步骤1)，初始化多相机标定***，所述的多相机标定***包括载物台和高精度运动平台，以及至少两个相机；所有相机均匀布置于载物台的上方，且相机的取景框均朝向载物台，载物台上固定放置标定板，高精度运动平台控制载物台的运动；所述的高精度运动平台具有6个及以上自由度，位移精度达到0.1mm的运动平台；

步骤2)，在初始位姿(R₀,T₀)的标定板上建立世界坐标系O_w-X_wY_wZ_w，其原点O_w为标定板上任意一个固定的点；并选取n个标定点，其中，n为正整数，且n≥5；n个标定点的坐标分别为(X₀₁,Y₀₁,0),(X₀₂,Y₀₂,0)…(X_0n,Y_0n,0)；

步骤3)，通过高精度运动平台的控制，将标定板从上一位姿(R_i-1,T_i-1)移动到下一位姿(R_i,T_i)，使标定板填充到未拍摄两幅标定板在不同位姿下图像的一个当前相机视野内；

步骤4)，当前相机对当前位姿(R_i,T_i)下的标定板分别进行图像采集，并获取标定板中步骤1)选取的n个标定点在图像上对应点的图像坐标分别为(u_i1,v_i1),(u_i2,v_i2)…(u_in,v_in)和世界坐标(X_i1,Y_i1,Z_i1),(X_i2,Y_i2,Z_i2)…(X_in,Y_in,Z_in)；

步骤5)，重复步骤3)和4)直到每个相机至少拍了两幅标定板在不同位姿下的图像，共拍摄了m个标定板位姿下的m张图像；

步骤6)，对所有相机拍摄到图像中对应点的像点坐标进行全局标定，采用全局算法对步骤4)得到的所有对应点对进行优化，确定各个相机精确的标定参数。

进一步，在步骤3)中，标定板下一位姿(R_i,T_i)通过如下公式得到，

(R_i,T_i)＝(R_(i-1)i*R_i-1,R_(i-1)i*T_i-1+T_(i-1)i)

其中，(R_i-1,T_i-1)为上一位姿；(R_(i-1)i,T_(i-1)i)为此运动前后标定板位置关系，能够通过读取高精度运动平台移动的参数获得。

进一步，通过在步骤4)中得到第i个相机的图像坐标系上的标定点图像坐标(u_i1,v_i1),(u_i2,v_i2)…(u_in,v_in)与标定点基于世界坐标系下坐标(X_i1,Y_i1,Z_i1),(X_i2,Y_i2,Z_i2)…(X_in,Y_in,Z_in)的对应关系；在步骤6)中对所有相机的内部参数与外部参数进行全局标定；其中，

(X_i1,Y_i1,Z_i1)＝(X₀₁,Y₀₁,Z₀₁)*R_i+T_i,(X_i2,Y_i2,Z_i2)(X₀₂,Y₀₂,0)*R_i+T_i,…,

(X_in,Y_in,Z_in)(X_0n,Y_0n,0)*R_i+T_i。

进一步，步骤6)中全局优化的具体步骤如下，

以为目标函数，以张正友提出的棋盘格标定算法方程为模型，采用最小二乘法或其他优化算法计算各个相机内外参数；其中，Q_ij是第j个标定点在第i个位姿上的像点计算值，x_ij是第j个标定点在第i个位姿上的像点测量值，d(Q_ij,x_ij)是Q_ij与x_ij之间的范数；

得到的各个相机的外参(R¹,T¹),(Rⁿ,Tⁿ),…分别为各个相机坐标相对于步骤2)选取的世界坐标系的位置关系，则第k个相机关于第一个相机的外参为(R^k1,T^k1)，其中(R^k1,T^k1)＝(-R^k*R¹,-R^k*T¹-T^k)。

与现有技术相比，本发明具有以下有益的技术效果：

本发明在整个工作区域内，通过载物台固定在高精度运动平台上的标定板可以做任意已知的旋转平移等线性运动，获得标定板在世界坐标系下的位姿。标定板在高精度运动平台的控制下运动，使其出现在某个相机或多个相机的视野中，相机拍摄图像，寻找世界坐标系下与图像坐标系下对应点对坐标，最后采用全局优化算法，整体一次求解各个相机参数，克服了现有标定方法需要对多相机***中的相机逐个标定存在的低效率、有较大累积误差或设计特定标定部件的麻烦等缺点，实现了多相机***整体的一次性标定，具有极其重要的工程应用价值，完成高精度标定及三维重建。能够进行高精度的测量和自动控制能力，测量过程简单，标定结果精确，有效的提高了工作效率。而当多个相机中的一个发生移动时，该多相机***需要重新标定。

附图说明

图1为本发明实例中所述的多相机标定***的应用布局示意图。

图2为本发明实例中所述方法中以第一个相机标定为例标定过程示意图。

图3为本发明实例中所述方法的流程图。

图1中：棋盘格标定板1、相机采集控制器2、多相机***3、各个相机视野4、高精度运动平台控制器5。

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

多相机***通常要求摄像机或照相机从多个角度拍摄物体。当待重建物体或人在同一时刻不同观察角度的图像，利用多相机***的标定结果可以计算出待重建物体或人的三维信息，实现运动捕获等目标。因而标定是该***最基本和最重要的一步。本发明的相机布局结构采用一般的多相机***结构即可，对多相机的安装位置和姿态没有特殊要求；如图1所示，本优选实例中多相机***标定***的布置示意图，标定板移动范围为多相机***的工作区，即相机的所有视野区。

棋盘格标定板1位于多相机***3的各个相机视野4内，棋盘格标定板1通过载物台固定在高精度运动平台的运动部件上，如机械手臂，在控制器5的控制下运动部件的运动将带动棋盘格标定板1在工作区内做相同的运动；多相机***3在相机采集控制器2的控制下拍摄在其工作区域内运动的标定部件1的图像，用于对多相机***3的标定。

本发明提出的标定方法主要包括获取标定板的运动参数，获取标定板的图像、图像输入、从图像中提取标志点图像坐标并构造图像点对应及利用全局或非线性优化算法优化标定结果等步骤，应当说明在整个标定过程中只能用高精度运动平台控制器控制标定板，不允许手动拨动或触动标定板。本优选实例中采用的棋盘格标定板1，标定板上的棋盘格顶点可轻松识别，作为标志点。如图3所示，以相机逐一拍摄图像进行说明，具体步骤如下。

步骤1，初始化多相机***标定***。其中基于高精度运动平台的多相机标定装置中应用了高精度的运动平台，所述的高精度运动平台指的是具有6个及以上自由度，位移精度可达0.1mm的运动平台，包括高精度云台，高精度机械臂等高精度运动平台。运动平台可以带动标定板在工作区域内做各种已知轨迹的运动。

步骤2，如图3的(1)所示，以初始位姿(R₀,T₀)的标定板左上角为世界坐标系原点O_w，标定板互相垂直的两边界为X_w轴与Y_w轴，Z_w垂直与标定板平面；在标定板上选取n≥5个标定点，其当标定板处于初始位姿(R₀,T₀)时在世界坐标系下的坐标分别为(X₀₁,Y₀₁,0),(X₀₂,Y₀₂,0),…,(X_0n,Y_0n,0)；本优选实例中，定位世界坐标系时，标定板的初始位姿可以是工作区的任意位置，但考虑到标定的简单期间，首先移动标定板，使其尽量填充第一个相机视野。选取当前位姿为初始位姿；标定板上的标定点可以随机选取，也可以选择容易计算的n个点，但这n个点要均匀分布在标定板上，且n不能少于5，越多越好。

步骤3，如图3的(2)所示，标定板在工作区内从上一位姿(R_i-1,T_i-1)运动到下一位姿(R_i,T_i)，使标定板尽量填充第k个相机视野；由于标定板固定在高精度运动平台上，在此运动前后标定板位置关系(R_(i-1)i,T_(i-1)i)能够通过读取高精度运动平台移动的参数获的精确表示，所以(R_i,T_i)＝(R_(i-1)i*R_i-1,R_(i-1)i*T_i-1+T_(i-1)i)。标定板填充相机视野是指在所拍摄的图像中标定板应该至少占图像的二分之一。

因为大的标定板由于工艺上制作的问题，板面平整度不高，严重影响标定精度；所以本发明采用的标定板是经典的棋盘格小标定板，且标定点之间的几何信息已知(棋盘格大小已知)和标定板运动参数已知(采用高精度运动平台控制标定板运动)，标定板通过载物台牢牢固定在运动部件上面，运动平台运动几何信息与标定板运动几何信息相同，也就是标定板的坐标系应与高精度运动平台的坐标系重合，假若不重合的再经过一定量的向量运算计算转化。操作者可以通过高精度运动平台控制器控制运动部件的运动来控制标定板的刚体运动。在每次运动后整个标定板应尽可能填满整个相机视野。

步骤4，如图3的(3)所示，第k个相机对当前位姿(R_i,T_i)下的标定板进行图像采集，并获取标定板中步骤2选取的n个标定点在图像上对应点的像点坐标(u_i1,v_i1),(u_i2,v_i2)…(u_in,v_in)；可以得到第k个相机的图像坐标系上的标定点图像坐标(u_i1,v_i1),(u_i2,v_i2)…(u_in,v_in)与标定板标定点在世界坐标系下坐标(X_i1,Y_i1,Z_i1),(X_i2,Y_i2,Z_i2)…(X_in,Y_in,Z_in)的对应关系，用于步骤6中所有相机的内参与外参的全局标定；其中，

(X_i1,Y_i1,Z_i1)＝(X₀₁,Y₀₁,Z₀₁)*R_i+T_i,(X_i2,Y_i2,Z_i2)(X₀₂,Y₀₂,0)*R_i+T_i,…,

(X_in,Y_in,Z_in)(X_0n,Y_0n,0)*R_i+T_i；。

在寻找标定板标定点在图像中的对应点时，若某个或多个点难以找到，可以用其他点代替或者忽略该点，但是一定要保证点的个数n≥5且分布均匀。为了提高相机参数的精度，每个相机最好拍摄多个位姿下标定板的图像，寻找标定点。且多位姿尽量包括各种角度，即正对相机，标定板位于图像左上、上中、右上、中间、左下、下中、右下和往上、下、左、右的旋转。

步骤5，如图3的(4)所示，重复步骤3与步骤4直到每个相机至少拍摄两幅标定板在不同位姿下的图像，共拍摄了m个标定板位姿下的m张图像；

步骤6，如图3的(5)所示，全局高精度定位，采用全局算法对步骤三得到的所有对应点对进行优化，确定各个相机精确的标定参数。

全局优化算法以为目标函数，其中Q_ij是第j个标定点在第i个位姿上的像点计算值，x_ij是第j个标定点在第i个位姿上的像点测量值，d(Q_ij,x_ij)是Q_ij与x_ij之间的范数；以张正友提出的棋盘格标定算法方程为模型，采用最小二乘法或其他迭代优化算法求解各个相机的内参和外参Rⁱ,Tⁱ矩阵，则第k个相机关于第一个相机的外参为(R^k1,T^k1)，其中(R^k1,T^k1)＝(-R^k*R¹,-R^k*T¹-T^k)。

本发明若某一位姿下标定板同时填充某2个或者多个相机视野，多个相机可以同时拍摄标定板在当前位姿下的图像，同时寻找标定板标定点的在图像上的对应点。当多个相机中的一个发生移动时，该多相机***需要重新标定。

如图2所示，以第一个相机标定为例，说明其他相机的标定过程中的位姿转换：图2右下角为建立的图像坐标系O-UV。图2左下角为建立的第一个相机坐标系O_c1-X_c1Y_c1Z_c1。图2左上角为标定板在初始位姿下建立的世界坐标系O_w-X_wY_wZ_w。标定板在高精度运动平台的控制下由初始位姿移动到某个位置后建立第1个世界坐标系O_w1-X_w1Y_w1Z_w1，图2右上角，该移动过程参数(R₀₁,T₀₁)可以由高精度运动平台直接或者间接得到。在全局标定过程后便可得到第一个相机坐标系与世界坐标系的位置关系(R¹,T¹)。

Claims (10)

1.一种基于高精度运动平台的多相机标定方法，其特征在于，包括如下步骤，

步骤1，初始化多相机标定***，所述的多相机标定***包括载物台和高精度运动平台，以及至少两个相机；所有相机均匀布置于载物台的上方，且相机的取景框均朝向载物台，载物台上固定放置标定板，高精度运动平台控制载物台的运动；所述的高精度运动平台具有6个及以上自由度，位移精度达到0.1mm的运动平台；

步骤2，在初始位姿的标定板上建立世界坐标系，并在标定板上选取至少五个标定点，得到所有标定点的世界坐标；

步骤3，通过高精度运动平台的控制，将标定板从上一位姿移动到下一位姿，并使标定板填充到未拍摄两幅标定板在不同位姿下图像的一个或多个当前相机视野内；

步骤4，一个或多个当前相机对当前位姿下的标定板分别进行图像采集，并获取标定板中步骤2选取的至少五个标定点在图像上对应点的图像坐标和在世界坐标系上的世界坐标；

步骤5，重复步骤3和4直到每个相机至少拍摄两幅标定板在不同位姿下的图像；

步骤6，对所有相机内外参数进行全局标定，采用全局算法对步骤4得到的所有标定点的图像坐标与其世界坐标的关系进行优化，确定各个相机精确的标定参数。

2.根据权利要求1所述的一种基于高精度运动平台的多相机标定方法，其特征在于，步骤2中，初始位姿的标定板位于任意一个或多个相机的视野内。

3.根据权利要求1所述的一种基于高精度运动平台的多相机标定方法，其特征在于，标定板填充到对应相机视野中时，使得拍摄图像中标定板所占区域占一半以上。

4.根据权利要求1所述的一种基于高精度运动平台的多相机标定方法，其特征在于，在求解标定点的世界坐标时，假定标定板坐标系与载物台坐标系重合，若不重合则经过向量运算进行相互转化。

5.根据权利要求1所述的一种基于高精度运动平台的多相机标定方法，其特征在于，当多个相机对标定板同时进行拍摄时，所述的多个相机的视野重叠，且在视野重叠区域能够拍摄到全部的标定板。

6.根据权利要求1所述的一种基于高精度运动平台的多相机标定方法，其特征在于，标定板采用棋盘格标定板，初始姿态下标定板的任意一个点作为世界坐标系原点O_w，标定板互相垂直的两边界为X_w轴与Y_w轴，Z_w垂直与标定板平面。

7.根据权利要求1所述的一种基于高精度运动平台的多相机标定方法，其特征在于，当所有相机依次进行对标定板的拍摄标定时，具体步骤如下，

步骤1)，初始化多相机标定***，所述的多相机标定***包括载物台和高精度运动平台，以及至少两个相机；所有相机均匀布置于载物台的上方，且相机的取景框均朝向载物台，载物台上固定放置标定板，高精度运动平台控制载物台的运动；所述的高精度运动平台具有6个及以上自由度，位移精度达到0.1mm的运动平台；

步骤2)，在初始位姿(R₀,T₀)的标定板上建立世界坐标系O_w-X_wY_wZ_w，其原点O_w为标定板上任意一个固定的点；并选取n个标定点，其中，n为正整数，且n≥5；n个标定点的坐标分别为(X₀₁,Y₀₁,0),(X₀₂,Y₀₂,0)…(X_0n,Y_0n,0)；

步骤3)，通过高精度运动平台的控制，将标定板从上一位姿(R_i-1,T_i-1)移动到下一位姿(R_i,T_i)，使标定板填充到未拍摄两幅标定板在不同位姿下图像的一个当前相机视野内；

步骤4)，当前相机对当前位姿(R_i,T_i)下的标定板分别进行图像采集，并获取标定板中步骤1)选取的n个标定点在图像上对应点的图像坐标分别为(u_i1,v_i1),(u_i2,v_i2)…(u_in,v_in)和世界坐标；

步骤5)，重复步骤3)和4)直到每个相机至少拍了两幅标定板在不同位姿下的图像，共拍摄了m个标定板位姿下的m张图像；

步骤6)，对所有相机拍摄到图像中对应点的像点坐标进行全局标定，采用全局算法对步骤4)得到的所有对应点对进行优化，确定各个相机精确的标定参数。

8.根据权利要求7所述的一种基于高精度运动平台的多相机标定方法，其特征在于，在步骤3)中，标定板下一位姿(R_i,T_i)通过如下公式得到，

(R_i,T_i)＝(R_(i-1)i*R_i-1,R_(i-1)i*T_i-1+T_(i-1)i)

其中，(R_i-1,T_i-1)为上一位姿；(R_(i-1)i,T_(i-1)i)为此运动前后标定板位置关系，能够通过读取高精度运动平台移动的参数获得。

9.根据权利要求7所述的一种基于高精度运动平台的多相机标定方法，其特征在于，通过在步骤4)中得到第i个相机的图像坐标系上的标定点图像坐标(u_i1,v_i1),(u_i2,v_i2)…(u_in,v_in)与标定点基于世界坐标系下坐标(X_i1,Y_i1,Z_i1),(X_i2,Y_i2,Z_i2)…(X_in,Y_in,Z_in)的对应关系；在步骤6)中对所有相机的内部参数与外部参数进行全局标定；其中，

(X_i1,Y_i1,Z_i1)＝(X₀₁,Y₀₁,Z₀₁)*R_i+T_i，(X_i2,Y_i2,Z_i2)(X₀₂,Y₀₂,0)*R_i+T_i,…,

(X_in,Y_in,Z_in)(X_0n,Y_0n,0)*R_i+T_i。

10.根据权利要求7所述的一种基于高精度运动平台的多相机标定方法，其特征在于，步骤6)中全局优化的具体步骤如下，

以为目标函数，以张正友提出的棋盘格标定算法方程为模型，采用最小二乘法或其他优化算法计算各个相机内外参数；其中，Q_ij是第j个标定点在第i个位姿上的像点计算值，x_ij是第j个标定点在第i个位姿上的像点测量值，d(Q_ij,x_ij)是Q_ij与x_ij之间的范数；

得到的各个相机的外参(R¹,T¹),(Rⁿ,Tⁿ),…分别为各个相机坐标相对于步骤2)选取的世界坐标系的位置关系，则第k个相机关于第一个相机的外参为(R^k1,T^k1)，其中(R^k1,T^k1)＝(-R^k*R¹,-R^k*T¹-T^k)。