CN101226638A - 一种对多相机***的标定方法及装置 - Google Patents

Abstract

本发明公开一种多相机***标定方法包括：由三个或三个以上几何信息已知的标志点构成的标定部件在多相机***工作区域做刚体运动，获取标定部件的多幅图像输入到计算机，提取出标志点的图像坐标，并将不同相机拍摄的某一位姿下标定部件上同一标志点的图像点视为一组对应点，根据图像对应点和标志点蕴含的几何信息线性恢复出多相机***中各个相机的投影变换矩阵，并利用非线性算法进行优化。本发明公开的装置包括：标定部件、手柄、操作***、工作区域、多相机***。本发明克服了现有标定方法需要对多相机***中的相机逐个标定或分步标定存在的效率低、有较大累积误差等缺点，本发明实现了多相机***整体的一次性标定，具有重要的工程实用价值。

Description

一种对多相机***的标定方法及装置

技术领域

本发明涉及计算机视觉的三维重建、运动捕捉等领域，特别涉及多相机***的标定。

背景技术

多相机***(包括多摄像机或多照相机***)可广泛应用于三维重建，视觉监控，影视、动画和游戏开发制作中的动作数据捕捉，体育运动分析和训练指导，以及医学研究、康复医疗中的步态分析等诸多领域。使用多相机***的重要一步是对***进行标定，即确定各个相机的投影矩阵或进一步将每个投影矩阵分解为内、外参数。

传统的多相机***标定方法一般是借助三维标定块或者二维平面标定模板(Zhang Z Y.Flexible camera calibration by viewing a plane fromunknown orientations，In：Proceedings of the ICCV’99，Kerkya，Greece，1999.666-673)进行标定，由于上述两类标定部件自身存在遮挡，无法同时标定出多相机***的所有的相机，只能依次标定相邻两个相机，最后再进行坐标变换统一到一个坐标系下，因而这种方法十分耗时，而且标定的外参数通常存在累积误差。另一类方法是借助特定的标定部件通过静态标定和动态标定两步对***进行标定(Vicon Motion Systems，VICON 512 manuals，pp.43-52，186-190)，这类方法可在一定程度上提高标定的精度和效率。这种方法在静态标定阶段利用由两个标志点(为利用数据的冗余信息降低噪声的影响，也可多设置几个标志点)构成的一维标定部件进行标定，其本质是对摄像机内参数进行一定的假设利用自标定技术进行标定，然后利用标定部件提供的度量信息将标定结果提升到欧氏意义下，但自标定技术存在众所周知的精度低鲁棒性差的缺点，并且该方法由于需要利用两种标定部件分步标定，仍存在效率和精度较低的问题。

近年来，随着计算机视觉的发展和应用，人们开始探索新的摄像机标定方法，Zhang提出了利用一维标定部件体对摄像机进行标定(ZhangZ Y.Camera calibration with one-dimensional objects.IEEE Trans.PatternAnalysis and Machine Intelligence，26(7)：892-899，2004)。但是Zhang的方法需要一维标定部件上的一个点固定不动，且一维标定部件只能绕着该固定点转动，在具体实现时，一方面很难严格的绕固定点转动，这会严重影响标定的精度；另一方面操作者的身体会遮挡某些相机，无法同时对整个***进行标定。这限制了该方法的实际应用。

发明内容

为克服现有技术的不足，本发明的目的是提供一种较为简便、实用、快速并具有较高精度和鲁棒性的多相机***的标定方法。

为了实现上述目的，本发明的一方面是提供一种多相机***的标定方法，包括步骤如下：

步骤1：操作由共线的三个或三个以上标志点构成的标定部件在多相机***工作区域内作刚体运动；标定部件作一次运动多相机***中的每个相机各采集一幅图像，得到对应于标定部件当前位姿的一组图像；操作标定部件作多次运动得到不同位姿标定部件的多组图像；

步骤2：将多相机***拍摄的标定部件的多组图像输入计算机；

步骤3：多组图像中的每一组对应于标定部件的一个位姿，对于某一位姿下的标定部件上的某一个标志点，从该位姿对应的一组图像中的每一幅提取出该标志点的图像点坐标，并将得到的这些图像点作为一组图像点对应；由于标定部件上具有多个标志点以及标定部件作多次运动，则从多组图像可得到所有的标志点的图像点坐标和多组图像点对应关系；

步骤4：对步骤3得到的图像点坐标和对应关系、以及标定部件的几何信息进行线性标定求解多相机***的投影矩阵；

步骤5：将求解的多相机***的投影矩阵结果作为初始值，对初始值进行非线性优化得到更精确的标定结果。

根据本发明的实施例，所述线性标定同时利用了所有的标志点的图像点之间的极几何关系，根据标定部件提供的几何信息和标志点的图像点，按照射影意义、仿射意义和欧氏意义逐层提升标定结果，并且在将标定结果由射影意义提升到仿射意义时，利用射影变换保持交比不变的性质确定标定部件对应的无穷远点的图像坐标，并由此估计出第一个相机与其余每个相机之间的无穷远单应矩阵，求出射影坐标系下无穷远平面的法向量，进而利用该法向量得到仿射意义下的标定结果。

根据本发明的实施例，所述的线性标定包括如下步骤：

1)确定射影意义下的投影矩阵：根据图像点的坐标和对应关系，利用计算机视觉中的极几何知识恢复出射影意义下多相机***的投影矩阵；

2)确定仿射意义下的投影矩阵：利用标定部件提供的几何信息和标定部件的图像点，确定无穷远平面的法向量，得到无穷远单应矩阵即为由无穷远平面确定的两个图像平面之间的一一对应的射影变换，单应矩阵将射影意义下的投影矩阵提升到仿射意义；

3)确定欧氏意义下的投影矩阵：标定部件上的标志点之间的距离信息已知，根据这一约束利用仿射意义下的投影矩阵和标志点的图像坐标构造方程组，求出欧氏意义下的多相机***的投影矩阵。

根据本发明的实施例，所述非线性优化方法包括：以每个相机的投影矩阵和标志点的三维坐标为优化变量，以图像中提取的标志点图像坐标与估计的标志点的重投影图像坐标之间的距离和为代价函数，以线性标定的结果为初始值进行非线性优化处理。

根据本发明的实施例，所述标定方法，对多相机***整体进行一次性标定。

为了实现上述目的，本发明的另一方面是提供一种多相机***的标定装置，包括：

标定部件位于多相机***的工作区域内，标定部件与长柄固定连接，长柄用于控制标定部件在多相机***的工作区域内运动；多相机***拍摄在其工作区域内运动标定部件的图像，用于对多相机***进行标定。

根据本发明的实施例，所述标定部件上含有共线的三个或三个以上的球形体构成标志点，在标定部件上任意设置标志点之间的距离。

根据本发明的实施例，根据使用要求球形体采用发光、反光或与标定环境颜色有显著区别颜色的小球构成。

根据本发明的实施例，在手柄的一端有直角构件或螺母与标定部件固定连接，使标定部件与手柄构成直角。

根据本发明的实施例，在标定过程中，标定部件在工作区域内作刚体运动。

本发明提供的标定方法和装置可以对整个多相机***进行一次性标定，而不需要对每台相机分别进行标定或利用多个标定部件分步标定，克服了现有标定方法存在的难以实现、引入遮挡等问题，具有较为简便、实用、标定精度高、鲁棒性好等特点，使多相机***的标定效率和精度得以提高。

附图说明

图1是本发明多相机***标定装置示意图；

图2是本发明标定方法的流程图；

图3是本发明标定部件结构示意图；

图4是本发明利用直角扣件加装手柄后的标定部件示意图。

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

多相机***通常要求摄像机或照相机从多个角度拍摄物体。当待重建物体或人位于多相机***的工作区域内时，多相机***可以获取待重建物体或人在同一时刻不同观察角度的图像，利用多相机***的标定结果可以计算出待重建物体或人的三维信息，实现运动捕捉等目标。因而标定是该***最基本和最重要的一步。在图1中给出了一种多相机***标定装置的示意图，虚线所示的4为多相机***的工作区，即所有相机的公共视野区。

图1中包括：具有三个标志点的标定部件1、手柄2、操作***3或人工操作、工作区域4、多相机***5，标定部件1位于多相机***5的工作区域4内，标定部件1与长柄2固定连接，长柄2用于控制标定部件1在多相机***5的工作区域4内运动；多相机***5拍摄在其工作区域内运动的标定部件1的图像，用于对多相机***5进行标定。

本发明提出的标定方法主要包括获取标定部件1的图像、图像输入、从图像中提取标志点图像坐标并构造图像点对应、线性地标定多相机***及利用非线性算法优化标定结果等步骤组成，如图2本发明标定方法的流程图所示，各步的具体说明如下：

步骤1.操作标定部件1在工作区域4内作一般刚体运动，获取标定部件1的图像：

本发明装置采用的标定部件1由共线的三个或三个以上的标志点构成的(最少需要三个标志点，为利用数据的冗余信息抑制测量噪声的影响可以取三个以上的标志点)，且标志点之间的几何信息已知，如图3本发明标定部件结构示意图所示，并且标定部件1可根据需要利用标准的直角扣件(又叫十字扣件)或螺母加装长手柄，如图4本发明利用直角扣件加装手柄后的标定部件示意图所示。这使得操作者3可以在工作区域4外操作标定部件1，避免操作者3遮挡相机5。利用发光、反光或与标定环境颜色有显著区别颜色的小球形体作为标定部件1上的标志，以小球的球心作为标志点，在标定部件上任意设置标志点之间的距离。在工作区域4外的操作者3握住标定部件1的加长手柄2控制标定部件1在多相机***5的工作区域4内作一般刚体运动，多相机***5应同步地拍摄标定部件1的多组图像，这里的同步是指对于标定部件1的某一个运动姿态由多相机***5同时拍摄的图像，彼此之间不存在时间延迟；或允许多相机***5的不同相机拍摄图像时存在一定时间延迟，但在拍摄图像时标定部件1应一直静止在当前位姿下。

步骤2.输入图像：

将多相机***5拍摄的图像借助扫描仪或某些专用接口输入计算机；

步骤3.从多相机***5拍摄的图像中提取标志点的图像点坐标，构造图像点对应：

利用相机从各个角度拍摄球，在得到的图像中球都成像为一个圆，并且圆心对应球心的图像点。利用这一性质将发光、反光或与标定环境颜色有显著区别颜色的小球作为标定部件1的标志，以球心为标定部件1的标志点。通过人机交互的方式手工在图像中提取球心对应的圆心作为标志点的图像点；也可以通过自动的方式用高斯模板对小球成像得到的圆进行区域检测(blob detection)，并以区域中心为标志点的图像点。若多相机***5有M个相机，标定部件1上有Q个标志点，标定部件1运动N次，则可得到标志点的图像点为：

{x_mn ^q}(q＝1，2，…，Q；m＝1，2，…，M；n＝1，2，…，N)，

其中x_mn ^q表示一维标定部件1在第n次运动后其第q个标志点X_n ^q在第m个相机下成的图像点。某次运动后标定部件1上某一个标志点在不同相机5下所成的图像点构成一组图像点对应，则可以得到NQ组图像点对应：

$\{x_{1n}^q\↔x_{2n}^q\↔\·\·\·\↔x_{\mathrm{Mn}}^q|q=\mathrm{1,2},\·\·\·,Q;n=\mathrm{1,2},\·\·\·,N\}.$

步骤4.线性标定***

标定实际上就是要求出多相机***5中各个相机的投影变换矩阵或更进一步利用QR分解等算法将投影变换矩阵分解为内、外参数。多相机***5标定需要借助标定部件1，而且只需在多相机***5初始安装或多相机***5的***参数发生改变时一次完成。本发明提出的标定方法首先利用线性方法对多相机***5进行标定，再利用非线性优化进一步提高标定精度。线性标定方法同时利用了所有的标志点的图像点之间的极几何关系，根据标定部件1提供的几何信息和标志点的图像点，按照射影意义、仿射意义和欧氏意义逐层提升标定结果，并且在将标定结果由射影意义提升到仿射意义时，利用射影变换保持交比不变的性质确定标定部件对应的无穷远点的图像坐标，并由此估计出第一个相机与其余每个相机之间的无穷远单应矩阵，求出射影坐标系下无穷远平面的法向量，进而利用该法向量得到仿射意义下的标定结果。

线性标定过程包括以下步骤：

1)确定射影意义下的投影矩阵。同时考虑步骤3得到的所有图像点，按照多相机***5的相机个数M为2、3和大于3三种情况，分别计算基本矩阵、三焦张量和测量矩阵，由此可以很容易的得到单应矩阵H_m和极点e_m，则射影意义下的投影矩阵为：

P₁＝[I|0]，P₂＝[H₂|e₂]，…，P_M＝[H_M|e_M]，其中I为3阶单位阵；

2)确定仿射意义下的投影矩阵。假定标志点个数Q取3，由标定部件1提供的几何信息可将三个标志点相邻两个之间的距离依次记为d₁、d₂，记第n次运动后标定部件的无穷远点为V_n∞，则三个标志点和无穷远点构成的交比 $\mathrm{Cross}(X_n^1,X_n^2;X_n^3,V_{n\∞})=d_1/d_2;$ 由于射影变换保持交比不变，因此第m(m＝1，2，…，M)个相机得到的图像中三个标志点的图像点和无穷远点的图像点构成的交比为 $\mathrm{Cross}(x_{\mathrm{mn}}^1,x_{\mathrm{mn}}^2;x_{\mathrm{mn}}^3,v_{\mathrm{mn}})=d_1/d_2.$ 因此根据标志点的图像点可以计算出标定部件对应的无穷远点的图像点v_mn，无穷远点都位于无穷远平面上，因而第m(m＝2，3，…，M)个相机下的无穷远点图像点与第1个相机(这里以第1个相机作为基准)下的无穷远点图像点之间存在一个由无穷远平面诱导的单应矩阵H_m∞＝H_m-e_ma^T(m＝2，3，…，M，其中向量a为射影坐标系下无穷远平面的法向量)，即v_1n＝(H_m-e_ma^T)v_mn。利用无穷远点的图像点之间的对应 $\{v_{1n}\↔v_{\mathrm{mn}}|n=\mathrm{1,2},\·\·\·,N\}$ 按照上式构造方程组，求解出a。从而得到无穷远单应矩阵H_m∞＝H_m-e_ma^T，(m＝2，3，…，M)。

利用H_m∞可将射影意义下的投影矩阵提升到仿射意义下：

$P_1^{\left(a\right)}=\left[I\right|0],P_2^{\left(a\right)}=[H_{2\∞}\left|e_2\right],\·\·\·,P_M^{\left(a\right)}=P\left[H_{M\∞}\right|e_M].$

3)确定欧氏意义下的投影矩阵。标定部件1上的标志点之间的距离信息已知，根据这一约束利用仿射意义下的投影矩阵和标志点的图像坐标构造方程组，求解这组约束方程得到第1个相机(基准相机)的内参数K，则欧氏意义下的投影矩阵为： $P_m^{\left(e\right)}=P_m^{\left(a\right)}\mathrm{diag}(K,1),m=\mathrm{1,2},\·\·\·,M,$ 其中diag(K，1)表示对角元为K、1的4×4方阵。利用图像坐标和估计的投影矩阵P_m ^(e)可以估计出标志点在三维空间中的欧氏坐标X_n ^q。

步骤5.优化***标定结果

以步骤4得到的多相机***5标定结果为初始值，利用非线性优化算法求解对标定结果进行优化，求最优意义下的标定结果。

将标定部件1第n(n＝1，2，…，N)次运动后标志点的三维坐标X_n ^q和多相机***5的标定参数(***中所有相机的投影矩阵P_m ^(e)，m＝1，2，…，M)作为优化变量，利用估计的投影矩阵对估计的三维标志点进行成像变换得到标志点的重投影，将重投影的标志点图像坐标和图像中提取的标志点图像坐标之间的距离和作为优化的代价函数，具体的代价函数如下：

$\min \underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{q=1}{\overset{Q}{\mathrm{\Σ}}}{\left|\right|x_{\mathrm{mn}}^q-P_m^{\left(e\right)}{X}_n^q\left|\right|}^2$

其中X_n ^q为估计的第n次运动后一维标定部件1上第q个标志点在三维空间中的欧氏坐标。这是一个无约束非线性优化问题，以步骤4得到的多相机***5标定结果为初始值。上述非线性优化问题推荐使用列文伯格-麦夸尔特算法(Levenberg-Marquardt算法，简称为LM算法)进行求解，该算法是现有技术，在此不再详述。

通过本实施例中所述方法的上述步骤，可以实现多相机***5的所有相机的一次性标定，利用标定结果对多相机***5工作区内的物体或人进行三维重建，在近距离范围内三维重建精度可达到亚毫米级。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种对多相机***的标定方法，包括以下步骤：

步骤1：操作由共线的三个或三个以上标志点构成的标定部件在多相机***工作区域内作刚体运动；标定部件作一次运动多相机***中的每个相机各采集一幅图像，得到对应于标定部件当前位姿的一组图像；操作标定部件作多次运动得到不同位姿标定部件的多组图像；

步骤2：将多相机***拍摄的标定部件的多组图像输入计算机；

步骤3：多组图像中的每一组对应于标定部件的一个位姿，对于某一位姿下的标定部件上的某一个标志点，从该位姿对应的一组图像中的每一幅提取出该标志点的图像点坐标，并将得到的这些图像点作为一组图像点对应；由于标定部件上具有多个标志点以及标定部件作多次运动，则从多组图像可得到所有的标志点的图像点坐标和多组图像点对应关系；

步骤4：对步骤3得到的图像点坐标和对应关系、以及标定部件的几何信息进行线性标定求解多相机***的投影矩阵；

步骤5：将求解的多相机***的投影矩阵结果作为初始值，对初始值进行非线性优化得到更精确的标定结果。

2.按权利要求1所述的标定方法，其特征在于，所述的线性标定同时利用了所有的标志点的图像点之间的极几何关系，根据标定部件1提供的几何信息和标志点的图像点，按照射影意义、仿射意义和欧氏意义逐层提升标定结果，并且在将标定结果由射影意义提升到仿射意义时，利用射影变换保持交比不变的性质确定标定部件对应的无穷远点的图像坐标，并由此估计出第一个相机与其余每个相机之间的无穷远单应矩阵，求出射影坐标系下无穷远平面的法向量，进而利用该法向量得到仿射意义下的标定结果。

3.按权利要求1、2所述的线性标定方法，其特征在于，线性标定包括如下步骤：

1)确定射影意义下的投影矩阵：根据图像点的坐标和对应关系，利用计算机视觉中的极几何知识恢复出射影意义下多相机***的投影矩阵；

2)确定仿射意义下的投影矩阵：利用标定部件提供的几何信息和标定部件的图像点，确定无穷远平面的法向量，得到无穷远单应矩阵即为由无穷远平面确定的两个图像平面之间的一一对应的射影变换，单应矩阵将射影意义下的投影矩阵提升到仿射意义；

3)确定欧氏意义下的投影矩阵：标定部件上的标志点之间的距离信息已知，根据这一约束利用仿射意义下的投影矩阵和标志点的图像坐标构造方程组，求出欧氏意义下的多相机***的投影矩阵。

4.按权利要求1所述的标定方法，其特征在于，非线性优化方法包括：以每个相机的投影矩阵和标志点的三维坐标为优化变量，以图像中提取的标志点图像坐标与估计的标志点的重投影图像坐标之间的距离和为代价函数，以线性标定的结果为初始值进行非线性优化处理。

5.按权利要求1所述的标定方法，其特征在于，对多相机***整体进行一次性标定。

6.一种对多相机***的标定装置，其特征在于包括：

标定部件位于多相机***的工作区域内，标定部件与长柄固定连接，长柄用于控制标定部件在多相机***的工作区域内运动；多相机***拍摄在其工作区域内运动标定部件的图像，用于对多相机***进行标定。

7.按权利要求6所述的标定装置，其特征在于，还包括：标定部件上含有共线的三个或三个以上的球形体构成标志点，在标定部件上任意设置标志点之间的距离。

8.按权利要求7所述的标定装置，其特征在于，还包括：根据使用要求球形体采用发光、反光或与标定环境颜色有显著区别颜色的小球构成。

9.按权利要求6所述的标定装置，其特征在于，还包括：在手柄的一端有直角构件或螺母与标定部件固定连接，使标定部件与手柄构成直角。

10.按权利要求6所述的标定装置，其特征在于，还包括：在标定过程中，标定部件在工作区域内作刚体运动。

Images