CN100573586C - 一种双目立体测量***的标定方法 - Google Patents

Abstract

一种双目立体测量***的标定方法，属于测量、测试技术领域。采用有特征圆点阵列的平面标定板，其中有两个特征圆点中心的距离精确已知；对标定板在三个以上角度拍摄图像；在针孔模型下，用线性方法求解两个摄像机的内外参数初值；考虑畸变效应，以两个摄像机的内外参数为优化变量进行第一次优化；进一步将标定板上特征圆点中心的空间坐标也作为优化变量，进行第二次优化；用计算距离与已知精确距离的比值对相机间的平移向量进行比例缩放，得到该参数的标定结果，两个摄像机的内参数和相对姿态参数取第二次优化的结果。本发明方法考虑了标定板几何误差的影响，降低了标定板的制作和计量校准要求，同时能够获得高精度的标定结果。

Description

一种双目立体测量***的标定方法

技术领域

本发明属于测量、测试技术领域，特别是涉及一种面向三维测量的双目立体摄像机内部参数以及相对位置和姿态参数的标定方法。

背景技术

双目立体测量是指模仿人眼的视觉功能，利用两台摄像机从不同角度对被测物体拍摄图像，对图像进行分析匹配，并通过三角测量原理计算该物体的三维几何信息的方法。双目立体测量***正越来越广泛地运用于逆向工程、质量检测、车辆导引等各个领域。

双目立体摄像机的标定是指获取双摄像机的内部参数和两个摄像机之间的相对位置和姿态参数的过程，它是双目立体测量***最基本也是最重要的组成部分。

已有的摄像机标定方法可以大体分为以下几类：(1)利用空间几何信息精确已知的立体标定物进行标定，立体标定物一般由2个或3个相互垂直的平面构成。高精度立体标定物不便于制作、成本高，而且不便于携带和现场使用。(2)通过精确控制摄像机或平面标定物体的运动进行标定。精确的运动控制结构复杂、成本高，很多情况下也不适合现场快速标定。(3)利用二维的平面标定模板进行单个摄像机标定的方法。该方法提出至今广受关注，但是目前基于平面标定模板的标定算法的标定精度敏感地依赖于模板上各个特征点坐标位置的精度，因此要求精确已知标定模板上各个特征点的坐标位置，或要求各特征点精确位于若干族平行直线上，根据Zhengyou Zhang在文献“A flexible new technique for cameracalibration.(Technical Report，MSR-TR-98-71，Microsoft Research，1998)”中的实验数据，当平面模板上特征点坐标存在5％的误差，则镜头一阶径向畸变系数的标定误差会达到20％以上；即使平面模板上特征点坐标存在1％的随机误差，一阶径向畸变系数也会有5％左右的标定误差；而当平面模板的平面度有1％的误差时，会导致10个像素左右的主点标定误差。这显然不能很好地满足工业测量的要求。而要严格计量校准标定板上每一个特征点的精确位置，并保证标定板的严格平面度要求，同样会带来标定板制作困难、成本高以及各特征点和精确计量的各个坐标数据之间的额外的对应处理问题。(4)基于一维的直线标定物的标定方法。这种方法也需要一维标定物上的各特征点间的距离精确已知，且各特征点应严格共线方可以获得较高的标定精度。(5)自标定方法，这类方法不用任何标定物，仅仅通过具有一定重叠的静态场景的图像之间形成的约束对相机参数进行标定，虽然这种方法实施最为简单，具有非常高的灵活性，但标定精度难以达到工业测量的要求。

发明内容

针对现有技术存在的问题，本发明提出了一种简便易行的双目立体测量***的高精度标定方法，该方法设计并制作一块平面标定模板，标定板没有严格的平面度要求，其上各个特征点的位置也不需要精确测定，只要各个特征点基本上呈矩形阵列形式排列，且其中有两个点之间的距离精确已知即可。对标定模板在不同角度拍摄一组图像就可以在精确确定标定板的实际几何信息的同时，方便地实现双目立体摄像机内、外参数的高精度标定。

本发明提出的双目立体测量***的标定方法，采用如下技术方案：

步骤1.在标定板上分布N行M列易于识别的特征圆点，设计其中5个特征圆点的直径明显大于其它特征圆点的直径，且它们在阵列中所处的相对位置能够区分它们各自的身份，而且其中有两个特征圆点的圆心之间的距离事先经过精确测定，N行M列特征圆点的行距和列距有一个基本估计值即可，分别记为

和

取标定板上一个特征圆点的中心为世界坐标系的原点，并令每个特征圆点中心的z坐标等于零，每个特征圆点中心的x和y坐标估计值

和

可以由该特征圆点在阵列中的序号以及

和

的值计算得到；在无需控制任何运动参数的情况下，由立体摄像机对标定板在三个以上不同角度拍摄图像，作为标定图像；

步骤2.首先用Canny边缘检测算子提取图像的边缘轮廓，再对标定图像进行轮廓的亚像素边缘提取，并精确确定各个特征圆点的圆心的亚像素图像坐标；

步骤3.在各幅标定图像中，利用5个大特征圆点的特定分布模式确定它们的身份编号，然后在单应映射的基础上建立各幅标定图像中其它特征圆点的对应关系；

步骤4.在不考虑摄像机镜头畸变的情况下，根据标定板到图像平面的单应变换假设，以及旋转矩阵列向量的单位正交性约束，分别建立两个摄像机内部参数的约束方程，并求解得到两个摄像机各自的内部参数，进而计算两个摄像机在各次拍摄时相对于世界坐标系的位置和姿态参数；

步骤5.考虑摄像机镜头的径向和切向畸变，以两个摄像机的内参数和各次拍摄时两个摄像机分别相对于世界坐标系的位置和姿态参数作为优化变量建立优化目标函数，对优化变量进行第一次优化；

步骤6.考虑标定板实际几何误差的影响，以第一次优化得到的单个相机的内、外参数为初值，将标定板上特征圆点中心的空间坐标也作为优化变量，与其它摄像机内外参数，包括径向和切向畸变系数一起再进行第二次优化；

步骤7.根据第二次优化得到的特征圆点中心的空间坐标，计算距离精确已知的那两个特征圆点之间的距离，用该距离值与相应的实际精确距离值之间的比例系数对第二次优化得到的两个摄像机之间的相对位置向量(平移向量)进行比例缩放，从而得到两个摄像机之间的相对位置向量的最终标定结果，两个摄像机的全部内参数以及它们之间的相对姿态参数(旋转矩阵)不受尺度缩放的影响，因此直接由第二次优化的结果作为最终标定结果。

由于本发明在初步确定了两个摄像机内外参数的基础上，进一步将标定板上特征圆点中心的空间坐标作为优化变量进行优化求解，并用实际距离精确已知的两个点之间的间距精确恢复由此带来的尺度变化，因此即使标定板的平面度以及预知的标定板上特征点的中心坐标的精度不高，本发明的标定方法也能通过算法优化确定实际的标定板几何信息，从而大大降低了标定板的制作和计量校准要求，同时能够获得高精度的标定效果，这对于双目立体测量***具有重要意义。

附图说明

图1：标定板示意图。

图2：双目立体测量***示意图。

图中1为1号特征圆点，2为2号特征圆点，3为3号特征圆点，4为4号特征圆点，5为5号特征圆点，6为支架，7和8分别为两个摄像机。标定板的前景和背景的黑白颜色可以互换。

具体实施方式

下面对本发明提出的双目立体测量***的内外参数标定方法的具体实施步骤做进一步描述。

步骤1.制作标定板并拍摄标定图像

本发明要求标定板上分布N行M列易于识别的特征圆点，其中5个特征圆点的直径明显大于其它特征圆点的直径，且它们在阵列中所处的相对位置能够区分它们各自的身份，标定板没有严格的平面度要求，各个特征点的位置也不需要精确测定，只要标定板上有两个点之间的距离精确已知即可。图1为一个标定板实例。对于5个特征圆点，只要从排布位置上看五个中的每一个都不同于另一个就行。就图1而言，如果没有3号大点，1与2以及4与5就没法区分。而3号点放在4的旁边也未尝不可。在该实例中，精确测定1号和2号大特征圆点的圆心之间的距离d_s，取标定板上左上角的那个特征圆点的中心为世界坐标系的原点，以2号和1号特征点连线的方向为x轴方向，4号和5号特征点连线的方向为y轴方向，令每个特征圆点中心的z坐标估计值等于零。由于特征圆点大致成阵列形式排列，因此每个特征圆点中心的x和y坐标很容易由其所在阵列中的位置以及特征圆点阵列的大致行距和列距值计算，由此得到第j个特征圆点中心的坐标估计值 ${\tilde{X}}^j={[{\tilde{x}}^j,{\tilde{y}}^j,0]}^T;$ 两个摄像机相距一定间距和角度固定在支架上，如图2所示，构成立体摄像机对；由立体摄像机对标定板在三个以上不同角度拍摄图像，作为标定图像。

步骤2.标定图像椭圆中心坐标提取

本发明采用以下方法确定标定板上圆形特征点中心在各幅标定图像上的图像坐标位置：首先用Canny边缘检测算子提取图像的边缘轮廓，但由于Canny边缘检测算子只能得到整像素精度级边缘轮廓，因此边缘定位精度不高。考虑标定板上圆形特征点成像到标定图像中的椭圆形目标边界均具有较大的曲率，本发明进一步采用了结合图像灰度梯度和灰度矩的方法来进行边界亚像素轮廓提取。在椭圆拟合时候，使用亚像素边界进行成像椭圆拟合，拟合的椭圆中心即是标定板上特征圆中心的图像坐标。

提取出的各椭圆中心的图像坐标存在一个链表L^u，v中，留待下一步使用。

步骤3.特征点对应

本发明采用单应变换的理论建立圆点间的对应关系。根据***模型，有

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[R\right|t]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]---\left(1\right)$

其中s为比例系数；[x，y，z]^T为点X在世界坐标系下的坐标；m＝[u v]ⁱ是X在图像平面上的像点转换成像素表示的坐标；R和t分别为从世界坐标系到摄像机坐标系的旋转变换矩阵和平移变换向量；A是摄像机的内参数矩阵，表示为：

$A=\left[\begin{array}{ccc}\mathrm{\α}& \mathrm{\λ}& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right]---\left(2\right)$

其中的[u₀，v₀]^T为图像平面的主点坐标，α、β表示在图像u轴、v轴方向的以像素为单位的焦距参数，γ为扭曲系数。

由于中心投影把一张平面上的点映射为另一张平面上的点，因此在***模型下，针对平面标定模板的成像过程可以认为是一个射影变换过程，可以用非奇异3×3单应矩阵H表示，即：

sm^*＝HX^*    (3)

其中，m^*＝[u，v，1]^T是图像坐标的齐次形式，X^*＝[x，y，1]^T表示被拍摄平面上的点的齐次坐标。利用标定模板上5个大圆明显大于其它特征圆且分布呈特定模式的特性，辨别它们的身份。然后根据5个大圆中心的图像坐标及对应的标定板上的平面坐标估计值，求出标定模板到图像平面的单应变换矩阵H。对于标定板上第j个特征圆点，如果存在

$\left|\right|m-H\left({\tilde{X}}^{*j}\right)\left|\right|<\mathrm{\&tau;},m\&Element;L^{u,v}$

其中 ${\tilde{X}}^{*j}={[{\tilde{x}}^j,{\tilde{y}}^j,1]}^T,$ τ是阈值，则视m为标定板上第j个特征点的对应像点。

步骤4.单个摄像机内外参数的初始估计

平面标定模板与其所成图像之间的单应矩阵与摄像机内外参数间存在如下关系

H＝A[r₁ r₂ t]               (4)

其中r₁、r₂分别是摄像机相对于标定板上的世界坐标系的旋转矩阵R的前两个列向量。将H矩阵写为H＝[h₁ h₂ h₃]，则有

h₁＝Ar₁，h₂＝Ar₂，h₃＝At    (5)

利用旋转矩阵列向量r₁、r₂的单位正交性，可以得出以下约束方程：

$h_1^T{A}^{-T}{A}^{-1}{h}_2=0---\left(6\right)$

$h_1^T{A}^{-T}{A}^{-1}{h}_1=h_2^T{A}^{-T}{A}^{-1}{h}_2$

由公式(6)可以看出，每拍摄一次标定板的图像可以得到两个线性约束方程，而矩阵A中有5个未知量需要标定，那么如果有n幅图像，则可以得到2n个线性方程。所以，当n≥3时，就可以求解矩阵A中的5个未知量。根据(5)式可进一步得到每次拍摄时摄像机相对于世界坐标系的外部参数：

r₁＝λA^-1h₁，r₂＝λA^-1h₂    (7)

r₃＝r₁×r₂，t＝λA^-1h₃

其中λ＝1/||A^-1h₁||＝1/||A^-1h₂||。

分别对两个摄像机执行上述求解过程，得到左右两个相机的各自的内外参数A_l、R_l ⁱ、t_l ⁱ和A_r、R_r ⁱ、t_r ⁱ(上标′表示第_i次拍摄，下标_l和_r分别表示左摄像机和右摄像机)。

要说明的是，由于标定板上特征点的坐标可能存在一定的误差，本发明只将这一步获得的参数作为单个摄像机的初步标定结果。

步骤5.考虑畸变效应的双摄像机内外参数的一次优化

根据上一步标定出的第i次拍摄时左、右摄像机相对于世界坐标系的位置和姿态参数R_l ⁱ、t_l ⁱ、R_r ⁱ、t_r ⁱ，计算右摄像机到左摄像机间的旋转矩阵和平移向量

$R_{i2l}^i=R_l^i{R}_r^{i-1}---\left(8\right)$

$t_{r2l}^i=t_l^i-R_{r2l}^i{t}_r^i$

其中R_r ^i-1表示R_r ⁱ的逆矩阵。

取摄像机的镜头非线性畸变模型为：

x′＝x+x[k₁r²+k₂r⁴]+[2p₁xy+p₂(r²+2x²)]

y′＝y+y[k₁r²+k₂r⁴]+[p₁(r²+2y²)+2p₂xy]    (9)

其中k₁、k₂是径向畸变系数，p₁、p₂为切向畸变参数，[x y]^T为理想针孔模型下的图像坐标，[x′y′]^T为畸变效应作用下的实际图像坐标。k₁、k₂、p₁、p₂与式(2)矩阵A中的元素统称为摄像机的内部参数。

考虑非线性畸变效应，对双摄像机内外参数进行第一步优化。具体方法是以A_l，k₁ ^l，k₂ ^l，p₁ ^l，p₂ ^l，R_l ⁱ，t_l ⁱ，A_r，k₁ ^r，k₂ ^r，p₁ ^r，p₂ ^r，R_r2l，t_r2l为优化变量，建立最小化的目标函数：

$\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m_l^i}{\mathrm{\&Sigma;}}}{\left|\right|m_l^{\mathrm{ij}}-\hat{m}(A_l,k_1^l,k_2^l,p_1^l,p_2^l,R_l^i,t_l^i,{\tilde{X}}^j)\left|\right|}^2+---\left(10\right)$

$\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m_l^i}{\mathrm{\&Sigma;}}}{\left|\right|m_r^{\mathrm{ij}}-\hat{m}(A_r,k_1^r,k_2^r,p_1^r,p_2^r,R_l^i,t_l^i,R_{r2l},t_{r2l},{\tilde{X}}^j)\left|\right|}^2$

其中

是根据平面标定模板上的特征点的初始值

使用针孔模型加非线性畸变模型计算出来的第j个特征圆点在左摄像机第i幅图像上的图像坐标，m_l ^ij是标定板上第j个特征圆点在左摄像机第i幅图像上识别出的真实特征圆点图像坐标，m_i ⁱ是左摄像机第i幅图像上识别出的特征圆点个数；

是根据

使用针孔模型加非线性畸变模型计算出来的在右摄像机第i幅图像上的图像坐标，m_r ^ij是标定板上第j个特征点在右摄像机第i幅图像上的实际投影图像坐标，m_l ⁱ是右摄像机第i幅图像上识别出的特征圆点个数。在这一步优化中保持标定板上的特征圆点的空间坐标

不变，A_l，A_r，R_l ⁱ t_l ⁱ的初始值由步骤4中解线性方程***得到，k₁ ^l，k₂ ^l，p₁ ^l，p₂ ^l和k₁ ^r，k₂ ^r，p₁ ^l，p₂ ^r的初始值设为0，R_r2l和t_r2l的初始值取各次拍摄计算得到的R_r2l ⁱ和t_r2l ⁱ的平均值。

步骤6.考虑标定板实际几何影响的二次优化

通常的标定算法都假定标定物体上的目标点坐标均精确已知。这一假定带来的问题是，如果已知的标定物上的目标点坐标精度不高，则最终的标定精度会受到明显影响；而若要确定标定物上所有点的高精度的三维坐标，则势必给标定物的制作和测量校准提出很高的要求。为此，本发明假定标定板上各特征圆点的预先给定的坐标

存在一定的误差，因此在步骤5进行第一次优化的基础上，将标定模板上的各特征圆点中心的实际坐标X^j也作为变量纳入优化目标函数，进行第二次优化，具体目标函数为：

$\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m_l^i}{\mathrm{\&Sigma;}}}{\left|\right|m_l^{\mathrm{ij}}-\hat{m}(A_l,k_1^l,k_2^l,p_1^l,p_2^l,R_l^i,t_l^i,X^j)\left|\right|}^2+---\left(11\right)$

$\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m_r^i}{\mathrm{\&Sigma;}}}{\left|\right|m_r^{\mathrm{ij}}-\hat{m}(A_r,k_1^r,k_2^r,p_1^r,p_2^r,R_l^i,t_l^i,R_{r2l},t_{r2l},X^j)\left|\right|}^2$

这里优化变量除了A_l，k₁ ^l，k₂ ^l，p₁ ^l，p₂ ^l，R_l ⁱ，t_l ⁱ，A_r，k₁ ⁱ，k₂ ⁱ，p₁ ^r，p₂ ^r，R_i2l，t_r2l以外还包括X^l。A_l，k₁ ^l，k₂ ^l，p₁ ^l，p₂ ^l，R_l ⁱ，t_l ⁱ，A_r，k₁ ^r，k₂ ^r，p₁ ^r，p₂ ^r，R_r2l，t_r2l的初始值取步骤5中一次优化的输出结果，X^l的初始值取为

。

步骤7.比例缩放

由于标定模板上的各个特征圆点中心的实际坐标X^j也参与了优化过程，会使得双目立体测量***的测量结果相差一个比例因子。为此，本发明根据优化后得到的1号特征圆点中心和2号特征圆点中心的坐标，计算它们之间的距离

根据

和标准距离d_s之间的比值，对二次优化得到的参数t_r2l乘以比例系数得到最终标定出的右摄像机到左摄像机之间的平移向量。两个摄像机的全部内参数以及它们之间的相对姿态参数(旋转矩阵)不受尺度缩放的影响，因此直接由步骤6中的结果作为最终标定结果。这样即得到双目立体测量***的全部内、外参数的最后的标定结果。

本发明在初步确定了两个摄像机内、外参数的基础上，综合考虑了标定板几何误差的影响，进一步将标定板上特征圆点中心的空间坐标作为优化变量进行优化求解，并用实际距离精确已知的两个点之间的间距精确恢复由此带来的尺度变化，因此即使标定板的平面度以及预先给定的标定板上特征点的中心坐标的精度不高，本发明的标定方法也能通过算法优化确定实际的标定板几何信息，从而大大降低了标定板的制作和计量校准要求，同时能够获得高精度的标定效果。

下面结合一个实施例进一步说明本发明方法的有益效果。该实施例采用分辨率为1392×1040的两个数字CCD摄像机和50mm焦距的两个光学镜头；两个摄像机放置在带有三机云台的三角架上；***的标定程序以VC++6.0为工具编写，在Windows2000平台上运行。用普通打印机打印出图1所示的标定模板图案，黏贴于普通平板玻璃上，特征圆点阵列的设计行距和列距均为15mm，用万工显测出1号和2号大特征圆点中心间的距离为89.977。用两个摄像机对标定板在不同角度拍摄5次，得到5个图像对共10幅图像。应用本发明方法对该双目立体摄像机的内外参数进行标定，结果为：

左摄像机内部参数：

$A_l=\left[\begin{array}{ccc}8012.434& 0& 655.378\\ 0& 8006.834& 152.039\\ 0& 0& 1\end{array}\right],\begin{array}{c}{k}_1^l=-0.4006\\ k_2^l=-1.3775\end{array},\begin{array}{c}{p}_1^l=9.3\&times;{10}^{-3}\\ p_2^l=-2.0\&times;{10}^{-3}\end{array}$

右摄像机内部参数：

$A_r=\left[\begin{array}{ccc}7968.381& 0& 562.534\\ 0& 7966.806& 124.271\\ 0& 0& 1\end{array}\right],\begin{array}{c}{k}_1^r=-0.3916\\ k_2^r=-1.4596\end{array},\begin{array}{c}{p}_1^r=6.7\&times;{10}^{-3}\\ p_2^r=-2.8\&times;{10}^{-4}\end{array}$

左右摄像机的相对姿态和位置关系：

$R_{r2l}=\left[\begin{array}{ccc}0.896156& -0.015305& -0.443475\\ 0.019609& 0.999795& 0.005121\\ 0.443306& -0.013285& 0.896272\end{array}\right],$ t_r2l＝[506.4789 -0.6549 51.1824]

根据标定出的***内外参数分析三维空间点的再投影误差：利用标定结果将标定模板上的三维特征点坐标按照标定出的***内、外参数投影到左右摄像机的图像平面，得到在相应内、外部参数下的标定模板特征圆点的象素坐标 ${\hat{m}}_i=({\hat{u}}_i,{\hat{v}}_i),$ 分别计算和实际图像中提取出的对应特征点的象素坐标m之间的平均误差mean，最大误差max，方差和sse以及标准偏差stddev。

表1不考虑标定板实际几何影响的重投影误差(单位：像素)

左摄像机	mean	max	sse	stddev
					图像1	0.1928	0.4673	5.0854	0.1197
图像2	0.1785	0.4661	3.7373	0.1012
					图像3	0.1791	0.4720	3.9210	0.0942
图像4	0.1719	0.4326	3.2937	0.0893
					图像5	0.1808	0.5700	4.4367	0.1107

右摄像机	mean	max	sse	stddev
					图像1	0.1813	0.4532	4.4319	0.1097
图像2	0.1932	0.4613	4.8328	0.1078
					图像3	0.1527	0.3873	2.9664	0.0837
图像4	0.2018	0.5012	5.3704	0.1169
					图像5	0.1615	0.4694	3.3624	0.0891

表2考虑标定板实际几何影响的的重投影误差(单位：像素)

左摄像机	mean	max	sse	stddev
					图像1	0.0256	0.0739	0.0877	0.0153
图像2	0.0384	0.1299	0.2149	0.0308
					图像3	0.0465	0.1470	0.2663	0.0249
图像4	0.0516	0.1428	0.3094	0.0294
					图像5	0.0463	0.1144	0.2587	0.0219

右摄像机	mean	max	sse	stddev
					图像1	0.0303	0.1093	0.1332	0.0208
图像2	0.0473	0.1437	0.3022	0.0287
					图像3	0.0298	0.0924	0.1060	0.0140
图像4	0.0568	0.1274	0.3984	0.0283
					图像5	0.0433	0.1620	0.3114	0.0358

表1给出了不考虑标定板几何误差(包括标定板平面度以及其上特征圆点中心坐标误差)影响的情况下，得到的再投影误差。表2是考虑了标定板实际几何影响，将特征圆点中心的实际坐标作为优化变量参与二次优化，得到的再投影误差。对比表1和表2可以看出，双目立体摄像机参数在不考虑标定板实际几何影响的情况下，特征点的再投影平均误差在0.18个象素上下浮动，最大误差达到0.57个象素；使用本发明提出的考虑标定板实际几何影响进行二次优化之后，特征点的再投影平均误差和最大误差分别减小到0.04个象素和0.16个象素，可见再投影误差显著降低。

在两个摄像机的内参数以及二者之间的相对位置和姿态参数确定以后，可以利用光学三角形原理计算出空间点的三维坐标。因此，除了上述对再投影误差的分析，我们还利用本发明方法标定得到的***参数，对间距精确值为90mm的两个点的三维坐标进行了反求，50次测量实验得到的这两个点间的平均距离为90.02126mm，相对误差均值为0.0236％，标准差为6.3924×10^-3mm。

而用不考虑标定板实际几何参数影响得到的***标定结果对这两个点进行同样实验，得到的这两个点间的平均距离为90.03406mm，相对误差均值为0.0378％，标准差为6.1650×10^-3mm，误差水平为本发明方法的1.6倍。由此进一步说明，使用本发明方法可以明显提高双目立体测量***的精度。

Claims (1)

1、一种双目立体测量***的标定方法，其特征在于包括以下步骤：

步骤1.制作标定板并拍摄标定图像

采用特殊设计的平面标定板，其上分布易于识别的矩形阵列形式的特征圆点，其中5个特征圆点的直径明显大于其它特征圆点的直径，且它们在阵列中所处的相对位置能够区分它们各自的身份，标定板没有严格的平面度要求，各个特征点的位置也不需要精确测定，只要标定板上有两个点之间的距离精确已知即可；利用特征圆点在阵列中的位置以及特征圆点阵列的行距和列距值计算得到第j个特征圆点中心的坐标估计值 ${\tilde{X}}^j={[{\tilde{x}}^j,{\tilde{y}}^j,0]}^T;$ 由立体摄像机对标定板在三个以上不同角度拍摄图像，作为标定图像；

步骤2.确定标定板上每个圆形特征点中心在各幅标定图像上的图像坐标位置

首先用Canny边缘检测算子提取图像上每个圆形特征点的边缘轮廓；进一步采用结合图像灰度梯度和灰度矩的方法来进行边界亚像素轮廓提取；使用亚像素边界进行圆形特征点成像椭圆拟合，拟合的椭圆中心即是标定板上特征圆中心的图像坐标；

提取出的各椭圆中心的图像坐标存在一个链表L^u，v中，留待下一步使用；

步骤3.特征点对应

由于中心投影把一张平面上的点映射为另一张平面上的点，因此在***模型下，针对平面标定模板的成像过程可以用非奇异3×3单应矩阵H表示，即：

sm^*＝HX^*                (1)

其中，m^*＝[u，v，1]^T是图像坐标的齐次形式，X^*＝[x，y，1]^T表示被拍摄平面上的点的齐次坐标，s是一个任意的比例系数；利用标定模板上5个大圆明显大于其它特征圆且分布呈特定模式的特性，辨别它们的身份；然后根据5个大圆中心的图像坐标及对应的标定板上的平面坐标估计值，求出标定模板到图像平面的单应变换矩阵H；对于标定板上第j个特征圆点，如果存在

$\left|\right|m-H{\tilde{X}}^{*j}\left|\right|<\mathrm{\&tau;},m\&Element;L^{u,v}$

其中 ${\tilde{X}}^{*j}={[{\tilde{x}}^j,{\tilde{y}}^j,1]}^T,$ τ是阈值，则视m为标定板上第j个特征点的对应像点；

步骤4.单个摄像机内外参数的初始估计

平面标定模板与其所成图像之间的单应矩阵与摄像机内外参数间存在如下关系

H＝A[r₁ r₂ t]                 (2)

其中r₁、r₂分别是摄像机相对于标定板上的世界坐标系的旋转矩阵R的前两个列向量，t为从世界坐标系到摄像机坐标系的平移向量；A是摄像机的内参数矩阵，表示为：

$A=\left[\begin{array}{ccc}\mathrm{\&alpha;}& \mathrm{\&gamma;}& u_0\\ 0& \mathrm{\&beta;}& v_0\\ 0& 0& 1\end{array}\right]---\left(3\right)$

其中的[u₀，v₀]^T为图像平面的主点坐标，α、β表示在图像u轴、v轴方向的以像素为单位的焦距参数，γ为扭曲系数；将H矩阵写为H＝[h₁ h₂ h₃]，则有

h₁＝Ar₁，h₂＝Ar₂，h₃＝At    (4)

利用旋转矩阵列向量r₁、r₂的单位正交性，可以得出以下约束方程：

$h_1^T{A}^{-T}{A}^{-1}{h}_2=0$ (5)

$h_1^T{A}^{-T}{A}^{-1}{h}_1=h_2^T{A}^{-T}{A}^{-1}{h}_2$

由公式(5)可以看出，每拍摄一次标定板的图像可以得到两个线性约束方程，而矩阵A中有5个未知量需要标定，那么如果有n幅图像，则可以得到2n个线性方程，所以，当n≥3时，就可以求解矩阵A中的5个未知量；根据(4)式进一步得到每次拍摄时摄像机相对于世界坐标系的外部参数：

r₁＝λA^-1h₁，r₂＝λA^-1h₂

                               (6)

r₃＝r₁×r₂，t＝λA^-1h₃

其中λ＝1/||A^-1h₁||＝1/||A^-1h₂||，r₃是摄像机相对于世界坐标系的旋转矩阵R的第3个列向量；

分别对两个摄像机执行上述求解过程，得到左右两个相机的各自的内外参数A_l、R_l ⁱ、t_l ⁱ和A_r、R_r ⁱ、t_r ⁱ，这里上标i表示第i次拍摄，下标l和r分别表示左摄像机和右摄像机；

步骤5.考虑畸变效应的双摄像机内外参数的一次优化

根据上一步标定出的第i次拍摄时左、右摄像机相对于世界坐标系的位置和姿态参数R_l ⁱ、t_l ⁱ、R_r ⁱ、t_r ⁱ，计算右摄像机到左摄像机间的旋转矩阵和平移向量

$R_{r2l}^i=R_l^i{R}_r^{i-1}$ (7)

$t_{r2l}^i=t_l^i-R_{r2l}^i{t}_r^i$

其中R_r ^i-1表示R_r ⁱ的逆矩阵；

取摄像机的镜头非线性畸变模型为：

x′＝x+x[k₁r²+k₂r⁴]+[2p₁xy+p₂(r²+2x²)]

                                               (8)

y′＝y+y[k₁r²+k₂r⁴]+[p₁(r²+2y²)+2p₂xy]

其中k₁、k₂是径向畸变系数，p₁、p₂为切向畸变参数，[x y]^T为理想针孔模型下的图像坐标，[x′y′]^T为畸变效应作用下的实际图像坐标；

考虑非线性畸变效应，对双摄像机内外参数进行第一步优化，具体方法是以A_l，k₁ ^l，k₂ ^l，p₁ ^l，p₂ ^l，R_l ⁱ，t_l ⁱ，A_r，k₁ ^r，k₂ ^r，p₁ ^r，p₂ ^r，R_r2l，t_r2l为优化变量，建立最小化目标函数：

$\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m_l^i}{\mathrm{\&Sigma;}}}{\left|\right|m_l^{\mathrm{ij}}-\hat{m}(A_l,k_1^l,k_2^l,p_1^l,p_2^l,R_l^i,t_l^i,{\tilde{X}}^j)\left|\right|}^2+$ (9)

$\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m_r^i}{\mathrm{\&Sigma;}}}{\left|\right|m_r^{\mathrm{ij}}-\hat{m}(A_r,k_1^r,k_2^r,p_1^r,p_2^r,R_l^i,t_l^i,R_{r2l},t_{r2l},{\tilde{X}}^j)\left|\right|}^2$

其中 $\hat{m}(A_l,k_1^l,k_2^l,p_1^l,p_2^l,R_l^i,t_l^i,{\tilde{X}}^j)$ 是根据平面标定模板上的特征点的初始值

使用针孔模型加非线性畸变模型计算出来的第j个特征圆点在左摄像机第i幅图像上的图像坐标，m_l ^ij是标定板上第j个特征圆点在左摄像机第i幅图像上识别出的真实特征圆点图像坐标，m_l ⁱ是左摄像机第i幅图像上识别出的特征圆点个数； $\hat{m}(A_r,k_1^r,k_2^r,p_1^r,p_2^r,R_l^i,t_l^i,R_{r2l},t_{r2l},{\tilde{X}}^j)$ 是根据使用针孔模型加非线性畸变模型计算出来的在右摄像机第i幅图像上的图像坐标，m_r ^ij是标定板上第j个特征点在右摄像机第i幅图像上的实际投影图像坐标，m_r ⁱ是右摄像机第i幅图像上识别出的特征圆点个数；在这一步优化中保持标定板上的特征圆点的空间坐标不变，A_l，A_r，R_l ⁱ t_l ⁱ的初始值由步骤4中解线性方程***得到，k₁ ^l，k₂ ^l，p₁ ^l，p₂ ^l和k₁ ^r，k₂ ^r，p₁ ^r，p₂ ^r的初始值设为0，R_r2l和t_r2l的初始值取各次拍摄计算得到的R_r2l ⁱ和t_r2l ⁱ的平均值；

步骤6.考虑标定板实际几何影响的二次优化

在步骤5进行第一次优化的基础上，将标定模板上的各特征圆点中心的实际坐标X^j也作为变量纳入优化目标函数，进行第二次优化，具体目标函数为：

$\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m_l^i}{\mathrm{\&Sigma;}}}{\left|\right|m_l^{\mathrm{ij}}-\hat{m}(A_l,k_1^l,k_2^l,p_1^l,p_2^l,R_l^i,t_l^i,X^j)\left|\right|}^2+$ (10)

$\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m_r^i}{\mathrm{\&Sigma;}}}{\left|\right|m_r^{\mathrm{ij}}-\hat{m}(A_r,k_1^i,k_2^r,p_1^r,p_2^r,R_l^i,t_l^i,R_{r2l},t_{r2l},X^j)\left|\right|}^2$

这里优化变量除了A_l，k₁ ^l，k₂ ^l，p₁ ^l，p₂ ^l，R_l ⁱ，t_l ⁱ，A_r，k₁ ⁱ，k₂ ^r，p₁ ^r，p₂ ^r，R_r2l，t_r2l，以外还包括X^j；A_l，k₁ ^l，k₂ ^l，p₁ ^l，p₂ ^l，R_l ⁱ，t_l ⁱ，A_r，k₁ ^r，k₂ ^r，p₁ ⁱ，p₂ ^r，R_r2l，t_r2l，的初始值取步骤5中一次优化的输出结果，X^j的初始值取为

通过这次优化得到两个摄像机的全部内参数A_l，k₁ ^l，k₂ ^l，p₁ ^l，p₂ ^l，A_r，k₁ ^r，k₂ ^r，p₁ ^r，p₂ ^r以及它们之间的相对姿态参数R_r2l的最终标定结果；

步骤7.比例缩放

根据步骤6中优化得到的特征圆点中心的空间坐标，计算标定板上距离精确已知的那两个特征圆点之间的距离，用该距离值与相应的实际精确距离值之间的比例系数乘以步骤6优化得到的两个摄像机之间的相对位置向量t_r2l，从而得到两个摄像机之间的相对位置向量参数t_r2l的最终标定结果。

Images