CN101021947A - 三维扫描***中双摄像机标定方法 - Google Patents

Abstract

三维扫描***中双摄像机标定方法涉及视觉***中的双摄像机的标定问题，尤其涉及一种三维扫描***中的双摄像机标定方法。三维扫描***中双摄像机标定方法主要包括：先对畸变系数进行标定；然后利用畸变系数对所拍摄图像进行图像校正后，结合理想针孔透视模型，标定摄像机内部参数，其中摄像机内部参数主要包括成像中心、轴间倾斜因子以及等效焦距；最后根据摄像机内部参数分别标定左右摄像机的外部参数，进一步利用双摄像机外部模型，标定左右摄像机的相对外部参数，从而得到摄像机所有内外部参数。该方法，具有制作简单、精度高、速度快的优点。

Description

三维扫描***中双摄像机标定方法

技术领域

本发明涉及视觉***中的双摄像机的标定问题，尤其涉及一种三维扫描***中的双摄像机标定方法。

背景技术

计算机视觉的基本任务之一，是从摄像机拍摄得到的图像出发，计算视场中物体的三维信息，由此来对三维物体进行重建和识别。物体表面点的三维几何信息与其在图像上的对应点之间的相互关系是由摄像机的成像模型决定的，建立这一几何模型的过程实际上就是摄像机参数的求解过程。因此，对摄像机参数的标定是这一建模过程的前提和关键。对摄像机参数的求解过程称为摄像机标定。

文献“Image Processing，Analysis，and Machine Vision”(M.Sonka，V.Hlavac，R.Boyle，International Thomson Publishing，1998)中阐述了一种较为通用的摄像机成像模型，该成像模型可以用以下公式来描述：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{\λA}\left[\mathrm{RT}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

其中，X_w，Y_w，Z_w是标定物的空间点坐标，u，v是在图像上的二维坐标，λ为一标量，R，T为摄像机的外部参数矩阵，分别定义了摄像机在三维空间的姿态和位置， $A=\left[\begin{array}{ccc}\mathrm{\α}& s& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right]$ 为摄像机内部参数矩阵，其中α，β分别表示在x方向和y方向上像点的物理坐标到图像坐标的比例系数，或称为x方向和y方向上的等效焦距，还包括其他内参数轴间倾斜因子s，成像中心(u₀，v₀)。

摄像机标定就是计算摄像机内部参数和外部参数的过程。摄像机标定技术大致可以分成两类：传统的摄像机标定方法和摄像机自标定方法。

近年来，摄像机的自标定算法取得了很大的进展，已发表了相当数量的文献，其中一些算法获得了较为广泛的应用。但是由于自标定算法相对于传统标定算法精度要差，不适合诸如三维扫描等对检测精度要求非常高的场合。

传统的标定算法也得到了较为广泛的应用，同时也获得了较好的效果。例如文献“A versatile camera calibration technique for high accuracy 3Dmachine vision metrology using off-the-shelf TV cameras and lenses”(Tsai R Y.IEEE Robotics Automation，1987，3(4)：pages324-344)中公开了一种利用径向校准约束来获取外部参数、焦距和径向一次畸变的线性解。该方法迭代参数较少，且能自动提供较好的初始值，求解速度快，同时考虑了镜头的径向畸变，精度较高。缺点是该方法中，CCD阵列中感光元的横向间距和纵向间距被认为是已知，没有对成像中心进行修正。

发明内容

技术问题：本发明的目的是提供一种能够对摄像机***的内外参数进行完整标定的三维扫描***中双摄像机标定方法，具有制作简单、精度高、速度快的优点。

技术方案：本发明的三维扫描***中双摄像机标定包括：先对畸变系数进行标定；然后利用畸变系数对所拍摄图像进行图像校正后，结合理想针孔透视模型，标定摄像机内部参数，其中摄像机内部参数主要包括成像中心、轴间倾斜因子以及等效焦距；最后根据摄像机内部参数标定左右摄像机的外部参数，进一步利用双摄像机外部模型，标定左右摄像机的相对外部参数，从而得到摄像机所有内外部参数。

该方法的主要操作步骤为：

1.)使用一组位于标定板上的平行线上的标志圆点，并根据直线透视投影基本原理，利用平行线在像平面上投影交点(x_c，y_c)的约束条件以及摄像机畸变模型，得到一组过交点(x_c，y_c)的直线方程：y-y_c＝k_i(x-x_c)(i＝1，2，…，N)，其中k_i为第i条直线的斜率；选取n(n≥3)组标定板上的平行直线就可得到n个上述的直线方程，将上述n(n≥3)个直线方程组合成一方程组，由最小二乘法求得：W＝[A(k)A^t(k)]^-1A^t(k)B(k)，其中A和B矩阵是关于畸变系数k的函数，在一维空间利用变步长搜索法搜索畸变系数k，当 $\left|\right|\stackrel{\‾}{A}\stackrel{\‾}{W}-B\left|\right|=\underset{k}{\min }\left|\right|\mathrm{AW}-B\left|\right|$ 时，k值即为畸变系数；

上述步长采用如下方法确定：镜头的畸变参数值都比较小，搜索区间可初选为(-10^-6，10^-6)，当畸变参数的精度达到10^-9时，对像素的修正精度达到O.02个像素左右。

2.)在求得摄像机的畸变系数后，对所拍摄图像进行图像畸变校正，得到无畸变标定图像，然后利用理想针孔透视模型来标定除畸变系数外的摄像机内部参数，主要包括成像中心的标定、轴间倾斜因子的标定以及等效焦距的标定，令世界坐标系的z_w分量为0，理想针孔透视模型为：

sp_u，i＝Hp_w，i

其中p_u，i＝[u v 1]^T，p_w，i＝[x_w y_w 1]^T，H＝λA[r₁ r₂ T]＝[h₁ h₂ h₃]，r_i(i＝1～3)和h_i(i＝1～3)表示旋转矩阵R和矩阵H的列向量，矩阵A为内参数矩阵，λ为标量：

H矩阵表示了标定模板平面与图像平面之间的单应性，自由度是8，因此需要至少4个以上非共线对应点，才可以求出带比例因子的H矩阵，由于旋转矩阵R是单位正交矩阵，故r₁，r₂是单位正交向量，由此可得两个约束，组成一个约束方程，每拍n(n≥3)幅平面标定板的图像就可得到n个上述的约束方程，利用最小二乘算法就可标定出内参数矩阵A，主要包括成像中心、轴间倾斜因子和等效焦距。

3.)标定出内参数矩阵A后，根据摄像机模型，就可标定每幅图像的外部参数，即摄像机姿态和位置参数，初始求得的旋转矩阵不满足正交性，因此采用奇异值分解方法将其正交化，得到摄像机的外部参数；

在分别标定出左右摄像机的姿态和位置参数后，按照双摄像机外部模型就可以标定出左右摄像机的相对外部参数，即相对姿态和位置参数为：

$R=R_r{R}_l^{-1},$ $T=T_r-R_r{R}_l^{-1}{T}_l$

其中R，T是右摄像机相对左摄像机的姿态和位置矩阵，R_r，T_r是右摄像机相对世界坐标系的姿态和位置矩阵，R_l，T_l是左摄像机相对世界坐标系的姿态和位置矩阵。

具体如下：

(1)畸变系数的标定

使用一组位于标定板上的平行线上的标志圆点，并根据直线透视投影基本原理，利用平行线在像平面上投影交点(x_c，y_c)的约束条件以及畸变模型，得到一组过交点(x_c，y_c)的直线方程：y-y_c＝k_i(x-x_c)(i＝1，2，…，N)，其中k_i为第i条直线的斜率，

将上述直线方程组组合成：  AW＝B

其中

$W=\left[\begin{array}{c}{k}_1\\ k_2\\ .\\ .\\ .\\ k_N\\ y_c\\ k_1{x}_c\\ k_2{x}_c\\ .\\ .\\ .\\ k_N{x}_c\end{array}\right]$ $\left[\begin{array}{c}{y}_{11}\\ y_{12}\\ .\\ .\\ .\\ y_{{1M}_1}\\ y_{21}\\ .\\ .\\ .\\ y_{{2M}_2}\\ y_{31}\\ .\\ .\\ .\end{array}\right]$

由最小二乘法解得：W＝(AA^t)^-1A^tB，其中A和B矩阵是关于畸变系数k的函数，进而得到W＝[A(k)A^t(k)]^-1A^t(k)B(k)，在一维空间利用变步长搜索法搜索畸变系数k，当 $\left|\right|\stackrel{\‾}{A}\stackrel{\‾}{W}-B\left|\right|=\underset{k}{\min }\left|\right|\mathrm{AW}-B\left|\right|$ 时，k值即为畸变系数。

上述步长采用如下方法确定：镜头的畸变参数值都比较小，搜索区间可初选为(-10^-6，10^-6)，当畸变参数的精度达到10^-9时，对像素的修正精度已达到0.02个像素左右，这一般情况下，这已经达到标志点圆心的定位精度的极限，因此更进一步的搜索已经没有意义。

(2)摄像机内部参数标定

在求得镜头的畸变系数后，就可以对拍摄图像进行图像畸变校正，得到无畸变标定图像。然后利用理想针孔透视模型来标定除畸变系数外的摄像机内部参数，主要包括成像中心的标定、轴间倾斜因子的标定以及等效焦距的标定。令世界坐标系的z_w分量为0，理想针孔透视模型就可被改写为：

sp_u，i＝H_pw，l

其中p_u，i＝[u v 1]^T，p_w，i＝[x_w y_w 1]^T，H＝λA[r₁ r₂ T]＝[h₁ h₂ h₃]，r_i(i＝1～3)和h_i(i＝1～3)旋转矩阵R和矩阵H的列向量，矩阵A为内参数矩阵，λ为标量。

H矩阵表示了标定模板平面与图像平面之间的单应性，自由度是8，因此需要至少4个以上非共线对应点，才可以求出带比例因子的H矩阵。由于旋转矩阵R是单位正交矩阵，故r₁，r₂是单位正交向量，由此可得两个约束：

$\left\{\begin{array}{c}{h}_1^T{A}^{-T}{A}^{-1}{h}_2=0\\ h_1^T{A}^{-T}{A}^{-1}{h}_1=h_2^T{A}^{-T}{A}^{-1}{h}_2\end{array}\right.$

令 $B=A^{-T}{A}^{-1}=\left[\begin{array}{ccc}{b}_1& b_2& b_4\\ b_2& b_3& b_5\\ b_4& b_5& b_6\end{array}\right],$ 定义向量b＝[b₁ b₂ b₃ b₄ b₅ b₆]^T，则上

式可重新写为：

$\left[\begin{array}{c}{v}_{12}^T\\ {(v_{11}-v_{12})}^T\end{array}\right]b=\mathrm{Vb}=0$

其中v_ij＝[h_i1h_j1，h_i1h_j2+h_i2h_j1，h_i2h_j2，h_i3h_j1+h_i1h_j3，h_i3h_j2+h_i2h_j3，h_i3h_j3]^T，其中h_ij为矩阵H的第i行，第j列元素。每拍n(n≥3)幅平面标定板的图像就可得到n个上述的方程组，从而求解出矩阵B。在求解出B后，通过乔里斯基分解就可标定出内参数矩阵A，包括成像中心、轴间倾斜因子和等效焦距。

(3)左右摄像机相对外部参数的标定

标定出内参数矩阵A后，就可确定每幅图像的外部参数，即摄像机姿态和位置参数为：

$\left\{\begin{array}{c}{r}_1=\mathrm{\ρ}{A}^{-1}{h}_1,r_2=\mathrm{\ρ}{A}^{-1}{h}_2,r_3=r_1\×r_2\\ T=\mathrm{\ρ}{A}^{-1}{h}_3\\ \mathrm{\ρ}=1/\left|\right|A^{-1}{h}_1\left|\right|=1/\left|\right|A^{-1}{h}_2\left|\right|\end{array}\right.$

由上式确定的旋转矩阵R不满足正交性，因此采用奇异值分解方法将其正交化，得到摄像机的外部参数。

在分别标定出左右摄像机的姿态和位置参数后，按照双摄像机外部模型就可以标定出左右摄像机的相对姿态和位置参数：

$R=R_r{R}_l^{-1},$ $T=T_r-R_r{R}_l^{-1}{T}_l$

其中R，T是右摄像机相对左摄像机的姿态和位置，R_r，T_r是右摄像机相对世界坐标系的姿态和位置矩阵，R_l，t_l是左摄像机相对世界坐标系的姿态和位置矩阵。

有益效果：本发明主要用于各种基于平面标定板对摄像机进行实时快速标定的应用场合。利用本专利的标定算法标定摄像机各参数，主要有如下优点：

(1)本发明比较完整地标出了理想摄像机的各参数，包括成像中心、轴间倾斜因子、等效焦距、姿态参数及平移参数，同时标出镜头的畸变参数，后续拍摄到的图像可根据该参数进行图像的畸变校正。

(2)本发明中的运算均为线性运算，没有使用回溯等非线性运算，从而实现了摄像机的全线性标定。该方法速度快，能应用于各种对实时性要求高的场合。

(3)本发明中使用了平面标定物进行标定，平面标定物较立体标定物具有制作简单，精度高等优点，这就降低了标定过程中对高精度标定物的依赖，简化了标定过程。

附图说明

图1是标定板图，

图2是灭点形成原理图，

图3是搜索畸变系数的流程图，

图4是三维扫描***结构图，

图5是双摄像机外部模型图，

图6是参数标定流程图。

具体实施方式

三维扫描***中双摄像机标定包括：先对畸变系数进行标定；然后利用畸变系数对所拍摄图像进行图像校正后，结合理想针孔透视模型，标定摄像机内部参数，其中摄像机内部参数主要包括成像中心、轴间倾斜因子以及等效焦距；最后根据摄像机内部参数标定左右摄像机的外部参数，进一步利用双摄像机外部模型，标定左右摄像机的相对外部参数，其特征在于：

(1)畸变系数的标定

使用一组位于标定板上的平行线上的标志圆点，并根据直线透视投影基本原理，利用平行线在像平面上投影交点(x_c，y_c)的约束条件以及畸变模型，得到一组过交点(x_c，y_c)的直线方程：

y-y_c＝k_i(x-x_c)(i＝1，2，…，N)，其中k_i为第i条直线的斜率，

将上述直线方程组组合成：AW＝B

其中

$W=\left[\begin{array}{c}{k}_1\\ k_2\\ .\\ .\\ .\\ k_N\\ y_c\\ k_1{x}_c\\ k_2{x}_c\\ .\\ .\\ .\\ k_N{x}_c\end{array}\right],$ $B=\left[\begin{array}{c}{y}_{11}\\ y_{12}\\ .\\ .\\ .\\ y_{1M_1}\\ y_{21}\\ .\\ .\\ .\\ y_{2M_2}\\ y_{31}\\ .\\ .\\ .\end{array}\right]$

由最小二乘法解得：W＝(AA^t)^-1A^tB，其中A和B矩阵是关于畸变系数k的函数，进而得到W＝[A(k)A^t(k)^-1A^t(k)B(k)，在一维空间利用变步长搜索法搜索畸变系数k，当 $\left|\right|\stackrel{\‾}{A}\stackrel{\‾}{W}-B\left|\right|=\underset{k}{\min }\left|\right|\mathrm{AW}-B\left|\right|$ 时，k值即为畸变系数。

上述步长采用如下方法确定：镜头的畸变参数值都比较小，搜索区间可初选为(-10^-6，10^-6)，当畸变参数的精度达到10^-9时，对像素的修正精度已达到0.02个像素左右，这一般情况下，这已经达到标志点圆心的定位精度的极限，因此更进一步的搜索已经没有意义。

(2)摄像机内部参数标定

在求得镜头的畸变系数后，就可以对拍摄图像进行畸变校正，得到无畸变标定图像。然后利用理想针孔透视模型来标定除畸变系数外的摄像机内部参数标定(包括成像中心的标定、轴间倾斜因子的标定以及等效焦距的标定)。令世界坐标系的z_w分量为0，理想针孔透视模型就可被改写为：

sp_u，i＝Hp_w，i

其中p_u，i＝[u v 1]^T，p_w，i＝[x_w y_w 1]^T，H＝λA[r₁ r₂ T]＝[h₁ h₂ h₃]，r_i(i＝1～3)和h_i(i＝1～3)旋转矩阵R和矩阵H的列向量，矩阵A为内参数矩阵，λ为标量。

H矩阵表示了标定模板平面与图像平面之间的单应性，自由度是8，因此需要至少4个以上非共线对应点，才可以求出带比例因子的H矩阵。由于旋转矩阵R是单位正交矩阵，故r₁，r₂是单位正交向量，由此可得两个约束：

$\left\{\begin{array}{c}{h}_1^T{A}^{-T}{A}^{-1}{h}_2=0\\ h_1^T{A}^{-T}{A}^{-1}{h}_1=h_2^T{A}^{-T}{A}^{-1}{h}_2\end{array}\right.$

令 $B=A^{-T}{A}^{-1}=\left[\begin{array}{ccc}{b}_1& b_2& b_4\\ b_2& b_3& b_5\\ b_4& b_5& b_6\end{array}\right],$ 定义向量b＝[b₁ b₂ b₃ b₄ b₅ b₆]^T，则上式可重新写为：

$\left[\begin{array}{c}{v}_{12}^T\\ {(v_{11}-v_{22})}^T\end{array}\right]b=\mathrm{Vb}=0$

其中v_ij＝[h_i1h_j1，h_i1h_j2+h_i2h_j1，h_i2h_j2，h_i3h_j1+h_i1h_j3，h_i3h_j2+h_i2h_j3，h_i3h_j3]^T，其中h_ij为矩阵H的第i行，第j列元素。每拍n(n≥3)幅平面标定板的图像就可得到n个上述的方程组，从而求解出矩阵B。在求解出B后，通过乔里斯基分解就可标定出内参数矩阵A，包括成像中心、轴间倾斜因子和等效焦距。

(3)左右摄像机相对外部参数的标定

标定出内参数矩阵A后，就可确定每幅图像的外部参数，即摄像机姿态和位置参数为：

$\left\{\begin{array}{c}{r}_1=\mathrm{\ρ}{A}^{-1}{h}_1,r_2=\mathrm{\ρ}{A}^{-1}{h}_2,r_3=r_1\×r_2\\ T=\mathrm{\ρ}{A}^{-1}{h}_3\\ \mathrm{\ρ}1/\left|\right|A^{-1}{h}_1\left|\right|=1/\left|\right|A^{-1}{h}_2\left|\right|\end{array}\right.$

由上式确定的旋转矩阵R不满足正交性，因此采用奇异值分解方法将其正交化，得到摄像机的外部参数。

在分别标定出左右摄像机的姿态和位置参数后，按照双摄像机外部模型就可以标定出左右摄像机的相对姿态和位置参数：

$R=R_r{R}_l^{-1},$ $T=T_r-R_r{R}_l^{-1}{T}_l$

其中R，T是右摄像机相对左摄像机的姿态和位置，R_r，T_r是右摄像机相对世界坐标系的姿态和位置矩阵，R_l，T_l是左摄像机相对世界坐标系的姿态和位置矩阵。

下面参照附图，对本发明具体实施方案作出更为详细的描述：

本发明利用平面标定物——标定板进行摄像机参数标定，板上阵列分布有圆标志点，如图1，圆标志点可以排列成相互平行的直线。通过对摄像机拍摄获取的图像进行处理，获得标志点的像方坐标及物方坐标。本专利中的标定算法利用这些圆心数据，对摄像机内外参数进行标定。

具体步骤如下：

(1)畸变系数的标定

文献“一种新的手提相机自定标方法”(陈泽志，吴成柯.中国图像图形学报，2003，8(A版)(3)，241-346)提出了一种新的基于线性模型的摄像机自定标方法，该方法是首先利用三点透视投影图、灭点和向量正交的性质来得到一组非线性方程，然后将其转换为线性方程组求解标定参数。该文献中采用了具有三点透视的立方块作为标定参考物，而我们在标定过程中使用的平面标定板最多可行成二点透视，这就需要不同角度的标定板图像来弥补这一限制。

我们所使用的平面标定上的标定点呈阵列分布，选择适当的点线可以组成若干组相互平行的直线。这里我们仅选取阵列的横向点或纵向点来构成一组平行线，如图2所示，根据透视投影的性质，空间一组平行线在图像上相交于一点。在拍摄过程中，投影平面和标定板平面保持一定的夹角，使得这一组平行线在成像平面上的投影相交于一点。

实际成像模型

理想的透镜成像是针孔透视成像模型，但由于制造安装等多方面的原因，在成像平面上，实际像点较理想像点存在一定的偏离，这种偏离就是摄像机畸变。因此，在应用理想针孔透视模型进行图像点和物理点的映射转换时，必须首先对图像点的畸变进行校正。校正模型如下：

$\left\{\begin{array}{c}{X}_u=(1+\stackrel{\‾}{k}{r}^2)X_d\\ Y_u=(1+\stackrel{\‾}{k}{r}^2)Y_d\end{array}\right.---\left(1\right)$

其中 $r^2=X_d^2+Y_d^2,$

为畸变系数，在桶形畸变时

为正，枕形畸变时

为负。

设

是图像实际像素点坐标，(u，v)是图像理想像素点坐标。图像像素点坐标和图像物理坐标的转换关系为：

$\left\{\begin{array}{c}u=\mathrm{\α}{X}_u+u_0\\ v=\mathrm{\β}{Y}_u+v_0\end{array}\right.---\left(2\right)$

结合式(1)和(2)可得：

其中

考虑到近年来摄像机制造工艺水平的提高，摄像机的纵横比

非常接近于1。因此可以取α≈β，此时(3)式可以改写成：

其中

$k=\frac{\stackrel{\‾}{k}}{{\mathrm{\α}}^2}.$

本发明提出一种利用一组平行线的投影相交于一点的约束，来求解畸变参数，该方法同时使用了位于一组相互平行线上的所有的点，利用平行线投影的交于灭点的约束条件列出一组线性方程，通过一维搜索求解畸变参数。

设世界坐标存在N条相互平行的直线，各直线存在M_i(i＝1，2…N)个标志点，第i条直线上第j个点的理想像素点坐标为(u_ij，v_ij)，畸变像素点为坐标

则根据式(4)有：

其中，

x_ij＝u_ij-u₀，y_ij＝v_ij-v₀

若各直线的交点为(x_c，y_c)，则各直线的方程表示为：

y-y_c＝k_i(x-x_c)(i＝1，2，…，N)    (6)

其中k_i为第i条直线的斜率。式(6)易化成

k_ix+v₁-k_iu₁＝y

将各标定点坐标代入可得理想像点之间满足如下方程：

AW＝B

其中

$W=\left[\begin{array}{c}{k}_1\\ k_2\\ .\\ .\\ .\\ k_N\\ y_c\\ k_1{x}_c\\ k_2{x}_c\\ .\\ .\\ .\\ k_N{x}_c\end{array}\right],$ $B=\left[\begin{array}{c}{y}_{11}\\ y_{12}\\ .\\ .\\ .\\ y_{1M_1}\\ y_{21}\\ .\\ .\\ .\\ y_{2M_2}\\ y_{31}\\ .\\ .\\ .\end{array}\right]$

由最小二乘法解得：

W＝(AA^t)^-1A^tB

A与B矩阵的各非常量元素是由标定点的理想坐标值构成，而理想坐标值是由畸变点坐标值经过畸变模型进行修正后的结果。因此，在选定了平行直线及相应的标定点以后，可以认为A与B矩阵是关于畸变系数k的函数，B则为常列向量，相应地：

W＝[A(k)A^t(k)^-1A^t(k)B

在一维空间利用步长搜索法搜索畸变系数k，使得：

$\left|\right|\stackrel{\‾}{A}\stackrel{\‾}{W}-B\left|\right|=\underset{k}{\min }\left|\right|\mathrm{AW}-B\left|\right|$

这时的k即我们所要求解的畸变参数。具体步骤如下：

1)搜索区间可初选为(-10^-6，10^-6)，首先以10^-7为步长，搜索得该次搜索的结果k¹；

2)以区间(k¹-10^-7，k¹+10^-7)为搜索区间，以10^-8为步长，搜索得

该次搜索的结果k²；

3)以区间(k²-10^-8，k²+10^-8)为搜索区间，以10^-9为步长，搜索得该次搜索的结果k³。

k³即为所求解的畸变参数，见附图3。

镜头的畸变参数值都比较小，搜索区间可初选为(-10^-6，10^-6)，当畸变参数的精度达到10^-9时，对像素的修正精度已达到0.02个像素左右，这一般情况下，这已经达到标志点圆心的定位精度的极限，因此更进一步的搜索已经没有意义。

实际应用中将两个CCD摄像机按图4所示固定在架子上。按照标定算法的要求左右镜各拍摄10幅原始标定板图像信息，按上述步骤进行处理，根据每一幅图像求解得左右镜的畸变系数，得到畸变系数结果见表1：

表1左右镜畸变系数的标定结果

序号	左镜畸变系数(10-5)	右镜畸变系数(10-5)
			1	0.0049	0.0056
2	0.0048	0.0059
			3	0.0052	0.0063
4	0.0051	0.0053
			5	0.0052	0.0050
6	0.0053	0.0062
			7	0.0052	0.0062
8	0.0052	0.0062
			9	0.0051	0.0059
10	0.0056	0.0059

(2)摄像机内部参数标定

在求得镜头得畸变系数后，就可以对拍摄图像进行图像畸变校正。只要把畸变系数k代入式(5)，就能确定直线上各个点的理想图像像素点坐标为：

$\left\{\begin{array}{c}{u}_{\mathrm{ij}}=x_{\mathrm{ij}}+u_0\\ v_{\mathrm{ij}}=y_{\mathrm{ij}}+v_0\end{array}\right.$

然后利用理想针孔透视模型来标定摄像机其他内外参数，包括成像中心、轴间倾斜因子、有效焦距以及外部参数。文献“A Flexible New Technique forCamera Calibration”(Zhang Z Y，IEEE Transactions on Pattern Analysisand Machine Intelligence，2000，20(11)：1330-1334)提出一种被称为平面模板法的标定算法，它主要是首先用理想针孔透视模型来线性求解摄像机的除畸变系数外的内外参数，然后利用实际成像模型来求解畸变系数，最后利用非线性最优化算法来优化所有摄像机内外参数。本专利中使用了该文献中第一步算法，但不同之处在于该文献中算法是把成像模型当作理想针孔透视模型，实际上由于图像中畸变的存在，因此这种假设对高精度场合是不合理的。因此本专利算法是先求解畸变系数，然后对图像进行校正消除畸变带来的影响，再利用理想针孔透视模型来求解摄像机参数。

令世界坐标系的z_w分量为0，理想针孔透视模型就可被改写为：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\mathrm{RT}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ 0\\ 1\end{array}\right]=A\left[r_1{r}_{2}T\right]\left[\begin{array}{c}{x}_w\\ y_w\\ 1\end{array}\right]---\left(7\right)$

令p_u，i＝[u v 1]^T，p_w，i＝[x_w y_w 1]^T，H＝λA[r₁ r₂ T]＝[h₁ h₂ h₃]，其中r_i(i＝1～3)和h_i(i＝1～3)旋转矩阵R和矩阵H的列向量，矩阵A为内参数矩阵，λ为标量。因此式(7)可以写成：

sP_u，i＝Hp_w，i    (8)

H矩阵表示了标定模板平面与图像平面之间的单应性，由式(8)可知，矩阵H的自由度是8，因此需要至少4个以上非共线对应点，才可以求出带比例因子的H矩阵。由于旋转矩阵R是单位正交矩阵，故r₁，r₂是单位正交向量，由此可得两个约束：

$\left\{\begin{array}{c}{h}_1^T{A}^{-T}{A}^{-1}{h}_2=0\\ h_1^T{A}^{-T}{A}^{-1}{h}_1=h_2^T{A}^{-T}{A}^{-1}{h}_2\end{array}\right.---\left(9\right)$

令 $B=A^{-T}{A}^{-1}=\left[\begin{array}{ccc}{b}_1& b_2& b_4\\ b_2& b_3& b_5\\ b_4& b_5& b_6\end{array}\right],$ 显然B是一个正定对称矩阵。定义一个向量

b＝[b₁ b₂ b₃ b₄ b₅ b₆]^T，则式(9)的两个约束可以重新写为：

$\left[\begin{array}{c}{v}_{12}^T\\ {(v_{11}-v_{22})}^T\end{array}\right]b=\mathrm{Vb}=0---\left(10\right)$

其中v_ij＝[h_i1h_j1，h_i1h_j2+h_i2h_j1，h_i2h_j2，h_i3h_j1+h_i1h_j3，h_i3h_j2+h_i2h_j3，h_i3h_j3]^T，其中h_ij为矩阵H的第i行，第j列元素。每拍n(n≥3)幅平面标定板的图像就可得到n个上述的方程组，V为2n×6的矩阵。式(10)的解是矩阵V^TV的最小特征值对应的特征向量。在求解出B后，通过乔里斯基分解就可标定摄像机内参数矩阵A，包括成像中心、轴间倾斜因子和等效焦距。

(3)左右摄像机相对外部参数的标定

标定出内参数矩阵A后，就可确定每幅图像的外部参数，即姿态和位置参数为：

$\left\{\begin{array}{c}{r}_1=\mathrm{\ρ}{A}^{-1}{h}_1,r_2=\mathrm{\ρ}{A}^{-1}{h}_2,r_3=r_1\×r_2\\ T=\mathrm{\ρ}{A}^{-1}{h}_3\\ \mathrm{\ρ}=1/\left|\right|A^{-1}{h}_1\left|\right|=1/\left|\right|A^{-1}{h}_2\left|\right|\end{array}\right.---\left(11\right)$

由式(11)确定的旋转矩阵R不满足正交性，因此采用奇异值分解方法将其正交化，得到摄像机的外部参数。这样就确定了摄像机的所有内外参数。

在分别标定左右摄像机的姿态和位置参数后，按图5的双摄像机外部模型，根据下式就可以标定出左右摄像机的相对姿态和位置参数：

$R=R_r{R}_l^{-1},$ $T=T_r-R_r{R}_l^{-1}{T}_l,$ R，T是右摄像机相对左摄像机的姿态和位置，R_r，T_r是右摄像机相对世界坐标系的姿态和位置矩阵，R_l，T_l是左摄像机相对世界坐标系的姿态和位置矩阵。

实际应用中将两个CCD摄像机按图4所示固定在架子上。按照标定算法的要求左右镜各拍摄10幅原始标定板图像信息，按上述步骤进行处理，利用理想针孔透视模型求解除畸变系数外的所有内外参数，然后利用上式求解左右镜的相对姿态和位置参数。摄像机内参数见表2，摄像机相对姿态和位置参数见表3。

表2左右镜内参数标定结果

	α	β	uo	vo	s
						左镜	1501.001	1489.956	376.800	297.560	-0.826
右镜	1477.471	1467.680	389.012	281.778	0.203

表3左右镜相对姿态和位置标定结果

整个标定过程按照图6中的流程进行，依次标定畸变系数、摄像机内参数(等效焦距、成像中心、轴间倾斜因子)、左右摄像机相对位置参数和姿态参数。

Claims (3)

1.一种三维扫描***中双摄像机标定方法，其特征在于三维扫描***中双摄像机标定方法主要包括：先对畸变系数进行标定；然后利用畸变系数对所拍摄图像进行图像校正后，结合理想针孔透视模型，标定摄像机内部参数，其中摄像机内部参数主要包括成像中心、轴间倾斜因子以及等效焦距；最后根据摄像机内部参数标定左右摄像机的外部参数，进一步利用双摄像机外部模型，标定左右摄像机的相对外部参数，从而得到摄像机所有内外部参数。

2.根据权利要求1所述的三维扫描***中双摄像机标定方法，其特征在于该方法的主要操作步骤为：

1.)使用一组位于标定板上的平行线上的标志圆点，并根据直线透视投影基本原理，利用平行线在像平面上投影交点(x_c，y_c)的约束条件以及摄像机畸变模型，得到一组过交点(x_c，y_c)的直线方程：y-y_c＝k_i(x-x_c)(i＝1，2，…，N)，其中k_i为第i条直线的斜率；选取n(n≥3)组标定板上的平行直线就可得到n个上述的直线方程，将上述n(n≥3)个直线方程组合成一方程组，由最小二乘法求得：W＝[A(k)A^t(k)]^-1A^t(k)B(k)，其中A和B矩阵是关于畸变系数k的函数，在一维空间利用变步长搜索法搜索畸变系数k，当 $\text{||}\stackrel{\‾}{\mathrm{AW}}\text{-B||=}\underset{k}{\min }\text{||AW-B||}$ 时，k值即为畸变系数；

2.)在求得摄像机的畸变系数后，对所拍摄图像进行图像畸变校正，得到无畸变标定图像，然后利用理想针孔透视模型来标定除畸变系数外的摄像机内部参数，主要包括成像中心的标定、轴间倾斜因子的标定以及等效焦距的标定，令世界坐标系的z_w分量为0，理想针孔透视模型为：

sp_u，i＝Hp_w，i

其中p_u，i＝[uv1]^T，p_w，i＝[x_wy_w1]^T，H＝λA[r₁r₂T]＝[h₁h₂h₃]，r_i(i＝1～3)和h_i(i＝1～3)表示旋转矩阵R和矩阵H的列向量，矩阵A为内参数矩阵，λ为标量；

H矩阵表示了标定模板平面与图像平面之间的单应性，自由度是8，因此需要至少4个以上非共线对应点，才可以求出带比例因子的H矩阵，由于旋转矩阵R是单位正交矩阵，故r₁，r₂是单位正交向量，由此可得两个约束，组成一个约束方程，每拍n(n≥3)幅平面标定板的图像就可得到n个上述的约束方程，利用最小二乘算法就可标定出内参数矩阵A，主要包括成像中心、轴间倾斜因子和等效焦距；

3.)标定出内参数矩阵A后，根据摄像机模型，就可标定每幅图像的外部参数，即摄像机姿态和位置参数，初始求得的旋转矩阵不满足正交性，因此采用奇异值分解方法将其正交化，得到摄像机的外部参数，在分别标定出左右摄像机的姿态和位置参数后，按照双摄像机外部模型就可以标定出左右摄像机的相对外部参数，即相对姿态和位置参数为：

$R=R_r{R}_l^{-1},$ $T=T_r-R_r{R}_l^{-1}{T}_l$

其中R，T是右摄像机相对左摄像机的姿态和位置矩阵，R_r，T_r是右摄像机相对世界坐标系的姿态和位置矩阵，R_l，T_l是左摄像机相对世界坐标系的姿态和位置矩阵。

3.根据权利要求2所述的三维扫描***中双摄像机标定方法，其特征在于所述步长采用如下方法确定：镜头的畸变参数值都比较小，搜索区间可初选为(-10^-6，10^-6)，当畸变参数的精度达到10^-9时，对像素的修正精度已达到0.02个像素左右。

Images