CN102402785B - 一种基于二次曲线的摄像机自标定方法 - Google Patents

Abstract

本发明涉及一种基于二次曲线的摄像机自标定方法，以一个平面矩形为标定模板。从不同方位对该模板拍摄3幅(或3幅以上)的图像；提取图像特征点并拟合直线，求解直线交点得到矩形4个顶点坐标和两组平行线上灭点坐标。根据射影不变性和调和共轭关系，得到各边中点坐标和外接圆圆心坐标，并求解对角线上灭点坐标。利用二次曲线中二阶曲线的性质求出平面上圆环点的图像坐标，建立圆环点图像关于摄像机内参数的约束方程，线性解出摄像机内参数。本发明可以利用平面模板线性求解摄像机的全部内参数，不需要进行复杂的图像匹配，简化了标定过程，提高了标定精度。

Description

一种基于二次曲线的摄像机自标定方法

技术领域

本发明属于计算机视觉研究领域，是一种基于二次曲线的摄像机自标定方法，利用平面矩形为标定模板。

背景技术

三维重建技术是计算机视觉研究的重要课题之一，是指从三维物体的图像来恢复三维物体的空间几何形状。传统的三维重建都是以已标定的摄像机获取的图像为重建依据的，因此在此过程中，摄像机标定技术十分重要，摄像机标定的参数的精度直接影响着后期重建的精度。摄像机标定技术是计算机视觉领域里研究基本任务之一

摄像机标定过程中通常采用的是经典的针孔成像模型，例如文献“Computer Vision：AModern Approach”(David A.Forsyth，Jean Ponce Faugeras著，林学闫，王宏等译.电子工业出版社，2004)中给出模型，该模型一般简单描述为以下公式：

$\mathrm{\λ}\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{ccc}{f}_u& s& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{cc}R& T\end{array}\right)\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right)=K\left(\begin{array}{cc}R& T\end{array}\right)\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right).---\left(1\right)$

其中：空间中任一点P在世界坐标系中的齐次坐标为P_w(x_w y_w z_w 1)^T，在图像坐标系中的齐次坐标为p(u v 1)^T。λ是任意一个比例因子；K是摄像机内参数矩阵，其中s为图像畸变因子，f_u，f_v为图像在u方向和v方向上像点的物理坐标到图像像素坐标的比例系数，即有效焦距，(u₀，v₀)是主光轴与图像平面交点的图像坐标。R是一个3×3单位正交的旋转矩阵；T是一个平移向量；同时，(R，T)是摄像机坐标系相对于世界坐标系的位置。

摄像机标定过程就是确定上述公式中参数的过程，一般来说，摄像机标定方法可分为三大类：传统的标定方法、基于主动视觉的摄像机标定方法和自标定方法。其中传统标定方法主要是利用已知景物上的点的世界坐标和其在图像上所对应的点坐标，例如文献“A Cameracalibration with one-dimensional objects”(Zhang Zhengyou.IEEE Transactions onPattern Analysis and Machine Intelligence，2004，7(26)：892-899)；该种方法可以用在任意模型的摄像机中，且标定精度高，但其标定过程复杂，需要高精度的已知结构信息，在实际应用中很多情况下无法使用标定块；基于主动视觉的摄像机标定方法主要是利用已知的摄像机或模板的某些运动信息，例如文献“基于主动视觉摄像机标定方法”(胡占义，吴福朝.计算机学报，2002：1149-1156)；该方法通常可以线性求解且鲁棒性较高，但不能使用在摄像机运动未知和无法控制的场合；摄像机自标定方法是仅依靠多幅图像之间的对应关系，不需要制作高精度的标定模板，例如文献“A New Easy Camere Calibration Technique Based onCircle Points”(MENG Xiao-qiao，HU Zhan-yi.Journal of Software，2000，13(5)：957-965)；该方法灵活性较强，应用范围较广，但通常情况下是非线性标定，因而计算过程复杂且鲁棒性不是太高。从而对线性自标定方法的研究成为当前摄像机标定中的热点。例如文献“一种改进基于圆环点的摄像机自标定方法”(胡培成等.光电工程，2007，34(12)：54-60)中提出的利用两对相互垂直直径获得圆环点坐标进行标定。

发明内容

本发明提供了一种利用平面矩形为标定模板，根据二次曲线的性质求解圆环点图像坐标进行摄像机自标定的方法。该方法仅需摄像机从不同方位拍摄3幅或3幅以上的图像就可以线性解出摄像机内参数。该方法充分利用了矩形的几何特征和二次曲线的性质，并且标定过程简单，精度较高。

本发明的技术解决方案

1、一种基于二次曲线的摄像机自标定方法，以一个平面矩形为标定模板标定出摄像机全部内参数的方法，其特征在于它采用一个简单的矩形模板，根据射影不变性，并充分利用了矩形的几何特征和二次曲线的性质，线性解出摄像机内参数。具体步骤包括：拟合矩形各边所在直线，求解顶点和灭点图像坐标，求解各边中点和外接圆圆心图像坐标，求解平面圆环点图像坐标，求解摄像机内参数矩阵。

(1)拟合矩形各边所在直线

设平面矩形ABCD，点A，B，C，D的像为a，b，c，d提取图像特征点坐标，利用最小二乘法拟合边ab，bc，cd，da所在直线l₁，l₂，l₃，l₄。

(2)求解顶点和灭点图像坐标

设两组平行线l₁，l₃和l₂，l₄上灭点为p₁，p₂，利用射影变换不变性质，则有：

$\left\{\begin{array}{c}a=l_1\×l_4,b=l_1\×l_2\\ c=l_2{\×l}_3,d=l_3{\×l}_4\end{array}\right.$ 和 $\left\{\begin{array}{c}{p}_1=l_1\×l_3\\ p_2=l_2\×l_4\end{array}\right..$

(3)求解各边中点和外接圆圆心图像坐标

设ab，bc，cd，da的中点为e，f，g，h，外接圆圆心为o，根据射影不变性和调和共轭关系，则有：

$\left\{\begin{array}{c}(\mathrm{ab},{\mathrm{ep}}_1)=-1,(\mathrm{bc},{\mathrm{fp}}_2)=-1\\ (\mathrm{cd},{\mathrm{gp}}_1)=-1,(\mathrm{da},{\mathrm{hp}}_2)=-1\end{array}\right..$

设e，g所在直线为l_eg，f，h所在直线为l_fh，则可以得到矩形外接圆圆心图像坐标为o＝l_eg×l_fh。

(4)求解平面圆环点图像坐标

设矩形对角线ac，bd所在直线上灭点坐标为p₃，p₄，则有：

设矩形ABCD所在平面上的圆环点为I，J，相应图像坐标为m_i(x_r+x_ii，y_r+y_ii，1)^T，m_j(x_r-x_ii，y_r-y_ii，1)^T。根据二次曲线的性质，若把I，J，C，D看作圆上的四定点，则有(l_AIl_AJ，l_ACl_AD)＝(l_BIl_BJ，l_BCl_BD)，根据交比的射影性质可得：(m_im_j，p₃p₂)＝(m_im_j，p₂p₄)，即：

$({2u}_{p2}-u_{p3}-u_{p4})({x_r}^2+{x_i}^2)+2(u_{p2}^2-u_{p3}{u}_{p4})x_r=2u_{p2}{u}_{p3}{u}_{p4}-u_{p2}^2(u_{p3}+u_{p4}).$

若把I，J，B，D看作圆上的四定点，则有(l_AIl_AJ，l_ABl_AD)＝(l_CIl_CJ，l_CBl_CD)，根据交比的射影性质可得：(m_im_j，p₁p₂)＝(m_im_j，p₂p₁)，即：

x_r ²+x_i ²-(u_p1+u_p2)x_r＝-u_p1u_p2。

联立以上两个方程，解出x_r，x_i的值，同理可以解出y_r，y_i，即得到圆环点的像m_i，m_j的坐标

(5)利用圆环点性质，建立圆环点图像坐标关于摄像机内参数的约束方程，利用最小二乘法线性解出内参数。

本发明的优点是：

(1)本发明主要适用于场景中含有圆，或者拍摄场景中含有存在外接圆的n(n≥4)边形模板的条件，属于非接触式测量方法，直接提取图像中曲线上特征点坐标。

(2)本发明的方法可以标定出摄像机的5参数的内参数矩阵，包含了光学成像中的所有参数，主要有光学成像中心、倾斜因子和有效焦距的标定。

(3)本发明中采用的方法是利用n边形的几何性质、调和共轭关系和射影变换的交比不变性求解顶点坐标和外接圆圆心坐标，根据二次曲线的性质直接求解圆环点图像坐标，不需要进行椭圆拟合，简化了标定过程。

附图说明

图1本发明基于二次曲线，利用矩形模板求解摄像机内参数方法的流程图。

图2本发明采用的平面矩形模板和它的外接圆结构示意图。

图3本发明采用矩形模板成像和求解圆环点图像坐标的原理示意图。

具体实施方式

下面是对本发明作进一步的详细说明。提出了一种基于二次曲线的摄像机自标定方法，以一个平面矩形为标定模板标定出摄像机全部内参数的方法，其特征在于它采用一个简单的矩形模板，根据射影不变性，并充分利用了矩形的几何特征和二次曲线的性质，线性解出摄像机内参数。具体步骤包括：拟合矩形各边所在直线，求解顶点和灭点图像坐标，求解各边中点和外接圆圆心图像坐标，求解平面圆环点图像坐标，求解摄像机内参数矩阵。

(1)拟合矩形各边所在直线

设平面矩形ABCD，点A，B，C，D的像为a，b，c，d。输入图像，用OpenCV中的函数cvGoodFeaturesToTrack提取出四条边上特征点坐标，利用最小二乘法拟合边ab，bc，cd，da所在直线l₁，l₂，l₃，l₄。

(2)求解顶点和灭点图像坐标

设两组平行线l₁，l₃和l₂，l₄上灭点为p₁，p₂，利用射影变换不变性质，则有：

$\left\{\begin{array}{c}a=l_1\×l_4,b=l_1\×l_2\\ c=l_2{\×l}_3,d=l_3{\×l}_4\end{array}\right.$ 和 $\left\{\begin{array}{c}{p}_1=l_1\×l_3\\ p_2=l_2\×l_4\end{array}\right..$

解上面两个方程组得到矩形顶点的像a，b，c，d和两组对边ab，cd和bc，da上灭点无穷远点的像p₁，p₂的坐标。

(3)求解各边中点和外接圆圆心图像坐标

设ab，bc，cd，da的中点为e，f，g，h，外接圆圆心为o，根据射影不变性和调和共轭关系，则有：

$\left\{\begin{array}{c}(\mathrm{ab},{\mathrm{ep}}_1)=-1,(\mathrm{bc},{\mathrm{fp}}_2)=-1\\ (\mathrm{cd},{\mathrm{gp}}_1)=-1,(\mathrm{da},{\mathrm{hp}}_2)=-1\end{array}\right..$

解上式可以得到点e，f，g，h的坐标。

设e，g所在直线为l_eg，f，h所在直线为l_fh，则可以得到矩形外接圆圆心图像坐标为o＝l_eg×l_fh。

(4)求解平面圆环点图像坐标

设矩形对角线ac，bd所在直线上灭点坐标为p₃，p₄，则有：

解方程既可以得到点p₃，p₄的坐标。

设矩形ABCD所在平面上的圆环点为I，J，相应图像坐标为m_i(x_r+x_ii，y_r+y_ii，1)^T，m_j(x_r-x_ii，y_r-y_ii，1)^T。根据二次曲线的性质，若把I，J，C，D看作圆上的四定点，则有(l_AIl_AJ，l_ACl_AD)＝(l_BIl_BJ，l_BCl_BD)，根据交比的射影性质可得：(m_im_j，p₃p₂)＝(m_im_j，p₂p₄)，即：

$({2u}_{p2}-u_{p3}-u_{p4})({x_r}^2+{x_i}^2)+2(u_{p2}^2-u_{p3}{u}_{p4})x_r=2u_{p2}{u}_{p3}{u}_{p4}-u_{p2}^2(u_{p3}+u_{p4}).$

若把I，J，B，D看作圆上的四定点，则有(l_AIl_AJ，l_ABl_AD)＝(l_CIl_CJ，l_CBl_CD)，根据交比的射影性质可得：(m_im_j，p₁p₂)＝(m_im_j，p₂p₁)，即：

x_r ²+x_i ²-(u_p1+u_p2)x_r＝-u_p1u_p2。

联立以上两个方程，解出x_r，x_i的值，同理可以解出y_r，y_i，即得到圆环点的像m_i，m_j的坐标

(5)利用圆环点性质，建立圆环点图像坐标关于摄像机内参数的约束方程，利用最小二乘法线性解出内参数。

实施例

本发明提出了一种基于二次曲线，利用平面矩形模板求解摄像机内参数方法，计算流程如图1所示，平面矩形模板和它的外接圆结构示意图如图2所示，矩形模板成像和求解圆环点图像坐标的原理示意图如图3所示。

下面以一实例对本发明的实施方案做出更为详细的描述：

基于二次曲线的摄像相机自标定方法采用的标定模板是一个任意的平面矩形ABCD，如图2所示。在本发明实例中采用的矩形模板设置为长30cm，宽20cm，即AB＝CD＝20cm，AD＝BC＝30cm.取点B为坐标系原点，BC为x轴，BA为y轴建立平面直角坐标系B-xy。则估计出各顶点A，B，C，D(如图2)的齐次坐标分别为：A(0，20，1)^T，B(0，0，1)^T，C(30，0，1)^T，D(30，20，1)^T。

利用本发明中的方法对摄像机内参数进行标定，具体步骤如下：

(1)提取特征点

本发明中采用的图像分辨率为1280×960，输入图像，选取m(m≥3)幅清晰的，并且特征点分布均匀的图像，利用Opencv中函数提取出图像特征点的坐标。

(2)拟合矩形各边所在直线

设平面矩形ABCD，点A，B，C，D的像为a，b，c，d。输入图像，用OpenCV中的函数cvGoodFeaturesToTrack提取出四条边上特征点坐标，利用最小二乘法拟合边ab，bc，cd，da所在直线l₁，l₂，l₃，l₄。

下面以一幅图像中求解直线l₁，l₂，l₃，l₄为例，给出求解过程。

本发明中，设直线l₁，l₂，l₃，l₄方程为k_ix+b_iy＝1(i＝1，2，3，4)，则l_i的线坐标为(k_i，b_i，-1)^T。选取一幅图像，提取出矩形的边AB上不同4个点，利用最小二乘法计算得到l₁＝(0.00052871139，-0.00762418744，-1)^T，l₂＝(-0.00786602122，-0.00969718712，-1)^T，l₃＝(-0.00082612813，0.00040698276，-1)^T，l₄＝(0.00126051181，0.00125035，-1)^T。

(3)求解顶点和灭点图像坐标

下面以上一步中求解出的直线l₁，l₂，l₃，l₄坐标为例，给出求解顶点和灭点图像坐标的过程。

设两组平行线l₁，l₃和l₂，l₄上灭点为p₁，p₂，根据a＝l₁×l₄，b＝l₁×l₂，c＝l₂×l₃，d＝l₃×l₄和p₁＝l₁×l₃，p₂＝l₂×l₄得到矩形各顶点成像的非齐次坐标为：a＝(864.0002，-71.2460)^T，b＝(-901.1559，627.8637)^T，c＝(526.5804，-261.8013)^T，d＝(-108.8.8594，1155.4719)^T，p₁＝(-1320.18245，-222.7117)^T，p₂＝(4584.1284，-3821.6083)^T。

(4)求解各边中点和外接圆圆心图像坐标

设ab，bc，cd，da的中点为e，f，g，h，外接圆圆心为o。根据(ab，ep₁)＝-1，(bc，fp₂)＝-1和(cd，gp₁)＝-1，(da，hp₂)＝-1，得到各边中点的非齐次坐标为：e＝(350.0086，-10.7419)^T，f＝(-391.2946，-201.2505)^T，g＝(-776.3181，462.3985)^T，h＝(271.4846-594.8949)^T。

设e，g所在直线为l_eg，f，h所在直线为l_fh，则由o＝l_eg×l_fh得到外接圆圆心的成像非齐次坐标为：o＝(-3278.2253，1513.3843)^T。

(5)求解平面圆环点图像坐标

设矩形对角线ac，bd所在直线上灭点坐标为p₃，p₄，根据(ac，op₃)＝-1和(bd，op₄)＝-1得到p₃＝(-257.5436-131.0042)^T，p₃＝(-257.5436-131.0042)^T。

设矩形ABCD所在平面上的圆环点为I，J，相应图像坐标为m_i(x_r+x_ii，y_r+y_ii，1)^T，m_j(x_r-x_ii，y_r-y_ii，1)^T。根据下列方程组：

$\left\{\begin{array}{c}({2u}_{p2}-u_{p3}-u_{p4})({x_r}^2+{x_i}^2)+2(u_{p2}^2-u_{p3}{u}_{p4})x_r=2u_{p2}{u}_{p3}{u}_{p4}-u_{p2}^2(u_{p3}+u_{p4})\\ ({2v}_{p2}-v_{p3}-v_{p4})({y_r}^2+{y_i}^2)+2(v_{p2}^2-v_{p3}{v}_{p4})y_r=2v_{p2}{v}_{p3}{v}_{p4}-v_{p2}^2(v_{p3}+v_{p4})\end{array}\right.$ 和

$\left\{\begin{array}{c}{x_r}^2+{x_i}^2-(u_{p1}+u_{p2})x_r=-u_{p1}{u}_{p2}\\ {y_r}^2+{y_i}^2-(v_{p1}+v_{p2})y_r=-v_{p1}{v}_{p2}\end{array}\right.,$ 可以得到： $\left\{\begin{array}{c}{x}_r=-338.9546\\ x_i=-2197.8776\end{array}\right.,$ $\left\{\begin{array}{c}{y}_r=-820.8064\\ y_i=1339.6880\end{array}\right.,$

即得到圆环点的像m_i，m_j的坐标为m_i＝(-338.9546-2197.8776i，-820.8064+1339.6880i，1)^T，m_i＝(-338.9546+2197.8776i，-820.8064-1339.6880i，1)^T。

(6)求解摄像机内参数

选取m(m≥3)图像，重复以上5步，得到m(m≥3)对圆环点的像坐标，建立圆环点的像坐标关于摄像机内参数的方程如下：

$\left(\begin{array}{cccccc}{x_r}^2-{x_i}^2& 2(x_r{y}_r-x_i{y}_i)& 2x_r& {y_r}^2-{y_i}^2& 2y_r& 1\\ x_r{x}_i& x_r{y}_i+x_i{y}_r& x_i& y_r{y}_i& y_i& 0\end{array}\right)C=0.$

利用m(m≥3)幅图像得到m组如上的方程组，将他们组合得到，AC＝0，其中A是一个2m×6的矩阵，C是一个6×1的列向量，它是由对称矩阵ω＝K^-TK^-1确定。根据最小二乘法，在相差一个常数因子下可以唯一的确定矩阵C＝(0.00000021552010，-0.00000000002155，-0.00013792250932，0.00000021552009，-0.00010343583915，0.99999998513916)^T

得到 $\mathrm{\ω}=\left(\begin{array}{ccc}0.00000021552010& -0.00000000002155& -0.00013792250932\\ -0.00000000856906& 0.00000021552009& -0.00010343583915\\ -0.00013792250932& -0.00010343583915& 0.99999998513916\end{array}\right),$

利用Cholesky分解法对ω进行分解后再求逆矩阵得到K，再将K的最后一个元素归一化处理，即得到摄像机的内参数矩阵为

整个过程按照图1所示的流程图进行，依次提取图像特征点坐标、拟合矩形各边所在直线、求解顶点和灭点图像坐标、求解各边中点和外接圆圆心图像坐标、求解平面圆环点图像坐标、求解摄像机内参数。

Claims (1)

1.一种基于二次曲线的摄像机自标定方法，其特征在于该方法采用一个简单的平面矩形模板，充分利用矩形的几何特征和二次曲线的性质，根据射影不变性，线性解出摄像机内参数；具体步骤包括： 

(1)拟合矩形各边所在直线 

设平面矩形ABCD，点A，B，C，D的像为a，b，c，d提取图像特征点坐标，利用最小二乘法拟合边ab，bc，cd，da所在直线1₁，1₂，1₃，1₄； 

(2)求解顶点和灭点图像坐标 

设两组平行线1₁，1₃和1₂，1₄上灭点为p₁，p₂，利用射影变换不变性质，则有： 

和

(3)求解各边中点和外接圆圆心图像坐标 

设ab，bc，cd，da的中点为e，f，g，h，外接圆圆心为o，根据射影不变性和调和共轭关系，则有： 

设e，g所在直线为1_eg，f，h所在直线为1_fh，则可以得到矩形外接圆圆心图像坐标为o＝1_eg×1_fh； 

(4)求解平面圆环点图像坐标 

设矩形对角线ac，bd所在直线上灭点坐标为p₃，p₄，则有：

设矩形ABCD所在平面上的圆环点为I，J，相应图像坐标为m_i(x_r+x_ii，y_r+y_ii，1)^T，m_j(x_r-x_ii，y_r-y_ii，1)^T；根据二次曲线中二阶曲线的性质，若把I，J，C，D看作圆上的四定点，则有(1_AI1_AJ，1_AC1_AD)＝(1_BI1_BJ，1_BC1_BD)，根据交比的射影性质可得：(m_im_j，P₃P₂)＝(m_im_j，P₂P₄)，即： 

若把I，J，B，D看作圆上的四定点，则有(1_AI1_AJ，1_AB1_AD)＝(1_CI1_CJ，1_CB1_CD)，根据交比的射影性质可得：(m_im_j，P_iP₂)＝(m_im_j，P₂P₁)，即： 

x_r ²+x_i ²-(u_p1+u_p2)x_r＝-u_p1u_p2   (3) 

y_r ²+y_i ²-(v_p1+v_p2)x_r＝-v_p1v_p2   (4) 

联立以上方程(1)和方程(3)，解出x_r，x_i的值；联立以上方程(2)和方程(4)，解出y_r，y_i的值；即得到圆环点的像m_i，m_j的坐标； 

(5)利用圆环点性质，建立圆环点图像坐标关于摄像机内参数的约束方程，利用最小二乘法线性解出内参数。 

Images