CN102800096A - 一种摄像机参数的鲁棒性估计算法 - Google Patents

Abstract

本发明属于测量技术领域，将提供一种摄像机参数的鲁棒性估计算法。本发明首先利用提取到的所有图像特征点进行摄像机参数的标定；然后计算每个特征点的重投影误差，并与设定的阈值进行比较，剔除含有粗大误差的特征点，利用剩余的特征点进行摄像机参数的非线性优化；最后，依次针对每幅图像，计算该图像的重投影误差，采用RANSAC算法剔除每幅图像包含的粗大误差特征点，并再次利用剩余的特征点进行摄像机参数的非线性优化。本发明提出的摄像机参数估计方法实现简单，鲁棒性强，能够有效提高摄像机参数的标定精度和测量精度，适合标定图像局部质量较差，导致部分特征点坐标提取不准确的情况。

Description

一种摄像机参数的鲁棒性估计算法

技术领域

本发明属于测量技术领域，涉及一种摄像机参数的鲁棒性估计算法，能够在标定图像局部质量较差的情况下准确地确定出摄像机参数。

背景技术

摄像机标定是视觉测量中一个重要而关键的环节，其主要任务在于通过靶标特征点的二维图像坐标与对应的三维世界坐标求解摄像机参数。摄像机标定结果的准确程度对于整个机器视觉***的测量结果有着重要的影响。如果标定的摄像机参数不能准确反映真实的摄像机模型，则由该参数参与计算得到的物体三维重构形状将会变形失真，对物体的位置和姿态的估计将会出现偏差，获取的被测物的几何特征精度将会下降。摄像机标定过程中，由于标定图像的拍摄受到外界环境的干扰，部分靶标图像的特征点坐标常常难以准确提取，这将导致计算得到的摄像机参数误差增大。如果采用恰当的方法检测并去除含有粗大误差的特征点，并对最初得到的摄像机参数进行重新估计，则会大大提高标定结果的精度。目前，针对采用三维立体靶标和直接线性变换法的摄像机标定过程，Wu Yihong等人采用基于6点不变量的评价函数和RANSAC方法(随机抽样一致算法,参见Random sample consensus:aparadigm for model fitting with applications to image analysis and automatedcartography.Communications of ACM[J].1981,24:381–395)成功地检测并剔除了粗大误差点(参见Detecting and handling unreliable points for cameraparameter estimation.International Journal of Computer Vision[J].2008,79:209–223)。然而，由于构成三维立体靶标的不同平面之间的相互遮挡以及高精度三维靶标加工困难，三维靶标逐渐被二维平面靶标取代。对于更为常用的采用二维平面靶标的标定方法(参见A flexible new technique for cameracalibration.IEEE Transactions on Pattern Analysis and MachineIntelligence[J].2000,22(11):1330–1334),现在尚无一种能够有效检测并剔除粗大误差点的摄像机参数鲁棒性估计算法。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于二维靶标的摄像机参数鲁棒性估计算法，该算法能够有效解决由于标定图像局部质量较差导致标定的摄像机参数精度下降的问题。

本发明的技术解决方案为：一种摄像机参数的鲁棒性估计算法，其特征在于该方法包含以下步骤：

1、自由移动靶标至少3个位置，每移动一个位置，拍摄一幅图像，靶标内所有特征点应该包含在拍摄图像内，提取图像所含特征点的坐标，利用特征点的图像坐标与已知的世界坐标的对应关系求解摄像机参数的初始值；

2、利用获取的摄像机参数计算每个特征点的重投影误差E_pt，并与设定的阈值T_pt进行比较，剔除满足条件E_pt>T_pt的特征点，利用剩余的特征点进行摄像机参数的非线性优化，步骤2将反复进行直到剩余的所有特征点均满足E_pt≤T_pt；

3、利用步骤2得到的摄像机参数计算每幅图像的重投影误差E_img，根据每幅图像的E_img设定阈值T_rsc，采用RANSAC算法检测出每幅图像的粗大误差特征点，利用剔除后的剩余特征点对摄像机参数再次进行优化。

步骤1所述的靶标为玻璃材质的棋盘格平面靶标，靶标特征点为平面上的36×36个格点，格点之间的最小距离为2mm；

步骤2和步骤3所述的非线性优化均采用Levenberg-Marquardt算法处理目标函数的极小化问题。

本发明与现有技术相比的优点在于：

针对基于二维靶标的摄像机参数标定过程，本发明利用阈值剔除和RANSAC算法相结合的手段，能够有效地检测到标定图像中存在的粗大误差特征点，剔除后剩余的特征点将用于摄像机参数的优化。采用本发明所提出的鲁棒性估计算法，尤其适用于标定图像局部质量受损的情形，能够大大提高摄像机参数的标定精度和测量精度。

附图说明

图1为本发明涉及的摄像机参数鲁棒性估计算法流程示意图；

图2为本发明实施例中用于摄像机标定的一幅靶标图像；

图3为本发明实施例中用于标定结果测试的一幅靶标图像。

具体实施方式

下面对本发明做进一步详细说明。本发明针对标定图像中含有部分粗大误差特征点的情况，首次采用阈值剔除和RANSAC算法相结合的手段，消除了粗大误差特征点对标定结果的影响，实现了摄像机参数的鲁棒性估计。

摄像机模型：

以拍摄的靶标平面为参考建立世界坐标系，以摄像机所在位姿为参考建立摄像机坐标系。设任意一个特征点在世界坐标系下的坐标为M，对应的图像点坐标为m，则理想的针孔成像模型表示为：

$\mathrm{\λ}\tilde{m}=A\left(R\right|t)\tilde{M}---\left[1\right]$

其中λ为不为零的比例因子，

和

为齐次坐标表示，R和t为世界坐标系与摄像机坐标的变换，分别表示3×3的旋转矩阵和3×1的平移向量，A为内部参数矩阵：

$A=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]$

其中f_x和f_y为摄像机的有效焦距，(u₀,v₀)为摄像机的主点坐标。考虑摄像机镜头的一阶和二阶径向畸变，设点m对应的实际图像坐标为m_d，则理想图像坐标到实际图像坐标的变换，即摄像机镜头的畸变模型为：

m_d＝[1+k₁r²+k₂r⁴]m         [2]

其中k₁和k₂分别为一阶和二阶径向畸变系数，r为理想图像点m到主点坐标的距离。

下面详细阐述一种摄像机参数鲁棒性估计算法的具体步骤：

1、自由移动靶标至少3个位置，每移动一个位置，在自然光照环境下拍摄一幅图像，称为标定图像，靶标内所有特征点应该包含在拍摄图像内，共获取K幅靶标图像，并提取图像中各个特征点的坐标。所采用的靶标为玻璃材质的棋盘格平面靶标，靶标特征点为平面上的36×36个格点，格点之间的最小间距为5mm。为了便于公式表达，设每幅图像含有L个特征点，特征点图像坐标提取方法参见《模式识别中的特征提取与计算机视觉不变量》（孙即祥、王晓华、种山著，国防工业出版社，2001年）。

2、利用特征点的图像坐标与已知的世界坐标的对应关系求解摄像机参数的初始值，包括内部参数、外部参数和畸变系数，具体算法参见ZhangZhengyou的论文“A flexible new technique for camera calibration.IEEETransactions on Pattern Analysis and Machine Intelligence[J].2000,22(11):1330–1334”。

3、利用获取的摄像机参数，将特征点在世界坐标系中的坐标M重投影到图像平面，重投影的坐标表示为m_p，并计算每个特征点的实际图像坐标m_d与m_p的距离，即重投影误差E_pt。将E_pt与设定的阈值T_pt=2pixel进行比较，逐个剔除满足条件E_pt>T_pt的特征点，并利用剩余的特征点进行摄像机参数的非线性优化，其优化的目标函数为：

$\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{L_i}{\mathrm{\Σ}}}{\left|\right|m_{d,i,j}-m_{p,i,j}(f_x,f_y,u_0,v_0,k_1,k_2,R_i,t_i)\left|\right|}^2---\left[3\right]$

其中i表示标定图像的序号，j表示标定图像中特征点的序号，K表示标定图像的幅数，L_i表示第i幅图像剔除粗大误差特征点后剩余的特征点个数。步骤3将反复进行直到剩余的所有特征点均满足E_pt≤T_pt。

4、利用步骤3得到的摄像机参数计算每幅图像的重投影误差E_img(参见《Multiple View Geometry in Computer Vision》，H.Richard and A.Zisserman，Cambridge University Press，2003年)，根据每幅图像的E_img设定相应的阈值T_rsc=1.2E_img，并初始化RANSAC算法的参数：采样次数上限值N＝∞,野值点（即RANSAC中的粗大误差特征点）比例ε=100%，随机样本中至少有一次没有野值点的概率p=99%,样本大小s=4，采样次数n=1，以上参数满足的关系为：

$N=\frac{\log (1-p)}{\log (1-{(1-\mathrm{\ϵ})}^s)}---\left[4\right]$

5、对于第i幅标定图像，按照图像特征点的分布，将特征点均匀地分为4个区域，从每个区域中都随机选取一个特征点组成一个样本。根据随机选取的4个特征点以及步骤3得到的内部参数和畸变系数计算该样本对应的外部参数，并根据以上参数计算该幅图像每个特征点的重投影误差E_rsc。

6、满足条件E_rsc≤T_rsc的特征点定义为内点，内点的集合表示为S_in，内点个数表示为Num(S_in)；不满足条件E_rsc≤T_rsc的特征点定义为野值点，野值点的集合表示为S_out，野值点个数表示为Num(S_out)。根据公式[5]计算该样本对应的野值点比例ε^*，若满足条件ε^*<ε，则令ε=ε^*，并根据公式[4]更新N的数值。

${\mathrm{\&epsiv;}}^{*}=\frac{\mathrm{Num}\left(S_{\mathrm{out}}\right)}{\mathrm{Num}\left(S_{\mathrm{in}}\right)+\mathrm{Num}\left(S_{\mathrm{out}}\right)}---\left[5\right]$

7、如果采样次数n大于上限值N，则在所有内点集合S_in中选出内点个数最大的集合，称为最大一致集S_con。如果有两个以上的内点集合S_in具有最大的内点个数，则选取其中内点重投影误差均值较小的集合为最大一致集。如果采样次数n小于或等于上限值N，则令n=n+1，返回到步骤5。

8、如果当前处理的标定图像序号i=K，即所有图像的特征点均处理完毕，则最终参与标定的内点集合C由每幅图像的最大一致集构成，即

根据公式[3]，集合C中的所有特征点将用于摄像机参数的非线性优化。如果当前处理的标定图像序号i<K，则令i＝i+1，返回到步骤5，处理下一幅图像。

实施例

采用Point grey FL2-20S4M/C相机和12mm Computar镜头组成待标定的摄像机，图像分辨率为1280pixels×960pixels。实施例中采用的靶标为玻璃材质的棋盘格平面靶标，靶标特征点为平面上的36×36个格点，格点之间的最小间距为2mm，间距的制作精度为0.001mm。

在自然光照条件下，自由移动靶标到10个不同的位置，每移动一个位置，拍摄一幅图像，靶标上所有的特征点应包含在拍摄图像内，共获取10幅靶标图像作为标定图像(图2所示为用于标定的一幅图像)。在背光源照明条件下，采用同样的拍摄手段，得到5幅靶标图像作为测试图像(图3所示为用于测试的一幅图像)，用于评定标定结果的测量精度。按照具体实施方法中所述的步骤2得到摄像机参数的初始值，由步骤8即本发明方法得到鲁棒性估计值(见表一)。其中，标定精度的评价方法为：利用已标定的摄像机参数结果，得到10幅标定图像中特征点的重投影坐标，计算其与对应的实际图像坐标的均方根误差。测量精度的评价方法为：采用未标定的5幅图像作为测试图像，运用参数的标定数值，计算出每幅测试图像的靶标平面位姿参数，再将每幅测试图像的图像特征点反投射到靶标平面形成交点，计算其与所有空间特征点之间的距离的均方根误差(见表二)。

表一

表二

从表一和表二的数据可以看出，未采用本发明方法得到的摄像机参数初始值，达到的标定精度和测量精度分别为0.752pixel和0.0176mm，而采用本发明的鲁棒性估计方法所获得的摄像机参数，其标定精度和测量精度分别为0.240pixel和0.0116mm,较初始值均有不同程度的提高。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (3)

1.一种摄像机参数的鲁棒性估计算法，其特征在于该方法包含以下步骤：

1.1、自由移动靶标至少3个位置，每移动一个位置，拍摄一幅图像，靶标内所有特征点应该包含在拍摄图像内，提取图像所含特征点的坐标，利用特征点的图像坐标与已知的世界坐标的对应关系求解摄像机参数的初始值；

1.2、利用获取的摄像机参数计算每个特征点的重投影误差E_pt，并与设定的阈值T_pt进行比较，剔除满足条件E_pt>T_pt的特征点，利用剩余的特征点进行摄像机参数的非线性优化，步骤1.2将反复进行直到剩余的所有特征点均满足E_pt≤T_pt；

1.3、利用步骤1.2得到的摄像机参数计算每幅图像的重投影误差E_img，根据每幅图像的E_img设定阈值T_rsc，采用RANSAC算法检测出每幅图像的粗大误差特征点，利用剔除后的剩余特征点对摄像机参数再次进行优化。

2.根据权利要求1所述的一种摄像机参数的鲁棒性估计算法，其特征在于：步骤1.1所述的靶标：为玻璃材质的平面靶标，靶标特征点为平面上的36×36个格点，格点之间的最小距离为2mm。

3.根据权利要求1所述的一种摄像机参数的鲁棒性估计算法，其特征在于：步骤1.2和1.3所述的非线性优化：采用Levenberg-Marquardt优化算法处理目标函数的极小化问题。

Images