CN111968182A - 一种双目相机非线性模型参数的标定方法 - Google Patents

Abstract

本发明提供一种双目相机非线性模型参数的标定方法，以一块黑白棋盘格为标定靶标，利用棋盘格标定板上共线内角点的交比不变性估计镜头的径向畸变参数和切向畸变参数，对拍摄的图像对畸变矫正后，根据相机线性成像模型估计相机内外参数，作为初值再进行整体非线性优化得到双目相机的准确标定参数。相比传统方法，该方法运算速度更快，步骤较少，能够获得可靠的高精度标定结果，为双目摄像机标定提供了新的思路。

Description

一种双目相机非线性模型参数的标定方法

技术领域

本发明属于机器视觉领域，涉及一种双目相机非线性模型参数的标定方法。

背景技术

光学三维测量以其非接触、速度快和测量效率高等优势，近年来在工业自动检测中的应用日趋广泛，在几何量测量以及机械制造领域发挥着越来越重要的作用。

摄像机标定是视觉测量领域的关键技术之一，它是从二维图像恢复到三维图像的必不可少的步骤，被广泛应用到三维测量、三维物体重建、物体识别、工业检测、虚拟现实等领域。摄像机标定的本质是：基于数学模型和几何关系，提取位于世界坐标系的3D对象和其位于图像平面或图像坐标系投影之间的量测信息。双目视觉测量***中双目相机标定是后续计算的基础，标定精度直接影响测量结果的精度。

随着视觉测量的应用越来越广泛，国内外很多学者在摄像机的标定领域作了大量的理论研究与实验验证，并且面向不同的应用领域给出了多种方法。一般来说，可将双目相机模型分为线性模型和非线性模型。线性模型未考虑相机镜头的畸变，精度较低，因此非线性模型是当前的主流相机标定模型。非线性摄像机标定方法可分为两类：1、基于极线约束的自标定方法，该方法无需预知目标的三维坐标，但是缺乏稳定性；2、传统的摄像机标定方法，该方法需要在摄像机视场中放置一个已知三维信息的靶标，然后根据摄像机参数模型推导出空间坐标系和图像坐标系之间的关系。

传统标定方法对单个相机标定精度较高，但是对于双目相机非线性标定仍有不足。目前主流的双相机标定方法需要先对单个摄像机进行标定，再通过矩阵变换方式求解两摄像机间的旋转平移关系，并以此作为初值进行非线性优化，求得最终双相机内外参数。此过程非线性优化步骤过多、耗时较长，并且对于镜头畸变较大的摄像机，将摄像机线性参数和镜头畸变系数同时标定优化会导致非线性参数与线性参数的耦合，造成标定结果不准确。

发明内容

本发明针对传统双目相机标定方法的不足，提出了一种用于双目相机非线性模型参数标定的快速计算方法。以一块黑白棋盘格为标定靶标，利用棋盘格标定板上共线内角点的交比不变性估计镜头的径向畸变参数和切向畸变参数，对拍摄的图像对畸变矫正后，根据相机线性成像模型估计相机内外参数，作为初值再进行整体非线性优化得到双目相机的准确标定参数。相比传统方法，该方法运算速度更快，步骤较少，能够获得可靠的高精度标定结果，为双目摄像机标定提供了新的思路。

为实现上述目的，本发明采用如下技术方案：

一种双目相机非线性模型参数的标定方法，包括如下步骤：

步骤1：用双目相机从多个视角方位朝向同一标定板进行多次拍摄，获取若干对左右图像，采集图像时保持双目相机的焦距不变、左右相机的相对位置固定不变，且所有内角点在画面内清晰可见；

步骤2：检测出所有图像中的内角点的亚像素坐标，并与其世界坐标一一对应；

步骤3：构建双目相机镜头的畸变模型，求解畸变模型的畸变参数；

步骤4：双目相机内参矩阵估计；

步骤5：利用步骤3确定的畸变模型对左右图像进行矫正，根据矫正后的左右图像建立线性相机模型；

步骤6：根据线性相机模型求解相机内外参数；

步骤7：利用已求得的相机内外参作为全局非线性优化的初始值，利用优化算法得出最终精确的双目相机标定参数值。

进一步的，步骤3中，求解畸变模型的畸变参数包括如下步骤：

所述畸变模型为：

式中(x',y')是理想的无畸变的图像坐标值，(x,y)是相应的带畸变的图像坐标值，k₁,k₂为径向畸变参数，p₁,p₂为切向畸变参数，r是该点距成像中心的距离，r²＝x²+y²；

取图像轮廓沿共线相邻的四点P_i,i＝1,2,3,4，设这四点在图像上的含畸变坐标分别为P₁(x₁,y₁),P₂(x₂,y₂),P₃(x₃,y₃),P₄(x₄,y₄)；根据交比不变性可得：

式中CR为P₁,P₂,P₃,P₄四点交比，SR为简比，a为棋盘格中小方块的边长；

在图像轮廓上每条边都取连续4点的坐标数据参与运算，P_i,i＝1,2,...,16，将畸变模型代入式(2)立畸变参数求解方程组：

式中P_i表示各边上的连续4点，CR表示其交比；对(3)式进行求解，即可得到畸变参数k₁,k₂,p₁,p₂，对左右相机均进行此操作可估计出左右相机的畸变参数。

进一步的，步骤2中，利用OpenCV中的角点检测算法检测出所有图像中的内角点的亚像素坐标。

进一步的，步骤7中所述算法为Levenberg-Marquardt优化算法。

有益效果：

1、利用拍摄的单幅图像估计畸变参数，为后续的非线性优化提供了畸变参数的精确初值。

2、利用相机线性成像模型求解相机内外参，大大减少了非线性优化的运算量，在时间花费上优于传统双目相机标定算法。

3、在先求解出部分参数精确初值的情况下，避免了非线性优化陷入局部最优，标定精度略高于传统双目相机标定方法。

附图说明

图1是本发明总体步骤流程图；

图2是交比不变性示意图；

图3是镜头畸变模型示意图；

图4是像平面取交比点的示意图；

图5是相机线性透视投影模型示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明确，以下参照附图对本发明进一步详细说明。

本发明提出的一种用于双目相机非线性模型参数标定的快速计算方法，总体流程图如图1所示。交比不变性原理的示意图如图2所示。本发明采用的相机畸变模型示意图如图3所示。利用交比不变性计算畸变参数时点的选取如图4所示。相机线性透视投影模型示意图如图5所示。优先计算相机内外参的双目相机标定方法具体实施如下所述：

步骤1：采集标定板图像

本发明要求使用双目相机从多个视角方位朝向同一黑白棋盘格标定板进行多次拍摄，获取15～20对左右图像，采集图像时保持相机的焦距不变、左右相机的相对位置固定不变，且所有内角点在画面内清晰可见。并要求第一次采集尽量让相机与标定板垂直，且能清晰看见所有内角点，棋盘格尽量布满整个画面三分之二以上。

步骤2：亚像素角点检测

本发明利用OpenCV中的角点检测算法检测出所有图像中的内角点的亚像素坐标，并与其世界坐标一一对应。

步骤3：畸变参数估计

本发明利用第一次对标定板拍摄的左右图像对进行相机畸变参数求解。

(1)交比不变性

在空间几何变换中，某些几何特性在变换前后具有不变化的特性，这样的特性或特征量称为不变特性或不变量。如图2所示，直线L上三个点A、B、C，以A、B为基础点，点C为分点(该点C为内分点或外分点)，由分点与基础点所确定的两个有向线段之比称为简比，记作：

SR(A,B；C)＝AC/BC (1)

一条直线上四个点中两个简单比的比值称为交比。如图2中直线L上四个点A、B、C、D的交比(也叫共线点的交比)为

式(2)中，点A，B为基础点对，点C，D为分隔点对。

可以证明如下关系：

CR(A,B；C,D)＝CR(A′,B′；C′,D′) (3)

即为透视投影的交比不变性质。

(2)镜头的畸变模型：

由于镜头畸变的客观存在，在实际摄像机标定中，必须选择合适的镜头畸变模型，并对镜头畸变进行校正。镜头畸变校正的本质就是根据镜头畸变模型来估计镜头的畸变系数。

图3所示为本发明所用的镜头畸变模型，避免引入过多畸变参数导致数值解不稳定，本发明只考虑二阶径向畸变和切向畸变的影响。

径向畸变在成像中心(光学中心)的畸变为0，随着向边缘移动，畸变越来越严重，可设径向畸变模型为：

式中(x_dr,y_dr)是理想的无畸变的图像坐标值，(x,y)是相应的带畸变的图像坐标值，k₁为一阶径向畸变参数，k₂为二阶径向畸变参数，r是该点距成像中心的距离，r²＝x²+y²。

切向畸变是由于透镜制造上的缺陷使得透镜本身与图像平面不平行而产生的。可设切向畸变模型为：

式中(x_dt,y_dt)是理想的无畸变的图像坐标值，(x,y)是相应的带畸变的图像坐标值，p₁为一阶切向畸变参数，p₂为二阶切向畸变参数。

可设包含径向畸变和切向畸变的相机畸变模型为：

式中(x',y')是理想的无畸变的图像坐标值，(x,y)是相应的带畸变的图像坐标值，k₁,k₂为径向畸变参数，p₁,p₂为切向畸变参数。

(3)畸变参数求解

本发明所用畸变模型包含k₁,k₂,p₁,p₂四个畸变参数。由畸变模型可知畸变在远离光心的边缘处更明显，棋盘格最外层内角点组成的矩形轮廓(图4中红色虚线圈标注)因此产生了变形。

取红色轮廓上边沿共线相邻的四点P_i,i＝1,2,3,4，设这四点在图像上的含畸变坐标分别为P₁(x₁,y₁),P₂(x₂,y₂),P₃(x₃,y₃),P₄(x₄,y₄)。根据交比不变性可得：

式中CR为P₁,P₂,P₃,P₄四点交比，SR为简比，a为棋盘格中小方块的边长。

在图4的红色轮廓上每条边都取连续4点的坐标数据参与运算(P_i,i＝1,2,...,16)，将畸变模型代入式(7)可建立畸变参数求解方程组：。

式中P_i表示各边上的连续4点，CR表示其交比。对(8)式进行求解，即可得到畸变参数k₁,k₂,p₁,p₂，对左右相机均进行此操作可估计出左右相机的畸变参数。

步骤4：相机内参估计

设左右相机的内参矩阵为A₁和A₂，假设相机的分辨率为m×n，相机镜头焦距为f，像素尺寸为d_x×d_y，则相机内参矩阵可估计为：

步骤5：左右图像对畸变矫正

利用步骤3中所求得的畸变系数对左右图像对进行畸变矫正。

步骤6：线性相机成像模型求解

线性相机成像模型是根据针孔成像原理理想化得到的，涉及到四个坐标系，分别是表示成像目标空间三维坐标的世界坐标系O_wX_wY_wZ_w、相机坐标系O_cX_cY_cZ_c以及对应图像二维坐标的图像坐标系O₁xy和以像素为单位的平面坐标系O₀uv，其对应关系如图5所示。

图5中主点O₁是相机镜片中心光轴和成像平面π的交点，在像素坐标系下的坐标为(u₀,v₀)，空间中位于视场范围内任意一点P_w的齐次世界坐标为[X_w Y_w Z_w 1]^T，投影到成像平面π上，对应点P₁的平面坐标为[x y 1]^T，相应的像素坐标为[u v 1]^T，根据直接线性变换原理将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式为：

式中f_x,f_y分别代表x和y方向的等效焦距，u₀,v₀代表主点的像素坐标，矩阵A为相机的內参矩阵，[R t]为相机标定的外参数矩阵，s是未知的尺度因子。空间点和图像点的对应关系可以由上式描述，根据棋盘格内角点和空间点的对应关系便可以求解相机的内外参数。

步骤7：全局非线性优化

求解出的相机内外参数以及畸变系数只是相互分离的粗略标定结果，为了达到最理想的标定结果，根据重投影误差最小原则，也即根据标定结果进行空间点二维投影计算，对计算结果与实际的测量数值进行比较，并使其差值最小的原则，建立非线性全局优化目标函数：

式中

表示平面π^j上的N^j个内角点，

为

在第i个相机像平面上的像素坐标。式中

表示

重投影的像素坐标，使用Levenberg-Marquardt优化算法得出最终双目相机内外参数值。

需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述基础上做出的等同替换或者替代均属于本发明的保护范围。

Claims (5)

1.一种双目相机非线性模型参数的标定方法，其特征在于，包括如下步骤：

步骤1：用双目相机从多个视角方位朝向同一标定板进行多次拍摄，获取若干对左右图像，采集图像时保持双目相机的焦距不变、左右相机的相对位置固定不变，且所有内角点在画面内清晰可见；

步骤2：检测出所有图像中的内角点的亚像素坐标，并与其世界坐标一一对应；

步骤3：构建双目相机镜头的畸变模型，求解畸变模型的畸变参数；

步骤4：双目相机内参矩阵估计；

步骤5：利用步骤3确定的畸变模型对左右图像进行矫正，根据矫正后的左右图像建立线性相机模型；

步骤6：根据线性相机模型求解相机内外参数；

步骤7：建立非线性全局优化目标函数，利用已求得的相机内外参作为全局非线性优化的初始值，利用优化算法得出最终精确的双目相机标定参数值。

2.根据权利要求1所述的一种双目相机非线性模型参数的标定方法，其特征在于，步骤3中，求解畸变模型的畸变参数包括如下步骤：

所述畸变模型为：

式中(x',y')是理想的无畸变的图像坐标值，(x,y)是相应的带畸变的图像坐标值，k₁,k₂为径向畸变参数，p₁,p₂为切向畸变参数，r是该点距成像中心的距离，r²＝x²+y²；

取图像轮廓沿共线相邻的四点P_i,i＝1,2,3,4，设这四点在图像上的含畸变坐标分别为P₁(x₁,y₁),P₂(x₂,y₂),P₃(x₃,y₃),P₄(x₄,y₄)；根据交比不变性可得：

式中CR为P₁,P₂,P₃,P₄四点交比，SR为简比，a为棋盘格中小方块的边长；

在图像轮廓上每条边都取连续4点的坐标数据参与运算，P_i,i＝1,2,...,16，将畸变模型代入式(2)立畸变参数求解方程组：

式中P_i表示各边上的连续4点，CR表示其交比；对(3)式进行求解，即可得到畸变参数k₁,k₂,p₁,p₂，对左右相机均进行此操作可估计出左右相机的畸变参数。

3.根据权利要求1所述的一种双目相机非线性模型参数的标定方法，其特征在于，步骤2中，利用OpenCV中的角点检测算法检测出所有图像中的内角点的亚像素坐标。

4.根据权利要求1所述的一种双目相机非线性模型参数的标定方法，其特征在于，步骤7中所述非线性全局优化目标函数为：

式中

表示平面π^j上的N^j个内角点，

为

在第i个相机像平面上的像素坐标，

表示

重投影的像素坐标。

5.根据权利要求1所述的一种双目相机非线性模型参数的标定方法，其特征在于，步骤7中所述算法为Levenberg-Marquardt优化算法。

Images