CN113781581B - 基于靶标松姿态约束的景深畸变模型标定方法 - Google Patents

Abstract

本发明属于计算机视觉测量领域，提供了一种基于靶标松姿态约束的景深畸变模型标定方法，包括标定图像采集以及景深畸变模型标定。标定图像采集方面，利用相机获取靶标在景深内多个姿态的图像，摆放姿态无需靶标平面与光轴垂直，仅需保证靶标覆盖成像视场和景深，且靶标上的直线和角点两类特征可以成像即可。在景深畸变模型标定方面，首先，利用以所有靶标图像中心区域的角点距离为约束标定内参数矩阵；其次，根据单应性矩阵计算靶标上直线点的物距；再次，以检测的直线点到其所在直线的距离最小为约束，建立包含景深畸变模型参数的最小化目标函数；最后，以直线点的像素坐标、直线点的物距、焦距为输入量，优化目标函数完成景深畸变模型所有参数的求解。

Description

基于靶标松姿态约束的景深畸变模型标定方法

技术领域

本发明属于计算机视觉测量领域，涉及一种景深畸变模型参数的标定方法，该标定方法在实施时无需靶标与相机光轴保持垂直的摆放姿态。

背景技术

视觉测量技术通过图像信息和成像模型参数定量表征对象信息，具有非接触、实时、高精度以及全场测量的优势，被广泛应用于各种领域，视觉***成像模型参数包含内参数、外参数和畸变参数。其中，畸变参数与成像景深具有强关联性。因此，保证景深畸变模型参数标定的便携性和精度对于提升视觉***测量精度和实用性具有重要意义。

中国石油大学(华东)的李肖等人公开了专利号为CN 112258584A“一种考虑景深维度和空间等畸变量分区的镜头畸变模型”，该发明专利同时考虑了景深维度和空间等畸变量分区对畸变模型的影响，创新的建立了畸变模型。此外，2017年，北京信息大学的孙鹏在Optics Express期刊上发表了题为“Modelling and calibration of depth-dependentdistortion for large depth visual measurement”的论文，论文提出了适用于大物距、宽视野成像场景的景深畸变模型，求解并校准了与光轴垂直的任意离焦平面上的畸变量，将6m物距、7.0m×3.5m×2.5m空间内的视觉的三维测量精度从0.055mm提升到0.028mm。对于以上景深畸变模型标定方法，在实施时需要保证靶标平面与光轴始终垂直摆放，这对实验装置和操作流程提出了很高要求，使得整个标定过程繁琐、人为误差易于引入、实用性差。

发明内容

本发明要解决的技术难题是克服现有技术的缺陷，发明一种基于靶标松姿态约束的景深畸变模型标定方法。包括：标定图像采集和景深畸变模型标定。在标定图像采集方面，利用相机获取靶标在景深内多个姿态的图像，靶标的摆放姿态无需靶标平面与相机光轴垂直，仅需保证靶标覆盖相机的视场和景深，且靶标上的直线和角点这两类特征可以成像即可。在景深畸变模型标定方面，首先，利用多张靶标图像中心区域的角点距离约束标定相机成像模型的内参数；其次，根据单应性矩阵解算靶标图像上直线点的物距；再次，以检测的直线点到其所在直线的距离最小为约束，建立包含景深畸变模型参数的最小化目标函数；最后，以直线点的像素坐标、直线点的物距、焦距为输入量，优化目标函数完成景深畸变模型所有参数的求解。

本发明一种基于靶标松姿态约束的景深畸变模型标定方法，根据多个姿态下采集的靶标图像，在依次完成基于图像中心角点距离约束的成像模型内参数求解，以及基于单应性矩阵的图像直线点物距求解后，以点到直线的距离平方最小为目标函数优化求解景深畸变模型参数。有别于其他景深模型标定方法对靶标和相机光轴的垂直姿态摆放要求，本发明的标定方法对靶标姿态约束较松，仅需多个摆放姿态的靶标覆盖视场和景深，并保证靶标上直线和角点可见即可。本发明方法在保证畸变模型标定精度的前提下提高了标定的便捷性，标定成本低。

一种基于靶标松姿态约束的景深畸变模型标定方法，步骤如下：

第一步，图像采集

整个相机深畸畸变模型标定实验***有一个相机、一个镜头和一个靶标组成；用于相机景深畸变模型中参数标定的靶标为平面板，其上布置有直线和角点两类特征，两两直线的交点为角点在加工时保证两两角点之间的距离精确已知；图像采集是相机景深畸变模型参数求解的前提；首先，打开安装有镜头的相机，设置相机采集帧频、曝光时间、焦距、分辨率，调节对焦距离后完成镜头对焦；其次，将靶标在相机前面摆放多个姿态，不需要靶标与镜头光轴垂直，仅需保证靶标姿态能覆盖相机的视场和景深，并且角点和直线都能成像即可。每摆放完一个靶标姿态后，使靶标处于静止状态，并利用相机采集靶标图像，最终采集获得多个姿态下的靶标图像。

第二步，相机景深畸变模型标定

(1)相机成像模型

相机成像模型描述了物方空间点与像方图像点之间的一一映射关系，记物方空间点的齐次坐标为(x,y,z,1)^T，其在图像上的无畸变投影点/>的齐次坐标为(u,v,1)^T。因为靶标平面和图像平面均为二维平面，则相机成像模型可表达为：

其中，s为比例因子，为内参数矩阵，C₀＝(c_x,c_y)^T为图像的畸变中心，f_x、f_y为u、v方向上的等效焦距。f_x＝f/d_x，f_y＝f/d_y，d_x和d_y为像元在水平和垂直方向上的物理尺寸。f为镜头焦距。r₁和r₂为世界坐标系和相机坐标系间旋转变换矩阵的前两个列向量，t为世界坐标系和相机坐标系间的平移向量。H＝s·M·[r₁ r₂ t]为单应性矩阵，表述了靶标平面和图像平面两个平面之间的转换关系。

(2)相机景深畸变模型

制造和装配工艺缺陷导致镜头产生径向畸变和偏心畸变，使得直线在图像上的投影为曲线。采用多项式来表达镜头畸变模型，公式如下：

其中，为畸变图像点坐标，δ_u、δ_v是图像点在u、v方向上的畸变函数，为图像点的畸变半径，k₁和k₂分别为第一阶和第二阶径向畸变参数，p₁和p₂分别为第一阶和第二阶偏心畸变参数。

镜头畸变大小跟景深位置密切关联，特别是在近景条件下，此种关联性更强、产生的畸变量更大。考虑到物距不同所引起的成像畸变不同，将物距与畸变模型联系起来建立景深畸变模型，其表达式为：

其中，为放大参数，满足/> 分别为对焦物距为s_n、s_m、和s_k的对焦平面上的第i阶径向畸变参数。/>和/>分别是对焦物距为s_n和s_m的两个对焦平面上的第i阶偏心畸变参数，f为镜头焦距。参考Duane C.Brown论文“Close–rangecamera calibration”以及Clive S.Fraser论文“Variation of distortion within thephotographic field”可以得到如下公式：

其中，g为经验参数，和/>为镜头对焦于物距为s时，处于物距s_k处的离焦平面的第i阶径向畸变参数和偏心畸变参数，/>为位于对焦于无穷远处的对焦平面的第i阶偏心畸变参数，将公式(4)结果推广到处于任意物距s_n、s_m和s_k的离焦平面，得到由公式(5)表示的各离焦平面间的畸变参数关系式：

其中，和/>为当对焦于物距s时，处于物距为s_n的离焦平面上的第i阶径向畸变参数和偏心畸变参数；/>和/>为当对焦于物距s时，处于物距为s_m处的离焦平面上的第i阶径向畸变参数和偏心畸变参数；公式(5)中的径向畸变参数以及偏心畸变参数不依赖于对焦距离s和对焦平面上的畸变参数，这样就建立了镜头的相机景深畸变模型。

(3)相机景深畸变模型标定

1)内参数标定

考虑到镜头畸变在图像中心小，四周大的特点，本发明以所有靶标图像中心区域上角点之间的已知距离为约束，利用张正友2000年发表论文“A flexible new techniquefor camera calibration”中的方法标定相机的内参数矩阵进而通过f_x＝f/d_x得到相机焦距f。

2)直线点物距求解

镜头畸变会使得物方直线在图像上扭曲为曲线，即直线上的点在镜头畸变作用下的成像会呈曲线分布，本发明根据这一事实利用直线点求解畸变参数。首先，利用灰度重心法定位图像上直线点的像素坐标，灰度重心法可用公式(6)表示为：

其中，f(u,v)是坐标为(u,v)^T的像素点的灰度值，Θ为过(u,v)^T点在直线垂直方向上的像素点的集合，为定位的直线点的像素坐标。

由公式(5)知，畸变参数求解要求直线点物距已知，为此，本发明在定位直线点的基础上计算直线点的物距。假设图像上定位到的某一个直线点p的坐标为令其中p′＝(p_x,p_y,p_z)^T。经过单应性矩阵H作用后直线点坐标为/>则该靶标图像上直线点p的物距可用公式(7)表示为：

3)景深畸变模型参数求解

物方直线在镜头畸变的作用变成曲线所产生的直线度变化可用径向畸变参数和偏心畸变参数来表达。假设一条直线上有n个直线点，第j个直线点为Ω_j＝(u_j,v_j)^T，j＝1,2,...,n，这些直线点所确定的回归直线方程可表达为：

其中，为回归直线与u的夹角，γ为点到回归直线的距离，则点到回归直线距离的平方可表示为：

其中，α＝a-c，

在此基础上，标定景深畸变模型。首先，假设相机共采集了η′张靶标处于不同姿态下的图像，第η张图像有l_η条直线，第η张图像的第i′条直线上检测出了N_η,j个直线点，^ηΩ_i′为第η张图像第i′条直线上所有直线点的集合，^ηΩ_i′,j和^ηs_i′,j分别为第η张图像第i′条直线上第j个直线点以及该直线点的物距。随后，本发明以点到回归直线的距离最小为目标，将公式(5)所示的景深畸变模型带入公式(2)和公式(9)中，优化求解畸变参数i＝1,2。建立的最小化目标函数可表示为：

公式(5)为具有任意物距的直线点的径向畸变参数和偏心畸变参数，该两类畸变参数与其他两个直线点的物距、径向畸变参数、偏心畸变参数以及镜头的焦距f有关。为进行求解，在景深内选定两个直线点，物距分别为s_k和s_m。然后，以所有靶标图像上的直线点的像素坐标^ηΩ_i′,j、直线点的物距^ηs_i′,j、已经标定出的焦距f为输入量，通过D.Marquardt发表论文“An algorithm for least squares estimation on nonlinear parameters”中的Levenberg–Marquardt(LM)算法优化公式(10)所示的目标函数，进而求得景深畸变模型参数至此就在靶标摆放姿态松约束的条件下完成了景深畸变模型各个参数的求解。

本发明的有益结果是提出了一种对靶标摆放姿态无严格要求的景深畸变模型标定方法。而对于其他景深畸变模型标定方法，为了使得标定方法顺利进行，需要靶标与相机光轴始终保持垂直的摆放姿态，由此对标定实验装置以及操作流程提出了很高要求，具有标定时间成本高，易于引入人为误差，实用性差的弊端，而本发明的标定方法克服了传统标定方法对靶标摆放姿态的强约束依赖，在保证标定精度的前提下提高了标定的便捷性，标定成本低，并具有较高的现场适用性。

附图说明

图1为基于靶标松姿态约束的景深畸变模型标定方法的原理示意图。其中，1-相机，2-镜头，3-靶标，4-角点，5-直线。

图2为基于靶标松姿态约束的景深畸变模型标定方法的流程图。

具体实施方式

以下结合技术方案和附图1、2详细叙述本发明的具体实施方式。附图1为基于靶标松姿态约束的景深畸变模型标定方法的原理示意图。附图2为基于靶标松姿态约束的景深畸变模型标定方法的流程图。

本发明一种基于靶标松姿态约束的景深畸变模型标定方法，包含图像采集以及景深畸变模型参数的求解。整个标定流程可概括为：将镜头2安装于相机1上，利用相机1采集靶标2处于多个姿态下的图像，完成图像采集；在此基础上，进行景深畸变模型中参数的标定，首先，利用所有图像中心区域的角点距离约束求解内参数矩阵。其次，利用单应性矩阵计算直线点的物距。最后，对于景深畸变模型，以图像上点到回归直线的距离最小为约束，以直线点像素坐标、直线点物距、相机焦距为输入量，优化求解景深畸变模型的各个参数。以下对具体实施进行详细说明：

1.图像采集

整个相机畸变模型标定实验***有一个相机1、一个镜头2和一个靶标3组成。标定相机景深畸变模型参数的靶标3为平面板，其上布置有角点4和直线5两类特征，两两直线5的交点为角点4，两两角点4之间的距离为7.5mm，靶标上分布有横竖各16条直线5。在进行图像采集时，首先，连接并打开相机1，设置相机1的采集帧频为30帧、曝光时间为0.3s、理论焦距为50mm、成像分辨率为4092像素×3072像素，调节对焦物距为420mm，并完成相机1的对焦。其次，将靶标3在相机1前面摆放多个姿态，此过程无需靶标3与相机1的光轴垂直，仅需保证靶标3的姿态能覆盖相机1的视场和景深，且角点4和直线5都能成像即可。每摆放完一个靶标2姿态后，保持靶标2静止，利用相机1采集靶标2的图像，最终获得12个姿态下的靶标图像。

2.景深畸变模型标定

(1)成像模型

编制公式(1)所示成像模型的程序代码，以及单应性矩阵H＝s·M·[r₁ r₂ t]的表达式代码；

(2)景深畸变模型

制造和装配工艺缺陷导致镜头2产生径向畸变和偏心畸变，使得直线1在图像上投影为曲线。为此，将公式(2)所示的多项式畸变模型引入到公式(1)中，获得带有第一阶和第二阶径向畸变参数(k₁和k₂)，以及第一阶和第二阶偏心畸变参数(p₁和p₂)的相机成像模型表达式，并编制相应的程序代码。

镜头畸变大小跟景深位置密切关联，考虑到物距不同所引起的成像畸变也不同，将物距与畸变模型联系起来建立公式(3)所示的对焦平面上的景深畸变模型。在此基础上，根据公式(4)结果对公式(3)进行推广，得到由公式(5)表示的各离焦平面畸变参数间的关系式。据此编制任意物距离焦平面的景深畸变模型程序代码；

(3)景深畸变模型标定

1)内参数标定

考虑到镜头畸变在图像中心小，四周大的特点，本发明以所有12张靶标图像中心区域内角点3之间的已知距离为约束，利用张正友2000年发表论文“Aflexible newtechnique for camera calibration”中的方法标定相机的内参数矩阵。得到相机的焦距f为49.66mm，图像畸变中心(c_x,c_y)^T＝(2043.1,1531.3)^T。

2)直线点物距求解

镜头2的畸变会使得物方直线在图像上扭曲为曲线，即直线点在畸变作用下的成像会呈曲线分布，本发明根据这一事实利用直线点求解畸变参数。首先，利用公式(6)所示的灰度重心法定位图像上直线点的像素坐标，由公式(5)知，畸变参数求解要求直线点物距已知，为此，本发明根据公式(7)在定位直线点的基础上计算直线点的物距。

3)景深畸变模型参数求解

在镜头畸变的作用下，物方直线变成曲线所产生的直线度变化可用径向畸变参数和偏心畸变参数来表达。对于图像上某一条直线上的所有直线点，根据公式(8)求解这些直线点对应的回归直线方程，并进一步根据公式(9)得到各个直线点到回归直线的距离。

在此基础上求解景深畸变模型各个参数，相机1共采集了12张靶标3在不同姿态下的图像，每张图像都有32条直线，各条直线上所检测到的直线点的数量范围为1200～1688，根据单应性矩阵可求得各个直线点所处的物距。以第3张图像为例，第3张图像上共有32条直线，第6条直线上检测出了1600个直线点，第1200个、第1300个和第1400个直线点的像素坐标分别为(785,429)^T、(857,436)^T和(926,437)^T。第1200个、第1300个和第1400个直线点的物距分别为443.5mm、450.2mm和456.7mm。

在所有图像中任意选定两个直线点，物距分别为s_k＝456.8mm和s_m＝415.8mm。对于采集到的12张图像，以点到回归直线的距离最小为目标，将公式(5)所示的景深畸变模型带入公式(2)和公式(9)中，以检测到的所有直线点的像素坐标^ηΩ_i′,j、所有直线点的物距^ηs_i′,j、已经标定出的焦距f为输入量，通过D.Marquardt发表论文“An algorithm for leastsquares estimation on nonlinear parameters”中的Levenberg–Marquardt(LM)算法优化目标函数公式(10)，获得畸变参数i＝1,2。物距为s_k＝456.8mm和s_m＝415.2mm时各畸变参数的结果为：/> 和/>至此就在靶标姿态松约束的条件下完成了景深畸变模型各个参数的标定。在求得以上畸变参数后，根据公式(5)可得到任意物距直线点的径向畸变参数和偏心畸变参数。

本发明一种基于靶标松姿态约束的景深畸变模型标定方法，实现了靶标松摆放姿态约束下景深畸变模型的高精度标定，克服了传统方法标定实施时对靶标与相机光轴始终保持垂直姿态的依赖性。本发明的方法降低了标定对实验装置和操作流程的依赖性，在保证标定精度的前提下提高了标定的便捷性，标定方法适用性好。

Claims (1)

1.一种基于靶标松姿态约束的景深畸变模型标定方法，其特征在于，步骤如下：

第一步，图像采集

整个相机景深畸变模型标定实验***主要由一个相机、一个镜头和一个靶标组成；用于相机景深畸变模型中参数标定的靶标为平面板，其上布置有直线和角点两类特征，两两直线的交点为角点；在加工时保证两两角点之间的距离已知；图像采集是相机景深畸变模型参数求解的前提；首先，打开安装有镜头的相机，设置相机采集帧频、曝光时间、焦距、分辨率，调节对焦距离后完成镜头对焦；其次，将靶标在相机前面摆放多个姿态，不需要靶标与镜头光轴垂直，仅需保证靶标姿态能覆盖相机的视场和景深，并且角点和直线都能成像即可；每摆放完一个靶标姿态后，使靶标处于静止状态，并利用相机采集靶标图像，最终采集获得多个姿态下的靶标图像；

第二步，景深畸变模型标定

(1)相机成像模型

相机成像模型描述物方空间点与像方图像点之间的一一映射关系，记物方空间点的齐次坐标为(x,y,z,1)^T，其在图像上的无畸变投影点/>的齐次坐标为(u,v,1)^T；因为靶标平面和图像平面均为二维平面，则相机成像模型表达为：

其中，s为比例因子，为内参数矩阵，C₀＝(c_x,c_y)^T为图像的畸变中心，f_x、f_y为u、v方向上的等效焦距；f_x＝f/d_x，f_y＝f/d_y，d_x和d_y为像元在水平和垂直方向上的物理尺寸；r₁和r₂为世界坐标系和相机坐标系间旋转变换矩阵的前两个列向量，t为世界坐标系和相机坐标系间的平移向量；H＝s·M·[r₁ r₂ t]为单应性矩阵，表述靶标平面和图像平面两个平面之间的转换关系；f为镜头焦距；

(2)相机景深畸变模型

制造和装配工艺缺陷导致镜头产生径向畸变和偏心畸变，使得直线在图像上的投影为曲线；采用多项式来表达相机镜头畸变模型，公式如下：

其中，为畸变图像点坐标，δ_u、δ_v是图像点在u、v方向上的畸变函数，为图像点的畸变半径，k₁和k₂分别为第一阶和第二阶径向畸变参数，p₁和p₂分别为第一阶和第二阶偏心畸变参数；

镜头畸变大小跟景深位置密切关联，考虑到物距不同所引起的成像畸变不同，将物距与畸变模型联系起来建立相机景深畸变模型，其表达式为：

其中，为放大参数，满足/> 分别为对焦物距为s_n、s_m、和s_k的对焦平面上的第i阶径向畸变参数；/>和/>分别是对焦物距为s_n和s_m的两个对焦平面上的第i阶偏心畸变参数，进一步得到如下公式：

其中，g为经验参数，和/>为镜头对焦于物距为s时，处于物距s_k处的离焦平面的第i阶径向畸变参数和偏心畸变参数，/>为位于对焦于无穷远处的对焦平面的第i阶偏心畸变参数，将公式(4)结果推广到处于任意物距s_n、s_m和s_k的离焦平面，得到由公式(5)表示的各离焦平面间的畸变参数关系式：

其中，和/>为当对焦于物距s时，处于物距为s_n的离焦平面上的第i阶径向畸变参数和偏心畸变参数；/>和/>为当对焦于物距s时，处于物距为s_m处的离焦平面上的第i阶径向畸变参数和偏心畸变参数；公式(5)中的径向畸变参数以及偏心畸变参数不依赖于对焦距离s和对焦平面上的畸变参数，这样就建立了镜头的相机景深畸变模型；

(3)相机景深畸变模型标定

1)内参数标定

以所有靶标图像中心区域上角点之间的已知距离为约束，利用张正友2000年发表论文“A flexible new technique for camera calibration”中的方法标定相机的内参数矩阵进而通过f_x＝f/d_x得到镜头焦距f；

2)直线点物距求解

镜头畸变会使得物方直线在图像上扭曲为曲线，即直线上的点在镜头畸变作用下的成像会呈曲线分布，根据这一事实利用直线点求解畸变参数；首先，利用灰度重心法定位图像上直线点的像素坐标，灰度重心法用公式(6)表示为：

其中，f(u,v)是坐标为(u,v)^T的像素点的灰度值，Θ为过(u,v)^T点在直线垂直方向上的像素点的集合，为定位的直线点的像素坐标；

由公式(5)知，畸变参数求解要求直线点物距已知，为此，在定位直线点的基础上计算直线点的物距；假设图像上定位到的某一个直线点p的坐标为令其中p′＝(p_x,p_y,p_z)^T；经过单应性矩阵H作用后直线点坐标为则该靶标图像上直线点p的物距用公式(7)表示为：

3)相机景深畸变模型参数求解

物方直线在镜头畸变的作用变成曲线所产生的直线度变化用径向畸变参数和偏心畸变参数来表达；假设一条直线上有n个直线点，第j个直线点为Ω_j＝(u_j,v_j)^T，j＝1,2,...,n，这些直线点所确定的回归直线方程表达为：

其中，为回归直线与u的夹角，γ为点到回归直线的距离，则点到回归直线距离的平方可表示为：

其中，α＝a-c，

在此基础上，标定相机景深畸变模型；首先，假设相机共采集了η′张靶标处于不同姿态下的图像，第η张图像有l_η条直线，第η张图像的第i′条直线上检测出了N_η,j个直线点，^ηΩ_i′为第η张图像第i′条直线上所有直线点的集合，^ηΩ_i′,j和分别为第η张图像第i′条直线上第j个直线点以及该直线点的物距；随后，以点到回归直线的距离最小为目标，将公式(5)所示的景深畸变模型带入公式(2)和公式(9)中，优化求解畸变参数/>建立的最小化目标函数表示为：

公式(5)为具有任意物距的直线点的径向畸变参数和偏心畸变参数，该两类畸变参数与其他两个直线点的物距、径向畸变参数、偏心畸变参数以及镜头的焦距f有关；为进行求解，在景深内选定两个直线点，物距分别为s_k和s_m；然后，以所有靶标图像上的直线点的像素坐标^ηΩ_i′,j、直线点的物距已经标定出的焦距f为输入量，通过Levenberg–Marquardt算法优化公式(10)所示的目标函数，进而求得景深畸变模型参数/>至此就在靶标摆放姿态松约束的条件下完成了景深畸变模型各个参数的求解。