CN109559355B - 一种基于相机组的无公共视场的多相机全局标定装置及方法 - Google Patents

Abstract

本发明公开了一种基于相机组的无公共视场的多相机全局标定装置及方法，包括：采用相机组代替传统方法中的两个平面特征点靶标之间的较长连接杆，有效的解决了由于连接杆导致公共空间约束受限的问题。首先采用基于图像模糊度和噪声强度的方法进行标定图像筛选；其次利用手眼方程AX＝YB求解待标定的外部参数；最后将相机的内部参数、镜头畸变参数与相机间的外部参数同时优化，有效地提高了全局保定精度，并通过引入极线约束与反投影误差共同构成3D目标优化函数，有效地解决了多参数联合优化的不稳定问题。该方法应用范围广，机械结构稳定，操作灵活方便，特别适用于复杂的多相机空间分布，如长工作距离、非对称工作夹角等。

Description

一种基于相机组的无公共视场的多相机全局标定装置及方法

技术领域

本发明涉及视觉测量技术，具体说就是一种基于相机组的无公共视场的多相机全局标定装置及方法。

背景技术

多相机视觉测量***在视觉检测、三维重建、全景摄影、视频监控、机器人导航、运动估计、增强现实等许多领域有着广泛的应用。所有这些应用往往需要将所有相机的测量精确地统一在同一坐标系下而完成检测。然而，一个固有的问题是相机可能具有非重叠视场，这使得很难建立公共的空间约束，特别是在一些复杂的相机空间分布中，例如长工作距离(几米到几十米)，非对称的工作角度，或狭窄的工作空间等。因此，精确的外部参数标定和简单的操作是多相机视觉测量***的关键技术之一。

目前，常用的无公共视场的多相机视觉测量***的全局标定方法有三类：

一是基于三维坐标测量设备的方法，R.S.Lu在[参考文献1]和罗明在[参考文献2]提出了通过双经纬仪建立空间三维坐标测量***，直接测量光平面上控制点的三维坐标，实现多相机视觉测量***的全局标定。Kitahara在[参考文献3]使用激光跟踪仪来完成全局标定。这种三维测量设备由于较高的精度，适合大视场，被广泛应用在大尺寸部件的视觉测量中，但装配效率低，且成本较高。

二是基于自标定的方法，Roman在[参考文献4]让相机获取视场内的特定结构的目标图像来对无公共视场多相机视觉测量***进行全局标定。Pflugfelder在[参考文献5]中让相机观察具有特殊结构的物体或场景，可以获得相机的内部参数和外部参数，同时重建三维空间中物体的轨迹。这种基于自标定的方法，在工业测量现场，很难获取满足要求的场景信息，而且全局标定精度很难满足视觉测量的要求。

三是基于辅助靶标的方法，Kumar在[参考文献6]和P.Lébraly在[参考文献7]通过调整平面镜的位置和角度，让无公共视场的多个相机都可观测到同一个靶标，从而实现全局标定。这种方法由于受到平面镜的视角和相机景深的影响，只适合近距离的无公共视场相机之间的全局标定。Liu[参考文献8]和Liu[参考文献9]利用激光线投射在两个非固连的平面特征点靶标上进行全局标定。该方法适合较远工作距离的无公共视场的相机，但在布局复杂的多相机测量***中不易现场操作。Liu在[参考文献10]和[参考文献11]根据一维靶标特征点的共线性性质和已知距离，实验无公共视场的相机标定。由于一维靶标体积小、操作简单，该方法可以应用于操作空间受限的无公共视场的多相机测量***，但由于已知点有限，进一步提高其标定精度受到限制。

在上述分类的第三类方法中，基于手眼标定的方法是目前操作较为简单，标定精度较高的方法。Esquivel在[参考文献12]将待标定的两个无公共视场的两个相机固连形成相机组，放置两个靶标分别在各自相机的清晰视野范围内，相机组移动多个位置并保证在每个位置可清晰拍摄靶标图像，通过建立手眼方程AX＝XB求解两个待标定的无公共视场的相机外参。这种标定方法是通过移动待标定的两个相机实现的，例如在固定的车顶上的全景相机或者分布在铁路两侧的多相机测量***，待标定的相机是无法移动的，这种方法难以标定。Liu[参考文献13]利用双平面靶标的固定约束关系实现两个无公共视场的相机全局标定。由于两个平面靶标固连，在较远工作距离的情况下需要较长的连接杆，导致机械结构不稳定难以操作，或者在大视场相机的情况下需要较大的平面靶标，较大平面靶标也会导致机械结构不稳定难以操作，或者在两台相机景深受限的情况下，固连的双平面靶标只能小角度摆动，容易产生角点不清晰的图像且提供的空间位置约束接近从而降低标定的精度。

本发明参考文献如下：

[1]R.S.Lu,Y.F.Li.Aglobal calibration method for large-scale multi-sensor visual measurement system,Sensors and Actuators A:Physical.2004,116(3):383-393.

[2]罗明.多传感器机器视觉测量***的研究与应用.博士学位论文.天津大学.1996.

[3]Kitahara I,Saito H,Akimichi S,Onno T,Ohta Y,Kanade T.Large-scalevirtualized reality.IEEE computer vision and pattern recognition.technicalsketches,2001.

[4]P.Roman,B.Horst.Localization and trajectory reconstruction insurveillance cameras with non-overlapping views.IEEE Transactions on PatternAnalysis and Machine Intelligence.2010,32(4):709-721.

[5]Pflugfelder Roman,Bischof Horst.Localization and trajectoryreconstruction in surveillance cameras with non-overlapping views.IEEETransactions on Pattern Analysis and Machine Intelligence,vol.32,no.4,2010,pp.709-721.

[6]R.K.Kumar,A.Ilie,J.Frahmet,et al.Simple calibration of non-overlapping cameras using a planar mirror:Application to vision-basedrobotics.In Proceeding of Computer Vision and Pattern Recognition.USA,2008.

[7]P.Lebraly,C.Deymier,et al.Flexible extrinsic calibration of non-overlapping cameras using a planar mirror:Application to vision-basedRobotics.IEEE.International Conference on Intelligent Robots and Systems,Taipei,Taiwan,2010.

[8]Q.Z.Liu,et al.Global calibration method of multi-sensor visionsystem using skew laser lines.Chinese Journal of Mechanical Engineering.2012,25(2):405-410.

[9]Z.Liu,F.J.Li,G.J.Zhang,"An external parameter calibration methodfor multiple cameras based on laser rangefinder,"Measurement,no.47,2014,pp.954-962.

[10]Z.Liu,G.Zhang,Z.Wei,J.Sun.Novel calibration method for non-overlapping multiple vision sensors based on 1D target.Optics and PrecisionEngineering,no.49,2011,pp.570-577.

[11]Z.Liu,G.Zhang,Z.Wei.Global calibration of multi-vision sensorbased on one dimensional target.Optics and Precision Engineering,2008,pp.2274-2280.

[12]S.Esquivel,F.Woelk,R.Koch.Calibration of a multi-camera rig fromnon-overlapping views.Lecture Notes in Computer Science,2007,4713:82-91.

[13]Z.Liu,G.J.Zhang,Z.Z.Wei,et al.Aglobal calibration method formultiple vision sensors based on multiple targets.Measurement Science andTechnology,2011,22(12):125102.

从以上分析可以看出，现有的无公共视场的多相机全局标定方法，基于高精度三维坐标设备的方法，可以适合大视场相机、远工作距离、非对称工作夹角等情况，但是在工作空间受限的情况下难以操作，且成本高，工作效率较低；基于自标定的方法，由于较低的标定精度难以应用在工业测量中；基于辅助靶标的方法，往往借助于辅助的靶标、平面镜、激光器等，这种标定方法可以解决一些特定的情况，但是操作比较繁琐，精度适中；基于手眼标定的方法，连接两个待标定的相机，只适合相机可以自由移动的情况，一般工业在线测量中相机往往无法自由移动，而这时往往只能连接两个靶标，但是当相机具有大视场或者小景深的情况下，或者复杂的多相机空间分布如远工作距离、非对称夹角等情况，移动固连的靶标操作较难，并难以获得有效的清晰图像从而降低全局标定精度。

发明内容

鉴于此，本发明的目的在于提供一种基于相机组的无公共视场的多相机全局标定装置及方法，能够实现快速高精度的多相机全局标定，适用范围广，现场操作简单，尤其适合大视场或者小景深的相机以及复杂的多相机空间分布。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种多相机全局标定装置，包括两台高分辨率面阵相机、两个平面特征点靶标、一个可调连接杆，其中，

高分辨率面阵相机，通过可调连接杆将两台高分辨率面阵相机固定连接构成相机组，两台高分辨率面阵相机的可以有公共视场也可以无公共视场，并且外部参数(旋转矩阵和平移矢量)未知。两台高分辨率面阵相机分别配有不同焦距的镜头，用于不同工作距离的标定。两台高分辨率面阵相机与待标定的两台无公共视场的相机分别组成两个双目视觉测量***，同时对平面特征点靶标成像，较高的分辨率有助于标定精度的提升；

平面特征点靶标，用于提供特征点约束，实现两台高分辨率面阵相机和两台无公共视场的待标定的相机的内部参数标定，以及外部参数标定。材质为光学玻璃，光刻有棋盘格或者圆点阵等特征点，特征点间距已知。背面装有可调节LED光源，用于提高图像质量从而提高图像特征点的提取精度；

一个可调连接杆，用于固定连接两台高分辨率面阵相机，连接杆两端安装有万向球头，使两台面阵相机根据靶标位置进行调整。

上述方案中，两台高分辨率面阵相机和一个可调连接杆共同组成用于标定的相机组，其中面阵相机的分辨率应当高于待标定的相机分辨率，可调连接杆应当在保证两台高分辨率面阵相机安装空间的条件下机械结构紧凑，从而使标定操作更为简易。

本发明还提供了一种无公共视场的多相机全局标定方法，包括：

步骤a.标定图像的获取，相机的内参及镜头畸变参数的标定，具体为：将两个平面特征点靶标分别置于待标定的两台无公共视场的相机的清晰视野范围内，相机组置于两个平面特征点靶标之间，使两台高分辨率面阵相机分别与待标定的相机具有公共视场组成双目测量***，采用平面特征点靶标对四台相机的内参及镜头畸变参数标定；将相机组和两个平面特征点靶标同时移动，保证相机组与待标定的相机同时可清晰拍摄标定图像，至少移动20次位置，四台相机获取同时全局标定图像；

步骤b.图像质量评价与筛选，具体为：通过估计每张图像的模糊度和噪声强度的比值，作为图像清晰度的评价标准，去除比值相对较小的图像将剩余图像作为标定图像；

步骤c.手眼方程的建立与求解，具体为：建立手眼标定方程AX＝YB，通过kronecker直积的方法同时求解待标定的两个相机的外部参数和相机组的两个相机的外部参数；

步骤d.非线性优化，具体为：相机的内部参数、镜头的畸变参数与相机间的外部参数同时作为优化参数，建立基于反投影误差与极限约束的复合优化目标函数，使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数。

步骤a.将两个平面特征点靶标分别置于待标定的两台无公共视场的相机的清晰视野范围内，相机组置于两个平面特征点靶标之间，使两台高分辨率面阵相机分别与待标定的相机具有公共视场组成双目测量***，采用平面特征点靶标对四台相机的内参及镜头畸变参数标定；将相机组和两个平面特征点靶标同时移动，保证相机组与待标定的相机同时可清晰拍摄标定图像，至少移动20次位置，四台相机同时获取全局标定图像,实现步骤为：

步骤(11)将两个平面特征点靶标分别置于待标定的两台无公共视场的相机前方，并位于清晰视野范围内，获取的图像中靶标图像占标定图像的面积的1/3-2/3。相机组置于两个平面特征点靶标之间，使两台高分辨率面阵相机分别与待标定的相机具有公共视场，通过不同焦距的镜头选用使靶标图像清晰，获取的图像中靶标图像占标定图像的面积的1/3-2/3。四台相机同时拍摄用于标定参数的图像，通过张正友平面标定方法计算四台相机的内参；

步骤(12)将相机组和两个平面特征点靶标同时自由移动，保证相机组与待标定的相机同时可清晰拍摄靶标图像，至少移动20次位置，四台相机同时获取全局标定图像。

步骤b.通过估计每张图像的模糊度和噪声强度的比值，作为图像清晰度的评价标准，去除比值相对较小的图像将剩余图像作为标定图像；实现步骤如下：

步骤(21)估计图像的水平差分和竖直差分的平均值，大于图像的水平差分或者竖直差分的平均值，视为图像的候选边缘，小于图像的水平差分或者竖直差分的平均值，视为图像的非候选边缘；计算相候选边缘的每个像素及相邻像素的水平差分和竖直差分，寻找相邻像素的水平差分的最大值和竖直差分的最大值作为边缘像素；估计该边缘像素水平方向的模糊度和竖值方向的模糊度，将二者间的最大值作为该像素的模糊度估计值，计算所有边缘像素的模糊度估计值并求解平均值作为该图像的平均模糊度；

步骤(22)采用3×3均值滤波器对图像进行滤波作为无噪声标准图像，将标定图像中的非候选边缘上的每个像素的灰度值与无噪声标准图像中对应的像素灰度值做差值，如果大于设定的阈值将该像素视为噪声，计算所有非候选边缘像素的噪声强度估计值并求解平均值作为该图像的平均噪声强度；

步骤(23)计算每张图像的平均模糊度和平均噪声强度的比值，去除比值较小的图像，将剩余图像作为标定图像。

步骤c.建立手眼标定方程AX＝YB，通过kronecker直积的方法同时求解待标定的两个相机的外部参数和相机组的两个相机的外部参数，实现步骤如下：

步骤(31)相机组的两台高分辨率面阵相机与两台待标定的相机构成两个双目测量***，通过同时移动相机组和平面特征点靶标多个位置，计算多个位置下的高分辨面阵相机和待标定的相机的外部参数A和B；

步骤(32)建立手眼标定方程AX＝YB，X为两台待标定的相机间的外部参数，Y为相机组的两台相机间的外部参数；通过kronecker直积的方法同时求解待标定的两个相机的外部参数X和相机组的两个相机的外部参数Y。

步骤d.相机的内部参数、镜头的畸变参数与相机间的外部参数同时作为优化参数，建立基于反投影误差与极限约束的复合优化目标函数，使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数的最优值，实现步骤如下：

步骤(41)将四台相机的内部参数及对应镜头的畸变参数，高分辨率面阵相机和待标定的相机的外部参数共同作为待优化参数；

步骤(42)计算每张图像的反投影误差和点到极线的距离同时作为优化目标函数，使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数的最优值。

本发明与现有技术相比的优点在于：

本发明提供一种基于相机组的无公共视场的多相机全局标定装置及方法，采用相机组，代替目前常用的方法中的两个平面特征点靶标的连接杆，相机组仅仅由一个短距离可调连接杆、尺寸较小的两台高分辨率相机、多种不同焦距的镜头构成，其中两台高分辨率相机可以保证较高的标定精度，多种不同焦距的镜头可以适用不同的工作距离，其结构稳定简单操作方便，有效的解决了由于连接杆导致空间公共约束受限的问题，特别适用于具有大视场或者小景深的多相机测量***，以及复杂的相机空间分布，如远工作距离(几米至几十米)、非对称工作夹角等。采用基于图像模糊度和噪声强度的方法进行标定图像筛选，从而保证图像数据样本本身的精度；利用手眼方程AX＝YB同时求解两个待标定的相机间外部参数和相机组的外部参数；将相机的内部参数和镜头畸变参数与相机间的外部参数同时作为优化参数，不再是目前非公共视场的多相机视觉测量***中仅仅优化外部参数，有效提高外部参数的标定精度。通过引入极线约束，与反投影误差共同构成复合3D目标优化函数，有效地解决了由于引入相机内部参数和镜头畸变参数的多参数联合优化的不稳定问题。

附图说明

图1是基于相机组的无公共视场的多相机全局标定流程图；

图2是基于相机组的无公共视场的多相机全局标定示意图；

图3是图像的边缘模糊度计算示意图；

图4是基于相机组的无公共视场的多相机极线约束示意图；

图5是基于相机组的无公共视场的多相机标定实物图。

具体实施方式

本发明的基本思想是：采用相机组代替传统方法中的两个平面特征点靶标之间的较长连接杆，有效的解决了由于连接杆导致公共空间约束受限的问题。首先采用基于图像模糊度和噪声强度的方法进行标定图像筛选；其次利用手眼方程AX＝YB求解待标定的外部参数；最后将相机的内部参数、镜头畸变参数与相机间的外部参数同时优化，有效地提高了全局保定精度，并通过引入极线约束与反投影误差共同构成3D目标优化函数，有效地解决了多参数联合优化的不稳定问题。该装置及方法应用范围广，机械结构稳定，操作灵活方便，特别适用于复杂的多相机空间分布，如长工作距离、非对称工作夹角等。

基于上面所述的基于相机组的无公共视场的多相机全局标定装置，本发明结合具体实施例，由两台待标定的无公共视场相机、两台高分辨率相机、一个可调节连接杆和两个平面特征点靶标为例，对本发明作进一步详细说明。

本发明基于相机组的无公共视场的多相机全局标定方法主要包括以下步骤：

步骤11：标定图像的获取，相机的内参及镜头畸变参数的标定。将两个平面特征点靶标分别置于待标定的两台无公共视场的相机的清晰视野范围内，相机组置于两个平面特征点靶标之间，使两台高分辨率面阵相机分别与待标定的相机具有公共视场组成双目测量***，采用平面特征点靶标对四台相机的内参及镜头畸变参数标定；将相机组和两个平面特征点靶标同时移动，保证相机组与待标定的相机同时可清晰拍摄标定图像，至少移动20次位置，四台相机同时获取全局标定图像；

步骤111：将两个平面特征点靶标分别置于待标定的两台无公共视场的相机前方，并位于清晰视野范围内，获取的图像中靶标图像占标定图像的面积的1/3-2/3。相机组置于两个平面特征点靶标之间，使两台高分辨率面阵相机分别与待标定的相机具有公共视场，通过不同焦距的镜头选用使靶标图像清晰，获取的图像中靶标图像占标定图像的面积的1/3-2/3。四台相机同时拍摄用于标定参数的图像，通过张正友平面标定方法计算四台相机的内参，如图1；

相机的内部参数和镜头的畸变参数计算，让P_W(X_W,Y_W,Z_W)^T是空间中的一个对象点，p(u_c,v_c)是图像平面上的理想投影点。根据透视投影模型，在相机坐标系中的点P_W与其图像坐标(u_c，v_c)之间存在以下等式。

其中，K是通过标定获得的相机的内部参数。[R_3×3，t_3×1]表示从世界坐标系到相机坐标的旋转矩阵和平移向量。f_x和f_y表示图像x和y轴中的有效焦距。(u₀，v₀)是原点坐标，γ是两个图像轴的斜率，S是非零比例因子。

由于镜头畸变，畸变图像点校正后的图像坐标为(u_d,v_d)，有：

这里，k₁，k₂是镜头畸变系数。具体相机的内部参数与镜头畸变求解方法见张正友的文章“A flexible new technique for camera calibration[R].MicrosoftCorporation,NSR-TR-98-71,1998”中有详细描述。

步骤112：将相机组和两个平面特征点靶标同时自由移动，保证相机组与待标定的相机同时可清晰拍摄靶标图像，至少移动20次位置，四台相机同时获取全局标定图像。

步骤12：图像质量评价与筛选。通过估计每张图像的模糊度和噪声强度的比值，作为图像清晰度的评价标准，去除比值相对较小的图像将剩余图像作为标定图像；

步骤121：估计图像的水平差分和竖直差分的平均值，大于图像的水平差分或者竖直差分的平均值，视为图像的候选边缘，小于图像的水平差分或者竖直差分的平均值，视为图像的非候选边缘；计算相候选边缘的每个像素及相邻像素的水平差分和竖直差分，寻找相邻像素的水平差分的最大值和竖直差分的最大值作为边缘像素；估计该边缘像素水平方向的模糊度和竖直方向的模糊度，将二者间的最大值作为该像素的模糊度估计值，计算所有边缘像素的模糊度估计值并求解平均值作为该图像的平均模糊度，如图2；

用M行和N列表示图像f(x,y),x∈[1,M],y∈[1,N]，像素的水平差分值定义为：

D_x(x,y)＝|f(x,y+1)-f(x,y-1)| (3)

其平均值为：

如果公式(4)的值大于公式(3)的值，则该像素被认为是边缘候选点C_x(x,y)。

如果边缘候选点的值大于相邻的候选点的值，这个像素被确定为边缘，如下：

之后，该像素的水平的边缘强度为：

同样方法，通过公式(3)-(7)可以估计出该像素竖直方向的边缘强度S_y(x,y)。最终，取水平方向的边缘强度和竖直方向的边缘强度的最大值作为该像素的边缘强度。

最终，平均边缘强度为：

Blur_mean＝Blur_sum/Blur_count (9)

这里，Blur_sum是边缘上的点的边缘强度的和，Blur_count边缘上点的个数。

步骤122：采用3×3均值滤波器对图像进行滤波作为无噪声标准图像，将标定图像中的非候选边缘上的每个像素的灰度值与无噪声标准图像中对应的像素灰度值做差值，如果大于设定的阈值将该像素视为噪声，计算所有非候选边缘像素的噪声强度估计值并求解平均值作为该图像的平均噪声强度；

由于沿边缘感知的噪声看起来不那么明显，所以我们估计非候选边缘区域的噪声。另外，由于我们不能得到标准的无噪声图像。因此，需要在检测到边缘之后需要进行图像预处理。本文将平均滤波器应用于噪声图像去噪。平均滤波后的图像g(x,y)，

可以用模糊估计类似的方法获得图像的边缘。之后，噪声的强度可以估计为：

步骤123：计算每张图像的平均模糊度和平均噪声强度的比值，去除比值较小的图像，将剩余图像作为标定图像，

Noise_mean＝Noise_sum/Noise_count (12)

这里，Noise_sum是非边缘上的噪声强度和，Noise_count是非边缘上噪声点的个数。最终，我们用公式(9)和公式(12)的比值Blur_mean/Noise_mean来评价图像。该比值越大，图像也就越清晰。

步骤13：建立手眼标定方程AX＝YB，通过kronecker直积的方法同时求解待标定的两个相机的外部参数和相机组的两个相机的外部参数；

步骤131：相机组的两台高分辨率面阵相机与两台待标定的相机构成两个双目测量***，通过同时移动相机组和平面特征点靶标多个位置，计算多个位置下的高分辨面阵相机和待标定的相机的外部参数A和B；

步骤132:建立手眼标定方程AX＝YB，X为两台待标定的相机间的外部参数，Y为相机组的两台相机间的外部参数；通过kronecker直积的方法同时求解待标定的两个相机的外部参数X和相机组的两个相机的外部参数Y。具体求解方法在文章“M.Shah,”Solving therobot-world/hand-eye calibration problrm using the kronecker product,”Journalof Mechanisms and Robotics,vol.5,pp.031007-1-7,2013.”。

步骤14：相机的内部参数、镜头的畸变参数与相机间的外部参数同时作为优化参数，建立基于反投影误差与极限约束的复合优化目标函数，使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数的最优值，如图4；

步骤141：将四台相机的内部参数及对应镜头的畸变参数，高分辨率面阵相机和待标定的相机的外部参数共同作为待优化参数；

使用四个相机的内部参数K_C1，K_C2，K_V1，K_V2和镜头畸变系数D_C1,D_C2，D_V1，D_V2和如下变量

一起作为被优化的参数。基于重投影误差的目标优化函数如下：

这里，

表示平面特征点靶标1在相机C₁坐标系下的外部参数，

表示相机C₁与相机V₁之间的外部参数，

平面特征点靶标2在相机C₂坐标系下的外部参数，

表示相机C₂与相机V₂之间的外部参数，R_X，t_X表示相机C₁与相机C₂之间的外部参数，R_Y，t_Y表示相机V₁与相机V₂之间的外部参数。

应该注意的是，为了优化待标定的两个相机间的外部参数(R_C2C1,t_C2C1)和相机组之间的两个相机间的外部参数(R_V2V1,t_V2V1)，也就是(R_X,t_X)和(R_Y,t_Y)，可以利用相机C₁和相机V₁的外部参数

以及相机C₂和相机V₂的外部参数

中间的变量来进行优化。

步骤142：计算每张图像的反投影误差和点到极线的距离同时作为优化目标函数，使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数的最优值。

还可以增加对极线约束的优化函数，表达式如下：

这里，

分别表示相机C₁，C₂，V₁，V₂在第i个位置所拍摄的图像上第j个特征点到所对应的极线

的距离；

其中，极线和相应的基本矩阵的表达式如下：

这里，

分别表示相机C₁，C₂，V₁，V₂在第i个位置所拍摄的图像上第j个特征点所对应的极线，F_C1，F_C2，F_V1，F_V2，分别表示相机C₁，C₂，V₁，V₂所对应的基本矩阵；

最后，使用几何约束J_P和J_e一起得到优化结果，

J＝J_P+J_e (17)

实施例

两台待标定的无公共视场的相机型号为Allied Vision Technologies，配用焦距17mm施耐德光学镜头，图像分辨率为1600×1200像素，构成相机组的两台高分辨率的相机型号为MER-1070-14U3M/C，图像分辨率为3840×2748像素。两个平面特征点靶标的特征点相邻点间距为10mm，位置精度2um，如图5。

首先，根据步骤11所述的方法得到摄像机内参标定结果为：

根据步骤12所述的方法，采集到的标定图像144张，筛选后的图像为136张，将剩余的标定图像用于标定；

根据步骤13所述的方法，优化前的待标定的两个无公共视场的相机外部参数为：

根据步骤14所述的方法，优化后的待标定的两个无公共视场的相机内部参数为：

根据步骤14所述的方法，优化后的待标定的两个无公共视场的相机外部参数为：

Claims (5)

1.一种基于相机组的无公共视场的多相机全局标定方法，其特征在于，该方法包括：

步骤a.标定图像的获取，相机的内参及镜头畸变参数的标定，具体为：将两个平面特征点靶标分别置于待标定的两台无公共视场的相机的清晰视野范围内，相机组置于两个平面特征点靶标之间，使两台高分辨率面阵相机分别与待标定的相机具有公共视场组成双目测量***，采用平面特征点靶标对四台相机的内参及镜头畸变参数标定；将相机组和两个平面特征点靶标同时移动，保证相机组与待标定的相机同时可清晰拍摄标定图像，至少移动20次位置，四台相机同时获取全局标定图像；

步骤b.图像质量评价与筛选，具体为：通过估计每张图像的模糊度和噪声强度的比值，作为图像清晰度的评价标准，去除比值相对较小的图像将剩余图像作为标定图像；

步骤c.手眼方程的建立与求解，具体为：建立手眼标定方程AX=YB，通过kronecker直积的方法同时求解待标定的两个相机的外部参数和相机组的两个相机的外部参数；

步骤d.非线性优化，具体为：相机的内部参数、镜头的畸变参数与相机间的外部参数同时作为优化参数，建立基于反投影误差与极限约束的复合优化目标函数，使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数。

2.根据权利要求1所述的一种基于相机组的无公共视场的多相机全局标定方法，其特征在于，步骤a中将两个平面特征点靶标分别置于待标定的两台无公共视场的相机的清晰视野范围内，相机组置于两个平面特征点靶标之间，使两台高分辨率面阵相机分别与待标定的相机具有公共视场组成双目测量***，采用平面特征点靶标对四台相机的内参及镜头畸变参数标定；将相机组和两个平面特征点靶标同时移动，保证相机组与待标定的相机同时可清晰拍摄标定图像，至少移动20次位置，四台相机同时获取全局标定图像,实现步骤为：

步骤（11）将两个平面特征点靶标分别置于待标定的两台无公共视场的相机前方，并位于清晰视野范围内，获取的图像中靶标图像占标定图像的面积的1/3-2/3，相机组置于两个平面特征点靶标之间，使两台高分辨率面阵相机分别与待标定的相机具有公共视场，通过不同焦距的镜头选用使靶标图像清晰，获取的图像中靶标图像占标定图像的面积的1/3-2/3，四台相机同时拍摄用于标定参数的图像，通过张正友平面标定方法计算四台相机的内参；

步骤（12）将相机组和两个平面特征点靶标同时自由移动，保证相机组与待标定的相机同时可清晰拍摄靶标图像，至少移动20次位置，四台相机同时获取全局标定图像。

3.根据权利要求1所述的一种基于相机组的无公共视场的多相机全局标定方法，其特征在于，步骤b中通过估计每张图像的模糊度和噪声强度的比值，作为图像清晰度的评价标准，去除比值相对较小的图像将剩余图像作为标定图像；实现步骤如下：

步骤（21）估计图像的水平差分和竖直差分的平均值，大于图像的水平差分或者竖直差分的平均值，视为图像的候选边缘，小于图像的水平差分或者竖直差分的平均值，视为图像的非候选边缘；计算候选边缘的每个像素及相邻像素的水平差分和竖直差分，寻找相邻像素的水平差分的最大值和竖直差分的最大值作为边缘像素；估计该边缘像素水平方向的模糊度和竖值方向的模糊度，将二者间的最大值作为该像素的模糊度估计值，计算所有边缘像素的模糊度估计值并求解平均值作为该图像的平均模糊度；

步骤（22）采用3×3均值滤波器对图像进行滤波作为无噪声标准图像，将标定图像中的非候选边缘上的每个像素的灰度值与无噪声标准图像中对应的像素灰度值做差值，如果大于设定的阈值将该像素视为噪声，计算所有非候选边缘像素的噪声强度估计值并求解平均值作为该图像的平均噪声强度；

步骤（23）计算每张图像的平均模糊度和平均噪声强度的比值，去除比值较小的图像，将剩余图像作为标定图像。

4.根据权利要求1所述的一种基于相机组的无公共视场的多相机全局标定方法，其特征在于，步骤c中建立手眼标定方程AX=YB，通过kronecker直积的方法同时求解待标定的两个相机的外部参数和相机组的两个相机的外部参数，实现步骤如下：

步骤（31）相机组的两台高分辨率面阵相机与两台待标定的相机构成两个双目测量***，通过同时移动相机组和平面特征点靶标多个位置，计算多个位置下的高分辨面阵相机和待标定的相机的外部参数A和B；

步骤（32）建立手眼标定方程AX=YB，X为两台待标定的相机间的外部参数，Y为相机组的两台相机间的外部参数；通过kronecker直积的方法同时求解待标定的两个相机的外部参数X和相机组的两个相机的外部参数Y。

5.根据权利要求1所述的一种基于相机组的无公共视场的多相机全局标定方法，其特征在于，步骤d中相机的内部参数、镜头的畸变参数与相机间的外部参数同时作为优化参数，建立基于反投影误差与极限约束的复合优化目标函数，使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数的最优值，实现步骤如下：

步骤（41）将四台相机的内部参数及对应镜头的畸变参数，高分辨率面阵相机和待标定的相机的外部参数共同作为待优化参数；

步骤（42）计算每张图像的反投影误差和点到极线的距离同时作为优化目标函数，使用Levenberg-Marquardt非线性优化方法得到待标定的无公共视场的两个相机的外部参数的最优值。

Images