CN111179357B - 一种基于平面靶标组合的大视场相机标定方法 - Google Patents

Abstract

本发明实施例公开了一种基于平面靶标组合的大视场相机标定方法，涉及视觉测量技术领域，能够解决视场标定过程中，大型靶标使用不便、可操作性低的问题。本发明包括：在改变视场中放置的各个靶标的位置和角度后，获取标定图像；利用各个靶标平面相对于相机成像平面的单应性变换矩阵，对各个靶标平面相对于基准靶标平面进行单应性变换，得到各个靶标的虚拟特征点坐标，其中，基准靶标所在平面为所述基准靶标平面，每一个靶标对应一个靶标平面；利用所述虚拟特征点坐标构造虚拟靶标，并在修正各个靶标上的特征点的重投影误差后，获取相机标定参数。本发明适用于视场标定过程。

Description

一种基于平面靶标组合的大视场相机标定方法

技术领域

本发明涉及视觉测量技术领域，尤其涉及一种基于平面靶标组合的大视场相机标定方法。

背景技术

在视觉测量技术的发展过程中，目前主要通过视觉测量模型来描述三维场景信息与二维图像信息之间的坐标关系。实现在具体仪器上，视觉测量模型的参数对应的就是相机参数。在实际应用过程中，视觉测量模型的参数的标定精度，直接影响测量***的测量精度与效率。

在大视场测量***标定的工况场景中，由于拍摄画面较大，成像畸变严重。若采用传统的张氏标定方法，虽然在理论上可以获得较高的标定精度，但实际操作中需要保证标定靶标尽可能覆盖整个视场范围。

但由于常规平面靶标的加工尺寸和制造精度的限制，以至于往往不能满足全场标定的需求，而大型高精度靶标在制造、携带、维护等方面又存在诸多困难。因此虽然张氏标定方法在理论上有诸多优点，还需要突破大视场视觉测量中的技术问题，从而才能实现较为优异的工程应用效果。

发明内容

本发明的实施例提供一种基于平面靶标组合的大视场相机标定方法，能够解决视场标定过程中，大型靶标使用不便、可操作性低的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

在改变视场中放置的各个靶标的位置和角度后，获取标定图像；

利用各个靶标平面相对于相机成像平面的单应性变换矩阵，对各个靶标平面相对于基准靶标平面进行单应性变换，得到各个靶标的虚拟特征点坐标，其中，基准靶标所在平面为所述基准靶标平面，每一个靶标对应一个靶标平面；利用所述虚拟特征点坐标构造虚拟靶标，并在修正各个靶标上的特征点的重投影误差后，获取相机标定参数。

具体的，所述在改变视场中放置的各个靶标的位置和角度后，获取标定图像，包括：在每一个变动周期中，分别改变一次所述视场中放置的各个靶标的位置和角度，并获取标定图像，重复n次变动周期，得到n幅标定图像，其中，在变动周期开始前，所述视场中的各个靶标为自由放置，n为正整数，n大于10。

具体的，所述利用各个靶标平面相对于相机成像平面的单应性变换矩阵，对各个靶标平面相对于基准靶标平面进行单应性变换，得到各个靶标的虚拟特征点坐标，包括：选取所述视场中放置的第一靶标作为基准靶标，所述第一靶标所在平面为所述基准靶标平面；获得所述第一靶标之外所有靶标的特征点在基准靶标平面的虚拟特征点坐标。

本实施例针对传统标定方法的缺陷和问题，提出一种基于平面靶标组合的大视场相机标定方法，利用平面单应性变换将视场中小型靶标组合为一个大型靶标，解决了大型靶标加工困难、使用不便等问题，同时不需要限制各个小型靶标之间的位置关系，提高了大视场标定的可操作性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的方法流程示意图；

图2为本发明实施例提供的标定靶标结构示意图；

图3为本发明实施例提供的基于平面单应性变换的大型靶标构造示意图；

图4为本发明实施例提供的实验中部分标定图像及特征点提取效果。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本实施例的设计思路在于，通过平面单应性变换将相互独立的小型靶标进行组合，构造虚拟的大型靶标，完成大视场相机标定。具体提供一种基于平面靶标组合的大视场相机标定方法，如图1所示的，包括：

S101，在改变视场中放置的各个靶标的位置和角度后，获取标定图像。

具体的，在每一个变动周期中，分别改变一次所述视场中放置的各个靶标的位置和角度，并获取标定图像，重复n次变动周期，得到n幅标定图像。在变动周期开始前，所述视场中的各个靶标为自由放置，n为正整数，通常n大于10。例如：自由布置小型靶标于视场中，改变各个小型靶标的位置和角度多次，获取标定图像。标定的小型靶标如图2所示，在视场范围内自由放置小型靶标，改变各个小型靶标的位置和角度n次，获取n幅标定图像。为保证标定精度，布置的小型靶标应尽可能覆盖整个视场范围，且标定图像数目n应大于10。

S102，利用各个靶标平面相对于相机成像平面的单应性变换矩阵，对各个靶标平面相对于基准靶标平面进行单应性变换，得到各个靶标的虚拟特征点坐标。

其中，基准靶标所在平面为所述基准靶标平面，每一个靶标对应一个靶标平面。具体的，选取所述视场中放置的第一靶标作为基准靶标，所述第一靶标所在平面为所述基准靶标平面；获得所述第一靶标之外所有靶标的特征点在基准靶标平面的虚拟特征点坐标。例如：选取某一靶标为基准靶标，其所在平面为基准靶标平面，分别计算各个靶标平面相对于相机成像平面的单应性变换矩阵，进而可得到其他靶标平面相对于基准靶标平面的单应性变换矩阵，由此可构造出覆盖视场范围的虚拟大型靶标。

S103，利用所述虚拟特征点坐标构造虚拟靶标，并在修正各个靶标上的特征点的重投影误差后，获取相机标定参数。

对于单个相机来说，只有内参和外参，外参用来描述相机坐标系和世界坐标系(通常建立在标定靶标上)之间的转换关系。对于双目视觉***来说，还需考虑相对位置参数，表示左右相机坐标系之间的转换关系，相对位置参数是由两个相机的外参计算而来的。已知两个相机的内参和它们之间的相对位置参数，才可以进行所谓的双目视觉测量。

在本实施例中，所述获得所述第一靶标之外所有靶标的特征点在基准靶标平面的虚拟特征点坐标的具体方式，如图3所示的(image plane为相机成像平面，large targetplane为基准靶标平面)，选取小型靶标1作为基准靶标，其所在平面为基准靶标平面。由于各个小型靶标处在自身坐标系下Z＝0的平面上，根据线性相机模型公式：

根据

得到：s₁·q_1k＝A·[r₁₁ r₁₂ t₁]·p_1k (2

s_j·q_jk＝A·[r_j1 r_j2 t_j]·p_jk (3

s₁·q′_jk＝A·[r₁₁ r₁₂ t₁]·p′_jk (4

令H₁＝λ₁·A·[r₁₁ r₁₂ t₁]，H_i＝λ_j·A·[r_j1 r_j2 t_j]，联立(2和(3，得到：p′_jk＝V_j·p_jk，其中从而可可获得基准靶标之外所有小型靶标特征点在基准靶标平面的虚拟特征点坐标，实现通过平面单应性变换构造大型靶标的目的。p_1k表示所述第一靶标的第k个特征点在所述第一靶标的坐标系中的坐标，p_jk表示所述第j靶标j上的第k个特征点在所述第j靶标的坐标系中的坐标，j和k都为正整数，q_1k为p_1k对应的图像坐标，q_jk为p_jk对应的图像坐标，p′_jk为p_jk通过单应性变换在所述基准靶标平面形成的虚拟特征点坐标。

进一步的，所述利用所述虚拟特征点坐标构造虚拟靶标，包括：采用所述第一靶标之外所有靶标的特征点在基准靶标平面的虚拟特征点坐标构造为大型靶标并进行标定，根据标定结果获取相机的内参数和外参数作为初始值。具体将各幅标定图像中的小型靶标分别构造为大型靶标，采用张氏标定方法进行标定，求解相机内外参数作为初始值。

本实施例中获得所述第一靶标之外所有靶标的特征点在基准靶标平面的虚拟特征点坐标的具体方法，还可以实现为：

确定第一单应性矩阵和第二单应性矩阵，利用所述第一单应性矩阵和所述第二单应性矩阵，将所述其它靶标的特征点进行坐标转换，映射至所述基准靶标平面的坐标系。

其中，所述第一单应性矩阵表示基准靶标平面到所述相机成像平面的变换，所述第二单应性矩阵表示其它靶标平面到所述相机成像平面的变换，所述其它靶标包括：所述视场中放置的除了基准靶标之外的靶标。

还是以图3为例，选取靶标1作为基准靶标，其所在平面为基准靶标平面。由于各个靶标均处在自身坐标系下Z＝0的平面上，因此设p_1k、p_jk分别为位于基准靶标与靶标j(j＝2,3,…,m)的第k个特征点，表示对应齐次坐标；q_1k、q_jk分别为p_1k、p_jk所对应的图像点，/>表示对应齐次坐标。设p′_jk为特征点p_jk在基准靶标平面的投影点，即p_jk通过单应性变换在基准靶标平面形成的虚拟特征点，/>表示对应齐次坐标，根据相机成像的线性模型有：

上述模型中(2)表示图3中target-1的映射关系；(3)表示图3中target-j的映射关系，映射的是qjk；而根据(2)和(3)，则可以推导出图3中target-j到基准靶标平面的映射关系。式中，s₁为比例因子；r₁₁、r₁₂与t₁分别为基准靶标坐标系到相机坐标系的旋转矩阵列向量与平移向量；s_j、r_j1、r_j2、t_j分别为靶标j坐标系到相机坐标系的旋转矩阵列向量与平移向量。进一步可得(5)，表示qjk与qjk’的映射关系：

令H₁＝λ₁A[r₁₁ r₁₂ t₁]，H_j＝λ_jA[r_j1 r_j2 t_j]，且λ₁λ_j＝s₁/s_j，则可以化简为：

表示对应齐次坐标，即作为最终求取的虚拟特征点，具有明显的几何变换意义：H₁为描述基准靶标平面到图像平面(相机成像平面)变换的单应性矩阵，H_j为描述其他靶标平面到图像平面变换的单应性矩阵；/>则为描述其他靶标平面到基准靶标平面变换的单应性矩阵。取基准靶标坐标系为世界坐标系，通过单应性矩阵T_j将其他所有靶标的特征点进行坐标转换，统一至世界坐标系下，即实现了通过平面靶标组合构造大型靶标的目的。

在本实施例中，在修正各个靶标上的特征点的重投影误差后，获取相机标定参数，包括：

获取左相机内外参数集合和右相机内外参数集合，其中，左相机内外参数集合，包括：左相机内参矩阵，左相机第一阶和第二阶径向畸变系数，左相机第一阶和第二阶切向畸变系数，左相机外参矩阵，右相机内外参数集合，包括：右相机内参矩阵，右相机第一阶和第二阶径向畸变系数，右相机第一阶和第二阶切向畸变系数，右相机外参矩阵，所有的畸变系数的初始值为0；

利用所述左相机内外参数集合和所述右相机内外参数集合，获取左右相机的相对位置；

通过LM算法对相机参数进行优化，得到优化后的左相机内外参数集合、右相机内外参数集合和左右相机的相对位置。

例如，双目视觉***内外参数，包括：左相机内外参数集合a_l＝(A_l k_l1 k_l2 p_l1 p_l2R_l t_l)，A_l为左相机内参矩阵，k_l1、k_l2分别为左相机第一阶和第二阶径向畸变系数，p_l1、p_l2分别为左相机第一阶和第二阶切向畸变系数，R_l和t_l都是表示左相机外参矩阵的参数，角标l表示参数属于左相机；右相机内外参数集合a_r＝(A_r k_r1 k_r2 p_r1 p_r2 R_r t_r)，A_r为右相机内参矩阵，其中k_r1、k_r2分别为右相机第一阶和第二阶径向畸变系数，p_r1、p_r2分别为右相机第一阶和第二阶切向畸变系数，R_r、t_r都是表示右相机外参矩阵的参数；R_lr和t_lr都是表示左右相机的相对位置的参数。k_l1、k_l2，p_l1、p_l2，k_r1、k_r2、p_r1和p_r2，这些畸变系数的初始值都是0。

其中，若为双目视觉***，则还包括左右相机的相对位置参数为：

在平面靶标的组合过程中，由于标定图像噪声的影响，单应性矩阵T_j必然存在计算误差，同时在相机参数的求解过程中，也没有考虑镜头畸变，导致最终的标定结果并不精确。因此，本文采用Levenberg-Marquardt(LM)算法对相机参数进行迭代优化，获得最优的相机标定参数，完成全场标定。设双目视觉***共采集了n组标定图像，m为标定过程中使用的平面靶标数目，u为各个靶标参与标定的特征点个数，建立优化函数：

式中，a＝(a_l a_r R_lr t_lr)为双目视觉***整体参数优化向量，q^i,j,k为靶标特征点p^i,j,k在图像中的实际图像坐标，为p^i,j,k通过计算得到的图像重投影坐标。至此，已经可以得到最优的双目视觉***内外参数和相对位置参数，此处的i、j和k为用来计数的变量，都为正整数，其中，1≤i≤n，1≤j≤m，1≤k≤u。

基于上述平面靶标组合原理，使用构造而成的大型靶标即可进行相机参数的求解。所述利用所述虚拟特征点坐标构造虚拟靶标，包括：

获取双目视觉***内外参数和相对位置参数的初始值：

其中，左右相机的相对位置参数为R_lr、t_lr，R_l、t_l与R_r、t_r分别为左右相机外参。

设p、q分别为大型靶标的特征点与对应的图像投影点，表示相应的齐次坐标，则有：

其中，s为比例因子；A为相机内参；r₁和r₂表示相机外参中的2个旋转矩阵列向量，t表示平移向量，令H＝λA[r₁ r₂ t]＝[h₁ h₂ h₃]，由旋转矩阵的单位正交性，可以得到两个基本约束：

令B＝A^-TA^-1，可知B为实对称矩阵，表示为一个6维向量：

b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T (9)

设H的第i列向量h_i＝[h_i1 h_i2 h_i3]^T，则有：

其中，v_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h_i3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]^T，则通过式(10)得到：

基于最小二乘法解得b之后，即得到矩阵B。对B进行cholesky分解求出A^-1，再求逆即得相机内参矩阵A，进而得到每次拍摄图像时对应的相机外参矩阵R、t：

其中，λ＝1/||A^-1h₁||＝1/||A^-1h₂||，R＝[r₁ r₂ r₃]、t为相机外参矩阵。

至此，可得到单相机的内外参数。

对于双目视觉***，按上述步骤分别求出左右相机的内外参数后，还需要确定左右相机的相对位置参数R_lr、t_lr；设R_l、t_l与R_r、t_r分别为左右相机外参，世界点坐标为p，在左右相机坐标系下的坐标分别为p_l、p_r，得到坐标转换关系：

联立式(13)中的1、2项，消去p得：

对比式(13)的第三项与式(14)，可得左右相机的相对位置参数为：

至此，可得到修正误差后的双目视觉***内外参数(表示左相机内外参数集合、右相机内外参数集合)和相对位置参数(表示左右相机的相对位置)的初始值。

本实施例针对传统标定方法的缺陷和问题，提出一种基于平面靶标组合的大视场相机标定方法，利用平面单应性变换将视场中小型靶标组合为一个大型靶标，解决了大型靶标加工困难、使用不便等问题，同时不需要限制各个小型靶标之间的位置关系，提高了大视场标定的可操作性。

具体具有如下技术优势：

1.本实施例的基于平面靶标组合的大视场标定方法，解决了大型高精度靶标加工困难、使用不便等问题，同时克服了小型靶标标定精度较差的缺陷；

2.通过使用的小型靶标灵活独立，不需要限制靶标之间的相对位置与姿态关系，提高了大视场标定的可操作性；

3.基于传统相机标定优化理论，将单应性矩阵加入优化求解中，减小靶标特征点的变换误差对标定结果的影响，提高了最终的标定精度。

通过以下实验进一步说明本实施例的有益效果：

测试本发明方法的测量设备包括一台PC(Intel Core i5-4460、3.20GHz、8GB)，两台工业相机(The Imaging Source,DMK 33GP031,2592×1944)和适配镜头(RICOH,FL-CC0814A-2M,8mm)。实验的测量视场为2m×1.5m，测量距离为3m。实验采集的部分标定图像，特征点提取效果如图4所示，实验结果如下：

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于平面靶标组合的大视场相机标定方法，其特征在于，包括：

在改变视场中放置的各个靶标的位置和角度后，获取标定图像；

利用各个靶标平面相对于相机成像平面的单应性变换矩阵，对各个靶标平面相对于基准靶标平面进行单应性变换，得到各个靶标的虚拟特征点坐标，其中，基准靶标所在平面为所述基准靶标平面，每一个靶标对应一个靶标平面；

利用所述虚拟特征点坐标构造虚拟靶标，并在修正各个靶标上的特征点的重投影误差后，获取相机标定参数；

所述利用各个靶标平面相对于相机成像平面的单应性变换矩阵，对各个靶标平面相对于基准靶标平面进行单应性变换，得到各个靶标的虚拟特征点坐标，包括：

选取所述视场中放置的第一靶标作为基准靶标，所述第一靶标所在平面为所述基准靶标平面；

获得所述第一靶标之外所有靶标的特征点在基准靶标平面的虚拟特征点坐标；

所述获得所述第一靶标之外所有靶标的特征点在基准靶标平面的虚拟特征点坐标，包括：

确定第一单应性矩阵和第二单应性矩阵，所述第一单应性矩阵表示基准靶标平面到所述相机成像平面的变换，所述第二单应性矩阵表示其它靶标平面到所述相机成像平面的变换，所述其它靶标包括：所述视场中放置的除了基准靶标之外的靶标；

利用所述第一单应性矩阵和所述第二单应性矩阵，将所述其它靶标的特征点进行坐标转换，映射至所述基准靶标平面的坐标系，以便于通过平面靶标组合构造大型靶标，其中包括：

根据相机成像的线性模型得到：

进一步根据(2)和(3)得到映射关系，其中，p_1k、p_jk分别为位于基准靶标与靶标j的第k个特征点，表示与p_1k、p_jk对应齐次坐标；q_1k、q_jk分别为p_1k、p_jk所对应的图像点，表示对应齐次坐标，特征点p_jk在基准靶标平面的投影点p′_jk作为p_jk通过单应性变换在基准靶标平面形成的虚拟特征点，/>表示对应齐次坐标，A为相机内参，各个靶标均处在自身坐标系下Z＝0的平面上；s₁为比例因子；r₁₁、r₁₂与t₁分别为基准靶标坐标系到相机坐标系的旋转矩阵列向量与平移向量；s_j、r_j1、r_j2、t_j分别为靶标j坐标系到相机坐标系的旋转矩阵列向量与平移向量；

所述映射关系表示为：

表示最终求取的虚拟特征点，H₁为描述基准靶标平面到相机成像平面变换的单应性矩阵，H_j为描述其他靶标平面到图像平面变换的单应性矩阵；/>则为描述其他靶标平面到基准靶标平面变换的单应性矩阵，其中，取基准靶标坐标系为世界坐标系，通过单应性矩阵T_j将其它靶标的特征点进行坐标转换，统一至世界坐标系下。

2.根据权利要求1所述的方法，其特征在于，所述在改变视场中放置的各个靶标的位置和角度后，获取标定图像，包括：

在每一个变动周期中，分别改变一次所述视场中放置的各个靶标的位置和角度，并获取标定图像，重复n次变动周期，得到n幅标定图像，其中，在变动周期开始前，所述视场中的各个靶标为自由放置，n为正整数。

3.根据权利要求2所述的方法，其特征在于，n≥10。

4.根据权利要求1所述的方法，其特征在于，所述在修正各个靶标上的特征点的重投影误差后，获取相机标定参数，包括：

获取左相机内外参数集合和右相机内外参数集合，其中，左相机内外参数集合，包括：左相机内参矩阵，左相机第一阶和第二阶径向畸变系数，左相机第一阶和第二阶切向畸变系数，左相机外参矩阵，右相机内外参数集合，包括：右相机内参矩阵，右相机第一阶和第二阶径向畸变系数，右相机第一阶和第二阶切向畸变系数，右相机外参矩阵，所有的畸变系数的初始值为0；

利用所述左相机内外参数集合和所述右相机内外参数集合，获取左右相机的相对位置；

通过LM算法对相机参数进行优化，得到优化后的左相机内外参数集合、右相机内外参数集合和左右相机的相对位置。