CN107644444B - 一种基于压缩感知的单图像相机标定方法 - Google Patents

Abstract

本发明涉及相机标定技术领域，具体公开了一种基于压缩感知的单图像相机标定方法，只需对标定板拍照一次，通过对张正友平面标定法针对单图像的欠定方程组中的6个未知量设置限定条件，利用压缩传感重构算法求得该单图像的最优解，大大简化了单图像的内参矩阵及外参矩阵的求解过程，且采用的压缩传感重构算法自我循环优化，相机的标定质量、标定效率较高。

Description

一种基于压缩感知的单图像相机标定方法

技术领域

本发明涉及相机标定技术领域，尤其涉及一种基于压缩感知的单图像相机 标定方法。

背景技术

摄像机标定技术起源于十九世纪摄影测量学中的镜头校正，主要用来解决 视点坐标及与其对应的像点坐标间的精准匹配问题，摄像机模型就是由定义其 匹配关系的参数组成，通常将这些参数又分为外部参数和内部参数。Tsai在1987 年提出的两步标定法被认为是相机标定重要理论工作，被广泛应用于早期的相 机标定过程中。基于径向畸变点与真实点之间共线的假设模型，该方法采用两 步策略求解相机的内外参数。两步标定法的优点在于，求解参数的计算复杂度 较低、求解速度较快，其缺点在于，在标靶平面与成像平面处于平行时，求解 的误差较大、稳定性不高。

1999年，张正友提出的平面标定方法(后称为张正友平面标定法)采用简 单的平面物体作为标靶，多次拍摄不同位置的标靶图像以非线性优化方法来估 计摄像机参数。这种平面标靶的标定方法结合了传统标靶标定法与自标定法的 思想，通过二维平面标靶的简单手动操作即能获得较高的标定精度。

张正友平面标定法是一种新的、灵活的、精度高的方法。但是在使用张正 友平面标定法的过程中，为了计算相机内参矩阵，需要求得六个未知量，所以 必须建立关于这六个未知量的方程组。张正友平面标定法对每一张标定板图像 只能建立2个方程，在需要解6个未知量情况下，只有2个方程组，显然该方 程组是欠定方程组。因此，张正友平面标定法必须对标定板进行至少3次不同 角度的拍照，以获得至少6个方程组才能求出相机的内参矩阵，进一步通过求 得的内参矩阵求得外参矩阵和畸变系数。

在利用张正友平面标定法对标定板进行人为多次拍照的过程中，可能因为 标定板摆放的角度有重复或者相差不大，导致后续的求解过程中重复计算无用 数据，相机的标定质量及标定效率低下。

发明内容

本发明提供一种基于压缩感知的单图像相机标定方法，解决了现有技术中 张正友平面标定法对单图像无法进行精准标定的技术问题。

为解决以上技术问题，本发明提供一种基于压缩感知的单图像相机标定方 法，包括步骤：

S1.将张正友标定法数学模型化形，得到单图像的内参矩阵的解的等价向量 表达式以及所述等价向量表达式的约束关系表达式，并确定标定信号的 稀疏度；

S2.设定传感矩阵，根据所述传感矩阵将所述内参矩阵的解的向量表达式化 形为初始压缩观测方程；

S3.初始化相机残差、迭代索引集合，以及初始化所述传感矩阵的列集合， 并根据相机的物理参数设置所述内参矩阵中的未知量的限定条件；

S4.将经过t-1次迭代的所述相机残差与所述传感矩阵的每一列作内积运算， 得到最大内积绝对值并将其作为第t次迭代的第t次迭代索引，t为大于 等于1的自然数；所有的所述第t次迭代索引组成所述迭代索引集合；

S5.根据经过所述步骤S4的所述迭代索引集合选出所述传感矩阵的所述列 集合；

S6.根据经过所述步骤S5的所述传感矩阵的所述列集合求得所述初始压缩 观测方程的最小二乘解；

S7.根据所述最小二乘解更新经过t次迭代的所述相机残差；

S8.判断所述最小二乘解是否满足所述内参矩阵中未知量的限定条件；若 是，则判定所述最小二乘解为最优解，并根据所述最优解求出所述内参 矩阵；若否，则返回到所述步骤S4。

进一步地，在所述步骤S1中，所述标定信号的稀疏度为6。

进一步地，在所述步骤S3中，所述相机的物理参数包含屏幕分辨率、主轴 点的理想坐标、传感器尺寸、焦距范围，以及所述主轴点的理想坐标的误差范 围。

进一步地，在所述步骤S3中，所述内参矩阵中的所述未知量包括所述单图 像分别在图像坐标系的u轴和v轴上的比例因子，所述主轴点的理想坐标，以 及描述所述主轴点的理想坐标的倾斜参数。

所述的一种基于压缩感知的单图像相机标定方法，还包括步骤：

S9.根据所述内参矩阵表示所述单图像的外参矩阵。

本发明提供的一种基于压缩感知的单图像相机标定方法，只需对标定板拍 照一次，通过对张正友平面标定法针对单图像的欠定方程组中的6个未知量设 置限定条件，利用压缩传感重构算法求得该单图像的最优解，大大简化了单图 像的内参矩阵及外参矩阵的求解过程，且采用的压缩传感重构算法自我循环优 化，相机的标定质量、标定效率较高。

附图说明

图1是本发明实施例提供的一种基于压缩感知的单图像相机标定方法的步 骤流程图；

图2是本发明实施例提供的一种基于压缩感知的单图像相机标定方法的工 作流程图。

具体实施方式

下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明 目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成 对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以 对本发明进行许多改变。

参见图1，是本发明实施例提供的一种基于压缩感知的单图像相机标定方法 的步骤流程图。在本实施例中，所述的一种基于压缩感知的单图像相机标定方 法，包括步骤：

S1.将张正友标定法数学模型化形，得到单图像的内参矩阵的解的等价向量 表达式以及所述等价向量表达式的约束关系表达式，并确定标定信号的 稀疏度；

S2.设定传感矩阵，根据所述传感矩阵将所述内参矩阵的解的向量表达式化 形为初始压缩观测方程；

S3.初始化相机残差、迭代索引集合，以及初始化所述传感矩阵的列集合， 并根据相机的物理参数设置所述内参矩阵中的未知量的限定条件；

S4.将经过t-1次迭代的所述相机残差与所述传感矩阵的每一列作内积运算， 得到最大内积绝对值并将其作为第t次迭代的第t次迭代索引，t为大于 等于1的自然数；所有的所述第t次迭代索引组成所述迭代索引集合；

S5.根据经过所述步骤S4的所述迭代索引集合选出所述传感矩阵的所述列 集合，所述列集合为所述传感矩阵中与所述相机残差最相关的列；

S6.根据经过所述步骤S5的所述传感矩阵的所述列集合求得所述初始压缩 观测方程的最小二乘解；

S7.根据所述最小二乘解更新经过t次迭代的所述相机残差；

S8.判断所述最小二乘解是否满足所述内参矩阵中未知量的限定条件；若 是，则判定所述最小二乘解为最优解，并根据所述最优解求出所述内参 矩阵；若否，则返回到所述步骤S4；

S9.根据所述内参矩阵表示所述单图像的外参矩阵。

其中，在所述步骤S1中，所述标定信号的稀疏度为6。

在所述步骤S3中，所述相机的物理参数包含屏幕分辨率、主轴点的理想坐 标、传感器尺寸、焦距范围，以及所述主轴点的理想坐标的误差范围。

在所述步骤S3中，所述内参矩阵中的所述未知量包括所述单图像分别在图 像坐标系的u轴和v轴上的比例因子，所述主轴点的理想坐标，以及描述 所述主轴点的理想坐标的倾斜参数。

参见图2，是本发明实施例提供的一种基于压缩感知的单图像相机标定方法 的工作流程图。

下面结合运算过程对图1及图2进行进一步的详细说明：

对应于所述步骤S1中，所述张正友标定法数学模型表示为：

其中，s为任意的比例因子，[R T]称为相机的外参矩阵，R为旋转矩阵，T 为平移矩阵。

是相机的内参矩阵，(u₀,v₀)称为所述主轴点的理想坐标， α和β是所述单图像分别在u和v轴的比例因子，γ是描述所述主轴点的理想坐标 的倾斜参数。设

R的第i列旋转矩阵为r_i，R＝[r₁ r₂ r₃]，则式(1) 可变为:

再设m＝[u v 1]^T，M＝[X Y 1]^T，H＝K[r₁ r₂ t]，可得：

显然，H是个3*3的系数矩阵，只要9组m和M数据就可以求出H矩阵。

令H＝λK[r₁ r₂ t]＝[h₁ h₂ h₃]，H矩阵为透视投影矩阵，它是标定板上的 点和其像点之间的映射，其中，λ是个缩放因子标量，又因为r₁和r₂正交的，则 可得式(4)与式(5)：

依照矩阵知识，当所取的标定图像至少大于或等于3幅时，才能求得含有5 个未知量的内参矩阵K的唯一解。

即令：

已知矩阵B是个对称矩阵，将其写成一个六行一列的向量形式，即为所述解的 等价向量表达式：

b＝[B₁₁,B₁₂,B₂₂,B₁₃,B₂₃,B₃₃]^T (7)

假设矩阵H的第i列向量为h_i＝[h_i1,h_i2,h_i3]^T，得到：

h_i ^T＝Bh_j＝v_ij ^Tb (8)

式(8)中：

v_ij＝[h_i1h_j1，h_i1h_j2+h_i2h_j1，h_i2h_j2，h_i3h_j1+h_i1h_j3，h_i3h_j2+h_i2h_j3，h_i3h_j3] (9)

联立式(4)、式(5)、式(8)、式(9)得到所述约束关系表达式：

即Vb＝0，式中矩阵V是一个2×6的矩阵，即一个单图像需要建立包含6个未 知量的2个方程组，未知量的数目为6个，对应地，设标定信号的稀疏度Q＝6。 根据线性代数知识可知，该方程组为欠定方程组，求解6个未知量至少需要6 个方程组，因此标定过程中至少需要3幅单图像才能解出所有未知量。

为了只对标定板拍照一次，并利用压缩传感重构算法求得该单图像的最优 解，需要对对张正友平面标定法针对单图像的欠定方程组中的6个未知量设置 限定条件，在设置限定条件前，需要构建初始压缩观测方程。

对应于所述步骤S2，由压缩观测原理表达式y＝Φx，其中y观测所得向量 M*1，x为原信号N*1(M＜＜N)。x一般不是稀疏的，但在某个变换ψ是稀疏的， 及x＝ψθ，其中θ为Q稀疏(信号的稀疏度为Q，Q＝6)，即θ只有Q个非零项， 此时y＝φψθ，令A＝φψ，则初始压缩观测方程：y＝Aθ，A即为所述传感矩 阵。

在设置限定条件时，预先假设r_t表示相机残差，t表示迭代次数，O表示空集， Π_t表示t次迭代的索引集合，λ_t表示第t次迭代找到的索引，a_j表示A的第j列， A_t表示按索引集合Π_t选出的传感矩阵A的列集合(大小为M*t的矩阵)，θ_t为t*1 的列向量。符号∪表示集合的“并”运算，<*，*>表示求向量的“内积”运算。

对应于所述步骤S3，所述相机的物理参数包含屏幕分辨率、主轴点的理想 坐标、传感器尺寸、焦距范围，以及所述主轴点的理想坐标的误差范围；所述 内参矩阵中的所述未知量包括所述单图像分别在图像坐标系的u轴和v轴上的 比例因子，以及描述所述主轴点的理想坐标的倾斜参数；所述内参矩阵中的已 知量包括所述主轴点的理想坐标和常数。

举例说明：

根据方程式(10)和(7)可知，未知量的数目为6个，已设稀疏度Q＝6； 设M＝64，N＝256；y初始为64*1维的向量，其中6个为非零随机数，分别是 [B₁₁,B₁₂,B₂₂,B₁₃,B₂₃,B₃₃]；

初始化相机残差r_t：r₀＝0，索引集合Π_t：Π₀＝O，列集合A_t：A₀＝O，及迭代 次数t：t＝1。

迭代索引集合以使用相机型号为JHSM300M进行实施例说明，该相机的屏 幕分辨率为1600(单图像的长)*1200(单图像的宽)，则主轴点的理想坐标为 (u0,v0)＝(800,600)，并允许该坐标有50个像素左右的误差，即750<u0<850， 550<v0<650；相机的传感器尺寸大小为6.55mm(传感器的长)*4.91mm(传感 器的宽)，焦距范围为6mm<f<12mm，根据α＝f/dx，β＝f/dy，(dx＝传感器的长 /单图像的长＝6.55/1600＝0.0081875，dy＝传感器的宽/单图像的宽＝4.91/1200)，得 α的范围是1465.6488<α<2931.2978，β的范围是1466.4011<β<2932.8022，理 论上，α和β的大小十分接近，则令||α-β||<0.0001；综上所述，可得未知量的 限定条件：

对应于所述步骤S4，将经过t-1次迭代的所述相机残差r_t-1与所述传感矩阵 的每一列a_j(j＝1,2，……，N)作内积(<*，*>)运算，得到最大内积绝对值 argmax_{j＝1,2.....N}|<r_t-1,a_j>|并将其作为第t次迭代的第t次迭代索引λ_t，t为大于等 于1的自然数，即：

λ_t＝argmax_{j＝1,2.....N}|<r_t-1,a_j>| (12)

所有的所述第t次迭代索引λ_t组成所述迭代索引集合Π_t，即令：

Π_t＝Π_t-1∪(λ_t)

对应于所述步骤S5，根据经过所述步骤S4的所述迭代索引集合Π_t选出所 述传感矩阵A的所述列集合A_t，即:A_t＝A_t-1∪a_t。

进一步地，对应于所述步骤S6，根据经过所述步骤S5的所述传感矩阵A 的所述列集合A_t求得所述初始压缩观测方程(y＝Aθ)的最小二乘解：

对应于所述步骤S7，根据最小二乘解更新经过t次迭代的所述相机残差r_t：

最后，对应于所述步骤S8，由于式(7)是包含(α,u0,γ,β,v0)的式子， 由式(7)和当前y向量的6个非零值可以反求当前的(α,u0,γ,β,v0)，通过 判断反求的当前的5个变量(α,u0,γ,β,v0)是否满足所述内参矩阵K中未知 量的限定条件，进一步判断所述最小二乘解是否满足所述内参矩阵K中未知量 的限定条件，若是，则跳出循环、判定所述最小二乘解为最优解，并根据所述 最小二乘解求出所述内参矩阵K；若否，则返回到所述步骤S4，继续循环，直 到得到最优解。

得到最优解以后进一步确定相机内参矩阵K，根据所述内参矩阵K表示所 述单图像的外参矩阵，即相机的外参矩阵可表示为：

本发明实施例提供的一种基于压缩感知的单图像相机标定方法，只需对标 定板拍照一次，通过对张正友平面标定法针对单图像的欠定方程组中的6个未 知量设置限定条件，利用压缩传感重构算法求得该单图像的最优解，大大简化 了单图像的内参矩阵及外参矩阵的求解过程，且采用的压缩传感重构算法自我 循环优化，相机的标定质量、标定效率较高。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实 施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、 替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于压缩感知的单图像相机标定方法，其特征在于，包括步骤：

S1.将张正友标定法数学模型化形，得到单图像的内参矩阵的解的等价向量表达式以及所述等价向量表达式的约束关系表达式，并确定标定信号的稀疏度；

S2.设定传感矩阵，根据所述传感矩阵将所述内参矩阵的解的等价向量表达式化形为初始压缩观测方程；

S3.初始化相机残差、迭代索引集合，以及初始化所述传感矩阵的列集合，并根据相机的物理参数设置所述内参矩阵中的未知量的限定条件；

S4.将经过t-1次迭代的所述相机残差与所述传感矩阵的每一列作内积运算，得到最大内积绝对值并将其作为第t次迭代的第t次迭代索引，t为大于等于1的自然数；所有的所述第t次迭代索引组成所述迭代索引集合；

S5.根据经过所述步骤S4的所述迭代索引集合选出所述传感矩阵的所述列集合；

S6.根据经过所述步骤S5的所述传感矩阵的所述列集合求得所述初始压缩观测方程的最小二乘解；

S7.根据所述最小二乘解更新经过t次迭代的所述相机残差；

S8.判断所述最小二乘解是否满足所述内参矩阵中未知量的限定条件；若是，则判定所述最小二乘解为最优解，并根据所述最优解求出所述内参矩阵；若否，则返回到所述步骤S4。

2.如权利要求1所述的一种基于压缩感知的单图像相机标定方法，其特征在于：在所述步骤S1中，所述标定信号的稀疏度为6。

3.如权利要求1所述的一种基于压缩感知的单图像相机标定方法，其特征在于：在所述步骤S3中，所述相机的物理参数包含屏幕分辨率、主轴点的理想坐标、传感器尺寸、焦距范围，以及所述主轴点的理想坐标的误差范围。

4.如权利要求3所述的一种基于压缩感知的单图像相机标定方法，其特征在于：在所述步骤S3中，所述内参矩阵中的所述未知量包括所述单图像分别在图像坐标系的u轴和v轴上的比例因子，所述主轴点的理想坐标，以及描述所述主轴点的理想坐标的倾斜参数。

5.如权利要求1所述的一种基于压缩感知的单图像相机标定方法，其特征在于，还包括步骤：

S9.根据所述内参矩阵表示所述单图像的外参矩阵。

Images