CN105513063B - Veronese映射和棋盘格标定拋物折反射摄像机的方法 - Google Patents

Abstract

本发明涉及一种利用Veronese映射和棋盘格标定拋物折反射摄像机的方法，其特征在于该方法的靶标是由空间中已知的棋盘格构成，所述方法的具体步骤包括：在求解抛物折反射摄像机内参数的过程中，需使用抛物折反射摄像机拍摄3幅图像；通过Veronese映射得到三个单应矩阵求解任意直线的消失点，并利用对极点和调和共轭关系求出另一消失点，两个消失点连线即为消失线；根据消失线与直线的像即二次曲线的交点从而求出3组圆环点的像；利用圆环点的像对绝对二次曲线的像的约束，进行Cholesky分解求出抛物折反射摄像机内参数。

Description

Veronese映射和棋盘格标定拋物折反射摄像机的方法

技术领域

本发明属于计算机视觉领域，涉及一种利用Veronese映射求解抛物折反射摄像机中平面网格到图像平面的单应矩阵，结合消失点和圆环点对折反射摄像机进行标定。

背景技术

计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能力。这种能力将不仅使机器能感知三维环境中物体的几何信息(形状、位置、姿态、运动等)，而且能对它们进行描述、存储、识别与理解。在此过程中必须确定三维标定物和它的二维图像之间的映射过程，为了确定这一映射过程，需要建立摄像机的几何成像模型，这些几何模型的参数称为摄像机参数，计算这些参数的过程就是摄像机标定。摄像机参数可分为内参数和外参数两类。内参数反映摄像机的成像几何特性；外参数表示摄像机相对于世界坐标系的位置和方向。摄像机的标定一般分为传统标定和自标定两种方法，无论哪种标定方法，标定物都是采用一些特殊的几何模型，例如：正方形、三角形、圆、立方体、圆柱、球等等。如何建立这些几何模型与摄像机参数之间的关系尤其是某种线性的关系，是目前摄像机标定所追求的目标，也是目前计算机视觉领域研究的热点之一。

抛物折反射摄像机由一个抛物镜面和一个正交摄像机组成，可视范围大且保持单视点约束，是全景视觉领域研究的热点。文献“Plane-based calibration of centralcatadioptric cameras”，(Gasparini S.,Sturm P.,Barreto J.P.,IEEE 12thInternational Conference on, pp.1195-1202,2009)先通过中心折反射摄像机下平面网格到它的图像之间的至少三个单应矩阵计算得到绝对二次曲线的像(IAC)，再根据IAC与中心折反射摄像机内参数的关系即可得到内参数，但是这种方法需要使用迭代估计。文献“Calibration of central catadioptric cameras using a DLT-like approach”,(PuigL.,Bastanlar Y.,Sturm P.,et al.,International journal of computer vision,vol.93,no.1,pp.101-114,2011)提出了一种基于三维控制点的标定方法，通过使用Veronese映射对三维点和其图像点的坐标进行了扩展，在扩展坐标的基础上基于直接相似变换(DLT)方法实现了中心折反射摄像机的标定，但是这类方法需要已知三维点的位置，和从图像中提取其对应的图像点。由于像点和空间点之间的单应关系，需已知空间点与像点，则选用棋盘格，在棋盘格上选取空间点，从而容易获得对应像点，进行求解单应矩阵。“Multiple view geometry in computer vision”，(Hartley R.,Zisserman,A.,Cambridge University Press，2004.)中提到的关于计算机视觉中的基础知识，并且提到关于利用圆环点的像对绝对二次曲线像的约束来求解摄像机内参数。

抛物折反射摄像机中平面网格的点到图像平面的点经过2次旋转与平移，第一次由棋盘格上的点到摄像机所在的单位球面上，第二次从单位球面上到像平面上。

发明内容

本发明提供了一种制作简单，适用广泛，稳定性好的利用靶标求解抛物折反射摄像机内参数的方法，其特征在于该方法的靶标是由空间中已知的棋盘格构成，所述方法的具体步骤包括：在求解抛物折反射摄像机内参数的过程中，需使用抛物折反射摄像机拍摄3幅图像；通过Veronese映射得到三个单应矩阵求解任意直线的消失点，并利用对极点和调和共轭关系求出另一消失点，两个消失点连线即为消失线；根据消失线与直线的像即二次曲线的交点从而求出3组圆环点的像；利用圆环点的像对绝对二次曲线的像的约束，进行Cholesky 分解求出抛物折反射摄像机内参数。

本发明采用如下技术方案：

本发明是由棋盘格构成的模板作为靶标用于求解抛物折反射摄像机内参数的方法。该方法的特征是在抛物折反射摄像机成像中，仅利用棋盘格上的角点和棋盘格成像上对应的角点求解模板平面到模板成像平面之间的扩展单应矩阵。利用扩展单应矩阵计算模板平面上任意直线方向上的一个消失点。拟合图像轮廓得到主点坐标并求得图像上任意点的对极点，根据对极点求解对极点所在直线方向上的另一个消失点。两个消失点的连线即为消失线，消失线与对应的二次曲线的交点即为圆环点的像，通过圆环点的性质提供的约束方程求解抛物折反射摄像机的内参数。

1.求解抛物折反射摄像机的扩展单应矩阵

由棋盘格上的点与其对应的像点进行Veronese映射扩展，并与抛物折反射投影矩阵形成约束，从而求解扩展单应矩阵第一步：选取棋盘格上的一个已知点Q，Q的齐次坐标为 (x，y，z，1)，令z＝0。根据折反射摄像机统一单位球模型的投影矩阵求其像点q，用齐次坐标表示(x′，y′，1)；第二步：将q用反对称矩阵[q]表示出来，并用Veronese映射将q的反对称矩阵扩展为6×6的矩阵将棋盘格上的Q点写成矩阵形式[x y z 1]，运用矩阵QQ^T中的元素进行重新排列得到其Veronese映射扩展形式舍去其含0项，得到6*1的向量；第三步：得到等式其中为所求的扩展单应矩阵。因为一个对称矩阵的秩为 2，通过Veronese映射扩展之后矩阵的秩为3，所以一组对应点只能提供3个约束。因此，至少需要12组对应点就可求解扩展单应矩阵

2.利用扩展单应矩阵计算模板平面上任意直线方向上的消失点

任取模板平面两点，坐标可写作Qi(x_i，y_i，0，1)，Qj(x_j，y_j，0，1)，i＝1…n，j＝1…n，n为点的数目，构成一条斜率为的直线l，那么这条直线方向的无穷远点就可表示为 V₁(1，k，0)，利用所求得的单应矩阵即可获得无穷远点V₁所对应的投影平面的消失点π₁。

3.计算主点与任意点所在直线方向上的消失点

抛物折反射图像的外轮廓相当于单位球上平行于图像平面的圆的成像，空间直线l在单位球上投影形成一个大圆，大圆投影到图像平面对应的是一条二次曲线Ω，也就是空间直线 l的成像。图像轮廓的中心是主点，齐次坐标为p₀(u₀，v₀，1)，检测图像外轮廓并拟合得到二次曲线方程：au²+2buv+cv²+2du+2ev+f＝0，其中a，b，c，d，e为二次曲线的系数，u，v为像平面上的坐标，所以主点坐标为：在棋盘格直线l上取一个角点，它所对应的像点为p(a₁，b₁，1)，它的对极像点(过主点的直线与空间直线成像的二次曲线的两个交点互为对极像点)，取其中一个为p′(a₁′，b₁′，1)，设直线pp′方向的消失点为π₂(u₂，v₂，1)，那么点p，p′，- π ₂ 和主点p₀构成调和共轭关系，即：四点的调和比 (pp′，p₀π₂)＝-1，即可确定消失点π₂的坐标。

4.求解摄像机内参数

利用已经获得的消失点π₁，π₂可确定消失线L，即L＝π₁×π₂。消失线与直线的像有两个交点，这两个交点即为圆环点的像，利用圆环点的像对绝对二次曲线像的约束来求解摄像机内参数。

本发明优点：

(1)该靶标制作简单，只需一个已知的棋盘格平面模板。

(2)对该靶标的物理尺度没有要求，无需知道靶标的位置，只需在一个平面即可。

(3)该靶标的图像边界点几乎可以全部提取，这样可以提高曲线拟合的精确度，从而提高标定精度。

附图说明

图1是棋盘格靶标的示意图。

图2是直线在单位球下的成像模型。

图3是主点与任意点及任意点的对极像点所在直线方向上的消失点，求消失点的示意图。

具体实施方式

一种利用靶标和Veronese映射求解抛物折反射摄像机内参数的方法，其特征在于此靶标是由一个已知的平面棋盘格构成的模板，如图1，Q₁，Q₂表示棋盘格上的空间点，V₁表示Q₁Q₂组成的直线l方向上的无穷远点。所述方法具体步骤包括：利用抛物折反射摄像机拍摄包含靶标的3幅图像，提取模板成像中对应的角点；根据抛物折反射摄像机中模板的角点和模板成像中所对应的角点求解模板平面到图像平面之间的扩展单应矩阵利用扩展单应矩阵计算得到模板平面上任意直线方向上的消失点π₁；拟合图像轮廓得到主点p₀的坐标并求得图像上二次曲线上的任意一点p的对极点p′，利用对极点得到对极点所在直线方向上的消失点π₂；消失点π₁π₂的连线即为消失线L，消失线L与直线l对应的像的交点，即为圆环点的像，通过圆环点的性质提供约束方程求解摄像机内参数。

1.求解抛物折反射摄像机的扩展单应矩阵

Veronese映射V_n，d是次数为d，维数为n的一个映射，V表示映射。它把n维空间中的点映射到ε维射影空间中的点，其中

将空间点对应的像点q＝(q₁，q₂，q₃)表示为矩阵形式[q₁ q₂ q₃]，运用矩阵qq^T中的元素进行重新排列得到其Veronese映射扩展形式，记为算子τ：

τ＝[q₁ ²，q₁q₂，q₂ ²，q₁q₃，q₂q₃，q₃ ²]^T， (1)

其中依据不同的符号表示有所差别，如[h₁ h₂ h₃]或[π₁ π₂ π₃]等。同理，任意一个3×3的矩阵H＝[h₁ h₂ h₃]，h₁，h₂，h₃分别为3×1的矩阵，那么得到其6×6的扩展矩阵，任意一个H的扩展形式：

其中表示扩展后的矩阵。

如果A是一个m×n的矩阵而B是一个m′×n′的矩阵，A和B的Kronecker 积则是一个mm′×nn′的矩阵，表示为：其中表示Kronecker 积。

棋盘格上的点与其像点的坐标进行Veronese映射扩展，与抛物折反射投影矩阵形成约束，从而求解所求单应矩阵：将已知棋盘格上的点Q，令Q齐次坐标的z＝0。根据统一单位球模型下的投影方程其中K是摄像机的内参数矩阵，R是摄像机坐标系相对于镜面坐标系之间的旋转矩阵，t为平移向量，ξ表示镜面参数(抛物镜面ξ＝1)，q是对应于Q的成像点，∝表示在相差一个常数比例因子时相等。第一步：求其像点q，将q用反对称矩阵[q]表示出来，并用公式(2)将[q]通过Veronese映射扩展为(6*6的扩展矩阵)，将棋盘格上的Q点按照公式(1)将其扩展为(由于选择 z＝0，故其次坐标将舍去第三行全部含0项，得到6×1的向量)；第三步：得到等式(为所求的扩展单应矩阵)，使用Kronecker积进行变换可得：

其中包含中的36个元素，利用求解就可得到

因为一个反对称矩阵的秩为2，通过Veronese映射扩展之后的矩阵的秩为3，所以一组对应点只能提供3个约束。因此，至少需要12组对应点就可求解扩展单应矩阵

2.利用扩展单应矩阵计算得到模板平面上任意直线方向上的消失点

如图一所示，任取棋盘格两角点，用齐次坐标表示，可写作Q_i(x_i，y_i，0，1)， Q_j(x_j，y_j，0，1)i＝1...n，j＝1...n，构成一条斜率为的直线l，那么这条直线方向的无穷远点就可表示为V₁(1，k，0，1)，利用公式(3)求得的单应矩阵即可获得无穷远点V₁所对应的扩展消失点其公式表达为：

得到的为6×1的向量，如公式(1)中所示，将该向量的第1、3、6个元素开方，得到3个向量元素(可能与所求向量元素互为相反数)，再通过判断第2，4，6元素的正负号确定该所求的3×1阶向量π₁，即扩展消失点降阶得到消失点π₁。

3.计算主点与任意点所在直线方向上的消失点

抛物折反射摄像机所拍摄的图像外轮廓相当于单位球上平行于图像平面的圆的成像。如图二所示，O_c代表摄像机光心，O表示球心，直线l在单位球心O为中心的投影上形成一个大圆，再以O_c为中心，投影在垂直于轴O_cO的图像平面上的是一条二次曲线Ω。因此图像轮廓的中心可以看成是主点p₀(u₀，v₀，1)。检测图像外轮廓并拟合得到二次曲线方程： au²+2buv+cv²+2du+2ev+f＝0，其中a，b，c，d，e，f的是二次曲线方程的系数，u，v表示的是像素坐标。所以主点坐标为：

如图三所示，在直线l上取的一个角点，它的像点为p(a₁，b₁，1)，它的对极点为p′(a₁′，b₁′，1)，设直线pp′方向的消失点为π₂(u₂，v₂，1)，那么点p，p′，π₂和主点p₀构成调和共轭关系。因为射影变换保持交比不变性，即

(pp′，p₀π₂)＝-1， (6)

-1表示调和比。根据(6)式即可确定消失点π₂的坐标。

4.求解摄像机内参数

由于消失点在消失线上，所以利用已经获得的消失点即可确定消失线L＝π₁×π₂，消失线和直线l的像Ω有两个交点，这两个交点即为圆环点的像因为圆环点I，J都在绝对二次曲线Ω_o上，所以它们的像必在绝对二次曲线的像ω上。所以得到关于ω的约束方程：

式中Re，Im分别表示复数的实部和虚部。

利用上式可求得绝对二次曲线的像ω，然后对ω进行Cholesky分解并求逆，就求得摄像机内参数矩阵。

对于中心折反射摄像机的标定就是要求解矩阵K和镜面参数ξ，然而抛物折反射摄像机的镜面参数ξ＝1，K是摄像机的内参数矩阵，其中s为图像的畸变因子，f_u，f_v分别为图像坐标系中u轴和v轴的尺度因子，(u₀，v₀)为主点坐标，因此 f_u，f_v，s，u₀，v₀为抛物折反射摄像机的5个内参数。

实施例

本发明提出了利用Veronese映射和棋盘格靶标确定拋物折反射摄像机内参数的方法。下面以一实例对本发明的实施方案做出更为详细的描述，利用本发明中的方法对实验中的抛物折反射摄像机进行标定，具体步骤如下：

1.求解折反射***的扩展单应矩阵

抛物折反射摄像机的拍摄图像的分辨率为640×480，对棋盘格模板以不同的位置进行拍摄，取3张图像。读入该图像，用Matlab软件中的Edge函数提取棋盘格的角点坐标，分别取每张像上棋盘格的12个角点坐标，三张图像的齐次坐标分别为：

第一张图像的12个角点坐标，每列为一个角点齐次坐标，写成矩阵的形式：

第二张图像的12个角点坐标，每列为一个角点齐次坐标，写成矩阵的形式：

第三张图像的12个角点坐标，每列为一个角点齐次坐标，写成矩阵的形式：

根据(2)式再对上面三张图像中的每张棋盘格角点的12个坐标进行Veronese映射扩展，再利用公式(3)求得三张图像分别对应的3个扩展单应矩阵分别如下：

2.利用单应矩阵计算得到模板平面上任意直线方向上的消失点

取模板平面上一条斜率为2的直线l：y＝2x，则该直线上的无穷远点齐次坐标可以写成 V₁(1，2，0)，利用公式(1)将其扩展,得到矩阵为对应于实施例步骤1 中的三张图像，无穷远点V₁在抛物折反射像平面上有3个像点，该消失点通过Veronese映射扩展过后，分别记为(其中分别表示V₁在3幅图像上的对应像点的扩展形式)，利用公式(4)，在单应矩阵作用下，3个消失点为 6*1的扩展向量，即扩展消失点：

分别对向量的第1、3、6个元素开方，对于每个向量就得到3个向量元素(可能与所求向量元素互为相反数)，再通过判断第2、4、5元素的正负号确定该所求的对应的3×1阶向量。通过计算，则对应转化为3×1阶的向量 (π₁ ¹，π₁ ²，π₁ ³分别表示V₁在3幅图像上的对应像点的齐次坐标)为：

3.计算主点与任意点所在直线方向上的消失点

在抛物折反射摄像机下，直线在图像平面上对应的是一条二次曲线。上述直线l：y＝2x在三幅图像上对应的二次曲线的系数矩阵分别为D₁，D₂，D₃：

利用公式(5)，解得主点分别为(其中分别表示3幅图像的主点)

由公式(6)求得3幅图片上对应直线上的消失点分别为：

消失线L＝π₁×π₂，消失线L和直线l所对应的像二次曲线Ω有两个交点(该交点互为共轭)，这两个交点即为圆环点的像由于每幅图片有一组圆环点的像，经过以上3幅图片得到的3组圆环点的像

可由公式(7)线性求解出绝对二次曲线的像ω，有

对ω进行Cholesky分解再求逆拋便可获得物折反射摄像机内参数矩阵，有

故抛物折反射摄像机的5个内参数分别为：f_u＝8.00005346949315×10²， f_v＝8.00021691486358×10²s＝0.511449708139649，u₀＝2.99918016294071×10²， v₀＝4.50066256891568×10²。

Claims (1)

1.一种利用Veronese映射和棋盘格标定抛物折反射摄像机的方法，其特征在于利用一个平面的靶标，此靶标是由已知的棋盘格构成；所述方法的具体步骤包括：用抛物折反射摄像机以不同的位置拍摄三幅图像并读入图像，从图像上提取棋盘格的角点坐标求解抛物折反射摄像机的扩展单应矩阵，再利用扩展单应矩阵求解棋盘格上任意直线方向上的消失点，并利用对极点和调和共轭关系求出另一消失点，两个消失点连线即为消失线；根据消失线与直线的像即二次曲线的交点从而求出3组圆环点的像；利用圆环点的像对绝对二次曲线的像的约束，进行Cholesky分解求出抛物折反射摄像机内参数：

1)求解抛物折反射摄像机的扩展单应矩阵

由棋盘格上的点与其对应的像点进行Veronese映射扩展，并与抛物折反射投影矩阵形成约束，从而求解扩展单应矩阵：第一步：选取棋盘格上的一个已知点Q，Q的齐次坐标为(x，y，z，1)，令z＝0；根据折反射摄像机统一单位球模型的投影矩阵求其像点q，用齐次坐标表示(x′，y′，1)；第二步：将q用反对称矩阵[q]表示出来，并用Veronese映射将q的反对称矩阵扩展为6×6的矩阵，将棋盘格上的Q点写成矩阵形式[x y z 1]，运用矩阵QQ^T中的元素进行重新排列得到其Veronese映射扩展形式，舍去其含0项，得到6*1的向量；第三步：得到等式其中为所求的扩展单应矩阵；因为一个对称矩阵的秩为2，通过Veronese映射扩展之后矩阵的秩为3，所以一组对应点只能提供3个约束；因此，至少需要12组对应点就可求解扩展单应矩阵；

2)计算模板平面上任意直线方向上的消失点

选取一条已知斜率为k的空间直线l，那么这条直线方向的无穷远点就可表示为V₁(1，k，0，1)，利用求得的单应矩阵，即可获得无穷远点V₁所对应的扩展消失点，其公式表达为：，降阶就可得到消失点π₁；

3)计算主点与任意点所在直线方向上的消失点

抛物折反射图像的外轮廓相当于单位球上平行于图像平面的圆的成像，空间直线l在单位球上投影形成一个大圆，大圆投影到图像平面对应的是一条二次曲线Ω，也就是空间直线l的成像；图像轮廓的中心是主点，齐次坐标为p₀(u₀，v₀，1)，检测图像外轮廓并拟合得到二次曲线方程：au²+2buv+cv²+2du+2ev+f＝0，其中a，b，c，d，e，f为二次曲线的系数，u，v为像平面上的坐标，所以主点坐标为：；在棋盘格直线l上取一个角点，它所对应的像点为p(a₁，b₁，1)，它的对极像点，即过主点的直线与空间直线成像的二次曲线的两个交点互为对极像点，取其中一个为p′(a₁′，b₁′，1)，设直线pp′方向的消失点为π₂(u₂，v₂，1)，那么点p，p′，π₂和主点p₀构成调和共轭关系，即：四点的调和比(pp′，p₀π₂)＝-1，即可确定消失点π₂的坐标；

4)求解摄像机内参数

由于消失点在消失线上，所以利用已经获得的消失点即可确定消失线L＝π₁×π₂，消失线和空间直线l的像Ω有两个交点，这两个交点即为圆环点的像，获取三幅图像上的圆环点的像的坐标，得到关于绝对二次曲线的像的约束方程，然后对进行Cholesky分解并求逆，得摄像机内参数矩阵，其中s为图像的畸变因子，f_u，f_v分别为图像坐标系中u轴和v轴的尺度因子，(u₀，v₀)为主点坐标，因此f_u，f_v，s，u₀，v₀为抛物折反射摄像机的5个内参数。