CN106651950B - 一种基于二次曲线透视投影不变性的单相机位姿估计方法 - Google Patents

Abstract

本发明公开一种基于二次曲线透视投影不变性的单相机位姿估计方法，包括如下步骤：S101、根据二次曲线对应信息，估计相机成像平面和空间平面对象之间的单应性矩阵。S102、根据所述单应性矩阵，求解出位姿参数中的旋转矩阵和平移向量。本发明直接在二次曲线方程的基础上估计位姿，缩短了误差的传递链，提高了位姿估计方法的稳健性；将求解由非线性方程组求解转化成线性方程组求解，无需构造非线性目标优化函数去求解，且能够在线性算法时间复杂度O(n)中完成。

Description

一种基于二次曲线透视投影不变性的单相机位姿估计方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于二次曲线透视投影不变性的单相机位姿估计方法。

背景技术

单相机位姿估计问题是计算机视觉、摄影测量学领域一个重要的研究问题。该问题的基本描述可以归结为：已经图像空间和物理空间的特征对应信息，求解两个空间下定义的不同坐标系之间的位姿约束，即估计旋转参数和平移参数。而单相机位姿估计方法的准确性直接影响到计算机视觉研究领域的视觉追踪、摄影测量、相机标定等任务的完成质量。

由于在平面目标透视投影过程中，点、直线和二次曲线具有不变性，现有的单相机位姿估计方法所采用的特征对应信息主要有特征点对应性、特征直线对应性和特征二次曲线对应性三种。对于基于特征点对应性的估计方法，特征点对应信息的获取容易收到图像噪声和像面坐标提取方法精度的影响，间接影响到了位姿估计的精度。文献“Fast andGlobally Convergent Pose Estimation from Video Images”(C.P.Lu,G.D.Hager,andE.Mjolsness. IEEE Transactions on Pattern Analysis&Machine Intelligence,vol.22, pp.610-622,2000.)提出一种利用旋转矩阵正交参数化，建立合适的目标函数。该方法估计精度高，计算效率高，对初值的依赖程度小。但是旋转矩阵正交参数化容易受到输入数据的噪声的影响，导致其迭代过程退化。文献“EPnP:An Accurate O(n)Solution tothe PnP Problem”(V.Lepetit,F. Moreno-Noguer,and P.Fua.International Journalof Computer Vision,vol. 81,pp.155-166,2009.)，该方法将输入的实际控制点由四个虚拟控制点等价转换，进而将问题归结于估计四个虚拟控制点在相机坐标系下的坐标，其能够在线性算法时间复杂度O(n)中完成，但是由于数据噪声的影响，常常会出现多解的结果。对于基于特征直线对应性的估计方法，直线长度的不确定性导致了图像上成像线段特征具有不确定性，同时，直线特征较为简单，很容易受到环境中噪声纹理误检测的影响。而相比于直线具有更高阶次的二次曲线，如椭圆，其纹理特征相比直线更容易从环境纹理中识别分离出来，同时在特征提取方面，具有更稳健的特性。

发明内容

本发明的目的在于通过一种基于二次曲线透视投影不变性的单相机位姿估计方法，来解决以上背景技术部分提到的问题。

为达此目的，本发明采用以下技术方案：

一种基于二次曲线透视投影不变性的单相机位姿估计方法，该方法包括如下步骤：

S101、根据二次曲线对应信息，估计相机成像平面和空间平面对象之间的单应性矩阵；

S102、根据所述单应性矩阵，求解出位姿参数中的旋转矩阵和平移向量。

特别地，所述步骤S101包括：所述单应性矩阵指一个二维平面对象上的点与相机成像平面上的像点之间的映射关系；

相机的透视投影模型为：

其中，

为相机坐标系下成像平面上点的齐次坐标，

为世界坐标系下平面对象上点的齐次坐标；K是相机的内参数矩阵，其具体包括主点坐标、焦距参数，s为尺度因子；设[R t]为世界坐标系转化到相机坐标系下的位姿参数；旋转矩阵R可进行列向量的形式来表示，则：

[R t]＝[r₁ r₂ r₃ t] (2)

由于对象为平面物体，故

则公式(1)表达为：

设

H＝K[r₁ r₂ t]，公式(3)表达为

H即是世界坐标系平面与图像平面的单应性映射；

平面内，二次曲线的代数方程可表示为：

Ax²+Bxy+Cy²+Dx+Ey+F＝0 (5)

使用矩阵的形式表达公式(5)，具体为：

根据公式(6)，平面对象上二次曲线上的点和二次曲线方程的关系表示为如下式：

根据二次曲线透视投影不变性，世界坐标系下二次曲线在成像平面上的透视投影成像也是二次曲线；同理，根据公式(7)，成像平面上二次曲线上的点和二次曲线方程的关系可以表示为如下式：

其中，C′表示成像平面二次曲线代数方程的矩阵参数；

将公式(4)带入公式(8)，可得：

联立公式(7)、(9)，得出世界坐标系内的二次曲线和成像平面内的二次曲线之间的关系，即：

C＝sH^TC'H (10)

不失一般性的，限定两个矩阵行列式值得情况下，将(10)表达为：

C＝H^TC'H (11)

其中：det(H)＝1，det(C)＝1，det(C')＝1。

特别地，所述步骤S101还包括：联立同一平面内两组二次曲线对应性等式方程，将求解单应性矩阵方程由非线性方程转化成线性方程求解，过程如下：

设空间有n个二次曲线C_i，i＝1,2,3....n，所有的空间二次曲线在一个平面上,其在成像平面上的对应的二次曲线为C_i'，i＝1,2,3....n，且空间的n个二次曲线在同一个世界坐标系下；对于两组二次曲线对应信息，建立如下等式：

C_i ^-1C_j＝H^-1C_i'^-1C_j'H (12)

由公式(12)可得，

C_i'^-1C_j'H-HC_i ^-1C_j＝0 (13)

其可以转化为线性方程：

M_ijh＝0 (14)

其中：

h是一个9×1矩阵，由下式定义：

其中，M_ij是一个9×9矩阵，其中的元素由

表达；符号

是矩阵中对应元素，其通过如下公式确定：

中i，j的含义，标示两组二次曲线对应信息；即，一个二次曲线是C_i，另外一个二次曲线是C_j，他们在成像平面上对应的二次曲线分别为C_i'和C_j'；对于已经确定的i，j标号，二次曲线C_i'和C_j'为确定已知矩阵，只需要计算C_i'^-1C_j' 和C_i ^-1C_j，则可确定

当二次曲线对应信息个数大于两个时，公式(14)的求解应该归结于超定线性方程组的求解；利用最小二乘方法得到单应性矩阵的最优解。

特别地，所述步骤S102包括：相机的内参数矩阵为K，单应性矩阵为H，则：

[r₁ r₂ t]＝HK^-1 (15)

由于旋转矩阵是正交矩阵，各个列向量都是单位向量，且两两正交，即

r₃＝r₁×r₂ (16)

则根据公式(15)，求解出旋转矩阵的第一列列向量，第二列列向量，以及平移向量；根据公式(16)，将旋转矩阵的第一列列向量和第二列列向量进行叉乘运算，得到旋转矩阵的第三列列向量。

本发明提出的基于二次曲线透视投影不变性的单相机位姿估计方法直接在二次曲线方程的基础上估计位姿，缩短了误差的传递链，提高了位姿估计方法的稳健性；将求解由非线性方程组求解转化成线性方程组求解，无需构造非线性目标优化函数去求解，且能够在线性算法时间复杂度O(n)中完成。

附图说明

图1为本发明实施例提供的基于二次曲线透视投影不变性的单相机位姿估计方法流程图；

图2为本发明实施例提供的基于位姿估计的测棒快速标定装置结构示意图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容理解的更加透彻全面。需要说明的是，当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参照图1所示，图1为本发明实施例提供的基于二次曲线透视投影不变性的单相机位姿估计方法流程图。

本实施例中基于二次曲线透视投影不变性的单相机位姿估计方法具体包括如下步骤：

S101、根据二次曲线对应信息，估计相机成像平面和空间平面对象之间的单应性矩阵。

以图2所示为例，相机201拍摄平面对象202上的圆形特征203。由于平面对象202可能不平行于成像平面，成像特征可能会是椭圆。在拍摄图像中提取椭圆特征，从而得到的多组二次曲线对应信息。

基于二次曲线透视投影不变性，通过求解单应性矩阵，建立世界坐标系下单个二次曲线代数方程矩阵与对应相机坐标系下的二次曲线代数方程矩阵之间的转换关系。

在计算机视觉中，单应性矩阵是用来描述从一个平面到另一个平面的投影映射，本实施中所述单应性矩阵指一个二维平面对象上的点与相机成像平面上的像点之间的映射关系；

相机的透视投影模型为：

其中，

为相机坐标系下成像平面上点的齐次坐标，

为世界坐标系下平面对象上点的齐次坐标；K是相机的内参数矩阵，其具体包括主点坐标、焦距参数，s为尺度因子；设[R t]为世界坐标系转化到相机坐标系下的位姿参数；旋转矩阵R可进行列向量的形式来表示，则：

[R t]＝[r₁ r₂ r₃ t] (2)

由于对象为平面物体，故

则公式(1)表达为：

设

H＝K[r₁ r₂ t]，公式(3)表达为

H即是世界坐标系平面与图像平面的单应性映射；

平面内，二次曲线的代数方程可表示为：

Ax²+Bxy+Cy²+Dx+Ey+F＝0 (5)

使用矩阵的形式表达公式(5)，具体为：

根据公式(6)，平面对象上二次曲线上的点和二次曲线方程的关系表示为如下式：

根据二次曲线透视投影不变性，世界坐标系下二次曲线在成像平面上的透视投影成像也是二次曲线；同理，根据公式(7)，成像平面上二次曲线上的点和二次曲线方程的关系可以表示为如下式：

其中，C′表示成像平面二次曲线代数方程的矩阵参数；

将公式(4)带入公式(8)，可得：

联立公式(7)、(9)，得出世界坐标系内的二次曲线和成像平面内的二次曲线之间的关系，即：

C＝sH^TC'H (10)

不失一般性的，限定两个矩阵行列式值得情况下，将(10)表达为：

C＝H^TC'H (11)

其中：det(H)＝1，det(C)＝1，det(C')＝1。

对于求解单应性矩阵H，公式(11)的求解是非线性的，而非线性方程的求解容易陷入局部最优解的误区。

本实施例中联立同一平面内两组二次曲线对应性等式方程，将求解单应性矩阵方程由非线性方程转化成线性方程求解，过程如下：

设空间有n个二次曲线C_i，i＝1,2,3....n，所有的空间二次曲线在一个平面上,其在成像平面上的对应的二次曲线为C_i'，i＝1,2,3....n，且空间的n个二次曲线在同一个世界坐标系下；对于两组二次曲线对应信息，建立如下等式：

C_i ^-1C_j＝H^-1C_i'^-1C_j'H (12)

由公式(12)可得，

C_i'^-1C_j'H-HC_i ^-1C_j＝0 (13)

其可以转化为线性方程：

M_ijh＝0 (14)

其中：h是一个9×1矩阵，由下式定义：

其中，M_ij是一个9×9矩阵，其中的元素由

表达；符号

是矩阵中对应元素，其通过如下公式确定：

中i，j的含义，标示两组二次曲线对应信息；即，一个二次曲线是C_i，另外一个二次曲线是C_j，他们在成像平面上对应的二次曲线分别为C_i'和C_j'；对于已经确定的i，j标号，二次曲线C_i'和C_j'为确定已知矩阵，只需要计算C_i'^-1C_j' 和C_i ^-1C_j，则可确定

当二次曲线对应信息个数大于两个时，公式(14)的求解应该归结于超定线性方程组的求解；利用最小二乘方法得到单应性矩阵的最优解。

S102、根据所述单应性矩阵，求解出位姿参数中的旋转矩阵和平移向量。

相机的内参数矩阵为K，单应性矩阵为H，则：

[r₁ r₂ t]＝HK^-1 (15)

由于旋转矩阵是正交矩阵，各个列向量都是单位向量，且两两正交，即

r₃＝r₁×r₂ (16)

则根据公式(15)，求解出旋转矩阵的第一列列向量，第二列列向量，以及平移向量；根据公式(16)，将旋转矩阵的第一列列向量和第二列列向量进行叉乘运算，得到旋转矩阵的第三列列向量。

本发明的技术方案直接在二次曲线方程的基础上估计位姿，缩短了误差的传递链，提高了位姿估计方法的稳健性；将求解由非线性方程组求解转化成线性方程组求解，无需构造非线性目标优化函数去求解，且能够在线性算法时间复杂度O(n)中完成。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (3)

1.一种基于二次曲线透视投影不变性的单相机位姿估计方法，其特征在于，包括如下步骤：

S101、根据二次曲线对应信息，估计相机成像平面和空间平面对象之间的单应性矩阵；具体包括：所述单应性矩阵指一个二维平面对象上的点与相机成像平面上的像点之间的映射关系；

相机的透视投影模型为：

其中，

为相机坐标系下成像平面上点的齐次坐标，

为世界坐标系下平面对象上点的齐次坐标；K是相机的内参数矩阵，其具体包括主点坐标、焦距参数，s为尺度因子；设[R t]为世界坐标系转化到相机坐标系下的位姿参数；旋转矩阵R可进行列向量的形式来表示，则：

[R t]＝[r₁ r₂ r₃ t] (2)

由于对象为平面物体，故

则公式(1)表达为：

设

H＝K[r₁ r₂ t]，公式(3)表达为

H即是世界坐标系平面与图像平面的单应性映射；

平面内，二次曲线的代数方程可表示为：

Ax²+Bxy+Cy²+Dx+Ey+F＝0 (5)

使用矩阵的形式表达公式(5)，具体为：

根据公式(6)，平面对象上二次曲线上的点和二次曲线方程的关系表示为如下式：

根据二次曲线透视投影不变性，世界坐标系下二次曲线在成像平面上的透视投影成像也是二次曲线；同理，根据公式(7)，成像平面上二次曲线上的点和二次曲线方程的关系可以表示为如下式：

其中，C′表示成像平面二次曲线代数方程的矩阵参数；

将公式(4)带入公式(8)，可得：

联立公式(7)、(9)，得出世界坐标系内的二次曲线和成像平面内的二次曲线之间的关系，即：

C＝sH^TC'H (10)

不失一般性的，限定两个矩阵行列式值得情况下，将(10)表达为：

C＝H^TC'H (11)

其中：det(H)＝1，det(C)＝1，det(C')＝1；

S102、根据所述单应性矩阵，求解出位姿参数中的旋转矩阵和平移向量。

2.根据权利要求1所述的基于二次曲线透视投影不变性的单相机位姿估计方法，其特征在于，所述步骤S101还包括：联立同一平面内两组二次曲线对应性等式方程，将求解单应性矩阵方程由非线性方程转化成线性方程求解，过程如下：

设空间有n个二次曲线C_i，i＝1,2,3....n，所有的空间二次曲线在一个平面上,其在成像平面上的对应的二次曲线为C_i'，i＝1,2,3....n，且空间的n个二次曲线在同一个世界坐标系下；对于两组二次曲线对应信息，建立如下等式：

C_i ^-1C_j＝H^-1C_i'^-1C_j'H (12)

由公式(12)可得，

C_i'^-1C_j'H-HC_i ^-1C_j＝0 (13)

其可以转化为线性方程：

M_ijh＝0 (14)

其中：h是一个9×1矩阵，由下式定义：

其中，M_ij是一个9×9矩阵，其中的元素由

表达；符号

是矩阵中对应元素，其通过如下公式确定：

中i，j的含义，标示两组二次曲线对应信息；即，一个二次曲线是C_i，另外一个二次曲线是C_j，他们在成像平面上对应的二次曲线分别为C_i'和C_j'；对于已经确定的i，j标号，二次曲线C_i'和C_j'为确定已知矩阵，只需要计算C_i'^-1C_j'和C_i ^-1C_j，则可确定

当二次曲线对应信息个数大于两个时，公式(14)的求解应该归结于超定线性方程组的求解；利用最小二乘方法得到单应性矩阵的最优解。

3.根据权利要求2所述的基于二次曲线透视投影不变性的单相机位姿估计方法，其特征在于，所述步骤S102包括：相机的内参数矩阵为K，单应性矩阵为H，则：

[r₁ r_2t]＝HK^-1 (15)

由于旋转矩阵是正交矩阵，各个列向量都是单位向量，且两两正交，即

r₃＝r₁×r₂ (16)

则根据公式(15)，求解出旋转矩阵的第一列列向量，第二列列向量，以及平移向量；根据公式(16)，将旋转矩阵的第一列列向量和第二列列向量进行叉乘运算，得到旋转矩阵的第三列列向量。

Images