CN101354796B - 基于泰勒级数模型的全向立体视觉三维重建方法 - Google Patents

Abstract

本发明公开了一种基于泰勒级数模型的全向立体视觉三维重建方法。该方法的步骤包括：相机标定：利用泰勒级数模型对全向视觉传感器进行标定，得到相机内参；对极几何关系求取：包括计算双目全向相机之间的本质矩阵，并从中提取相机的旋转和平移分量；外极线校正：对所拍摄的全向立体图像对进行外极线校正，使校正后的极二次曲线与图像扫描线重合；三维重建：对校正后的立体图像对进行特征点匹配，根据匹配结果计算点的三维坐标。本发明可适用于各种全向视觉传感器，具有适用面广，精度高的特点；可在全向视觉传感器参数未知的情况下进行有效的三维重建。

Description

基于泰勒级数模型的全向立体视觉三维重建方法

技术领域

本发明涉及获取360度范围内场景三维信息的计算机视觉方法，具体涉及一种基于泰勒级数模型的全向立体视觉三维重建方法。

背景技术

作为一种感知环境的特殊成像机制，全向视觉传感器克服了传统相机只能对局部环境感知的缺点，在越来越多的领域得到广泛应用，如安全监控、视频会议、基于图像的建模和机器人导航等。目前各种全向成像方式中，折反射***是获得360°视场最简单快捷的方法。它由普通相机与反射镜面组成。例如，它可由双曲镜面、椭圆镜面或圆锥面和透视相机组成，也可由抛物镜面与正交相机组成，还可以是二次折射二次反射的全景环形透镜的配置。如果要使所成的全向图像在局部可以与普通透视相机所成的图像等效，折反射***中的相机与镜面之间要满足一定的位置关系以符合单视点约束的限制。这些不同的全向视觉传感器有着不同的成像模型和计算方法，传统的研究方法是针对每一种特定的镜面模型进行解析求解出模型参数，过程繁琐且不具备通用性。

许多学者试图找出能够囊括所有满足单视点约束折反射***的统一模型，并取得了一定的进展。目前应用最多的主要有四种统一模型：(1)基于球面的统一模型：三维空间中的点首先中心投影到单位球面上，然后从北极点和球心之间的某点透视投影到与光轴垂直的平面上。所有满足单视点约束的折反射相机，都能用这个球面模型等效。同时，也提出了很多对该模型的摄像机标定算法。(2)一般相机模型：对每个抽样像素通过一个查找表与一条三维光线相关联，最后插值得到成像的近似离散模型。(3)基于径向失真模型：图像像素在三维空间中对应的点只与它相对失真中心的径向距离有关，这是对普通相机径向校正的推广。(4)基于泰勒级数模型：它不要求折反射***的具体镜面类型，将三维光线与图像像素之间的对应关系用某个幂次的泰勒级数近似，全向相机的标定只需求解这个多项式的系数即可获得内参。

在上述这些建模方法中，查找表的方法过于繁琐，不具有实用性；基于径向失真的方法过于理想化，精确性不足，而对于球面模型方法来说，试图去解析地求解镜面参数与相机的内参，最为精确。但须预知有关相机的参数，如镜面参数的初值、焦距、视场等。但有时这种先验信息是很难获得的，如SONY公司的RPU-C251全向相机并未给出有关的相机参数。基于泰勒级数的全向视觉模型是目前唯一能够真正做到未知参数下对各种全向视觉传感器建模的方法，它不依赖于具体的镜面模型和参数，而是用某幂次的泰勒级数来逼近全向相机的成像过程。但遗憾的是，有关该模型应用的进一步研究目前为止尚未见诸任何报道。

发明内容

本发明的目的在于提供一种基于泰勒级数模型的全向立体视觉三维重建方法，建立了一套完整的全向立体视觉框架，推导了基于该模型的对极几何关系，在标定得到的多项式空间中，提出了任意双目立体视觉配置下的本质矩阵计算方法。提出了一种基于本质矩阵和保角映射的全向视觉外极线校正方法。最后，根据特征点匹配结果，推导了到三维点的映射关系。

本发明采用的技术方案的步骤包括：

(1)相机标定：利用泰勒级数模型对全向视觉传感器进行标定，得到相机内参；

(2)对极几何关系求取：包括计算双目全向相机之间的本质矩阵，并从中提取相机的旋转和平移分量；

(3)外极线校正：对所拍摄的全向立体图像对进行外极线校正，使校正后的极二次曲线与图像扫描线重合；

(4)三维重建：对校正后的立体图像对进行特征点匹配，根据匹配结果计算点的三维坐标。

所述的利用泰勒级数模型的全向视觉传感器标定是利用平面上的已知三维点及其它在图像上的对应点，进行两步最小二乘计算，先后得到了相机与平面的旋转和平移、相机的内参，也就是泰勒级数的系数和阶次。

所述的对极几何关系求取，是基于泰勒级数模型的，只需图像平面到二次曲面空间的一次性投影，求解本质矩阵，并根据场景的先验知识，提取相机的旋转和平移分量。

所述的全向立体图像对的外极线校正是基于本质矩阵和保角映射的外极线校正算法。

所述的三维重建包含以下步骤：

(1)特征点匹配：对校正后的全向立体图像对进行特征点匹配，特征点提取算法是SIFT角点或Harris角点；

(2)校正图像坐标—原始图像坐标的投影变换：将校正图像上的匹配点坐标经过双极坐标变换和仿射变换，得到其在原始图像上的坐标；

(3)原始图像坐标—镜面点坐标的投影变换：由泰勒级数模型给出；

(4)三维空间点—镜面点的投影变换：假设世界坐标系与左相机镜面坐标系重合，根据从本质矩阵中分解出的旋转和平移分量，计算三维点到泰勒级数模型镜面的投影变换矩阵；

(5)根据三维空间点到泰勒级数模型镜面的投影变换矩阵，用最小二乘求出三维空间点的坐标。

本发明具有的有益效果是：

1.本发明提出的基于泰勒级数模型的全向立体视觉三维重建方法，可适用于各种全向视觉传感器，具有适用面广，精度高的特点；

2.本发明提出的基于泰勒级数模型的全向立体视觉三维重建方法，可在全向视觉传感器参数未知的情况下进行有效的三维重建。

附图说明

图1是本发明方法的流程图。

图2是基于泰勒级数的全向成像模型。

图3是泰勒级数模型下双目全向立体视觉***的对极几何关系。

图4是本质矩阵零空间的两个视角图示。

图5是双极坐标系示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步描述。

图1给出了依照本发明进行基于泰勒级数模型的全向三维重建方法流程图。

如图1所示，在步骤101中，对所使用的全向视觉传感器进行标定，所采用的泰勒级数全向成像模型可用图2表示。三维世界中的点P_w首先投影到镜面点P_m，后又成像于图像点p_i。该模型将各种全向成像方式下三维空间点到图像平面的非线性映射关***一用泰勒级数去近似，如下式所示。

f(ρ)＝a_Nρ^N+a_N-1ρ^N-1+...+a₁ρ+a₀

其中， $\mathrm{\ρ}=\mathrm{\λ}\sqrt{u^2+v^2}$ 是像素点到投影中心的欧氏距离。

由于镜面的旋转对称性，泰勒级数中不包含奇次项。根据最小重投影误差准则，得到某幂次的镜面多项式。这个多项式的系数包括了从图像点到镜面点的映射关系。该模型的标定借鉴了张正友提出的基于平面模板的标定方法，标定后可得到相机的内参a_N，a_N-1...a₁，a₀。

关于泰勒级数模型的标定方法可参考文献1：D.Scaramuzza，A Toolbox forEasy Calibrating Omnidirectional Cameras，Proceedings of the IEEE InternationalConference on Intelligent Robots and Systems，Beijing，China，October2006.

泰勒级数模型避开了精确求解镜面和相机参数的困难，得到的反射模型是一个虚拟的镜面。在实际应用中具有以下优点：对相机与镜面之间的对齐偏差不敏感，任何偏差导致的参数变化只体现在泰勒级数的系数上。同时，也将相机镜头的失真考虑在内。

如图1所示，在步骤102中，对所采用的全向立体视觉相机进行对极几何关系计算。对极几何描述了进行三维重建的二个相机之间的位置关系，同时也约束了对应点在二幅图像上的投影位置，从而可将同名点的搜索从二维图像降低到一维的直线或曲线上。图3给出了二个全向相机组成的双目立体视觉***。镜面坐标系原点分别为O_1m，O_2m，假设三维世界点P₂在左右两个相机分别成像于为p₂₁，p₂₂。根据泰勒级数模型，镜面上的对应点分别为：

q₂₁＝[p₂₁，f₁(‖p₂₁‖)]，q₂₂＝[p₂₂，f₂(|||p₂₂|||)]

不失一般性，可假设世界坐标系与左相机镜面坐标系重合，右相机通过旋转R和平移t与它联系在一起。左相机中极平面O_1mP₂O_2m的法线l₂₁＝t×q₂₁经过旋转R变换到右视角坐标系中为l₂₂＝Rl₂₁＝R(t×q₂₁)。同时向量q₂₂∈O_1mP₂O_2m且q₂₂⊥l₂₂，所以q₂₂·l₂₂＝0，整理后得到下式：

$q_{22}^{T}E{q}_{21}=0$

其中，E＝RT，T是t＝[t_x，t_y，t_z]的反对称矩阵形式，即 $T=\left[\begin{array}{ccc}0& -t_z& t_y\\ t_z& 0& -t_x\\ -t_y& t_x& 0\end{array}\right].$

对于O_1m中的点q₂₁，它在O_2m定义了一条空间曲线C＝Eq₂₁。在泰勒级数模型下，该曲线可以用图像上的一个圆近似。T是反对称矩阵，旋转矩阵R的秩为3，本质矩阵E的秩为2，所以镜面上的空间曲线过二个固定的点N_ij(i＝1...2，j＝1...2)，这就是极点。两个相机有四个极点，它们分别位于本质矩阵E的左右零空间，且满足下式：

EN_1j＝0E^TN_2j＝0

每个图像的两个极点的连线与相机的相对位置一致，同时两条连线均过图像的投影中心，如图4(a)、(b)所示。

求解得到本质矩阵后，可从中提取相机的旋转和平移分量。一般来说，R，t与本质矩阵E之间不是一一对应关系。对于普通透视相机，可用对应点验证手性关系(Chirality)即可找到一组正确的运动分量。但由于全向图像的视角很大，选择正确的旋转和平移比较复杂。在四组重建结果中，有两组的重建点位于相机两个位置之间的一个平面上，这不符合实际情况，应该剔除。另外两组的重建结果是互相颠倒的，可根据实际场景的先验知识，可以找到唯一正确的一组旋转和平移。

求取了泰勒级数模型下的对极几何关系后，理论上即可将同名点的搜索降为一维。但在泰勒模型下，这种对极几何是非线性的，即左图中的一点，在相对应的右图上定义了一条曲线，如果匹配搜索沿着这条曲线进行，则不论是复杂性还是效率上都带来很大的困难，因此有必要进行进一步处理，将原对应极二次曲线上的点校正到同一条图像扫描线上。

如图1所示，在步骤103中，对全向立体图像对进行外极线校正。在泰勒级数模型下，一条外极线对应于全向图像上的一个圆，这些圆都过两个极点，这与双极坐标系的一个维度σ相似，如图5中垂直方向的实线圆族所示，与之正交的水平方向上的黑色虚线圆系为另一维τ。实际上前者是集合：

P＝{P_i|∠e₁P_ie₂＝σ₀}

后者是集合：

$Q=\left\{Q_j|\ln \frac{\left|Q_j{e}_1\right|}{\left|Q_j{e}_2\right|}={\mathrm{\τ}}_0\right\}$

且 $\∀P_i\∈P,$ $\∀Q_j\∈Q,$ 有P_i⊥Q_j，也就是说两族圆系互相正交(交点处的两条切线正交)。

因此，在足柯西—黎曼定律约束下，可以通过下面二式将图像平面u-v保角映射到双极平面τ-σ：

$x=r_0\frac{\sinh \mathrm{\τ}}{\cosh \mathrm{\τ}-\cos \mathrm{\σ}}$

$y=r_0\frac{\sin \mathrm{\σ}}{\cosh \mathrm{\τ}-\cos \mathrm{\σ}}$

其中 $r_0=\frac{|e_1-e_2|}{2}.$

以左图为例，首先将图像坐标系变换到以两极点连线的中点为原点的坐标系中，x轴与两极点连线方向重合。可以用一组仿射变换来表达：

$t^L={[\frac{|e_1^L-e_2^L|}{2},0]}^T$

其中，

是向量

与原始图像坐标系横轴的夹角。

假设原始图像中一点q₁＝[x₁，y₁]^T，则经过仿射变换后，在以两极点连线的中点为原点的坐标系中对应q₂＝[x₂，y₂]^T：

q₂＝R^Lq₁+t^L

校正后点q₂的位置为：

$\mathrm{\τ}=\ln \frac{\left|\right|q_2{e}_1^L\left|\right|}{\left|\right|q_2{e}_2^L\left|\right|},$ $\mathrm{\σ}=\∠e_1^L{q}_2{e}_2^L$

由此，原始图像中极线上的点，在校正后位于图像的σ行上。经过校正的二幅图像，它的对应点位于同一行上。

如图1所示，在步骤104中，对校正后的立体图对进行匹配，并计算其三维坐标。假设外极线校正后左图像上的点

对应在右校正图像上的点

其中d>0即为视差。经过双极坐标变换和仿射变换，得到

在原始图像上的点分别为x₁，x₂。从本质矩阵E分解出旋转R和平移t分量。假设世界坐标系与左相机镜面坐标系重合，则两个相机的投影矩阵为M₁＝[I 0]和M₂＝[R t]。从三维空间点X＝[X Y Z]^T到泰勒模型镜面点的投影为：

${\mathrm{\λ}}_1{x}_1^{\mathrm{mir}}=M_{1}X$ ${\mathrm{\λ}}_2{x}_2^{\mathrm{mir}}=M_{2}X$

其中， $x_1^{\mathrm{mir}}={\left[x_1{f}_1\left(\left|\right|x_1\left|\right|\right)\right]}^T,$ $x_2^{\mathrm{mir}}={\left[x_2{f}_2\left(\left|\right|x_2\left|\right|\right)\right]}^T.$

上式包含5个未知数，6个独立线性方程，是一个超定的方程组，利用最小二乘就可以求出比例因子λ₁，λ₂和三维空间点X。该方法与普通相机的线性三角化法类似。由于定义在三维投影空间，后者只包括四个独立的方程。值得注意的是，由于平移，是经过归一化的，最后的重建结果与实际场景相差一个比例因子，这可通过测量该全向立体视觉***的基线长度即可转换为绝对度量。

Claims (4)

1.一种基于泰勒级数模型的全向立体视觉三维重建方法，其特征在于，该方法的步骤如下：

(1)相机标定：利用泰勒级数模型对全向视觉传感器进行标定，得到相机内参；

(2)对极几何关系求取：包括计算双目全向相机之间的本质矩阵，并从中提取相机的旋转和平移分量；

(3)外极线校正：对所拍摄的全向立体图像对进行外极线校正，它是基于本质矩阵和保角映射的外极线校正算法，使校正后的极二次曲线与图像扫描线重合；

(4)三维重建：对校正后的立体图像对进行特征点匹配，根据匹配结果计算点的三维坐标。

2.根据权利要求1所述的一种基于泰勒级数模型的全向立体视觉三维重建方法，其特征在于，所述的利用泰勒级数模型的全向视觉传感器标定是利用平面上的已知三维点及其它在图像上的对应点，进行两步最小二乘计算，先后得到了相机与平面的旋转和平移、相机的内参，也就是泰勒级数的系数和阶次。

3.根据权利要求1所述的一种基于泰勒级数模型的全向立体视觉三维重建方法，其特征在于，所述的对极几何关系求取，是基于泰勒级数模型的，只需图像平面到二次曲面空间的一次性投影，求解本质矩阵，并根据场景的先验知识，提取相机的旋转和平移分量。

4.根据权利要求1所述的一种基于泰勒级数模型的全向立体视觉三维重建方法，其特征在于，所述的三维重建包含以下步骤：

(1)特征点匹配：对校正后的全向立体图像对进行特征点匹配，特征点提取算法是SIFT角点或Harris角点；

(2)校正图像坐标-原始图像坐标的投影变换：将校正图像上的匹配点坐标经过双极坐标变换和仿射变换，得到其在原始图像上的坐标；

(3)原始图像坐标-镜面点坐标的投影变换：由泰勒级数模型给出；

(4)三维空间点-镜面点的投影变换：假设世界坐标系与左相机镜面坐标系重合，根据从本质矩阵中分解出的旋转和平移分量，计算三维点到泰勒级数模型镜面的投影变换矩阵；

(5)根据三维空间点到泰勒级数模型镜面的投影变换矩阵，用最小二乘求出三维空间点的坐标。

Images