CN109903227B - 基于相机几何位置关系的全景影像拼接方法 - Google Patents

Abstract

本发明提供一种基于相机几何位置关系的全景影像拼接方法，该方法包括步骤1，组装多相机***并进行标定，所述多相机***由多个相机构成；步骤2，建立全景坐标系，得到每个相机与全景坐标系之间的外参；步骤3，对原始畸变影像进行畸变纠正，获取满足物点‑光心‑像点三点共线的纠正后影像；去除相邻相机拍摄的影像间的部分重叠区域，并将去重叠后的影像映射到全景球面上；步骤4，将全景球面展开得到拼接后的全景影像。本发明方法提高了全景影像的拼接效率，能在实时的层次上拼接得到全景影像。

Description

基于相机几何位置关系的全景影像拼接方法

技术领域

本方法属于摄影测量和计算机视觉领域，涉及到对相机拍摄成像时内外参数的标定以及全景映射模型的建立，可以在不需要计算待拼影像序列间变换矩阵或者根据图像自身特征寻找最优拼接线前提下得到全景影像，大大提高拼接速度。

背景技术

全景影像由于能够提供360度的全方位场景信息而在街景地图、数字城市、移动测量等领域被广泛应用,因此如何快速、准确地获取不同场景的全景影像显得尤为重要。传统的方法通常是通过一个或者多个相机拍摄两两之间具有一定重叠度的影像序列，然后通过重叠区域间的特征匹配计算影像之间的变换矩阵，最后通过这个变换矩阵实现影像序列两两之间的拼接，得到全景影像。这种基于图像特征的拼接方法需要对每组待拼接的影像进行特征提取和匹配，拼接计算量大、速度慢。此外，如果相邻影像间的重叠区域内纹理特征匮乏或者重叠区域较小，容易导致特征提取或影像间匹配失败，无法完成拼接。另一种常用的方法是检测影像间重叠区域中的最佳拼接线，将多幅图像镶嵌在一起获得全景图像。这种方法把检测最佳拼接线看作是一个能量优化问题，通过最小化一个特殊设计的能量函数解决。能量函数通常使用颜色、梯度和纹理来定义，并通过不同的优化算法进行优化，例如snake模型、迪杰特斯拉算法以及图割等。由于需要计算各种能量成本并通过优化算法确定最优拼接线，这类方法同样存在时间开销大、效率不高的缺点。因此，如何准确而又快速地得到全景影像一直是摄影测量和计算机视觉领域中的一个热点问题。

发明内容

为了更加准确、高效地得到全景影像，本发明公开了一种基于多个相机相互之间的几何位置关系的全景影像拼接方法。

本发明的技术方案为利用多个相机的内外标定参数和相机成像几何关系，建立全景映射模型得到全景影像，包括以下步骤：

步骤1，组装多相机***并进行标定，所述多相机***由多个相机构成；

步骤2，建立全景坐标系，得到每个相机与全景坐标系之间的外参；

步骤3，对原始畸变影像进行畸变纠正，获取满足物点-光心-像点三点共线的纠正后影像，然后去除相邻相机拍摄的影像间的部分重叠区域，并将去重叠后的影像映射到全景球面上；

步骤4，将全景球面展开得到拼接后的全景影像。

进一步的，步骤1中所述多相机***包括6个相机，其中顶部一个相机，光轴指向天顶方向，水平侧面呈正五边形规则分布5个相机，用于侧面拍摄水平方向场景，5个相机光心大致分布在一个圆上。

进一步的，步骤1中标定的参数包括多相机***中每个相机的内参和每个相机在拍摄瞬间相对于标定场坐标系的外参，其中内参包括焦距(f_x，f_y)、像主点(x₀，y₀)和畸变系数(k₁，k₂，p₁，p₂)，反映了相机自身成像的物理特性和畸变情况；外参包括一个平移向量(X_s，Y_s，Z_s)和三个旋转角

定义了相机坐标系相对于参考坐标系的位姿。

进一步的，标定相机内参和外参的具体实现方式如下，

将多相机***放置在人工建立的高精度近景摄影测量标定场中，以两个或者多个有公共视野的相机同时拍摄标定场中已知坐标的控制点得到标定影像，在标定影像上量测这些控制点的像素坐标并作为观测值，根据摄影测量中的共线方程一次性解算出相机的内参和外参，

其中(1)是径向切向畸变模型公式，其中(δ_x，δ_y)为畸变造成的像点偏移量，k₁、k₂为径向畸变系数，p₁、p₂为切向畸变系数，Δx＝x_d-x₀，Δy＝y_d-y₀，r²＝Δx²+Δy²，(x_d，y_d)为控制点的实际像素坐标；(2)是共线方程，(X_a，Y_a，Z_a)是控制点的三维坐标，

为由三个旋转角

定义的旋转矩阵。

进一步的，步骤2中全景坐标系的建立方式如下，

以水平方向的任意一个相机为基准镜头，全景坐标系的Z轴指向天顶方向，X轴正方向与基准镜头的光轴方向一致，Y轴根据右手定则确定。

进一步的，步骤2中根据相邻相机间的外参得到每个相机与全景坐标系之间的外参，其中相邻相机间的外参计算方法如下，

其中，

定义如下，

b₁＝cosωsinκ

b₂＝cosωcosκ

b₃＝-sinω

其中，R，T的下标1和2为相邻两个相机的编号。

进一步的，步骤3中将影像映射到全景球面上的具体实现方式如下，

假设物体A在相机O_n中成像为a₀，其中n为相机的编号，它的像素坐标为(x，y)，因此a₀在相机坐标系中的坐标为

其中

分别为相机的主点和焦距，它们通过标定多相机***得到，

由于O_n、a₀、a三点共线，a是a₀在全景球面的映射位置，因此

同时

其中t为比例系数；向量

在全景坐标系中表示为

这样像素a₀在全景球面的映射位置a(X，Y，Z)通过联立(3)、(4)得到，其中r为全景球的半径；

X²+Y²+Z²＝r² (4)

其中

表示相机到全景坐标系的外参。

进一步的，步骤4将全景球面展开得到拼接后的全景影像的实现方式如下，

将每个相机获得的影像经过畸变纠正和去重叠处理后，映射到全景球面上得到一组位于离散三维点，对三维点建立kd树，记为K；然后计算全景像素p(u，v)在全景坐标系中的位置P(X，Y，Z)；最后在K中查询点P的最邻近点，将最邻近点的(R，G，B)值赋给全景像素p，得到全景影像，(u，v)对应的在全景坐标系中的坐标(X，Y，Z)由下式定义，

其中，(w，h)表示全景影像的像幅宽高。

本发明的优点和有益效果如下：由于多相机***装配集成后，所有相机之间的外参是定值，因此只需对相机***的内外参数精确标定一次即可。此外，本发明的方案不需要对待拼影像进行特征提取和匹配或者定义其他特征建立能量函数。因为待拼影像和全景影像的对应关系是固定的，因此能快速拼接得到全景影像，基本可以达到实时的层次。

附图说明

图1是多相机***的结构示意图(a)以及各相机坐标系和全景坐标系示意图(b)。

图2是人工建立的高精度近景摄影测量标定场。

图3是两个有公共视野的相机拍摄的一组标定影像。

图4是全景映射模型示意图。

图5是两个相邻相机去重叠区域原理图。

图6是重叠区域处理示意图实例，其中(a)为将1、2号相机的影像平面经过旋转变换后的结果示意图，(b)为俯视图。

图7是本发明实例的总体流程图。

具体实施方式

以下结合附图和本发明的实施例，对本发明技术方案进行详细分析说明，具体实施时步骤流程如附图7，实施例的具体实现过程可以概述为以下5个步骤：

步骤1：标定多相机***。

本发明实施例中使用六个成像参数和性能相似的高品质广角相机按照图1的(a)和(b)所示的结构组装多相机***。其中5台安装在侧面拍摄水平方向场景，相机光心大致分布在一个圆上(按顺时针顺序分别编号为1、2、3、4、5)，另一台相机安装在顶部且光轴指向天顶方向(编号为6)。多相机***集成完毕后各相机的坐标系间的外参(旋转和平移)不变。多相机***待标定的参数分为内参和外参两大类。内参包括焦距(f_x，f_y)、像主点(x₀，y₀)和畸变系数(k₁，k₂，p₁，p₂)，反映了相机自身成像的物理特性和畸变情况；外参包括一个平移向量(X_s，Y_s，Z_s)和三个旋转角

定义了相机坐标系相对于参考坐标系的位姿。

标定时，两个或者多个有公共视野的相机同时拍摄标定场中已知坐标的控制点得到标定影像，在标定影像上量测这些控制点的像素坐标并作为观测值，根据摄影测量中的共线方程一次性解算出相机的内参和外参，并以标定场坐标系为中介得到相机相互之间的外参。具体如下：

使用人工建立的高精度近景摄影测量标定场对多相机***进行标定，该标定场中有200多个控制点，这些控制点的三维坐标由全站仪精确测量得到，见说明书附图2。使相邻的两个相机共视标定场拍摄标定影像，如图3所示左右两张影像分别由1、2号相机拍摄得到。从两张影像中选取足够多的控制点的像素坐标作为观测值，通过线性化共线方程，使用最小二乘法则迭代求解待标定参数。

(1)是径向切向畸变模型公式，其中(δ_x，δ_y)为畸变造成的像点偏移量，k₁、k₂为径向畸变系数，p₁、p₂为切向畸变系数，Δx＝x_d-x₀，Δy＝y_d-y₀，r²＝Δx²+Δy²，(x_d，y_d)为控制点的实际像素坐标。(2)是共线方程，(X_a，Y_a，Z_a)是控制点的三维坐标，

为由三个旋转角

定义的旋转矩阵。通过图3的两张标定影像分别计算出1号相机和2号相机的标定参数，然后以标定场坐标系为中介计算1号相机和2号相机的外参(R₁₂，T₁₂)，计算方法如下，

其中，

定义如下，

b₁＝cosωsinκ

b₂＝cosωcosκ

b₃＝-sinω

我们分别按照(1，2)、(2，3)、(3，4)、(4，5)、(5，6)、(6，1)的次序共视近景摄影测量标定场拍摄标定影像，通过共线方程得到(R₁₂，T₁₂)、(R₂₃，T₂₃)、(R₃₄，T₃₄)、(R₄₅，T₄₅)、(R₅₆，T₅₆)、(R₆₁，T₆₁)六组外参。

步骤2：根据多相机***的标定结果建立全景坐标系，并得到每个相机坐标系和全景坐标系的外参。

全景坐标系的建立如图1(b)所示，原点为侧面五个相机光心的几何中心；Z轴与顶部相机的光轴平行，正方向指向天顶方向；X轴与1号相机的光轴平行，正方向与1号相机的光轴指向一致；Y轴由右手定则确定。这里说明两点：(1)由于装配、集成的微量误差，1号相机的光轴可能不会和6号相机的光轴严格垂直，但偏离极小；(2)本发明建立全景坐标系时以1号相机为参考，实际上分布在侧面的五个相机中的任意一个都可作为参考。根据全景坐标系的定义，1号相机和全景坐标系间的外参(R₁，T₁)可由下式得到，

其中，T₂₁、T₃₁、T₄₁、T₅₁分别为2、3、4、5号相机到1号相机的外参中的平移向量。考虑两个坐标系，记为i和j，假设i坐标系到j坐标系的外参为(R_ij，T_ij)，则j坐标系到i坐标系的外参(R_ji，T_ji)可由下式得到，

这样根据(R₁₂，T₁₂)、(R₂₃，T₂₃)、(R₃₄，T₃₄)、(R₄₅，T₄₅)、(R₅₆，T₅₆)、(R₆₁，T₆₁)就可以得到2、3、4、5、6号相机到1号相机的外参(R₂₁，T₂₁)、(R₃₁，T₃₁)、(R₄₁，T₄₁)、(R₅₁，T₅₁)、(R₆₁，T₆₁)，然后再以1号相机为中介得到其他相机到全景坐标系的外参，本发明统一记为

其中n为相机的编号，平移向量

步骤3：对原始畸变影像进行畸变纠正，获取满足物点-光心-像点三点共线的纠正后影像，并去除掉相邻两张纠正后影像多余的重叠区域，将六张去重叠且畸变纠正后的影像按照图4中的方式映射到全景球面上。

首先使用多相机***标定结果中的像主点(x₀，y₀)和畸变系数(k₁，k₂，p₁，p₂按照(1)式计算畸变造成的像点偏移量(δ_x，δ_y)，然后求出理想的像素坐标完成对原始畸变图像的畸变纠正，得到满足物点-光心-像点三点共线的纠正后影像。

然后进行去重叠处理。如图5所示，O₁和O₂分别是多相机***中的两个相邻相机光心，它们大致位于一个半径约为6cm的圆上，A₁B₁和A₂B₂为对应的影像平面。如果相邻相机的光心重合成像，如影像平面A′₁B′₁和A₂B₂，此时两个影像间的重叠区域为A′₁D₁和D₂B₂。右片2的A′₁E段对应场景在左片的D₂E段成像，左片的EB₂段对应场景在右片2的ED₁段成像。利用两个相机坐标系相对于全景坐标系的旋转矩阵对两个影像平面进行变换后两个平面相交，交线位置即为点E。如果根据这个交线去除A′₁E和EB₂这两段部分重叠区域，不会有任何场景信息的丢失，且左片和右片2的相交处，场景信息是没有间断、连续地过渡的。由于装配多相机***时***两个相机光心不能重合，实际成像方式如左片和右片1所示，两个相机中心之间存在一定的偏移量。O₁E′与O₂E平行，此时位于这两条平行线之间以及两个相机公共视野范围内的物体在右片1上成像在A₁E′段、在左片上成像在EB₂段，若去除掉A₁E′和EB₂段，则会有少部分的场景信息损失。但是由于6个镜头的光心大致处在一个半径约为6cm的球面上，因此O₁E′和O₂E间的范围是一个很小的空间，这样仅会丢失极少的场景信息，不影响最后的全景影像。

下面以1、2号相机为例具体说明。假设1、2号相机的影像平面分别记为P₁、P₂，它们的方程分别表示为z₁＝f¹、z₂＝f²，法向量n₁＝(0，0，1)，n₂＝(0，0，1)，这是因为影像平面是垂直于相机光轴的。经过旋转矩阵的变换后分别为n′₁＝R¹n₁、n′₂＝R²n₂。P₁、P₂上的两点p₁(0，0，f¹)、p₂(0，0，f²)经过旋转矩阵的变换后分别为p′₁＝R¹p₁、p′₂＝R²p₂。记P₁、P′₂经过旋转矩阵变换后为P′₁、P′₂，它们的方程根据点法式可以表示为n′₁ ^T(x′₁-p′₁)＝0、n′₂ ^T(x′₂-p′₂)。如图6所示，(a)为将1、2号相机的影像平面经过旋转变换后的结果示意图，(b)为俯视图。如上所述，B₁E和A₂E是需要保留的部分(灰色)，A₁E和B₂E则是要去除的部分(黑色)。位于A₁E的点x′₁与P′₂上的点p′₂组成的向量

与n′₂的内积大于零，即θ₁为锐角，而位于B₁E的点x′₂与p′₂上的点p′₂组成的向量

与n′₂的内积小于零，即θ₂为钝角。同理可以去除B₂E保留A₂E。其他相机的影像重叠区域的处理方式类似。

最后按照图4所示的方式将六张处理后的影像映射到全景球面上。物体A在相机O_n中成像为a₀，它的像素坐标为(x，y)，因此a₀在相机坐标系中的坐标为

其中

分别为相机的主点和焦距，它们通过标定多相机***得到，

由于O_n、a₀、a三点共线，因此

同时

其中t为比例系数。向量

在全景坐标系中表示为

这样畸变纠正后影像的像素a₀在全景球面的映射位置a(X，Y，Z)通过联立(3)、(4)得到，其中r为全景球的半径。

X²+Y²+Z²＝r² (10)

步骤4：将全景球展开得到全景影像

通过步骤3得到对重叠区域处理后的六张畸变纠正后影像的映射结果。由于原始序列图像像素的数量是有限的，如果把映射得到的全景球直接展开会造成直接展开的全景图像中存在许多未知像素值的全景像素。本发明通过将全景像素变换到全景坐标系中，根据全景像素和全景球面上的映射点间的距离关系确定全景像素值。具体做法如下：将六张畸变纠正后影像映射到全景球面上后得到一组位于离散三维点，对三维点建立kd树，记为K；然后计算全景像素p(u，v)在全景坐标系中的位置P(X，Y，Z)；最后在K中查询点P的最邻近点，将最邻近点的(R，G，B)值赋给全景像素p，得到全景影像。假设全景图像的宽高分别为w和h，(u，v)对应的在全景坐标系中的坐标(X，Y，Z)由下式定义，

多相机***的自身内外参

n＝1，2，3，4，5，6，在***装配完成后是定值，在确定全景球半径r后(本发明建议全景球半径选择10米或者更大)，映射得到的全景球面点集也是固定不变的。当全景影像的像幅宽高(w，h)确定后，根据(5)、(6)式可知全景像素p(u，v)对应的查询点P(X，Y，Z)也是不变的。因此对于给定的全景球半径和像幅宽高，全景像素和畸变纠正后影像像素的对应关系也是不变的，这样对于不同场景的影可以快速得到全景影像，能达到实时拼接的层次。

本文中所描述的具体实施实例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于相机几何位置关系的全景影像拼接方法，其特征在于，包括以下步骤：

步骤1，组装多相机***并进行标定，所述多相机***由多个相机构成；

步骤2，建立全景坐标系，得到每个相机与全景坐标系之间的外参；

步骤3，对原始畸变影像进行畸变纠正，获取满足物点-光心-像点三点共线的纠正后影像，然后去除相邻相机拍摄的影像间的部分重叠区域，并将去重叠后的影像映射到全景球面上；

步骤3中去除相邻相机拍摄的影像间的部分重叠区域的具体实现方式如下：

令O₁和O₂分别是多相机***中的两个相邻相机光心，A₁B₁和A₂B₂为对应的影像平面，利用两个相机坐标系相对于全景坐标系的旋转矩阵对两个影像平面进行变换后两个平面相交，交线位置即为点E，则将重叠区域A₁E和B₂E去除；具体地：

假设1、2号相机的影像平面分别记为P₁、P₂，它们的方程分别表示为z₁＝f¹、z₂＝f²，法向量n₁＝(0,0,1)，n₂＝(0,0,1)，这是因为影像平面是垂直于相机光轴的，经过旋转矩阵的变换后分别为n′₁＝R¹n₁、n′₂＝R²n₂；P₁、P₂上的两点p₁(0，0,f¹)、p₂(0,0,f²)经过旋转矩阵的变换后分别为p′₁＝R¹p₁、p′₂＝R²p₂，记P₁、P₂经过旋转矩阵变换后为P′₁、P′₂，它们的方程根据点法式可以表示为

P′₁、P′₂交线位置即为点E；位于A₁E的点x′₁与P′₂上的点p′₂组成的向量

与n′₂的内积大于零，即θ₁为锐角，而位于B₁E的点x′₂与P′₂上的点p′₂组成的向量

与n′₂的内积小于零，即θ₂为钝角，根据上述原理将重叠区域A₁E和B₂E去除，保留B₁E和A₂E；

步骤3中将影像映射到全景球面上的具体实现方式如下，

假设物体A在相机O_n中成像为a₀，其中n为相机的编号，它的像素坐标为(x,y)，因此a₀在相机坐标系中的坐标为

其中

分别为相机的主点和焦距，它们通过标定多相机***得到，

由于O_n、a₀、a三点共线，a是a₀在全景球面的映射位置，因此

同时

其中t为比例系数；向量

在全景坐标系中表示为

这样像素a₀在全景球面的映射位置a(X,Y,Z)通过联立(1)、(2)得到，其中r为全景球的半径；

X²+Y²+Z²＝r² (2)

其中

表示相机到全景坐标系的外参；

步骤4，将全景球面展开得到拼接后的全景影像。

2.如权利要求1所述的一种基于相机几何位置关系的全景影像拼接方法，其特征在于：步骤1中所述多相机***包括6个相机，其中顶部一个相机，光轴指向天顶方向，水平侧面呈正五边形规则分布5个相机，用于侧面拍摄水平方向场景，5个相机光心大致分布在一个圆上。

3.如权利要求1所述的一种基于相机几何位置关系的全景影像拼接方法，其特征在于：步骤1中标定的参数包括多相机***中每个相机的内参和每个相机在拍摄瞬间相对于标定场坐标系的外参，其中内参包括焦距(f_x,f_y)、像主点(x₀,y₀)和畸变系数(k₁,k₂,p₁,p₂)，反映了相机自身成像的物理特性和畸变情况；外参包括一个平移向量(X_s,Y_s,Z_s)和三个旋转角

定义了相机坐标系相对于参考坐标系的位姿。

4.如权利要求3所述的一种基于相机几何位置关系的全景影像拼接方法，其特征在于：标定相机内参和外参的具体实现方式如下，

将多相机***放置在人工建立的高精度近景摄影测量标定场中，以两个或者多个有公共视野的相机同时拍摄标定场中已知坐标的控制点得到标定影像，在标定影像上量测这些控制点的像素坐标并作为观测值，根据摄影测量中的共线方程一次性解算出相机的内参和外参，

其中(3)是径向切向畸变模型公式，其中(δ_x,δ_y)为畸变造成的像点偏移量，k₁、k₂为径向畸变系数，p₁、p₂为切向畸变系数，Δx＝x_d-x₀，Δy＝y_d-y₀，r²＝Δx²+Δy²，(x_d，y_d)为控制点的实际像素坐标；(4)是共线方程，(X_a，Y_a,Z_a)是控制点的三维坐标，

为由三个旋转角

定义的旋转矩阵。

5.如权利要求1所述的一种基于相机几何位置关系的全景影像拼接方法，其特征在于：步骤2中全景坐标系的建立方式如下，

以水平方向的任意一个相机为基准镜头，全景坐标系的Z轴指向天顶方向，X轴正方向与基准镜头的光轴方向一致，Y轴根据右手定则确定。

6.如权利要求4所述的一种基于相机几何位置关系的全景影像拼接方法，其特征在于：步骤2中根据相邻相机间的外参得到每个相机与全景坐标系之间的外参，其中相邻相机间的外参计算方法如下，

其中，

定义如下，

b₁＝cosωsinκ

b₂＝cosωcosκ

b₃＝-sinω

其中，R，T的下标1和2为相邻两个相机的编号。

7.根据权利要求1所述的一种基于相机几何位置关系的全景影像拼接方法，其特征在于：步骤4将全景球面展开得到拼接后的全景影像的实现方式如下，

将每个相机获得的影像经过畸变纠正和去重叠处理后，映射到全景球面上得到一组位于离散三维点，对三维点建立kd树，记为K；然后计算全景像素p(u,v)在全景坐标系中的位置P(X,Y,Z)；最后在K中查询点P的最邻近点，将最邻近点的(R,G,B)值赋给全景像素p，得到全景影像，(u,v)对应的在全景坐标系中的坐标(X,Y,Z)由下式定义，

其中，(w,h)表示全景影像的像幅宽高。

Images