CN100426139C - 基于六张鼓形图像生成整球形全景的方法 - Google Patents

Abstract

本发明公开了提供一种基于六张鼓形图像生成整球形全景的方法，包括如下步骤：首先，建立三度球面空间模型；按特定要求拍摄六张鼓形图像；然后，确定图像相邻关系及相邻图像之间的最佳点对集；基于最佳点对集，建立并求解优化方程；最后，生成全景图像。本发明可以有效解决鼓形图像的自动拼合问题和顶部、底部信息不完备的问题，快速生成整球形全景。

Description

基于六张鼓形图像生成整球形全景的方法

技术领域

本发明涉及一种全景生成方法，特别是涉及一种基于六张鼓形图像生成整球形全景的方法。

背景技术

全景技术是虚拟现实***的一个重要组成部分，它是一种基于图像的绘制技术，由于其全景图像中的象素点是由特定样本图像中的象素点插值而得，因此它的绘制和图像场景的复杂度无关，并且全景图像的真实感就如同照片一样。整球形全景图像，可以直接用全景图像摄影机获得，也可以通过在数码相机或普通胶片相机镜头上安装专用全景镜头如鱼眼镜头、sigma镜头、full frame镜头等，在专用全景云台的协助下，对现实世界不同方位的场景分别进行图像采集，再通过专用的全景生成软件对上述图像进行处理，来生成全景图像，这是一种软、硬件相结合的方式。由于全景图像摄影机的价格太过于昂贵，大多数用户都采用后一种方式。现有全景生成方案中运用最普遍的方案为：运用鱼眼镜头拍摄两张或三张圆鱼眼图像(圆鱼眼图像如图1中鱼眼镜头所对应的圆鱼眼图像101所示)，再运用专用全景生成软件如Panoweaver等进行拼合处理，可以快速生成清晰度较高的全景图像。鱼眼镜头的视角范围一般为182度到185度，只需要水平拍摄两张即可包含整个空间的信息，因此这种全景生成方式具有所需样本图像少，拍摄方便等特点。关于两圆鱼眼图像拼合现有的专利内容请参见中国发明专利说明书CN1437165A(公开日2003年8月20日)

随着全景技术的普及，用户对全景图片的清晰度要求越来越高。就上述两鱼眼全景图像生成而言，假设其鱼眼镜头fov(有效视角)为183度，数码相机ccd(电荷耦合器件)分辨率都为3072×2048，圆的直径最大为2048，若以象素为单位，则全空间约50％的信息量包含在面积约为3×10⁶的圆内，这意味着，若生成分辨率为3000×6000的全景图像，要从样本图像中直径为2048的圆内插值算出约52％的面积区域，这表明全景图像区域中的一个象素点平均要从样本图像区域中0.35个象素点插值算出，由此可见，现有两鱼眼算法生成高分辨率全景图像效果不佳。三鱼眼生成全景图像的效果与两鱼眼相同。生成的全景图像效果主要与待生成图像的分辨率，镜头的fov，数码相机分辨率和利用率相关，而镜头的利用率主要是由镜头的构造决定的。fov越小，数码相机分辨率和利用率越高，则可以生成效果越好的全景图像，不过，fov越小，意味着需要拍摄的样本图像越多，则增加了拍摄技巧、专用云台和拼合软件的难度。最近，一些专业镜头厂商推出了两种新的全景摄影镜头—sigma镜头和fullframe镜头，其中，sigma镜头的竖直fov为180度，水平fov为120度，该镜头所得图像的特点是长边所在方向可以清楚看到圆边界，该边界区分了ccd胶片中的曝光部分和未曝光部分，而短边所在方向其两边的圆边界好像被截去了一样，如图1中在Portrait模式下，运用sigma镜头拍摄所得鼓形图像102所示，该图类似中国边鼓的一个剖面，因此称sigma镜头所得样本图像为鼓形(drum)图像。假设数码相机ccd分辨率仍然为3072×2048，与上述鱼眼镜头不同的是，其有效圆的直径最大为2048，面积为5.8×10⁶，相当于全景图像区域中的一个象素点平均要从样本图像区域中0.96个象素点插值算出，因此基于sigma镜头所得样本图像可以生成清晰度很高的全景图像。由于鼓形图像所对应的竖直fov为180度，如果按照现有的全景生成方式，即水平拍摄几张样本图像，再用拼合软件进行拼合的方式，即使有全景专用云台辅助，但是镜头和云台的***误差，摄影师拍摄时的测量误差，将导致顶部和底部有一部分区域信息丢失。因此，运用单反相机配sigma镜头所拍摄的样本图像生成全景图像，必须解决两个问题：一是如何快速有效地解决拼合问题，使得拼合质量高，拼合速度快；二是如何处理顶部、底部信息不完备的情况，以生成整球形全景。

为了有效解决上述两个问题，需要一种新的模型来对鼓形图像所包含的整个空间信息的完备性进行描述，并提供一种有效的算法来确定每张鼓形图像所对应的参数信息，快速生成高质量的整球形全景图像。

发明内容

本发明要解决的技术问题是提供一种基于六张鼓形图像生成整球形全景的方法，它可以有效解决图像拼合和顶部、底部信息不完备的问题，快速生成整球形全景。

为解决上述技术问题，本发明的基于六张鼓形图像生成整球形全景的方法，包括如下步骤：首先，建立三度球面空间模型；按特定要求拍摄六张鼓形图像；然后，确定图像相邻关系及相邻图像之间的最佳点对集；基于最佳点对集，建立并求解优化方程；最后，生成全景图像。

本发明与现有技术相比的有益效果是，与现有两鱼眼或三鱼眼算法相比，可以处理鼓形图像生成清晰度更高的全景图像。通过水平拍摄四张鼓形图像，顶、底部各拍摄一张鼓形图像的方法，可以生成无缝的整球形全景图像。本发明同时支持Portrait拍摄模式和Landscape拍摄模式。本发明的拼合过程自动化程度高，可以达到完全自动化程度，用户只需要输入原始图像，即可自动生成全景图。本发明拼合速度快，在AMD Athlon(tm)XP2800+，1.024G内存的机子上，拼合6张分辨率为3072×2048的鼓形图像，生成分辨率为3000×6000的全景图像，整个拼合过程不超过3分钟。

附图说明

下面结合附图与具体实施方式对本发明作进一步详细地说明：

图1为本发明的方法中所涉及的样本图像；

图2为本发明的方法所建立模型的一个理想结构示意图；

图3为本发明的方法实现流程图；

图4为图3中模型与参数构造模块302中模型与参数构造模块一314，即在拍摄顺序已知时，用于构造模型及其参数方程的子模块流程图；

图5为图3中模型与参数构造模块302中模型与参数构造模块二315，即在拍摄顺序未知时，用于构造模型及其参数方程的子模块流程图；

图6为本发明用于生成全景图像时的一个理想混色示意图。

具体实施方式

本发明所述的基于六张鼓形图像生成整球形全景的方法，建立了一种完备的空间模型——三度球面空间模型。首先将真实世界映射到一个半径为有穷数的球面Ω上，再将该球面沿其纬线方向为0度，两个经线方向为0度和90(或270)度的方向分别进行球缺面分解提取，得出三个环形子球面Ω₁，Ω₂，Ω₃，再从每个子球面提取四个二级子球面。其中，二级子球面的中心都在其对应的经线或纬线上，且相邻二级子球面的中心矢夹角为90度(设球心到二级子球面中心的矢量为中心矢)，相邻二级子球面有一定的重合区域。分析上述12个二级子球面可知，若使得6个二级子球面的中心矢与另外6个二级子球面的中心矢对应重合，进一步的，若限定任意两个二级子球面的中心矢重合时，该两个二级子球面完全相同，则6个二级子球面即可重新组合成上述3个子球面。上述过程表明任意子球面的四个二级子球面，分布在原球面同一条经度或纬度上。

进一步地，上述用于提取环形子球缺面的三个方向，理论上包括整球面的任意三个方向，只须满足：所述三个方向与球的交平面平分整球面，而且任意两个交平面垂直相交即可。

在拍摄鼓形图像时满足如下特定拍摄要求：镜头轴向沿二级子球面的中心矢所在方向进行拍摄，且保证总是相机成像底片的某一边与任意二级子球面两条中心矢所在大圆的切线基本平行或垂直。实际拍摄鼓形图像时，借助于专用拍摄云台，将配有专用镜头的相机固定在云台上，先沿水平方向依次按90度的大小旋转云台，拍摄四张鼓形图像，且镜头轴向所在矢量基本共面，设为C_P，且设C_P与球面的交线为C，该镜头轴向所在矢量与C的交点为P，满足在不同的拍摄方向，总是相机成像底片的某一边与C在P点的切线基本垂直，沿四个拍摄方向中的某个方向，保持成像底片的某一边成水平状态，旋转镜头向顶和底分别拍一张鼓形图像，且满足该拍摄时刻，相机成像底片所在平面与C平行。在上述拍摄过程中，需要保证不同的拍摄时刻，镜头的中心大致保持在空间的同一点上。该六张鼓形图像所代表的球缺面，满足上述所建立的三度球面空间模型。三度球面空间模型的完备性意味着，任意一幅图像，都与四幅图像相邻，且所有相邻图像之间具有一定数量的、可以被有效识别出来的最优匹配特征点对。

在本发明中所强调的三个环形子球面，其中四个二级子球面相对于表述真实世界的原球面而言，二级子球面的中心在原球面的同一条纬线或经线上，这保证了可以对每一个子球面的四个二级子球面进行特征点提取并进行匹配。

在本发明中，引入图像相邻关系来区分图像的导入信息，从而实现算法的全自动化拼合功能，如果拍摄顺序已知，则图像相邻关系已知，否则，通过人工或自动分析确定图像的相邻关系，具体而言，拍摄顺序已知是指，已知水平四张鼓形图像是沿逆时针拍摄的，且顶、底两张图像是沿第4次拍摄方向垂直向上和向下旋转90度拍摄的，对六幅图像的顺序标号中，顺序标号1到4对应水平依次拍摄的四张鼓形图像，顺序标号5对应顶图像，顺序标号6对应底图像。人工确定图像相邻关系是指，通过调节图像次序或对图像进行旋转变化，使修正后的图像具有拍摄顺序已知的特征。当拍摄顺序未知时，通过自动分析确定图像的相邻关系是指，通过对所有图像所对应球缺面进行特征点提取，并对上述特征点进行两两匹配，得出最佳点对集合，分析图像之间的最佳点对集合的数目，来确定其相邻关系。这是由于，理论上说，只有相邻图像之间具备最佳点对。因此，相邻图像的最佳点对集的元素个数，理论上，要比不相邻的图像的最佳点对集的元素个数多。

在本发明中，当六张图像的拍摄次序信息被保留下来时，可以将它们投影、旋转变化到球面的对应位置，当六张图像拍摄次序信息丢失时，可以通过对图像的观察进行大致定位，也可以通过相邻特征点之间的关系进行大致定位。此外，这种定位的过程也可以放入以下的参数表述上，此时定位图像所做的操作代表了下述三个旋转参数的初值量。

在本发明中，每张鼓形图像在空间中的定位由旋转(roll)、摇摆(yaw)、俯仰(pitch)三个定位参数确定，图像上的点到原球面上的点的对应关系由有效视角(fov)，镜头非线性变化r＝a*sin(bq)中a、b两个参数确定，这三个变换参数是由镜头的特征决定的，因此所有的镜头具有相同的参数，称三个变换参数为公有参数，3个定位参数为该鼓形图像的私有参数。以上组成了本发明完备空间模型的参数空间。

在本发明中，一种建立原球面中鼓形图像所在位置的边界参数方程被确定，以便求解任意鼓形图像边界。在给定混色区域的前提下，确定鼓形图像的作用区域，其中作用区域中的非混色区域直接展开到原球面上，而混色区域则与相邻鼓形图像相应混色区域混色后展开到原球面上。

在本发明中，考虑到底部云台的作用，可以只是水平拍摄四张鼓形图像，顶部拍摄一张鼓形图像生成全景图像，其底部的云台需要进行特殊处理。

图1给出了本发明中涉及的样本图像示例图。其中，101为鱼眼镜头所对应的圆鱼眼图像，102是在Portrait模式下，运用sigma镜头拍摄所得鼓形图像，103是Landscape模式下，sigma镜头所对应的鼓形图像，111为鼓形图像的成像区域，112为鼓形图像的有效圆边界，113为ccd或胶片未曝光部分。

图2给出了本发明所描述的一个理想模型结构示意图。其中，201、202、203、204、205、206代表球面在真实坐标系中的六个不同方向，它们与球面的交点分别为A、B、C、D、E、F。这里A、B、C、D共面，为球面上纬度为0的位置，同样的，A、E、C、F共面，设定为球面上经度为0的位置，则B、E、D、F共面，为球面上经度为90的位置。摄影师在拍摄时，只需要将相机207的镜头中心固定在球心O，镜头轴向沿上述六个方向进行拍摄，并保证总是ccd的某一边与任意两条中心矢所在大圆的切线基本平行或垂直，即可得到本发明所需要的六张样本鼓形图像。在实际拍摄中，必须保证相邻图像之间有一定的重合区域，这样才能对它们进行特征点匹配。沿水平方向进行拍摄时，若采用Portrait模式(也就是长边竖直，短边水平)，结果如图1中的在Portrait模式下，运用sigma镜头拍摄所得鼓形图像102所示。由于其HFov(水平方向最小fov)为120，其VFov(竖直方向fov)为180，因此水平方向相邻图像之间的最小重合区域达到30度左右，而竖直方向相邻图像之间的最小重合区域分别达到60度左右和90度左右。若采用Landscape模式(也就是短边竖直，长边水平)，结果如图1中Landscape模式下，sigma镜头所对应的鼓形图像103所示。此时，其HFov为180，其VFov为120，因此水平方向相邻图像之间的最小重合区域达到90度左右，而竖直方向相邻图像之间的最小重合区域分别达到30度左右和60度左右。以上的重合区域的信息足够用于特征点匹配。因此对于sigma镜头而言，采用Portrait模式和Landscape模式所得鼓形图像都可以适用于三度球面空间模型。

图3给出了本发明的算法实现流程图。用户导入样本图像后，首先运用“图像预处理”301对图像进行预处理，找到该图像的有效圆边界，并确定图像的圆心位置，也就是有效区域的中心位置，其期望结果可参见图1。由于其直径大于底片短边的长度，因此有效成像区域的边界类似于鼓形(即图1中的鼓形图像的成像区域111)。302为模型与参数构造模块，根据输入图像的前后关系是否与程序要求一致等，可以将302拆分为两个子模块，分别见图4和图5。“拍摄顺序已知”311是指六幅图像中，水平四个拍摄方向的图像是否已知，顶、低图像是否已知，其相互之间的关系是否已知，为了简化问题，本发明规定了一种拍摄方式—镜头轴向依次沿图2中所示的201、202、203、204四个方向拍摄水平四张图像，沿204所示方向向上旋转90度至205方向拍摄顶部图像，沿204所示方向向下旋转90度至206所示方向拍摄底部图像，通过该种方式进行拍摄，并且没有改变图像先后次序时，视为拍摄顺序已知，否则视为无知。本发明需要从六幅图像中重构3个子球面，并且充分利用图像之间的关系进行特征点匹配，因此需要知道其关联信息。如果拍摄顺序已知311为真，则直接进入模型与参数构造模块一314，否则进入“进行人工调整”312，询问是否进行手动调节，如果选择是，则对其进行手工调节并进入模型与参数构造模块一314进行处理，否则进入模型与参数构造模块二315，进行自动甄选和处理。模型与参数构造模块302的主要作用是确定样本图像之间的匹配关系及其最优匹配特征点对，匹配关系是指两幅图像之间是否是相邻图像，进一步的，它们属于该模型六个球面的那一部分？最优匹配特征点对是指对于相邻的图像而言，它们具有一定的重合区域，其中有一些点具有一些特殊的特性，使得运用某一种算法在两幅图像中可以同时找到它们。最优匹配特征点对的这种特性表明，每对特征点在原空间中的位置应该是相同的，因此可以基于这种特性建立关于一系列未知参数的最优化方程，使得所有相邻两幅图像特征点对之间的位置误差和达到最小。求解模型参数值303运用迭代算法计算上述模型的未知参数值。一旦参数值被确定，则样本图像在空间中的位置即被确定，可以用来生成全景图像。确定样本图像在原球面中的边界304计算出每幅图像在球平面上的投影面的边界曲线。

对于任意一副样本图像，它具有六个参数。通过三个公有变换参数将图像上的点变换到球面上，再通过三个私有定位参数，将它定位到原球面上的正确位置。

设将样本图像投影变换到ABCD-E半球面上(ABCD-E是一个大圆为ABCD，球面中心为E的半球面)，使得样本图像有效区域的中心变换到E点，其圆边界上的点映射到半球面上的点形成一条圆曲线，该圆与大圆ABCD平行。设样本图像映射到ABCD-E上形成一个球缺面为S₀。

因此对于样本图像上极坐标为(ρ，φ)的一点，它与相应球面的对应坐标(

，θ)的关系如下：

这里fov，α，β为已经求出的公有变换系数。

球缺面S₀的世界坐标系矩阵

若将S₀沿其世界坐标系x、y、z轴做旋转，相当于对D₀左乘一个单位旋转矩阵，设其旋转矩阵分别为P_x(σ)，P_y(σ)，P_z(σ)，则三个私有定位参数的影响，可以用一个矩阵表示M＝P_x(σ)P_y(σ)P_z(σ)。将一个球面进行旋转、摇摆、俯仰三种变换，相当于用M左乘该球面的世界坐标矩阵，显然球面的重定位过程是一个线性变换。因此，将样本图像投影、变换、定位到对应的球缺面上，是一个非线性和线性变换的组合变换。

设全景图像所在的球S在世界坐标系下，其坐标矩阵为D＝(X，Y，Z)，则将球缺面S₀通过其私有定位参数定位到期望球S上，可以表示为：

D₁＝MD₀， $D_1\⋐D.---\left(2\right)$

因为||P_x(σ)||＝1，||P_y(σ)||＝1，||P₂(σ)||＝1，

所以||M||＝1，则有：D′＝M^-1D                (3)

显然 $D_0\⋐D^{\′}.$

上式表明，对全景图像所在球S，左乘M^-1得到一个新的球，球缺面S₀正在该新球上。

对于D′上的点(X′，Y′，Z′)，如果满足Z′＝cos(fov/2)，则这些点的集合即为前文所述的圆曲线。显然圆曲线以上的球缺面即为S₀。因此本发明中所需要求解的样本图像在球平面上的投影面的边界曲线为：

其中 $M^{-1}=\left[\begin{array}{ccc}{M}_{11}& M_{12}& M_{13}\\ M_{21}& M_{22}& M_{23}\\ M_{31}& M_{32}& M_{33}\end{array}\right]$

求解上述方程即可得到边界曲线。其中对于水平方向四张样本图像，其期望关系为

顶、底两张样本图像，其期望关系为

每张样本图像有两条边界曲线。

生成全景图像305生成最终全景图像。通过对上述边界曲线进一步进行分析，找出非混色区域和混色区域，非混色区域部分直接从其相应样本图像中获取，而混色区域部分则从其相应样本图像中获取，并进行混色处理，直接生成最终全景图像。关于混色的相关技术细节参见图6。

图4给出了本发明在拍摄顺序已知时，用于构造模型及其参数方程的子模块。如果拍摄顺序已知，则样本图像在全景图像所在球上的大致位置已知。将样本图像变换至原球空间相应位置401中，设定fov＝π，给定α，β一个经验初值，首先将六张样本图像运用式(1)变换到ABCD-E半球面上，再对其做适当的旋转变换将它们变换到相应的球面位置上。将图像组合成3个子球面，对相应图像进行编号402主要目的为了建立三个可以用于特征点提取和匹配的子球面。从前面所述和图2的分析说明中可知，六幅图像可以组成三个子球面，因为每一幅图隶属于两个子球面，此外，确定图像之间的相邻关系有利于特征点匹配，因此对相应图像进行编号，记录其相互之间的关系。403为对上述三个子球面进行特征点提取和匹配，而404为应用于三个子球面进行特征点提取和匹配403中的一个子过程，其主要目的是实现子球面的特征点提取和匹配。对于每一个子球面的四个二级子球面，由于期望的匹配特征点只可能存在于重合区域。因此只考虑对其重合部分进行特征点提取，提取第k幅图前半球特征点411和提取第k+1幅图后半球特征点或提取第1幅图后半球特征点412分别提取相邻图像重合区域的特征点。对上述相邻特征点进行匹配413用于初步匹配上述特征点，对某图像中任意一个特征点，在其相邻图像中找出与它特性最相似的特征点，同时对其相邻图像中的特征点，也要在该图像中找出其特性最相似的特征点，因此总的匹配次数为2N图像。其中N为图像的数目。此外，特征点的相似性一般来说，是用其特征向量的欧式距离来描述的，欧式距离越小，则它们的特征越相似。基于此，初步匹配特征点对具有一定数量的错误匹配，必须对其进行筛选。“筛选上述匹配特征点对”414则基于模型的特性，对上述匹配特征点对进行筛选，以获得相对准确的匹配特征点对(以下简称最佳点对)。由模型的假设知，相邻图像的相应球缺面的中心要么同经线，要么同纬线，因此，相邻球缺面中的点(，θ)和(

，θ′)，

如果是球面上的同一点，必定有：

或

其中C为一个常数，这里，理论上C＝45度。

运用式(5)，可以从上述匹配特征点对中筛选出最佳点对。具体而言，从初步匹配特征点对M中计算出最佳点对集R的实现方法如下：

(a)、根据相邻图像的相应球缺面的中心同经线或同纬线，因此，若M中的点对((

，θ)，(

，θ′))是最佳点对，

则

或

其中，C为一个常数，

通过或θ＝θ′对M中的点进行过滤，其结果为M′；

(b)、运用θ-θ′＝C或

对M′中的点进行过滤时，当拍摄顺序已知时C＝0，当拍摄顺序未知时C≠0，由于C在不同情况下取值不同，可首先计算Δ_i＝{θ-′|θ，θ′∈M′}(θ-θ′＝C时)或

(

时)，置RR＝Φ，阀值σ，再随机从M′中选取点对

记R′={M′_k|||Δ_ik-Δ_ij||＜σ，Δ_ik∈Δ_i}，比较R′与RR的元素个数，若前者大于后者，则置R′＝RR，重复以上步骤N次后，R′的最终值即为所求的最佳点对集R。

以上确定相邻图像之间的最佳点对集的步骤，可以但不限于仅对重合区域进行特征点提取、匹配，以找出最佳点对集。

基于上述匹配特征点对，建立关于参数空间的优化方程405的主要目的是基于最佳点对，建立关于未知参数的优化方程。建立优化方程包括设定每张鼓形图像的三个公有变换参数：有效视角、非线性变化r＝a*sin(b q)中a、b，和3个私有定位参数：旋转、摇摆、俯仰，使得相邻图像的最佳点对集经过上述变换参数作用后，在空间中的位置差的平方和最小。其中，私有定位参数的初始值都设为0。

图5给出了本发明在拍摄顺序未知时，用于构造模型及其参数方程的子模块。拍摄顺序未知，又可以分为“顶底图像已知，水平方向四张图像顺序未知”，和“六张图像关系未知”两类。与图4中所述在拍摄顺序已知时，用于构造模型及其参数方程的子模块相比，图5所示的子模块很大的不同点在于要对图像之间的关系进行分析和确定。这样引入了一定的计算量。首先，相邻图像进行匹配时，不是在其特定的重合区域内进行初步匹配，而是在整幅图中寻找其匹配特征点，这导致算法复杂度倍增。其次，因为不知道图像之间的相关性，必须对所有图像进行两两匹配，并分析、确定图像之间的相关性，其匹配的次数为：P_N ²，由此可见，图5所示的子模块与图4所示的子模块相比，时间复杂度大大增加。但是这种处理时间上的增加相比于人工判断所用时间来说，即省时，又省力，而且不需要用户去学习和了解本发明所涉及的模型。此外，自动识别图像之间的逻辑关系也是本发明的自动化程度高的一个标志，这意味着，本发明可以较好的运用于批处理。

501为在顶、底图像已知的情况下，处理水平四张样本图像，对它们进行特征点提取、匹配和图像关系定位的分析模块。502为在顶、底图像未知的情况下，对所有样本图像进行特征点提取、匹配和图像关系定位的分析模块。在顶、底图像已知时，水平四张图像变换至球面某一位置511将水平四张图像变换至球面同一个位置。在顶、底图像未知时，所有图像变换至球面某一位置521则将所有图像变换至球面的同一个位置。

在顶、底图像已知的情况下，处理水平四张样本图像，对它们进行特征点提取、匹配和图像关系定位的分析模块501和在顶、底图像未知的情况下，对所有样本图像进行特征点提取、匹配和图像关系定位的分析模块502都有特征点提取和初步匹配的过程。分别是提取上述图像特征点533和计算图像的匹配特征点对534。其中，提取上述图像特征点533对所有幅图像的整个球缺面区域进行特征点提取。在顶、底图像已知时，计算图像的匹配特征点对534对四幅图像进行两两特征点匹配，共匹配 $P_4^2=12$ 次，在顶底图像未知时，计算图像的匹配特征点对534处理六幅图像，因此共匹配 $P_6^2=30$ 次。确定图像顺序及其最有匹配特征点对512为在顶、底图像已知时，对12组匹配特征点进行分析，找出其中实际匹配的8组。其基本的原理在于只有相邻图像重合区域中的点，才可能是最佳点对，因此可以通过计算其中一幅图像与其它三幅图像的最佳点对集，确定其中最佳点对集的元素个数最多的两幅图像为其相邻图像，同时可以通过特征点在图像中的分布情况进行次序判断。显然，确定图像相邻关系及次序的同时，其相应最佳点对集也同时被确定。

对每组匹配特征点对集合进行筛选的具体实现步骤为：

(1)剔除理论上

的点。若设 $M_i=\underset{j=1}{\overset{N_j}{Y}}{M}_{\mathrm{ij}},$ 其中

为特征点对，则保留

的特征点对，即剩余特征点对

这里σ为阀值，用于判断两数是否相同；

(2)计算Δ_i＝{θ_ij-θ′_ij|θ_ij，θ′_ij∈RR}；

(3)置循环变量l初值为0，其最大循环次数值为N，N大于0，小于RR的元素个数的整数，设定最佳点对集合R＝Φ；

(4)从RR中任意选取第j特征点对，计算RR相对应的Δ_i与Δ_ij的距离d，记d＜σ时所对应的特征点对集合为R′，即R′＝{RR_k|||Δ_ik-Δ_ij||＜σ，Δ_ik∈Δ_i}；

(5)若R′的特征点对总数大于R的特征点对总数，则置R＝R′；

(6)置l＝l+1，若l＞N，则退出循环，此时R即为所求的最佳点对集合，否则，返回步骤(4)。

对于以上得出的12组最佳点对集合，根据每幅图像对应3组集合，将它们划分为四大组，并比较每个大组中最佳点对集合元素的个数，保留数目最多的两个。通过该方法可以得到实际匹配的8组最佳点对集合。

每一幅图像与两幅图像重合，并存在最佳点对集合。既然四幅图像变换到球面的同一位置，并展开为一个半球面，这意味着，如果某幅图像与其后一幅图像有重合点，则该图像最佳点对集合中θ值应该大于

而其后一幅图像相应θ值应该小于

该图像与前一幅图像的这种关系正好相反。因此，通过对最佳点对集合中θ值进行分析可以确定图像的次序关系。此后，通过计算顶图像的下半球与水平四张图像的上半球之间的最佳点对集和底图像的上半球与水平四张图像的下半球之间的最佳点对集来确定顶、底图像与水平图像之间的相邻次序。

确定水平图像顺序及其最优匹配特征点对522为在顶、底图像未知时，首先计算每幅图像与其它五幅图像的最佳点对集，6组共30个。由于顶、底图像被旋转至水平位置，因此，它们与水平图像之间已经没有重合区域。这意味着理论上，顶、底图像与水平图像之间，顶、底图像之间都没有最佳点对，因此通过该关系可以从6张图像中将水平四张图像区分出来，具体而言，确定每组中最佳点对集的元素个数的最小值，选择6组最小值中最小的两组所对应的图像为顶、底图像，则剩下四组所对应的图像为水平图像，并从四组中删除与顶、底图像相关的最佳点对集，则剩下的四组共12个最佳点对集，采用顶、底图像已知，而水平图像未知时的方法确定水平图像之间的相互关系及次序，此后采用顶、底图像已知，而水平图像未知时的方法确定顶、底图像与水平图像之间的相邻次序。显然，区分顶、底与水平图像与确定图像相邻关系及次序的同时，其相应最佳点对集也同时被确定。

确定顶、底图像523用于从剩下的两张图像中区分顶、底图像。将剩下的两张图像运用式(1)变换到ABCD-E半球面上，这里fov＝π。顶图像所对应球缺面的下部分与水平图像对应球缺面的上部分一定有重合区域，因此可以通过该原理运用与上述匹配过程类似的方法确定顶底图像，因此底图像也被确定。同理，可以通过分析两张图像的球缺面上部分与水平图像的球缺面下部分来确定底图像。

确定顶、底图像与水平四张图像之间的最佳点对503，其方法基本同于图4所示的在拍摄顺序已知时，用于构造模型及其参数方程的子模块。由于水平方向，即纬度方向所在图像之间最佳点对已经确定，因此确定顶、底图像与水平四张图像之间的最佳点对503只需要重构两个经度方向的子球面，并确定其最佳点对。

基于上述匹配特征点对，建立关于参数空间的优化方程504，建立优化方程的步骤与图4中的基于上述匹配特征点对，建立关于参数空间的优化方程405相同，只是参数摇摆的初值不同。其中，水平四张图像的摇摆初值依次为0度、90度、180度、270度，旋转和俯仰的初值都为0，顶、底图像的旋转和摇摆初值都为0，而顶图像的俯仰初值为90度，底图像的俯仰初值为负90度。

图6给出了本发明用于生成全景图像时的一个理想混色示意图。该图为两张水平图和一张顶图进行混色的示例。图中线600、601、602和622所围区域为前一幅水平图的展开图。图中线600、611、612和622所围区域为后一幅水平图的展开图。图中线602、611、621和622所围区域为顶图的展开图。线601为前一幅水平图的前边界曲线(以下简称前线)，线602为前一幅水平图的后边界曲线(以下简称后线)，线611为后一幅水平图的前线，而线612为相应的后线，线621和622分别为顶图的相应前线和后线。为了生成期望的全景图像，首先计算出拼缝位置，最简单的办法是以前幅图像的前线和后幅图像的后线的中线为拼缝位置，如线630和640。其次要设定混色区域宽度，该宽度反应了平滑过渡处理图像的强度，一般10个象素左右即可。宽度设定则混色区域即可确定。由图6显然可见，一部分混色区域内的图像信息是来自两张样本图像的，设该区域为两混色区域，另一部分则来自三张样本图像，设该区域为三混色区域。本发明中将全景图像细分为非混色区域，两混色区域和三混色区域。图6中的非混色区域为651(线602、631、642和600所围区域)，652(线611、632、642和600所围区域)，657(线602、611、622和641所围区域)；两混色区域为653(线632、631、642和600所围区域)，654(线641、631、642和602所围区域)，657(线632、611、642和641所围区域)；三混色区域为656(线632、631、642和641所围区域)。对于，非混色区域中点的值，直接从其相应的样本图像中获得，对于两混色区域内的点从其相应的样本图像中获得，并运用中国发明专利说明书CN1437165A(公开日2003年8月20日)所述的平滑技术进行处理。对于三混色区域，考虑其重合方式为水平两张图像加顶图像或者底图像。

设线630所在直线方程为：x＝x₀，线640所在直线方程为：y＝y₀，混色区域为2w+1，则三混色区域内一点(x，y)，其象素值为：

C＝λ₁C₁+λ₂C₂+λ₃C₃，λ₁+λ₂+λ₃＝1  (4)

这里C₁、C₂、C₃分别为该点取自前幅图像，后幅图像和顶图的象素值。

Claims (28)

1、一种基于六张鼓形图像生成整球形全景的方法，其特征在于：包括如下步骤：首先，建立三度球面空间模型；按三度球面空间模型的要求拍摄六张鼓形图像；然后，确定图像相邻关系及相邻图像之间的最佳点对集；基于最佳点对集，建立并求解优化方程；最后，生成全景图像。

2、如权利要求1所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述三度球面空间模型包括沿着整球面的三个方向：纬线方向为0度，两个经线方向一个为0度，另一个为90或270度的方向提取球缺面，获得3个环形子球缺面。

3、如权利要求2所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述提取球缺面的三个方向，包括整球面的任意三个方向，且满足所述三个方向与球的交平面平分整球面，而且任意两个交平面垂直相交。

4、如权利要求1所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述三度球面空间模型包括分解每个子球面为四个二级子球面，且相邻二级子球面的中心矢之间的夹角为90度。

5、如权利要求4所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：每个子球面的二级子球面要有一定的重合区域。

6、如权利要求4所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：当任意两个二级子球面的中心在球面上同一点时，应完全重合。

7、如权利要求1所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述按三度球面空间模型的要求拍摄六张鼓形图像是，镜头轴向沿二级子球面的中心矢所在方向进行拍摄，且保证总是相机成像底片的某一边与任意二级子球面两条中心矢所在大圆的切线基本平行或垂直。

8、如权利要求1所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述按三度球面空间模型的要求拍摄六张鼓形图像是，实际拍摄时，沿水平方向每旋转90度拍摄四张鼓形图像，且镜头轴向所在矢量基本共面，设为CP且设CP与球面的交线为C，该镜头轴向所在矢量与C的交点为P，满足在不同的拍摄方向，总是相机成像底片的某一边与C在P点的切线基本垂直，沿四个拍摄方向中的某个方向，保持成像底片的某一边成水平状态，旋转镜头向顶和底分别拍一张鼓形图像，且满足该拍摄时刻，相机成像底片所在平面与C平行。

9、如权利要求8所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：六次拍摄时要求镜头中心基本保持在空间同一点。

10、如权利要求1所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述确定图像相邻关系是，确定六幅鼓形图像所代表的球缺面相互之间是否相邻，及其相互之间的对应关系。

11、如权利要求1所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述确定图像相邻关系是，如果拍摄顺序已知，则图像相邻关系已知，否则，通过人工或自动分析确定图像的相邻关系。

12、如权利要求11所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述拍摄顺序已知是指，已知水平四张鼓形图像是沿逆时针拍摄的，且顶、底图像是沿第4次拍摄方向垂直向上和向下旋转90度拍摄的，对六幅图像的顺序标号中，顺序标号1到4对应水平依次拍摄的四张鼓形图像，顺序标号5对应顶图像，顺序标号6对应底图像。

13、如权利要求11所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述人工确定图像相邻关系是指，通过调节图像次序或对图像进行旋转变化，使修正后的图像具有拍摄顺序已知的特征。

14、如权利要求11所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：当拍摄顺序未知时，通过自动分析确定图像的相邻关系是指，通过对所有图像所对应球缺面进行特征点提取，并对上述特征点进行两两匹配，得出最佳点对位置，分析图像之间的最佳点对集合的数目，来确定其相邻关系。

15、如权利要求1所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述相邻图像之间的最佳点对集是指，相邻图像所代表的球缺面重合区域内，有一些点，其特性与其它点相差较大，从相邻球缺面中同时提取出来，这些相对应的点即组成最佳点对集。

16、如权利要求1所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述确定相邻图像之间的最佳点对集是，通过特征点提取算法分别对相邻图像进行特征点提取，并初步匹配出特征点对M，从中计算出最佳点对集R：

(a)、根据相邻图像的相应球缺面的中心同经线或同纬线，因此，若M中的点对

是最佳点对，

则

或，其中，C为一个常数，

通过

或θ＝θ′对M中的点进行过滤，其结果为M′；

(b)、运用θ-θ′＝C或

对M′中的点进行过滤时，当拍摄顺序已知时C＝0，当拍摄顺序未知时C≠0，由于C在不同情况下取值不同，首先计算Δ_i＝{θ-θ′|θ，θ′∈M′}，θ-θ′＝C时；或

时，置RR＝Φ，阀值σ，再随机从M′中选取点对

，记R′＝{M′_k|||Δ_ik-Δ_ij||＜σ，Δ_ik∈Δ_i}，比较R′与RR的元素个数，若前者大于后者，则置R′＝RR，重复以上步骤N次后，R′的最终值即为所求的最佳点对集R。

17、如权利要求1所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述确定相邻图像之间的最佳点对集是指，当拍摄顺序已知时，仅对重合区域进行特征点提取、匹配，以找出最佳点对集。

18、如权利要求1所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述确定图像相邻关系是指，当顶、底图像已知，而水平图像未知时，通过计算其中一幅图像与其它三幅图像的最佳点对集，确定其中最佳点对集的元素个数最多的两幅图像为其相邻图像，然后通过其互相关系确定图像之间的次序。

19、如权利要求18所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：当顶、底图像已知，而水平图像未知时，而水平图像未知时确定图像相邻关系，还包括计算顶图像的下半球与水平四张图像的上半球之间的最佳点对集和底图像的上半球与水平四张图像的下半球之间的最佳点对集来确定顶、底图像与水平图像之间的相邻次序。

20、如权利要求14或18所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：确定图像相邻关系及次序的同时，其相应最佳点对集也同时被确定。

21、如权利要求14所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：当顶、底图像也未知时，首先计算每幅图像与其它五幅图像的最佳点对集，6组共30个，确定每组中最佳点对集的元素个数的最小值，选择6组最小值中最小的两组所对应的图像为顶、底图像，则剩下四组所对应的图像为水平图像，并从四组中删除与顶底图像相关的最佳点对集，则剩下的四组共12个最佳点对集，通过计算其中一幅图像与其它三幅图像的最佳点对集，确定其中最佳点对集的元素个数最多的两幅图像为其相邻图像，然后通过相邻图像的互相关系确定图像之间的次序。

22、如权利要求21所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：当确定顶、底图像后，通过计算顶图像的下半球与水平四张图像的上半球之间的最佳点对集和底图像的上半球与水平四张图像的下半球之间的最佳点对集来确定顶、底图像与水平图像之间的相邻次序。

23、如权利要求21或22所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：区分顶、底与水平图像与确定图像相邻关系及次序的同时，其相应最佳点对集也同时被确定。

24、如权利要求1所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述基于最佳点对集，建立优化方程包括设定每张鼓形图像的三个公有变换参数：有效视角、非线性变化r＝a*sin(b q)中a、b，和3个私有定位参数：旋转、摇摆、俯仰。

25、如权利要求24所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：当图像的拍摄顺序已知时，所有图像的3个私有定位参数的初值都为0。

26、如权利要求24所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：当图像的拍摄顺序未知时，水平四张图像的摇摆初值依次为0度、90度、180度、270度，旋转和俯仰的初值都为0，顶、底图像的旋转和摇摆初值都为0，而顶图像的俯仰初值为90度，底图像的俯仰初值为负90度。

27、如权利要求1所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述生成全景图像，包括求解每幅图像在球平面上的投影面的边界曲线

或

28、如权利要求1所述的基于六张鼓形图像生成整球形全景的方法，其特征在于：所述生成全景图像，包括基于球平面上的投影面的边界曲线，确定全景图像中的混色区域和非混色区域，非混色区域部分直接从其相应样本图像中获取，而混色区域部分则从其相应的两到三幅样本图像中获取，并进行混色处理，直接生成最终全景图像。

Images