CN105005964B - 基于视频序列影像的地理场景全景图快速生成方法 - Google Patents

Abstract

本发明公开了一种基于视频序列影像的地理场景全景图快速生成方法，其步骤是：1)对视频帧进行格网划分获得子图像块，并建立连续视频帧各子图像块之间的一一对应关系；2)以多线程并行策略对各子图像进行关键点检测和过滤，构建待匹配点集；在各关联子图像间进行匹配搜索，提取各子图像间的匹配点对；3)合并各子图像间的匹配点对，并由此计算各视频帧的几何拼接参数；4)依照拼接参数对视频序列进行拼接，得到一幅全景图；5)构建全局旋转矩阵以修正因拍摄抖动产生的弯曲全景图。本发明的有益效果是：适用于将普通摄像机对地理场景旋转拍摄的视频序列拼接为无变形的全景图像，且采用多线程并行处理，拼接速度快。

Description

基于视频序列影像的地理场景全景图快速生成方法

技术领域

本发明涉及地理信息可视化、数字图像处理、计算机视觉等领域，尤其涉及一种基于视频序列影像快速生成地理场景全景图的方法。

背景技术

视频序列由于具有时空属性、信息量大、分辨率高、表达直观等特点，已经快速成为普适化的、社会化的地理信息来源和建模分析与表达手段。全景图像让人们快速获取周围的位置信息，因此将环绕拍摄的360°视频序列拼接成视野范围更大的全景图像，不仅能全方位地表达地理场景的完整性，使人们更直观的了解视频序列的整体内容，同时能减少视频序列的时空冗余度。

一些商业公司已开发了相关产品，如Google公司开发的Google Street View，通过使用特殊的装置，和已标定好的专业相机来拍摄街道的多视角视频，并将其拼接成全景图像；Grey Point公司开发的Ladybug多视角视频拍摄装置，同样采用位置固定且已标定好的专业相机，公司配套提供的SDK能将拍摄好的视频序列拼接生成全景图像。但是这些商业公司所开发的专业视频全景装置的价格太高，且不利于普通用户将环绕拍摄的360°视频序列拼接成全景图像。

发明内容

本发明提出了一种基于视频序列影像的地理场景全景图快速生成方法，该方法采用多线程并行方式对视频序列进行格网分块，建立分块下关键点的局部搜索策略来控制匹配搜索区域，在匹配过程中，通过减少关键点的数目来提高匹配搜索效率，从而实现视频序列的快速配准与全景图像的无缝拼接，减少了视频序列拼接的时间，提高了拼接效率，尤其对高分辨率视频序列拼接成全景图像有很好的效果，能适应于普通用户拍摄的视频序列拼接成全景图像。

为了实现上述目的，本发明采用如下技术方案：

基于视频序列影像的地理场景全景图快速生成方法，包括如下步骤：

1)对视频帧图像进行格网划分成不同的子图像，并建立连续视频帧之间各子图像块的一一对应关系；

2)采用分块多线程并行策略对各子图像进行关键点检测，并对检测的关键点进行过滤，保留少量关键点作为待匹配点；在各关联子图像间建立匹配搜索，提取各子图像间的匹配点对；

3)将各子图像间的匹配点对进行合并，利用合并后的匹配点集来计算各视频帧的几何拼接参数；

4)利用各视频帧的几何拼接参数，将视频序列的各帧图像进行拼接，得到一幅全景图像；

5)为避免摄像机在拍摄过程中产生的抖动，构建全局旋转矩阵来修正弯曲的全景图，使最后输出的全景图更符合客观世界的表达。

所述步骤2)的具体过程如下：

(2-1)采用分块多线程并行方式对各子图像进行关键点检测；

(2-2)对所有关键点计算其局部信息熵值，并进行熵值过滤，保留熵值较大的前n个关键点用于特征匹配；

(2-3)在各关联子图像间提取有效匹配点对，为确保子块匹配的准确性，采用对称匹配方法进行子图像间匹配；

(2-4)由于噪声和移动目标存在，匹配集合中会存在误匹配点，最后采用RANSAC(Random Sample Consensus，随机抽样一致性)方法剔除误匹配点；

(2-5)在各关联子图像间，对剔除过滤后的关键点建立子图像对的匹配对应关系，提取有效匹配点对。

所述步骤3)的具体过程如下：

(3-1)将提取的各子图像间的匹配点对进行合并，作为两个图像之间的匹配对；

(3-2)根据匹配对，计算图像间单应矩阵变换，估计摄像机参数及图像的旋转变换与平移。

所述步骤4)的具体过程如下：

(4-1)利用步骤3)所求得的图像间的几何拼接参数，对所有视频帧图像进行图像配准；

(4-2)将配准后的图像投影至圆柱面上，通过图像融合来消除图像间的色调差异，最后输出修正后的全景图像。

相比于现有技术，本发明所述的方法具有如下特点：

1、对视频帧图像进行分块，并建立子图像间的一一对应关系，严格控制对应图像间的匹配搜索区域，并采用图像分块多线程并行策略来加快匹配搜索速度；

2、通过构建全局旋转矩阵，修正波浪状全景图像，该方法适合普通用户拍摄的视频拼接成全景图像。

因此，本发明能适应于使用普通手持摄像机对地理场景进行旋转拍摄视频序列拼接成全景图像，拼接速度快，对拍摄过程中出现的抖动进行了处理，避免拼接后的全景图产生变形，是一种适应于任意地理场景的通用全景拼接方法。

附图说明

图1是本发明方法的流程图；

图2是本发明实施例的图像分块与多线程并行匹配策略；

图3是本发明实施例的波浪状全景图像；

图4是本发明实施例的柱面投影；

图5是本发明实施例的修正后的全景图像。

具体实施方式

下面结合附图和实施例作进一步详细说明。

如

图1所示，基于视频序列影像的地理场景全景图快速生成方法，该方法包括以下四个部分：

步骤1对输入的视频序列的图像进行格网分块，建立子图像间的对应关系后，采用多线程并行优化策略对子图像进行特征提取与匹配；

步骤2合并子图像匹配集合；

步骤3根据匹配特征点对计算图像拼接几何参数；

步骤4视频序列图像融合；

本实施例的具体实施步骤如下：

步骤1对输入的视频序列的图像进行格网分块，建立子图像间的对应关系后进行子图像的特征提取与匹配；

(1-1)逐帧读取视频序列中连续两帧图像A和B，对A和B进行M×N的格网分块。

(1-2)采用多线程并行策略(如图2所示)对各子图像采用ORB算法进行关键点检测；

(1-3)对所有关键点计算其局部信息熵值降序排列，选择n个熵值较大的关键点用于图像特征匹配。计算方法如下：

(1)为每一个关键点设置兴趣区域，通常设置为以关键点为中心的3×3或5×5邻域，为考虑计算速度，将邻域范围设置为3×3。

(2)计算3×3邻域内关键点的局部熵。设图像块的灰度函数为f(x,y)，且f(x,y)≥0，则有：

其中：p_ij是像素在图像块i，j位置的概率。

(4)重复2～3直到每个关键点的局部熵计算完为止。

(1-4)采用对称匹配方法对子图像进行特征匹配。

(1-5)由于噪声和移动目标存在，匹配集合中会存在误匹配点，根据极线原理，两个对应的关键点分布在各自的极线上，表达式如下：

其中，u₁和u₂为两图像对应匹配点坐标；F₁₂为基础矩阵；根据式(3)，采用RANSAC方法剔除误匹配点。

步骤2重复步骤1的过程，直到每对子图像对处理完为止，并将子图像集合中的所有匹配合并作为整个图像对的匹配集合。

步骤3根据提取的图像匹配点对，计算图像间单应矩阵变换，估计摄像机参数及图像的旋转变换与平移。

(1)图像单应性矩阵变换

两图像的n(>4)对匹配点可在相差一个常数因子的意义下计算单应矩阵，其算法如下：

令其向量形式：h＝(h₀₁,h₀₂,h₀₃,h₁₁,h₁₂,h₁₃,h₂₁,h₂₂,h₂₃)^T。对 于匹配点对m＝(x,y,1)^T，m'＝(x',y',1)^T，从可得到下述两个关于h的线性方程：

(x,y,1,0,0,0,x'x,x'y)h＝x'

(4)

(0,0,0,x,y,1,y'x,y'y)h＝y'

这样选取4对以上的匹配点即可求解出单应性矩阵H。

(2)摄像机焦距估计

首先计算视频序列中连续图像对之间的单应性矩阵H_ij，根据平面单应矩阵定义，H＝K(R+tn^T)K^-1，有：

将(6)式改写为：

其中，利用旋转矩阵R₁₀的正交性，

可以得到：

由(8)和(9)两式可以算出：

且

或者：且h₀₀h₁₀≠-h₀₁h₁₁ (11)

f₁同样采用类似的方式求出，由于本文假定摄像机在拍摄过程中焦距保持不变，则摄像机焦距f的最终估计可以通过f₀和f₁的几何平均来计算，在全景图像序列中，从不同的单应矩阵中得到各自的焦距估计，最终的f应取所有焦距的几何平均。最后根据求出的内参矩阵K求取两图像之间的旋转变换矩阵R。

(3)全局旋转矩阵计算

根据图像间单应性变换计算的图像间的旋转矩阵是相对旋转矩阵，导致使用上述方法拼接的图像成波浪状或倾斜状，如图3所示。为了使最后拼接的图像是“平直”的，需要建立全局旋转坐标系。

将3D空间点x_i映射到二维图像中的点x_ik，使用如下表达式：

x_ik～K_kR_kx_i (12)

考虑图像的拍摄过程中可能会移动和倾斜相机，但一般会保持相机水平边缘(x轴)平行于地平面(与y轴方向垂直)，因此选用的世界坐标系是垂直对应的是y轴，水平是x轴，第三轴是z轴沿光轴方向。

为了建立全局旋转坐标系，需构建矩阵R_g，使得R_g右乘R_k之后能保证全局y轴j＝(0,1,0)垂直于图像x轴i＝(1,0,0)，图像z轴表示为k＝(0,0,1)。

i^TR_kR_gj＝0 (13)

表达式(13)等价于要求矩阵R_k的第一行r_k0＝i^TR_k与矩阵R_g的第二列r_g1＝R_gj相互垂直。所有图像的约束构成一个集合，并将其表达成最小二乘问题。

为了完全确定全局的旋转矩阵R_g，还需要一个附加的约束条件，即单个旋转矩阵的z轴平均值与全局旋转矩阵的z轴接r_g2＝R_gk。

下面，通过3个步骤可以计算完整的旋转矩阵：

1.

2.r_g0＝N((∑R_k2)×r_g1)

3.r_g2＝r_g0×r_g1

其中，N((∑R_k2)×r_g1)是向量的归一化表示。

通过全局旋转矩阵R_global变换修正每张图像的局部旋转矩阵其中i代表图像编号：

(4)柱面环境图构建

本发明采用基于柱面坐标的投影方法，将图像投影到圆柱面上。

柱面上的点是由角度θ和高度h参数化决定，如图4所示，对应关系如下：

(sinθ,h,cosθ)∝(x,y,f) (16)

根据(16)式对应关系，可以计算出从图像平面映射为圆柱面的坐标形式：

其中，(x,y)是平面图像坐标，(x′,y′)是柱面坐标，s是圆柱的半径，一般s＝f以最小化图像中心的变形程度。

由于柱面是可展曲面，图像在柱面坐标下平移和旋转可保持形状不变。逆映射公式表达如下：

步骤4视频序列图像融合，采用拉普拉斯金字塔融合方法处理图像拼接后产生的色调差异现象。经过融合后的全景图像如图5所示。

Claims (3)

1.基于视频序列影像的地理场景全景图快速生成方法，其特征在于，包括如下步骤：

1)对视频帧图像进行格网划分成不同的子图像，并建立连续视频帧之间各子图像块的一一对应关系；

2)采用分块多线程并行策略对各子图像进行关键点检测，并对检测的关键点进行过滤，保留少量关键点作为待匹配点；在各关联子图像间建立匹配搜索，提取各子图像间的匹配点对；具体过程如下：

(2-1)采用分块多线程并行方式对各子图像进行关键点检测；

(2-2)对所有关键点计算其局部信息熵值，并进行熵值过滤，保留熵值大小排名在前的n个关键点用于特征匹配；

(2-3)在各关联子图像间提取有效匹配点对，为确保子块匹配的准确性，采用对称匹配方法进行子图像间匹配；

(2-4)由于噪声和移动目标存在，匹配集合中会存在误匹配点，最后采用RANSAC方法剔除误匹配点；

(2-5)在各关联子图像间，对剔除过滤后的关键点建立子图像对的匹配对应关系，提取有效匹配点对；

3)将各子图像间的匹配点对进行合并，利用合并后的匹配点集来计算各视频帧的几何拼接参数；

4)利用各视频帧的几何拼接参数，将视频序列的各帧图像进行拼接，得到一幅全景图像；

5)为避免摄像机在拍摄过程中产生的抖动，构建全局旋转矩阵来修正弯曲的全景图，使最后输出的全景图更符合客观世界的表达。

2.根据权利要求1所述的基于视频序列影像的地理场景全景图快速生成方法，其特征在于，所述步骤3)的具体过程如下：

(3-1)将提取的各子图像间的匹配点对进行合并，作为两个图像之间的匹配对；

(3-2)根据匹配对，计算图像间单应矩阵变换，估计摄像机参数及图像的旋转变换与平移。

3.根据权利要求1所述的基于视频序列影像的地理场景全景图快速生成方法，其特征在于，所述步骤4)的具体过程如下：

(4-1)利用步骤3)所求得的图像间的几何拼接参数，对所有视频帧图像进行图像配准；

(4-2)将配准后的图像投影至圆柱面上，通过图像融合来消除图像间的色调差异，最后输出修正后的全景图像。