CN105205853A - 一种用于全景视图管理的3d图像拼接合成方法 - Google Patents

Abstract

本发明综合新的全景视图IBR技术和国内外信息***的管理方案，提出了一种用于全景视图管理的3D图像拼接合成方法。国内外尚未采用基于虚拟现实的管理***，该方案的创新点在于只需实地采集照片素材便可实现以拍摄位置为立足点的一定空间范围内各角度高清晰度立体全景，给用户以身临其境的观测体验。用户可以通过鼠标控制视角，缩放细节；使用热点编辑功能为特殊位置或设备添加信息；通过保留参照标记(二维码等)以重新定位热点信息，省去了更新后重新定位热点的繁复操作。该方法维护成本低，实用性强，易于操作，可以用于包括变电站、工厂、学校在内的各类展示项目及检测辅助项目中，可以获得更高的管理效率。

Description

一种用于全景视图管理的3D图像拼接合成方法

技术领域：

本发明涉及一种用于全景视图管理的3D图像拼接合成方法，可以用来实现包括变电站、工厂、学校在内的各类展示项目及检测辅助项目的设备管理和日常维护，具有直观便利、易于操作、实用性强等特点。

背景技术：

国内外有很多***设备管理的方案，有基于web的信息管理***；利用ASP.NET开发的B/S结构的web数据库管理***；利用全网络视频监控的智能管理***等等。这些方案都能对各类实际***进行高效管理，但是局限性很大。简单的报表功能只能提供数据记录功能；完善的监控***建设成本高，监控点局限于摄像头的范围，没有全局的空间感，设备监控只能观看，不能显示、查询和记录监控设备的详细信息。

三维建模技术国内外研究众多，有校园三维仿真管理***，基于空间可视化技术的三维小区物业信息管理***，以及国外设计的通过网页就可以浏览的3D博物馆等等。这些应用方便、快捷、智能，给人以身历其境的参观和管理体验。但是这些技术通过建模绘制三维图形，工程复杂，周期长，对图形处理的硬件和软件要求高，受制于地形的面积大小和复杂程度，而且虚拟建模出的场景不能真实体现空间场景。

目前三维建模技术的研究热点是球形全景视图的IBR技术。通过鱼眼图像采集以及图像校正和拼接技术合成全景图像。谷歌的地图应用中加入的街景视图正是这项技术早期成功应用的典范，国内腾讯公司也在自己的地图产品中增加了类似的功能。目前全景视图技术主要应用于地图导航及景点展示等领域，很少应用于设备管理等方面。

因此利用全景视图实现现实各类***的数字化，智能化和空间可视化，既填补了国内外利用虚拟现实技术在信息管理方面应用的技术空白，也给***设备管理提供了一种新型的迎合时代发展的管理模式。

发明内容：

本发明提出一种供各类信息***使用，模拟并还原实地景观，并可查看及编辑设备布局与型号信息的3D图像拼接合成方法。如图1所示，本方法主要包括图像采集、图像处理、三维场景构建、热点编辑管理器、设备资料输入等几个模块。其中，需要人工操作的部分仅有照片采集和设备资料输入两个部分。

(一)照片采集

照片采集对后期拼接合成有很大影响，需要一些拍摄知识和经验。具体请参见“拍照说明”。

1)使用三脚架固定拍摄位置，确保旋转拍摄时中心位置不变。

2)旋转拍摄时，两张图片要有相重合的地方，重合位置尽量不小于1/4画面，这样可以有效地提高后期处理的精度，减少广角边缘的变形对画面的影响。

3)使用水平仪，确保水平拍摄，水平旋转。

4)拍摄时尽量使用同一组拍摄参数，使用手动对焦，以及光圈快门要根据拍摄地点的光源和亮度选着，并固定参数。

(二)图像处理

图像处理模块包括图像预处理、图片特征点检测与配准、建立变换模型、统一坐标变换，光照补偿，图像融合，全景图首尾无缝矫正及切片等部分。

1)图像预处理

调整图像大小和统一命名图像，如果原始图像过大可以通过预处理对其进行缩小以降低时间复杂度和空间复杂度。对输入的图像统一命名，如第1列第一张图片会命名为01_01.jpg，以便于拼接程序自动读取源图片。考虑到36-60张图片一次性拼接时间复杂度太高而且程序运行结果不可调，所以将拼接按先列拼接再行拼接的顺序进行，如图2所示。这样可以降低拼接所需时间，还可以调整拼接图像顺序，让主要建筑调整到全景图画幅中央。

2)图片特征点检测与配准

配准图像，求出图像的重合区域以及单应性矩阵。采用对图像尺寸，光强，旋转具有不变性，且鲁棒性很好的surf特征点检测，然后利用k-d树算法和RANSAC算法分别进行特征点粗匹配和精确匹配，求出任意两幅图像匹配的置信度和单应性矩阵变换。

3)建立变换模型

计算相机参数，求出图像旋转矩阵R，相机参数矩阵K。根据图像的单应性矩阵，粗略计算相机的焦距以及旋转角度，再使用BundleAdjustment消除单应性矩阵造成的累积误差，对所有相机进行多重约束，求出精确的相机参数，构建出变换模型。

BundleAdjustment算法是将每个特征点投影到所有与它匹配的图像中，调整相机参数，使特征点匹配误差的平方总和最小化。定义两个对应的特征点(其中表示图像i中第k个特征点的位置)，残差表示为

$r_{\mathrm{ij}}^k=u_i^k-p_{\mathrm{ij}}^k$

其中为对应点从图像j到图像i的投影，即

$p_{\mathrm{ij}}^k=K_j{R}_i{R}_j^T{K}_j^{-1}{u}_j^l$

误差函数是所有图像误差之和，表示如下：

$e=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j\∈I\left(i\right)}{\mathrm{\Σ}}\underset{k=f(i,j)}{\mathrm{\Σ}}h\left(r_{\mathrm{ij}}^k\right)$

其中n是总的图像数，I(i)是和图像i匹配的图像集，f(i，j)是图像i和图像j的特征点匹配集，我们使用Huber鲁棒误差函数，如下所示：

$h\left(x\right)=\left\{\begin{array}{cc}{\left|x\right|}^2& \mathrm{if}\left|x\right|<\mathrm{\&sigma;}\\ 2\mathrm{\&sigma;}\left|x\right|-{\mathrm{\&sigma;}}^2& \mathrm{if}\left|x\right|\&GreaterEqual;\mathrm{\&sigma;}\end{array}\right.$

Huber鲁棒误差函数结合L₂范数的快速收敛性作为内点的优化方案(距离小于σ)，和L₁范数的鲁棒性作为外点的方案(距离大于σ)，σ＝2作为初始化过程中的点距离。

使用L-M算法就可以求出最优的相机参数，然后归一化旋转矩阵。

$R_j=R_j*R_i^{-1}$

R_i为选取的参考相机旋转矩阵，将所有相机旋转矩阵都乘以参考矩阵的逆矩阵，参考相机旋转矩阵则变换为单位阵，其他旋转矩阵也进行了归一化变换。

4)统一坐标变换

将图片根据相机参数做透视变换，统一到同一坐标系下。图像坐标(x，y，z)，其中z＝1，转化为统一球形坐标(u，v，w)，正投影变换公式如下：

$\left[\begin{array}{c}{x}_{-}\\ y_{-}\\ z_{-}\end{array}\right]=R*K^{-1}*\left[\begin{array}{c}x\\ y\\ z\end{array}\right]\begin{array}{c}u=\arctan \left(\frac{x_{-}}{z_{-}}\right)\\ w=\frac{{y_{-}}^2}{\sqrt{{x_{-}}^2+{y_{-}}^2+{z_{-}}^2}}\\ v=\mathrm{\&pi;}-\arccos \left(w\right)\end{array}$

正投影变换会使图像变换后出现空洞，所以利用反投影和二次线性差值求出透视变换后的图像。根据球形正投影变换求出图像变换后坐标的顶点和坐标范围，然后进行反投影，反投影的公式如下：

$\begin{array}{c}{x}_{-}=\sin (\mathrm{\&pi;}-v)*\sin \left(u\right)\\ y_{-}=\cos (\mathrm{\&pi;}-v)\\ z_{-}=\sin (\mathrm{\&pi;}-v)*\cos \left(u\right)\end{array}\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=K*R^{-1}*\left[\begin{array}{c}{x}_{-}\\ y_{-}\\ z_{-}\end{array}\right]$

5)光照补偿

对图像进行色彩归一化变换，消除图像亮度差。由于相机光圈和阳光变化，相邻图片不同时拍摄，有可能出现亮度差，我们定义误差函数为所有重叠像素块的亮度误差之和，表示如下：

$e=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{u_j={H_{\mathrm{ij}}}^{*}{u}_i}{\underset{u_i\&Element;R(i,j)}{\mathrm{\&Sigma;}}}{(g_i{I}_i\left(u_i\right)-g_j{I}_j\left(u_j\right))}^2$

其中g_i，g_j是增益权重，R(i，j)是图像i和图像j的重叠区域。在实际中我们使用图像块的光强代替I_i(u_i)，将图像分成32*32像素块，计算图像块的光强值代替每一个像素的光强。

6)图像融合

使相邻图像平滑过渡，首先使用最大流法求出拼接缝，使拼接缝处相邻图像重合像素差总和最小，即两图像最优的重合处。对拼接缝两边像素使用加权融合算法，使拼接缝处两图像能平滑过渡。

7)全景图首尾无缝矫正及填充拉伸处理

由于全景图首尾有重叠，所以对首尾1/6部分进行surf特征点检测与匹配，将对应点进行仿射变换，使首尾水平对齐。然后将全景图一分为二，分别水平翻转后图像首尾两边进行加权融合，平滑过渡。如果首尾出现错位，可以通过对首尾做透视变换，上下拉伸微调对齐。

由于拍摄时拍摄角度只达到仰角30°或者仰角45°，包含非天空的部分，如建筑物、树木等，更高仰角则是特征点很少的蓝天或者运动的白云。不同时间拍摄导致不同图片上白云位置不同，所以拼接时可能会找不到特征点或者特征点匹配错误而造成失败。所以我们采用只拍摄仰角30°或者45°的方案，信息比较少的天空部分通过填充来处理，先求出全景图顶部天空部分的平均值，然后全景图高维度的100行像素值全赋值为该平均值，然后每一列像素都向上过渡到平均值，最后对填充的天空部分进行横向高斯滤波，让填充部分过渡平滑。

低纬度部分拍摄俯角为30°，未拍摄地方的面积可视角度比较少，如果对其采集会增加照片采集的复杂度和延长图像拼接的时间，地面信息比较单一，或者特征点比较少的情况下，也会造成拼接失败。综合考虑，我们规定俯角拍摄为30°，未拍摄的地面信息通过仿射变换对全景图向下拉伸，使视角达到60°。全景图显示时低于60°的空洞部分会有logo图片将其覆盖，这样就达到了水平360°，垂直180°的球形全景图。

最后对全景图切片，由于三维全景视图接口标准是4张2048*2048的图片，所以将全景图缩放为8192*2048，然后水平平均切分为4份，传入三维全景视图中，新的场景即可显示出来。

(三)三维场景构建

本图像拼接合成方法使用基于Stage3D开发的Away3D4.1.6库，Stage3D技术能将三维图形处理交由GPU运算，故运算效率大大提高。采用以下步骤实现全景模拟：建立一个横纵切分为24的球体作为模型；

●将拼接后的全景图像贴图于球体内部，并将虚拟摄像机固定于球心位置。

●为实现全方位的浏览，***为鼠标拖拽添加了监听，并回馈给摄像机旋转参数，只需拖动鼠标即可实现视角的变化，并可以用鼠标滚轮进行缩放操作。

●采用8192*2048的贴图分辨率，支持1080P分辨率下的全屏操作。

(四)热点编辑管理

制作完成的3DFlash程序具备从外部读写全景图片热点数据的能力，对于这些数据的操作借助XML文件来交互。经过用户添加编辑后的热点数据的坐标、备注等信息将统一存储在生成的XML文件中，对于每个场景都将生成各自独有的“全景图片地址”和“热点数据列表”，并分别存放于各自独立的文件中，这样只需调用不同的XML就可以直接载入对应场景所需的全部信息，而不用为每个场景创建单独的SWF文件，大大节省了***空间的占用。

本发明的有益效果是：本发明针对不同的操作人员实现了两个版本：维护用版本和浏览用只读版本。维护用版本可自行添加、删除或编辑热点信息，供***维护人员使用。维护用版本内各类信息编辑完毕后，便可将浏览用的只读版本上传至企业内部网络供相关人员查看使用；程序本身可独立运行，用户不需要因为更换图片源而重新编译***程序，只需重新上传图片；图片和热点数据单独存储于数据库中，允许在一个***中内置多组图片，并在***内置的小型导航地图中选择并切换(需要维护人员预先设置)。

附图说明：

下面结合附图和实例对本发明进一步说明。

图1是图像拼接合成方法的组成模块

图2是具体运行过程

图3是全景图生成过程

图4是全景图1(未经首尾矫正和拉伸填充变换)

图5是全景图2(经过首尾矫正和拉伸填充变换)

图6是三维场景截图

图7是三维场景地面

图8是三维场景热点功能示例

具体实施方式：

以下结合具体实例，对本发明进行详细说明。

图1为图像拼接合成方法的组成模块，该方法主要包括图像采集、图像处理、三维场景构建、热点编辑管理器、设备资料输入等几个模块，其中，需要人工操作的部分仅有照片采集和设备资料输入两个部分。具体的操作步骤如下：

步骤1：图像采集

图像采集采用单反相机、普通卡片相机、三脚架等工具采集一共9-12组，每组4到5张照片(仰角45°(可选)，30°，平角，俯角15°和30°)。实例为9列，每列4张图片。

步骤2：图像处理

图2为具体运行过程，图3为全景图生成流程图。

1)图像预处理：输入图像采集的列数和行数，以及第一张图片的名称，程序自动对原图片重命名和缩放。

2)图像拼接：自动实现先列拼接再行拼接，输出全景图1(未经首尾裁剪，填充拉伸和切片)，如图4所示。

3)全景图后处理：将全景图调整水平，裁剪两边多余部分，并对首尾进行加权融合，消除首尾缝，效果如图5所示。如果出现首尾有错位的情况，可以输入首尾上下移动的参数，轻微调整对齐。天空自动填充，地面自动拉伸到俯角60度的视角。最后调整图像大小至8192*2048，切片成4张2048*2048图片，分别命名为df_0x.jpg(x为1，2，3，4)。

步骤3三维场景显示

复制与替换三维场景切片图像，即可运行显示新的场景，如图6所示。由于视角只达到60°，所以全景图显示时低于60°的空洞部分会有logo图片将其覆盖，如图7所示。三维场景中可以通过点击按钮“添加热点”和“删除热点”对热点进行添加或者删除，也可以将鼠标移至热点位置查询热点的相关信息，如图8所示。

实施效果：

为了验证本发明的实用性和实时性，下面通过具体的运行效果来说明。

在win7操作***下，内存2GB，CPU型号Inter(R)Core(TM)2DuoCPUE6500的硬件条件下，全景图列拼接平均速度8.80s每列，行拼接平均速度达到12.453s每列。从原始图像输入到最终三维全景生成成功平均仅需152.818s，真正做到了实时、迅速的生成三维场景，为各类信息***的日常管理、维护和安全提供了保障。

不同场景的运行时间具体见表格1。

表1不同场景的运行时间比较(单位：s)

本方法的优点在于：拍照简单，没有硬性规定必须是单反镜头或者鱼眼镜头，普通的卡片相机也可以做到三维场景生成；对运行***的软硬件要求不高，现行的主流计算机都可以实现；对天空自动填充、地面如果不平整也可进行拉伸操作，可以获得与真实场景无甚区别的模拟场景；在生成的模拟三维场景中可以根据需要为信息***重要设备添加和删除热点，保证重要设备安全高速运行。热点的信息也可以存储在数据库中，方便以后的查找和修改以及设备的维护和整修。

Claims (2)

1.一种用于全景视图管理的3D图像拼接合成方法，该图像拼接合成方法主要包括图像采集、图像处理、三维场景构建、热点编辑管理器、设备资料输入等几个模块。其中，需要人工操作的部分仅有照片采集和设备资料输入两个部分。图像采集采用单反相机、普通卡片相机、三脚架等工具采集一共9至12组，每组4至5张照片(仰角45°(可选)，30°，平角，俯角15°和30°)。图像处理模块是本发明的核心，完成图像大小调整、重命名、特征点查找、图像配准算法和接缝平滑过渡算法等设计实现工作。三维场景构建是实现用户与***交互的重要手段，本发明采用基于Stage3D开发的Away3D4.1.6库实现三维场景的构建，实现方法是将全景视图切片后贴图在一个球面上，这样既可以保证全景视图的分辨率，也降低了运算速度，使用户可以360°观看真实的重建场景。另外，本***针对不同操作人员，生成维护用和浏览只读两个版本，使维护人员可以更加高效准确地维护***，也避免了任意人员可以修改和改变相关设置，提高了***的安全性，降低了***维护的资金成本和时间成本。

2.根据权利要求1所述的一种用于全景视图管理的3D图像拼接合成方法，其特征在于，采用鲁棒性很好的surf特征点检测，利用k-d树算法和RANSAC算法分别进行特征点粗匹配和精确匹配，求出任意两幅图像匹配的置信度和单应性矩阵变换；根据图像的单应性矩阵，粗略计算相机的焦距以及旋转角度，再使用BundleAdjustment消除单应性矩阵造成的累积误差，对所有相机进行多重约束，求出精确的相机参数，构建出变换模型；使用最大流法求出拼接缝，使拼接缝处相邻图像重合像素差总和最小，即找到两图像最优的重合处。对拼接缝两边像素使用加权融合算法，使拼接缝处两图像能平滑过渡；最后使用基于Stage3D开发的Away3D4.1.6库创建三维场景，Stage3D技术能将三维图形处理交由GPU运算，可以大大提高运算效率。三维全景视图既可以用于信息***的整体展示、地图导航，又可为***重要设备添加热点信息，并且添加到数据库中，提高工作人员对设备的管理效率。另外三维全景更方便工作人员熟悉现场，提高维修效率，为有效及时地解决问题提供保障，确保实际***长期、健康、安全运营。