CN103914521A

CN103914521A - 基于混合瓦片金字塔的街景影像存储的方法及装置

Info

Publication number: CN103914521A
Application number: CN201410104038.3A
Authority: CN
Inventors: 靖常峰; 杜明义; 刘扬; 杜应龙; 杜萌
Original assignee: Beijing University of Civil Engineering and Architecture
Current assignee: Beijing University of Civil Engineering and Architecture
Priority date: 2014-03-20
Filing date: 2014-03-20
Publication date: 2014-07-09
Anticipated expiration: 2034-03-20
Also published as: CN103914521B

Abstract

本发明涉及测绘技术领域，公开基于混合瓦片金字塔的街景影像存储的方法及装置，通过获取并存储街景影像；根据所述街景影像，对街景影像进行排序处理，以建立街景影像序列，根据道路宽度，计算拍摄镜头的水平视角宽度，根据街景影像的拍摄位置及拍摄镜头的水平视角宽度，计算所述街景影像序列中街景影像之间的重叠区域，当街景影像之间的重叠区域大于重叠度阈值时，判断出街景影像为重叠街景影像，对街景影像序列中的非重叠街景影像进行瓦片切分，并建立混合瓦片金字塔，以混合瓦片金字塔结构存储所述街景影像。有效的降低了街景影像的重叠度、去除了数据冗余，实现了影像的高效浏览，并在快速浏览的同时，可以兼顾精确测量。

Description

基于混合瓦片金字塔的街景影像存储的方法及装置

技术领域

本发明涉及测绘技术领域，尤其涉及一种基于混合瓦片金字塔的街景影像存储的方法及其装置。

背景技术

伴随三维可视化与虚拟现实技术的发展，街景地图开始为大众提供地图服务。通过街景地图，可以为用户提供城市、街道或其他环境的360度全景图像，用户可以通过该服务获得如临其境的地图浏览体验。街景地图的核心思想是利用影像的全要素“所见即所得”特性实现真实世界的可视、并利用摄影几何原理实现感兴趣对象的可量可挖掘。

由此可见，设计高效存储结构实现街景影像可视的流畅性与视觉的保真性，并能满足量测精度，是可量测街景影像的核心关键问题之一。对于满足可视的流畅性与视觉的保真性方面，现在常用的方法是构建瓦片金字塔库存储网格数据，瓦片金字塔模型是一种多分辨率层次模型，从瓦片金字塔的底层到顶层，分辨率越来越低，但表示的地理范围不变。瓦片金字塔的层与层之间的像素按照“2倍率”构建，即按每2x2像素合成为一个像素的方法生成高一层的地图瓦片。当需要不同精度数据时，从不同的数据层提取，不必进行实时的重采样，同时减少了数据读取量。

另外，由于街景影像采集一般是每移动8米或者每隔半秒采集一次影像，使得街景影像的重叠度较大，数据冗余，降低了街景影像浏览速度和流畅性。再者，由于重叠区域摄影拍照的交向角较大，同一物体在前后两张影像上的变形较大，视觉保真性较差。现有技术中，为了解决这一问题，通常对街景影像按照影像数量或者距离进行等间隔抽稀之后，再建立瓦片金字塔，按照现有技术的技术方案，按照影像数量或者距离进行等间隔抽稀，难以适用于不同情况下街景影像的处理，导致降低街景影像重叠度、去除数据冗余的效果并不明显。

发明内容

本发明提供一种基于混合瓦片金字塔的街景影像存储的方法及其装置，解决现有技术中街景影像重叠度大、数据冗余的技术问题。

本发明的目的是通过以下技术方案实现的：

一种基于混合瓦片金字塔的街景影像存储的方法，所述方法包括：

获取并存储街景影像；

根据所述街景影像，对所述街景影像进行排序处理，以建立街景影像序列；

根据道路宽度，计算拍摄镜头的水平视角宽度；

根据所述街景影像的拍摄位置及所述拍摄镜头的水平视角宽度，计算所述街景影像序列中所述街景影像之间的重叠区域；

当所述街景影像之间的重叠区域大于重叠度阈值时，判断出所述街景影像为重叠街景影像；

对所述街景影像序列中的非重叠街景影像进行瓦片切分，并建立混合瓦片金字塔，以混合瓦片金字塔结构存储所述街景影像。

一种基于混合瓦片金字塔的街景影像存储的装置，所述装置包括：

存储模块，用于获取并存储街景影像；

序列建立模块，用于根据对所述存储模块存储的所述街景影像，对所述街景影像进行排序处理，以建立街景影像序列；

第一计算模块，用于根据道路宽度，计算拍摄镜头的水平视角宽度；

第二计算模块，用于根据所述街景影像的拍摄位置及所述第一计算模块计算获得的所述拍摄镜头的水平视角宽度，计算所述街景影像序列中所述街景影像之间的重叠区域；

判断模块，用于当所述街景影像之间的重叠区域大于重叠度阈值时，判断出所述街景影像为重叠街景影像；

混合瓦片金字塔构建模块，用于对所述街景影像序列中的非重叠街景影像进行瓦片切分，并建立混合瓦片金字塔，以混合瓦片金字塔结构存储所述街景影像。

通过本发明提供的一种基于混合瓦片金字塔的街景影像存储的方法及装置，通过获取并存储街景影像；根据所述街景影像，对所述街景影像进行排序处理，以建立街景影像序列，根据道路宽度，计算拍摄镜头的水平视角宽度，根据所述街景影像的拍摄位置及所述拍摄镜头的水平视角宽度，计算所述街景影像序列中所述街景影像之间的重叠区域，当所述街景影像之间的重叠区域大于重叠度阈值时，判断出所述街景影像为重叠街景影像，对所述街景影像序列中的非重叠街景影像进行瓦片切分，并建立混合瓦片金字塔，以混合瓦片金字塔结构存储所述街景影像。有效的降低了街景影像的重叠度、去除了数据冗余，实现了影像的高效浏览。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于混合瓦片金字塔的街景影像存储的的方法的流程图；

图2为本发明实施例提供的计算拍摄镜头的水平视角宽度的示意图；

图3为本发明实施例提供的一种计算街景影像之间重叠区域的示意图；

图4为本发明实施例提供的另一种计算街景影像之间重叠区域的示意图；

图5为本发明实施例提供的视域边界的坐标系变换示意图；

图6为本发明实施例提供另一种基于混合瓦片金字塔的街景影像存储的方法的流程图；

图7为本发明实施例提供的一种基于混合瓦片金字塔的街景影像存储装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例中，街景影像的采集，通常由车载街景拍摄设备沿路采集不同位置的360全景街景影像，然后，通过图像处理技术，将不同位置采集的街景影像进行拼接，形成完整的街景地图。街景影像的采集方式可以包括多种方式，例如：每隔固定距离（每移动8米）或者每隔固定时间间隔（每隔半秒）采集一次影像。实际应用中，为了提高街景地图的浏览速度，减少数据量，需要对街景影像的存储进行相应的处理，下面将对一种街景影像存储的方法进行详细介绍，如下：

实施例一

本发明实施例一中提供了一种基于混合瓦片金字塔的街景影像存储的方法，如图1所示，该方法包括如下步骤：

步骤101、获取并存储街景影像；

其中，可通过街景照相机设备拍摄街景影像，并存储于存储介质中。

步骤102、根据所述街景影像，对所述街景影像进行排序处理，以建立街景影像序列；

其中，以所述街景影像的采集时间的先后顺序对所述街景影像进行排序，以街景影像时间的先后顺序建立街景影像的前后同步对应顺序关系，建立街景影像序列。

步骤103、根据道路宽度，计算拍摄镜头的水平视角宽度；

其中，需要首先通过电子地图测量获得所述道路宽度，然后，通过公式D*tan（Fov/2），计算获得拍摄镜头的水平视角宽度，其中，tan为正切函数，D为所述道路宽度，Fov为拍摄镜头的水平视角，如图2示意性的表达了拍摄镜头的水平视角宽度dFov的计算方法。

步骤104、根据所述街景影像的拍摄位置及所述拍摄镜头的水平视角宽度，计算所述街景影像序列中所述街景影像之间的重叠区域；

其中，街景影像的采集分成两种方式，分别为按距离等间隔拍摄街景影像和按时间等间隔拍摄街景影像，相应地，计算街景影像序列中街景影像之间的重叠区域，可以分成两种情况，分别如下：

第一种情况：当等距离间隔拍摄所述街景影像时，第i个街景影像与第j个街景影像之间的重叠区域为dFov-(i-j)*dstep，其中，j和i为正整数，j大于i，dstep为等距离间隔的数值；例如：图3所示，为等距离拍摄情况下，计算街景影像之间重叠区域的示意图，街景影像301、街景影像302、街景影像303、街景影像304，为等距离间隔拍摄的街景影像，dstep为等距离间隔数值，街景影像301与街景影像302之间重叠区域210的大小为dFov-1*dstep，街景影像301与街景影像303之间重叠区域211的大小为dFov-2*dstep，街景影像301与街景影像304之间重叠区域212的大小为dFov-3*dstep。

第二种情况：当等时间间隔拍摄所述街景影像时，第i个街景影像与第j个街景影像之间的重叠区域为第i个街景影像的上边界PU_i与第j个街景影像的下边界PD_j之间的距离，其中，j和i为正整数，j大于i。例如：图4所示，为等时间拍摄情况下，计算街景影像之间重叠区域的示意图，街景影像401、街景影像402、街景影像403、街景影像404，为等时间间隔拍摄的街景影像，街景影像401与街景影像402之间重叠区域410的大小为PU1-PD2，街景影像401与街景影像403之间重叠区域411的大小为PU1-PD3，街景影像401与街景影像404之间重叠区域412的大小为PU1-PD4。

这里可以通过建立的坐标系，获知街景影像上下边界的坐标，获知第i个街景影像的上边界PU_i的坐标与第j个街景影像的下边界PD_j的坐标，并利用平面坐标系下两点间直线距离公式，计算第i个街景影像的上边界PU_i与第j个街景影像的下边界之间的距离，以大地坐标为例，如图5所示，街景影像的拍摄位置在xy坐标系（x正方向为正北方向，y正方向为正西方向）下坐标为（x0,y0）,则视域边界的上边界PU坐标为（x1,y1），x1=x0+d*tan(Fov/2)，y1=y0-0.5D；视域边界的下边界PD坐标为（x2,y2），x2=x0-d*tan(Fov/2)，y2=y0-0.5D；实际应用中，道路与正比方向存在一定夹角，例如在st坐标系下（s正方向为正北方向，t正方向为正西方向），道路与正比方向存在一定夹角为θ，xy坐标系逆时针旋转θ角度之后，变成st坐标系，在st坐标系下，PU坐标为（x1`,y1`），x1`=x1cosθ+y1sinθ，y1`=y1cosθ-x1sinθ；视域边界的下边界PD坐标为（x2`,y2`），x2`=x2cosθ+y2sinθ，y2`=y2cosθ-x2sinθ。

步骤105、当所述街景影像之间的重叠区域大于重叠度阈值时，判断出所述街景影像为重叠街景影像；

其中，可以定义一抽稀指数，用于标识与第i个街景影像重叠的街景影像的数目，对于等距离间隔拍摄的情况，抽稀指数等于dFov*（1-k）/dStep，其中，dFov表示拍摄镜头的水平视角宽度，预设重叠度阈值可以由dFov乘以一个系数k（重叠系数）表示，dStep表示等距离间隔；对于等时间间隔拍摄的情况，第i个街景影像的抽稀指数P可以采用如下算法计算出，分别计算第i个街景影像的上边界PU（i）与之后第j个街景影像的下边界PD（j）的距离，当PU（i）-PD（j-1）<k*dFov<PU（i）-PD（j）时，则j-i的数值即为抽稀指数。

步骤106、对所述街景影像序列中的非重叠街景影像进行瓦片切分，并建立混合瓦片金字塔，以混合瓦片金字塔结构存储所述街景影像。

其中，被判断为重叠的街景影像不参与瓦片切分和混合瓦片金字塔构建，只需要对街景影像序列中的非重叠街景影像进行瓦片切分，并建立混合瓦片金字塔。实际应用中，可以对步骤105判断出的重叠街景影像进行标记，以指示不对重叠街景影像进行瓦片切分和混合瓦片金字塔构建，与经典瓦片金字塔不同，混合瓦片金字塔并不限定各层之间的倍数关系。

本发明实施例一公开的一种基于混合瓦片金字塔的街景影像存储的方法，通过获取并存储街景影像，根据所述街景影像，对所述街景影像进行排序处理，以建立街景影像序列，根据道路宽度，计算拍摄镜头的水平视角宽度，根据所述街景影像的拍摄位置及所述拍摄镜头的水平视角宽度，计算所述街景影像序列中所述街景影像之间的重叠区域，当所述街景影像之间的重叠区域大于重叠度阈值时，判断出所述街景影像为重叠街景影像，对所述街景影像序列中的非重叠街景影像进行瓦片切分，并建立混合瓦片金字塔，以混合瓦片金字塔结构存储所述街景影像。有效的降低了街景影像的重叠度、去除了数据冗余，实现了影像的高效浏览。

实施例二

通过本发明实施例一公开的一种基于混合瓦片金字塔的街景影像存储的方法，通过街景影像抽稀和金字塔模型的构建，大大降低了街景影像的重叠度，实现了影像的高效浏览，但由于降低街景影像重叠度的同时，也降低了测量精度。本发明实施例二基于此问题，在本发明实施例二在实施例一的基础上，设计了金字塔底层街景影像加密的混合存储结构，通过在底层街景影像数据中***足够多的街景影像满足高精度测量所需要的影像重叠度，从而兼顾快速浏览和精确测量。其具体方法如图6所示，该方法包括如下步骤：

步骤601、获取并存储街景影像；

步骤602、根据所述街景影像，对所述街景影像进行排序处理，以建立街景影像序列；

步骤603、根据道路宽度，计算拍摄镜头的水平视角宽度；

步骤604、根据所述街景影像的拍摄位置及所述拍摄镜头的水平视角宽度，计算所述街景影像序列中所述街景影像之间的重叠区域；

步骤605、当所述街景影像之间的重叠区域大于重叠度阈值时，判断出所述街景影像为重叠街景影像；

其中，可以定义一抽稀指数，用于标识与第i个街景影像重叠的街景影像的数目，即第i个街景影像之后的与之重叠的街景影像的数目等于第i个街景影像的抽稀指数。

步骤606、对所述街景影像序列中的非重叠街景影像进行瓦片切分，并建立混合瓦片金字塔，以混合瓦片金字塔结构存储所述街景影像。

步骤607、建立所述非重叠街景影像与所述重叠街景影像之间的映射关系；

其中，第i个街景影像（非重叠街景影像）与其之后的与之重叠的街景影像建立映射关系，第i个街景影像之后的与之重叠的街景影像的数目等于第i个街景影像的抽稀指数。

步骤608、将所述非重叠街景影像与所述重叠街景影像进行对应存储，以使得可根据所述非重叠街景影像获得所述重叠街景影像。

其中，以第i个街景影像的标识为索引，将第i个街景影像与其之后的与之重叠的街景影像进行对应存储，街景影像的标识为街景影像的文件名、采集时间、存储地址等信息。

本发明实施例二公开的另一种街景影像存储的方法，在实施一的基础上，建立所述非重叠街景影像与所述重叠街景影像之间的映射关系，将所述非重叠街景影像与所述重叠街景影像进行对应存储（即底层街景影像加密的混合存储结构），以使得可根据所述非重叠街景影像获得所述重叠街景影像，通过这种金字塔底层影像加密的混合存储结构，当需要进行精确测量时，通过底层街景影像加密，在底层***足够多的街景影像，以满足高精度测量所需要的影像重叠度，从而可以兼顾快速浏览和精确测量。

按照本发明实施例二公开的影像存储方法，生成街景地图之后，为了实现精确测量的目的，需要对底层街景影像进行加密，在底层***足够多的街景影像，以满足高精度测量所需要的街景影像精度，具体可以通过如下步骤实现底层街景影像加密：

步骤1、在金字塔底层街景影像中顺序检索各街景影像（为上述实施例中的非重叠街景影像），并获得第i个街景影像的标识，i的数值为正整数，并小于等于非重叠街景影像数目。

步骤2、通过第i个街景影像的标识查找与其对应的抽稀指数，并查找与抽稀指数对应数量的与第i个街景影像重叠的街景影像，***到第i个街景影像之后，i加一，重复执行步骤1和步骤2的操作，直至i的数值等于非重叠街景影像数目，至此完成了底层街景影像加密。

实施例三

本发明实施例三中提供了一种基于混合瓦片金字塔的街景影像存储的装置，如图7所示，该装置包括：

存储模块710，用于获取并存储街景影像；

序列建立模块720，用于根据对所述存储模块存储的所述街景影像，对所述街景影像进行排序处理，以建立街景影像序列；

第一计算模块730，用于根据道路宽度，计算拍摄镜头的水平视角宽度；

第二计算模块740，用于根据所述街景影像的拍摄位置及所述第一计算模块计算获得的所述拍摄镜头的水平视角宽度，计算所述街景影像序列中所述街景影像之间的重叠区域；

判断模块750，用于当所述街景影像之间的重叠区域大于重叠度阈值时，判断出所述街景影像为重叠街景影像；

混合瓦片金字塔构建模块760，用于对所述街景影像序列中的非重叠街景影像进行瓦片切分，并建立混合瓦片金字塔，以混合瓦片金字塔结构存储所述街景影像。

其中，所述存储模块710还用于在所述混合瓦片金字塔构建模块对所述街景影像中的非重叠影像进行瓦片切分，并建立混合瓦片金字塔之后，建立所述非重叠街景影像与所述重叠街景影像之间的映射关系；将所述非重叠街景影像与所述重叠街景影像进行对应存储，以使得可根据所述非重叠街景影像获得所述重叠街景影像。

其中，所述序列建立模块720包括：

排序单元721，用于以所述街景影像的采集时间的先后顺序对所述街景影像进行排序；

序列建立单元722，用于根据所述排序单元排序的所述街景影像，建立街景影像序列。

其中，所述第一计算模块730包括：

获取单元731，用于通过电子地图测量获得所述道路宽度；

计算单元732，用于通过公式D*tan（Fov/2），计算获得拍摄镜头的水平视角宽度，其中，D为所述获取单元获取的所述道路宽度，Fov为拍摄镜头的水平视角。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于混合瓦片金字塔的街景影像存储的方法，其特征在于，所述方法包括：

获取并存储街景影像；

根据道路宽度，计算拍摄镜头的水平视角宽度；

2.根据权利要求1所述的方法，其特征在于，所述对所述街景影像中的非重叠影像进行瓦片切分，并建立混合瓦片金字塔的步骤之后，还包括：

建立所述非重叠街景影像与所述重叠街景影像之间的映射关系；

将所述非重叠街景影像与所述重叠街景影像进行对应存储，以使得可根据所述非重叠街景影像获得所述重叠街景影像。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述街景影像，对所述街景影像进行排序处理，以建立街景影像序列的步骤，包括：

以所述街景影像的采集时间的先后顺序对所述街景影像进行排序，建立街景影像序列。

4.根据权利要求1或2所述的方法，其特征在于，所述根据道路宽度，计算拍摄镜头的水平视角宽度的步骤，包括：

通过电子地图测量获得所述道路宽度；

通过公式D*tan（Fov/2），计算获得拍摄镜头的水平视角宽度，其中，D为所述道路宽度，Fov为拍摄镜头的水平视角。

5.根据权利要求1或2所述的方法，其特征在于，所述根据所述街景影像的拍摄位置及所述拍摄镜头的水平视角宽度，计算所述街景影像序列中所述街景影像之间的重叠区域的步骤，包括：

当等距离间隔拍摄所述街景影像时，第i个街景影像与第j个街景影像之间的重叠区域为dFov-（j-i）*dstep，其中，j和i为正整数，j大于i，dFov为拍摄镜头的水平视角宽度，dstep为等距离间隔的数值；

当等时间间隔拍摄所述街景影像时，第i个街景影像与第j个街景影像之间的重叠区域为第i个街景影像的上边界PU_i与第j个街景影像的下边界PD_j之间的距离，其中，j和i为正整数，j大于i。

6.一种基于混合瓦片金字塔的街景影像存储的装置，其特征在于，所述装置包括：

存储模块，用于获取并存储街景影像；

7.根据权利要求6所述的装置，其特征在于，所述存储模块还用于在所述混合瓦片金字塔构建模块对所述街景影像中的非重叠影像进行瓦片切分，并建立混合瓦片金字塔之后，建立所述非重叠街景影像与所述重叠街景影像之间的映射关系；将所述非重叠街景影像与所述重叠街景影像进行对应存储，以使得可根据所述非重叠街景影像获得所述重叠街景影像。

8.根据权利要求6或7所述的装置，其特征在于，所述序列建立模块包括：

排序单元，用于以所述街景影像的采集时间的先后顺序对所述街景影像进行排序；

序列建立单元，用于根据所述排序单元排序的所述街景影像，建立街景影像序列。

9.根据权利要求6或7所述的装置，其特征在于，所述第一计算模块包括：

获取单元，用于通过电子地图测量获得所述道路宽度；

计算单元，用于通过公式D*tan（Fov/2），计算获得拍摄镜头的水平视角宽度，其中，D为所述获取单元获取的所述道路宽度，Fov为拍摄镜头的水平视角。