CN106899782A - 一种实现交互式全景视频流地图的方法 - Google Patents

Abstract

本发明公开了一种实现交互式全景视频流地图的方法，采用高清摄像机，通过具有固定夹角的6个CCD来实现近乎100％全方位的球面成像；对摄像机进行标定，实现三维重建过程中坐标系间的转化后进行全景视频数据的采集；采集工作完成后，将所采集到的数据预处理后构建重建效果更接近于真实的三维场景，导入至视频拼接软件中进行拼接，使最终的全景视频流数据达到最好的视觉效果；然后以Flash格式发布。本发明基于连续场景的全景视频流地图由于视频流所具有的连续性，能够有效解决基于独立场景照片组的传统全景地图在不同场景切换时的用户体验欠佳的问题。

Description

一种实现交互式全景视频流地图的方法

技术领域

本发明涉及全景视频领域，尤其是一种实现交互式全景视频流地图的方法。

背景技术

随着时代的进步，人们对地理信息成果的要求不再简单的停留在符号、文字和数字上，而是上升到了空间信息的高度。人们不仅希望可以准确无误的到达目的地，更希望看到实景画面，享受优良的用户体验。360度全景视频流地图的使用将逐渐由宏观走向微观，由抽象走向具体，真正的实现了在人的视角上来浏览地图，为用户提供了更加真实准确、更富有画面细节的地图服务。

全景视频流地图以高清晰度的视频影像来直接反应空间物体以及自然环境的原貌，它包含了传统的目标地物信息，又包括了与之有着物理相关性的各种自然和社会信息。

对公众而言，影像视频是客观世界最真实的写照，容易直观理解的数字城市，因此，360度全景视频流地图是今后地图学发展的一个重要的部分。360度全景视频流和普通的地图都可以作为地图来使用，但是普通的地图由于视角范围有限，无立体感，而360度全景视频流不但有360度全景，更可以带来 三维立体感觉，让观察者能够沉浸其中。三维建模的立体感和沉浸感无疑比360度全景更强，但是三维建模的制作需要大量的人力物力，制作过程中对建筑物模型的采集会有取舍。360度全景的制作和相对三维建模来说非常简便，数据量小***要求低，适合在各个终端设备上观看。所以360度全景视频不但可以全方位的记录某时某地的现场情况，更可以将某个地方的场景使用三维立体的方式表现出来，这样高性价比的展示方式和记录手段是普通地图和三维建模无法做到的。

现有全景地图存在以下缺点：

1、数据采集时间同步问题：如何使6台摄像机同步拍摄，以及6台摄像机与GPS接收机信号实现同步记录的问题。

2、视频拼接处理效率问题：采集高清视频的数据量巨大，如何在保证数据质量的前提下高效完成拼接工作；同时由于拍摄到的数据可能包含有个人隐私、涉及国家秘密或政府安全的信息，需要对这些图像信息进行处理，本项工作量也很巨大。

3、成果发布用户体验问题：拼接完成后的全景视频成果的数据量也很大，如何进行网络优化和客户端优化，选择合适的网络发布格式进行发布在满足用户使用普通带宽的基础上，流畅的进行高清视频全景播放，提升用户使用体验。

发明内容

针对上述问题，本发明提供了一种实现交互式全景视频流地图的方法。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种实现交互式全景视频流地图的方法，包括以下步骤：

S1、采集设备的硬件设计：包括运载车、全景摄像***、GPS接收机、控制开关以及数据存储设备组成；GPS设备放置于运载车外侧，全景摄像***通过电动伸缩杆安装在运载车上端，全景摄像***通过带伺服装置的万向节安装在电动伸缩杆上端，全景摄像***采用高清摄像机，通过具有固定夹角的6个CCD来实现近乎100％全方位的球面成像

S2、对摄像机进行标定，实现三维重建过程中坐标系间的转化后，6台摄像机负责360°全景视频数据的采集，GPS接收机负责当前时间的数据采集设备的空间信息，控制开关负责整个采集设备的电源开关以及数据记录开关；当采集设备到达采集起始点后，对全景视频流数据采集设备进行***上电测试和GPS搜星准备，测试完成确保***正常工作且拥有GPS定位信息后，使用者通过启动控制器的数据记录开关按钮，与控制器通过有线连接的6台摄像机和GPS接收机同时开始数据采集工作，将各自数据分别记录至存储设备；

S3、采集工作完成后将采集的6路视频流地图数据，进行去噪、图像增强等预处理，得到精确的边缘，并以得到的边缘点作为特征点，通过坐标系间转化得到三维点云，重建精确的表面模型；对模型进行无变形的纹理映射，使重建效果更接近于真实的三维场景，导入至视频拼接软件中，软件会自动匹配 起始点，实现6路视频自动或者人工拼接成一个全景视频，整个拼接过程涵盖摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接，以及亮度与颜色的均衡处理，使最终的全景视频流数据达到最好的视觉效果；

S4、Flash格式发布，用户可以选择包括二维地图和全景地图进行切换，将处理完成的全景视频流数据利用三维引擎进行二次开发，以插件的形式将高清的数据在浏览器上进行展示，同时要加入全景数据展示，最后使用通用的flash格式，进行网络发布，为用户提供客户端的全景交互功能。

优选地，三维效果生成过程包括：

S11、使用OpenCV实现摄像机标定，包括棋盘格标定物的角点提取和摄像机标定；

S12、采用激光测距仪获取深度信息；

S13、建立灰度直方图统计图像灰度分布，然后使用分段灰度线性变换增强图像对比度，再使用高斯滤波进行平滑处理，完成图像的预处理；

S14、使用Canny算子完成图像边缘特征点的提取；

S 15、利用边缘提取的特征点以及将辅助激光测距仪采集到的距离信息通过坐标系间的转化可以计算出空间三维坐标点，并将这些空间三维坐标点在OpenGL中显示出来，初步生成三维效果；

S16、将拍摄到实物的一系列彩色照片准确映射到重构的几何模型上，以 实现模型的无变形纹理映射。

本发明具有以下有益效果：

基于连续场景的全景视频流地图由于视频流所具有的连续性，能够有效解决基于独立场景照片组的传统全景地图在不同场景切换时的用户体验欠佳的问题。全景视频流地图是一种全新的实景信息记录手段，实现了360度全景视频和地图的融合，具有超宽视角，是传统的地图的良好补充，其数据更新效率高，信息量丰富。全景视频数据包含了坐标点和位置等信息，因此全景视频数据可以作为基础地理信息数据的一个方面，为二维三维地图***带来了更新更丰富的表现形式，可以提供更好的用户体验和高级的分析与应用。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供了一种实现交互式全景视频流地图的方法，包括以下步骤：

S1、采集设备的硬件设计：包括运载车、全景摄像***、GPS接收机、控制开关以及数据存储设备组成；GPS设备放置于运载车外侧，全景摄像***通过电动伸缩杆安装在运载车上端，全景摄像***通过带伺服装置的万向节 安装在电动伸缩杆上端，全景摄像***采用高清摄像机，通过具有固定夹角的6个CCD来实现近乎100％全方位的球面成像

S2、对摄像机进行标定，实现三维重建过程中坐标系间的转化后，6台摄像机负责360°全景视频数据的采集，GPS接收机负责当前时间的数据采集设备的空间信息，控制开关负责整个采集设备的电源开关以及数据记录开关；当采集设备到达采集起始点后，对全景视频流数据采集设备进行***上电测试和GPS搜星准备，测试完成确保***正常工作且拥有GPS定位信息后，使用者通过启动控制器的数据记录开关按钮，与控制器通过有线连接的6台摄像机和GPS接收机同时开始数据采集工作，将各自数据分别记录至存储设备；

S3、采集工作完成后将采集的6路视频流地图数据，进行去噪、图像增强等预处理，得到精确的边缘，并以得到的边缘点作为特征点，通过坐标系间转化得到三维点云，重建精确的表面模型；对模型进行无变形的纹理映射，使重建效果更接近于真实的三维场景，导入至视频拼接软件中，软件会自动匹配起始点，实现6路视频自动或者人工拼接成一个全景视频，整个拼接过程涵盖摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接，以及亮度与颜色的均衡处理，使最终的全景视频流数据达到最好的视觉效果；

S4、Flash格式发布，用户可以选择包括二维地图和全景地图进行切换，将处理完成的全景视频流数据利用三维引擎进行二次开发，以插件的形式将高 清的数据在浏览器上进行展示，同时要加入全景数据展示，最后使用通用的flash格式，进行网络发布，为用户提供客户端的全景交互功能。

优选地，三维效果生成过程包括：

S11、使用OpenCV实现摄像机标定，包括棋盘格标定物的角点提取和摄像机标定；

S12、采用激光测距仪获取深度信息；

S13、建立灰度直方图统计图像灰度分布，然后使用分段灰度线性变换增强图像对比度，再使用高斯滤波进行平滑处理，完成图像的预处理；

S14、使用Canny算子完成图像边缘特征点的提取；

S 15、利用边缘提取的特征点以及将辅助激光测距仪采集到的距离信息通过坐标系间的转化可以计算出空间三维坐标点，并将这些空间三维坐标点在OpenGL中显示出来，初步生成三维效果；

S16、将拍摄到实物的一系列彩色照片准确映射到重构的几何模型上，以实现模型的无变形纹理映射。

本具体实施基于连续场景的全景视频流地图由于视频流所具有的连续性，能够有效解决基于独立场景照片组的传统全景地图在不同场景切换时的用户体验欠佳的问题。全景视频流地图是一种全新的实景信息记录手段，实现了360度全景视频和地图的融合，具有超宽视角，是传统的地图的良好补充，其数据更新效率高，信息量丰富。全景视频数据包含了坐标点和位置等信息， 因此全景视频数据可以作为基础地理信息数据的一个方面，为二维三维地图***带来了更新更丰富的表现形式，可以提供更好的用户体验和高级的分析与应用。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种实现交互式全景视频流地图的方法，其特征在于，包括以下步骤：

S1、采集设备的硬件设计：包括运载车、全景摄像***、GPS接收机、控制开关以及数据存储设备组成；GPS设备放置于运载车外侧，全景摄像***通过电动伸缩杆安装在运载车上端，全景摄像***通过带伺服装置的万向节安装在电动伸缩杆上端，全景摄像***采用高清摄像机，通过具有固定夹角的6个CCD来实现近乎100％全方位的球面成像

S2、对摄像机进行标定，实现三维重建过程中坐标系间的转化后，6台摄像机负责360°全景视频数据的采集，GPS接收机负责当前时间的数据采集设备的空间信息，控制开关负责整个采集设备的电源开关以及数据记录开关；当采集设备到达采集起始点后，对全景视频流数据采集设备进行***上电测试和GPS搜星准备，测试完成确保***正常工作且拥有GPS定位信息后，使用者通过启动控制器的数据记录开关按钮，与控制器通过有线连接的6台摄像机和GPS接收机同时开始数据采集工作，将各自数据分别记录至存储设备；

S3、采集工作完成后将采集的6路视频流地图数据，进行去噪、图像增强等预处理，得到精确的边缘，并以得到的边缘点作为特征点，通过坐标系间转化得到三维点云，重建精确的表面模型；对模型进行无变形的纹理映射，使重建效果更接近于真实的三维场景，导入至视频拼接软件中，软件会自动匹配起始点，实现6路视频自动或者人工拼接成一个全景视频，整个拼接过程涵盖摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接，以及亮度与颜色的均衡处理，使最终的全景视频流数据达到最好的视觉效果；

S4、Flash格式发布，用户可以选择包括二维地图和全景地图进行切换，将处理完成的全景视频流数据利用三维引擎进行二次开发，以插件的形式将高清的数据在浏览器上进行展示，同时要加入全景数据展示，最后使用通用的flash格式，进行网络发布，为用户提供客户端的全景交互功能。

2.根据权利要求1所述的一种实现交互式全景视频流地图的方法，其特征在于，三维效果生成过程包括：

S11、使用OpenCV实现摄像机标定，包括棋盘格标定物的角点提取和摄像机标定；

S12、采用激光测距仪获取深度信息；

S13、建立灰度直方图统计图像灰度分布，然后使用分段灰度线性变换增强图像对比度，再使用高斯滤波进行平滑处理，完成图像的预处理；

S14、使用Canny算子完成图像边缘特征点的提取；

S15、利用边缘提取的特征点以及将辅助激光测距仪采集到的距离信息通过坐标系间的转化可以计算出空间三维坐标点，并将这些空间三维坐标点在OpenGL中显示出来，初步生成三维效果；

S16、将拍摄到实物的一系列彩色照片准确映射到重构的几何模型上，以实现模型的无变形纹理映射。