CN101615191A - 海量点云数据的存储与实时可视化方法 - Google Patents

Abstract

海量点云数据存储方法，包括将点云数据文件连续分段并依次映射到进程虚拟地址空间；解析点云数据并在内存中进行存储，计算点云数据的最小外包围盒；当内存中的点云数据超出剩余内存容量时存储为多波段图像文件；对多波段图像进行多级重采样，构建图像金字塔；重复以上步骤至点云数据文件被全部存储为多波段图像。海量点云数据实时可视化方法，包括读取全部多波段图像并计算全部点云数据的最小外包围盒，根据视点到该最小外包围盒中心点距离，选择图像金字塔中合适的层级进行数据加载，并将已加载的点云数据进行渲染；当视点移动时，按照图像金字塔中各层图像的距离作用范围及其对应的LOD层级进行数据切换，并执行实时渲染。

Description

海量点云数据的存储与实时可视化方法

技术领域

本发明属于地理空间信息***技术领域，特别是涉及一种海量点云数据的存储与实时可视化方法。

背景技术

激光扫描技术是上世纪九十年代蓬勃发展起来的高精度、快速获取物体三维几何数据的新型技术，通过记录激光脉冲的方向和计算经目标表面反射后返回的时间差(或相位差)来获取目标表面的三维坐标，精度一般可以达到毫米级，其特点在于获取速度快，数据精度高。因此，激光扫描得到的点云数据在数字文物、数字城市等领域逐渐得到广泛应用。直接基于采样点的点云数据在三维数据处理中具有独特优势：仅保存采样点不但可以有效地降低存储需求，而且可以避免构网操作以及网格拓扑关系的处理，这对大型复杂场景的数据处理尤为重要。

随着三维扫描技术的应用领域的不断扩大，以及人们对扫描数据精度的要求不断提高，三维扫描仪产生的点云数据量越来越庞大，以至于点云数据的单体文件大小一般在GB级。由于数据量远远大于内存容量，称其为“海量点云数据”。例如，1999年美国斯坦福大学的“米开朗基罗”项目中，雕像扫描的精度最高已经达到1/4毫米，著名的“大卫”雕像扫描得到的原始点云数量高达11亿。由于内存容量远远小于需要进行可视化的点云数据量，超大数据量的点云数据无法一次加载到内存，在普通计算机上海量点云数据难以实时渲染或者达不到实时交互的要求，因此，在普通计算机上实现对海量点云的实时可视化成为一个亟待解决的问题。

更为重要的是，在实际生活中，人们观察周围的世界时，人眼的空间与时间分辨率总是有限的。同样，虚拟环境中的物体总是在不同的细节层次表现出不同的结构和特征，细节层次因此成为决定人们空间认知十分重要的一个因素。根据人眼分辨率有限的基本原理，应该忽略掉那些人眼所不能看到的空间物体的细节，通过有限的若干离散的细节层次而获得有关一个真实环境比较完整的知识。同时，由于点云数据在实时显示的时候，不能进行有效的遮挡剔除，因此，点与点之间容易造成相互干扰，影响可视化效果。因此，为海量点云数据建立细节层次模型(Level of Detail，LOD)成为一项必要的工作。

目前，海量点云的实时可视化方法主要有以下两种：

(1)基于层次结构的点云数据实时可视化

该类方法利用八叉树或K-D树等结构将海量点云数据集分割并组织为层次结构，对每一块分割后的数据生成误差控制下的多分辨率数据结构，在可视化时依据对细节层次的要求提取合适的层次数据进行渲染，这种方法可以可视化海量的点云数据，但是依赖于复杂的数据结构和预处理过程，可视化时需要复杂的调度和控制机制。该类方法在下列文献中均有论述：Wagner Toledo Correa.New Techniques for Out-Of-Core Visualization of Large Datasets.PrincetonUniversity，2004.Matthias Hopf，Michael Luttenberger，Thomas Ertl.HierarchicalSplatting of Scattered 4D Data.IEEE Computer Graphics and Applications，2004：64-72.孟放，查红彬.基于LOD控制与内外存调度的大型三维点云数据绘制.计算机辅助设计与图形学学报，2006.路明月，何永健.三维海量点云数据的组织与索引方法.地球信息科学，2008.

(2)基于抽稀处理的点云数据实时可视化

该类方法有两种实现方式，一种是在显示之前设定抽稀系数，另一种是将所有数据加载到内存之后再设定抽稀系数进行显示。前者由于加载到内存中的数据是已抽稀读取的点，因此不能动态地改变显示的细节，而后者需要将所有数据都先加载到内存当中，在进行海量点云实时可视化时，往往由于内存容量不足导致数据加载失败。常用的商业软件Polyworks即采用上述的抽稀方法来显示点云数据。

发明内容

本发明目的在于针对海量点云数据难以实时可视化难题，针对点云数据的特点，提出一种利用多波段图像存储点云数据的方法以及基于此存储方法的实时可视化方法。

一种海量点云数据存储方法，其特征在于：包括有以下步骤，

步骤1.1，在计算机中打开点云数据文件的同时，获取计算机的***剩余内存容量，并根据该容量确定每次映射的最大数据量；

步骤1.2，从点云数据文件取一分段并映射到进程虚拟地址空间，解析已映射的点云数据并在内存中进行存储，计算内存中全部点云数据的最小外包围盒，并预计内存中全部点云数据与下一次映射的点云数据的数据量总和；

步骤1.3，获取计算机此时的***剩余内存容量，判断预计的数据量总和是否超出此时***剩余内存容量，如果不超出，判断点云数据文件是否全部映射，如果是则进入步骤1.4，否则返回步骤1.2，继续从点云数据文件取下一分段映射；如果超出此时***剩余内存容量，进入步骤1.4；

步骤1.4，将内存中的点云数据存储为多波段图像文件，其中每波段存储点云数据的一个维度的信息；

步骤1.5，对已存储的多波段图像文件进行多级重采样，为其构建图像金字塔，并存储带有图像金字塔的新多波段图像文件替换已存储的多波段图像文件，并将步骤1.2所得点云数据的最小外包围盒信息存储在新多波段图像文件的头信息中；释放点云数据所占用的内存；所述图像金字塔中的层级分别对应于点云数据的细节层次模型层级；

步骤1.6，重复步骤1.2～1.5，直至点云数据文件被全部存储为多波段图像文件。

本发明还提供了相应海量点云数据实时可视化方法，其特征在于：包括有以下步骤，

步骤2.1，通过读取全部多波段图像文件中分别记录的最小外包围盒信息，计算全部点云数据的最小外包围盒；根据全部点云数据的最小外包围盒计算初始视点位置；

步骤2.2，提取多波段图像文件中的图像金字塔，根据实际扫描的点距、屏幕分辨率以及重采样参数，计算图像金字塔中各层图像的距离作用范围；

步骤2.3，根据初始视点位置到全部点云数据的最小外包围盒中心点的距离，按照图像金字塔中各层图像的距离作用范围，选择图像金字塔中的层级，加载相应细节层次模型层级的点云数据，并将已加载的点云数据进行渲染；当视点移动时，按照图像金字塔中各层图像的距离作用范围切换对应细节层次模型层级的点云数据，并执行实时渲染。

本发明利用计算机内存剩余容量作为约束，通过分段映射的方法，将包含多个维度信息的海量点云数据存储为多波段图像；通过对多波段图像进行多级重采样构建图像金字塔的方式为海量点云数据快速建立多细节层级，提供了海量点云数据集的多分辨率的简化数据表达；通过计算图像金字塔中各层图像的距离作用范围，对实时可视化过程中需要加载的层级进行控制，有效地实现了海量点云数据的多细节层次的实时可视化。本发明提出的海量点云数据存储及实时可视化方法具有方法简洁、执行效率高的优点，有效地解决了在普通计算机上进行海量点云数据实时可视化的难题，适用于各种数据规模的点云数据集，尤其适用于GB级以上数据规模的点云数据集的实时可视化。

附图说明

图1本发明的总体流程图；

图2本发明实施例的海量点云数据存储流程图；

图3本发明的海量点云数据分段映射方法；

图4本发明带有图像金字塔结构的多波段图像结构图；

图5屏幕投影原理示意图；

图6本发明实施例中海量点云数据的实时可视化流程图。

具体实施方式

本发明技术方案中，海量点云数据存储成多波段图形文件后，通过对多波段图形文件的处理实现海量点云数据的实时可视化。这两个过程可以分开实施，由地理数据提供者存储海量点云数据，用户需要查看虚拟图像时实现实时可视化。为了便于理解本发明，图1提供了利用计算机技术，实现自动化处理的总体流程如下：

海量点云数据存储实现包括有以下步骤，

步骤1.1，在计算机中打开点云数据文件的同时，获取计算机的***剩余内存容量，并根据该容量确定每次映射的最大数据量；

步骤1.2，从点云数据文件取一分段并映射到进程虚拟地址空间，解析已映射的点云数据并在内存中进行存储，计算内存中全部点云数据的最小外包围盒，并预计内存中全部点云数据与下一次映射的点云数据的数据量总和；

步骤1.3，获取计算机此时的***剩余内存容量，判断预计的数据量总和是否超出此时***剩余内存容量，如果不超出，判断点云数据文件是否全部映射，如果是则进入步骤1.4，否则返回步骤1.2，继续从点云数据文件取下一分段映射；如果超出此时***剩余内存容量，进入步骤1.4；

步骤1.4，将内存中的点云数据存储为多波段图像文件，其中每波段存储点云数据的一个维度的信息；

步骤1.5，对已存储的多波段图像文件进行多级重采样，为其构建图像金字塔，并存储带有图像金字塔的新多波段图像文件替换已存储的多波段图像文件，并将步骤1.2所得点云数据的最小外包围盒信息存储在新多波段图像文件的头信息中；释放点云数据所占用的内存。通过多级重采样建立图像金字塔，图像金字塔中的层级代表不同清晰度，相当于建立了点云数据的细节层次模型。因此图像金字塔中的层级分别对应于点云数据的细节层次模型层级。

步骤1.6，重复步骤1.2～1.5，直至点云数据文件被全部存储为多波段图像文件。

多波段图像都是以文件形式存储，所以称为多波段图像文件，图中简略标示为多波段图像。值得注意的是，步骤1.3判断预计数据量总和是否超出此时***剩余内存容量，并非步骤1.1所获取的***剩余内存容量。步骤1.1所获取的***剩余内存容量值由于程序运行的消耗，与步骤1.3中获取的剩余内存容量值不相同。程序处理时需要计算机分配连续的内存块，而且涉及到内存回收以及再分配的问题，所以要重新获取剩余内存容量。步骤1.6决定是否循环重复步骤1.2～1.5，可以采用点云数据文件是否被全部存储为多波段图像文件的判断条件。当然，如果是在步骤1.3判断预计的数据量总和未超出此时***剩余内存容量且点云数据文件已全部映射，然后进入步骤1.4，此处可省略重复判断，直接结束程序即可。

海量点云数据实时可视化实现包括有以下步骤，

步骤2.1，通过读取全部多波段图像文件中分别记录的最小外包围盒信息，计算全部点云数据的最小外包围盒(图1中简称为总最小外包围盒大小)；根据全部点云数据的最小外包围盒计算初始视点位置；

步骤2.2，提取多波段图像文件中的图像金字塔，根据实际扫描的点距、屏幕分辨率以及重采样参数，计算图像金字塔中各层图像的距离作用范围；

步骤2.3，根据初始视点位置到全部点云数据的最小外包围盒中心点的距离，按照图像金字塔中各层图像的距离作用范围，选择图像金字塔中的层级，加载相应细节层次模型层级的点云数据(可简称为初始LOD层级数据)，并将已加载的点云数据进行渲染；当视点移动时，按照图像金字塔中各层图像的距离作用范围切换对应细节层次模型层级的点云数据，并执行实时渲染。切换就是删除原LOD层级数据，加载新的LOD层级数据，然后渲染已加载数据即可。

以下结合附图和实施例详细说明本发明的技术方案：

参见图2，本发明的海量点云数据存储方法的原理是将包含有N(N≥1)维信息的原始海量点云数据存储成T(T≥1)张包含有N个波段的图像，对已存储的多波段图像进行多级重采样，构建图像金字塔并存储图像文件。本发明实施例的存储实现过程采用计算机实现自动化处理，包括以下步骤：

步骤1.1，打开点云数据文件的同时，获取***剩余内存容量，并根据该容量确定每次映射的最大数据量M。可以按***剩余内存容量的一定比例来确定M值，如可以将M值设置为***剩余内存容量的1/5。由于点云数据文件的数据量可能远远大于***内存容量，因此本发明在进行点云数据文件分割并利用图像存储时采用内存文件映射的方式，将磁盘上的点云数据文件连续分段并依次映射到进程虚拟地址空间，通过这种方式可以处理任意大小的点云数据文件。

步骤1.2，从点云数据文件取一分段并映射到进程虚拟地址空间。进行内存文件映射时，根据每次映射的最大数据量M来计算映射起始点相对于点云数据文件起始处的偏移位置。参见图3，磁盘存储器中的点云数据文件向进程虚拟地址空间中的映射区转移。在进行第一次文件映射I₀时，映射起始点P₀位于文件起始处，在进行第二次文件映射I₁时，映射的起始点P₁位于P₀+M处，即相对于文件起始处偏移M。以后的每一次映射I_n中，映射的数据量都为M，映射的文件起始位置P_n位于P_n-1+M处。

每一次内存文件映射时，解析映射到进程虚拟地址空间的点云数据并在内存中存储解析获取的数据，计算并更新存储在内存中的点云数据的最小外包围盒大小，获得最小包围盒的最大最小三维坐标x_max，x_min，y_max，y_min，z_max，z_min。解析是从映射的点云数据中提取有用信息的过程。在连续分段映射中，内存中的点云数据的最小外包围盒可能发生变化，可以采用迭代更新方式确定当前内存中的点云数据的最小外包围盒：本发明实施例计算的是轴向外包围盒(AxisAligned Bounding Box，AABB)，计算方法是每次从点云数据文件中读取一个点的信息后，就将该点的X，Y，Z三维坐标同已获得的x_max，x_min，y_max，y_min，z_max，z_min进行比较，例如，如果x＞x_max，则使用x替代x_max，如果x＜x_min，则使用x替代x_min，如果x≥x_min且x≤x_max，则外包围盒不做更新。

步骤1.3，每次内存文件映射结束后，预计算内存中点云数据量与下一次映射的点云数据量的总和。预计总和时，就是以每次映射的最大数据量M作为下一次映射可能的点云数据量。获取计算机此时的***剩余内存容量，如果预计的数据量总和小于此时的***剩余内存容量，判断点云数据文件是否全部映射，如果是，则进入后续步骤，否则返回上一步骤将点云数据文件中的下一部分文件内容映射到进程虚拟地址空间；如果该值大于此时的***剩余内存容量，则进入后续步骤；

步骤1.4，将已存储在内存中的点云数据存储成多波段图像文件，每波段存储一个维度的信息。实施例中，将内存中的点云数据存储到磁盘上的多波段图像文件的步骤如下：首先创建一张能够容纳内存中所有点云数据的多波段图像，图像的波段数与信息维度相同，将每一维度信息写入到对应波段中。例如，一个包含有N个点的拥有x，y，z，r四个维度信息的点云数据集写入到多波段图像时，创建的图像宽为W，高为H，其中W×H≥N，该图像包含有四个波段，每个波段分别存储一个维度的信息，如可以用第一个波段存储点云数据集中所有的x值。由于W×H≥N，因此图像存储的点数量可能大于N，多余的点数据用无效值进行填充。

步骤1.5，对已存储的多波段图像文件进行多级重采样，实施例采用最邻近点采样法，即从每一采样区域内挑选一个点来代表整个区域的值，采样速度快且不会改变原始点的值。设置图像的重采样层级，如1/4，1/16等多级采样，通过对图像进行多级重采样以及存储重采样结果获得带有图像金字塔的新多波段图像替换已存储的多波段图像文件，图4显示的是实施例中带有图像金字塔的多波段图像结构示意图；其中波段1存储x坐标信息，波段2存储y坐标信息，波段3存储z坐标信息，波段4存储光强信息，波段5存储颜色值r分量，波段6存储颜色值b分量，还可设更多波段存储法线等信息。各细节层次模型层级中，第一层级LOD0是1/k₁采样、第二层级LOD1是1/k₂采样、第三层级LOD2是1/k₃采样、第四层级LOD3是1/k₄采样...后续还可以有更多层级，图中用LODk标示。头信息中则包含最小外包围盒大小。

具体实施时，可以先设置重采样方式与等级，再对多波段图像进行重采样，采样完成后存储重采样数据及外包围盒信息，得到带图形金字塔的多波段图像文件，然后释放点云数据所占内存。

步骤1.6，重复分段映射和生成多波段图像文件，直至点云数据文件被全部存储为多波段图像文件。单个点云数据文件由于内存容量的关系，可能被存储为一或多个多波段图像文件。全部完成时结束流程。

本发明的海量点云数据实时可视化方法的原理是通过判断视点到全部点云数据最小外包围盒中心点的距离的变化加载不同的LOD层级(图像金字塔中的层级分别对应于点云数据的LOD层级)数据送入显卡端创建顶点缓存来进行绘制。

本发明实施例的实时可视化实现过程采用计算机实现自动化处理，包括以下步骤：

步骤2.1，通过读取全部多波段图像文件中记录的最小包围盒信息，计算这些多波段图像文件所提供全部点云数据的最小外包围盒(即总最小外包围盒大小)；根据全部点云数据的最小外包围盒计算初始视点位置，计算方法如下：获取与视线相对的外包围盒的外表面S的高度值H，已知视锥体的垂直角为α，利用公式 $L=\frac{H/2}{\tan (\mathrm{\α}/2)}$ 计算离S面的距离L，将视点从S面的中心点沿视线反方向平移L，得到的位置就是视点的初始位置。

步骤2.2，根据实际扫描的点距、屏幕分辨率以及重采样参数，计算图像金字塔中各层图像的距离作用范围，即各LOD层级距离作用范围。

参见图5，设定实际扫描的点距(即原始点云数据的分辨率)为ε，在采样参数为1/k对应的点云数据中点距为k*ε(图5中点1与点2之间的距离)，视点到采样点的距离为d，视锥体在采样点处的宽度为w，视线的水平角为θ，屏幕分辨率为x，两相邻采样点投影到屏幕上的像素距离为p。可以得到d与采样参数1/k之间的关系：

$d=\frac{\mathrm{\ϵ}\·k\·x}{2p\tan (\mathrm{\θ}/2)}$

由此可见，当两相邻采样点投影到屏幕上的像素距离p小于投影最小阈值时，则表明采样参数1/k所对应的图像金字塔中的LOD层次数据在视点到采样点距离为d的条件下投影到屏幕时过于密集，需要加载图像金字塔中更为稀疏的层级数据进行渲染；当p大于投影最大阈值时，则表明采样参数1/k所对应的图像金字塔中的LOD层次数据在视点到采样点距离为d的条件下投影到屏幕时过于稀疏，需要加载图像金字塔中更为密集的层级数据进行渲染。

步骤2.3，根据视点到点云数据最小外包围盒中心点的距离，选择图像金字塔中合适的层级进行数据加载，并将已加载的点云数据进行渲染；当视点移动时，按照图像金字塔中各层图像的距离作用范围选择对应的LOD层级进行数据切换，并执行实时渲染。如图6所示，实施例具体的步骤如下：

步骤2.31，根据初始视点位置到点云数据最小外包围盒中心点的距离，以及图像金字塔不同LOD层级作用的距离范围，计算LOD层级。

步骤2.32，加载单张多波段图像中对应LOD层级的数据进入内存。将数据送往显卡端，生成一个顶点缓存，并删除内存中对应的数据。

步骤2.33，重复步骤2.32，直至所有多波段图像中对应的LOD层级数据都加载到显卡端；对已经加载的点云数据进行渲染。

步骤2.34，在视点移动的同时，根据视点到点云数据最小外包围盒中心点的距离来判断对应的LOD层级是否发生变动。

当LOD层级未发生变动时，不加载新数据，使用已加载的数据进行渲染。当LOD层级变动时，对与该层级对应的所有多波段图像逐张进行处理，从步骤2.35开始，

步骤2.35，计算单张多波段图像中将要读取的数据的大小，获取***剩余内存容量，判断该数据大小是否小于此时***剩余内存容量，如果小于，则进入步骤2.36，否则放弃加载新数据，进入步骤2.38。实施例设置该步骤，利于保证在内存容量允许的条件下，实现点云数据可视化。

步骤2.36，删除显卡端原有的顶点缓存数据。加载单张图像中对应LOD层级数据进入内存，将加载到内存中的数据传送到显卡端创建一个顶点缓存，并删除内存中的数据。

步骤2.37，重复步骤2.35和2.36，直至图像遍历完毕，所有多波段图像中对应的LOD层级数据都加载到显卡端或者由于***剩余内存容量不足而进入步骤2.38；

步骤2.38，渲染已加载到显卡端的点云数据。

步骤2.39，重复步骤2.34至2.38，直至程序退出。

Claims (2)

1.一种海量点云数据存储方法，其特征在于：包括有以下步骤，

步骤1.1，在计算机中打开点云数据文件的同时，获取计算机的***剩余内存容量，并根据该容量确定每次映射的最大数据量；

步骤1.2，从点云数据文件取一分段并映射到进程虚拟地址空间，解析已映射的点云数据并在内存中进行存储，计算内存中全部点云数据的最小外包围盒，并预计内存中全部点云数据与下一次映射的点云数据的数据量总和；

步骤1.3，获取计算机此时的***剩余内存容量，判断预计的数据量总和是否超出此时***剩余内存容量，如果不超出，判断点云数据文件是否全部映射，如果是则进入步骤1.4，否则返回步骤1.2，继续从点云数据文件取下一分段映射；如果超出此时***剩余内存容量，进入步骤1.4；

步骤1.4，将内存中的点云数据存储为多波段图像文件，其中每波段存储点云数据的一个维度的信息；

步骤1.5，对已存储的多波段图像文件进行多级重采样，为其构建图像金字塔，并存储带有图像金字塔的新多波段图像文件替换已存储的多波段图像文件，并将步骤1.2所得点云数据的最小外包围盒信息存储在新多波段图像文件的头信息中；释放点云数据所占用的内存；所述图像金字塔中的层级分别对应于点云数据的细节层次模型层级；

步骤1.6，重复步骤1.2～1.5，直至点云数据文件被全部存储为多波段图像文件。

2.一种在权利要求1所生成多波段图像文件基础上实现的海量点云数据实时可视化方法，其特征在于：包括有以下步骤，

步骤2.1，通过读取全部多波段图像文件中分别记录的最小外包围盒信息，计算全部点云数据的最小外包围盒；根据全部点云数据的最小外包围盒计算初始视点位置；

步骤2.2，提取多波段图像文件中的图像金字塔，根据实际扫描的点距、屏幕分辨率以及重采样参数，计算图像金字塔中各层图像的距离作用范围；

步骤2.3，根据初始视点位置到全部点云数据的最小外包围盒中心点的距离，对照图像金字塔中各层图像的距离作用范围，选择图像金字塔中的层级，加载相应细节层次模型层级的点云数据，并将已加载的点云数据进行渲染；当视点移动时，按照图像金字塔中各层图像的距离作用范围切换对应细节层次模型层级的点云数据，并执行实时渲染。

Images