CN102004750B - 一种无冗余的大规模地形数据组织方法和读取方法 - Google Patents

Abstract

本发明涉及一种大规模地形数据无冗余的组织方法以及读取方法，其特征在于：先对原始地形数据进行均匀分块，并构建文件RowFile、文件ColFile来存储地形分块间公共边的顶点，最后构建地形子块文件存储该块的内部顶点。本发明对地形子块产生冗余的区域进行单独的存储，不同地形子块共享冗余区域，该方法消除了数据冗余，很好地解决了存储空间浪费过大的问题，是一种适合大规模地形数据组织存储的方法。

Description

一种无冗余的大规模地形数据组织方法和读取方法

技术领域

本发明涉及一种数据的组织和读取方法，属于信息数据存储领域，具体涉及一种针对大规模地形数据无冗余的组织方法和读取方法。

背景技术

 随着“数字地球”概念的提出，以及航拍技术的发展，地形可视化领域可获得的原始地形数据规模逐渐增大，待处理的地形数据规模已达到TB级别。如此巨大的数据不可能全部载入内存，因此必须存储在外存上，待需要时再载入部分数据进入内存参与绘制。这就是常用的out-of-core技术。

Out-of-core技术中最重要的就是将原始地形数据合理的划分并存储在外存上。目前国内外主流的大规模地形数据组织方法分为两步：

1、先将原始地形划分成若干规模较小的地形子块；

2、再对地形子块进行多分辨率组织，将组织好的多分辨率地形数据存储在外存上。

第一、原始地形划分方法主要是使用均匀分块方法，即将原始地形划分成大小相同的子块。例如赵友兵等人将4097×2049 的地形按矩形网格平均分为128 × 64 个小块，每块大小为33×33（赵友兵、石教英、周骥等，一种大规模地形的快速漫游算法.计算机辅助设计与图形学学报, 2002,14(7):624-628.）。这种方法简单有效的将大地形划分成大小相同的子块，子块作为数据调度的基本单位。

然而一般的地形块划分方法，不可避免的会在地形块边缘处产生顶点冗余，如图1所示。

第二、对子块进行多分辨率组织则主要使用金字塔模型，即按一定的方法将地形剖分成不同的分辨率层次，地形数据按层次进行存储，最常用的剖分层次的方法是使用四叉树剖分。例如戴晨光等人就使用了瓦片金字塔来组织地形多分辨率数据（戴晨光,张永生,邓雪清.一种用于实时可视化的海量地形数据组织与管理方法.***仿真学报,2005,17(2):406-409.）。虽然使用金字塔模型能够很好的将地形子块剖分成不同分辨率的层次数据，但是这种方法普遍存在数据冗余过大，以牺牲外存存储空间来换取处理时间的弊端。

其中专利号200710051621.2，专利名称“一种基于对象存储的地形数据存储方法”的中国专利，是将地形数据及其属性数据组织成地形存储对象存储在基于对象存储***中，相邻或相近地形数据瓦片的地形存储对象分布于基于对象存储***内的不同基于对象存储设备。由于该方案是按金字塔分层方式存储的，层间仍然会产生冗余。

因此冗余成为了一种技术缺陷，尤其是在存储大规模数据时更为突出，属于影响数据存储的一种弊端，故需要解决这种的缺陷。                                                             

发明内容

本发明所要解决的技术问题是提供一种无冗余的大规模地形数据组织方法以及读取方法，该方法对地形子块产生冗余的区域进行单独存储，不同地形子块共享冗余区域，针对现有技术中数据存储时出现冗余的缺陷，解决存储空间浪费过大的问题。               

本发明所提出的技术问题是这样解决的：构造一种无冗余的大规模地形数据组织方法，其特征在于，按照下列方式进行：

（1）、先对原始地形数据进行均匀分块； 

（2）、构建文件RowFile、文件ColFile存储地形子块公共边的顶点；

（3）、对每个地形子块的内部顶点数据构建文件单独存储；

其中均匀分块：原始大地形的分辨率为M*N，其中M*N满足(2m +1)*(2n +1)；平均分块的地形子块的分辨率为K*K，即(2k+1)*(2k +1)，其中k≤min(m,n)；分块数目为P*Q块，其中P*Q满足为( (M－1) /(K－1) )* ( (N－1) /(K－1) )；

其中文件RowFile的顶点编号为：顶点编号从序号0开始；从第0到M－1的顶点是第0行边界，而从M到2M－1的顶点为第1行边界，以此类推，故第n行的边界是从n*M到(n+1)*M－1的顶点，0≤n≤Q，在文件RowFile中，从它存放的某个地形子块的行边界第一个顶点开始，接着K个连续的顶点组成该地形子块的行边界；

其中文件ColFile的顶点编号为：顶点编号从序号0开始；从第0到Q*(K－2)－1的顶点为地形第0列边界，而从Q*(K－2)到2Q*(K－2)－1的顶点为第1列边界，以此类推，故第n列边界是从n*Q*K*(K－2)到(n+1)*Q*K*(K－2)－1的顶点，0≤n≤P；在文件ColFile中，从它存放的某个地形子块的列边界第一个顶点开始，接着K－2个连续的顶点组成该地形子块的列边界。

根据权利要求1所说的一种无冗余的大规模地形数据组织方法，其特征在于：所构建的文件RowFile用于存储行的顶点，即按行来存储公共边的顶点。

根据权利要求1所说的一种无冗余的大规模地形数据组织方法，其特征在于：所构建的文件ColFile用于存储列的顶点，即按列来存储公共边的顶点。

 根据权利要求1所说的一种无冗余的大规模地形数据组织方法，其特征在于：原始大地形的分辨率为M*N，其中M*N满足(2m +1)*(2n +1)；平均分块的地形子块的分辨率为K*K，即(2k+1)*(2k +1)，其中1<k≤min(m,n)；分块数目为P*Q块，其中P*Q满足为( (M－1) /(K－1) )* ( (N－1) /(K－1) )；

其中文件RowFile一共存放了Q+1行边界数据； 

其中文件ColFile一共存放了P+1列边界数据。

一种无冗余的大规模地形数据的读取方法，其特征在于：其中对每个地形子块分别用文件来存储，由于每两个地形子块公共边上包含相同的顶点，为了避免冗余存储，在地形子块文件中不存储公共边上的顶点，而构建专门的文件来存储这些公共顶点，在此构建两个文件，文件RowFile是按行来存储公共边的顶点，文件ColFile是按列来存储公共边的顶点，

原始大地形的分辨率为M*N，其中M*N满足(2m +1)*(2n +1)；平均分块的地形子块的分辨率为K*K，即(2k+1)*(2k +1)，其中1<k≤min(m,n)；分块数目为P*Q块，其中P*Q满足为( (M－1) /(K－1) )*( (N－1) /(K－1) )；

对于第X块，它处在第X/P行，第X%P列，其中X/P为向下取整除法，X%P为取余操作，

它的上边界起始顶点在文件RowFile中的编号为(X/P)*M + (X% P)*(K－1)；

下边界起始顶点在文件RowFile中的编号为(X/P +1)*M + (X% P)*(K－1)；

左边界起始顶点在文件ColFile中的编号为(X% P)*Q*(K－2) + (X/P)*(K－2)；

右边界起始顶点在文件ColFile中的编号为(X%P+1)*Q*(K－2) + (X/P)*(K－2)；

其中文件RowFile中存放的0到M－1的顶点是第0行边界，而从M到2M－1的顶点为第1行边界，以此类推，第0行边界是地形子块第0块到第P－1块的上边界；第1行边界为第0块到第P－1块的下边界，以及第P块到第2P－1块的上边界，通过知道地形子块编号，以及它处在几行几列，就可以计算出它的上边界和下边界分别在文件RowFile中的位置，因此可以取出数据；

文件ColFile中存放的0到Q*(K－2)－1的顶点为地形第0列边界，而从Q*(K－2)到2Q*(K－2)－1的顶点为第1列边界，以此类推，通过知道地形子块编号，以及它处在几行几列，就可以计算出它的左边界和右边界分别在文件ColFile中的位置，因此可以取出数据。

本发明的有益效果为：本专利将地形子块的公共边顶点单独存储，通过将地形子块与公共边顶点组合的形式还原地形子块数据。地形子块与公共边之间的关系由地形子块的编号和公共边文件中的顶点编号对应起来，查找非常方便。该方法存储数据基于顶点，因此完全没有数据冗余，克服了现有技术中的关于冗余的缺陷。当绘制多分辨地形块数据时，可以在内存中构建一个索引结构，记录每个分辨率层次所包含的顶点，按照索引结构将相应分辨率的顶点载入内存即可完成多分辨率地形绘制。所以使用本专利的方法不仅消除了外存存储数据上的冗余，而且仍然可以实现多分辨率绘制的要求，因此本专利成功给出了一种较理想的大规模地形数据组织和读取方法。

附图说明

图1是现有技术中数据冗余存储的结构示意图

图2是对原始全分辨率地形的分块的示意图

图3 是本发明无冗余的数据存储结构的示意图

图4是一种关于5*5的地形数据的采样点示意图

图4a是数据使用三角形扇方式时的第0层存储的数据的示意图

图4b是数据使用三角形扇方式时的第1层存储的数据的示意图

图5a是数据使用三角形方式时的第0层存储的数据的示意图

图5b是数据使用三角形扇方式时的第1层存储的数据的示意图。

具体实施方式

下面结合附图对本发明做进一步的说明。

图1是一种现有技术的数据存储的结构示意图，其中相邻地形子块边缘处表示的是会产生冗余的顶点。

如图2所示，是对原始全分辨率为17*17的地形分块的示意图。在本方法中首先对地形进行均匀分块，原始地形分辨率为M*N（M = N = 2⁴+1），分块大小为K*K （K = 2² +1），1<K < min(m,n)；分块数目为P*Q (P = (M－1) / (K－1) ,Q = (N－1) / (K－1))。

其中对每个地形子块分别用文件来存储，由于每两个地形子块公共边上包含相同的顶点，为了避免冗余存储，在地形子块文件中不存储公共边上的顶点，而构建专门的文件来存储这些公共顶点。在此构建两个文件，文件RowFile是按行来存储公共边的顶点，文件ColFile是按列来存储公共边的顶点。

如图3所示为无冗余的数据存储方式示意图，行边界存储在文件RowFile里，列边界存储在文件ColFile里。行列边界的公共顶点只在RowFile中存储一次，列边界中不再重复存储；而存储每个地形子块的文件只存储该块内部顶点即可，本图3中的内部顶点为3*3个顶点。

因此这块地形一共由18个文件存储，包括16个地形子块文件和两个地形边界文件。只要知道当前子块的编号，就可以通过合并地形子块文件和地形边界文件还原当前子块的数据，因此使用这种存储方法可以在外存上实现完全无数据冗余。

下面对数据读取方法进行阐述：

假设原始大地形的分辨率为M*N，其中M*N满足(2^m +1)*(2ⁿ +1)；平均分块的地形子块的分辨率为K*K，即(2k+1)*(2k +1)，其中1<k<min(m,n)；分块数目为P*Q块，其中P*Q满足为( (M－1) /(K－1) )* ( (N－1) /(K－1) )；

其中文件RowFile中存放的0到M－1的顶点是第0行边界，而从M到2M－1的顶点为第1行边界，以此类推。第0行边界是地形子块第0块到第P－1块的上边界；第1行边界为第0块到第P－1块的下边界，以及第P块到第2P－1块的上边界。如果知道地形子块编号，以及它处在几行几列，就可以计算出它的上边界和下边界分别在RowFile中的位置，因此可以取出数据。

同理，文件ColFile中存放的0到Q*(K－2)－1的顶点为地形第0列边界，而从Q*(K－2)到2Q*(K－2)－1的顶点为第1列边界，以此类推。只要知道地形子块编号，以及它处在几行几列，就可以计算出它的左边界和右边界分别在ColFile中的位置，因此可以取出数据。

给定通用边界数据读取公式：对于原始分辨率为M*N的大地形，其中M*N满足(2^m +1)*(2ⁿ +1)；平均分块的地形子块的分辨率为K*K，即(2^k+1)*(2^k +1)，其中1<k<min(m,n)；分块数目为P*Q块，P*Q满足为( (M－1) /(K－1) )* ( (N－1) /(K－1) )；对于第X块，它处在第X/P行，第X%P列，其中X/P为向下取整除法，X%P为取余操作。因此，它的上边界起始顶点在RowFile中的编号为(X/P)*M + (X% P)*(K－1)；下边界起始顶点在RowFile中的编号为(X/P +1)*M + (X% P)*(K－1)；左边界起始顶点在ColFile中的编号为(X% P)*Q*(K－2) + (X/P)*(K－2)；右边界起始顶点在ColFile中的编号为(X%P+1)*Q*(K－2) + (X/P)*(K－2)。

举例说明：如图3所示的17*17的地形数据，M= N = 17，K = 5，P = Q = 4；

如果需要地形第6块的数据，由于分块数是4*4，则第6块位于第一行第二列。

因此，它的上边界起始顶点在RowFile中的编号为(6/4) * 17 + (6%4) * (5－1) = 25；

它的下边界起始顶点在RowFile中的编号为(6/4 + 1) * 17 + (6%4) * (5－1) = 42；

它的左边界起始顶点在ColFile中的编号为(6%4) * 4 * (5－2) + (6/4) * (5－2) = 27；

它的右边界起始顶点在ColFile中的编号为(6%4 + 1) * 4 * (5－2) + (6/4) * (5－2) = 39。

所以在载入某一块地形数据时，就从RowFile和ColFile中按顶点编号来取四个边界，然后从当前块的存储文件中取内部数据。

下面将本发明的数据组织方法与专利号200710051621.2，专利名称“一种基于对象存储的地形数据存储方法”的中国专利作一比较：

专利号200710051621.2的方案是按金字塔分层方式存储的，层次间会产生冗余。

冗余的具体原因为，如图4所示5*5的采样点构成地形数据。

当使用专利号200710051621.2的方案：

①、使用三角形扇方式渲染，存储形式如图4a和图4b所示，图4a是数据使用三角形扇方式时的第0层存储的数据的示意图；

由此可见第0层存储的数据为：0，4，12，20，24

图4b是数据使用三角形扇方式时的第1层存储的数据的示意图；

由此可见第1层存储的数据为：0，2，3，6，8，10，12，13，16，18，20，22，24

两个层次冗余的数据；0，4，12，20，24

②、使用三角形方式渲染，存储形式如图5a和图5b所示，

图5a是数据使用三角形方式时的第0层存储的数据的示意图；

由此可见第0层存储的数据为：0，4，20，24

图5b是数据使用三角形方式时的第1层存储的数据的示意图;

由此可见第1层存储的数据为：0，2，3，10，12，14，20，22，24

两个层次冗余的数据：0，4，20，24；

 使用本发明的方法组织地形的存储方式如下：

RowFile存储的数据：

0，1，2，3，4，20，21，22，23，24

ColFile存储的数据：

5，10，15，9，14，19

地形块文件存储的数据：

6，7，8，11，12，13，16，17，18

当使用三角形扇方式渲染：

表示第0层分辨率的数据时：

从RowFile中取采样点0，4，20，24；

从地形块文件中取采样点12；

表示第1层分辨率的数据时：

从RowFile中取采样点0，2，4，20，22，24；

从ColFile中取采样点10，14；

从地形块文件中取采样点6，8，12，16，18；

当使用三角形方式渲染：

表示第0层分辨率的数据时：

从RowFile中取采样点0，4，20，24；

表示第1层分辨率的数据时：

从RowFile中取采样点0，2，4，20，22，24；

从ColFile中取采样点10，14；

从地形块文件中取采样点12；

因此，使用本发明的方法在数据存储上是完全无数据冗余的。因此解决了冗余的问题。若使用本专利的存储模型，在构建多分辨率层次时，可以构建一个常驻内存的索引结构，该索引结构指示每个分辨率层次需要哪些顶点构成，因此可以很方便的构建出多分辨率层次。另外该索引结构只包含顶点的索引号，内存开销很小，数据读取也很方便。

Claims (5)

1.一种无冗余的大规模地形数据组织方法，其特征在于，按照下列方式进行：

（1）、先对原始地形数据进行均匀分块； 

（2）、构建文件RowFile、文件ColFile存储地形子块公共边的顶点；

（3）、对每个地形子块的内部顶点数据构建文件单独存储；

其中均匀分块：原始大地形的分辨率为M*N，其中M*N满足(2^m +1)*(2ⁿ +1)；平均分块的地形子块的分辨率为K*K，即(2^k+1)*(2^k +1)，其中k≤min(m,n)；分块数目为P*Q块，其中P*Q满足为( (M－1) /(K－1) )* ( (N－1) /(K－1) )；

其中文件RowFile的顶点编号为：顶点编号从序号0开始；从第0到M－1的顶点是第0行边界，而从M到2M－1的顶点为第1行边界，以此类推，故第n行的边界是从n*M到(n+1)*M－1的顶点，0≤n≤Q，在文件RowFile中，从它存放的某个地形子块的行边界第一个顶点开始，接着K个连续的顶点组成该地形子块的行边界；

其中文件ColFile的顶点编号为：顶点编号从序号0开始；从第0到Q*(K－2)－1的顶点为地形第0列边界，而从Q*(K－2)到2Q*(K－2)－1的顶点为第1列边界，以此类推，故第n列边界是从n*Q*K*(K－2)到(n+1)*Q*K*(K－2)－1的顶点，0≤n≤P；在文件ColFile中，从它存放的某个地形子块的列边界第一个顶点开始，接着K－2个连续的顶点组成该地形子块的列边界。

2.根据权利要求1所说的一种无冗余的大规模地形数据组织方法，其特征在于：所构建的文件RowFile用于存储行的顶点，即按行来存储公共边的顶点。

3.根据权利要求1所说的一种无冗余的大规模地形数据组织方法，其特征在于：所构建的文件ColFile用于存储列的顶点，即按列来存储公共边的顶点。

4. 根据权利要求1所说的一种无冗余的大规模地形数据组织方法，其特征在于：原始大地形的分辨率为M*N，其中M*N满足(2^m +1)*(2ⁿ +1)；平均分块的地形子块的分辨率为K*K，即(2^k+1)*(2^k +1)，其中1<k≤min(m,n)；分块数目为P*Q块，其中P*Q满足为( (M－1) /(K－1) )* ( (N－1) /(K－1) )；

其中文件RowFile一共存放了Q+1行边界数据； 

其中文件ColFile一共存放了P+1列边界数据。

5.一种无冗余的大规模地形数据的读取方法，其特征在于：其中对每个地形子块分别用文件来存储，由于每两个地形子块公共边上包含相同的顶点，为了避免冗余存储，在地形子块文件中不存储公共边上的顶点，而构建专门的文件来存储这些公共顶点，在此构建两个文件，文件RowFile是按行来存储公共边的顶点，文件ColFile是按列来存储公共边的顶点，

原始大地形的分辨率为M*N，其中M*N满足(2^m +1)*(2ⁿ +1)；平均分块的地形子块的分辨率为K*K，即(2^k+1)*(2^k +1)，其中1<k≤min(m,n)；分块数目为P*Q块，其中P*Q满足为( (M－1) /(K－1) )*( (N－1) /(K－1) )；

对于第X块，它处在第X/P行，第X%P列，其中X/P为向下取整除法，X%P为取余操作，

它的上边界起始顶点在文件RowFile中的编号为(X/P)*M + (X% P)*(K－1)；

下边界起始顶点在文件RowFile中的编号为(X/P +1)*M + (X% P)*(K－1)；

左边界起始顶点在文件ColFile中的编号为(X% P)*Q*(K－2) + (X/P)*(K－2)；

右边界起始顶点在文件ColFile中的编号为(X%P+1)*Q*(K－2) + (X/P)*(K－2)；

其中文件RowFile中存放的0到M－1的顶点是第0行边界，而从M到2M－1的顶点为第1行边界，以此类推，第0行边界是地形子块第0块到第P－1块的上边界；第1行边界为第0块到第P－1块的下边界，以及第P块到第2P－1块的上边界，通过知道地形子块编号，以及它处在几行几列，就可以计算出它的上边界和下边界分别在文件RowFile中的位置，因此可以取出数据；

文件ColFile中存放的0到Q*(K－2)－1的顶点为地形第0列边界，而从Q*(K－2)到2Q*(K－2)－1的顶点为第1列边界，以此类推，通过知道地形子块编号，以及它处在几行几列，就可以计算出它的左边界和右边界分别在文件ColFile中的位置，因此可以取出数据。

Images