CN101370025A - 地理信息数据的存储方法、调度方法及管理*** - Google Patents
地理信息数据的存储方法、调度方法及管理*** Download PDFInfo
- Publication number
- CN101370025A CN101370025A CNA2007101204491A CN200710120449A CN101370025A CN 101370025 A CN101370025 A CN 101370025A CN A2007101204491 A CNA2007101204491 A CN A2007101204491A CN 200710120449 A CN200710120449 A CN 200710120449A CN 101370025 A CN101370025 A CN 101370025A
- Authority
- CN
- China
- Prior art keywords
- information data
- geographic information
- data block
- store path
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种地理信息数据的存储方法,包括:获取经过预切分的地理信息数据块的空间位置信息;根据所述空间位置信息对相应的地理信息数据块进行散列,获得所述地理信息数据块的存储路径;将所述地理信息数据块以文件形式存储至所述存储路径下。本发明使每一个地理信息数据块都对应一个可直接请求下载的地理信息数据块文件,减少了***的数据生成和查询时间,提高了GIS服务效率;在这种情况下,由用户所需要地理信息数据块的空间位置信息即可直接计算出相应数据块文件的存储路径,有效提高了***的反应速度。
Description
技术领域
本发明涉及地理信息***数据处理领域,特别涉及一种地理信息数据的存储方法、一种地理信息数据的存储装置、一种地理信息数据管理***、一种地理信息数据的调度方法、以及一种地理信息数据的调度装置。
背景技术
地理信息***(Geographic Information System,GIS)是用于采集、存储、管理、处理、检索、分析和表达地理地理信息数据的计算机***,是分析和处理海量地理数据的通用技术,处理地理信息的***。地理信息是指直接或间接与地球上的空间位置有关的信息,又称为空间信息。随着GIS的发展,地理信息所涉及的范围也在逐渐扩大。
随着空间数据量地不断增加,越来越多的企业和公众用户对GIS服务的要求也越来越高。随着网络技术的日益成熟,更多的GIS功能需要通过网络向企业和公众用户提供。在这种情况下,网络GIS(WebGIS)服务,尤其是三维WebGIS服务已成为GIS开发的主流和发展方向。
WebGIS,简言之,就是利用Web技术来扩展和完善GIS的一项技术。由于HTTP协议采用基于客户机/服务器节点的请求/应答机制,具有较强的用户交互能力,可以传输并在浏览器上显示多媒体数据,而GIS中的信息主要是需要以图形、图像方式表现的空间数据,用户通过交互操作,即可以对空间数据进行查询分析,并进行相应操作。现有技术中,WebGIS的功能依赖于海量的空间数据及相关的属性数据实现,也就是说,WebGIS提供的服务不仅涉及广大的地理范围,比如,一个城市、一个省或一个地区的自然地理信息数据,还深入涉及各行各业的人文地理信息数据,比如城市化、工农业生产发展变化,和陆海空交通的发展变化等,其包含的数据类型包括地形、影像、矢量、模型、属性、纹理、声音、文字以及多媒体等,数据量十分庞大。在这种情况下,对WebGIS的海量地理信息数据进行有效组织和管理成为提供WebGIS服务的难题。
对此,现有技术的一种解决方案为,将所有的地理信息数据统一存放在一个采用哈希表管理的数据文件中,在提供地理信息数据服务时,服务器节点根据所请求数据的区域和等级特征,从这个哈希表中查找到相应的数据,并提取出来返回给客户。这种处理方式的缺陷在于:操作***对数据文件的大小有限制,一旦数据文件的大小超过此限制,则无法处理这些海量数据;服务器节点需要预先加载整片区域或所有地理信息的详细数据,从而占用过多的资源,并且在根据请求参数提取用户所需的数据时,需要经过复杂计算才可能得到相应的结果,从而严重影响了服务器节点的处理效率,特别在用户请求比较多时,可能导致***瘫痪。
所以,本领域技术人员迫切需要发展出一种可以高效组织和管理地理信息数据的方法。
发明内容
本发明所要解决的技术问题是提供一种地理信息数据的存储方法和调度方法,用以解决现有技术中对GIS海量数据的管理存在文件大小受限、***负载大、资源占用过多以及计算复杂的问题;
本发明还提供了一种地理信息数据的存储装置和调度装置,用以保证上述方法在实际中的实现及应用;
本发明还提供了一种地理信息数据管理***,用以解决现有技术中服务器负载过重、反应过慢的问题。
为解决上述技术问题,本发明实施例公开了一种地理信息数据的存储方法,包括:
获取经过预切分的地理信息数据块的空间位置信息;
根据所述空间位置信息对相应的地理信息数据块进行散列,获得所述地理信息数据块的存储路径;
将所述地理信息数据块以文件形式存储至所述存储路径下。
优选的是,所述散列步骤包括:
提取所述空间位置信息中的多个特征参数;
根据所述多个特征参数生成多级存储路径。
本发明实施例还公开了一种地理信息数据的存储装置,包括:
获取模块,用于获取经过预切分的地理信息数据块的空间位置信息;
散列处理模块,用于根据所述空间位置信息对相应的地理信息数据块进行散列,获得所述地理信息数据块的存储路径;
存储处理模块,用于将所述地理信息数据块以文件形式存储至所述存储路径下。
优选的是,所述散列处理模块进一步包括:
提取单元,用于提取所述空间位置信息中的多个特征参数;
路径生成单元,用于根据所述多个特征参数生成多级存储路径。
本发明实施例还公开了一种地理信息数据管理***,所述***连接多个服务器节点,包括:
存储装置,包括获取模块、散列处理模块和存储处理模块,所述获取模块用于获取经过预切分的地理信息数据块的空间位置信息;所述散列处理模块用于根据所述空间位置信息对相应的地理信息数据块进行散列,获得所述地理信息数据块的存储路径;所述存储处理模块用于将所述地理信息数据块以文件形式存储至所述存储路径下;
分布装置,用于将所述地理信息数据块文件按照预置规则进行划分,并分别存储至各个服务器节点中。
优选的是,所述的地理信息数据管理***,还包括:
记录装置,用于记录各地理信息数据块文件的调用频率;
缓存装置,用于将所述调用频率符合要求的地理信息数据文件,添加至其所存在的服务器节点的缓存中。
优选的是,所述分布装置包括:
关联模块,用于建立所述服务器节点地址与其存储的地理信息数据块文件的属性的索引表。
本发明实施例还公开了一种地理信息数据的调度方法,包括:
接收用户发出的调度请求,生成请求参数,所述请求参数包括用户所请求的地理信息数据块的空间位置信息;
根据所述空间位置信息计算所述地理信息数据块的存储路径;
从所述存储路径下提取所述地理信息数据块文件。
优选的是,所述存储路径包括服务器节点地址,所述的调度方法还包括:
获取所述地理信息数据块对应的服务器节点地址。
优选的是,所述的调度方法,还包括:
判断所述服务器节点的缓存中是否存在所述地理信息数据块文件,如果是,则从缓存中直接提取所述地理信息数据块文件;如果否,则从所述存储路径下提取所述地理信息数据块文件。
本发明实施例还公开了一种地理信息数据的调度装置,包括:
请求参数生成模块,用于接收用户发出的调度请求,生成请求参数,所述请求参数包括用户所请求的地理信息数据块的空间位置信息;
路径计算模块,用于根据所述空间位置信息计算所述地理信息数据块的存储路径;
提取模块,用于从所述存储路径下提取所述地理信息数据块文件。
优选的是,所述存储路径包括服务器节点地址,所述的调度装置还包括:
获取模块,用于获取所述地理信息数据块对应的服务器节点地址。
优选的是,所述的调度装置,还包括:
判断模块,用于判断所述服务器节点的缓存中是否存在所述地理信息数据块文件,如果是,则触发缓存读取模块;如果否,则触发提取模块;
缓存读取模块,用于从缓存中直接提取所述地理信息数据块文件。
与现有技术相比,本发明实施例具有以下优点:
首先,本发明通过对经过预切分的地理信息数据块进行散列,获得所述地理信息数据块的存储路径,使每一个地理信息数据块都对应一个可直接请求下载的地理信息数据块文件,减少了***的数据生成和查询+时间,提高了GIS服务效率;在这种情况下,由用户所需要地理信息数据块的空间位置信息即可直接计算出相应数据块文件的存储路径,有效提高了***的反应速度。
再者,本发明通过对散列后的数据块文件进一步组织,按照一定的划分依据,将散列数据划分为多份,并分别布局到多个服务器节点上,通过这种分布式管理,对服务器的负载进行了均衡处理,提高了***的工作效率,提高了并发服务的上限。
此外,本发明通过建立服务节点的缓存,将调用频率较高的地理信息数据块放入缓存中,当用户需求时,可以首先在缓存中进行读取,从而进一步提高了***的反应速度,用户使用体验较好。
最后,本发明对于服务提供商来说,技术实现简单,无技术障碍,无特殊保密算法,成本和风险较低。
附图说明
图1是本发明的一种地理信息数据的存储方法实施例的流程图;
图2是某一地理信息数据块散列得到的存储路径的结构示意图;
图3是一种模型内部的分块组织结构示意图;
图4是某一模型数据散列得到的存储路径的结构示意图;
图5是本发明的一种地理信息数据存储装置实施例的结构框图;
图6是应用图5所示的装置实施例进行地理信息数据存储的流程图;
图7是本发明的一种地理信息数据管理***实施例的结构框图;
图8是应用本发明优选实施例设置一种地理信息数据组织结构的示意图;
图9是本发明的一种地理信息数据的调度方法实施例的流程图;
图10是本发明的一种地理信息数据的调度装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例的核心构思之一在于,在GIS中,通过对经过预切分的地理信息数据块进行散列,获得相应地理信息数据块的存储路径,使每一个地理信息数据块的空间位置信息都对应一个地理信息数据块文件。
参照图1,示出了本发明的一种地理信息数据的存储方法实施例的流程图,具体包括以下步骤:
步骤101、获取经过预切分的地理信息数据块的空间位置信息;
步骤102、根据所述空间位置信息对相应的地理信息数据块进行散列,获得所述地理信息数据块的存储路径;
步骤103、将所述地理信息数据块以文件形式存储至所述存储路径下。
在实际中,用户所需的往往仅是某个较小范围内,某一显示等级下的地理信息数据,因而,本实施例需要基于经过预切分的地理信息数据块实现。在本实施例中,对不同类型的地理信息数据应当采用不同的分块方法进行处理,例如,对于具有显示层级的地图数据(包括地形数据、影像数据等),则可以采用分层分块的方法进行处理。其中,所述层级对应于显示内容的详细程度和显示比例尺,来源于相同区域的不同比例尺的源数据,或者,从同一个源数据中按照不同的抽稀级别生成,即根据显示所需要的比例尺不同,按照一定的抽稀准则,还可以根据各个层级所需要的数据量,对源数据进行抽稀和简化,最终生成多个显示层级。经过这样的分层处理后,可以形成了一个类似金字塔的地图数据序列,序列中的每一层级都包含了全部地理范围中的地图数据,但是在数据量上,这些地图数据是逐级递减的。然后,对这些经过分层处理后的地图数据进行进一步地分块处理,所述分块可以以地理范围为依据,例如,按照相等显示尺寸的规则网格(如,正方形)对各个显示级别的地图数据进行切分。所述规则网格的大小可以根据单个地图数据块文件所包含的数据量及文件大小而定,所述规则网格的地理跨度也应当与其相应的显示级别相关,即不同的显示级别对应不同的跨度,通过上述切分方法。即可得到多个尺寸大小一致且相互邻接的地图数据块。此外,对于三维模型数据,则可以直接按照上述规则网格切分的方法进行分块等。当然上述切分方法仅仅用于举例,本领域技术人员采用任一种切分方法都是可行的,本发明对此不加以限制。
所述分块后的地理信息数据块都具有相应的空间位置信息,并且,所述空间位置信息通常由多个特征参数组成,例如,地理信息数据块中某个特征点的经度值和纬度值,地理信息数据块的显示层级等,在这种情况下,所述散列步骤102还可以进一步包括以下子步骤:
子步骤S1、提取所述空间位置信息中的多个特征参数;
子步骤S2、根据所述多个特征参数生成多级存储路径。
例如,当某个地理信息数据块的空间位置信息包括经度值、纬度值和显示层级信息时,则可以根据所述地理信息数据块的显示层级信息设置上级存储路径;根据所述地理信息数据块中某个特征点的经度值或纬度值设置下级存储路径。
更具体地,所述下级存储路径还可以包括一级存储路径和二级存储路径,在这种情况下,所述下级存储路径可以通过以下步骤进行设置:
步骤A1、根据所述地理信息数据块中某个特征点的经度值所表示的经度范围设置一级存储路径;
步骤A2、根据所述地理信息数据块中某个特征点的纬度值所表示的纬度范围设置二级存储路径。
在本例中,所述存储步骤103为,将所述经度范围和纬度范围内的所有地理信息数据块以文件形式存储至所述存储路径下,并分别生成各个地理信息数据块唯一对应的特征标识,以便于用户直接请求下载。
以下将在实际中应用上例的情形进一步说明:
假设地理信息数据的某个地形和影像数据块具有由空间位置信息(x,y,level),x,y,level分别表示空间位置信息的三个特征参数组成,其中,x为该数据块的特征点(中心点或其它特征点,本发明对该点的设置不作限制)的经度值,y为该特征点的纬度值,level表示该数据块的显示层级信息,根据这些特征参数对该数据块进行散列,获得该数据块的存储路径。具体而言,所述散列的方法可以采用任一种散列方法,例如,基于上述特征参数,定义其散列函数为:
f(BlockID)=root_path\level\[x]\[y]\BlockID;
可以理解的是,通过计算该散列函数,即可得到散列后该数据块的存储路径:root_path\level\[x]\[y]\BlockID。其中,root_path表示该数据块存储的根路径,level表示该数据块的上级存储路径,x表示该数据块的一级存储路径,y表示该数据块的二级存储路径,在实际中,所述x和y可以为该数据块的具体经度值和纬度值,在这种情况下,所述二级存储路径下,仅可以存储一个唯一的数据块文件。然而,为减少调度时对存储路径查找时间,进一步提高***的工作效率,本实施例的一种优选应用方式是采用表示特征参数一定取值范围的特征值来设置相应的路径,比如,上述[x]为对所述经度值取整后的值,[y]为对所述纬度值取整后的值,在这种情况下,所述二级存储路径下则可以存储其所表示的范围内的多个数据块文件,并生成可以唯一确定该地理信息数据块的特征标识BlockID。例如,对于空间位置信息为(1035600,247800,2)的地理信息数据块,其相应的存储路径示意图如图2所示。需要说明的是,所述上级存储路径、一级存储路径和二级存储路径对应说明书前述部分的相关描述。
在本实例中,所述散列的方法还可以根据空间位置信息特征参数的不同进行设置,例如,当某个地理信息数据块的空间位置信息仅包括经度值和纬度值时,则可以根据所述地理信息数据块中某个特征点的经度值设置上级存储路径;根据所述地理信息数据块中某个特征点的纬度值设置下级存储路径。
以下将在实际中应用上例的情形进一步说明:
假如对三维模型数据进行了如下预切分处理:将全球范围的模型划分到m×n个单元块(规则格网)中,所述单元块通过其特征点的经纬度值(x,y)进行索引,每个模型具有一个唯一对应的ModelBlockID,模型内部具有如图3所示的分块组织方式。在这种情况下,假设某个模型所在的单元块为(x,y),其中x为该单元块中特征点(中心点或其它特征点)的经度值,y为该特征点的纬度值,定义相应的散列函数为:
f(ModelBlockID)=root_path\x\y\ModelBlockID\...;
可以理解的是,通过计算该散列函数,即可得到散列后该数据块的存储路径:root_path\x\y\ModelBlockID\...。例如,模型数据的空间位置为(103,24),ModelBlockID为ModelBlockID3,采用上述散列函数进行散列计算得到的存储路径如图4所示。
在本实施例中,通过对经过预切分的地理信息数据块进行散列,获得所述地理信息数据块的存储路径,使每一个地理信息数据块都对应一个可直接请求下载的地理信息数据块文件,减少了***的数据生成和查询时间,提高了GIS服务效率;在这种情况下,由用户所需要地理信息数据块的空间位置信息即可直接计算出相应数据块文件的存储路径,避免了复杂索引文件和策略的使用,有效提高了***的反应速度。
对于本实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
参考图5,示出了本发明的一种地理信息数据存储装置实施例的结构框图,具体包括以下模块:
获取模块501,用于获取经过预切分的地理信息数据块的空间位置信息;
散列处理模块502,用于根据所述空间位置信息对相应的地理信息数据块进行散列,获得所述地理信息数据块的存储路径;
存储处理模块503,用于将所述地理信息数据块以文件形式存储至所述存储路径下。
优选的是,所述散列处理模块502可以进一步包括以下单元:
提取单元,用于提取所述空间位置信息中的多个特征参数;
路径生成单元,用于根据所述多个特征参数生成多级存储路径。
参考图6,示出了应用图5所示的装置实施例进行地理信息数据存储的流程图,具体包括以下步骤:
步骤601、获取模块501获取经过预切分的地理信息数据块的空间位置信息;
步骤602、散列处理模块502根据所述空间位置信息对相应的地理信息数据块进行散列,获得所述地理信息数据块的存储路径;
优选的是,所述散列处理模块502通过以下子步骤进行散列:
子步骤B1、提取单元提取所述空间位置信息中的多个特征参数;
子步骤B2、路径生成单元根据所述多个特征参数生成多级存储路径。
步骤603、存储处理模块503将所述地理信息数据块以文件形式存储至所述存储路径下。
对于上述图5和图6的描述中未详尽之处,可以参见本说明书前述相关部分。
公知的是,WebGIS主要具有以下特性:(1)WebGIS是基于网络的客户机/服务器***,而不是独立的单机***;(2)WebGIS是利用因特网来进行客户端和服务器之间的信息交换,其信息的传递是全球性的;(3)WebGIS是一个分布式***,用户和服务器可以分布在不同地点和不同的计算机平台上。基于WebGIS的上述特性,本发明的又一核心构思之一在于,对散列后的数据块文件进一步组织,按照一定的划分依据,将散列数据划分为多份,并分别布局到多个服务器节点上,通过这种分布式管理,对服务器的负载进行均衡处理,从而有效减轻服务器的负担,提高***的工作效率。
参考图7,示出了本发明的一种地理信息数据管理***实施例的结构框图,所述***连接多个服务器节点,包括以下装置:
存储装置701,包括获取模块7011、散列处理模块7012和存储处理模块7013,所述获取模块7011用于获取经过预切分的地理信息数据块的空间位置信息;所述散列处理模块7012用于根据所述空间位置信息对相应的地理信息数据块进行散列,获得所述地理信息数据块的存储路径;所述存储处理模块7013用于将所述地理信息数据块以文件形式存储至所述存储路径下;
分布装置702,用于将所述地理信息数据块文件按照预置规则进行划分,并分别存储至各个服务器节点中。
在本实施例中,通过分布装置,对散列后的地理信息数据块文件进一步组织,按照需要或经验设置任一种预置规则,将地理信息数据块文件分成多份,并分别布置到多个服务器节点上。所述预置规则可以为依据地理信息数据块文件所表示的地理范围进行划分,也可以为依据各地理信息数据块的调用频率进行划分,还可以为按照地理信息数据块文件的数据类型进行划分等,还可以是上述规则的组合,本领域技术人员根据单个服务器节点的负载不能过大,各个服务器节点的负载均衡的原则,设置任一种预置规则都是可行的,本发明对此不需要进行限定。
进行分布式处理时,为调度方便,可以建立一个索引表,在表中建立服务节点的地址与其存储的地理信息数据块文件属性的对应关系。因而,优选的是,所述分布装置还可以包括关联模块:用于建立所述服务器节点地址与其存储的地理信息数据块文件的属性的索引表。
例如,假设地理信息数据块文件是按照数据类型进行划分并分别存储至各个服务器节点的,则可以生成如下所示的索引表:
服务器节点地址 | 数据类型 |
http://192.168.0.1/ | terrain |
http://192.168.0.2/ | image |
http://192.168.0.3/ | model |
当然,上述对于索引表和预置规则的解释说明都仅仅是为了说明本实施例,本领域技术人员完全可以根据需要自行设定相应的索引表和预置规则,本发明对此不作限制。为提高服务器节点的反应速度,降低服务器的数据调度负载,在本实施例中,还可以设置服务节点缓存,具体而言,即可以通过在各个服务节点上建立服务节点的数据缓存,将访问频率较高的数据(例如,感兴趣区域等),使用高速存储设备(如内存)缓存起来,以减少数据请求时的磁盘访问时间,提高服务节点的服务效率。因而优选的是,本实施例还可以包括以下装置:
记录装置,用于记录各地理信息数据块文件的调用频率;
缓存装置,用于将所述调用频率符合要求的地理信息数据文件,添加至其所存在的服务器节点的缓存中。
在实际中,缓存中的数据是动态更新的,在这种情况下,通过记录各地理信息数据块文件的调用频率,然后排序,取调用频率较高的若干个地理信息数据块文件放入缓存。优选的是,所述调用频率的记录可以由计数器完成,所述个数可以根据服务节点的硬件情况和其它一些因素,例如重要度等,来进行设定。
以下以一种在实际中实现缓存的方法为例进行说明,在各个服务器节点进行如下操作:
(a)针对每个地理信息数据块文件建立访问计数器,初始值为0;
(b)根据针对某地理信息数据块文件发出的调用请求,将该数据块文件的计数加1;
(c)统计所有地理信息数据块文件的计数,并从高到低进行排序;
(d)将前5000个地理信息数据块文件添加至缓存。
在初始缓存时,缓存中可能没有数据,随着服务器运行次数的增加,缓存中的地理信息数据块文件将不断添加、更新。当然,本领域技术人员采用任一种记录调用频率和缓存的方法都是可行的,本发明对此不需要进行限定。
应用本发明所述***的优选实施例设置的一种地理信息数据组织结构示意图如图8所示,需要说明的是,在实际中,所述调度引擎可以设置也可以不设置,当调度服务由服务器完成时,根据用户发出的调度请求,Web服务器801可以通过调度引擎802获取相应地理信息数据块文件的存储路径;而当调度服务由客户端(图中未示出)完成时,则可以由客户端直接计算出相应地理信息数据块文件的存储路径,而不需要设置调度引擎802。
由于本实施例中的存储装置与前述存储装置相同,所以描述的比较简单,相关之处参见前述方法和装置实施例的部分说明即可。
本实施例通过分布式的管理,对服务器的负载进行了均衡处理,充分利用了多服务器节点的分布式优势,提高了***的工作效率,极大的提高了并发服务的上限。此外,还采用缓存机制,有效提高了***的反应速度。
基于上述散列存储方式和多服务器节点分布策略,可以设定相应的调度策略,计算得到对应的服务节点和存储路径,以响应用户的调度请求。参考图9,示出了本发明的一种地理信息数据的调度方法实施例的流程图,具体包括以下步骤:
步骤901、接收用户发出的调度请求,生成请求参数,所述请求参数包括用户所请求的地理信息数据块的空间位置信息;
步骤902、根据所述空间位置信息计算所述地理信息数据块的存储路径;
步骤903、从所述存储路径下提取所述地理信息数据块文件。
如果所述存储路径包括服务器节点地址,则本实施例还可以包括以下步骤:
获取所述地理信息数据块对应的服务器节点地址。
如果所述服务器节点上建立了数据缓存,则本实施例可以进一步包括以下步骤:
判断所述服务器节点的缓存中是否存在所述地理信息数据块文件,如果是,则从缓存中直接提取所述地理信息数据块文件;如果否,则从所述服务器节点地址的相应存储路径下提取所述地理信息数据块文件。
为使本领域技术人员更好地理解本发明的相关技术,以下通过举例对本发明的调度方法进行说明:
(一)假设根据用户针对地形数据(1035600,247800,2),影像数据(1035600,247800,2),模型数据(103,24),ModelBlockID3发出调度请求,生成请求参数包括:地形和空间数据的空间位置信息为(1035600,247800),BlockID为(1035600,247800,2);模型数据的空间位置信息为(103,24),ModelBlockID为ModelBlockID3;
(二)根据数据类型选择散列函数,根据选择的散列函数计算上述地形数据、影像数据和模型数据存储的相对路径:
对于地形数据,使用散列函数f(BlockID)=root_path\level\x\y\BlockID计算得到其存储的相对路径为terrain_data/2/103/24/(1035600,247800,2);
对于影像数据,使用散列函数f(BlockID)=root_path\level\x\y\BlockID计算得到其存储的相对路径为image_data/2/103/24/(1035600,247800,2);
对于模型数据,使用散列函数f(ModelBlockID)=root_path\x\y\Model-BlockID\...计算得到其存储的相对路径为model_data/103/24/ModelBlockID3/...;
(三)根据索引表,得到相应数据所在的服务器节点路径,得到数据存储的绝对路径:
地形数据为http://192.168.0.1/terrain_data/2/103/24/(1035600,247800,2);
影像数据为http://192.168.0.2/image_data/2/103/24/(1035600,247800,2);
模型数据为:http://192.168.0.3/model_data/103/24/ModelBlockID3/...;
(四)到相应的服务器节点中查找对应的数据块是否存在于该服务器节点的缓存中,如果存在,则直接从缓存中返回相应的数据块文件;如果不存在,则从服务器节点读取并返回对应的数据块文件。
在实际中,所述调度过程可以由服务器端的调度引擎完成,在这种情况下,由服务器将相应的地理信息数据块文件返回给用户;此外,所述调度过程也可以由客户端完成,在这种情况下,则由客户端下载相应在地理信息数据块文件,本发明对此不作限制。
对于本实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
参考图10,示出了本发明的一种地理信息数据的调度装置实施例的结构框图,具体包括以下模块:
请求参数生成模块1001,用于接收用户发出的调度请求,生成请求参数,所述请求参数包括用户所请求的地理信息数据块的空间位置信息;
路径计算模块1002,用于根据所述空间位置信息计算所述地理信息数据块的存储路径;
提取模块1003,用于从所述存储路径下提取所述地理信息数据块文件。
如果所述存储路径包括服务器节点地址,则本实施例还可以包括获取模块,用于获取所述地理信息数据块对应的服务器节点地址。
如果所述服务器节点上建立了数据缓存,本实施例还可以进一步包括以下模块:
判断模块,用于判断所述服务器节点的缓存中是否存在所述地理信息数据块文件,如果是,则触发缓存读取模块;如果否,则触发提取模块;
缓存读取模块,用于从缓存中直接提取所述地理信息数据块文件。
对于所述装置实施例而言,由于其基本相应于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。本说明书中的各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其它实施例的不同之处。
可以理解的是,本发明可用于众多通用或专用的计算***环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。
此外,本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、模块、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本发明中,“模块”、“装置”、“***”等等指应用于计算机的相关实体,如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说,例如,模块可以、但不限于是运行于处理器的过程、处理器、对象、可执行模块、执行线程、程序和/或计算机。还有,运行于服务器上的应用程序或脚本程序、服务器都可以是模块。一个或多个模块可在执行的过程和/或线程中,并且模块可以在一台计算机上本地化和/或分布在两台或多台计算机之间,并可以由各种计算机可读介质运行。模块还可以根据具有一个或多个数据包的信号,例如,来自一个与本地***、分布式***中另一模块交互的,和/或在因特网的网络通过信号与其它***交互的数据的信号通过本地和/或远程过程来进行通信。
以上对本发明所提供的一种地理信息数据的存储方法、一种地理信息数据的存储装置、一种地理信息数据管理***、一种地理信息数据的调度方法、以及一种地理信息数据的调度装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (13)
1.一种地理信息数据的存储方法,其特征在于,包括:
获取经过预切分的地理信息数据块的空间位置信息;
根据所述空间位置信息对相应的地理信息数据块进行散列,获得所述地理信息数据块的存储路径;
将所述地理信息数据块以文件形式存储至所述存储路径下。
2.如权利要求1所述的方法,其特征在于,所述散列步骤包括:
提取所述空间位置信息中的多个特征参数;
根据所述多个特征参数生成多级存储路径。
3.一种地理信息数据的存储装置,其特征在于,包括:
获取模块,用于获取经过预切分的地理信息数据块的空间位置信息;
散列处理模块,用于根据所述空间位置信息对相应的地理信息数据块进行散列,获得所述地理信息数据块的存储路径;
存储处理模块,用于将所述地理信息数据块以文件形式存储至所述存储路径下。
4.如权利要求3所述的存储装置,其特征在于,所述散列处理模块进一步包括:
提取单元,用于提取所述空间位置信息中的多个特征参数;
路径生成单元,用于根据所述多个特征参数生成多级存储路径。
5.一种地理信息数据管理***,其特征在于,所述***连接多个服务器节点,包括:
存储装置,包括获取模块、散列处理模块和存储处理模块,所述获取模块用于获取经过预切分的地理信息数据块的空间位置信息;所述散列处理模块用于根据所述空间位置信息对相应的地理信息数据块进行散列,获得所述地理信息数据块的存储路径;所述存储处理模块用于将所述地理信息数据块以文件形式存储至所述存储路径下;
分布装置,用于将所述地理信息数据块文件按照预置规则进行划分,并分别存储至各个服务器节点中。
6.如权利要求5所述的地理信息数据管理***,其特征在于,还包括:
记录装置,用于记录各地理信息数据块文件的调用频率;
缓存装置,用于将所述调用频率符合要求的地理信息数据文件,添加至其所存在的服务器节点的缓存中。
7.如权利要求5或6所述的地理信息数据管理***,其特征在于,所述分布装置包括:
关联模块,用于建立所述服务器节点地址与其存储的地理信息数据块文件的属性的索引表。
8.一种地理信息数据的调度方法,其特征在于,包括:
接收用户发出的调度请求,生成请求参数,所述请求参数包括用户所请求的地理信息数据块的空间位置信息;
根据所述空间位置信息计算所述地理信息数据块的存储路径;
从所述存储路径下提取所述地理信息数据块文件。
9.如权利要求8所述的调度方法,其特征在于,所述存储路径包括服务器节点地址,所述的调度方法还包括:
获取所述地理信息数据块对应的服务器节点地址。
10.如权利要求9所述的调度方法,其特征在于,还包括:
判断所述服务器节点的缓存中是否存在所述地理信息数据块文件,如果是,则从缓存中直接提取所述地理信息数据块文件;如果否,则从所述存储路径下提取所述地理信息数据块文件。
11.一种地理信息数据的调度装置,其特征在于,包括:
请求参数生成模块,用于接收用户发出的调度请求,生成请求参数,所述请求参数包括用户所请求的地理信息数据块的空间位置信息;
路径计算模块,用于根据所述空间位置信息计算所述地理信息数据块的存储路径;
提取模块,用于从所述存储路径下提取所述地理信息数据块文件。
12.如权利要求11所述的调度装置,其特征在于,所述存储路径包括服务器节点地址,所述的调度装置还包括:
获取模块,用于获取所述地理信息数据块对应的服务器节点地址。
13.如权利要求12所述的调度装置,其特征在于,还包括:
判断模块,用于判断所述服务器节点的缓存中是否存在所述地理信息数据块文件,如果是,则触发缓存读取模块;如果否,则触发提取模块;
缓存读取模块,用于从缓存中直接提取所述地理信息数据块文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2007101204491A CN101370025A (zh) | 2007-08-17 | 2007-08-17 | 地理信息数据的存储方法、调度方法及管理*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2007101204491A CN101370025A (zh) | 2007-08-17 | 2007-08-17 | 地理信息数据的存储方法、调度方法及管理*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101370025A true CN101370025A (zh) | 2009-02-18 |
Family
ID=40413640
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2007101204491A Pending CN101370025A (zh) | 2007-08-17 | 2007-08-17 | 地理信息数据的存储方法、调度方法及管理*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101370025A (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101887398A (zh) * | 2010-06-25 | 2010-11-17 | 浪潮(北京)电子信息产业有限公司 | 一种动态提高服务器输入输出吞吐量的方法和*** |
CN102169494A (zh) * | 2011-04-06 | 2011-08-31 | 北京师范大学 | 分布式遥感数据管理***和管理方法 |
CN102495848A (zh) * | 2011-11-17 | 2012-06-13 | 深圳市赛格导航科技股份有限公司 | 一种海量gps数据处理方法及*** |
CN102541418A (zh) * | 2010-12-30 | 2012-07-04 | 上海博泰悦臻电子设备制造有限公司 | 一种实现地图显示的处理方法及装置 |
CN103137009A (zh) * | 2011-11-30 | 2013-06-05 | 上海博泰悦臻电子设备制造有限公司 | 地图的显示方法及装置,车载*** |
CN103345507A (zh) * | 2013-07-04 | 2013-10-09 | 江西交通咨询公司 | 一种基于碰撞盒原理动态加载三维地图的方法 |
CN103957504A (zh) * | 2014-04-21 | 2014-07-30 | 百度在线网络技术(北京)有限公司 | 定位服务评估方法、装置及*** |
CN104156475A (zh) * | 2014-08-25 | 2014-11-19 | 中国联合网络通信集团有限公司 | 地理信息读取方法及装置 |
CN105354091A (zh) * | 2015-10-19 | 2016-02-24 | 北京天耀宏图科技有限公司 | 一种基于空间位置的弹性负载均衡方法及*** |
CN106095331A (zh) * | 2016-05-31 | 2016-11-09 | 浙江科澜信息技术有限公司 | 一种固定大文件内部资源的控制方法 |
CN106257450A (zh) * | 2015-06-19 | 2016-12-28 | 杭州海康威视数字技术股份有限公司 | 集群***的文件定位、存储方法和装置 |
CN103677930B (zh) * | 2013-12-19 | 2017-01-04 | 广东威创视讯科技股份有限公司 | 基于拼墙***的gis数据加载方法及装置 |
CN106528793A (zh) * | 2016-12-14 | 2017-03-22 | 国家测绘地理信息局卫星测绘应用中心 | 一种分布式空间数据库的时空分片存储方法 |
CN106599040A (zh) * | 2016-11-07 | 2017-04-26 | 中国科学院软件研究所 | 一种面向云存储的分层索引方法与检索方法 |
CN103678578B (zh) * | 2013-12-10 | 2017-07-18 | 广东威创视讯科技股份有限公司 | 一种数据可视化处理方法、服务器及数据可视化处理*** |
CN107111460A (zh) * | 2015-03-30 | 2017-08-29 | 西部数据技术公司 | 使用块文件的重复数据删除 |
CN108875087A (zh) * | 2016-10-24 | 2018-11-23 | 北京亚控科技发展有限公司 | 一种描述事物空间属性并基于所述描述进行查找的方法 |
CN109657481A (zh) * | 2017-10-12 | 2019-04-19 | 北京京东尚科信息技术有限公司 | 数据管理方法及装置 |
CN112307025A (zh) * | 2020-10-29 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 一种分布式索引的构建方法及装置 |
CN112800364A (zh) * | 2021-02-19 | 2021-05-14 | 上海中通吉网络技术有限公司 | 基于文件服务器的gis大数据量报文响应的处理方法及装置 |
GB2619229A (en) * | 2021-02-28 | 2023-11-29 | Ibm | Recording a separated sound from a sound stream mixture on a personal device |
-
2007
- 2007-08-17 CN CNA2007101204491A patent/CN101370025A/zh active Pending
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101887398A (zh) * | 2010-06-25 | 2010-11-17 | 浪潮(北京)电子信息产业有限公司 | 一种动态提高服务器输入输出吞吐量的方法和*** |
CN101887398B (zh) * | 2010-06-25 | 2012-08-29 | 浪潮(北京)电子信息产业有限公司 | 一种动态提高服务器输入输出吞吐量的方法和*** |
CN102541418A (zh) * | 2010-12-30 | 2012-07-04 | 上海博泰悦臻电子设备制造有限公司 | 一种实现地图显示的处理方法及装置 |
CN102169494A (zh) * | 2011-04-06 | 2011-08-31 | 北京师范大学 | 分布式遥感数据管理***和管理方法 |
CN102495848B (zh) * | 2011-11-17 | 2013-06-19 | 深圳市赛格导航科技股份有限公司 | 一种海量gps数据处理方法及*** |
CN102495848A (zh) * | 2011-11-17 | 2012-06-13 | 深圳市赛格导航科技股份有限公司 | 一种海量gps数据处理方法及*** |
CN103137009A (zh) * | 2011-11-30 | 2013-06-05 | 上海博泰悦臻电子设备制造有限公司 | 地图的显示方法及装置,车载*** |
CN103137009B (zh) * | 2011-11-30 | 2017-05-24 | 上海博泰悦臻电子设备制造有限公司 | 地图的显示方法及装置,车载*** |
CN103345507A (zh) * | 2013-07-04 | 2013-10-09 | 江西交通咨询公司 | 一种基于碰撞盒原理动态加载三维地图的方法 |
CN103345507B (zh) * | 2013-07-04 | 2016-10-12 | 江西交通咨询公司 | 一种基于碰撞盒原理动态加载三维地图的方法 |
CN103678578B (zh) * | 2013-12-10 | 2017-07-18 | 广东威创视讯科技股份有限公司 | 一种数据可视化处理方法、服务器及数据可视化处理*** |
CN103677930B (zh) * | 2013-12-19 | 2017-01-04 | 广东威创视讯科技股份有限公司 | 基于拼墙***的gis数据加载方法及装置 |
CN103957504B (zh) * | 2014-04-21 | 2018-05-04 | 百度在线网络技术(北京)有限公司 | 定位服务评估方法、装置及*** |
CN103957504A (zh) * | 2014-04-21 | 2014-07-30 | 百度在线网络技术(北京)有限公司 | 定位服务评估方法、装置及*** |
CN104156475A (zh) * | 2014-08-25 | 2014-11-19 | 中国联合网络通信集团有限公司 | 地理信息读取方法及装置 |
CN104156475B (zh) * | 2014-08-25 | 2018-06-01 | 中国联合网络通信集团有限公司 | 地理信息读取方法及装置 |
CN107111460B (zh) * | 2015-03-30 | 2020-04-14 | 西部数据技术公司 | 使用块文件的重复数据删除 |
CN107111460A (zh) * | 2015-03-30 | 2017-08-29 | 西部数据技术公司 | 使用块文件的重复数据删除 |
CN106257450B (zh) * | 2015-06-19 | 2019-09-17 | 杭州海康威视数字技术股份有限公司 | 集群***的文件定位、存储方法和装置 |
CN106257450A (zh) * | 2015-06-19 | 2016-12-28 | 杭州海康威视数字技术股份有限公司 | 集群***的文件定位、存储方法和装置 |
CN105354091A (zh) * | 2015-10-19 | 2016-02-24 | 北京天耀宏图科技有限公司 | 一种基于空间位置的弹性负载均衡方法及*** |
CN106095331A (zh) * | 2016-05-31 | 2016-11-09 | 浙江科澜信息技术有限公司 | 一种固定大文件内部资源的控制方法 |
CN108875087B (zh) * | 2016-10-24 | 2021-09-21 | 北京亚控科技发展有限公司 | 一种描述事物空间属性并基于所述描述进行查找的方法 |
CN108875087A (zh) * | 2016-10-24 | 2018-11-23 | 北京亚控科技发展有限公司 | 一种描述事物空间属性并基于所述描述进行查找的方法 |
CN106599040A (zh) * | 2016-11-07 | 2017-04-26 | 中国科学院软件研究所 | 一种面向云存储的分层索引方法与检索方法 |
CN106528793B (zh) * | 2016-12-14 | 2019-12-24 | 自然资源部国土卫星遥感应用中心 | 一种分布式空间数据库的时空分片存储方法 |
CN106528793A (zh) * | 2016-12-14 | 2017-03-22 | 国家测绘地理信息局卫星测绘应用中心 | 一种分布式空间数据库的时空分片存储方法 |
CN109657481A (zh) * | 2017-10-12 | 2019-04-19 | 北京京东尚科信息技术有限公司 | 数据管理方法及装置 |
CN109657481B (zh) * | 2017-10-12 | 2020-12-22 | 北京京东尚科信息技术有限公司 | 数据管理方法及装置 |
CN112307025A (zh) * | 2020-10-29 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 一种分布式索引的构建方法及装置 |
CN112307025B (zh) * | 2020-10-29 | 2024-06-04 | 杭州海康威视数字技术股份有限公司 | 一种分布式索引的构建方法及装置 |
CN112800364A (zh) * | 2021-02-19 | 2021-05-14 | 上海中通吉网络技术有限公司 | 基于文件服务器的gis大数据量报文响应的处理方法及装置 |
GB2619229A (en) * | 2021-02-28 | 2023-11-29 | Ibm | Recording a separated sound from a sound stream mixture on a personal device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101370025A (zh) | 地理信息数据的存储方法、调度方法及管理*** | |
CN101346000B (zh) | 基于gps和移动终端的提供本地移动地理信息服务的*** | |
CN103927933B (zh) | 一种海量移动目标渲染的方法及装置 | |
CN101963996B (zh) | 一种全球栅格数据存储方法 | |
Wang et al. | Research and implementation on spatial data storage and operation based on Hadoop platform | |
Hongchao et al. | Distributed data organization and parallel data retrieval methods for huge laser scanner point clouds | |
CN103488760A (zh) | 地理信息瓦片服务的提供方法及实现该方法的装置 | |
Liu et al. | A cloud‐based taxi trace mining framework for smart city | |
CN105183921A (zh) | 移动云计算环境下的基于双色反近邻查询的商店定址*** | |
CN109871418A (zh) | 一种时空数据的空间索引方法和*** | |
CN101719148B (zh) | 三维空间信息的存储方法、装置、***及查询*** | |
CN106156138A (zh) | 兴趣点的空间索引的建立、周边搜索方法和装置 | |
CN111859187B (zh) | 基于分布式图数据库的poi查询方法、装置、设备及介质 | |
CN104301354B (zh) | 一种基于云计算的空间类业务数据gis化服务的实现方法和*** | |
CN109710832A (zh) | 一种用于搜索寄宿程序的方法与设备 | |
CN109145225B (zh) | 一种数据处理方法及装置 | |
CN115756870A (zh) | 基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法 | |
US20150293971A1 (en) | Distributed queries over geometric objects | |
Uznir et al. | Improving 3D spatial queries search: Newfangled technique of space filling curves in 3D city modeling | |
CA2846717A1 (en) | Systems and methods for managing large volumes of data in a digital earth environment | |
Nativi et al. | Unidata’s common data model mapping to the ISO 19123 data model | |
US11622229B2 (en) | System and method of forecasting based on periodical sketching of big data of observations | |
CN103685380A (zh) | 地理信息数据的分发服务方法和*** | |
CN113010627A (zh) | 一种城市信息模型服务方法 | |
CN105354310A (zh) | 基于MapReduce的地图瓦片存储布局优化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20090218 |