CN110765192A - 一种基于云平台的gis数据管理及处理方法 - Google Patents

Abstract

本发明公开了一种基于云平台的GIS数据管理及处理方法，具体步骤为：搭建用于存储GIS数据的云平台数据库；构建能够实现数据块自动分层的云平台数据库存储架构，根据数据被访问的次数将GIS数据分为热数据、温数据和冷数据三个层次，使热数据迁移至云平台存储架构的最上层SSD中,将冷数据迁移至云平台存储架构的最下层SATA盘中，实现GIS数据的冷热均衡；根据不同的GIS数据的类型，对访问GIS数据的用户进行身份认证，并对相应的GIS数据进行加密，以达到在保护云平台数据库中GIS数据的前提下实现数据共享。

Description

一种基于云平台的GIS数据管理及处理方法

技术领域

本发明涉及GIS数据与云平台相结合的应用领域，具体涉及一种基于云平台的GIS数据管理及处理方法。

背景技术

GIS、云计算技术等信息化技术的快速发展，有力推动了城市规划行业的信息化进程，良好的软硬件架构为信息化技术应用提供了基础保障。

由于GIS数据处理量大，用户只能在内网环境中使用。核心数据会被下载到客户端，存在敏感数据泄露的安全风险，且GIS***的软硬件***成本高、资源分散、管理复杂等问题。

由于目前规划设计单位在GIS应用过程中，一般采用单机模式管理，大量的GIS数据会分散在各个设计团队中，给设计部门带来了较大的管理压力，难以进行统一管理维护，更重要是由于技术人员水平参差不齐，导致数据输入的准确性难以把握，出现问题后进行排查和维护难度很大，严重影响了工作效率。

GIS作为城市规划中的重要技术，在城市规划领域中扮演着关键性的角色，GIS技术能够有效降低城市规划的失误，提高城市规划的精准度，然而在城市规划实践中，由于缺乏科学统一的数据分析与研判技术，使得规划信息会在传递过程中会有遗失和失真，可能使得城市规划出现较大的失误和差错。因此，积极利用GIS地理信息技术，积极构建地理信息数据库***，实现对城市规划领域中诸多信息的搜集与整理，以全面提升信息管理的集中化。

城乡规划是涉及城市发展方方面面的动态过程，GIS数据会根据经济、社会发展以及规划实施情况进行动态调整与维护，因此该工作是长期持续的专项工作，但由于多源数据差异处理，不同部门在具体工程设计脱节，最终难以形成满足入库标准的元数据，使数据成果的有效性、完整性、规范性和可用性难以在同一信息平台上的内容进行同步更新与共享。

虽然基于云计算的虚拟化技术己经日趋成熟，云桌面***也己经被广泛应用，云平台内的用户可以通过云桌面***，以低成本、高效率的方式完成GIS***的各项工作。

不过，在云云平台与GIS数据***结合的过程中，在多个***或数据加密在对虚拟化资源的统一调用过程中，除了面临着维护复杂、用户分散、协同性差等问题外，GIS数据在虚拟化环境的加密过程还存在资源占用率高的问题，这制约了云桌面与GIS***需求结合的进一步发展。

GIS的空间数据存储具有大容量、高并发和增长快的特点，在软件虚拟化具有软件成本高、数据安全性差等问题，传统的GIS工作站一方面对硬件资源分配相对固定，不利于实现资源的动态配置和充分利用，硬件资源利用率不高；另一方面，传统GIS工作站解决方案因为没有单独分配独立的显卡资源，即使是非常简单的二维图形图像设计，都会出现非常卡顿的情况，无法满足用户对设计的性能要求。

发明内容

针对现有技术的不足，本发明的目的旨在提供一种基于云平台的GIS数据管理及处理方法，能够实现GIS数据均衡存储及实现数据资源保护和共享。

为实现上述目的，本发明采用如下技术方案：

一种基于云平台的GIS数据管理及处理方法，具体步骤为：

搭建用于存储GIS数据的云平台数据库；

构建能够实现数据块自动分层的云平台数据库存储架构，根据数据被访问的次数将GIS数据分为热数据、温数据和冷数据三个层次，使热数据迁移至云平台存储架构的最上层SSD中,将冷数据迁移至云平台存储架构的最下层SATA盘中，温数据存放光纤通道磁盘中，实现GIS数据的冷热均衡；

根据不同的GIS数据的类型，对访问GIS数据的用户进行身份认证，并对相应的GIS数据进行加密，以达到在保护云平台数据库中GIS数据的前提下实现数据共享。

进一步地，所述搭建用于存储GIS数据的云平台数据库的具体步骤为：采用Orale大型数据库以及ArcSDE空间数据库引擎，按照功能分为“基础库”、“过程库”和“成果库”三个数据库；

所述基础库支持多种形态的数据源，能够从多个异构数据源取数，支持跨数据库的数据关联取数；所述基础库支持数据分区、并行处理、数据库批量装载接口，保证数据抽取和装载的高效性，所述ArcSDE空间数据库引擎能自动优化合并转换过程，避免重复取数、重复关联、多次落地造成的性能损耗；

所述过程库根据所述基础库收集的基础数据，制定数据转换标准和调用规则，编制数据资源目录，搭建GIS数据中心，对GIS数据综合管理和日常更新及进行数据处理，制定统一标准的共享资料库，使得数据处理过程更高效；

所述成果库通过对各所述基础库中的数据进行整合、分类、处理后作为所述GIS数据中心的核心数据库，支撑各类规划业务；所述成果库还以所述基础库为面，以所述过程库为线，收集分散在所述基础库和过程库的GIS数据中的业务数据，实现开发和运行两不耽误。

进一步地，所述数据处理支持批量创建、数据抽样、多人协同定义。

进一步地，所述构建能够实现数据块自动分层的云平台数据库存储架构，具体步骤为：

S1：将云平台数据库中GIS数据按照数据类型分成不同的数据块，同时每一个数据块保存至少一个副本；

S2：对每个数据块的访问频率进行统计；

S3：当数据块的被访问频率高于热数据阈值时，被判定为热数据，查询需要迁移的数据块，并找到该数据块的位置，并对数据块进行迁移，存放在SSD中的副本池中；若数据块的被访问频率低于冷数据阈值时，判定为冷数据，将该数据块存放在SATA盘中的归档备份池里；若数据块的被访问频率介于冷数据和热数据的被访问频率阈值之间，将该数据存放在光纤通道磁盘中。

进一步地，所述对每个数据块的访问频率进行统计的周期为以每128MB对数据块进行监控与迁移。

进一步地，所述对访问GIS数据的用户进行身份认证，具体步骤为：采用于微软的活动目录AD、GIS数据用户和第三方中间件实现访问GIS数据的用户身份认证；

在云平台上设置一个用于对用户权限分配、用户身份认证、用户信息提取和用户权限提取的第三方管理中间件；

所述第三方管理中间件将用户分为***管理员、中心管理员、部门管理员和普通用户，同时设置***管理员、中心管理员、部门管理员和普通用户的管理组，并将用于访问GIS数据的用户名和密码发送给第三方管理中间件；

所述第三方管理中间件使用Kerberos协议访问活动目录AD，并将用户名和密码信息发给活动目录AD的域控制器完成身份验证；

所述域控制器将验证的结果返回给第三方管理中间件，所述第三方管理中间件从授权的数据库中提取用户的GIS数据操作权限，完成数据库、GIS数据与Windows Sever间关联；

GIS数据用户通过VPN唯一的128位RSA令牌通过第三方管理中间件访问云平台数据库中的各种GIS数据资源。

进一步地，所述对相应的GIS数据进行加密为将数据加密引擎直接嵌入到虚拟化***中，具体包括：

数据加密虚拟机，通过部署一个专用安全的虚拟设备来防护一个物理机下的所有虚拟机，不需要在每一台虚拟机上安装数据加密客户端；

虚拟机精简代理：利用API接口访问关于每一个虚拟机的特权状态信息，包括其内存、状态和网络通信流量，为每个虚拟机提供全面的安全加密功能，包括防病毒、防火墙、IDS/IPS和***完整性监控；

虚拟化管理模块：用于支持所述数据加密虚拟机和所述虚拟机精简待在虚拟化管理层上的通信，监视所述数据加密虚拟机的文件活动，并通知数据加密引擎，由所述数据加密引擎进行扫描并返回处置信息；当需要进行数据加密时，使用现有的加密和解密工具指定要执行的操作，同时影响所述数据加密虚拟机中的加密和解密操作。

本发明的有益效果在于：本发明将搭建的云平台数据库分为基础库、过程库和成果库三套数据库，实现GIS数据的处理和管理，实现数据加密和数据共享，保障跨行业部门、跨单位协同设计工作，准确的读取云平台数据库中的GIS数据，保证城市规划的精准度，极大的提高了工作成效，所有的GIS数据都存放在云台数据库中，通过用户身份认证，可以很放屁的读取数据和运行的各种信息，并采用数据加密手段提升数据安全性。

附图说明

附图1为云平台数据库工作示意图；

附图2为GIS数据存储策略示意图；

附图3为访问GIS数据的身份认证示意图；

附图4为GIS数据加密管理逻辑示意图；

附图5为本发明GIS数据加密示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述：

实施例一

一种基于云平台的GIS数据管理及处理方法，具体步骤为：

步骤一：搭建用于存储GIS数据的云平台数据库；

云平台通过将大量的硬件资源和数据库应用虚拟成一个巨大的资源池，为云平台运行提供存储与计算资源弹性分配与数据库的使用，云平台数据库采用Orale大型数据库以及ArcSDE空间数据库引擎，按照功能分为“基础库”、“过程库”和“成果库”三个数据库；

如图1所示，所述基础库支持多种形态的数据源，能够从多个异构数据源取数，支持跨数据库的数据关联取数；所述基础库支持数据分区、并行处理、数据库批量装载接口，保证数据抽取和装载的高效性，所述ArcSDE空间数据库引擎能自动优化合并转换过程，避免重复取数、重复关联、多次落地造成的性能损耗；

所述过程库根据所述基础库收集的基础数据，制定数据转换标准和调用规则，编制数据资源目录，对GIS数据进行分析、清洗、分类、转换、提取和融合，形成各种数据仓库，如规划类数据仓库、基础空间类数据仓库、遥感现状类数据仓库、省市汇缴类数据仓库，并制定元数据与数据资源目录，形成一张图数据成果，即搭建GIS数据中心，对GIS数据综合管理和日常更新及进行数据处理，制定统一标准的共享资料库，使得数据处理过程更高效；

所述成果库通过对各所述基础库中的数据进行整合、分类、处理后作为所述GIS数据中心的核心数据库，支撑各类规划业务；所述成果库还以所述基础库为面，以所述过程库为线，收集分散在所述基础库和过程库的GIS数据中的业务数据，实现开发和运行两不耽误，数据处理支持批量创建、数据抽样、多人协同定义，以GIS数据为基础形成具有地图功能、业务管理、后台管理和移动展示的成果库。

云平台数据库从原来的“成果库—基础库”两级联动拓展至“成果库—过程库—基础库”三级联动，在联动的同时同步完成云平台数据库设计，提供一站式数据处理服务，实现进行统一管理维护，提高数据准确性。

云平台数据库采用B/S(浏览器/服务器)结构与C/S(客户端/服务器)结构相结合的模式。C/S模式用于“基础库”制作和“过程库”管理，运行在局域网内，满足数据库性能高、数据安全性强的工作需求。B/S模式用于“成果库”，直接面对用户，满足对业务的连续性和联动性较高的要求。C/S模式将处理后的“基础库”成果数据通过人工拷贝到B/S部分，支持B/S的业务应用；B/S将上传数据和业务联动数据下载后导回C/S再进行数据处理。B/S与C/S的数据相互支持，形成数据流循环，迭代更新。

步骤二：搭建能够实现数据块自动分层的云平台数据库存储架构，根据数据被访问的次数将GIS数据分为热数据、温数据和冷数据三个层次，使热数据迁移至云平台存储架构的最上层SSD中,将冷数据迁移至云平台存储架构的最下层SATA盘中，温数据存放在光纤通道磁盘中，实现GIS数据的冷热均衡，从而真正减小每个存放GIS数据负载的压力，从而构建一个轻量级、高响应、可扩展的云数据数据库存储架构；如图2所示，为GIS数据的移动分层示意图。

所述构建能够实现数据块自动分层的云平台数据库存储架构，具体步骤为：

S1：将云平台数据库中GIS数据按照数据类型分成分片，每一个分片中包含多种数据块，同时将每一个数据块保存多个副本；

S2：利用3PAR中的Adaptive Optimization对每个数据块的访问频率进行统计；其中3PAR中的Adaptive Optimization是一个粒度的、策略驱动的自动分层存储软件解决方案，它能够以尽可能低的成本优化企业和云数据中心的服务级别，同时提高灵活性并最小化风险；Adaptive Optimization解释为自适应优化；

S3：当数据块的被访问频率高于热数据阈值时，被判定为热数据，查询需要迁移的数据块，利用并找到该数据块的位置，并对数据块进行迁移，存放在SSD中的副本池中，热数据通常需要在高性能、高度可用、高要求的环境下即时存取；若数据块的被访问频率低于冷数据阈值时，判定为冷数据，冷数据通常访问次数极少，通常用于归档备份，将该数据块存放在SATA盘中的归档备份池里；若数据块的被访问频率介于冷数据和热数据的被访问频率阈值之间，将该数据存放在近线或在线备份环境中，用户需要快速访问这些数据，但访问的次数较少；

3PAR中的Adaptive Optimization对每个数据块的访问频率进行统计的周期为以每128MB对数据块进行监控与迁移，并对历史进行监控记录进行综合判断,把相对稳定的热或冷数据迁移。

对GIS数据进行冷热分类存储，将更新频次高的热数据存储在SSD中，更新频次少的冷数据存储在SATA盘中，能均衡每个存储颗粒擦写次数，极大的延长存储器的使用寿命。

步骤三：根据不同的GIS数据的类型，对访问GIS数据的用户进行身份认证，并对相应的GIS数据进行加密，以达到在保护云平台数据库中GIS数据的前提下实现数据共享。

如图3所示，采用于微软的活动目录AD、GIS数据用户和第三方中间件实现访问GIS数据的用户身份认证；

在云平台上设置一个用于对用户权限分配、用户身份认证、用户信息提取和用户权限提取的第三方管理中间件；第三方管理中间件将用户划分为四个角色组：***管理员：负责云平台数据库用户权限的分配；中心管理员：负责所有数据基础库的建设和管理，以及数据的校验入库；部门管理员：负责基础库和成果库的协助管理，过程库的维护和管理；普通用户：负责数据处理、加工和共享，为各类项目和研究的数据支持。

第三方管理中间件使用活动目录AD域用户设置***管理员、中心管理员、部门管理员和普通用户的管理组，各GIS数据客户端将用户名和密码发送给第三方管理中间件；

第三方管理中间件使用Kerberos协议访问活动目录AD，将加密后的用户名和密码信息发给活动目录AD的域控制器完成身份验证，获取LDAP主机和域名，通过LDAP有效性认证后便可以绑定LDAP服务，LDAP为轻量目录访问协议；

域控制器将验证的结果返回给第三方管理中间件，所述第三方管理中间件从授权的数据库中提取用户的GIS数据操作权限，身份认证成功实现合格登陆，完成数据库、GIS数据与Windows Sever间关联，一旦实现了合格登录，后续就不需要再进行二次认证和登陆，可以直接进入到用户应用界面进行操作了；

GIS数据用户通过VPN唯一的128位RSA令牌通过第三方管理中间件访问云平台数据库中的各种GIS数据资源，并在应用端与客户端之间采用了Java的Filter技术作为***，用户的每一次请求都会经过这个***，进一步保证***的安全性；

将活动目录AD用户作为唯一认证用户为各个GIS数据客户端提供用户管理，通过第三方管理中间件作为桥梁为活动目录AD和各GIS数据客户端提供连接服务,实现了用户信息和权限的集中管理,各GIS数据客户端不需再关注自己的用户管理问题，第三方管理中间件对外提供功能发布接口供GIS数据客户端使用,避免了各GIS数据客户端直接访问活动目录AD,所有的需求完全通过调用第三方管理中间件访问活动目录AD，解决了GIS数据访问用户维护复杂、用户管理分散、***间协同性差、用户信息安全性差等问题,适合在各种异构环境下部署和使用。

如图4所示为本发明的加密管理逻辑示意图，加密管理主要是针对数据采集加密、数据分析处理加密、成果归档发布加密和涉密信息管理加密，数据采集加密包括矢量化软件加密，如shp、gdh等；CAD软件导入加密，如DWG、DXE等；数据库加密，如dbf、mdb、xls；栅格图像加密，如tif、jpg；分析处理加密包括工作站运行透明加密、工具箱导入导出透明加密、数据库注入时透明加密；成果归档发布包括解密审批、在外部使用被授权数据加密、网关加密；在外部使用被授权包括外发打包加密、安装离线客户端、U盘即插即用客户端；网关加密包括可信邮件网关、GIS数据库服务器加密；涉密信息管理加密包括划分安全域、授权管理、限制性使用和监控审计；划分安全域包括按部门划分、按密级划分、生产阶段划分；授权管理包括只读、编辑、打印和申请解密；限制性使用包括外协、借阅、外发，权限申请、权限回收，限制方式包括限人、限时、限次，监控审计包括管用分离和日志报表。

图5所示，对相应的GIS数据进行加密为将数据加密引擎直接嵌入到虚拟化***中，具体包括：

数据加密虚拟机，通过部署一个专用安全的虚拟设备来防护一个物理机下的所有虚拟机，不需要在每一台虚拟机上安装数据加密客户端；

虚拟机精简代理：利用API接口访问关于每一个虚拟机的特权状态信息，包括其内存、状态和网络通信流量，为每个虚拟机提供全面的安全加密功能，包括防病毒、防火墙、IDS/IPS和***完整性监控；

虚拟化管理模块：用于支持所述数据加密虚拟机和所述虚拟机精简待在虚拟化管理层上的通信，监视所述数据加密虚拟机的文件活动，并通知数据加密引擎，由所述数据加密引擎进行扫描并返回处置信息；当需要进行数据加密时，使用现有的加密和解密工具指定要执行的操作，同时影响所述数据加密虚拟机中的加密和解密操作。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (7)

1.一种基于云平台的GIS数据管理及处理方法，其特征在于，具体步骤为：

搭建用于存储GIS数据的云平台数据库；

构建能够实现数据块自动分层的云平台数据库存储架构，根据数据被访问的次数将GIS数据分为热数据、温数据和冷数据三个层次，使热数据迁移至云平台存储架构的最上层SSD中,将冷数据迁移至云平台存储架构的最下层SATA盘中，所述温数据存放在光纤通道磁盘，实现GIS数据的冷热均衡；

根据不同的GIS数据的类型，对访问GIS数据的用户进行身份认证，并对相应的GIS数据进行加密，以达到在保护云平台数据库中GIS数据的前提下实现数据共享。

2.如权利要求1所述的一种基于云平台的GIS数据管理及处理方法，其特征在于，所述搭建用于存储GIS数据的云平台数据库的具体步骤为：采用Orale大型数据库以及ArcSDE空间数据库引擎，按照功能分为“基础库”、“过程库”和“成果库”三个数据库；

所述基础库支持多种形态的数据源，能够从多个异构数据源取数，支持跨数据库的数据关联取数；所述基础库支持数据分区、并行处理、数据库批量装载接口，保证数据抽取和装载的高效性，所述ArcSDE空间数据库引擎能自动优化合并转换过程，避免重复取数、重复关联、多次落地造成的性能损耗；

所述过程库根据所述基础库收集的基础数据，制定数据转换标准和调用规则，编制数据资源目录，搭建GIS数据中心，对GIS数据综合管理和日常更新及进行数据处理，制定统一标准的共享资料库，使得数据处理过程更高效；

所述成果库通过对各所述基础库中的数据进行整合、分类、处理后作为所述GIS数据中心的核心数据库，支撑各类规划业务；所述成果库还以所述基础库为面，以所述过程库为线，收集分散在所述基础库和过程库的GIS数据中的业务数据，实现开发和运行两不耽误。

3.如权利要求2所述的一种基于云平台的GIS数据管理及处理方法，其特征在于，所述数据处理支持批量创建、数据抽样、多人协同定义。

4.如权利要求1所述的一种基于云平台的GIS数据管理及处理方法，其特征在于，所述构建能够实现数据块自动分层的云平台数据库存储架构，具体步骤为：

S1：将云平台数据库中GIS数据按照数据类型分成不同的数据块，同时每一个数据块保存至少一个副本；

S2：对每个数据块的访问频率进行统计；

S3：当数据块的被访问频率高于热数据阈值时，被判定为热数据，查询需要迁移的数据块，并找到该数据块的位置，并对数据块进行迁移，存放在SSD中的副本池中；若数据块的被访问频率低于冷数据阈值时，判定为冷数据，将该数据块存放在SATA盘中的归档备份池里；若数据块的被访问频率介于冷数据和热数据的被访问频率阈值之间，将该数据存放在近线或在线备份环境中。

5.如权利要求4所述的一种基于云平台的GIS数据管理及处理方法，其特征在于，所述对每个数据块的访问频率进行统计的周期为以每128MB对数据块进行监控与迁移。

6.如权利要求1所述的一种基于云平台的GIS数据管理及处理方法，其特征在于，，所述对访问GIS数据的用户进行身份认证，具体步骤为：采用于微软的活动目录AD、GIS数据用户和第三方中间件实现访问GIS数据的用户身份认证；

在云平台上设置一个用于对用户权限分配、用户身份认证、用户信息提取和用户权限提取的第三方管理中间件；

所述第三方管理中间件将用户分为***管理员、中心管理员、部门管理员和普通用户，同时设置***管理员、中心管理员、部门管理员和普通用户的管理组，并将用于访问GIS数据的用户名和密码发送给第三方管理中间件；

所述第三方管理中间件使用Kerberos协议访问活动目录AD，并将用户名和密码信息发给活动目录AD的域控制器完成身份验证；

所述域控制器将验证的结果返回给第三方管理中间件，所述第三方管理中间件从授权的数据库中提取用户的GIS数据操作权限，完成数据库、GIS数据与Windows Sever间关联；

GIS数据用户通过VPN唯一的128位RSA令牌通过第三方管理中间件访问云平台数据库中的各种GIS数据资源。

7.如权利要求1所述的一种基于云平台的GIS数据管理及处理方法，其特征在于，所述对相应的GIS数据进行加密为将数据加密引擎直接嵌入到虚拟化***中，具体包括：

数据加密虚拟机，通过部署一个专用安全的虚拟设备来防护一个物理机下的所有虚拟机，不需要在每一台虚拟机上安装数据加密客户端；

虚拟机精简代理：利用API接口访问关于每一个虚拟机的特权状态信息，包括其内存、状态和网络通信流量，为每个虚拟机提供全面的安全加密功能，包括防病毒、防火墙、IDS/IPS和***完整性监控；

虚拟化管理模块：用于支持所述数据加密虚拟机和所述虚拟机精简待在虚拟化管理层上的通信，监视所述数据加密虚拟机的文件活动，并通知数据加密引擎，由所述数据加密引擎进行扫描并返回处置信息；当需要进行数据加密时，使用现有的加密和解密工具指定要执行的操作，同时影响所述数据加密虚拟机中的加密和解密操作。

Images