CN111708778B - 一种大数据管理的方法与*** - Google Patents
一种大数据管理的方法与*** Download PDFInfo
- Publication number
- CN111708778B CN111708778B CN202010526592.6A CN202010526592A CN111708778B CN 111708778 B CN111708778 B CN 111708778B CN 202010526592 A CN202010526592 A CN 202010526592A CN 111708778 B CN111708778 B CN 111708778B
- Authority
- CN
- China
- Prior art keywords
- metadata
- index table
- data
- cloud
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013523 data management Methods 0.000 title claims abstract description 23
- 230000015654 memory Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 239000010410 layer Substances 0.000 description 28
- 238000013500 data storage Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 210000001640 nerve ending Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- -1 traffic Substances 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种大数据管理的方法，包括：联合云网络架构设置有多个云，所述每一个云设置为树形拓扑结构；获取多种元数据及对应的元数据属性值，所述元数据属性值包括元数据类型及层级；依次按照元数据属性值将不同种类的元数据存储在不同云的不同节点中，其中所述元数据类型与对应存储的节点的所述节点数据类型相同，所述元数据层级与对应存储的节点的所述节点数据层级相同；设置所述每个节点的索引表，所述索引表用于查询当前所述节点存储的元数据的关联数据，以及所述关联数据的链路；当接收到查询操作指令后，通过所述索引表进行元数据及所述元数据的关联数据的查询。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及大数据管理的方法与***。
背景技术
城市信息模型(City Information Modeling，CIM)是对城市地上地下、室内室外各种实体目标及时空状态的数字化表达和描述，其反映城市规划、建设、发展以及运行，并且可用于城市规划决策、城市建设、城市管理等工作。
CIM是一个跨度很大的概念，涉及的行业包括规划、国土、交通、水利、安防、人防、环境保护、文物保护、能源燃气等各大行业及一切智慧城市相关的领域。
目前国内外对CIM尚缺乏***深入的研究，据《智慧城市背景下城市信息模型相关技术发展综述》论文中的观点，可尝试从构成CIM术语的三个单词初步分析其基本特征：首先是City，CIM要覆盖城市尺度，这里的“城市”可以实例化为某个城市或城区、某个园区、某个社区、某个院落等，但它对建模对象的描述能力应该是城市级的；其次是Information，CIM所容纳的信息应该是覆盖各种空间、时间维度的，是能支撑各种城市应用的，CIM中的信息可以描述城市各种物理或人文实体，具有多时态、多类型、多粒度级别、多来源等特点；最后是Modeling，即CIM要基于一定规则和方法，对上述信息按需进行组织、模拟、分析以及表达，更进一步地，可通过融合、挖掘、以及提炼新的知识，凝聚出智慧。
从CIM的当前发展来看，CIM主要与BIM(Building Information Modeling，建筑信息模型)、GIS(Geographic Information System，地理信息***)、以及IOT(Internet ofThings，物联网)等技术密切相关，同时还不可避免地需要应用到云计算、大数据等新一代信息技术。
现有技术中，对于海量的CIM数据，会采用不同云进行数据存储，以形成联合云，联合云存储不同类型的CIM数据，为城市决策提供数据支撑，但是海量数据的获取往往要通过跨云搜索才能完成，例如查询某一地区的单一景区GIS+BIM数据，往往需要单次遍历联合云的大量节点才能获取到完整的GIS+BIM数据，其效率低下，因此适用范围低。
发明内容
本申请实施例提供一种大数据管理的方法及***，用于解决现有技术中智慧城市场景下海量数据搜索效率低下的问题。
本发明实施例提供一种大数据管理的方法，应用于智慧城市的联合云网络架构，包括：
联合云网络架构设置有多个云，所述每一个云设置为树形拓扑结构，其中，所述每一个云均包含有根节点、父节点及多个子节点，所述联合云网路架构将不同节点设置为不同的节点属性值，所述节点属性值包括节点数据类型及层级；
获取多种元数据及对应的元数据属性值，所述元数据属性值包括元数据类型及层级；
依次按照元数据属性值将不同种类的元数据存储在不同云的不同节点中，其中所述元数据类型与对应存储的节点的所述节点数据类型相同，所述元数据层级与对应存储的节点的所述节点数据层级相同；
设置所述每个节点的索引表，所述索引表用于查询当前所述节点存储的元数据的关联数据，以及所述关联数据的链路；
当接收到查询操作指令后，通过所述索引表进行元数据及所述元数据的关联数据的查询。
可选地，所述通过所述索引表进行元数据及所述元数据的关联数据的查询，包括：
获取所述待查询的元数据及关联数据的属性值；
获取所述第一云的根节点第一索引表，所述第一索引表中包含所述不同云中元数据属性值；
根据所述根节点索引表，定位到其中的多个云，所述多个云中的元数据属性值与所述待查询的元数据或所述元数据的关联数据属性值相同；
获取所述多个云中根节点的第二索引表，所述第二索引表用于定位所述待查询元数据及元数据的关联数据的链路；
根据所述第二索引表，获取所述多个云中元数据及关联数据，所述元数据及关联数据分布在所述多个云中的不同父节点及子节点中。
可选地，所述通过所述索引表进行元数据的查询，包括：
设置所述索引表的索引表，定义为二级索引表，所述二级索引表用于指示所述元数据及关联数据的层级关联关系；
获取所述元数据的属性值，根据所述索引表获取所述元数据及关联数据；
根据所述二级索引表，获取所述元数据与所述关联数据的层级关联关系，所述层级分为第一层级及第二层级；
根据所述二级索引表，获取所述元数据的第一层级的关联数据。
可选地，所述索引表还包括备份云、备份云的备份节点及备份云中备份元数据的链路，则所述方法还包括：
将每一个保存在不同节点中的元数据，按照所述索引表中的备份链路进行容灾备份，将不同节点中的元数据备份在不同的备份云中，其中所述每一云中的节点属性值与所述备份云中的备份节点属性值相同。
可选地，将不同节点中的元数据备份在不同的备份云中，包括：
基于Openstack平台创建所述元数据的快照，保存镜像文件至所述备份云中。
可选地，所述云节点与所述备份云的备份节点具备对等树结构。
可选地，所述元数据类型包括地理信息***GIS、建筑信息模型BIM和物联网IoT。
本发明实施例还提供一种大数据管理的***，所述***包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述大数据管理的方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，该计算机可执行指令用于执行上述大数据管理的方法。
上述提供的大数据管理的方法及装置，通过设置联合云树形拓扑结构，将元数据及对应的属性值按照属性值的存储规则进行存放，并设置关联数据的索引表，当需要进行查询操作时，通过索引表即可获取到该元数据及关联数据，从而无需遍历每一个云，实现了数据查询的效率提升，增加了CIM的适用范围。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1a和图1b为联合云树形网络拓扑图；
图2为一个实施例中大数据管理的流程示意图；
图3a为一个实施例中联合云数据存储示意图；
图3b为一个实施例中联合云数据备份示意图；
图4为一个实施例中电子设备的组成架构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
智慧城市可以分为四个层级，第一个层级是感知层，即通过各种各样的城市“神经末梢”(物联网设备)采集数据，例如各类摄像头、温度传感器、湿度传感器、水压传感器、移动终端等，负责在不同时间不同地点采集不同类型的数据，第二个层级是通信层，负责将不同时间不同地点采集到的数据按照一定的通信协议进行上传并汇总，第三层是平台层，在接收到数据之后，对海量数据进行存储和管理，完成数据清洗并提供有效的数据供城市管理者提供决策，第四层为应用层，当有用的数据提取之后，即为城市的方方面面提供服务，例如智慧交通、智慧楼宇、智慧医疗及智慧电力等。
智慧城市的核心在于打破信息孤岛，使得海量数据可连接，可存储及可查询，如何构建一个足够大的云储存，并在较短时间内为决策者提供知识图谱将是一个非常关键的核心问题。
智慧城市的数据类型多种多样，为了方便理解，本发明实施例选取了其中最典型三类数据，分别是地理信息显示***GIS、建筑信息模型BIM和物联网IoT。其中，GIS是在计算机硬、软件***支持下，对整个或部分地球表层(包括大气层)空间中的有关地理数据进行采集、储存、编辑、管理、分析、共享、以及展示的信息***。在城市信息模型CIM中，GIS需要提供六个方面的能力：1)建立统一坐标***，让各种城市信息对齐；2)提供二维三维一体化的基础底图；3)管理各BIM单体之间链接网络，如道路、管廊与管线等；4)提供拓扑关系空间分析能力；5)提供大规模建筑群的BIM数据管理能力；6)提供多种终端的支持，全方位满足CIM应用。BIM是设施的物理和功能特征的数字化表示，其可以用作设施信息的共享知识资源，成为设施全生命期决策的可靠基础。IOT是通信网和互联网的拓展应用和网络延伸，它通过对物理世界进行感知识别、计算、处理以及知识挖掘，在信息的充分交互和链接的基础上，实现人与物、物与物之间的信息交互和无缝链接，从而达到对物理世界实时控制、精确管理以及科学决策。其中，物联网网络架构由感知层、网络层和应用层组成。感知层实现对物理世界的智能感知识别、信息采集处理以及自动控制，并通过通信模块将物理实体连接到网络层和应用层。网络层主要实现信息的传递、路由以及控制，网络层可依托公众电信网和互联网，也可以依托行业专用通信网络。应用层包括应用基础设施中间件和各种物联网应用，应用基础设施中间件为物联网应用提供信息处理、计算等通用基础服务设施、能力以及资源调用接口,以此为基础实现物联网在众多领域的各种应用。
GIS通常是对城市或区域对象建立空间模型，其最主要的目的是描述城市或区域尺度的地理空间对象，而较少关注细节。但BIM关注设施或建筑物尺度对象的内部细节，但很少用于除设施或建筑物外的其他对象。由此，设施或建筑物对象的内部细节由BIM模型定义和表达，设施或建筑物外部更大尺寸的对象由GIS描述，即对区域或城市尺寸内全部物理实体进行描述时需要集成GIS和BIM的信息和功能。
在工程的施工建造及运维阶段，建筑、设备、设施等物体的状态会动态变化，而BIM无法完全满足关于这些物体状态信息采集和传递需求。因此，需要引入IOT技术来完成环境和物体动态信息的采集、以及该动态信息与BIM已描述的静态信息的关联。BIM和IOT技术的集成，能够衔接设计阶段的虚拟与建造运维阶段的现实，使各个工程阶段的BIM交付成果的一致性和可交互性得以保障。
GIS作为物联网各种对象的统一空间载体，其信息源的数量和质量直接影响到物联网应用的广度和深度。物联网建设时期，基于基础地理信息可以实现传感器布设的分析和选择，实现终端布设的科学性和合理性。传感器网络建成后，通过基础地理信息平台可以实现传感器的定位、追踪、查找、以及控制，最终把所有的物联对象都落到统一的空间平台上，在该平台上可以直观、生动、形象、以及快速地找到所需信息。亦即，GIS是一种能让物联网更加智慧、有序、以及直观好用的核心技术。
在大尺度、大范围应用领域，通过接受某个地方的某个事件及其随时间的变化过程，地理信息技术根据已有的感知数据，不仅能够对现象的变化过程做出判断，还能对过去做出回溯以及对未来做出预测。亦即，物联网为GIS提供了一种新的信息采集方法，拓展了GIS的管理范畴。
图1a和图1b为联合云的网络拓扑架构图。如图1a所示，联合云网络是专门为了城市信息模型CIM而设立的网络拓扑架构。为了方便说明，简化了三类采集数据源，分别是GIS,BIM和IoT三种类型，三种不同数据源的区别在前述中已经描述，在本发明实施例中，不同数据类型具备一个特定的属性值(数据类型)，可以采用自定义的标识来区分，例如GIS为01,BIM为02,IoT为03。在采集之初联合云即可记录该属性值。联合云本身是由多个云组成的，其背后是数以海量的云服务器用于支撑该数据的存储及管理(单个云的存储量不足以支撑海量数据)。示例性地，本发明实施例示出了三个不同的云，云和云相互之间可以调阅数据、查询数据及存储数据，其好处是在数据资源较大时，可以随时进行资源调度，方便实时扩展资源量。如图1b所示，基于联合云的良好可拓展性和数据存储伸缩性，任意一个用户可以从联合云中进行数据存储、数据查询和容灾备份操作。
图2为一个实施例中大数据管理方法流程图。本实施例中的方法包括：
S101、联合云网络架构设置有多个云，所述每一个云设置为树形拓扑结构，其中，所述每一个云均包含有根节点、父节点及多个子节点，所述联合云网路架构将不同节点设置为不同的节点属性值，所述节点属性值包括节点数据类型及层级；
联合云网络架构中设置有多个云，为了方便说明，可以定义为第一云、第二云、第三云…第N云(N为大于1的自然数)，每个云设置为树形拓扑结构，一个典型的属性结构包括根节点、父节点和多个子节点，每个根节点包括至少两个父节点，每个父节点至少包括两个子节点。在本发明实施例中，不同节点的属性值并不相同，其目的是规范化存储空间及存储效能，提高数据查询效率。节点属性值包括节点数据类型和数据层级，数据类型可按照数据源的不同进行划分，如上述提到的GIS，BIM和IoT。数据层级是对应于同一数据类型的不同层级，以GIS为例，GIS可以分为三个层级，分别是城市级别、行政区级别和社区级别，事实上还可以划分为更多级别，本发明实施例只以三层为例进行说明。三个层级的数据类型相同，都是GIS，但是层级从高到低，彼此关联。GIS的第一层级数据保存在父节点，第二层级数据保存在子节点，第三层级则保存在更下一层级的节点上，在数据查询时，例如需要查询XX市的信息，首先调用的是父节点的数据，再需要进一步查询XX市XX区的信息时，再进行下一子节点数据的调用。通过这样有序分层的数据存储机制，可快速调取相应数据及关联数据，提高查询效率。再以BIM数据为例，BIM也可以划分为三个层级，分别是楼宇级别、房间级别和单品级别，楼宇包括总的房间、电梯、楼道等各类不同数据，例如总的能源消耗、格局、设施等，房间包括单个房间的各类数据，单品则是单个房间中的各个单品数据，例如空调，冰箱，洗衣机等。因此，对于BIM数据而言，楼宇层级数据保存在父节点，房间数据保存在子节点，而单品数据则保存在下一层及的节点，这样在调用BIM数据时，可以依次调用第一层级、第二层级和第三层级的数据，也可以只调取部分数据，例如只调取整栋大楼的总数据，而无需调用其单个房间的数据，效率将大大提升。
综上，树形结构具备层级之分，适合智慧城市的数据存储与管理，因此，可以定义出不同节点的节点属性值，即定义出该数据类型(GIS,BIM或IoT)和数据层级(第一层级、第二层级和第三层级)。将数据进行分级分类统一调度和统一管理。
S102、获取多种元数据及对应的元数据属性值，所述元数据属性值包括元数据类型及层级；
元数据可以包括GIS，BIM和IoT数据，每一类型数据有特定的格式及不同的属性值，元数据属性值和节点属性值一一对应，元数据属性值也区分为数据类型和层级，是元数据的标识，节点属性值是节点的标识，当二者的属性值相同时即可将该元数据存储在该节点之中。
S103、依次按照元数据属性值将不同种类的元数据存储在不同云的不同节点中，其中所述元数据类型与对应存储的节点的所述节点数据类型相同，所述元数据层级与对应存储的节点的所述节点数据层级相同；
以GIS为例，元数据的类型为GIS，元数据可分为三个级别(城市、行政区和社区)，分别用A1，a1,a11来表示；对应地，第一云中第一父节点数据类型为GIS，层级为A1，第一父节点的第一子节点数据层级为a1，第一子节点的第一孙节点数据层级为a11，则第一层级元数据存储在第一父节点，第二层级的元数据存储在第一子节点，第三层级的元数据存储在第一孙节点。
S104、设置所述每个节点的索引表，所述索引表用于查询当前所述节点存储的元数据的关联数据，以及所述关联数据的链路；
索引表在大数据存储中起到了非常重要的作用，每一个节点均需要包含该索引表，索引表包含了关联数据的路由链路，在获取到单一元数据后，还需要获取到各个关联数据(属于同一数据类型的不同层级的数据)的链接。
例如索引表的格式可以为云ID+第一层级关联数据链接地址+第二层级关联数据的链接地址+第三层级关联数据的链接地址，如
索引表：cloud A,A1地址，a1地址，a11地址；
A1地址：cloud B,节点10；
a1地址：cloud C，节点21。
…
其意义为：第一云(cloud A)中的第一索引表，保存有三个层级的地址，A1的地址在第二云(cloud B)的序号为10的节点上；a1地址在第三云(cloud C)的序号为21的节点上。
索引表中保存的单个关联数据地址通常不超过1024KB，整个数据量通常不会特别大，易于查阅。之所以会保存在不同的云中，是因为实际使用中由于数据量太大，单个云无法满足保存一份完整的GIS/BIM/IoT数据(例如一个城市的完成GIS数据)，因此需要分布式协同的方式进行存储。
S105、当接收到查询操作指令后，通过所述索引表进行元数据及所述元数据的关联数据的查询。
在接收到查询操作指令后，可先遍历查询该元数据，并可根据索引表查询该元数据的关联数据。
在本发明实施例中，其中一个查询方式可以为：
S11、获取待查询的元数据及关联数据的属性值；
S12、获取第一云的根节点第一索引表，第一索引表中包含不同云中元数据属性值；
S13、根据根节点索引表，定位到其中的多个云，多个云中的元数据属性值与待查询的元数据或元数据的关联数据属性值相同；
S14、获取多个云中根节点的第二索引表，第二索引表用于定位待查询元数据及元数据的关联数据的链路；
S15、根据第二索引表，获取多个云中元数据及关联数据，元数据及关联数据分布在多个云中的不同父节点及子节点中。
在第一云的根节点中，第一索引表中除了包含上述索引表中的基本内容，还包含不同云中元数据的属性值，例如第一索引表中包括第二云、第三云和第四云的不同元数据的属性值(数据类型和数据层级)，例如，第二云中保存有GIS和BIM的第二层级和第三层级的元数据，第三云只保存有IoT的第二层级的元数据，第四云保存有BIM的第一层级的元数据，当用户需要查询GIS和BIM数据时，先通过第一云的索引表定位到GIS和BIM的数据指向的云，即第二云和第四云，并根据指令要求，依次在第二云和第四云中的遍历其根、父、子节点，并根据所述根、父、子节点的不同索引表(第二索引表)定位到所需要的关联数据。
例如，查询指令是查询XX市的XX行政区的XX社区的GIS，为了方便说明，上述查询指令所查询的元数据定义为B1,b1,b11三组元数据，彼此处于第一层级，第二层级和第三层级。则通过第一索引表，定位到GIS数据分布在第二云cloud B和第四云cloud D中，该两个云中的元数据属性值，与待查询的元数据或元数据的关联数据属性值相同，均包括GIS数据，也包括第一层级，第二层级和第三层级的GIS数据。首先遍历第二云或第四云的父节点，寻找当前元数据B1，在查询到当前元数据B1保存在第二云的父节点，则通过该父节点的第二索引表，可查询到b1和b11的链接地址，从而可在不同云、不同父、子节点中查询到所需要的元数据及关联数据。
图3给出了本发明实施例中示例性的数据存储及查询结构，定义A1-F1为不同数据类型，小写字母的a1-f1为下一层级的元数据，其中A1和a1,a2,a3为同一数据类型的元数据，a1,a2,a3为A1的下一层级的元数据，同理，a11,a12属于a1的下一层级数据，且与a1的数据类型相同。那么，A1的索引表中包含了a1，a2,a3,a11,a12分别处在哪一个云的哪一个节点上，a1的索引表中包含了A1,a2,a3,a11和a12分别处在哪一个云的哪一个节点上，a2的索引表中包含了A1,a1,a3分别处在哪一个云的哪一个节点上…。因此，图3构建了一个全类型，全层级的树形结构存储实例，当需要查找任意一个数据类型和数据层级的数据时，即可根据两次索引表的查找精确定位出该元数据及关联数据，从而较快地获取到该元数据和关联数据(不同层次的元数据)。
在本发明实施例中，还可以有另一种查询方式，具体可以为：
S21、设置索引表的索引表，定义为二级索引表，二级索引表用于指示元数据及关联数据的层级关联关系；
S22、获取元数据的属性值，根据索引表获取元数据及关联数据；
S23、根据二级索引表，获取元数据与关联数据的层级关联关系，层级分为第一层级及第二层级；
S24、根据二级索引表，获取元数据的第一层级的关联数据。
索引表的索引表的概念类似于“指针的指针”函数，但不等同于指针的指针，其用于指引不同元数据的层次关系。如A1，a1通过二级索引表可以指引出A1为第一层级，a1为第二层级。即，通过一个索引表，来识别不同元数据之间的层次级别，在用户查找和加载过程中，优先加载第一层级的关联数据，而不需要一次性加载全部的数据，若用户还需要加载更多细节的数据，则再依次加载第二层级、第三层级…第N层级的数据。
为了方便理解，该概念的提出，类似于基于地理信息***的加载方式，地理图层可分为N层，第一层为基础层，第二层为道路层，第三层为建筑物层…在显示地图过程中先加载显示第一层级，也就是基础层，基础层可能只有一个地名，而看不到该地区的道路，在用户继续放大或点击的操作过程中，依次再加载。但本领域技术人员应该理解，本发明实施例提出的二级索引和部分加载的概念，是基于本发明的技术问题而提出的一种解决方案，是具备创造性高度的概念，而并不是简单的概念转用。
在本发明实施例中，还可以实现容灾备份操作，其中，索引表还包括备份云、备份云的备份节点及备份云中备份元数据的链路，则联合云网络将每一个保存在不同节点中的元数据，按照索引表中的备份链路进行容灾备份，将不同节点中的元数据备份在不同的备份云中，其中每一云中的节点属性值与备份云中的备份节点属性值相同。
其中，将不同节点中的元数据备份在不同的备份云中，具体可以为：基于Openstack平台创建元数据的快照，保存镜像文件至备份云中。
其中，云节点与备份云的备份节点具备对等树结构。
图4是一种容灾备份机制，如图4所示，第一云和第二云的元数据分别备份到第三云和第四云的元数据，备份云中元数据、元数据的属性值和索引表均不变。在索引表中，除了上述实施例提供的内容，还包括备份云、备份云的备份节点及备份云中备份元数据的链路。例如：
索引表：cloud A,A1地址，a1地址，a11地址；cloud C(备份云)，A1’地址，a1’地址，a11’地址；
A1地址：cloud A,节点10；
a1地址：cloud B，节点21。
A1’地址：cloud C,节点10；
a1’地址：cloud C，节点21。
…
其中，A1’，a1’，a11’为备份元数据。
本发明实施例提供的大数据管理方法，通过设置联合云树形拓扑结构，将元数据及对应的属性值按照属性值的存储规则进行存放，并设置关联数据的索引表，当需要进行查询操作时，通过索引表即可获取到该元数据及关联数据，从而无需遍历每一个云，实现了数据查询的效率提升，增加了CIM的适用范围。
本发明实施例还提供一种大数据管理***，所述***包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述实施例中大数据管理的方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令用于执行上述实施例中大数据管理的方法。
图4为一个实施例中大数据管理***(例如第一车载终端或第二车载终端)的硬件组成示意图。可以理解的是，图4仅仅示出了电子设备的简化设计。在实际应用中，电子设备还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出***、处理器、控制器、存储器等，而所有可以实现本申请实施例的大数据管理方法的电子设备都在本申请的保护范围之内。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。
输入***用于输入数据和/或信号，以及输出***用于输出数据和/或信号。输出***和输入***可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，***或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程***。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。
以上上述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种大数据管理的方法，应用于智慧城市的联合云网络架构，其特征在于，包括：
联合云网络架构设置有多个云，每一个云设置为树形拓扑结构，其中，所述每一个云均包含有根节点、父节点及多个子节点，所述联合云网路架构将不同节点设置为不同的节点属性值，所述节点属性值包括节点数据类型及层级；
获取多种元数据及对应的元数据属性值，所述元数据属性值包括元数据类型及层级；所述元数据类型包括地理信息***GIS、建筑信息模型BIM和物联网IoT；
依次按照元数据属性值将不同种类的元数据存储在不同云的不同节点中，其中所述元数据类型与对应存储的节点的所述节点数据类型相同，所述元数据层级与对应存储的节点的所述节点数据层级相同；
设置每个节点的索引表，所述索引表用于查询当前所述节点存储的元数据的关联数据，以及所述关联数据的链路；
当接收到查询操作指令后，通过所述索引表进行元数据及所述元数据的关联数据的查询；
其中，所述BIM包括楼宇级别、房间级别和单品级别，楼宇层级数据保存在父节点，房间数据保存在子节点，而单品数据则保存在下一层级的节点；
通过所述索引表进行元数据的查询，包括：
设置所述索引表的索引表，定义为二级索引表，所述二级索引表用于指示所述元数据及关联数据的层级关联关系；
获取所述元数据的属性值，根据所述索引表获取所述元数据及关联数据；
根据所述二级索引表，获取所述元数据与所述关联数据的层级关联关系，所述层级分为第一层级及第二层级；
根据所述二级索引表，获取所述元数据的第一层级的关联数据；
在用户查找和加载过程中，优先加载第一层级的关联数据，而不需要一次性加载全部的数据。
2.根据权利要求1所述的方法，其特征在于，所述通过所述索引表进行元数据及所述元数据的关联数据的查询，包括：
获取待查询的元数据及关联数据的属性值；
获取第一云的根节点第一索引表，所述第一索引表中包含所述不同云中元数据属性值；
根据所述根节点索引表，定位到其中的多个云，所述多个云中的元数据属性值与所述待查询的元数据或所述元数据的关联数据属性值相同；
获取所述多个云中根节点的第二索引表，所述第二索引表用于定位所述待查询元数据及元数据的关联数据的链路；
根据所述第二索引表，获取所述多个云中元数据及关联数据，所述元数据及关联数据分布在所述多个云中的不同父节点及子节点中。
3.根据权利要求1所述的方法，其特征在于，所述索引表还包括备份云、备份云的备份节点及备份云中备份元数据的链路，则所述方法还包括：
将每一个保存在不同节点中的元数据，按照所述索引表中的备份链路进行容灾备份，将不同节点中的元数据备份在不同的备份云中，其中所述每一云中的节点属性值与所述备份云中的备份节点属性值相同。
4.根据权利要求3所述的方法，其特征在于，将不同节点中的元数据备份在不同的备份云中，包括：
基于Openstack平台创建所述元数据的快照，保存镜像文件至所述备份云中。
5.根据权利要求3所述的方法，其特征在于，云节点与所述备份云的备份节点具备对等树结构。
6.一种大数据管理的***，其特征在于，所述***包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行权利要求1至5任一项所述的大数据管理的方法。
7.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，该计算机可执行指令用于执行权利要求1至5任一项所述的大数据管理的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010526592.6A CN111708778B (zh) | 2020-06-09 | 2020-06-09 | 一种大数据管理的方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010526592.6A CN111708778B (zh) | 2020-06-09 | 2020-06-09 | 一种大数据管理的方法与*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111708778A CN111708778A (zh) | 2020-09-25 |
| CN111708778B true CN111708778B (zh) | 2021-06-29 |
Family
ID=72539936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010526592.6A Expired - Fee Related CN111708778B (zh) | 2020-06-09 | 2020-06-09 | 一种大数据管理的方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111708778B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112277951B (zh) * | 2020-10-29 | 2021-08-20 | 北京罗克维尔斯科技有限公司 | 车辆感知模型生成方法、车辆自动驾驶控制方法及装置 |
| CN112487106A (zh) * | 2020-11-26 | 2021-03-12 | 万翼科技有限公司 | 基于建筑信息模型的数据分层方法及相关装置 |
| CN113724892B (zh) * | 2021-08-31 | 2024-06-21 | 深圳平安智慧医健科技有限公司 | 一种人口流动的分析方法、装置、电子设备及存储介质 |
| CN114371894B (zh) * | 2021-12-08 | 2023-11-17 | 贵州开放大学(贵州职业技术学院) | 一种管理元数据的方法 |
| CN114422511A (zh) * | 2021-12-23 | 2022-04-29 | 北京八分量信息科技有限公司 | 异构网络中数据节点的管理方法、装置及相关产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103533006A (zh) * | 2012-07-06 | 2014-01-22 | 中兴通讯股份有限公司 | 一种联合云盘客户端、服务器、***和联合云盘服务方法 |
| US9009206B1 (en) * | 2012-11-20 | 2015-04-14 | Netapp, Inc. | Method and system for optimizing traversal and storage of directory entries of a storage volume |
| CN109587191A (zh) * | 2017-09-29 | 2019-04-05 | 杭州海康威视***技术有限公司 | 跨云域的数据传输方法、互联云中心、云域及互联云*** |
| CN111104406A (zh) * | 2019-12-10 | 2020-05-05 | 深圳市金蝶天燕云计算股份有限公司 | 层级型业务数据存储方法、装置、计算机设备和存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855277A (zh) * | 2012-07-23 | 2013-01-02 | 中国联合网络通信集团有限公司 | 数据中心***及数据处理方法 |
| US10540384B2 (en) * | 2017-01-06 | 2020-01-21 | Oracle International Corporation | Compression and secure, end-to-end encrypted, ZFS cloud storage |
| US20180300650A1 (en) * | 2017-04-13 | 2018-10-18 | Sas Institute Inc. | Distributed data variable analysis and hierarchical grouping system |
| WO2020028912A2 (en) * | 2018-08-03 | 2020-02-06 | Catolog Technologies, Inc | Systems and methods for storing and reading nucleic acid-based data with error protection |
| CN110347680B (zh) * | 2019-06-21 | 2021-11-12 | 北京航空航天大学 | 一种面向云际环境的时空数据索引方法 |
-
2020
- 2020-06-09 CN CN202010526592.6A patent/CN111708778B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103533006A (zh) * | 2012-07-06 | 2014-01-22 | 中兴通讯股份有限公司 | 一种联合云盘客户端、服务器、***和联合云盘服务方法 |
| US9009206B1 (en) * | 2012-11-20 | 2015-04-14 | Netapp, Inc. | Method and system for optimizing traversal and storage of directory entries of a storage volume |
| CN109587191A (zh) * | 2017-09-29 | 2019-04-05 | 杭州海康威视***技术有限公司 | 跨云域的数据传输方法、互联云中心、云域及互联云*** |
| CN111104406A (zh) * | 2019-12-10 | 2020-05-05 | 深圳市金蝶天燕云计算股份有限公司 | 层级型业务数据存储方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| "分布式云的研究进展综述";张晓丽 等;《软件学报》;20180731;第29卷(第7期);第2116-2132页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111708778A (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111708778B (zh) | 一种大数据管理的方法与*** | |
| CN111726403B (zh) | 一种跨云平台的大数据管理的方法与*** | |
| CN115269751B (zh) | 地理实体时空知识图谱本体库构建方法 | |
| US11681927B2 (en) | Analyzing geotemporal proximity of entities through a knowledge graph | |
| CN105701104B (zh) | 一种基于地理信息的三维数据引擎*** | |
| CN111885643A (zh) | 一种应用于智慧城市的多源异构数据融合方法 | |
| CN111221867B (zh) | 一种保护性建筑信息管理*** | |
| CN101271455A (zh) | 可视化数据信息应用***及其应用方法 | |
| CN112988946B (zh) | 一种地理实体数据库用户定制化方法 | |
| CN115758522A (zh) | 一种数字孪生城市管理***及方法 | |
| CN111488420B (zh) | 去中心微服务化区域洪水预警水信息***及其集成方法 | |
| CN113282692A (zh) | 一种智慧城市的大数据共享方法及装置 | |
| CN111209323A (zh) | 一种空间地理信息大数据处理*** | |
| CN114925043B (zh) | 基于时空网格块数据的应用方法、装置及电子设备 | |
| CN116522272A (zh) | 一种基于城市信息单元的多源时空数据透明融合方法 | |
| CN113626437B (zh) | 一种海量矢量数据快速查询方法及*** | |
| CN112214483A (zh) | 一种城市信息模型中数据的分析、关联、存储和访问方法和装置 | |
| Goldin et al. | Georouting and delta-gathering: Efficient data propagation techniques for geosensor networks | |
| CN111897820A (zh) | 一种应用于智慧城市的多源异构数据存储方法 | |
| CN114896255A (zh) | 一种基于时空网格的块数据生成与展示方法及装置 | |
| CN115687300A (zh) | 一种城市信息模型的构建方法、装置、设备及介质 | |
| CN114969114A (zh) | 水利信息快速检索方法、***、计算机可读介质 | |
| CN114282847A (zh) | 一种房屋全生命周期地名地址体系及其建设方法 | |
| CN114385773A (zh) | 一种基于城市信息模型的智慧乡村可视化平台 | |
| CN109918767B (zh) | 一种基于用户信息的城市建模***及建模方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210608 Address after: 100083 705b, block B, Dongsheng building, 8 Zhongguancun East Road, Haidian District, Beijing Applicant after: Huang Keying Address before: 518000 B608, building 15, jiayushan, Xinyi, Longgang District, Shenzhen City, Guangdong Province Applicant before: Fan Xin |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210629 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |