CN113282692A - 一种智慧城市的大数据共享方法及装置 - Google Patents

一种智慧城市的大数据共享方法及装置 Download PDF

Info

Publication number
CN113282692A
CN113282692A CN202110561578.4A CN202110561578A CN113282692A CN 113282692 A CN113282692 A CN 113282692A CN 202110561578 A CN202110561578 A CN 202110561578A CN 113282692 A CN113282692 A CN 113282692A
Authority
CN
China
Prior art keywords
data
structured
lake
smart city
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110561578.4A
Other languages
English (en)
Inventor
齐维潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110561578.4A priority Critical patent/CN113282692A/zh
Publication of CN113282692A publication Critical patent/CN113282692A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了智慧城市的大数据共享方法，包括：获取传感器采集的时空大数据，时空大数据包括结构化及非结构化数据；对时空大数据进行资源描述框架RDF及相关本体描述，实现不同时空大数据之间的语义层级关联；将关联后的时空大数据进行数据源标记，并将标记后的时空大数据存储进数据湖中，数据湖包括业务层及源数据层；基于智慧城市不同的实例需求，将数据湖***为多个子数据湖；将每一个子数据湖进行半结构化处理，生成每一个半结构化智慧城市实例库，并存储至数据湖的业务层；接收政务云的业务驱动请求，对与业务驱动相关联的半结构化智慧城市实例库进行检索，并将最终检索结果共享至政务云中。

Description

一种智慧城市的大数据共享方法及装置
技术领域
本申请涉及数据处理技术领域，尤其涉及智慧城市的大数据共享方法及装置。
背景技术
城市信息模型(City Information Modeling，CIM)是对城市地上地下、室内室外各种实体目标及时空状态的数字化表达和描述，其反映城市规划、建设、发展以及运行，并且可用于城市规划决策、城市建设、城市管理等工作。
CIM是一个跨度很大的概念，涉及的行业包括规划、国土、交通、水利、安防、人防、环境保护、文物保护、能源燃气等各大行业及一切智慧城市相关的领域。
目前国内外对CIM尚缺乏***深入的研究，据《智慧城市背景下城市信息模型相关技术发展综述》论文中的观点，可尝试从构成CIM术语的三个单词初步分析其基本特征：首先是City，CIM要覆盖城市尺度，这里的“城市”可以实例化为某个城市或城区、某个园区、某个社区、某个院落等，但它对建模对象的描述能力应该是城市级的；其次是Information，CIM所容纳的信息应该是覆盖各种空间、时间维度的，是能支撑各种城市应用的，CIM中的信息可以描述城市各种物理或人文实体，具有多时态、多类型、多粒度级别、多来源等特点；最后是Modeling，即CIM要基于一定规则和方法，对上述信息按需进行组织、模拟、分析以及表达，更进一步地，可通过融合、挖掘、以及提炼新的知识，凝聚出智慧。
从CIM的当前发展来看，CIM主要与BIM(Building Information Modeling，建筑信息模型)、GIS(Geographic Information System，地理信息***)、以及IOT(Internet ofThings，物联网)等技术密切相关，同时还不可避免地需要应用到云计算、大数据等新一代信息技术。
现有技术中，CIM***由于数据量大，需要高并发，高可靠的云***予以支撑，并能够将不同的信息为不同职能部门的政府云所共享，但是，由于数据的多样性及复杂性，数据共享会涉及到多种冗余数据一起发送给政府云，例如交通部分只需要某一地区在上下班高峰期的拥堵情况，但接收到的数据却是全局的24小时的GIS数据，容易造成网络拥塞及数据资源浪费。
发明内容
本申请实施例提供一种智慧城市的大数据共享方法，用于解决现有技术中智慧城市场景下大数据共享容易造成网络拥塞及数据资源浪费的问题。
本发明实施例提供一种智慧城市的大数据共享方法，包括：
云服务器获取传感器采集的时空大数据，所述时空大数据包括结构化及非结构化数据；
对所述时空大数据进行资源描述框架RDF及相关本体描述，实现所述不同时空大数据之间的语义层级关联；
将关联后的时空大数据进行数据源标记，并将标记后的所述时空大数据存储进数据湖中，所述数据湖包括业务层及源数据层；
基于所述智慧城市不同的实例需求，将所述数据湖***为多个子数据湖，其中每一个子数据湖与每一个所述智慧城市实例一一对应；
将所述每一个子数据湖进行半结构化处理，生成每一个半结构化智慧城市实例库，并存储至所述数据湖的业务层；
接收政务云的业务驱动请求，对所述与业务驱动相关联的半结构化智慧城市实例库进行检索，并将最终检索结果共享至所述政务云中。
可选地，将所述数据湖***为多个子数据湖，包括：
基于所述时间关联关系，和/或空间关联关系，和/或语义关联关系，将所述数据湖***为所述多个子数据湖，其中，所述不同子数据湖的数据源种类不相同。
可选地，所述对所述与业务驱动相关联的半结构化智慧城市实例库进行检索，包括：
将所述半结构化智慧城市实例库拆分为结构化数据及非结构化数据；
利用全文检索及关系图谱的方式对所述非结构化数据进行检索，获取第一检索结果；
利用K-V关系型检索方式对所述结构化数据进行检索，获取第二检索结果；
将所述第一检索结果与所述第二检索结果进行并集，获取第三检索结果，所述第三检索结果为所述最终检索结果。
可选地，将所述每一个子数据湖进行半结构化处理，包括：
获取每一个子数据湖的结构化数据及非结构化数据；
将结构化数据按照32Byte大小分解为多个结构化字段，并设立每一字段的序号和结构化数据的标记P和结束符E，与所述多个结构化字段组成结构化报文；
将非结构化数据按照64Byte大小分解为多个非结构化字段，并设立每一字段的序号和非结构化数据的标记M和结束符N，与所述多个非结构化字段组成非结构化报文；
将所述结构化报文和所述非结构化报文进行组合，生成半结构化报文。
可选地，对所述时空大数据进行资源描述框架RDF及相关本体描述，包括：
从数据湖中的HDFS文件***读取所述标记后的时空大数据的数据集；
将所述数据集拆分成子数据集，并将所述子数据集按照分布式计算规则分配给不同的云节点；
针对每个所述云节点上的子数据集同步进行RDF及相关本体描述；
将描述后的结果重新写入所述HDFS。
可选地，若所述智慧城市实例需求为建筑信息模型BIM，则将所述数据湖***为多个子数据湖，包括：
将所述数据湖按照数据源归属关系进行***，所述数据源归属关系包括BIM能耗归属、BIM安全归属及BIM流量归属。
可选地，若所述智慧城市实例需求为地理信息***GIS类型，则将所述数据湖***为多个子数据湖，包括：
将所述数据湖按照地理归属关系进行***，所述地理归属关系包括省市归属、街区归属及道路归属。
可选地，若所述智慧城市实例需求为工业物联IoT类型，则将所述数据湖***为多个子数据湖，包括：
将所述数据湖按照IoT采集设备类型进行***，所述IoT采集设备类型包括摄像头、温湿度传感器及安全预警传感器。
本发明实施例还提供一种装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。
本发明实施例提供的方法，将时空大数据存储至数据湖，并基于不同的智慧城市实例***为多个高关联的子数据湖，同时将子数据湖中的数据进行半结构化处理，将不同类型的数据进行归一化存储，节约存储空间，在政府云需要相关实例数据后，只将对应的实例数据发送至政务云，降低了数据传输的冗余度，提升了数据传输效能，节约了网络资源。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为一个实施例中智慧城市大数据共享的流程示意图；
图2为智慧城市的数据湖架构拓扑图；
图3为智慧城市的数据湖***示意图；
图4为一个实施例中装置的硬件组成示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
智慧城市可以分为四个层级，第一个层级是感知层，即通过各种各样的城市“神经末梢”(物联网设备)采集数据，例如各类摄像头、温度传感器、湿度传感器、水压传感器、移动终端等，负责在不同时间不同地点采集不同类型的数据，第二个层级是通信层，负责将不同时间不同地点采集到的数据按照一定的通信协议进行上传并汇总，第三层是平台层，在接收到数据之后，对海量数据进行存储和管理，完成数据清洗并提供有效的数据供城市管理者提供决策，第四层为应用层，当有用的数据提取之后，即为城市的方方面面提供服务，例如智慧交通、智慧楼宇、智慧医疗及智慧电力等。
智慧城市的核心在于打破信息孤岛，使得海量数据可连接，可存储及可查询，如何构建一个足够大的云储存，并在较短时间内为决策者提供知识图谱将是一个非常关键的核心问题。
在本发明实施例中，智慧城市云服务的网络架构可分为四层，第一层为感知层，感知层中包含了各种各样的IoT设备，用于在不同时间不同地址采集不同类型的数据，例如，GIS数据、BIM数据和各类IoT数据(例如，温湿度传感器、视频采集终端等采集的温度、湿度、图像数据)。感知层中，各个IOT设备处于多模异构无线(Multimode HeterogeneousWireless Network，MHWN)网络。本发明实施例中，MHWN网络是一种多模异构网络。多模异构网络是包含有多种类型节点和多种类型关系的网络，它将相互重叠的不同类型网络融合起来以，从而满足未来终端的业务多样性需求，且MHWN网络被配置为可以根据通信或业务的动态和差异化要求而在多种通信网络之间进行动态的选择和切换。第二层为汇聚层，即接入层，汇聚层中包含了多个数据传输***DTS，每一个DTS负责汇总当前小区cell内所有IoT设备上报的数据，并传输至核心层，其中，汇聚层可以使用软件定义SDN的无线电技术融合多种通信网络，数据传输单元能够通过所述多种通信网络中的一种或多种通信，实现SDR功能的软件模块可运行于MHWN网络。第三层为核心层，核心层为网络切片的虚拟组网结构，即由网络功能虚拟化NFV进行配置，用于对上报的数据进行分级决策，其中，NFV是核心层的底层平台架构。该MHWN网络的接入网。第四层为应用层，当核心层进行了分析决策之后，即进行各种不同的应用。
图1是本发明实施例的其中一个智慧城市大数据共享方法的流程图，如图1所示，该方法包括：
S101、云服务器获取传感器采集的时空大数据，所述时空大数据包括结构化及非结构化数据；
在本发明实施例中，时空大数据表示与时间、空间相关联的所有类型的数据，在智慧城市领域，CIM时空大数据有各种不同的数据源及数据类型，典型的如地理信息***GIS数据、建筑信息模型BIM数据和物联网IoT数据。GIS数据、BIM数据和IoT数据属于智慧城市云网络中不同类型的数据，不同源，可以同时或分时进行数据采集，其中，每一个采集到的数据中，均具备时间和空间的标识，时间可用时刻T来表示，如T0-Tn-1表示有N个时刻，地区可以用行政区、街道、GPS经纬度等不同类型不同格式的方式来表示，例如：广东省->深圳市->南山区->粤海街道来从大到小进行地区标识。典型的GIS数据更多应用于电子地图，例如区域、街道、各个建筑物、公园、学校等信息，典型的BIM数据是一个建筑物、一个学校里面更细分的维度，例如建筑物能耗、通风、排布等数据，IoT数据是一切物联设备数据的统称，对于应用于智慧城市的数据而言，典型的IOT数据包括温度传感器、湿度传感器、监控设备等。
其中，时空大数据包括结构化数据(例如XML、TXT、GPS等)和非结构化数据(例如图像、音视频等)。由处于感知层的各种不同的传感器(数据源)采集并汇总，从而发送给云。典型的传感器包括温湿度传感器、GPS终端、监控摄像头等。
S102、对所述时空大数据进行资源描述框架RDF及相关本体描述，实现所述不同时空大数据之间的语义层级关联；
资源描述框架(Resource Description Framework，RDF)是一个使用XML语法来表示的资料模型(Data model)，用来描述Web资源的特性，及资源与资源之间的关系。RDF是W3C在1999年2月22日所颁布的一个建议(Recommendation)，制定的目的主要是为元数据在Web上的各种应用提供一个基础结构(Infrastructure)使应用程序之间能够在Web上交换元数据，以促进网络资源的自动化处理。
RDF资料模型是一种与语法无关(Syntax neutral)的表示法。如果两个RDF语法对应的资料模型相同，则代表这两个RDF语法具有同样的意义，反过来说，如果两个RDF语法具有同样的意义，则它们的资料模型应该相同。RDF的基本资料模型包括了三个对象类型(Object types)：
资源(Resource)：所有以RDF表示法来描述的东西都叫做资源，它可能是一个网站，可能是一个网页，可能只是网页中的某个部分，甚至是不存在于网络的东西，如纸本文献、器物、人等。在RDF中，资源是以统一资源标识(URI，Uniform Resource Indentifiers)来命名，统一资源***(URL，Uniform Resource Locators)、统一资源名称(URN，UniformResource Names)都是URI的子集。
属性(Properties)：属性是用来描述资源的特定特征或关系，每一个属性都有特定的意义，用来定义它的属性值(Value)和它所描述的资源形态，以及和其它属性的关系。RDF的(Property，Property value)在概念上和传统的(Attribute，Attribute value)是相同的。
陈述(Statements)：特定的资源以一个被命名的属性与相应的属性值来描述，称为一个RDF陈述，其中资源是主词(Subject)，属性是述词(Predicate)，属性值则是受词(Object)，陈述的受词除了可能是一个字符串，也可能是其它的资料形态或是一个资源。
在计算机领域，本体(Ontology)可以在语义层次上描述知识，可以看成描述某个学科领域知识的一个通用概念模型。
在本发明实施例中，为了满足不同数据的语义关联关系，云服务器将时空大数据进行关联化，具体地，通过RDF-本体的描述语境，将不同数据源采集到的数据进行描述，从而能够推导出不同种类数据的关联关系，典型的关联关系包括归属关系(例如道路拥堵属于交通的一种描述)以及并列关系(例如深圳市南山区和深圳市龙岗区)等。
举例而言，经过RDF-本体描述后的语义关系，可以为：“建筑物A-12层-空调的电能消耗-1000焦耳/小时”。
在其中一个实施例中，由于数据量大，因此需要分布式计算规则进行RDF和本体描述，具体可以为：
从数据湖中的HDFS文件***读取所述标记后的时空大数据的数据集；
将所述数据集拆分成子数据集，并将所述子数据集按照分布式计算规则分配给不同的云节点；分布式存储是一种数据存储技术，通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。
针对每个所述云节点上的子数据集同步进行RDF及相关本体描述；
将描述后的结果重新写入所述HDFS。
S103、将关联后的时空大数据进行数据源标记，并将标记后的所述时空大数据存储进数据湖中，所述数据湖包括业务层及源数据层；
在语义关联后，云服务器将时空大数据进行数据源标记，即将不同的时空大数据按照数据来源进行标记，例如图像是由监控摄像头拍摄获取到的，因此图像数据的数据源为监控摄像头。对时空大数据按照数据源进行标记有一个好处在于，不同的时空数据的组合呈现往往具备一定的经济价值和使用价值，例如GPS终端的GPS数据与监控摄像头的视频数据组合，可以精确定位出哪一个时刻在哪一个地方出现的突发情况，该数据组合离不开GPS数据源和监控摄像头数据源，同理，其他场景的数据组合也需要在海量数据中提前进行标记数据源，以提前为不同的使用场景进行预判。
不同于数据仓库的概念，数据湖或DataLake的概念最初是由大数据厂商提出的，表面上看，数据都是承载在基于可向外扩展的HDFS(Hadoop分布式文件***)廉价存储硬件之上的。但数据量越大，越需要各种不同种类的存储。最终，所有的企业数据都可以被认为是大数据，但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。数据湖的一部分价值是把不同种类的数据汇聚到一起，另一部分价值是不需要预定义的模型就能进行数据分析。现在的大数据架构是可扩展的，并且可以为用户提供越来越多的实时分析。数据湖架构面向多数据源的信息存储，包括物联网在内。大数据分析或归档可通过访问数据湖处理或交付数据子集给请求用户。
图2是数据湖的架构拓扑图，如图2所示，数据湖主要包括源数据层和业务层，并通过管理单元和计算引擎来进行数据的存储及管控。其中，源数据层包括各类结构化及非结构化源数据，业务层则应用于智慧城市，源数据经过处理后存放至业务层，通过业务层与智慧城市中不同政务云的交互，将不同的数据共享至不同的智慧城市政务云中。数据湖的管理主要分为任务管理、访问控制、元数据管理及数据治理四个方面，计算引擎则是数据湖的处理能力的体现，包括大数据的批处理、流处理、交互式处理及机器学习处理等。
S104、基于所述智慧城市不同的实例需求，将所述数据湖***为多个子数据湖，其中每一个子数据湖与每一个所述智慧城市实例一一对应；
将所述数据湖***为多个子数据湖，可以是基于所述时间关联关系，和/或空间关联关系，和/或语义关联关系，将所述数据湖***为所述多个子数据湖，其中，所述不同子数据湖的数据源种类不相同。时间关联关系，例如一段时间内所有数据，或连续时间段内同一数据源的数据变化；空间关联关系，例如某一街道的多个建筑物；语义关联关系，例如不同省-市-区的归属关系，或并列关系等。
在本发明实施例中，智慧城市不同的实例需求来自于不同政务部门的实际需求，例如交通部门要求提供某道路在7-9点的交通流量，环保部门要求某建筑的电能消耗，土地规划部门要求某区域中全部医院的等级规划等，要求各异，因此需要的数据组合(数据集)以及呈现方式也就不同，因此，不适宜将传统的数据集合都发送给每一个政务云，而是需要将所需要的数据发送给对应的政务云。以交通部门为例，所需要的数据包括摄像头采集的汽车流量、GPS终端定位的汽车经纬度和速度信息、GIS提供的地图信息等，则该实例所需要的数据源来自于摄像头、GPS终端和GIS设备，且时间约定在7-9点。因此，数据湖中可***为与该实例对应的子数据湖，该子数据湖的数据来源包括摄像头A，GPS终端B和GIS设备C。同理，其他的子数据湖可以与其他的智慧城市实例需求一一对应。
上述的***过程可以如图3所示，图3中，数据湖的数据来源包括传感器A,B,C,D,E,F...，根据智慧城市实例***为5个子数据湖，其中，子数据湖1的数据来源包括A,C,D；子数据湖2的数据来源包括A,D,F...。在本发明实施例中，子数据湖还可以再一次进行***(二次***)，组成更小的智慧城市实例对应的二次子数据湖。
可选地，若所述智慧城市实例需求为建筑信息模型BIM，则将所述数据湖***为多个子数据湖，具体为：
将所述数据湖按照数据源归属关系进行***，所述数据源归属关系包括BIM能耗归属(例如XX建筑物的电能消耗)、BIM安全归属(例如XX建筑物的防火设施)及BIM流量(例如XX建筑物中进出闸门人数)归属。
可选地，若所述智慧城市实例需求为地理信息***GIS类型，则将所述数据湖***为多个子数据湖，具体为：
将所述数据湖按照地理归属关系进行***，所述地理归属关系包括省市归属、街区归属及道路归属。
可选地，若所述智慧城市实例需求为工业物联IoT类型，则将所述数据湖***为多个子数据湖，具体为：
将所述数据湖按照IoT采集设备类型进行***，所述IoT采集设备类型包括摄像头、温湿度传感器及安全预警传感器。
S105、将所述每一个子数据湖进行半结构化处理，生成每一个半结构化智慧城市实例库，并存储至所述数据湖的业务层；
为了方便归档并尽可能提升存储效率，本发明实施例将结构化数据和非结构化数据归一化，并定义了一种存储格式，以免出现结构化和非结构化数据分开存储，导致存储空间不连续，有存储空档而无法连续存储，造成部分存储资源浪费。
半结构化处理的具体方式为：
获取每一个子数据湖的结构化数据及非结构化数据；
将结构化数据按照32Byte大小分解为多个结构化字段，并设立每一字段的序号和结构化数据的标记P和结束符E，与所述多个结构化字段组成结构化报文；
将非结构化数据按照64Byte大小分解为多个非结构化字段，并设立每一字段的序号和非结构化数据的标记M和结束符N，与所述多个非结构化字段组成非结构化报文；
将所述结构化报文和所述非结构化报文进行组合，生成半结构化报文，将该半结构化报文存储在业务层中。
S106、接收政务云的业务驱动请求，对所述与业务驱动相关联的半结构化智慧城市实例库进行检索，并将最终检索结果共享至所述政务云中。
在本发明实施例中，针对非结构化数据，可以通过关键词搜索智慧城市的业务场景，即，采取全文检索及关系图谱的方法。其中全文检索主要是针对文档检索，关系图谱是基于源数据中的实体、属性、联系形成的，最终实现检索结果的相关性排序；全文检索主要分为两个过程，索引创建和搜索索引。本发明实施例中，引入了智慧城市要素关系图谱，以此作为检索的索引，该关系图谱由多个传感器源数据以及结构化的带标签的数据提取实体、属性和关联关系而得，所属关系图谱根据智慧城市要素数据之间的归属关联、空间关联的至少一种得到。
针对结构化数据，一般采用K-V形式存储在缓存中。K-V存储是根据应用场景分类的，基于历史数据可以确定目前正在发生的场景，场景分类主题是Key，具体的场景数据是Value。比如实时报表型的需求，该模式能提供更好的实时性。可以采用K-V检索方式对该类数据进行检索。
综上，在本发明实施例中，检索过程包括：
将所述半结构化智慧城市实例库拆分为结构化数据及非结构化数据；
利用全文检索及关系图谱的方式对所述非结构化数据进行检索，获取第一检索结果；
利用K-V关系型检索方式对所述结构化数据进行检索，获取第二检索结果；
将所述第一检索结果与所述第二检索结果进行并集，获取第三检索结果，所述第三检索结果为所述最终检索结果。
本发明实施例提供的方法，将时空大数据存储至数据湖，并基于不同的智慧城市实例***为多个高关联的子数据湖，同时将子数据湖中的数据进行半结构化处理，将不同类型的数据进行归一化存储，节约存储空间，在政府云需要相关实例数据后，只将对应的实例数据发送至不同智能部门的政务云，降低了数据传输的冗余度，提升了数据传输效能，节约了网络资源。
本发明实施例还包括一种装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令用于执行上述实施例中的方法。
本发明实施例还提供一种装置，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。
图4为一个实施例中装置的硬件组成示意图。可以理解的是，图4仅仅示出了装置的简化设计。在实际应用中，装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出***、处理器、控制器、存储器等，而所有可以实现本申请实施例的大数据管理方法的装置都在本申请的保护范围之内。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。
输入***用于输入数据和/或信号，以及输出***用于输出数据和/或信号。输出***和输入***可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，***或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程***。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种智慧城市的大数据共享方法，其特征在于，包括：
云服务器获取传感器采集的时空大数据，所述时空大数据包括结构化及非结构化数据；
对所述时空大数据进行资源描述框架RDF及相关本体描述，实现所述不同时空大数据之间的语义层级关联；
将关联后的时空大数据进行数据源标记，并将标记后的所述时空大数据存储进数据湖中，所述数据湖包括业务层及源数据层；
基于所述智慧城市不同的实例需求，将所述数据湖***为多个子数据湖，其中每一个子数据湖与每一个所述智慧城市实例一一对应；
将所述每一个子数据湖进行半结构化处理，生成每一个半结构化智慧城市实例库，并存储至所述数据湖的业务层；
接收政务云的业务驱动请求，对所述与业务驱动相关联的半结构化智慧城市实例库进行检索，并将最终检索结果共享至所述政务云中。
2.根据权利要求1所述的方法，其特征在于，将所述数据湖***为多个子数据湖，包括：
基于所述时间关联关系，和/或空间关联关系，和/或语义关联关系，将所述数据湖***为所述多个子数据湖，其中，所述不同子数据湖的数据源种类不相同。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述与业务驱动相关联的半结构化智慧城市实例库进行检索，包括：
将所述半结构化智慧城市实例库拆分为结构化数据及非结构化数据；
利用全文检索及关系图谱的方式对所述非结构化数据进行检索，获取第一检索结果；
利用K-V关系型检索方式对所述结构化数据进行检索，获取第二检索结果；
将所述第一检索结果与所述第二检索结果进行并集，获取第三检索结果，所述第三检索结果为所述最终检索结果。
4.根据权利要求1所述的方法，其特征在于，将所述每一个子数据湖进行半结构化处理，包括：
获取每一个子数据湖的结构化数据及非结构化数据；
将结构化数据按照32Byte大小分解为多个结构化字段，并设立每一字段的序号和结构化数据的标记P和结束符E，与所述多个结构化字段组成结构化报文；
将非结构化数据按照64Byte大小分解为多个非结构化字段，并设立每一字段的序号和非结构化数据的标记M和结束符N，与所述多个非结构化字段组成非结构化报文；
将所述结构化报文和所述非结构化报文进行组合，生成半结构化报文。
5.根据权利要求1所述的方法，其特征在于，对所述时空大数据进行资源描述框架RDF及相关本体描述，包括：
从数据湖中的HDFS文件***读取所述标记后的时空大数据的数据集；
将所述数据集拆分成子数据集，并将所述子数据集按照分布式计算规则分配给不同的云节点；
针对每个所述云节点上的子数据集同步进行RDF及相关本体描述；
将描述后的结果重新写入所述HDFS。
6.根据权利要求1所述的方法，其特征在于，若所述智慧城市实例需求为建筑信息模型BIM，则将所述数据湖***为多个子数据湖，包括：
将所述数据湖按照数据源归属关系进行***，所述数据源归属关系包括BIM能耗归属、BIM安全归属及BIM流量归属。
7.根据权利要求1所述的方法，其特征在于，若所述智慧城市实例需求为地理信息***GIS类型，则将所述数据湖***为多个子数据湖，包括：
将所述数据湖按照地理归属关系进行***，所述地理归属关系包括省市归属、街区归属及道路归属。
8.根据权利要求1所述的方法，其特征在于，若所述智慧城市实例需求为工业物联IoT类型，则将所述数据湖***为多个子数据湖，包括：
将所述数据湖按照IoT采集设备类型进行***，所述IoT采集设备类型包括摄像头、温湿度传感器及安全预警传感器。
9.一种装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1至8任一项所述的方法。
CN202110561578.4A 2021-05-22 2021-05-22 一种智慧城市的大数据共享方法及装置 Withdrawn CN113282692A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110561578.4A CN113282692A (zh) 2021-05-22 2021-05-22 一种智慧城市的大数据共享方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110561578.4A CN113282692A (zh) 2021-05-22 2021-05-22 一种智慧城市的大数据共享方法及装置

Publications (1)

Publication Number Publication Date
CN113282692A true CN113282692A (zh) 2021-08-20

Family

ID=77280813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110561578.4A Withdrawn CN113282692A (zh) 2021-05-22 2021-05-22 一种智慧城市的大数据共享方法及装置

Country Status (1)

Country Link
CN (1) CN113282692A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114416792A (zh) * 2022-01-11 2022-04-29 中国人民解放军国防科技大学 一种基于概率的数据流处理方法及***
CN114553487A (zh) * 2022-01-22 2022-05-27 郑州工程技术学院 一种基于图谱的访问控制方法及***
CN115204269A (zh) * 2022-06-15 2022-10-18 南通市测绘院有限公司 一种基于时空基准的城市治理数据融合方法及***
CN115439618A (zh) * 2022-04-28 2022-12-06 朱俊丰 智慧园区信息模型***
TWI799349B (zh) * 2022-09-15 2023-04-11 國立中央大學 利用本體論整合城市模型及物聯網開放式標準之智慧城市應用方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114416792A (zh) * 2022-01-11 2022-04-29 中国人民解放军国防科技大学 一种基于概率的数据流处理方法及***
CN114553487A (zh) * 2022-01-22 2022-05-27 郑州工程技术学院 一种基于图谱的访问控制方法及***
CN115439618A (zh) * 2022-04-28 2022-12-06 朱俊丰 智慧园区信息模型***
CN115204269A (zh) * 2022-06-15 2022-10-18 南通市测绘院有限公司 一种基于时空基准的城市治理数据融合方法及***
CN115204269B (zh) * 2022-06-15 2024-03-12 南通市测绘院有限公司 一种基于时空基准的城市治理数据融合方法及***
TWI799349B (zh) * 2022-09-15 2023-04-11 國立中央大學 利用本體論整合城市模型及物聯網開放式標準之智慧城市應用方法

Similar Documents

Publication Publication Date Title
CN113282692A (zh) 一种智慧城市的大数据共享方法及装置
Feng et al. A survey on trajectory data mining: Techniques and applications
Xu et al. Participatory sensing-based semantic and spatial analysis of urban emergency events using mobile social media
JP7300797B2 (ja) スケーラブルな時空密度データの融合
Xu et al. Application of a graph convolutional network with visual and semantic features to classify urban scenes
Hu et al. Spatial data infrastructures
CN111708778B (zh) 一种大数据管理的方法与***
EP2902913A1 (en) Device management apparatus and device search method
Mazhar Rathore et al. Advanced computing model for geosocial media using big data analytics
Ding et al. SeaCloudDM: a database cluster framework for managing and querying massive heterogeneous sensor sampling data
CN111726403B (zh) 一种跨云平台的大数据管理的方法与***
Xiang et al. Flood Markup Language–A standards-based exchange language for flood risk communication
CN111209323A (zh) 一种空间地理信息大数据处理***
Silva et al. Applications of geospatial big data in the Internet of Things
Rehman et al. Building socially-enabled event-enriched maps
Ali et al. Enabling spatial digital twins: Technologies, challenges, and future research directions
Badii et al. A smart city development kit for designing Web and mobile Apps
He et al. Perceiving commerial activeness over satellite images
Gubareva et al. Literature Review on the Smart City Resources Analysis with Big Data Methodologies
Saeed et al. Incorporating big data and IoT in intelligent ecosystems: state-of-the-arts, challenges and opportunities, and future directions
Joglekar et al. Data oriented view of a smart city: A big data approach
Bou et al. Streamingcube-based analytical framework for environmental data analysis
Shrivastava A review of spatial big data platforms, opportunities, and challenges
KR20210074550A (ko) 스마트시티 서비스를 위한 시공간 빅데이터 처리 시스템
Bhattacharya et al. Location Intelligence for Augmented Smart Cities Integrating Sensor Web and Spatial Data Infrastructure (SmaCiSENS).

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210820

WW01 Invention patent application withdrawn after publication