CN111885643A - 一种应用于智慧城市的多源异构数据融合方法 - Google Patents

Abstract

本申请公开了应用于智慧城市的多源异构数据融合方法，包括：数据传输单元DTS采集多个终端设备上传的数据，所述数据类型包括物联网IoT数据、地理信息***GIS数据和建筑信息模型BIM数据，其中，所述采集到的数据均包括地区属性参数和时间属性参数，所述多个终端设备采用多源异构网络进行组网，所述DTS处于数据汇聚层；所述DTS对所述采集到的数据进行归一化处理，生成多源异构数据格式报文数据，其中，所述多源异构数据格式报文数据包括：8字节报头、1024字节负荷区及16字节报尾，所述负荷区包括地理属性参数、时间属性参数及不同类型的数据集合；所述DTS将所述归一化处理后的数据发送至核心层。

Description

一种应用于智慧城市的多源异构数据融合方法

技术领域

本申请涉及数据处理技术领域，尤其涉及应用于智慧城市的多源异构数据融合方法。

背景技术

城市信息模型(City Information Modeling，CIM)是对城市地上地下、室内室外各种实体目标及时空状态的数字化表达和描述，其反映城市规划、建设、发展以及运行，并且可用于城市规划决策、城市建设、城市管理等工作。

CIM是一个跨度很大的概念，涉及的行业包括规划、国土、交通、水利、安防、人防、环境保护、文物保护、能源燃气等各大行业及一切智慧城市相关的领域。

目前国内外对CIM尚缺乏***深入的研究，据《智慧城市背景下城市信息模型相关技术发展综述》论文中的观点，可尝试从构成CIM术语的三个单词初步分析其基本特征：首先是City，CIM要覆盖城市尺度，这里的“城市”可以实例化为某个城市或城区、某个园区、某个社区、某个院落等，但它对建模对象的描述能力应该是城市级的；其次是Information，CIM所容纳的信息应该是覆盖各种空间、时间维度的，是能支撑各种城市应用的，CIM中的信息可以描述城市各种物理或人文实体，具有多时态、多类型、多粒度级别、多来源等特点；最后是Modeling，即CIM要基于一定规则和方法，对上述信息按需进行组织、模拟、分析以及表达，更进一步地，可通过融合、挖掘、以及提炼新的知识，凝聚出智慧。

从CIM的当前发展来看，CIM主要与BIM(Building Information Modeling，建筑信息模型)、GIS(Geographic Information System，地理信息***)、以及IOT(Internet ofThings，物联网)等技术密切相关，同时还不可避免地需要应用到云计算、大数据等新一代信息技术。

现有技术中，对于多源异构的数据只是应用层中分别通过不同的数据库指令调取不同类型数据以供数据分析，尚没有一种通用的、针对CIM的数据格式，以方便对数据进行类型提取及时空的分析。因此，其数据融合程度低。

发明内容

本申请实施例提供一种应用于智慧城市的多源异构数据融合方法，用于解决现有技术中智慧城市场景下多源异构数据融合程度低的问题。

本发明实施例提供一种应用于智慧城市的多源异构数据融合方法，包括：

数据传输单元DTS采集多个终端设备上传的数据，所述数据类型包括物联网IoT数据、地理信息***GIS数据和建筑信息模型BIM数据，其中，所述采集到的数据均包括地区属性参数和时间属性参数，所述多个终端设备采用多源异构网络进行组网，所述DTS处于数据汇聚层；

所述DTS对所述采集到的数据进行归一化处理，生成多源异构数据格式报文数据，其中，所述多源异构数据格式报文数据包括：8字节报头、1024字节负荷区及16字节报尾，所述负荷区包括地理属性参数、时间属性参数及不同类型的数据集合；

所述DTS将所述归一化处理后的数据发送至核心层。

可选地，所述1024字节负荷区存储顺序依次为：

第一个8字节地区属性参数、第一个IoT组合集、第一个GIS组合集、第一个BIM组合集、第二个8字节地区属性参数、第二个IoT组合集、第二个GIS组合集、第二个BIM组合集、第N个8字节地区属性参数、第N个IoT组合集、第N个GIS组合集、第N个BIM组合集和8字节时间属性参数，其中N为大于2的自然数。

可选地，所述生成多源异构数据格式报文数据，包括：

IoT类型标识、第一组IoT组合集、第二组IoT组合集、第N组IoT组合集、GIS类型标识、第一组GIS组合集、第二组GIS组合集、第N组GIS组合集、BIM类型标识、第一组BIM组合集、第二组BIM组合集、第N组BIM组合集和8字节地区属性参数，其中N为大于2的自然数。

可选地，所述生成多源异构数据格式报文数据，包括：

第一个8字节地区属性参数、第一个IoT组合集、第一个GIS组合集、第一个BIM组合集、第二个8字节时间属性参数、第二个IoT组合集、第二个GIS组合集、第二个BIM组合集、第N个8字节时间属性参数、第N个IoT组合集、第N个GIS组合集、第N个BIM组合集和8字节地区属性参数，其中N为大于2的自然数。

可选地，所述每一IoT组合集、BIM组合集或GIS组合集均为16字节，且当所述每一IoT组合集、BIM组合集或GIS组合集的有效数据长度不足16字节时，用0来代替剩余数据位。

可选地，在生成多源异构数据格式报文数据之后，所述方法还包括：

所述DTS根据不同时间、不同地区及不同数据类型的要求，将所述多源异构数据进行拼装，并将拼装后的数据发送至所述核心网。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为智慧城市的多源异构网络架构拓扑图；

图2为一个实施例中多源异构数据融合的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

智慧城市可以分为四个层级，第一个层级是感知层，即通过各种各样的城市“神经末梢”(物联网设备)采集数据，例如各类摄像头、温度传感器、湿度传感器、水压传感器、移动终端等，负责在不同时间不同地点采集不同类型的数据，第二个层级是通信层，负责将不同时间不同地点采集到的数据按照一定的通信协议进行上传并汇总，第三层是平台层，在接收到数据之后，对海量数据进行存储和管理，完成数据清洗并提供有效的数据供城市管理者提供决策，第四层为应用层，当有用的数据提取之后，即为城市的方方面面提供服务，例如智慧交通、智慧楼宇、智慧医疗及智慧电力等。

智慧城市的核心在于打破信息孤岛，使得海量数据可连接，可存储及可查询，如何构建一个足够大的云储存，并在较短时间内为决策者提供知识图谱将是一个非常关键的核心问题。

智慧城市的数据类型多种多样，为了方便理解，本发明实施例选取了其中最典型三类数据，分别是地理信息显示***GIS、建筑信息模型BIM和物联网IoT。其中，GIS是在计算机硬、软件***支持下，对整个或部分地球表层(包括大气层)空间中的有关地理数据进行采集、储存、编辑、管理、分析、共享、以及展示的信息***。在城市信息模型CIM中，GIS需要提供六个方面的能力：1)建立统一坐标***，让各种城市信息对齐；2)提供二维三维一体化的基础底图；3)管理各BIM单体之间链接网络，如道路、管廊与管线等；4)提供拓扑关系空间分析能力；5)提供大规模建筑群的BIM数据管理能力；6)提供多种终端的支持，全方位满足CIM应用。BIM是设施的物理和功能特征的数字化表示，其可以用作设施信息的共享知识资源，成为设施全生命期决策的可靠基础。IOT是通信网和互联网的拓展应用和网络延伸，它通过对物理世界进行感知识别、计算、处理以及知识挖掘，在信息的充分交互和链接的基础上，实现人与物、物与物之间的信息交互和无缝链接，从而达到对物理世界实时控制、精确管理以及科学决策。其中，物联网网络架构由感知层、网络层和应用层组成。感知层实现对物理世界的智能感知识别、信息采集处理以及自动控制，并通过通信模块将物理实体连接到网络层和应用层。网络层主要实现信息的传递、路由以及控制，网络层可依托公众电信网和互联网，也可以依托行业专用通信网络。应用层包括应用基础设施中间件和各种物联网应用，应用基础设施中间件为物联网应用提供信息处理、计算等通用基础服务设施、能力以及资源调用接口,以此为基础实现物联网在众多领域的各种应用。

GIS通常是对城市或区域对象建立空间模型，其最主要的目的是描述城市或区域尺度的地理空间对象，而较少关注细节。但BIM关注设施或建筑物尺度对象的内部细节，但很少用于除设施或建筑物外的其他对象。由此，设施或建筑物对象的内部细节由BIM模型定义和表达，设施或建筑物外部更大尺寸的对象由GIS描述，即对区域或城市尺寸内全部物理实体进行描述时需要集成GIS和BIM的信息和功能。

在工程的施工建造及运维阶段，建筑、设备、设施等物体的状态会动态变化，而BIM无法完全满足关于这些物体状态信息采集和传递需求。因此，需要引入IOT技术来完成环境和物体动态信息的采集、以及该动态信息与BIM已描述的静态信息的关联。BIM和IOT技术的集成，能够衔接设计阶段的虚拟与建造运维阶段的现实，使各个工程阶段的BIM交付成果的一致性和可交互性得以保障。

GIS作为物联网各种对象的统一空间载体，其信息源的数量和质量直接影响到物联网应用的广度和深度。物联网建设时期，基于基础地理信息可以实现传感器布设的分析和选择，实现终端布设的科学性和合理性。传感器网络建成后，通过基础地理信息平台可以实现传感器的定位、追踪、查找、以及控制，最终把所有的物联对象都落到统一的空间平台上，在该平台上可以直观、生动、形象、以及快速地找到所需信息。亦即，GIS是一种能让物联网更加智慧、有序、以及直观好用的核心技术。

在大尺度、大范围应用领域，通过接受某个地方的某个事件及其随时间的变化过程，地理信息技术根据已有的感知数据，不仅能够对现象的变化过程做出判断，还能对过去做出回溯以及对未来做出预测。亦即，物联网为GIS提供了一种新的信息采集方法，拓展了GIS的管理范畴。

图1示出了本发明实施例的一个多源异构网络架构，如图1所示，在本发明实施例中，如图1所示，多源异构网络架构可分为四层，第一层为感知层，感知层中包含了各种各样的IoT设备，用于在不同时间不同地址采集不同类型的数据，例如，GIS数据、BIM数据和各类IoT数据(例如，温湿度传感器、视频采集终端等采集的温度、湿度、图像数据)。感知层中，各个IOT设备处于多模异构无线(Multimode Heterogeneous Wireless Network，MHWN)网络。本发明实施例中，MHWN网络是一种多模异构网络。多模异构网络是包含有多种类型节点和多种类型关系的网络，它将相互重叠的不同类型网络融合起来以，从而满足未来终端的业务多样性需求，且MHWN网络被配置为可以根据通信或业务的动态和差异化要求而在多种通信网络之间进行动态的选择和切换。第二层为汇聚层，即接入层，汇聚层中包含了多个数据传输***DTS，每一个DTS负责汇总当前小区cell内所有IoT设备上报的数据，并传输至核心层，其中，汇聚层可以使用软件定义SDN的无线电技术融合多种通信网络，数据传输单元能够通过所述多种通信网络中的一种或多种通信，实现SDR功能的软件模块可运行于MHWN网络。第三层为核心层，核心层为网络切片的虚拟组网结构，即由网络功能虚拟化NFV进行配置，用于对上报的数据进行分级决策，其中，NFV是核心层的底层平台架构。该MHWN网络的接入网。第四层为应用层，当核心层进行了分析决策之后，即进行各种不同的应用。

其中，多种通信网络包括宽带网络和窄带网络，所述宽带网络包括公用移动通信网络和/或无线局域网络，所述公用移动通信网络包括但不限于3G、4G和5G网络中的至少一种，所述无线局域网络包括但不限于WiFi网络，所述窄带网络包括但不限于NB-IoT(NarrowBand Internet of Things，窄带物联网)网络、LTE-M(LTE-Machine toMachine，LTE机器对机器)网络、LoRa(Long Range Radio，远距离无线电)网络中的至少一种。

其中，数据传输单元可起到连接不同网络的作用。数据传输单元因支持多种网络，它可以和多模无线基站通过多种通信网络中的一种或多种通信，它也可以通过终端所支持的通信方式与终端通信，从而实现了不同类型的终端与不同类型的基站之间的网络连接。

其中，当该网络应用于物联网，所述终端可包括感知设备，所述感知设备可包括传感器和/或执行器。从更广泛的应用领域来说，所述终端包括但不限于倾斜摄影、车辆(vehicles)、船舶(ships)、飞机(airplanes)、卫星(satellites)、智能家居产品(smarthome products)、气象设备(meteorological devices)、环保设备(environmentalprotection devices)、传感器(sensors)、消防设备(fire-fighting devices)、手机(cellphones)、医疗器械(medical instruments)等。

(1)终端通过其与数据传输单元的连接(例如，Bluetooth，Zigbee，Z-wave，WiFi，Wpan等)将其自身的数据发送至数据传输单元；本发明实施例对于终端和数据传输单元的连接方式不予限制。

(2)数据传输单元将终端的数据通过MHWN网络进行传输，其中，MHWN网络在NFV网络单元的控制下，可选择通过LTE、WiFi和IoT等多种不同通信网络对数据进行传输，其中，NFV可基于多种选项实现对网络回传的智能选择，不限于可选网络的覆盖或容量情况，还包括基于上层业务请求或数据业务特征的调度。例如，数据传输单元获取的来自传感器的数据，可以通过IoT网络传输；数据传输单元获取的来自视频监控设备的视频数据，可以通过LTE或者WiFi网络传输等。NFV核心网络单元与MHWN网络之间可通过有线或无线进行连接，其中，所述LTE可以被5G或更高的通信标准替代，其中，IOT可包括LoRa(LoRaWAN)，NB-IoT等等。

图2是本发明实施例的其中一个多源异构数据融合方法流程图，如图2所示，该方法包括：

S101、数据传输单元DTS采集多个终端设备上传的数据，所述数据类型包括物联网IoT数据、地理信息***GIS数据和建筑信息模型BIM数据，其中，所述采集到的数据均包括地区属性参数和时间属性参数，所述多个终端设备采用多源异构网络进行组网，所述DTS处于数据汇聚层；

为了方便说明，定义IoT数据为A1，A2,A3,A4…An数组，GIS数据为B1,B2,B3,B4…Bn数组，BIM数据为C1,C2,C3,C4…Cn数组。在该数组中，每一个数据均具备数据属性参数，即时间和空间属性，时间属性可用时间属性参数来表示，如t₀-t_n-1，空间属性即可按照行政区、行政街道等进行划分，其划分的格式和标准可自定义，但不同类型之间的数据需要统一。

S102、所述DTS对所述采集到的数据进行归一化处理，生成多源异构数据格式报文数据，其中，所述多源异构数据格式报文数据包括：8字节报头、1024字节负荷区及16字节报尾，所述负荷区包括地理属性参数、时间属性参数及不同类型的数据集合；

DTS将采集到的数据进行归一化处理，尤其是需要将数据报文格式进行规范化及标准化，为此，本发明实施例设置了一套报文格式及协议，用于方便在数据汇总及整理时按照此协议进行数据处理。

对于时空大数据而言，需要将不同时间、不同空间及不同类型的数据进行整理和收集，并且在需要时按需调用不同的数据，本发明实施例中，数据分类格式有3类，第一类是在时间、空间确定时，按照数据类型进行整理和分类；第二类是在类型、时间确定时，按照空间(地理)进行整理和分类，第三类是在类型、空间确定时，按照时间进行整理和分类。三种数据格式应用场景是不同的，第一种偏向于调研某一地区某时期的总体城市情况，需要将不同类型的数据进行融合，并进行数据分析，提供决策依据，第二种偏向于不同地区(例如北京和上海)的、某时期的某一细分类型(例如甲级办公楼)的总体情况，第三种偏向于某一地区、某一细分类型按照时间变迁的变化情况和趋势判断(例如深圳某甲级办公楼的用电变化情况)。对于三种不同应用场景而言，其数据格式是不同的。

对于数据报文格式而言，通常由报头、净负荷(payload)和报尾组成，报文设置为8字节，报尾设置为16字节，二者数据长度错开，并且设置为特定编码格式的字节，以方便进行报文的拆分和重组，通常而言，报头和报尾具备报文的ID信息，在数据处理时可通过ID信息进行报文识别，并按照顺序进行提取。此外，为了数据冗余度考虑，报文8个字节，报尾16个字节是最合适的，报文包括起始位，报尾包括结束位，且报文和报尾组合起来可唯一定义一个报文ID。

净负荷设置为1024字节，这样加上报文和报尾，整个报文长度不超过536字节，数据长度较为适中，满足高速低延时的数据传输标准。

因此，在本发明实施例中，存在上述三种不同的净负荷设置，第一种应用于当类型和时间固定，查看不同地区的场景，其数据格式定义为：第一个8字节地区属性参数、第一个IoT组合集、第一个GIS组合集、第一个BIM组合集、第二个8字节地区属性参数、第二个IoT组合集、第二个GIS组合集、第二个BIM组合集、第N个8字节地区属性参数、第N个IoT组合集、第N个GIS组合集、第N个BIM组合集和8字节时间属性参数，其中N为大于2的自然数。例如，IoT组合集为A1，A2,A3..An，GIS组合集为B1,B2,B3…Bn,BIM组合集为C1,C2,C3…Cn。地区属性参数为D1,D2,D3…Dn。那么该格式可以为D1,A1,B1,C1,D2,A2,B2,C2…Dn,An,Bn,Cn。

第二种设置应用于当地区和时间固定，查看不同数据类型的场景，其数据格式定义为：IoT类型标识、第一组IoT组合集、第二组IoT组合集、第N组IoT组合集、GIS类型标识、第一组GIS组合集、第二组GIS组合集、第N组GIS组合集、BIM类型标识、第一组BIM组合集、第二组BIM组合集、第N组BIM组合集和8字节地区属性参数，其中N为大于2的自然数。

第三种设置应用于当地区和类型固定，查看不同时间类型的场景，其数据格式定义为：第一个8字节时间属性参数、第一个IoT组合集、第一个GIS组合集、第一个BIM组合集、第二个8字节时间属性参数、第二个IoT组合集、第二个GIS组合集、第二个BIM组合集、第N个8字节时间属性参数、第N个IoT组合集、第N个GIS组合集、第N个BIM组合集和8字节地区属性参数，其中N为大于2的自然数。

其中，所述每一IoT组合集、BIM组合集或GIS组合集均为16字节，且当所述每一IoT组合集、BIM组合集或GIS组合集的有效数据长度不足16字节时，用0来代替剩余数据位，直到补充为16字节数据为止。若有效数据长度高于16字节时，则拆分为N组数据，其中从第一组一直到第N-1组为16字节，第N组不足16字节时，用0代替剩余的数据位，直到补充到16字节为止。

所述DTS根据不同时间、不同地区及不同数据类型的要求，将所述多源异构数据进行拼装，并将拼装后的数据发送至所述核心网。

S103、所述DTS将所述归一化处理后的数据发送至核心层。

上述提供的技术方案，解决了现有技术中智慧城市场景下多源异构数据融合程度低的问题，提高了数据融合度，并可基于不同的场景自适应定义数据格式，方便后续进行数据调用及数据处理。

以上上述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种应用于智慧城市的多源异构数据融合方法，其特征在于，包括：

数据传输单元DTS采集多个终端设备上传的数据，所述数据类型包括物联网IoT数据、地理信息***GIS数据和建筑信息模型BIM数据，其中，所述采集到的数据均包括地区属性参数和时间属性参数，所述多个终端设备采用多源异构网络进行组网，所述DTS处于数据汇聚层；

所述DTS对所述采集到的数据进行归一化处理，生成多源异构数据格式报文数据，其中，所述多源异构数据格式报文数据包括：8字节报头、1024字节负荷区及16字节报尾，所述负荷区包括地理属性参数、时间属性参数及不同类型的数据集合；

所述DTS将所述归一化处理后的数据发送至核心层。

2.根据权利要求1所述的方法，其特征在于，所述1024字节负荷区存储顺序依次为：

第一个8字节地区属性参数、第一个IoT组合集、第一个GIS组合集、第一个BIM组合集、第二个8字节地区属性参数、第二个IoT组合集、第二个GIS组合集、第二个BIM组合集、第N个8字节地区属性参数、第N个IoT组合集、第N个GIS组合集、第N个BIM组合集和8字节时间属性参数，其中N为大于2的自然数。

3.根据权利要求1所述的方法，其特征在于，所述生成多源异构数据格式报文数据，包括：

IoT类型标识、第一组IoT组合集、第二组IoT组合集、第N组IoT组合集、GIS类型标识、第一组GIS组合集、第二组GIS组合集、第N组GIS组合集、BIM类型标识、第一组BIM组合集、第二组BIM组合集、第N组BIM组合集和8字节地区属性参数，其中N为大于2的自然数。

4.根据权利要求1所述的方法，其特征在于，所述生成多源异构数据格式报文数据，包括：

第一个8时间地区属性参数、第一个IoT组合集、第一个GIS组合集、第一个BIM组合集、第二个8字节时间属性参数、第二个IoT组合集、第二个GIS组合集、第二个BIM组合集、第N个8字节时间属性参数、第N个IoT组合集、第N个GIS组合集、第N个BIM组合集和8字节地区属性参数，其中N为大于2的自然数。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述每一IoT组合集、BIM组合集或GIS组合集均为16字节，且当所述每一IoT组合集、BIM组合集或GIS组合集的有效数据长度不足16字节时，用0来代替剩余数据位。

6.根据权利要求1所述的方法，其特征在于，在生成多源异构数据格式报文数据之后，所述方法还包括：

所述DTS根据不同时间、不同地区及不同数据类型的要求，将所述多源异构数据进行拼装，并将拼装后的数据发送至所述核心网。

Images