CN116193295A - 一种多元物联数据融合与统一的数据处理方法 - Google Patents

Abstract

本公开的实施例提供了一种多元物联数据融合与统一的数据处理方法。所述方法包括物联网网关自适应采集感知设备数据，并对所采集的数据进行匹配过滤；物联网网关对匹配过滤后的数据进行数据融合，并进行实时分析计算及数据持久化存取；物联网网关将融合后的数据通过统一应用层协议传输给物联网云平台。以此方式，可以通过有源配电网综合边缘代理协同控制，实现多源异构数据的统一调度与处理。

Description

一种多元物联数据融合与统一的数据处理方法

技术领域

本公开涉及物联网领域，尤其涉及多元物联数据融合与统一的数据处理技术领域。

背景技术

随着物联网技术的快速发展,各类智能终端的数据采集需求在不断增长。传统的物联网网关程序开发，主要是对于特定的业务场景、数据协议做开发。由于各类智能设备数据传输协议、格式各异，如果设备、协议或者业务场景出现变化，需要进行对应的网关程序做业务变更，每种设备的数据采集都需要有针对性的做适配开发,采集设备无法复用,造成二次开发的复杂性；开发周期与开发难度都比较大。数据采集量增长也会造成数据传输带宽增长,并增加云端压力。

发明内容

本公开提供了一种多元物联网数据融合与统一的数据处理方法。

根据本公开的第一方面，提供了一种多元物联网数据融合与统一的数据处理方法。该方法包括：物联网网关自适应采集感知设备数据，并对所采集的数据进行匹配过滤；物联网网关对匹配过滤后的数据进行数据融合，并进行实时分析计算及数据持久化存取；物联网网关将融合后的数据通过统一应用层协议传输给物联网云平台。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述物联网网关自适应采集感知设备数据包括：根据物联网云平台下发的采集数据任务，实时采集各类设备数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，物联网网关对匹配过滤后的数据进行数据融合包括：物联网网关根据物联网云平台订阅的数据模型服务下发的静态模型，实现采集模型融合及上送模型融合；实时分析计算及数据持久化存取包括：物联网网关根据物联网云平台订阅的算法所关心的设备与数据服务主题，执行服务算法，完成数据分析与关联处理；根据物联网云平台订阅的设备与数据服务主题，对融合后的数据执行相应的存/取服务。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，物联网网关将融合后的数据通过统一应用层协议传输给物联网云平台包括：物联网网关根据物联网云平台订阅所配置的设备与数据上送服务主题，获取对应的上送模型数据，进行协议转换上送。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述协议转换包括：进行上送模型数据的协议自适应转换。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述感知设备根据统一的预设设备编码、数据编码规范进行设备编码和数据编码；所述模型根据预设的数据建模规范建模。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述模型是由物联网云平台训练完成后下载到物联网网关的；物联网网关利用实时数据来对所述模型进行后续训练。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述设备编码为感知设备地址，所述数据编码包括数据主体和数据项。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：进行物联网设备的物模型建模；所述物模型包括物联网设备的基本信息和设备服务信息。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：通过物模型的监测对象与全息电网模型的电网资源唯一ID建立关联关系，将所述物联网设备的物模型与电网全息模型进行融合。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。附图用于更好地理解本方案，不构成对本公开的限定在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了能够在其中实现本公开的实施例的示例性运行环境的示意图；

图2示出了能够在其中实现本公开的实施例的多元物联网数据融合与统一的数据处理方法的示意图；

图3示出了根据本公开实施例的物模型结构框架示意图；

图4示出了根据本公开的实施例的物联网网关分析计算示意图；

图5示出了根据本公开的实施例的数据模型云边协同机制示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1示出了能够在其中实现本公开的实施例的示例性运行环境100的示意图；

在一些实施例中，边缘代理终端(物联网网关)通过统一传输协议，对各传感器设备数据进行统一传输，上传到物联网云平台，供数字孪生***平台进行处理。

在一些实施例中，边缘代理终端(物联网网关)将云平台下发的控制指令发送给光伏、储能、可调负荷和用电负荷，对整个台区宏观调控，实施调节、控制、集成多端口。

图2示出了能够在其中实现本公开的实施例的多元物联网数据融合与统一的数据处理方法200的示意图。

在框210，物联网网关自适应采集感知设备数据，并对所采集的数据进行匹配过滤；

在一些实施例中，物联网网关设备与感知设备(智能传感器)之间基于预设通讯定义规范进行通信，以采集感知设备数据。

在一些实施例中，以电力物联网设备为例，所述感知设备包括充电桩、空气源空调、光伏、温湿度传感器、水浸传感器、烟雾传感器、视频球机、智能轨道机器人、配电中压开关柜局放监测传感器、红外成像监测装置、变压器测温传感器等等。所述感知设备组成感知网络。

主要的接入方式可分为有线接入和无线接入。

在一些实施例中，由于不同的感知网络中，采用不同的协议封装形式封装所采集的感知信息，这将导致不同的感知网络间数据的软隔离，一方面，物理上已相互连接的感知网络之间无法完成通信，另一方面，感知网络无法与核心交换网络完成通信进而导致感知数据无法被远程访问，因此物联网智能网关需要具有异构网络互通的能力，需要具有监测控制管理的能力和兼容新节点接入的能力；同时，需要所有的智能网关节点使用标准化的通信方式。综上所述，结合物联网应用场景，为规范物联网接入的传感设备地址分配，统一智能网关设备与下行设备通信，本公开实施例中采用了适用于智能传感器与物联网关设备之间的通讯定义规则。

在一些实施例中，根据统一的物联网设备数据编码规范来确保物联网设备编码的唯一性和数据编码的规范性，为数字孪生平台的资产管理和数据建模提供支撑。其中，物联网设备数据编码主要分为设备编码和数据编码两部分，编码对象包括：物联网设备，包括物联网网关设备和感知设备，其编码体系如下：设备编码：主要对物联网设备进行编码，用于标识设备在数字孪生平台中的唯一身份编码。数据编码：主要是对物联网设备的数据能力进行规范化编码，包括数据主题、数据项定义。数据主题，主要用于数据分类，识别出物联网设备的不同数据类型，如电能表的数据主题可分为运行数据、抄表数据和告警数据。数据项，是物联网设备最小颗粒的数据描述，用于描述物联网设备的某一具体数据，包括数据名称、数据描述、数据类型、数据长度等，类似于数据库数据字典。

在一些实施例中，设备编码可以是感知设备地址，即传感器设备地址；传感器设备地址根据传感器厂家、类别、功能分配，智能网关常规配置提供多路RS485串口和网口，可自由适配，物联网中使用到的传感器统一通过RS485串口或网口接入到智能网关设备上。其中RS485通讯传感器设备地址范围应在1～128区间，地址分配原则按照厂家不同而分配不同的地址，如表1所示。

表1配电物联网传感器地址分配表

注：默认地址是指设置设备的初始地址，实际使用中会根据实际接入情况进行修改。

在一些实施例中，将上述物联网设备的物模型与电网全息模型，例如SG-CIM(国家电网企业公共信息模型)进行融合，实现物联网设备与电网一次设备、物模型与全息电网模型的数据融合，为电网业务应用使用物联网设备数据提供基础支撑。。

在一些实施例中，所述物模型，即定义物联网设备的特征信息和服务能力的数据模型，包含设备基本信息、设备服务(属性、事件、命令)等信息。物模型的设备编码及数据能力属性遵循《电力物联网设备数据编码规范》的编码规则，如附图图3所示。

在一些实施例中，使用面向对象的方法进行物联网设备的物模型建模。通过物模型建模，数字孪生平台可以快速、全面地识别物联网设备及其服务能力，为物联网设备的快速接入奠定基础。

在一些实施例中，基于生产***台账，采用SG-CIM(即国家电网企业公共信息模型)建模规范，构建以电力一次设备为主涵盖发电、输电、配电、用电领域的全息电网模型。通过物模型的监测对象与全息电网模型的电网资源唯一ID建立关联关系，实现物联网设备与电网一次设备、物模型与全息电网模型的数据融合。

以电网的生产***台账设备台账为基础，梳理主配网一次设备的设备类别及功能位置结构；然后，梳理和建立生产台账设备类别与电网SGCIM模型的对应关系(如生产台账的变压器映射为电网SGCIM模型的Transformer对象)，同时从台账设备梳理出全息建模所必须的数据信息(如功能位置编号、上级功能位置编号等)；将梳理出来的主配网一次设备功能结构及数据信息，按照SG-CIM建模规范以及生产台账设备类别与电网SG-CIM模型映射关系，生成统一的全息电网模型。建模时，全息电网模型中的“rdf:ID”(即电网资源唯一ID)应与生产台账的功能位置编码保持一致。在物联网设备物模型的设备基本信息中，扩展监测对象、监测位置信息，用于描述物联网设备所监测的电网一次设备及其位置信息。通过物模型的监测对象与全息电网模型的“rdf:ID”(即电网资源唯一ID)建立关联关系，实现物联网设备与电网一次设备、物模型与全息电网模型的数据融合，为电网业务应用使用物联网设备数据提供基础支撑。

在一些实施例中，物联网网关设备对所采集的数据进行匹配过滤以便进行后期的边缘计算；其中，所述匹配过滤包括：

字符串匹配解析：由于感知设备的自配置性，需要进行匹配解析。判断所采集的数据是否匹配，若是，则进行匹配模式解析；若否，则进行非匹配模式解析；最终解析得到真实数据。其中，所述解析为字符串匹配，为了便于数据的输入与读取，采用字节匹配来解析需要的字节。主要分为匹配模式与非匹配模式，匹配模式为一盒数据帧的全部匹配，例如0203 0405 06；非匹配模式主要是用对数据帧较长，可通过数据字节数移动字节操作来提取。

边缘数据过滤：边缘数据过滤主要采用增量阈值与最大最小值两种方式。对本次获得的数据与一次的数据作差，求取差值占本次采集值的百分比，大于增量阈值时保留数据，否则丢弃数据；最大值最小值采用比较法，将解析转换的结果对比预设的最大值最小值判定数据是否保留。以便将所述保留的数据上传物联网云平台(配电联网平台)。

在一些实施例中，依据南向设备数据模型，数据采集、分析计算、数据存取，均以服务的方式由物联网云平台(配电联网平台)向物联网网关(边缘侧数据中心)发起请求与订阅。其中，采集服务，实时采集各类设备数据，分别向边缘侧数据中心实时发布采集数据任务。边缘计算服务，向边缘侧数据中心订阅算法所关心的设备与数据服务主题，以便边缘侧数据中心执行服务算法，完成数据分析与关联处理。数据持久化存/取服务，向边缘侧数据中心订阅所配置的设备与数据服务主题，以便边缘侧数据中心执行相应的存/取服务。数据上送服务，向边缘侧数据中心订阅所配置的设备与数据上送服务主题，以便边缘侧数据中心获取对应的上送模型数据，进行协议转换上送。

在一些实施例中，物联网网关根据物联网云平台(配电联网平台)下发的采集数据任务，实时采集各类设备数据。

在一些实施例中，所述自适应采集是采集间隔的自适应性，即数据在边缘侧进行预处理，进行有针对性数据过滤，自适应调整采集间隔，在减少数据量的同时也不会造成关键数据丢失。

在框220，物联网网关对匹配过滤后的数据进行数据融合，并进行实时分析计算及数据持久化存取；

在一些实施例中，如图4所示，物联网网关对匹配过滤后的数据进行数据融合，并进行实时分析计算及数据持久化存取。

在一些实施例中，物联网网关根据物联网云平台(配电联网平台)订阅的数据模型服务下发的静态模型，实现采集模型融合及上送模型融合。

在一些实施例中，物联网网关根据物联网云平台(配电联网平台)订阅的算法所关心的设备与数据服务主题，执行服务算法，完成数据分析与关联处理；包括根据模型原始数据，调取计算数据、历史数据进行实时分析计算，得到计算结果数据。

在一些实施例中，如数据模型云边协同机制示意图图5所示，物联网网关进行计算的模型是基于云边协同技术，由物联网云平台训练完成后下载到物联网网关的。物联网网关在执行计算任务的同时,也会利用实时采集的数据来对模型进行进一步的训练，以便向物联网云平台优先上送高级别预警数据，解决了物联网云平台的压力问题，减少网络传输的数据量，保证预警数据快速上送。通过与云数据中心协同，建立已有模型(有源配电网应用场景模型)在物联网网关(边缘侧)的迭代更新机制，实现云边数据流高效联动和一致的数据服务。

在一些实施例中，物联网网关根据物联网云平台(配电联网平台)订阅的设备与数据服务主题，对融合后的数据执行相应的存/取服务；包括沉淀历史数据、调取历史数据。

在框230，物联网网关将融合后的数据通过统一应用层协议传输给物联网云平台；

在一些实施例中，物联网网关根据物联网云平台(配电联网平台)订阅所配置的设备与数据上送服务主题，获取对应的上送模型数据，进行协议转换上送。

在一些实施例中，物联网网关(配电物联网设备智能网关)采用MQTT协议统一接入到物联网云平台(配电联网平台)，遵循预设的设备编码、数据编码和数据建模规范。其中，预设数据建模规范包括：建模时，主题和负载应采用格式。建模以传感器(如物联网网关、烟雾传感器、温度传感器等)为对象，尽量将对象用途相似的数据项，采集频率相同的数据项，建模应采用同一个主题来上报数据。其中，设备编码、数据编码如前所述，在此不再赘述。

根据本公开的实施例，基于云边协同，从物联网网关(边缘代理装置)与物联网云平台(智能感知云)的硬件资源、数据格式、通信接口、安全协议、传输吞吐率等方面出发，实现了边缘代理装置与智能感知云的数据处理，减少了网络传输的数据量，提高了云计算的计算效率，协同完成用户业务需求，通过数据之间协作缓存，快速响应，实现区域内“感知自治”，增强了协同工作的实时性。

根据本公开的实施例，实现了以下技术效果：

针对不同厂家、不同型号的感知层设备规范不统一，接入难和协议解析耗时长的问题，建立统一设备数据模型，实现设备统一模型、统一编码规范、统一通信协议，满足配电网场景化应用。

物联网网关支持电力多种通信规约自动切换、智能适配多种接口类型电力物联网终端，支撑多种物联设备的快捷灵活接入。

针对有源配电网终端设备数据的接入与转发，实现了物联网云平台与储能、光伏等子***的对接，实现了有源配电网数据采集处理和控制策略向物联网网关的下发。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种多元物联网数据融合与统一的数据处理方法，包括：

物联网网关自适应采集感知设备数据，并对所采集的数据进行匹配过滤；

物联网网关对匹配过滤后的数据进行数据融合，并进行实时分析计算及数据持久化存取；

物联网网关将融合后的数据通过统一应用层协议传输给物联网云平台。

2.根据权利要求1所述的方法，其中，所述物联网网关自适应采集感知设备数据包括：根据物联网云平台下发的采集数据任务，实时采集各类设备数据。

3.根据权利要求1所述的方法，其中，物联网网关对匹配过滤后的数据进行数据融合包括：

物联网网关根据物联网云平台订阅的数据模型服务下发的静态模型，实现采集模型融合及上送模型融合；

实时分析计算及数据持久化存取包括：

物联网网关根据物联网云平台订阅的算法所关心的设备与数据服务主题，执行服务算法，完成数据分析与关联处理；根据物联网云平台订阅的设备与数据服务主题，对融合后的数据执行相应的存/取服务。

4.根据权利要求1所述的方法，其中，物联网网关将融合后的数据通过统一应用层协议传输给物联网云平台包括：

物联网网关根据物联网云平台订阅所配置的设备与数据上送服务主题，获取对应的上送模型数据，进行协议转换上送。

5.根据权利要求4所述的方法，其中，所述协议转换包括：

进行上送模型数据的协议自适应转换。

6.根据权利要求3或4所述的方法，其中，所述方法还包括：

根据统一的预设设备编码、数据编码规范进行物联网设备编码和数据编码；所述模型根据预设的数据建模规范建模。

7.根据权利要求6所述的方法，其中，所述模型是由物联网云平台训练完成后下载到物联网网关的；物联网网关利用实时数据来对所述模型进行后续训练。

8.根据权利要求6所述的方法，其中，所述设备编码为感知设备地址，所述数据编码包括数据主体和数据项。

9.根据权利要求6所述的方法，其中，所述方法还包括：

进行物联网设备的物模型建模；所述物模型包括物联网设备的基本信息和设备服务信息。

10.根据权利要求9所述的方法，其中，所述方法还包括：

通过物模型的监测对象与全息电网模型的电网资源唯一ID建立关联关系，将所述物联网设备的物模型与电网全息模型进行融合。

Images