CN112214541A - 一种电力监测数据的深度解耦与数据协同方法 - Google Patents

Abstract

本发明公开了一种电力监测数据的深度解耦与数据协同方法，属于电力监测技术领域。本发明采用storm架构和Python语言作为电力监测数据挖掘工具，设计各类拥有不同作用的技术模块，并将各部分模块***整合，构建一套详细的数据监测流程体系，使得数据通过一系列模块，完成电力监测数据的深度挖掘，最终实现电力监测数据的深度解耦和数据协同。本发明提高数据质量、确保数据的可靠性、准确性、及时性、有效性，从而实现对供电企业数据的全方位质量管理，保障数据的集成和挖掘应用。

Description

一种电力监测数据的深度解耦与数据协同方法

技术领域

本发明涉及一种电力监测数据的深度解耦与数据协同方法，属于电力监测技术领域。

背景技术

随着智能电网技术的深入发展，传感器技术、物联网技术和通信技术的不断进步，电网数据以几何指数增长，同时这些数据呈多样性、实时性、易失性和无限性，许多数据是需要持续监测的流式数据。这些电力***大数据中，隐含着巨大的商业价值和社会价值，通过对这些海量数据的挖掘，可以得到更大价值。

电力大数据包含以下特点：

（1）数量大，在智能电网建设中，各种通信和传感设备产生海量数据，且这些数据增长速度越来越快。

（2）数据类型多，电网数据呈多样化发展趋势，如文本、视频、音频等非结构化数据快速增长。

（3）响应速度快，电力设备从监测、诊断到检修过程中产生的数据要实时处理。

（4）数据准确性高，电力数据的准确性涉及到电力***的各个方面，故其准确性要高。

而大数据处理的关键就是解决数据质量问题，规避数据错误、保障数据质量才能真正让企业从大数据应用中获得利益，保证数据质量是大数据为企业带来价值的先决条件。大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。近几年，电力行业信息化也得到了长足的发展，从初始电力生产自动化到80年代以财务电算化为代表的管理信息化建设，再到近年大规模的企业信息化建设，特别伴随着下一代智能化电网的全面建设，以物联网和云计算为代表的新一代IT技术在电力行业中的广泛应用，电力数据资源开始急剧增长并形成了一定的规模。

随着供电企业信息化持续建设与深化应用，供电企业各项业务已与信息化初步融合，信息***内业务数据的数量和种类的逐步增多，数据共享需求迫切。而数据质量和数据共享利用水平不高，一是数据对分析决策支持度低，同一数据存在多个数多源、统计口径不一致；二是数据对运营管理的支持度有待提高，数据质量参差不齐，部分数据无业务***支持，缺乏统一的规范、标准和明确的数据问责；三是数据质量管控滞后，管控工作片面化，没有形成一个完整性的数据质量管控体系和全面有效的数据质量保障机制，制约数据价值的深度挖掘。

目前，常规的基础架构和技术方案在处理海量、异构的电网数据时，局限性很大，对智能电网环境下多元数据处理时其可靠性和实时性都较差。当电力设备处于极端恶劣环境下，如大雾、冰雨、风暴和雷暴等，电力设备由于监测值越限而频繁的向监测中心发送报警数据，从而在监测中心出现监测数据的井喷现象，现有平台对数据的接收和处理无法满足实际要求，实时性得不到满足，进而导致数据的丢失和覆盖。

综上，现有电力数据处理，一般是在远程中控管理平台，对数据进行分析处理，处理效率低、实时性差，远未达到电力数据智能化的处理要求。

发明内容

有鉴于现有技术的上述缺陷，本发明提出了一种电力监测数据的深度解耦与数据协同方法，以提高数据质量、确保数据的可靠性、准确性、及时性、有效性，从而实现对供电企业数据的全方位质量管理，保障数据的集成和挖掘应用。

本发明为解决其技术问题采取如下技术方案：

一种电力监测数据的深度解耦与数据协同方法，包括如下步骤：

（1）数据接入平台或边缘设备后，传输存储到数据库；

（2）采用Storm架构，对数据进行实时传输和归一化全景数据集合处理，然后转入数据处理模型；

（3）数据按照统一数据模型，进行数据梳理，得出有序数据；

（4）数据源迁移；

（5）数据包进行格式归类，生成.CSV格式文件；

（6）Pandas结构化数据集处理工具集、创建合并数据表；

（7）利用Merge函数对合并数据表进行交集处理、实现匹配合并；

（8）利用Append函数对匹配合并数据集进行重塑处理，建立时间序列与监测对象的物理映射；

（9）通过Levels进程建立有益信息推断钥匙机制，实现基于数据特征的分组标记；

（10）利用Group_by和Pivote_table函数对分组标记数据集进行相关性合并与冗余度校验；

（11）给出融合时间和空间序列的全景数据复现集，通过Pyecharts类库，实现边缘计算模型下的数据可视化。

步骤（3）中所述数据梳理包括按照电力设备物资多维状态数据区，校验数据区、固定结束字节区数据分区，以及时间序列对各区进行数据包实时解码工作。

步骤（4）的具体过程如下：数据梳理后，根据数据处理模块分布，将数据送到不同区域进行处理：如果是本地边缘计算处理的数据，融入边缘计算模型；如果是平台处理，数据传输到平台。

一种电力监测数据的深度解耦与数据协同***，包括整合数据传输与存储模块、Storm架构处理模块、数据梳理模块、数据源迁移模块、边缘处理模块、平台处理模块、结构化数据处理模块、交集处理和匹配合并模块、数据融合模块、特征融合模块和融合数据可视化模块，其中所述整合数据传输与存储模块、Storm架构处理模块、数据梳理模块和数据源迁移模块顺序连接，所述数据源迁移模块分别与边缘处理模块和平台处理模块连接，边缘处理模块和平台处理模块分别与结构化数据处理模块，所述结构化数据处理模块、交集处理和匹配合并模块、数据融合模块、特征融合模块和融合数据可视化模块顺序连接。

本发明的有益效果如下：

1、本发明基于边缘计算的软硬件深度解耦与数据协同子架构具有较好的数据融合与边缘数据迁移效能，实现了基于功能区划分的数据定位、基于冗余度分析的数据合并、数据集匹配合并及重塑处理等功能，提升了数据处理效率和实时性。

2、本发明通过构建基于数据特征的分组标记下的融合时间和空间序列的全景数据迁移集等基于边缘计算的软硬件深度解耦与数据协同子架构，提升完整寿命周期实现效能，为实现配电物联网架构下的软硬件深度解耦与数据协同提供有力支撑。

附图说明

图1是深度解耦与数据协同功能框图。

图2是深度解耦与数据协同方法流程图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下描述中，为了说明而不是为了限定，提出了诸如特定内部程序、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

本发明核心技术是采用storm架构和Python语言作为电力监测数据挖掘工具，通过整合数据传输与存储模块、Storm架构处理模块、数据梳理模块、数据源迁移模块、边缘/平台处理模块、结构化数据处理、交集处理和匹配合并、数据融合、特征融合、融合数据可视化等模块，最终实现电力监测数据的深度解耦数据协同。具体体现如深度解耦与数据协同功能框图，见图1。

架构：最基本的数据处理应用单元，是经过打包的拓扑作业，Storm 所处理的数据具有实时、连续的特征。Storm 框架相对于其他实时计算框架的最大优点为数据的可靠性处理，能够对数据处理进行跟踪。非常适用于数据需要被精确处理的领域。Storm 框架的强大之处在于集群计算的横向扩展能力，将整体计算分割成若干子任务在集群中实现并行计算。

Storm架构对数据处理的准确性要求不高，其注重对数据源数据进行实时结算并及时反馈结果，Storm采用分布式架构，具有可伸缩性，集群节点数的变化可以改变平台处理能力。这些平台负责数据的传输和任务的分配，用户只需要根据要求设计数据处理算法，不用考虑节点之间的交互。

语言：一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。

JavaScript是一种具有函数优先的轻量级，解释型或即时编译型的高级编程语言。

NumPy 是 Numerical Python 的简称，是一个 Python科学计算的基础包。它不但能够完成科学计算任务，而且还能够被用作高效的多维数据容器，可用于存储和处理大型矩阵。

CSV是一种通用的、相对简单的文件格式，被用户、商业和科学广泛应用。最广泛的应用是在程序之间转移表格数据，而这些程序本身是在不兼容的格式上进行操作的（往往是私有的和/或无规范的格式）。

Python的插件Pandas功能十分突出。Pandas具有非常方便快捷的数据处理功能，主要包括数据输入输出、数据清洗处理、数据挖掘3个方面。Pandas拥有强大的数据清理功能，可以对导入后的缺失数据进行高效填补和替换，对异常数据进行查询、删除等。

Merge函数根据数据处理规则，实现数据的兼容、合并；

Group_by和Pivote_table实现数据分组、标记列表；

append()函数实现在数据列表末尾添加新对象，isin()函数在原数据中只留下包含特定对象的数据。

PyEcharts是一个用于生成Echarts图表的类库。是使用Python语言进一步开发的接口，该接口调用必须要在Python环境下。Echarts是开源的商业级数据图表技术，是一个纯 JavaScript编写的图表库，支持众多的主流浏览器。被广泛应用于各种领域应用***中。

若采用本发明中的深度解耦与数据协同方法，数据将跟随模块的不同处理方式发生相应的变化，处理流程见图2，以下将结合流程图，具体介绍模块对数据的实施效果：

1、数据接入平台或边缘设备后，传输存储到数据库；

2、采用Storm架构，对数据进行实时传输和归一化全景数据集合处理，然后转入数据处理模型；

3、数据按照统一数据模型，进行数据梳理，包括按照电力设备物资多维状态数据区，校验数据区、固定结束字节区等数据分区，以及时间序列对各区进行数据包实时解码等工作，得出有序数据；

4、数据源迁移：数据梳理后，根据数据处理模块分布，将数据送到不同区域进行处理：如果是本地边缘计算处理的数据，融入边缘计算模型；如果是平台处理，数据传输到平台；

5、数据包进行格式归类，生成.CSV格式文件；

6、Pandas结构化数据集处理工具集创建合并数据表；

7、利用Merge函数对合并数据表进行交集处理、实现匹配合并；

8、利用Append函数对匹配合并数据集进行重塑处理，建立时间序列与监测对象的物理映射；

9、通过Levels进程建立有益信息推断钥匙机制，实现基于数据特征的分组标记；

10、利用Group_by和Pivote_table函数对分组标记数据集进行相关性合并与冗余度校验；

11、给出融合时间和空间序列的全景数据复现集，通过Pyecharts类库，实现边缘计算模型下的数据可视化。

以上详细描述了本发明的具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (4)

1.一种电力监测数据的深度解耦与数据协同方法，其特征在于，包括如下步骤：

（1）数据接入平台或边缘设备后，传输存储到数据库；

（2）采用Storm架构，对数据进行实时传输和归一化全景数据集合处理，然后转入数据处理模型；

（3）数据按照统一数据模型，进行数据梳理，得出有序数据；

（4）数据源迁移；

（5）数据包进行格式归类，生成.CSV格式文件；

（6）Pandas结构化数据集处理工具集、创建合并数据表；

（7）利用Merge函数对合并数据表进行交集处理、实现匹配合并；

（8）利用Append函数对匹配合并数据集进行重塑处理，建立时间序列与监测对象的物理映射；

（9）通过Levels进程建立有益信息推断钥匙机制，实现基于数据特征的分组标记；

（10）利用Group_by和Pivote_table函数对分组标记数据集进行相关性合并与冗余度校验；

（11）给出融合时间和空间序列的全景数据复现集，通过Pyecharts类库，实现边缘计算模型下的数据可视化。

2.根据权利要求1所述的一种电力监测数据的深度解耦与数据协同方法，其特征在于，步骤（3）中所述数据梳理包括按照电力设备物资多维状态数据区，校验数据区、固定结束字节区数据分区，以及时间序列对各区进行数据包实时解码工作。

3.根据权利要求2所述的一种电力监测数据的深度解耦与数据协同方法，其特征在于，步骤（4）的具体过程如下：数据梳理后，根据数据处理模块分布，将数据送到不同区域进行处理：如果是本地边缘计算处理的数据，融入边缘计算模型；如果是平台处理，数据传输到平台。

4.根据权利要求1所述的一种电力监测数据的深度解耦与数据协同方法，其特征在于，该方法采用的***包括整合数据传输与存储模块、Storm架构处理模块、数据梳理模块、数据源迁移模块、边缘处理模块、平台处理模块、结构化数据处理模块、交集处理和匹配合并模块、数据融合模块、特征融合模块和融合数据可视化模块，其中所述整合数据传输与存储模块、Storm架构处理模块、数据梳理模块和数据源迁移模块顺序连接，所述数据源迁移模块分别与边缘处理模块和平台处理模块连接，边缘处理模块和平台处理模块分别与结构化数据处理模块，所述结构化数据处理模块、交集处理和匹配合并模块、数据融合模块、特征融合模块和融合数据可视化模块顺序连接。

Images