CN109241169A - 配电网运行信息多源异构数据融合数据库集成方法 - Google Patents

Abstract

本发明涉及数据融合领域，具体公开了一种配电网运行信息多源异构数据融合数据库集成方法，具体包括：根据需求接入电网的不同的业务子***以获取目标数据集；对目标数据集进行分类；对分类后的目标数据集中，按照配电网络和网络原件之间的相互关联构建拓扑分析引擎；基于拓扑分析引擎，选择目标数据集中满足在相同时间断面，同时电压一致、电流和功率满足KCL定律的数据集，剔除不满足的数据集；构建基于正则化残差搜索法的数据融合模型剔除经拓扑分析处理后的目标数据集中的坏数据之后进行融合。该方法完成多源异构数据的融合，解决了配网多源异构运行信息的提取、集成与数据质量提升，实现对配电网历史数据与准实时数据的交叉复合深度分析。

Description

配电网运行信息多源异构数据融合数据库集成方法

技术领域

本发明属于数据融合领域，特别涉及一种配电网运行信息多源异构数据融合数据库集成方法。

背景技术

随着全球掀起大数据分析技术及人工智能技术的研究热潮，配电网信息化建设迎来了新的驱动力。数据是一切高级分析应用的基础，而将不同***来源、不同数据结构的数据进行有机融合是实现大数据分析的前提。

配电***作为连接输电***与终端用户的纽带，具有点多、线长、面广、结构复杂、管理环节交叉等基本特点。在配电网生产运维过程中，涉及到资产管理***、计量自动化***、调度自动化***等数十个业务***模块，各个***之间数据彼此独立，存在数据壁垒问题。

此外，随着智能电网建设的深入发展，配电网各业务***的专业方向不同、建设时间不同、架构不同，在运行过程中产生了大量的量测数据、业务表单数据、台账信息数据等结构多样、来源复杂，时间尺度不统一、空间尺度各异的多源异构数据。据统计，一个中等规模配电网每年将产生上百TB的数据，这些数据在各自业务***中相互独立，未能实现有效融合，数据效能未能得到充分的挖掘和发挥。对来自不同业务***、不同结构类型的配电网生产运行数据进行有效融合，是实现大数据分析的前提，是深入挖掘配电网运行数据间相关关系的基础，对进一步推进配网管理升级、数据驱动生产具有重要意义。

发明内容

本发明的目的在于提供一种配电网运行信息多源异构数据融合数据库集成方法，从而克服现有处理数据工作量大、效率低的缺陷。

为实现上述目的，本发明提供了一种配电网运行信息多源异构数据融合数据库集成方法，具体包括：

S1，根据需求接入电网的不同的业务子***以获取目标数据集以形成多源数据集；

S2，对所述目标数据集进行分类；

S3，对分类后的所述目标数据集中，按照配电网络和网络原件之间的相互关联构建拓扑分析引擎；

S4，基于拓扑分析引擎，选择所述目标数据集中满足在相同时间断面，同时电压一致、电流和功率满足KCL定律的数据集，剔除不满足的数据集；

S5，构建基于正则化残差搜索法的数据融合模型剔除经拓扑分析处理后的目标数据集中的坏数据之后进行融合。

优选的，上述技术方案中，若经步骤S5融合后发现数据异常，则返回步骤S4。

优选的，上述技术方案中，步骤S2具体包括：对所述目标数据集按电压等级，设备类型，采集量测类型进行分类。

优选的，上述技术方案中，所述电压等级分为：35kV，20kV，10kV；所述设备类型按不同的业务子***分为：变压器，开关柜，线路；所述采集量测类型分为：状态量和模拟量、实时数据和非实时数据。

优选的，上述技术方案中，步骤S4具体包括：按照配电网络和网络原件之间的相互关联构建拓扑分析引擎具体包括：

拓扑分析引擎的建立依赖以下原则：

1)根据网络连接关系，对网络中的断路器、开关建立依赖关系；

2)网络元件相互依赖的信息：开关位置信息、采集量测量的关系；

3)网络元件于数据的依赖关系，包括不同运行方式下的临时依赖和固定的依赖、开关位置与采集量测量的依赖、与历史数据的依赖；

4)网络元件于网络运行信息中的告警事件、SOE事件、保护***的信息依赖关系。

与现有的技术相比，本发明配电网运行信息多源异构数据融合数据库集成方法，利用数据接口提供的配网运行数据，实现配网网络***的拓扑分析，去除错误的数据，再利用传统的基尔霍夫定理及各业务子***的内部逻辑关系，建立数据融合模型，完成多源异构数据的融合解决了配网多源异构运行信息的提取、集成与数据质量提升，实现对配电网历史数据与准实时数据的交叉复合深度分析。

附图说明

图1是根据本发明的配电网运行信息多源异构数据融合数据库集成方法流程图。

图2是spark与MongoDB组合的数据处理与分析的框架。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

如图1所示，一种配电网运行信息多源异构数据融合数据库集成方法，具体包括：

S1，技术层面上使用spark、MongoDB组合的大数据处理与分析的框架，业务层面上根据需求接入电网的不同的业务子***的数据库集以获取一个或多个目标数据集以形成多源数据集。

S2，对目标数据集进行分类。对目标数据集按电压等级，设备类型，采集量测类型进行分类。电压等级分为：35kV，20kV，10kV；设备类型按不同的业务子***分为：变压器，开关柜，线路；采集量测类型分为：状态量和模拟量、实时数据和非实时数据。

S3，对分类后的目标数据集中，按照配电网络和网络原件之间的相互关联构建拓扑分析引擎。

拓扑分析引擎的建立依赖以下原则：

1)根据网络连接关系，对网络中的断路器、开关建立依赖关系；

2)网络元件相互依赖的信息：开关位置信息、采集量测量的关系；

3)网络元件于数据的依赖关系，包括不同运行方式下的临时依赖和固定的依赖、开关位置与采集量测量的依赖、与历史数据的依赖；

4)网络元件于网络运行信息中的告警事件、SOE事件、保护***的信息依赖关系。

S4，基于拓扑分析引擎的分析，选择目标数据集中满足在相同时间断面，同时电压一致、电流和功率满足KCL定律的数据集，剔除不满足的数据集。

对多源异构数据建立融合模型。对相互冗余的历史数据、稳态数据，采取不同的权重系数进行计算，也可以根据先验数据或者这些物理量的几何分布特点设计模型，采用平均值的办法进行融合。

基于S4构建满足KCL定律的数据融合模型，建立数据过滤匹配规则，从大量的历史数据、稳态数据中根据模型划分、融合，融合数据集经S5逐级分析。

S5，构建基于正则化残差搜索法的数据融合模型剔除经拓扑分析处理后的所述目标数据集中的坏数据之后进行融合，若经步骤S5融合后发现数据异常，则返回步骤S4，可进行多次循环。

使用正则化残差搜索法，根据数据集中实际值与估计值之间的差进行分类，根据构建的测量值误差模型，保留有效数据，剔除无效数据。

S6，通过人工干预或者机器学习算法进行数据质量深入挖掘分析，对步骤(4)得到的同一时间断面的数据，按照不同的权重系数进行步骤S4到步骤S5数据融合，进一步提升数据可信度和准确度。

采用模糊数学法、神经网络法、聚类分析等机器学习算法，用一种特殊的数据来泛化的预测模型，通过大量实例供机器学习算法来理解***的行为，当机器算法与新类型数据一起出现时，***将能够生成类似的预测，通过输入数据、模式、机器学习算法、推断输出，将S4至S5过程数据进行分析学习。

实例

(1)通过标准化接口协议连接资产管理***、调度自动化***。

(2)从调度自动化***、资产管理***抓取故障信息、设备运行数据、设备状态数据构成多源异构数据。

(3)建立数据挖掘规则，提取设备电压类型表、厂站信息表、设备信息表、测点遥信信息表、遥控操作告警表、遥测采样定义表、SOE事件记录表。

(4)根据电压等级(35kV，20kV，10kV)、设备类型(变压器，开关柜，线路)进行分类融合。

(5)基于融合数据集，建立设备、位置信息、状态量、模拟量、实时数据、历史数据关系映射表，按照配电网络和网络原件之间的相互关联构建拓扑分析引擎。

(6)通过拓扑分析处理模块，进行数据融合分析，提取满足KCL定律数据集。

(7)通过正则化残差搜索法对融合数据中不良数据进行检测与辨识，提取有效数据。

(8)通过模糊数学法、神经网络法、聚类分析对不同结构数据进行互校验，进一步对配网风险状态进行集中判断、定位以及预防监控。

综上所述，本发明配电网运行信息多源异构数据融合数据库集成方法，对电力***产生大量的多源异构数据进行分类、拓扑分析、剔除坏数据之后进行融合，解决了配网多源异构运行信息的提取、集成与数据质量提升，实现对配电网历史数据与准实时数据的交叉复合深度分析。

另外，由于配电网运行数据是海量的，为了能完成上述的数据处理任务，需要一套高效的数据处理框架。图2是本发明所使用的数据处理框架，框架使用多个MongoDB实例数据库对数据进行并行计算。spark是MongoDB的调用者，通过执行MongoDB内置的MapReduce机制处理基础数据，得到符合进入上述数据分析模型的数据。Spark的ML(机器学习)库包含了诸多机器学习的算法，完美支撑上述的分析需求。由于spark和MongoDB的处理方式现在非常流行，在本发明中也只起到基础设施作用，所以这里不做过多说明。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (5)

1.一种配电网运行信息多源异构数据融合数据库集成方法，其特征在于，具体包括：

S1，根据需求接入电网的不同的业务子***以获取目标数据集以形成多源数据集；

S2，对所述目标数据集进行分类；

S3，对分类后的所述目标数据集中，按照配电网络和网络原件之间的相互关联构建拓扑分析引擎；

S4，基于拓扑分析引擎，选择所述目标数据集中满足在相同时间断面，同时电压一致、电流和功率满足KCL定律的数据集，剔除不满足的数据集；

S5，构建基于正则化残差搜索法的数据融合模型剔除经拓扑分析处理后的所述目标数据集中的坏数据之后进行融合。

2.根据权利要求1所述的配电网运行信息多源异构数据融合数据库集成方法，其特征在于，若经步骤S5融合后发现数据异常，则返回步骤S4。

3.根据权利要求1所述的配电网运行信息多源异构数据融合数据库集成方法，其特征在于，步骤S2具体包括：对所述目标数据集按电压等级，设备类型，采集量测类型进行分类。

4.根据权利要求3所述的配电网运行信息多源异构数据融合数据库集成方法，其特征在于，所述电压等级分为：35KV，20KV，10KV；所述设备类型按不同的业务子***分为：变压器，开关柜，线路；所述采集量测类型分为：状态量和模拟量、实时数据和非实时数据。

5.根据权利要求1所述的配电网运行信息多源异构数据融合数据库集成方法，其特征在于，步骤S4具体包括：按照配电网络和网络原件之间的相互关联构建拓扑分析引擎具体包括：

拓扑分析引擎的建立依赖以下原则：

1)根据网络连接关系，对网络中的断路器、开关建立依赖关系；

2)网络元件相互依赖的信息：开关位置信息、采集量测量的关系；

3)网络元件于数据的依赖关系，包括不同运行方式下的临时依赖和固定的依赖、开关位置与采集量测量的依赖、与历史数据的依赖；

4)网络元件于网络运行信息中的告警事件、SOE事件、保护***的信息依赖关系。