CN107730394B - 基于大数据的全景电网多元异构数据融合方法 - Google Patents
基于大数据的全景电网多元异构数据融合方法 Download PDFInfo
- Publication number
- CN107730394B CN107730394B CN201710798980.8A CN201710798980A CN107730394B CN 107730394 B CN107730394 B CN 107730394B CN 201710798980 A CN201710798980 A CN 201710798980A CN 107730394 B CN107730394 B CN 107730394B
- Authority
- CN
- China
- Prior art keywords
- data
- power grid
- mining
- hbase
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims description 4
- 238000005259 measurement Methods 0.000 claims abstract description 52
- 238000012544 monitoring process Methods 0.000 claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims abstract description 12
- 238000003860 storage Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000007418 data mining Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000005065 mining Methods 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000013079 data visualisation Methods 0.000 claims description 4
- 238000003745 diagnosis Methods 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 17
- 230000006399 behavior Effects 0.000 abstract description 5
- 230000004927 fusion Effects 0.000 abstract description 5
- 238000009826 distribution Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- -1 adopts C + + Substances 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Fuzzy Systems (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
Abstract
本发明提出一种基于大数据解决全景电网多元异构数据融合的有效方法，定义常规广域测量***、故障录波器、轻型广域测量***的通信规约，明确各自的量测数据格式与类型；然后对主站监听的数据帧分流解码，在内存中高效抽取、存储、清洗、标准化数据后，在多机分布式的非关系型数据库中管理大规模异构数据；最后，在底层数据接口上进行大数据的在线分析与离线知识发现。本发明有益效果：本发明通过大规模异构数据融合实现将三种电网监测***统一在一个平台框架下综合分析，实现电网多电压等级的全景式动态行为监测，充分利用现有设备资源减少重复投资的同时，全面提高了电网的运行控制水平。
Description
技术领域
本发明涉及电力***状态监测领域，具体涉及一种基于大数据的全景电网多元异构数据融合方法。
背景技术
当前，我国正处在能源革命和工业转型关键时期，大幅度提高新能源发电比例从而降低煤的比例、大力发展电动汽车从而降低石油的使用比例已成为国家发展战略。间歇式新能源并网使低压电网电源增多，动态行为更加复杂。根据国网公司特高压电网建设规划部署，多个区域电网运行将面临特高压联网、多直流馈入、新能源的大规模接入和用户侧的深入互动参与等更为复杂的运行环境。目前，国内外电网动态监测技术大都集中在高电压等级，低压电网动态监测技术和产品匮乏。随着未来低压电网电源出力波动、负荷变化将更加剧烈，迫切需要为电网运行提供新一代决策支持***。
状态监测与优化调度是电网安全、高效运行的保障。常规电网同步监测以PMU为主，主要针对500kV变电站和重要电厂，不考虑低电压等级电网，难以捕捉和重演某些局部地区的扰动后动态过程。故障录波器能够对故障前后一段时间状态进行高精度记录，但并不将无故障时数据上传至调度中心，且其数据采集时间和存储量有限，不能够对***动态进行连续监测。轻型相量测量装置(PMU Light)，目前配置在380/220V用户终端，构建了轻型广域测量***(WAMS Light)有益补充了现有电网动态监测***，弥补了中国低压侧广域同步测量的空白。目前，上述三种电网监测***独立运行，没有充分发挥互补优势；但三套***都具有 GPS时标，如果进行充分的数据整合，在不显著增加硬件投资的情况下，即可建立覆盖电网各电压等级的全景式同步监测***，为全面监测、分析和掌握高低侧电网的动态过程提供有力支撑。
这三种监测设备在实际运行的不间断监测过程中会产生大量数据，其数据特性满足大数据的五个特性，一是数据量大(Volume)、二是处理速度快(Velocity)、三是数据类型多 (Variety)、四是价值大(Value)、五是精确性高(Veracity)。需要构建大数据的综合处理架构来进行分析挖掘信息，然后将信息转化为知识，通过可视化展现与表达，辅助实际电网的运行控制。
发明内容
本发明的目的是解决全景式电网检测***的多元异构数据融合问题，整合常规广域测量***、故障录波器与轻型广域量测***数据，定义数据传输格式与结构化类型，并在考虑了采集数据规模量大的特点后，设计异构大数据的转化、抽取、存储架构，进行数据挖掘、知识发现来对高低侧电网动态进行同步监测，以大数据技术服务电网优化调度决策，全面提升电网监测和运行调度水平。
下面将按照步骤详细介绍：
步骤1)：构建整合了常规广域测量***、故障录波器与轻型广域量测***的全景式电网网络拓扑结构，利用MVC 3层架构设计确定平台整体框架。
步骤2)：确定常规PMU、故障录波器、PMU Light三种设备与主站交互数据的传输方式与数据帧配置。
步骤3)：明确这三种设备的量测数据类型与结构特点、数据采集频率、发送间隔与各自 GPS时标的精度。
步骤4)：建立设备与主站的连接通信，收集各站点设备的量测数据，在主站设置统一的网络监听收集这三种格式的实时数据帧完成数据集中。
步骤5)：对收集到的数据帧根据各自的标志位特点进行数据类型判定，区分每一条数据来自何种设备，将数据送入相应的处理单元进行分流。
步骤6)：分流后的数据各自进行解码，根据数据帧格式抽取各物理量的量测值在计算机内存中等待整合存储。
步骤7)：对不同子***的相同类型数据选择统一的标准做一致化处理，获得标准化数据。
步骤8)：由于原始数据中会发生噪声数据、冗余数据及缺失数据等问题，对数据进行清洗，填补缺失数据、删除重复数据，以提高后续数据挖掘的质量。
步骤9)：将预处理后的仪器异构数据通过HBase分布式数据库提供的接口存入到底层 HDFS分布式文件***中，确定异构数据在HBase中的存储格式。
步骤10)：定位提取HBase中的大量异构数据，利用HBase非关系型数据库的特点实现对大规模异构数据的随机、实时读写查询访问。
步骤11)：在大规模数据集的挖掘上，借助大数据挖掘工具MapReduce、Mahout完成在 HDFS基础上进行数据挖掘可以对电力***状态估计、频率稳定、功角稳定、电压稳定、解列控制、故障诊断、网络拓扑分析等问题进行知识发现。
步骤12)：在小规模数据集的挖掘上，利用Hadoop Streaming实现非Java语言的接入，综合利用R、python、C++其它语言在小规模数据上挖掘的优势进行知识发现。
步骤13)：将仪器数据分析的结果存储在关系型数据库mysql上，发挥其对小规模数据集查询方便、维护方便的优势进行组织管理。
步骤14)：结合人机功效学进行数据可视化，在人机交互平台综合显示三个***的直接量测信息与数据挖掘后的知识发现信息。
本发明的有益效果是：
本发明方法深度整合常规广域测量***、故障录波器、轻型广域测量***的异构数据源，进行三种异构量测数据的接收、判定、抽取、转化、存储、清理与加载，构建适应于大规模数据流的实时处理架构，挖掘电力大数据间的隐含信息，从而在一个综合框架下全景式监测与分析各电压等级下电网的动态行为，具体效果如下：
1)提出一种可以融合PMU、故障录波器、PMU Light等异构型数据源的方法，借此整合了目前电网监测中的三种装置：对高压电网监测，数据汇总到调度中心的PMU；数据就地存储，需要时可远方查看的故障录波器；在220V最低电压等级监测电网，数据汇总到全国数据中心主站的PMU Light。综合三个***特点建立全电网的大规模状态监测***，将量测数据的时间尺度缩短到ms级的同时，监测范围也拓展到更大范围内的电压等级
2)充分利用已有的PMU设备资源，现有的常规广域测量***已在全国500KV变电站全部实现覆盖，发电厂300MW以上发电机均装设PMU，安装总量已超过3000个。将现有数据源整合现有避免了重新构建监测网络的重复投资。
3)基于Hadoop开源结构设计兼容PMU、PMU Light和故障录波器的大数据处理。电网规模越来越大使得数据源急剧增加，电网中获取的数据也越来越多。该方法完成了异构数据在内存中的实时高效处理、抽取与清理整合，充分适应了大数据的“5V”特性，构建电网监测大数据的存储、查询、在线知识发现与离线信息分析，为电网运行控制和优化调度提供数据支撑。
附图说明
图1是本发明方法***网络拓扑图；
图2是本发明方法调度中心架构图；
图3是本发明方法数据处理流程图。
具体实施方式：
下面结合附图与实例对本发明做进一步说明：
本发明的目的是基于大数据解决全景电网多元异构数据融合难题，确定常规广域测量***、故障录波器、轻型广域测量***通信规约、各自的量测数据格式与类型；然后对主站监听的数据帧分流解码，在内存中高效抽取、存储、清洗数据后，多机分布式管理大规模异构数据；最后，在底层数据接口上进行大数据的在线分析与离线知识发现。将三种***统一在一个平台框架下综合分析，实现电网多电压等级的全景式动态行为监测，充分利用现有设备资源的同时，全面提高电网的运行控制水平。
下面将按照步骤详细介绍：
步骤1)构建整合了常规广域测量***、故障录波器与轻型广域量测***的全景式电网网络拓扑结构，利用MVC 3层架构设计确定平台整体框架。
根据各自通信方式特点建立如图1所示的***网络拓扑结构，***由分布在不同电压等级的量测设备、数据传输网络、管理调度中心三部分组成。本专利在电网中按如下配置量测设备：常规广域测量***(WAMS)、故障录波器部署在关键高压网络节点，利用各级电网间的专用光纤通信线路通信；轻型广域量测***(WAMS Light)配置在380/220V用户终端，即可采用便捷的Internet有线，也可以采用3G无线通信方式，通信方式采用多模式使装置在配网的安装范围更广更便捷。设置防火墙对WAMS Light所用的外部连接网络进行过滤，管理调度中心的内部局域网与外部网络的访问权限，防止非法网络入侵威胁数据安全。
在调度中心中采用如图2所示的MVC 3层架构设计完成数据综合分析：
(1)显示层：为用户提供方便、易用和友好的界面，普通用户可以通过页面浏览和查询电力***数据，高级用户可以利用***提供的公共API接口，扩展***。
(2)业务逻辑层：基于Hadoop架构并行处理海量电力***异构型数据，并对整个平台***分布式设备配置管理，挖掘异构数据，监测电网动态行为。
(3)数据资源层：，抽取、转化、分布式存储和管理海量电力***异构型数据，作为整个平台的数据资源基础。
步骤2)：确定常规PMU、故障录波器、PMU Light三种设备与主站交互数据的传输方式与数据帧配置。
本专利中定义同步相量测量装置PMU的数据帧格式如表1所示，数据帧以2个字节的 SYNC字开始，其后紧随2字节的FRAMESIZE字和4字节的SOC时标。这个次序提供了帧类型的辨识和同步的信息。SYNC字的4-6位定义了帧的类型，所有帧以CRC16的校验字结束。
表1-1 PMU数据帧结构
表1-2 故障录波器数据帧结构
| 编号 | 字段 | 最大字符长度 | 说明 |
| 1 | N | 10 | 采样数 |
| 2 | TIMESTAMP | 10 | 时间标志 |
| 3 | Ak | 6 | 模拟通道数据值(逗号分隔) |
| 4 | Dk | 1 | 状态通道数据值(逗号分隔) |
| 5 | <CR/LF> | 1 | 终止标志 |
表1-3 PMU Light数据帧结构
表2 HBase异构数据存储实例
表3-1 HBase数据的物理视图表(1)
表3-2 HBase数据的物理视图表(2)
表3-3 HBase数据的物理视图表(3)
故障录波器与主站/子站通信的信息为状态量、模拟量、故障录波数据，确定数据格式如表2所示。其中故障录波文件用分为二进制数据文件、ASCII数据文件，文件中的每个采样信息包含着采样数量、时间标记和每个通道的数据值，用逗号分界格式区分通道，<CR/LF> 分隔各个采样点。
轻型广域测量装置数据帧相对而言比较简单，以ASCII方式表示的数据帧如表3所示，包含标志位、设备编号、量测数据与结束位组成。
步骤3)：明确这三种设备的量测数据类型与结构特点，分析数据采集频率与发送间隔，获得各自GPS时标的精度。
本专利对量测设备发送至主站的数据类型与数据间隔按如下规范：PMU的量测数据包括数据时标、三相电压、电流、相角、功率、频率及其变化量和开关量等信息；故障录播器记录数据时标、模拟量和开关量；PMU Light则为数据时标、低压电网的电压、相角与频率。在向主站发送数据的时间间隔上，PMU与PMU Light间隔为毫秒级，而故障录波器则是在故障发生时刻才会记录数据，发送数据时间精度需在微秒级。
步骤4)：建立设备与主站的连接通信，收集各站点设备的量测数据，在主站设置统一的监听接口收集这三种格式的数据帧完成数据集中。
本专利的主站监听采用TCP/IP协议完成数据集中接收。PMU在网络通信方式下底层传输协议采用TCP/IP协议；故障录波器在其网络方式时采用TCP/IP，网络方式的应用层报文包含完整的通信帧；PMU Light也统一选择为TCP/IP协议进行网络传输。
步骤5)：对收集到的数据帧根据各自的标志位特点进行数据类型判定，区分每一条数据来自何种设备，将数据送入不同处理单元进行分流。根据步骤2)及其附表中对标志位的描述，对通过网络监听收到的数据判断设备源，并分流到各自的单元待处理，不同处理单元根据数据帧格式特点进行设计。
步骤6)：分流后的数据各自进行解码，区分数据帧的格式类型。根据数据帧格式与关键标志位抽取出各量测的电压、频率、相角等多种物理量的量测值在计算机内存中等待整合存储。
步骤7)：对不同子***的相同类型数据选择统一的标准做一致化处理，获得标准化数据。因为三种设备的数据存在共有类型与独有类型，共有数据类型的量测精度与设备有关，需要按最高精度标准统一化，以方便在数据存储时对数据聚合。如在时间格式上，故障录波器时间尺度在微妙级，也将PMU、PMU Light的数据由毫秒级进行位数拓展到微妙级存储。
步骤8)：由于原始数据中会发生噪声数据、冗余数据及缺失数据等问题，需要对数据进行清洗。网络不稳定等因素会出现某时标数据丢失和某时标数据重复接收的情况，针对这两种情况，分别通过插值填补缺失数据与删除重复时标数据处理，避免造成冗余数据浪费存储空间与缺失数据影响计算等情况出现，从而提高后续数据挖掘结果的质量。
步骤9)：将预处理后的仪器异构数据通过HBase分布式数据库提供的接口存入到底层 HDFS分布式文件***中，确定异构数据在HBase中的存储格式。在HBase的底层接入HDFS 分布式文件***，将量测数据借此保留在多机集群中，借助HDFS的自组织管理，用户无需具体配置每台机组上的底层数据，从而在大量廉价的硬件设备组成的集群上管理量测数据、运行应用程序。
集成Hadoop与ZooKeeper的分布式应用开源协调服务，在大数据监测平台运行过程中协调各项分布式进程。本专利使用ZooKeeper提供的接口对集群提供同步、配置管理、分组和命名等，构建一个具有高可靠性和良好扩展性的并行分布式全景电网监测***。
针对PMU、轻型测量装置和故障录波器三种仪器数据的异构、多样、动态变化的特点，设计其在HBase中的存储格式。仪器数据在表格中会被保存为字符串的格式，行键值设置为仪器编号，如PMU_01、PMUL_01、WDGL_01(故障录波器)等。将三种采集数据中的数据时标统一存储为时间戳，代表一个数据版本。为了提高查询效率与促进数据整合应尽量减少列族的数量，将PMU、轻型测量装置和故障录波器分别用字母P、L、W代替，通过步骤 7)的同类数据整合与标准化，将三种仪器两两之间的相同数据种类的列族分别设置为CS_PL、 CS_LW、CS_WP，三种仪器独有的数据种类的列族分别设置为CD_P、CD_L、CD_W，三种共有的数据种类列族设置为CS_PLW，某一存储实例如表2所示。在HBase中对量测数据采用稀疏存储，虽然在表2示的截取一部分数据的列表中，它的概念视图中某些列可以是空白的。但在物理存储上，表格是按照列来保存的，所以空白列实际上并不会被存储，数据相对应的物理视图如表3所示。HBase会保留一定数量的历史数据，数量值由用户根据存储的集群大小进行指定。
步骤10)：定位提取HBase中的大量异构数据，利用HBase非关系型数据库的特点实现对大规模异构数据的随机、实时读写查询访问。根据上面的存储格式，时间戳为数据时标，行健为仪器编号，列关键字的格式为<列族>：<类型>，如某列表示为<CS_PL>：<Ph_Ua>代表a 相电压的相位。通过行健、行健+时间戳、行健+列、行健+列+时间戳等操作就可以定位特定的量测数据。并根据HBase Shell与Java API可以分别在Linux terminal与JRE环境下完成表格中的数据创建、***、删除、查询等操作。
步骤11)：在大规模数据集的挖掘上，借助大数据挖掘工具MapReduce、Mahout在HDFS 基础上进行数据挖掘对监测的电力***状态估计、频率稳定、功角稳定、电压稳定、解列控制、故障诊断、网络拓扑分析等问题进行知识发现。步骤9)完成了异构数据的融合，并实际将数据存储在HDFS中，本专利利用Hive的类SQL的查询语言HiveQL管理HDFS的数据仓库，实现数据ETL(抽取、转化、加载)、数据存储管理和大型数据集的查询分析，对大规模数据集批量处理。但Hive对数据的处理存在高延迟性，不提供在线事务服务与实施查询功能。所以在本专利的同步监测大数据平台上使用Hive支撑数据进行离线的知识分析发现，而用HBase数据库对数据进行实时操作。
为更加高效的开发量测数据高级应用程序，本专利集成了Mahout辅助实现对平台数据的挖掘，其包含的多种算法方便程序开发，完成电力***安全评估、状态估计、故障诊断、预测分析等。用户也可以在调度中心编写MapReduce作业并提交给平台自动处理，其与HDFS 无缝链接，可以更高效分析大规模的量测数据。
步骤12)：在小规模数据集的挖掘上，本专利利用Hadoop Streaming实现了非Java语言的接入，综合利用R、python、C++其它语言在数据挖掘上的优势进行知识发现。本专利利用 Hadoop Streaming提供的一个便于进行MapReduce编程的工具包，使用可执行文件或脚本文件充当Mapper或Reducer，采取C++、Shell、Python、Ruby、PHP、Perl、R等编写MapReduce 程序，然后通过Streaming提供的标准输入STDIN和标准输出STDOUT来进行数据交换。如本专利将R语言引入到Hadoop中，用于小规模数据集的挖掘、预测分析、数理统计、数据可视化等操作。
步骤13)：将仪器数据分析的结果存储在关系型数据库mysql上，直接用结构化查询语言直接操作数据库，发挥其对小规模数据集查询方便、维护方便的优势进行组织管理。
步骤14)：结合人机功效学进行数据可视化，本专利由HBase读取三个***的直接量测信息，从mysql中获得数据挖掘后的知识发现数据，将枯燥的大量数据以图像、颜色、粗细、纹理等形式展示，构建二维、三维空间下的人机交互平台。如结合地理信息***显示量测信息，并1s实时随动刷新一次；在大尺度时间窗内显示量测数据随时间波动曲线；通过直方图展现频率分布、安全裕度等可以统计量化分析的数据；结合空间插值与多帧动画显示动态事件的三维变化过程。
Claims (1)
1.一种基于大数据的全景电网多元异构数据融合方法，其特征是，包括如下步骤：步骤1)：构建整合了常规广域测量***、故障录波器与轻型广域量测***的全景式电网网络拓扑结构，利用MVC3层架构设计确定平台整体框架；步骤 2)：确定常规 PMU、故障录波器、PMULight 三种设备与主站交互数据的传输方式与数据帧配置；步骤 3)：明确这三种设备的量测数据类型与结构特点、数据采集频率、发送间隔与各自GPS时标的精度；步骤 4)：建立设备与主站的连接通信，收集各站点设备的量测数据，在主站设置统一的监听接口收集这三种格式的数据帧完成数据集中；步骤 5)：对收集到的数据帧根据各自的标志位特点进行数据类型判定，区分每一条数据来自何种设备，将数据送入相应的处理单元进行分流；步骤6)：分流后的数据各自进行解码，根据数据帧格式抽取各物理量的量测值在计算机内存中等待整合存储；步骤 7)：对不同子***的相同类型数据选择统一的标准做一致化处理，获得标准化数据；步骤 8)：由于原始数据中会发生噪声数据、冗余数据及缺失数据的问题，对数据进行清洗，填补缺失数据、删除重复数据，以提高后续数据挖掘的质量；步骤 9)：将预处理后的仪器异构数据通过HBase分布式数据库提供的接口存入到底层HDFS分布式文件***中，确定异构数据在HBase中的存储格式；针对PMU、轻型测量装置和故障录波器三种仪器数据的异构、多样、动态变化的特点，设计其在HBase中的存储格式，仪器数据在表格中会被保存为字符串的格式，行键值设置为仪器编号，将三种采集数据中的数据时标统一存储为时间戳，代表一个数据版本；步骤 10)：定位提取HBase中的大量异构数据，利用HBase非关系型数据库的特点实现对大规模异构数据的随机、实时读写查询访问；根据上面的存储格式，时间戳为数据时标，行健为仪器编号，列关键字的格式为<列族>：<类型>，通过行健、行健+时间戳、行健+列、行健+列+时间戳操作就可以定位特定的量测数据；并根据HBaseShell与Java API可以分别在Linux terminal与JRE环境下完成表格中的数据创建、***、删除、查询操作；步骤 11)：在大规模数据集的挖掘上，借助大数据挖掘工具 MapReduce、Mahout完成在HDFS基础上进行数据挖掘对电力***状态估计、频率稳定、功角稳定、电压稳定、解列控制、故障诊断、网络拓扑分析的问题进行知识发现；步骤 12)：在小规模数据集的挖掘上，利用 Hadoop Streaming 实现非Java语言的接入，综合利用 R、python、C++语言在小规模数据上挖掘的优势进行知识发现；步骤 13)：将仪器数据分析的结果存储在关系型数据库mysql上，发挥其对小规模数据集查询方便、维护方便的优势进行组织管理；步骤14)：结合人机功效学进行数据可视化，在人机交互平台综合显示三个***的直接量测信息与数据挖掘后的知识发现信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710798980.8A CN107730394B (zh) | 2017-09-07 | 2017-09-07 | 基于大数据的全景电网多元异构数据融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710798980.8A CN107730394B (zh) | 2017-09-07 | 2017-09-07 | 基于大数据的全景电网多元异构数据融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107730394A CN107730394A (zh) | 2018-02-23 |
| CN107730394B true CN107730394B (zh) | 2021-07-06 |
Family
ID=61205919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710798980.8A Active CN107730394B (zh) | 2017-09-07 | 2017-09-07 | 基于大数据的全景电网多元异构数据融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107730394B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106230894A (zh) * | 2016-07-18 | 2016-12-14 | 中国科学院等离子体物理研究所 | 110kV用户变电站及其中低压配电***设备信息管理*** |
| CN108763399B (zh) * | 2018-05-22 | 2021-08-27 | 湖南大学 | 一种适用于含d-pmu的配电网多源数据建模方法 |
| CN110187221B (zh) * | 2019-05-24 | 2020-06-30 | 山东大学 | 基于区块链的配电网微型pmu故障录波协同方法及*** |
| CN110825798A (zh) * | 2019-10-29 | 2020-02-21 | 深圳供电局有限公司 | 一种电力应用数据维护方法及装置 |
| CN111159152B (zh) * | 2019-12-28 | 2023-06-09 | 国网安徽省电力有限公司 | 基于大数据处理技术的二次运维数据融合方法 |
| CN111131491A (zh) * | 2019-12-30 | 2020-05-08 | 哈尔滨工业大学 | 一种基于IPv6的电厂数据采集***数据传输方法 |
| CN111177205B (zh) * | 2019-12-31 | 2023-04-21 | 重庆中电自能科技有限公司 | 一种新能源场站数据共享方法及*** |
| CN111680083B (zh) * | 2020-04-30 | 2023-07-11 | 四川弘智远大科技有限公司 | 智能化多级政府财政数据采集***及数据采集方法 |
| CN111768870A (zh) * | 2020-09-03 | 2020-10-13 | 国网浙江省电力有限公司营销服务中心 | 一种端到端数据可视化分析方法、装置和可读储存介质 |
| CN112231313A (zh) * | 2020-11-05 | 2021-01-15 | 河钢数字技术股份有限公司 | 一种钢厂多源环境数据融合的方法 |
| CN112765145A (zh) * | 2021-01-22 | 2021-05-07 | 北京秒针人工智能科技有限公司 | 一种数据集成方法及*** |
| CN113836202A (zh) * | 2021-09-27 | 2021-12-24 | 安徽省财政信息中心 | 一种数据实时采集***及采集方法 |
| CN115481183A (zh) * | 2022-09-20 | 2022-12-16 | 河北网新科技集团股份有限公司 | 一种实时数据处理方法和*** |
| US11955782B1 (en) | 2022-11-01 | 2024-04-09 | Typhon Technology Solutions (U.S.), Llc | System and method for fracturing of underground formations using electric grid power |
| CN115934043B (zh) * | 2023-01-04 | 2024-03-15 | 广州佰瑞医药有限公司 | 一种基于php的高效率mvc框架 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101534021A (zh) * | 2009-04-27 | 2009-09-16 | 北京四方继保自动化股份有限公司 | 应用于电力自动化***中的多态数据采集及处理方法 |
| CN201639363U (zh) * | 2010-03-25 | 2010-11-17 | 国电南瑞科技股份有限公司 | 智能变电站三态数据综合测控装置 |
| CN102035257A (zh) * | 2010-11-29 | 2011-04-27 | 江西省电力科学研究院 | 智能变电站全景数据分析方案 |
| CN103065268A (zh) * | 2012-12-28 | 2013-04-24 | 广东电网公司清远供电局 | 一种对变电站运行数据的优化整合与智能分析的*** |
| CN103715772A (zh) * | 2013-12-27 | 2014-04-09 | 北京四方继保自动化股份有限公司 | 一种智能变电站全景数据中心 |
| CN104283318A (zh) * | 2014-10-24 | 2015-01-14 | 国家电网公司 | 基于大数据的电力设备综合监测与预警***及其分析方法 |
| CN105184424A (zh) * | 2015-10-19 | 2015-12-23 | 国网山东省电力公司菏泽供电公司 | 实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法 |
| CN106446131A (zh) * | 2016-09-19 | 2017-02-22 | 中国南方电网有限责任公司电网技术研究中心 | 配用电多源异构数据的混合存储方法和*** |
| CN106649652A (zh) * | 2016-12-12 | 2017-05-10 | 国网江苏省电力公司检修分公司 | 基于Hadoop的变电站主设备在线监测***构架方法 |
| CN106709580A (zh) * | 2017-01-13 | 2017-05-24 | 国家电网公司 | 一种变电站二次***运维云平台 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9383790B2 (en) * | 2013-03-11 | 2016-07-05 | Intel Corporation | Internal communication interconnect scalability |
-
2017
- 2017-09-07 CN CN201710798980.8A patent/CN107730394B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101534021A (zh) * | 2009-04-27 | 2009-09-16 | 北京四方继保自动化股份有限公司 | 应用于电力自动化***中的多态数据采集及处理方法 |
| CN201639363U (zh) * | 2010-03-25 | 2010-11-17 | 国电南瑞科技股份有限公司 | 智能变电站三态数据综合测控装置 |
| CN102035257A (zh) * | 2010-11-29 | 2011-04-27 | 江西省电力科学研究院 | 智能变电站全景数据分析方案 |
| CN103065268A (zh) * | 2012-12-28 | 2013-04-24 | 广东电网公司清远供电局 | 一种对变电站运行数据的优化整合与智能分析的*** |
| CN103715772A (zh) * | 2013-12-27 | 2014-04-09 | 北京四方继保自动化股份有限公司 | 一种智能变电站全景数据中心 |
| CN104283318A (zh) * | 2014-10-24 | 2015-01-14 | 国家电网公司 | 基于大数据的电力设备综合监测与预警***及其分析方法 |
| CN105184424A (zh) * | 2015-10-19 | 2015-12-23 | 国网山东省电力公司菏泽供电公司 | 实现多源异构数据融合的多核函数学习SVM的Mapreduce化短期负荷预测方法 |
| CN106446131A (zh) * | 2016-09-19 | 2017-02-22 | 中国南方电网有限责任公司电网技术研究中心 | 配用电多源异构数据的混合存储方法和*** |
| CN106649652A (zh) * | 2016-12-12 | 2017-05-10 | 国网江苏省电力公司检修分公司 | 基于Hadoop的变电站主设备在线监测***构架方法 |
| CN106709580A (zh) * | 2017-01-13 | 2017-05-24 | 国家电网公司 | 一种变电站二次***运维云平台 |
Non-Patent Citations (3)
| Title |
|---|
| "一体化电网运行智能***的概念及特征";汪际峰;《电力***自动化》;20111225;第35卷(第24期);1-6 * |
| "基于多源信息的电网故障综合分析***";谢俊 等;《电气安全》;20161231;第35卷(第5期);56-62 * |
| "电力设备全景智能监测信息模型研究及应用";翟瑞聪 等;《电器与能效管理技术》;20151231;14-19 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107730394A (zh) | 2018-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107730394B (zh) | 基于大数据的全景电网多元异构数据融合方法 | |
| CN107330056B (zh) | 基于大数据云计算平台的风电场scada***及其运行方法 | |
| CN106651633B (zh) | 一种基于大数据技术的用电信息采集***及其采集方法 | |
| CN202009267U (zh) | 智能变电站设备状态一体化监测与分析*** | |
| CN105868075A (zh) | 一种实时监控分析大量日志的***及方法 | |
| CN103559562A (zh) | 电网智能运行***及其实现方法 | |
| CN102904343B (zh) | 基于分布式多智能体的状态监测***及方法 | |
| CN108446396B (zh) | 一种基于改进型cim模型的电力数据处理方法 | |
| CN102955977A (zh) | 一种基于云技术的能效服务方法及其能效服务平台 | |
| CN109103991B (zh) | 一种智能配电网的大数据分析方法 | |
| CN103513167A (zh) | 基于分布式网络平台的开关局部放电状态监测装置 | |
| Gu et al. | Knowledge discovery for smart grid operation, control, and situation awareness—a big data visualization platform | |
| CN112884452A (zh) | 一种智能运维多源数据采集可视化分析*** | |
| CN108647860A (zh) | 基于OpenStack的电力设备状态监测与评估云平台 | |
| CN109561155B (zh) | 一种变电站设备远程集中监视与运维方法 | |
| Ju et al. | The use of edge computing-based internet of things big data in the design of power intelligent management and control platform | |
| CN111401725A (zh) | 基于数据感知融合评估技术的5g通信网络运维平台 | |
| CN117312293B (zh) | 一种面向电力多源异构的数据治理与智能分析方法及*** | |
| CN106649765A (zh) | 基于大数据技术的智能电网全景数据分析方法 | |
| CN104484734A (zh) | 一种低碳城市能源优化配置数据中心架构 | |
| CN103810647A (zh) | 标准消息适配器设计方法及电网集成展示平台构建方法 | |
| CN113659712A (zh) | 一种电力设备大数据标签运行平台及方法 | |
| CN112613790A (zh) | 应用于多站融合环境下的协同数据处理方法、设备及介质 | |
| CN103383649A (zh) | 一种复杂虚拟仪器***设计模型 | |
| CN112532432B (zh) | 一种基于ltu终端的自动成图方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |