CN110019098A - 基于Hadoop框架的电能计量大数据分析*** - Google Patents
基于Hadoop框架的电能计量大数据分析*** Download PDFInfo
- Publication number
- CN110019098A CN110019098A CN201711485754.0A CN201711485754A CN110019098A CN 110019098 A CN110019098 A CN 110019098A CN 201711485754 A CN201711485754 A CN 201711485754A CN 110019098 A CN110019098 A CN 110019098A
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- electric energy
- application layer
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 25
- 238000007405 data analysis Methods 0.000 title claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 17
- 241001310793 Podium Species 0.000 claims abstract description 10
- 238000007619 statistical method Methods 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 230000010354 integration Effects 0.000 claims abstract description 4
- 230000036541 health Effects 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 241001269238 Data Species 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000010977 unit operation Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 1
- 238000007726 management method Methods 0.000 description 7
- 230000005611 electricity Effects 0.000 description 5
- 230000032683 aging Effects 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Water Supply & Treatment (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于Hadoop框架的电能计量大数据分析***，该***包括：数据源层、平台层、应用层以及展示层；其中，所述数据源层主要由若干物理位置相邻或不相邻的***数据源组成；所述平台层负责对所述数据源层提供的实时采集电网计量数据进行数据集成处理，并将处理结果用于所述应用层计算电能计量准确性及分析电能质量；所述应用层主要负责对计量标准装置在线监测以及对电能表状态进行分析和故障进行预警；所述展示层主要利用所述应用层的处理结果为用户提供可视化的展示界面，通过统计分析图表和电能关口地图，全面直观反映电能计量准确性及质量管控状况。
Description
技术领域
本发明属于大数据分析技术领域，涉及一种基于Hadoop框架的电能计量大数据分析***。
背景技术
电能计量管理工作是电力生产中的一项基础工作，随着电力体制改革的持续推进，传统的管理方式存在计量点孤立分散、区域检定设备数量质量不一、检测能力不足、人员水平参差不齐等问题，难以满足日益增长的业务量要求。
利用先进的智能传感技术、网络及通信技术和数据挖掘技术实现电能计量管理工作的信息化，统一异构设备接入计量网络的通信和信息接口及规范，消除计量孤岛，保证省级电能计量准确性和质量可靠性，对规范化电能计量管理工作有重大的意义。
发明内容
本发明目的在于提供一种基于Hadoop框架的电能计量大数据分析***，针对电能计量管理存在计量点孤立分散、区域检定设备数量质量不一、检测能力不足等问题，融合计量自动化***、营销***等原始***的历史数据、关口数据、检测数据等数据信息，实现电能表基本误差分析、电能表健康状况评估及综合分析，结合百度地图引擎，融合网络拓扑图和GIS信息，全景展示电能计量信息，解决电能质量大数据的存储和计算问题，实现各电力部门电能计量准确性和质量管控。
为解决上述技术问题，本发明采用如下的技术方案：一种基于Hadoop框架的电能计量大数据分析***，该***包括：数据源层、平台层、应用层以及展示层；其中，所述数据源层主要由若干物理位置相邻或不相邻的***数据源组成；所述平台层负责对所述数据源层提供的实时采集电网计量数据进行数据集成处理，并将处理结果用于所述应用层计算电能计量准确性及分析电能质量；所述应用层主要负责对计量标准装置在线监测以及对电能表状态进行分析和故障进行预警；所述展示层主要利用所述应用层的处理结果为用户提供可视化的展示界面，通过统计分析图表和电能关口地图，全面直观反映电能计量准确性及质量管控状况。
进一步地，所述数据源层主要包括计量标准装置运行数据、实验室检定数据、现场检测数据以及关口信息数据等结构化、非结构化数据。
进一步地，所述平台层采用基于Hadoop的分布式架构，应用HDFS分布式文件***，从各***数据源获取结构化、半结构化或非结构化数据，存储于非关系型数据库Hbase，部分数据通过Hive数据仓库实现离线清洗和分析。
进一步地，所述应用层主要包括电能表状态分析、计量装置健康状况评估、基本信息统计分析、电能表基本误差分析、计量标准装置检测、故障误差分析等数据应用模型。
进一步地，所述展示层可实现不同电能表状态数据、校验数据的统计分析结果的图形展示以及设备的检定与结果评价。
本发明与现有技术相比具有以下的有益效果：
本发明方案针对电能计量管理存在计量点孤立分散、区域检定设备数量质量不一、检测能力不足等问题，融合计量自动化***、营销***等原始***的历史数据、关口数据、检测数据等数据信息，实现电能表基本误差分析、电能表健康状况评估及综合分析，结合百度地图引擎，融合网络拓扑图和GIS信息，全景展示电能计量信息，实现了各电力部门电能计量准确性和质量管控。
附图说明
图1是基于Hadoop框架的电能计量大数据分析***的整体架构图。
具体实施方式
下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。
针对传统的管理方式存在计量点孤立分散、区域检定设备数量质量不一、检测能力不足、人员水平参差不齐等问题，设计了如图1所示的基于Hadoop框架的电能计量大数据分析***。
参照图1，一种基于Hadoop框架的电能计量大数据分析***，该***包括：数据源层、平台层、应用层以及展示层；其中，所述数据源层主要由若干物理位置相邻或不相邻的***数据源组成；所述平台层负责对所述数据源层提供的实时采集电网计量数据进行数据集成处理，并将处理结果用于所述应用层计算电能计量准确性及分析电能质量；所述应用层主要负责对计量标准装置在线监测以及对电能表状态进行分析和故障进行预警；所述展示层主要利用所述应用层的处理结果为用户提供可视化的展示界面，通过统计分析图表和电能关口地图，全面直观反映电能计量准确性及质量管控状况。
由于需要处理实时采集的海量电网计量数据(以PB级计的数据)，***采用基于Hadoop的分布式架构，应用HDFS分布式文件***，从计量标准装置监测终端、实验室检定控制***、计量自动化***、营销***、现场检定业务***、防窃电装置获取结构化、半结构化或非结构化数据，然后存储于非关系型数据库Hbase，部分数据通过Hive数据仓库实现离线清洗和分析。
本***的数据源主要包括计量标准装置运行数据、实验室检定数据、现场检测数据、关口信息数据等结构化和非结构化数据，进行数据集成处理后用于计算电能计量准确性及分析电能质量。其中计量标准装置运行数据为实时数据，通过解析通信规约，由计量标准装置监测终端主动实时上传或主站前置服务器主动实时获取。实验室检定数据由主站***按天为周期从中间库获取，现场检测数据由负责现场检测的业务人员检测完毕后录入***。关口信息数据主要包括:关口台账信息、关口装置档案、全生命周期数据、关口计量数据等，由集成接口从营销管理***、计量自动化***抽取或者由业务人员录入。
应用层主要包括电能表状态分析、计量装置健康状况评估、基本信息统计分析、电能表基本误差分析、计量标准装置检测等数据应用模型。基本信息统计分析模型是其他应用模型运行的基础，计量标准装置检测模型为专业所的业务和技术人员提供监视服务，实现对计量标准装置在线监测，计量装置健康状况评估模型对计量装置健康状况进行评估，提供健康状况预警。电能表状态分析模型和故障误差分析模型主要是对电能表状态进行分析和故障进行预警。
展示层为各级管理人员和技术人员提供可视化的展示界面，通过统计分析图表和电能关口地图，全面直观反映电能计量准确性及质量管控状况，包括：实现不同批次、厂家、型号电能表状态数据、校验数据进行统计分析的图形展示；实现全省不同局、不同批次、厂家设备的检定和结果评价；建立全数据比对样本池，同一时间发起多家机构的批量数据自动比对，完成电能表实验室间能力、人员能力、电能计量标准装置等的比对；实现装置的健康估计，为装置的抽检、维修提供可靠依据；融合实验室及现场检测信息、历史信息，对电能计量装置运行状态进行评价。
高并发请求处理
本发明采用Hadoop分布式技术构建包含覆盖省内各个供电局的海量数据存储和高性能并行计算集群来应对大规模数据并行处理，并采用Niginx负载均衡技术，选用Redis作为缓存组件，提升吞吐量和***可用性，满足高并发请求的需求。其中平均并发用户数为C＝nL/T并发用户数峰值为其中C是平均并发用户数，n是login session的数量，L是login session的平均长度，T是值考察的时间长度，吞吐量计算为(单位为个/s)：
F＝Vu×R/T (1)
F为事务吞吐量，Vu为虚拟用户数个数，R为每个虚拟用户发出的请求数，T为处理这些请求所花费的时间。
电能计量关口地图
采用百度地图引擎，根据电厂、输电线路、变电站的拓扑结构，融合计量点、变电站、电厂、相互间的电压线路的地理位置信息，绘制电能计量关口地图，在GIS地图上分行政区域或分电压等级直观展示计量点、电厂、变电站和关联线路运行状况。提供包括台帐信息、主表信息、副表信息、电压互感器、电流互感器、GPS时钟仪运行状态、变电站接线图、电厂信息、电厂接线图等信息查询。
电能表基本误差分析
电能表基本误差测试的基础建立在相同的外界条件下、相同的时间内，产品与标准设备两者之间的电能值比较。目前电能表基本误差测量主要是采用定低频脉冲进行，该方法通过累积的电能量根据产品的常数进行折算，当电能表在小负荷时发一个脉冲需要较长时间，生产效率不高。本发明电能表基本误差分析是将标准表及电能表在一段时间内测得的平均功率进行比较，则可按式得出电能表基本误差δ。
其中δs为检定装置或标准表的***误差；Pb为标准表功率，Pt为电能表功率，如果，Pb，Pt在0～t时间内满足一定的稳定度要求，则
测定电能表基本误差值δ之后，总共测量负载点168个，同一个负载点上测量多次的测量值取平均值，得到相对误差。相对误差不超过基本误差上下限，则说明电能计量标准装置在这个负载点上的相对误差合格，全部负载点合格则说明，该电能计量标准装置的基本误差检定合格，同时也可以根据不同厂商的电能计量标准装置合格率来进行供应商筛选。
计量装置健康状况评估
根据设备老化理论计算得到的表征设备老化状态理论值，由于可能存在设备出厂后并没有马上进行投运，因此，设备在出厂以及投运期间存在一个设备本身的一个理论老化情况。设备投运后的初始健康指数HT按照下式计算：
其中，HT0为全新设备的初始健康指数，LS为实际老化常数，TT－TC为运行年限，TP为评估年份，TT为投运日期，TC为出厂日期，T0为设计使用寿命。根据实际情况，定义健康指数为5.5时，设备达到其使用寿命，则理论老化常数L1计算为：
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.基于Hadoop框架的电能计量大数据分析***，其特征在于，该***包括：数据源层、平台层、应用层以及展示层；其中，所述数据源层主要由若干物理位置相邻或不相邻的***数据源组成；所述平台层负责对所述数据源层提供的实时采集电网计量数据进行数据集成处理，并将处理结果用于所述应用层计算电能计量准确性及分析电能质量；所述应用层主要负责对计量标准装置在线监测以及对电能表状态进行分析和故障进行预警；所述展示层主要利用所述应用层的处理结果为用户提供可视化的展示界面，通过统计分析图表和电能关口地图，全面直观反映电能计量准确性及质量管控状况。
2.根据权利要求1所述的基于Hadoop框架的电能计量大数据分析***，其特征在于，所述数据源层主要包括计量标准装置运行数据、实验室检定数据、现场检测数据以及关口信息数据等结构化、非结构化数据。
3.根据权利要求1所述的基于Hadoop框架的电能计量大数据分析***，其特征在于，所述平台层采用基于Hadoop的分布式架构，应用HDFS分布式文件***，从各***数据源获取结构化、半结构化或非结构化数据，存储于非关系型数据库Hbase，部分数据通过Hive数据仓库实现离线清洗和分析。
4.根据权利要求1所述的基于Hadoop框架的电能计量大数据分析***，其特征在于，所述应用层主要包括电能表状态分析、计量装置健康状况评估、基本信息统计分析、电能表基本误差分析、计量标准装置检测、故障误差分析等数据应用模型。
5.根据权利要求1所述的基于Hadoop框架的电能计量大数据分析***，其特征在于，所述展示层可实现不同电能表状态数据、校验数据的统计分析结果的图形展示以及设备的检定与结果评价。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711485754.0A CN110019098A (zh) | 2017-12-30 | 2017-12-30 | 基于Hadoop框架的电能计量大数据分析*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711485754.0A CN110019098A (zh) | 2017-12-30 | 2017-12-30 | 基于Hadoop框架的电能计量大数据分析*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110019098A true CN110019098A (zh) | 2019-07-16 |
Family
ID=67187197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711485754.0A Pending CN110019098A (zh) | 2017-12-30 | 2017-12-30 | 基于Hadoop框架的电能计量大数据分析*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110019098A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110865329A (zh) * | 2019-12-21 | 2020-03-06 | 国网山东省电力公司泰安供电公司 | 一种基于大数据自诊断的电能计量方法及*** |
| CN111551888A (zh) * | 2020-04-23 | 2020-08-18 | 宁夏隆基宁光仪表股份有限公司 | 一种改进型AdaBoost算法的电能表计量数据故障分析方法 |
| CN111650548A (zh) * | 2020-04-23 | 2020-09-11 | 宁夏隆基宁光仪表股份有限公司 | 一种智能电能表计量数据远程在线监控***及方法 |
| CN112581316A (zh) * | 2020-12-28 | 2021-03-30 | 镇江太谷电力有限公司 | 一种基于大数据分析的电能分析管理*** |
| CN112700082A (zh) * | 2020-11-26 | 2021-04-23 | 国网湖北省电力有限公司电力科学研究院 | 变电站关口计量大数据分析与在线监测***和方法 |
| CN113419129A (zh) * | 2021-07-19 | 2021-09-21 | 国网黑龙江省电力有限公司供电服务中心 | 基于b/s架构的智能电能表可靠性评价*** |
| CN114115504A (zh) * | 2022-01-27 | 2022-03-01 | 北京华清未来能源技术研究院有限公司 | 基于Hadoop大数据平台分布式电源自动告警方法及装置 |
| CN117406161A (zh) * | 2023-12-11 | 2024-01-16 | 普华讯光（北京）科技有限公司 | 一种计量装置量值偏离度预警方法、***、设备及介质 |
-
2017
- 2017-12-30 CN CN201711485754.0A patent/CN110019098A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110865329A (zh) * | 2019-12-21 | 2020-03-06 | 国网山东省电力公司泰安供电公司 | 一种基于大数据自诊断的电能计量方法及*** |
| CN110865329B (zh) * | 2019-12-21 | 2022-04-08 | 国网山东省电力公司泰安供电公司 | 一种基于大数据自诊断的电能计量方法及*** |
| CN111551888A (zh) * | 2020-04-23 | 2020-08-18 | 宁夏隆基宁光仪表股份有限公司 | 一种改进型AdaBoost算法的电能表计量数据故障分析方法 |
| CN111650548A (zh) * | 2020-04-23 | 2020-09-11 | 宁夏隆基宁光仪表股份有限公司 | 一种智能电能表计量数据远程在线监控***及方法 |
| CN112700082A (zh) * | 2020-11-26 | 2021-04-23 | 国网湖北省电力有限公司电力科学研究院 | 变电站关口计量大数据分析与在线监测***和方法 |
| CN112581316A (zh) * | 2020-12-28 | 2021-03-30 | 镇江太谷电力有限公司 | 一种基于大数据分析的电能分析管理*** |
| CN113419129A (zh) * | 2021-07-19 | 2021-09-21 | 国网黑龙江省电力有限公司供电服务中心 | 基于b/s架构的智能电能表可靠性评价*** |
| CN114115504A (zh) * | 2022-01-27 | 2022-03-01 | 北京华清未来能源技术研究院有限公司 | 基于Hadoop大数据平台分布式电源自动告警方法及装置 |
| CN117406161A (zh) * | 2023-12-11 | 2024-01-16 | 普华讯光（北京）科技有限公司 | 一种计量装置量值偏离度预警方法、***、设备及介质 |
| CN117406161B (zh) * | 2023-12-11 | 2024-04-02 | 普华讯光（北京）科技有限公司 | 一种计量装置量值偏离度预警方法、***、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110019098A (zh) | 基于Hadoop框架的电能计量大数据分析*** | |
| CN107462863B (zh) | 一种智能电能表运行误差运行诊断分析方法及*** | |
| CN107679768B (zh) | 一种基于电网实时数据的态势感知***及其构建方法 | |
| US20170317495A1 (en) | Forecasting net load in a distributed utility grid | |
| CN110095744A (zh) | 一种电子式互感器误差预测方法 | |
| US11070058B2 (en) | Forecasting net load in a distributed utility grid | |
| Stewart et al. | Addressing the challenges for integrating micro-synchrophasor data with operational system applications | |
| CN107741577A (zh) | 一种关口表准确度在线监控和分析方法及*** | |
| JP2015080400A (ja) | 送電システムにおける振動安定性を分析するためのシステムおよび方法 | |
| CN107909508A (zh) | 一种配电变压器负荷异常告警方法 | |
| CN111476427A (zh) | 低压台区拓扑识别方法及识别装置 | |
| CN109245310A (zh) | 一种基于实时数据库的电力监控*** | |
| CN112288303A (zh) | 确定线损率的方式、装置 | |
| Sheng et al. | Online measurement-based estimation of dynamic system state matrix in ambient conditions | |
| Han et al. | A study of the reduction of the regional aggregated wind power forecast error by spatial smoothing effects in the Maritimes Canada | |
| CN113469488B (zh) | 配电网设备拓扑结构在线诊断分析*** | |
| CN113094325B (zh) | 设备部署方法、装置、计算机***和计算机可读存储介质 | |
| Joseph et al. | Stream computing framework for outage detection in smart grid | |
| CN107146166B (zh) | 一种配网规划辅助*** | |
| Khanh et al. | Fault distribution modeling using stochastic bivariate models for prediction of voltage sag in distribution systems | |
| CN109066980A (zh) | 一种特高压输电线路3d通道智能管控*** | |
| Kornatka et al. | Advanced metering infrastructure—Towards a reliable network | |
| Lang et al. | Smart grid big data: automating analysis of distribution systems | |
| CN205643673U (zh) | 基于计量器具质量跟踪评价***的计量装置报废告警装置 | |
| Romero et al. | Developing a PQ monitoring system for assessing power quality and critical areas detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190716 |