CN115526738A - 一种电力数据采集处理***、方法、电子设备及存储介质 - Google Patents
一种电力数据采集处理***、方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115526738A CN115526738A CN202211396984.0A CN202211396984A CN115526738A CN 115526738 A CN115526738 A CN 115526738A CN 202211396984 A CN202211396984 A CN 202211396984A CN 115526738 A CN115526738 A CN 115526738A
- Authority
- CN
- China
- Prior art keywords
- power data
- data
- acquisition
- electric power
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 91
- 238000003860 storage Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 53
- 238000005516 engineering process Methods 0.000 claims abstract description 46
- 238000004140 cleaning Methods 0.000 claims abstract description 13
- 238000003672 processing method Methods 0.000 claims abstract description 12
- 238000007726 management method Methods 0.000 claims description 25
- 230000008014 freezing Effects 0.000 claims description 15
- 238000007710 freezing Methods 0.000 claims description 15
- 230000008447 perception Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000013500 data storage Methods 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 10
- 230000002354 daily effect Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 8
- 238000012795 verification Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008439 repair process Effects 0.000 description 6
- 238000011084 recovery Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004128 high performance liquid chromatography Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005111 flow chemistry technique Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Public Health (AREA)
- Human Resources & Organizations (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种电力数据采集处理***、方法、电子设备及存储介质，所述***包括：采集模块，用于基于数据感知技术采集现场作业的电力数据；分析模块，用于基于流处理技术对采集到的电力数据进行实时清洗、校验、修复，根据处理后的电力数据与预设的电力数据阈值确定所述电力数据对应的电力设备是否正常，得到分析处理结果，存储模块，用于对采集的电力数据以及所述分析处理结果数据进行存储。本发明提供的电力数据采集***通过数据感知的方式保证了数据采集的全面性，提高了数据采集的效率，同时，采用分布式存储的方式保证了中心服务器的安全以及运行稳定。
Description
技术领域
本发明涉及电力技术领域，尤其涉及一种电力数据采集处理***、方法、电子设备及存储介质。
背景技术
随着电力行业的不断发展，对电表数据的检验以及采集的要求也越来越高。
目前，现场工作人员对电能表数据的采集一般选用传感器的方式，而且直接将采集到的数据传输到中心服务器进行处理分析，这种处理方式采集电力的数据的效率比较低，而且采集的不够全面，同时由于数据量庞大，中心服务器容易瘫痪。
发明内容
本发明提供一种电力数据采集处理***、方法、电子设备及存储介质，用以解决现有技术中由于人工对计量装置是否进行装拆换检验导致存在安全隐患以及工作效率低下的技术问题，本发明用以实现提高装拆换检验效率以及工作效率的目的。
第一方面，本发明提供一种电力数据采集处理***，所述***包括：
采集模块，用于基于数据感知技术采集现场作业的电力数据；
分析模块，用于基于流处理技术对采集到的电力数据进行实时清洗、校验、修复，根据处理后的电力数据与预设的电力数据阈值确定所述电力数据对应的电力设备是否正常，得到分析处理结果；
存储模块，用于对采集的电力数据以及所述分析处理结果数据进行分布存储。
进一步，根据本发明提供的电力数据采集处理***，所述采集模块是基于拓展的数据感知技术，分布式对现场作业的电能表进行电力数据的采集和/或现场视频数据的采集。
进一步，根据本发明提供的电力数据采集处理***，所述采集模块还用于基于采集***前置与入库服务的优化机制对采集的电力数据进行优化处理。
进一步，根据本发明提供的电力数据采集处理***，所述存储模块是基于开源数据库和分布式文件***所构建的分布式大数据存储集群。
进一步，根据本发明提供的电力数据采集处理***，所述分析模块具体用于当处理后的电力数据小于或等于预设的电力数据阈值时，确定所述电力数据所对应的电力设备正常；当处理后的电力数据大于预设的电力数据阈值时，则确定所述电力数据所对应的电力设备故障。
进一步，根据本发明提供的电力数据采集处理***，所述***包括调度与冻结模块，所述调度与冻结模块基于并发抄表任务调度机制与现场设备冻结上报机制对采集的电力数据进行解析分析，根据解析分析结果对相应的现场设备进行调度与冻结。
进一步，根据本发明提供的电力数据采集处理***，所述***还包括通信管理模块，所述通信管理模块基于分布式管理组件实现采集前置服务各节点运行状态的监测和感知管理。
第二方面，本发明还提供一种基于上述任一项所述的电力数据采集处理***所实现的电力数据采集处理方法，包括：
基于数据感知技术采集现场作业的电力数据；
基于流处理技术对采集到的电力数据进行实时清洗、校验、修复，根据处理后的电力数据与预设的电力数据阈值确定所述电力数据对应的电力设备是否正常，得到分析处理结果；
将采集的电力数据以及所述分析处理结果数据进行分布存储。
第三方面，本发明还提供一种电子设备，包括：
处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上任一项中所述电力数据采集处理方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使计算机执行如上所述电力数据采集处理方法的步骤。
本发明提供一种电力数据采集处理***、方法、电子设备及存储介质，所述***包括：采集模块，用于基于数据感知技术采集现场作业的电力数据；分析模块，用于基于流处理技术对采集到的电力数据进行实时清洗、校验、修复，根据处理后的电力数据与预设的电力数据阈值确定所述电力数据对应的电力设备是否正常，得到分析处理结果，存储模块，用于对采集的电力数据以及所述分析处理结果数据进行存储。本发明提供的电力数据采集***通过数据感知的方式保证了数据采集的全面性，提高了数据采集的效率，同时，采用分布式存储的方式保证了中心服务器的安全以及运行稳定。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种电力数据采集处理***的结构示意图；
图2是本发明提供的一种电力数据采集处理***的整体结构示意图；
图3是本发明提供的一种电力数据采集处理方法的流程示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的一种电力数据采集处理***的结构示意图，如图1所示，本发明提供的电力数据采集处理***，具体包括：
采集模块101，用于基于数据感知技术采集现场作业的电力数据；
分析模块102，用于基于流处理技术对采集到的电力数据进行实时清洗、校验、修复，根据处理后的电力数据与预设的电力数据阈值确定所述电力数据对应的电力设备是否正常，得到分析处理结果；
存储模块103，用于对采集的电力数据以及所述分析处理结果进行分布存储。
在本实施例中，采集模块101用于基于数据感知技术采集现场作业的电能表的电力数据，其中，数据感知技术包括大数据存储和大数据分析，大数据存储的目的是支持大数据分析。其中，大数据的获取与感知技术的发展密切相关，基于传感器技术、指纹识别技术、RFID技术和协调定位技术的感知改进也是物联网发展的基石。需要说明的是，数据采集是采集***的核心功能，目前采集***已实现电能示值、负荷曲线等48项电能量数据采集，电能表开表盖、电能表时钟超差等24项事件采集。
在本实施例中，还需要利用分析模块102基于流处理技术对采集到的电力数据进行分析处理，具体的是，可以利用Spark计算引擎技术，实现海量数据的高效分析，比如，可以根据采集的电力数据与预设的阈值范围进行比较，确定对应设备是否存在异常、故障等，将该采集***应用到某一地域的主站分析中，可得该***的计量异常分析计算时长缩短至1.5小时，而且计算效率提升24倍，日电量计算时长缩短至20分钟，计算效率提升8倍。其中，流处理是不断合并新数据以计算结果的动作，在流处理中，输入数据不受限制，并且没有预定的开始或结束，只是形成一系列事件，这些事件到达流处理***，例如***交易，网站点击或来自物联网设备的传感器读数。
需要说明的是，分析模块具体用于对采集到的电力数据进行实时清洗、校验、修复，根据处理后的电力数据与预设的电力数据阈值确定所述电力数据对应的电力设备是否正常。在本实施例中，分析模块是利用Spark计算引擎技术，实现海量数据的高效分析，而且采用Storm流处理技术，对采集电力数据进行实时清洗、校验、修复、停电事件的判断，同时，根据处理后的电力数据与预设的电力数据阈值之间的关系确定该电力数据所对应的电力设备是否正常，提升***实时分析能力。其中，Spark是一个通用引擎，可用来完成各种各样的运算，包括SQL查询、文本处理、机器学习等。Storm流处理是实时的、分布式以及具备高容错的计算***。需要说明的是，数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性；数据校验是为保证数据的完整性进行的一种验证操作，通常用一种指定的算法对原始数据计算出的一个校验值，接收方用同样的算法计算一次校验值，如果两次计算得到的校验值相同，则说明数据是完整的；数据修复是指通过技术手段，将受到病毒攻击、人为损坏、硬件损坏等遭到破坏的电子数据进行抢救和恢复的一门技术。
需要说明的是，本实施例中优选的是，采用分布式集群的方式对采集到的电力数据以及分析结果数据进行分布式存储，该***体现的是″集中式+分布式″的模式进行部署。
根据本发明提供的电力数据采集处理***，通过基于数据感知的方式采集数据，能够保证数据采集的全面性，提高数据采集的效率，采用分布式的存储方式对相关数据进行存储，能够降低中心服务器的工作量，保证中心服务器运行的稳定性以及安全。
基于上述任一实施例，在本发明的一个实施例中，所述采集模块是基于拓展的数据感知技术，分布式对现场作业的电能表进行电力数据的采集和/或现场视频数据的采集；
所述采集模块还用于基于采集***前置与入库服务的优化机制对采集的电力数据进行优化处理。
在本实施例中，采集模块是基于拓展的数据感知技术，分布式对数据进行采集的，其中，采集模块可以有多个，比如对现场作业的每个电能表设置一个采集模块，然后将采集到的数据传输到对应的采集***通信前置服务中，需要说明的是，采集到的数据可以是现场作业的电能表数据，也可以是现场作业视频数据，可以根据用户的需要进行选择。
举例说明，XX公司用电信息采集***于2010年开始建设，2012年10月份正式上线运行。截止当前，累计接入用户1078.37万户，接入采集终端27.86万台，智能电能表采集覆盖率为99.69％。目前采集***已实现数据采集、远程费控、计量异常分析、台区线损分析、运维闭环管理、失准更换等功能应用。贯通采集***与营销业务应用***、供电电压自动采集***、省级数据中台等13套信息化***数据推送，多维度支撑营销、设备、发展等部门业务开展，为公司经营决策分析提供支撑。
而且，在满足基础数据采集的基础上，采集***积极拓展数据感知能力，优化采集***前置与入库服务、并发抄表任务调度与现场设备冻结上报机制，引入5G通信技术，为XX地区可调资源参与AA调峰辅助服务市场奠定坚实基础。截止目前，累计实现17户29只电能表数据采集，采集完整率99.63％，***侧数据采集、解析及对外共享时延低于30秒。同时，采集***全面开放数据资源，打通采集***与营销业务应用***、PMS2.0***、省级数据中台等13个***平台数据通道，实现档案、量测、统计分析等数据对外共享，每日数据推送约2.8亿条。
根据本发明提供的电力数据采集处理***，通过数据感知技术以及分布式的处理方式，利用优化机制和冻结上报机制，使该采集***在很大程度上保证了数据采集的全面性，提高了数据采集的效率。
基于上述任一实施例，在本发明的一个实施例中，所述存储模块是基于开源数据库和分布式文件***所构建的分布式大数据存储集群。
在本实施例中，优选的是，采用HBase的开源数据库和HDFS分布式文件***的方式构建分布式大数据存储集群，用于存储采集到的电力数据以及分析结果数据，该存储方式有效解决传统Oracle关系数据库随着数据量爆发增长对数据库读写性能的影响。其中，HBase(Hadoop Database)是一个高可靠性、高性能、面向列、可伸缩的分布式存储***，HDFS(Distributed File System)是指被设计成适合通用硬件上的分布式文件***，是一种高度容错性的***，能提供高吞吐量的数据访问，适合大规模数据集成上的应用。
需要说明的是，该***还引入Redis缓存技术，解决档案数据频繁查询的效率问题，实现采集***全量档案加载，满足数据高效入库和实时分析的入库需求，目前可实现每秒11万次高频度、高效率的数据查询要求。
根据本发明提供的电力数据采集***，通过构建分布式大数据存储集群，能够提高数据存储的速度，保证中心服务器的安全。
基于上述任一实施例，在本发明的一个实施例中，所述分析模块具体用于当处理后的电力数据小于或等于预设的电力数据阈值时，确定所述电力数据所对应的电力设备正常；当处理后的电力数据大于预设的电力数据阈值时，则确定所述电力数据所对应的电力设备故障。
在本实施例中，本发明优选的是，根据处理后的电力数据与预设的电力数据阈值之间的关系，确定该电力数据所对应的电力设备是否正常，如当处理后的电力数据小于或等于预设的电力数据阈值时，确定该电力数据所对应的电力设备正常，当处理后的电力数据大于预设的电力数据阈值时，则确定该电力数据所对应的电力设备故障，其中，具体的判断方式在此不作具体限定，可以根据用户的实际需要进行设备。
需要说明的是，可以根据采集到的电力数据进行停电事件的判断，若可以持续采集到电力数据处于变化中，则确定未发生停电事件；若采集到的电力数据处于静止状态，则确定对应的电力设备发生停电事件。
根据本发明提供的电力数据采集处理***，通过当处理后的电力数据小于或等于预设的电力数据阈值时，确定该电力数据所对应的电力设备正常；当处理后的电力数据大于预设的电力数据阈值时，则确定该电力数据所对应的电力设备故障，能够实现实时的对电力数据对应的设备进行判断分析，提高数据分析处理的效率。
基于上述任一实施例，在本发明的一个实施例中，所述***包括调度与冻结模块，所述调度与冻结模块基于并发抄表任务调度机制与现场设备冻结上报机制对采集的电力数据进行解析分析，根据解析分析结果对相应的现场设备进行调度与冻结。
在本实施例中，电力数据采集处理***还包括调度与冻结模块，具体用于定期开展零火线电流、电池欠压状态、电能表参数修改等5项透抄任务，其中，电力数据采集处理***基于电能表日冻结电能示值，并结合台区档案信息，按日、月开展台区线损计算，针对用户换表、互感器变更等业务，以及分布式电源、水利变等特殊用户类型，完成计算模型优化，满足台区线损真实性、合理性计算要求。同时，还开展高损台区攻坚治理，贯通SG186、电网GIS、PMS2.0等多***数据源，开展台区线损合理区间计算与线损异常智能诊断产品研发部署，科学指导降损。截止10月底，对于XX公司，台区同期线损率3.87％，在线监测率97.67％，有效消除高损台区1359台，减少损失电量1478.20万千瓦时。
需要说明的是，为了支撑营销智能交费业务开展，采集***结合费控用户信息，按日向营销远程费控***推送日冻结电能示值、需量等数据，支撑费控***实现费控用户电量计算，接收停复电工单，完成表计远程控制。在保证远程费控指令执行安全、可靠的同时，优化费控执行策略，实现“复电优先”、“重复工单自动剔除”等智能研判，梳理失败原因，监控各环节执行流程，对各类问题进行统一归类，以直观、明了的方式进行展示。综合分析电能表运行状况、采集任务执行能力，实现费控执行能力评价，指导基层单位开展远程费控治理。截止当前，对于XX公司，远程费控停电成功率为85.23％，远程费控复电成功率为96.31％，平均复电时长13分钟。
根据本发明提供的电力数据采集处理***，通过调度与冻结模块的应用，提高了电力数据处理分析的效率，同时实现了对电力数据的定时处理，保证了数据的统一与准确性。
基于上述任一实施例，在本发明的一个实施例中，所述***还包括通信管理模块，所述通信管理模块基于分布式管理组件实现采集前置服务各节点运行状态的监测和感知管理。
在本实施例中，为了实现不同规约微服务化部署，满足规约动态扩展要求，该***还包括通信管理模块，该模块采用Zookeeper分布式管理组件的方式实现采集前置服务各节点运行状态监测和感知管理。同时，还部署Kafka分布式消息集群，实现采集***通信前置服务和采集前置服务松耦合管理，实现数据有序处理与主题定制，降低了对数据库的压力。基于上述XX公司的信息，在应用该采集***后，采集***费控工单执行时间由原来的33.57分钟缩短至16.65分钟，执行效率提升2倍，而且，日冻结电能示值采集周期由90分钟提升至20分钟，采集效率提升4.5倍。
根据本发明提供的电力数据采集处理***，通过分布式管理组件的设置，明显提高了数据采集的效率。
基于上述任一实施例，在本发明的一个实施例中，如图2所示，所述***采用“集中式+分布式”的模式进行部署。通信前置服务器部署在各地市机房，采集设备采用无线公网等远程方式登陆通信前置服务器接入采集主站，并通过信息内网汇聚至XX公司的新大楼机房。
需要说明的是，随着采集***功能深化应用，业务支撑范围不断拓展，新设备新技术推广步伐加快，对采集***设备接入管理、数据采集密度、实时计算能力、数据库读写性能等方面均提出了更高要求，采集数据日采集量与处理量呈爆发式增长。为应对以上变化，本发明在严格遵循利旧和优化配置的原则上，采用分布式弹性架构设计，引入流处理、消息中间件、分布式存储与并行计算等技术，全面提升***存储能力、计算性能、数据处理速度和智能分析水平。
同时，为了支撑营销智能交费业务开展，电力数据采集处理***结合费控用户信息，按日向营销远程费控***推送日冻结电能示值、需量等数据，支撑费控***实现费控用户电量计算，接收停复电工单，完成表计远程控制。在保证远程费控指令执行安全、可靠的同时，优化费控执行策略，实现“复电优先”、“重复工单自动剔除”等智能研判，梳理失败原因，监控各环节执行流程，对各类问题进行统一归类，以直观、明了的方式进行展示。综合分析电能表运行状况、采集任务执行能力，实现费控执行能力评价，指导基层单位开展远程费控治理。截止当前，在XX公司应用该电力数据采集处理***后，远程费控停电成功率为85.23％，远程费控复电成功率为96.31％，平均复电时长13分钟。
需要说明的是，该采集处理***中积极开展HPLC模块推广应用，完成主站前置程序、流处理、分布式计算与存储等应用集群扩容提升，优化采集任务配置与远程升级管控，截止目前，在XX公司应用该电力数据采集处理***后，累计接入HPLC集中器3.05万台，HPLC电能表349.65万只，完成2.46万台集中器配套升级改造。实现高频数据采集、停电主动上报、时钟精准管理、相位拓扑识别、台区自动识别等8大功能部署应用。拓展应用领域，综合分析终端停、电能表上电事件，实时采集数据，开展停复电数据有效性验证，贯通营配数据，构建分级停电研判模型，运用分布式并行计算技术和流处理技术，实现线路、台区、表箱、电能表四个层级的停电事件精准、实时研判。自成果应用以来，累计派发现场工单2万余件，停电准确率超过95％，配网停电故障平均恢复时间缩短4.67％，95598停电投诉工单同比降低61.37％。实现停电故障抢修方式由“事后报修”向“主动防控”转变，大幅提升了抢修工作效率，有效支撑公司供电服务水平和客户满意度提升。
需要说明的是，该采集处理***中，采集运维闭环管理是保障采集***健康稳定运行和实施计量设备精益管理的有力抓手。借助计量现场移动作业终端，已实现对采集异常、计量异常、台区高损等异常工单的闭环管理和现场校时、现场费控、现场补抄等现场作业的有力支撑，为智能锁具、失准更换、设备主人制功能应用提供了落脚点。截止当前，在XX公司应用该电力数据采集处理***后，累计处理异常工单95.61万条，完成现场作业9.65万次，有力保障了采集设备的正常运行，提升了现场作业效率。
同时，为提升抄表核算数据准确性，该电力数据采集处理***还通过贯通SG186***、采集***和运维闭环管理***数据流、业务流，实现抄表数据线上自动流转，提升现场补抄成功率。在XX公司应用该电力数据采集处理***后，累计处理抄表闭环基层疑难问题7.2万人次，完成98.42万只电能表现场补抄，开展基于地理空间服务的移动作业群建设，打造工单处理中心，实现现场作业人员、工单、设备的一键式调度，打通用电现场、后台业务***、现场作业人员之间信息孤岛，将现场勘查、档案核查、设备调试、地理位置信息采录等业务融合，实现数据共享融合与一键式作业，提升现场作业成效，减轻基层工作人员负担。
图3为本发明提供的一种电力数据采集处理方法，如图3所示，本发明提供的电力数据采集处理方法，包括：
步骤301：基于数据感知技术采集现场作业的电力数据；
步骤302：基于流处理技术对采集到的电力数据进行实时清洗、校验、修复，根据处理后的电力数据与预设的电力数据阈值确定所述电力数据对应的电力设备是否正常，得到分析处理结果；
步骤303：将采集的电力数据以及所述分析处理结果进行分布存储。
根据本发明提供的电力数据采集处理方法，通过基于数据感知的方式采集数据，能够保证数据采集的全面性，提高数据采集的效率，采用分布式的存储方式对相关数据进行存储，能够降低中心服务器的工作量，保证中心服务器运行的稳定性以及安全。
由于本发明实施例所述方法与上述实施例所述***的原理相同，对于更加详细的解释内容在此不再赘述。
图4为本发明实施例中提供的电子设备实体结构示意图，如图4所示，本发明提供一种电子设备，包括：处理器(processor)401、存储器(memory)402和总线403；
其中，处理器401、存储器402通过总线403完成相互间的通信；
处理器401用于调用存储器402中的程序指令，以执行上述各方法实施例中所提供的方法，例如包括：基于数据感知技术采集现场作业的电力数据；基于流处理技术对采集到的电力数据进行实时清洗、校验、修复，根据处理后的电力数据与预设的电力数据阈值确定所述电力数据对应的电力设备是否正常，得到分析处理结果；将采集的电力数据以及所述分析处理结果进行分布存储。
本发明实施例中提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述各方法实施例中所提供的方法，例如包括：基于数据感知技术采集现场作业的电力数据；基于流处理技术对采集到的电力数据进行实时清洗、校验、修复，根据处理后的电力数据与预设的电力数据阈值确定所述电力数据对应的电力设备是否正常，得到分析处理结果；将采集的电力数据以及所述分析处理结果进行分布存储。
本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例所提供的方法，该方法包括：基于数据感知技术采集现场作业的电力数据；基于流处理技术对采集到的电力数据进行实时清洗、校验、修复，根据处理后的电力数据与预设的电力数据阈值确定所述电力数据对应的电力设备是否正常，得到分析处理结果；将采集的电力数据以及所述分析处理结果进行分布存储。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例中所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种电力数据采集处理***，其特征在于，包括：
采集模块，用于基于数据感知技术采集现场作业的电力数据；
分析模块，用于基于流处理技术对采集到的电力数据进行实时清洗、校验、修复，根据处理后的电力数据与预设的电力数据阈值确定所述电力数据对应的电力设备是否正常，得到分析处理结果；
存储模块，用于对采集的电力数据以及所述分析处理结果进行分布存储。
2.根据权利要求1所述的电力数据采集处理***，其特征在于，所述采集模块是基于拓展的数据感知技术，分布式对现场作业的电能表进行电力数据的采集和/或现场视频数据的采集。
3.根据权利要求2所述的电力数据采集处理***，其特征在于，所述采集模块还用于基于采集***前置与入库服务的优化机制对采集的电力数据进行优化处理。
4.根据权利要求1所述的电力数据采集处理***，其特征在于，所述存储模块是基于开源数据库和分布式文件***所构建的分布式大数据存储集群。
5.根据权利要求1所述的电力数据采集处理***，其特征在于，所述分析模块具体用于当处理后的电力数据小于或等于预设的电力数据阈值时，确定所述电力数据所对应的电力设备正常；当处理后的电力数据大于预设的电力数据阈值时，则确定所述电力数据所对应的电力设备故障。
6.根据权利要求1所述的电力数据采集处理***，其特征在于，所述***包括调度与冻结模块，所述调度与冻结模块基于并发抄表任务调度机制与现场设备冻结上报机制对采集的电力数据进行解析分析，根据解析分析结果对相应的现场设备进行调度与冻结。
7.根据权利要求1所述的电力数据采集处理***，其特征在于，所述***还包括通信管理模块，所述通信管理模块基于分布式管理组件实现采集前置服务各节点运行状态的监测和感知管理。
8.基于上述权利要求1-7任一项所述的电力数据采集处理***所实现的电力数据采集处理方法，其特征在于，包括：
基于数据感知技术采集现场作业的电力数据；
基于流处理技术对采集到的电力数据进行实时清洗、校验、修复，根据处理后的电力数据与预设的电力数据阈值确定所述电力数据对应的电力设备是否正常，得到分析处理结果；
将采集的电力数据以及所述分析处理结果进行分布存储。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求8中所述电力数据采集处理方法的步骤。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使计算机执行如权利要求8中所述电力数据采集处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211396984.0A CN115526738A (zh) | 2022-11-09 | 2022-11-09 | 一种电力数据采集处理***、方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211396984.0A CN115526738A (zh) | 2022-11-09 | 2022-11-09 | 一种电力数据采集处理***、方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115526738A true CN115526738A (zh) | 2022-12-27 |
Family
ID=84705425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211396984.0A Pending CN115526738A (zh) | 2022-11-09 | 2022-11-09 | 一种电力数据采集处理***、方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115526738A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115730749A (zh) * | 2023-01-05 | 2023-03-03 | 佰聆数据股份有限公司 | 基于融合电力数据的电力调度风险预警方法及装置 |
-
2022
- 2022-11-09 CN CN202211396984.0A patent/CN115526738A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115730749A (zh) * | 2023-01-05 | 2023-03-03 | 佰聆数据股份有限公司 | 基于融合电力数据的电力调度风险预警方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103197138B (zh) | 一种具有供电可靠率和电压合格率监测功能的智能电表及监测方法 | |
| CN105915398B (zh) | 基于农村电网故障快速检测及复电***及其集中器检测方法 | |
| CN110046145A (zh) | 基于电能量大数据研究的专家智能分析服务平台 | |
| CN108665186B (zh) | 基于计量自动化***的配变重过载停电监测方法及装置 | |
| CN105652232A (zh) | 一种基于流处理的电能计量装置在线异常诊断方法及*** | |
| CN105811402A (zh) | 一种电力负荷预测***及其预测方法 | |
| CN110728836A (zh) | 一种集中器抄表异常分析方法及其*** | |
| Li et al. | Toward smart distribution management by integrating advanced metering infrastructure | |
| CN104834984A (zh) | 一种基于统一互联电力市场的电力交易监管风险预警*** | |
| Menasché et al. | Assessing survivability of smart grid distribution network designs accounting for multiple failures | |
| CN113129063A (zh) | 一种基于云平台和数据中台的电费计算发行方法及*** | |
| Avritzer et al. | Survivability models for the assessment of smart grid distribution automation network designs | |
| CN102931625A (zh) | 一种继电保护在线状态检修智能决策分析装置和其信号处理方法及其应用 | |
| CN103018611B (zh) | 一种基于电流分解的非侵入式负载监测方法及*** | |
| CN203069670U (zh) | 一种具有供电可靠率和电压合格率监测功能的智能电表 | |
| CN115526738A (zh) | 一种电力数据采集处理***、方法、电子设备及存储介质 | |
| CN106786549A (zh) | 一种基于智能配电网成本效益模型的综合效益分析法 | |
| CN101771275A (zh) | 电能监控*** | |
| CN107732902B (zh) | 配电网经济运行监控及评价方法 | |
| CN111521966B (zh) | 台区电表时间超差监测方法、装置、监测终端和存储介质 | |
| CN201332267Y (zh) | 电能监控*** | |
| de Macedo et al. | Opportunities and challenges of DSM in smart grid environment | |
| CN113886503A (zh) | 一种电力采集数据分布式存储方法及*** | |
| CN112308348A (zh) | 一种中压线损异常智能分析方法 | |
| CN104656052A (zh) | 一种降损增效的电能计量装置远程监测诊断方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |