CN109714388A - 一种基于流处理的停上电事件实时分析***及方法 - Google Patents
一种基于流处理的停上电事件实时分析***及方法 Download PDFInfo
- Publication number
- CN109714388A CN109714388A CN201811366203.7A CN201811366203A CN109714388A CN 109714388 A CN109714388 A CN 109714388A CN 201811366203 A CN201811366203 A CN 201811366203A CN 109714388 A CN109714388 A CN 109714388A
- Authority
- CN
- China
- Prior art keywords
- event
- power
- message
- powering
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于流处理的停上电事件实时分析***及方法,所述***包括用于接收终端上报的报文信息并生成日志的前置机、用于从所述前置机生成的日志中获取终端停上电事件的报文信息的日志收集组件、用于接收并根据报文类型分类缓存所述日志收集组件的报文信息的分布式消息中间件;用于缓存基础档案信息的分布式缓存组件、用于利用流处理技术进行停上电事件分析并将停上电事件分析结果推送给第三方***的流处理组件;用于存储所述停上电事件分析结果的列式数据库组件。本发明能够有效地对配网中的停电情况进行实时监测,从而缩短了停电响应时间和抢修时间、提高了供电可靠性。
Description
技术领域
本发明涉及电力计量技术领域,具体涉及一种基于分布式流处理的停上电事件实时分析***及方法。
背景技术
供电可靠率体现的是电网企业对用户持续供电的能力,直接体现企业优质服务水平。缩短停电抢修时间,提高服务质量尤为重要。为了及时掌握对电力用户供电情况的运行数据,国家电网公司启动用电信息采集***建设,2015年,国家电网公司计划投资4202亿元建设电网,同比增幅达24%,投资金额再创历史新高。其中,安装智能电表6060万只,实现3.16亿户用电信息自动采集。
随着如此大规模用电信息采集***的建设,电力公司需要全面了解所管辖区域的用电情况,及时处理异常停电、上电对供电可靠率的影响;然而由于供电设备的老化,或是用户的不规范操作等,都会导致不同范围的异常停电、上电情况的发生,因此如何及时的发现上述情况,最大限度降低异常停上电对电力用户造成的影响,缩短停电抢修的时间,提升工作效率,为配电网运行监测提供基础数据,是各省电力公司非常迫切的需求。
目前国内对中低压配网中的停电检测还未有总体的规划或统一技术原则,大部分专用变压器、公用变压器及台区停电、线路停电仍是现场值班人员或用户通过拨打电话告知的方式层层传递到维修人员,并没有专门的手段对配网中的停电情况进行实时监测,这就增加了停电响应时间和抢修时间,降低了供电可靠性。
发明内容
本发明目的在于提出一种基于流处理的停上电事件实时分析***及方法,以缩短停电响应时间和抢修时间、提高供电可靠性。
为了实现本发明目的,本发明实施例提供一种基于流处理的停上电事件实时分析***,包括:
前置机,用于接收终端上报的报文信息并生成日志;
日志收集组件,用于从所述前置机生成的日志中获取终端停上电事件的报文信息;
分布式消息中间件,用于接收并根据报文类型分类缓存所述日志收集组件的报文信息、以及分类缓存流处理组件的终端停上电信息、线路停上电信息和台区停上电信息;
分布式缓存组件,用于缓存基础档案信息;
流处理组件,用于利用流处理技术获取并根据所述分布式消息中间件的报文信息和所述分布式缓存组件的基础档案信息进行停上电事件分析,并将停上电事件分析结果推送给第三方***;
列式数据库组件,用于接收并存储所述停上电事件分析结果。
本实施例还提供一种基于流处理的停上电事件实时分析方法,包括如下步骤:
S1前置机接收终端上报的报文信息并生成相应日志;
S2日志收集组件从所述前置机生成的日志中获取终端停上电事件的报文信息;
S3分布式消息中间件接收并根据报文类型将所述日志收集组件获取的报文信息进行分类缓存;
S4流处理组件利用流处理技术获取并根据所述分布式消息中间件的报文信息和所述分布式缓存组件的基础档案信息进行停上电事件分析,并将停上电事件分析结果发送给分布式消息中间件、列式数据库组件和第三方***;
S5分布式消息中间件接收并分类缓存所述流处理组件的停上电事件分析结果;列式数据库组件接收并存储所述停上电事件分析结果。
其中,所述报文类型包括事件类型报文和实时数据类型报文,所述事件类型包括停上电事件,所述实时数据类型报文包括电压、电流数据。
其中,所述停上电事件分析结果包括终端停上电分析结果、线路停上电分析结果和台区停上电分析结果;
其中,所述步骤S5中分布式消息中间件按终端、线路和台区三个类别分类缓存所述流处理组件的终端停上电分析结果、线路停上电分析结果和台区停上电分析结果。
其中,所述步骤S4流处理组件利用流处理技术获取并根据所述分布式消息中间件的报文信息和所述分布式缓存组件的基础档案信息进行停上电事件分析具体包括:
S41利用流处理技术获取所述分布式消息中间件的报文信息和所述分布式缓存组件的基础档案信息;
S42对所述报文信息进行解析;
S43根据报文的解析结果分析终端停上电事件得到终端停上电分析结果;
S44根据终端停上电分析结果判断相应的台区和线路是否停上电得到线路停上电分析结果和台区停上电分析结果。
其中,所述步骤S43包括基于停电事件报文分析和基于电压、电流的停上电分析;
所述基于停电事件报文分析包括:
利用流处理技术从分布消息中间件中实时拉取需要处理的事件类型的报文;
根据具体的服务器资源启用多个线程,并行处理拉取的报文信息,其中,所需的基础档案信息从分布式缓存组件中获取,并将分析得到的结果,发送至下一环节进行汇总;
启用多个线程并行的将分析结果缓存到分布式消息中间件中,以供后续操作;
所述基于电压、电流的停上电分析包括:
利用流处理技术从分布消息中间件中实时拉取需要处理的实时数据类型的报文;
根据具体的服务器资源启用多个线程,并行对拉取的报文信息进行解析与分析,其中,所需的基础档案信息从分布式缓存组件中获取,并将分析得到的结果,发送至下一环节进行汇总;
启用多个线程并行的将分析结果缓存到分布式消息中间件中,以供后续操作。
其中,所述停上电事件分析结果发送给第三方***包括:以FTP的方式将分析结果远程写入FTP服务器,每分钟生成一个以时间戳为文件名的文本文档。
其中,所述步骤S43包括:
终端直接上送的停上电事件判定为待分析的状态,能匹配成对的停上电事件,判断为有效的停上电事件;
对终端每天上报的电压、电流数据进行分析,若发现某一时间段三相电压均低于参比电压的60%且三相电流均不大于5%的额定电流,则算作终端的停电时间,并且将之后电压高于参比电压78%的第一次的时间作为终端的上电时间,中间的时间间隔作为终端的停电事件持续时间,状态判定为待召测;
采集终端停电并触发停电事件上报的,再次上线后终端地址发生改变的,应该定义此次停电事件为正常的终端调试轮换,若终端地址未发生变化,可以判定为无效的停电事件;
针对停电事件数据频繁上送的,如果有匹配的上电事件,则匹配的那条停电事件为有效的停电事件,其他的视为无效的停电事件,予以剔除,反之也成立;
停电事件数据中停电时间和上电时间的不成对匹配的终端产生停电事件,而超过预设时间没有上电事件,则判为异常停电事件;
停电事件数据中停电时间与上电时间的逻辑错误,则判为无效的停电事件。
停电事件上送时间明显异常的视为终端故障,同时判断当日电压、电流是否满足停电判断条件,如果不满足,判断为无效的停电事件,予以告警或剔除;
判断停电时间间隔是否小于停电时间最小有效间隔或者超过停电时间最大有效间隔,则判为无效的停电事件;
将终端上报的重复停电事件数据中重复记录予以剔除;
根据停电时间的重叠情况,对同一线路、同一台区的用户停电事件发生情况进行统计分析。
其中,所述步骤S44中根据终端停上电分析结果判断相应的台区和线路是否停上电得到线路停上电分析结果包括:根据步骤S43的统计分析结果,如果一个台区下所有终端满足停电事件的判断,则认为该台区停电。
其中,所述步骤S44中根据终端停上电分析结果判断相应的台区和线路是否停上电得到台区停上电分析结果包括:根据步骤S43的统计分析结果,如果一条线路下,在同一时段,满足停上电事件的终端占该线路下终端总数占比达到预设比例时,则判断为该线路停电。
本发明实施例具有以下有益效果:
本发明实施例方法以分布式流处理技术为基础,结合分布式分布式消息中间件、海量日志收集组件以及列式数据库、分布式缓存等先进高效的处理技术,对终端上送的报文信息进行实时分析,对重复、漏报、异常以及需要特殊处理的终端(例如需要招测电能表的停上电事件来判断终端的停上电情况)停上电事件进行分析,进而判断出台区、线路的停上电情况,最终以FTP文件的方式,推送给外部***,以作为配网抢修的主要依据,整个处理过程吞吐量极高,基本无延迟,有效地对配网中的停电情况进行实时监测,从而缩短了停电响应时间和抢修时间、提高了供电可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一中一种基于流处理的停上电事件实时分析***框架图。
图2为本发明实施例二中一种基于流处理的停上电事件实时分析方法流程图。
图3为本发明实施例二中一种基于流处理的停上电事件实时分析方法具体流程图。
图4为本发明实施例二中所述流处理流程图。
图5为本发明实施例二中所述分布式缓存操作流程图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
另外,为了更好的说明本发明,在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本发明同样可以实施。在一些实例中,对于本领域技术人员熟知的手段、元件和电路未作详细描述,以便于凸显本发明的主旨。
如图1所示,本发明实施例一提供一种基于流处理的停上电事件实时分析***,包括:
前置机1,用于接收终端上报的报文信息并生成日志;
分布式日志收集组件Flume 2,用于直接从所述前置机打印生成的日志中获取终端停上电事件的报文信息;
分布式消息中间件KAFKA 3,用于接收并根据报文类型分类缓存所述日志收集组件的报文信息、以及分类缓存流处理组件的终端停上电信息、线路停上电信息和台区停上电信息;
分布式缓存组件MEMCACHED 4,用于缓存基础档案信息;
流处理组件STORM 5,所述流处理组件STORM经过配置,作为消息中间件的消费者,其用于利用流处理技术获取并根据所述分布式消息中间件的报文信息和所述分布式缓存组件的基础档案信息进行停上电事件分析,并将停上电事件分析结果推送给第三方***6;其中,本实施例中第三方***6指的配网抢修平台,所述分析结果可作为配网抢修的主要依据。
列式数据库组件HBASE 7,用于接收并存储所述停上电事件分析结果。
如图2所示,本实施例二还提供一种基于流处理的停上电事件实时分析方法,该方法为实施例一所述***的分析方法,包括如下步骤:
S1前置机接收终端上报的报文信息并生成相应日志;
具体而言,所述前置机将终端上送的报文保存到文本文件中,该文件以时间戳为文件名,每分钟生成一个文件。
S2运行在前置机上的日志收集组件从所述前置机生成的日志中获取终端停上电事件的报文信息;
具体而言,日志收集组件按照前置机报文文件生成的时间,顺序的读取报文信息,并根据报文数据的类型判断其是事件报文还是实时数据(电压、电流)报文,日志收集组件作为消息中间件的生产者,根据报文类型将报文信息存入消息中间件中进行缓存,以待消费者(流处理组件)进行下一环节的分析。
S3分布式消息中间件接收并根据报文类型将所述日志收集组件获取的报文信息进行分类缓存;
其中,为了避免由于框架中各个组件之间处理速度的差异性引起的处理延迟,本发明实施例采用了分布式消息中间件作为缓存,对原始报文、停上电分析结果以及实时的负荷数据(电压、电流)进行分类缓存。
S4流处理组件利用流处理技术获取并根据所述分布式消息中间件的报文信息和所述分布式缓存组件的基础档案信息进行停上电事件分析,并将停上电事件分析结果发送给分布式消息中间件、列式数据库组件和第三方***;
S5分布式消息中间件接收并分类缓存所述流处理组件的停上电事件分析结果;列式数据库组件接收并存储所述停上电事件分析结果。
本实施例分析结果的存储利用了分布式列式存储数据库HBASE,该组件读写效率高,支持大量并发,较适合一次写入多次读取的数据。存储到HBASE中的分析数据主要用来查询,或作为上层数据挖掘的基础数据。
具体而言,经由流处理组件分析而得出的停上电结果,按照终端、台区以及线路三个维度,分别缓存在消息中间件中,由于直接推送或是固化存储,有可能影响流处理组件Storm的处理效率,或是由于外部组件(或是***)的异常,而导致在入库或是推送过程中阻塞流处理线程。缓存的分析结果,会有其他专门的入库或推送线程完成操作,以提高集群的稳定性,保障集群的处理性能。
其中,所述报文类型包括事件类型报文和实时数据类型报文,所述事件类型包括停上电事件,所述实时数据类型报文包括电压、电流数据。具体而言,日志收集组件Flume从前置机的输出文档中抽取报文,从中解析出功能码AFN,根据功能判断该报文数据的类型,根据类型的不同,对报文分别进行缓存,以提高程序的并行处理能力,以及数据的复用性。
其中,所述停上电事件分析结果包括终端停上电分析结果、线路停上电分析结果和台区停上电分析结果;
其中,所述步骤S5中分布式消息中间件按终端、线路和台区三个类别分类缓存所述流处理组件的终端停上电分析结果、线路停上电分析结果和台区停上电分析结果。
所述步骤S4流处理组件利用流处理技术获取并根据所述分布式消息中间件的报文信息和所述分布式缓存组件的基础档案信息进行停上电事件分析具体包括:
S41利用流处理技术获取所述分布式消息中间件的报文信息和所述分布式缓存组件的基础档案信息;
S42对所述报文信息进行解析;
S43根据报文的解析结果分析终端停上电事件得到终端停上电分析结果;
S44根据终端停上电分析结果判断相应的台区和线路是否停上电得到线路停上电分析结果和台区停上电分析结果。
为了最大限度的提高流处理框架的执行效率,本发明实施例将所述步骤S43的整个分析过程切割为两大模块:基于停电事件报文分析和基于电压、电流的停上电分析;
所述基于停电事件报文分析包括:
A1利用流处理技术从分布消息中间件中实时拉取需要处理的事件类型的报文,该步骤不做任何业务上的处理,直接将拉取到的报文发送给下一步骤;
A2根据具体的服务器资源启用多个线程,并行处理拉取的报文信息,其中,所需的基础档案信息从分布式缓存组件中获取,并将分析得到的结果,发送至下一环节进行汇总;
A3启用多个线程并行的将分析结果缓存到分布式消息中间件中,以供后续操作,流程如图4所示。
所述基于电压、电流的停上电分析包括:
B1利用流处理技术从分布消息中间件中实时拉取需要处理的实时数据类型的报文(电压、电流实时数据),该步骤不做任何业务上的处理,直接将拉取到的报文发送给下一步骤;
B2根据具体的服务器资源启用多个线程,并行对拉取的报文信息进行解析与分析,其中,所需的基础档案信息从分布式缓存组件中获取,并将分析得到的结果,发送至下一环节进行汇总;
B3启用多个线程并行的将分析结果缓存到分布式消息中间件中,以供后续操作,流程如图4所示。
其中,在停上电分析过程中,由于需要大量的基础档案信息,例如,判断台区停上电情况,需要获得台区与终端的映射关系,判断线路停上电情况,需要获取台区与线路的拓扑关系。本发明实施例选用了Memcached作为缓存数据库,将大量的档案数据缓存到多台服务器节点上,由于访问时直接从内存中获取,且支持大量并发操作,因此效率远高于直接从关系型数据库Oracle 8中获取,架构及操作流程如图5所示。
其中,所述停上电事件分析结果发送给第三方***包括:以FTP的方式将分析结果远程写入FTP服务器,每分钟生成一个以时间戳为文件名的文本文档。
具体而言,停上电分析得到的终端、台区以及线路的停上电信息主要为配网抢修平台提供抢修的依据,作为本发明实施例中独立的模块,该功能以FTP的方式将分析结果远程写入FTP服务器,每分钟生成一个以时间戳为文件名的文本文档,用户程序以文件名排序,顺序读取,处理完毕后删除文件;写入FTP的文档格式如下表所示。
表1 FTP文件传送格式
其中,在停上电实时分析过程中,为了及时准确的分析出终端是否发生了停上电事件,本发明实施例采用了基于分析停上电事件报文和实时负荷数据两种方法,其中,对重复停上电事件进行剔除,对停电、上电事件不匹配的,通过招测电表事件来判断;最后,以终端停上电事件为基础,来判断台区与线路的停上电情况。
其中,主站根据终端停上电时间判断终端停上电事件,具体判断逻辑如下:
1)终端直接上送的停上电事件判定为待分析的状态;能匹配成对的停上电事件,判断为有效的停上电事件。
2)主站后台根据所有终端的电压、电流进行后台判断,推算出这些终端的停上电时间,判断规则如下:
***对终端每天上报的电压、电流数据进行分析,若发现某一时间段三相电压均低于参比电压的60%(高供高计判断A、C相),且三相电流均不大于5%的额定电流(高供高计判断A、C相),则算作该终端的停电时间,并且将之后电压高于参比电压78%(高供高计判断A、C相)的第一次的时间作为该终端的上电时间,中间的间隔作为该终端的停电时间,状态判断待召测,补全标记为停上电均补全的。
3)采集终端停电并触发停电事件上报的,再次上线后终端地址发生改变的,应该定义此次停电事件为正常的终端调试轮换,若终端地址未发生变化,可以判定为无效的停电事件。
4)针对停电事件数据频繁上送的(例如单个终端一日上报10次以上停电事件数据的),如果有匹配的上电事件,则匹配的那条停电事件为有效的停电事件,其他的视为无效的停电事件,予以剔除,反之也成立。
5)停电事件数据中停电时间和上电时间的不成对匹配终端或电能表中产生停电事件,而超过预设时间(例如3天)没有上电事件,不成对则判为异常停电事件。不成对的停电事件分2种情况讨论:
第一种情况:有上电事件而无停电事件。此时如果满足:该上电事件前1分钟至3日内存在三相电压同时小于60%的参比电压(高供高计判断A、C相),且三相电流均不大于5%的额定电流(高供高计判断A、C相);或该终端上电事件前60分钟内没有上行日志,判断为待召测,补全标记为停电事件补全的停上电事件,且将上电事件的停电时间更新为上电事件前最近有电压电流或者上行日志的时间点。如果该上电事件前3天内有对应的停电事件的,则状态判断为有效的停上电事件,如果超过3天没有电压电流,转为无效的上电事件。
第二种情况:有停电事件,但是无上电事件。如果停电事件发生后1分钟(本发明不限于1分钟,可合理调整配置)-至当天内存在三相电压同时大于78%参比电压(高供高计判断A、C相)或者有报文信息,则补全上电事件,最早一次满足规则的事件为上电时间,则判断为待召测,补全标记为上电事件补全的停上电事件;如果停电事件后至当前判断时间内存在三相电压同时小于60%的参比电压(高供高计判断A、C相)或没有电压,或停电事件后到当前判断时间内没有上行日志,则判断为停电且在有效期内的停电事件,超过3日,转为无效的停电事件。
6)停电事件数据中停电时间与上电时间的逻辑错误
上电时间早于停电时间、停/上电时间为空或乱码等现象出现时,则判为无效的停电事件。
7)停电事件上送时间明显异常的视为终端故障(例如早于电能表或终端安装时间),同时判断当日电压、电流是否满足停电判断条件,如果不满足,判断为无效的停电事件,予以告警或剔除。
8)停电事件持续时间过短或者过长的判断停电时间(上电事件发生时间—停电事件发生时间)小于停电时间最小有效间隔(例如1分钟,本发明不限于此),或者超过停电时间最大有效间隔(例如3天,本发明不限于此),则判为无效的停电事件。停电时间最小/最大有效间隔由甄别限值参数设置。
9)终端上报的重复停电事件数据,对重复记录予以剔除。
10)结合“线路—台区”之间的拓扑关系进行用户停电事件关联性分析功能,即根据停电时间的重叠情况,对同一线路、同一台区的用户停电事件发生情况进行统计分析,辅助进行线路停电、台区停电的判断。
(2)台区停上电
如果一个台区下所有终端或集中器满足停电事件的判断,则认为该台区停电。
(3)线路停上电
如果一条线路下,在同一时段(可配置,例如30分钟),满足停上电事件终端和集中器(状态包括有效、补全和待定)占该线路下终端和集中器总数占比,当占比达到设置的比例时(比例可在***参数表中配置),则认为满足线路停电事件的判断,***判断为该线路停电。
通过以上实施例的描述可知,本发明实施例方法以分布式流处理技术为基础,结合分布式分布式消息中间件、海量日志收集组件以及列式数据库、分布式缓存等先进高效的处理技术,对终端上送的报文信息进行实时分析,对重复、漏报、异常以及需要特殊处理的终端(例如需要招测电能表的停上电事件来判断终端的停上电情况)停上电事件进行分析,进而判断出台区、线路的停上电情况,最终以FTP文件的方式,推送给外部***,以作为配网抢修的主要依据,整个处理过程吞吐量极高,基本无延迟,有效地对配网中的停电情况进行实时监测,从而缩短了停电响应时间和抢修时间、提高了供电可靠性。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种基于流处理的停上电事件实时分析***,其特征在于,包括:
前置机,用于接收终端上报的报文信息并生成日志;
日志收集组件,用于从所述前置机生成的日志中获取终端停上电事件的报文信息;
分布式消息中间件,用于接收并根据报文类型分类缓存所述日志收集组件的报文信息;
分布式缓存组件,用于缓存基础档案信息;
流处理组件,用于利用流处理技术获取并根据所述分布式消息中间件的报文信息和所述分布式缓存组件的基础档案信息进行停上电事件分析,并将停上电事件分析结果推送给第三方***;
列式数据库组件,用于存储所述停上电事件分析结果。
2.如权利要求1所述基于流处理的停上电事件实时分析***的分析方法,其特征在于,包括如下步骤:
S1前置机接收终端上报的报文信息并生成相应日志;
S2日志收集组件从所述前置机生成的日志中获取终端停上电事件的报文信息;
S3分布式消息中间件接收并根据报文类型将所述日志收集组件获取的报文信息进行分类缓存;
S4流处理组件利用流处理技术获取并根据所述分布式消息中间件的报文信息和所述分布式缓存组件的基础档案信息进行停上电事件分析,并将停上电事件分析结果发送给分布式消息中间件、列式数据库组件和第三方***;
S5分布式消息中间件接收并分类缓存所述流处理组件的停上电事件分析结果;列式数据库组件接收并存储所述停上电事件分析结果。
3.如权利要求2所述的基于流处理的停上电事件实时分析***的分析方法,其特征在于,所述报文类型包括事件类型报文和实时数据类型报文,所述事件类型包括停上电事件,所述实时数据类型报文包括电压、电流数据。
4.如权利要求3所述的基于流处理的停上电事件实时分析***的分析方法,其特征在于,所述停上电事件分析结果包括终端停上电分析结果、线路停上电分析结果和台区停上电分析结果;
其中,所述步骤S5中分布式消息中间件按终端、线路和台区三个类别分类缓存所述流处理组件的终端停上电分析结果、线路停上电分析结果和台区停上电分析结果。
5.如权利要求4所述的基于流处理的停上电事件实时分析***的分析方法,其特征在于,所述步骤S4流处理组件利用流处理技术获取并根据所述分布式消息中间件的报文信息和所述分布式缓存组件的基础档案信息进行停上电事件分析具体包括:
S41利用流处理技术获取所述分布式消息中间件的报文信息和所述分布式缓存组件的基础档案信息;
S42对所述报文信息进行解析;
S43根据报文的解析结果分析终端停上电事件得到终端停上电分析结果;
S44根据终端停上电分析结果判断相应的台区和线路是否停上电得到线路停上电分析结果和台区停上电分析结果。
6.如权利要求5所述的基于流处理的停上电事件实时分析***的分析方法,其特征在于,所述步骤S43包括基于停电事件报文分析和基于电压、电流的停上电分析;
所述基于停电事件报文分析包括:
利用流处理技术从分布消息中间件中实时拉取需要处理的事件类型的报文;
根据具体的服务器资源启用多个线程,并行处理拉取的报文信息,其中,所需的基础档案信息从分布式缓存组件中获取,并将分析得到的结果,发送至下一环节进行汇总;
启用多个线程并行的将分析结果缓存到分布式消息中间件中,以供后续操作;
所述基于电压、电流的停上电分析包括:
利用流处理技术从分布消息中间件中实时拉取需要处理的实时数据类型的报文;
根据具体的服务器资源启用多个线程,并行对拉取的报文信息进行解析与分析,其中,所需的基础档案信息从分布式缓存组件中获取,并将分析得到的结果,发送至下一环节进行汇总;
启用多个线程并行的将分析结果缓存到分布式消息中间件中,以供后续操作。
7.如权利要求6所述的基于流处理的停上电事件实时分析***的分析方法,其特征在于,所述停上电事件分析结果发送给第三方***包括:以FTP的方式将分析结果远程写入FTP服务器,每分钟生成一个以时间戳为文件名的文本文档。
8.如权利要求7所述的基于流处理的停上电事件实时分析***的分析方法,其特征在于,所述步骤S43包括:
终端直接上送的停上电事件判定为待分析的状态,能匹配成对的停上电事件,判断为有效的停上电事件;
对终端每天上报的电压、电流数据进行分析,若发现某一时间段三相电压均低于参比电压的60%且三相电流均不大于5%的额定电流,则算作终端的停电时间,并且将之后电压高于参比电压78%的第一次的时间作为终端的上电时间,中间的时间间隔作为终端的停电事件持续时间,状态判定为待召测;
采集终端停电并触发停电事件上报的,再次上线后终端地址发生改变的,应该定义此次停电事件为正常的终端调试轮换,若终端地址未发生变化,可以判定为无效的停电事件;
针对停电事件数据频繁上送的,如果有匹配的上电事件,则匹配的那条停电事件为有效的停电事件,其他的视为无效的停电事件,予以剔除,反之也成立;
停电事件数据中停电时间和上电时间的不成对匹配的终端产生停电事件,而超过预设时间没有上电事件,则判为异常停电事件;
停电事件数据中停电时间与上电时间的逻辑错误,则判为无效的停电事件;
停电事件上送时间明显异常的视为终端故障,同时判断当日电压、电流是否满足停电判断条件,如果不满足,判断为无效的停电事件,予以告警或剔除;
判断停电时间间隔是否小于停电时间最小有效间隔或者超过停电时间最大有效间隔,则判为无效的停电事件;
将终端上报的重复停电事件数据中重复记录予以剔除;
根据停电时间的重叠情况,对同一线路、同一台区的用户停电事件发生情况进行统计分析。
9.如权利要求8所述的基于流处理的停上电事件实时分析***的分析方法,其特征在于,所述步骤S44中根据终端停上电分析结果判断相应的台区和线路是否停上电得到线路停上电分析结果包括:根据步骤S43的统计分析结果,如果一个台区下所有终端满足停电事件的判断,则认为该台区停电。
10.如权利要求9所述的基于流处理的停上电事件实时分析***的分析方法,其特征在于,所述步骤S44中根据终端停上电分析结果判断相应的台区和线路是否停上电得到台区停上电分析结果包括:根据步骤S43的统计分析结果,如果一条线路下,在同一时段,满足停上电事件的终端占该线路下终端总数占比达到预设比例时,则判断为该线路停电。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811366203.7A CN109714388A (zh) | 2018-11-16 | 2018-11-16 | 一种基于流处理的停上电事件实时分析***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811366203.7A CN109714388A (zh) | 2018-11-16 | 2018-11-16 | 一种基于流处理的停上电事件实时分析***及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109714388A true CN109714388A (zh) | 2019-05-03 |
Family
ID=66254902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811366203.7A Pending CN109714388A (zh) | 2018-11-16 | 2018-11-16 | 一种基于流处理的停上电事件实时分析***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109714388A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110244163A (zh) * | 2019-06-20 | 2019-09-17 | 国网湖南省电力有限公司 | 一种台区停复电事件层级智能研判方法及装置 |
CN110690761A (zh) * | 2019-10-22 | 2020-01-14 | 宁波三星医疗电气股份有限公司 | 一种停上电事件确定方法、电力终端及电力*** |
CN110750403A (zh) * | 2019-10-25 | 2020-02-04 | 宁波三星智能电气有限公司 | 基于电力终端的停上电测试方法及相关装置 |
CN111143314A (zh) * | 2019-12-26 | 2020-05-12 | 厦门服云信息科技有限公司 | 一种基于高速流式处理技术的日志解析方法及*** |
CN111562460A (zh) * | 2020-03-24 | 2020-08-21 | 广东电网有限责任公司广州供电局 | 配电网停电事件侦测研判方法、装置、计算机设备及介质 |
CN112468359A (zh) * | 2020-11-10 | 2021-03-09 | 许继集团有限公司 | 电力***物联网边缘物联代理装置的日志采集***及方法 |
CN112804331A (zh) * | 2021-01-14 | 2021-05-14 | 杭州海兴泽科信息技术有限公司 | 一种基于消息总线的电能表数据处理方法、***和电能表 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106483406A (zh) * | 2016-09-30 | 2017-03-08 | 国家电网公司 | 一种低压电力客户停电信息数据采集的方法 |
CN106502772A (zh) * | 2016-10-09 | 2017-03-15 | 国网浙江省电力公司信息通信分公司 | 基于分布式离线技术的电量数据批量高速处理方法及*** |
US20180074852A1 (en) * | 2016-09-14 | 2018-03-15 | Salesforce.Com, Inc. | Compact Task Deployment for Stream Processing Systems |
-
2018
- 2018-11-16 CN CN201811366203.7A patent/CN109714388A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180074852A1 (en) * | 2016-09-14 | 2018-03-15 | Salesforce.Com, Inc. | Compact Task Deployment for Stream Processing Systems |
CN106483406A (zh) * | 2016-09-30 | 2017-03-08 | 国家电网公司 | 一种低压电力客户停电信息数据采集的方法 |
CN106502772A (zh) * | 2016-10-09 | 2017-03-15 | 国网浙江省电力公司信息通信分公司 | 基于分布式离线技术的电量数据批量高速处理方法及*** |
Non-Patent Citations (1)
Title |
---|
周振龙: "用电信息采集***的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110244163A (zh) * | 2019-06-20 | 2019-09-17 | 国网湖南省电力有限公司 | 一种台区停复电事件层级智能研判方法及装置 |
CN110244163B (zh) * | 2019-06-20 | 2022-03-11 | 国网湖南省电力有限公司 | 一种台区停复电事件层级智能研判方法及装置 |
CN110690761A (zh) * | 2019-10-22 | 2020-01-14 | 宁波三星医疗电气股份有限公司 | 一种停上电事件确定方法、电力终端及电力*** |
CN110750403A (zh) * | 2019-10-25 | 2020-02-04 | 宁波三星智能电气有限公司 | 基于电力终端的停上电测试方法及相关装置 |
CN110750403B (zh) * | 2019-10-25 | 2023-10-24 | 宁波三星智能电气有限公司 | 基于电力终端的停上电测试方法及相关装置 |
CN111143314A (zh) * | 2019-12-26 | 2020-05-12 | 厦门服云信息科技有限公司 | 一种基于高速流式处理技术的日志解析方法及*** |
CN111562460A (zh) * | 2020-03-24 | 2020-08-21 | 广东电网有限责任公司广州供电局 | 配电网停电事件侦测研判方法、装置、计算机设备及介质 |
CN112468359A (zh) * | 2020-11-10 | 2021-03-09 | 许继集团有限公司 | 电力***物联网边缘物联代理装置的日志采集***及方法 |
CN112804331A (zh) * | 2021-01-14 | 2021-05-14 | 杭州海兴泽科信息技术有限公司 | 一种基于消息总线的电能表数据处理方法、***和电能表 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109714388A (zh) | 一种基于流处理的停上电事件实时分析***及方法 | |
CN108665186B (zh) | 基于计量自动化***的配变重过载停电监测方法及装置 | |
CN105427039A (zh) | 一种基于责任区的配电网抢修工单高效处理方法 | |
CN110806518B (zh) | 一种台区线损异动分析模块及其操作方法 | |
CN111562460B (zh) | 配电网停电事件侦测研判方法、装置、计算机设备及介质 | |
CN109345786A (zh) | 一种低压非居民用户用电异常情况自动报警*** | |
CN108710099A (zh) | 电容式电压互感器监测告警方法和*** | |
CN112287548B (zh) | 基于宽带网络的配电网实时监控方法及装置 | |
CN117691645A (zh) | 一种用于智能微电网的储能*** | |
CN115061013B (zh) | 基于停电事件大数据分析的低压常见故障研判方法及*** | |
CN111667143A (zh) | 电网调度实时监测数据与业务管理数据融合的实现方法 | |
CN116522746A (zh) | 高耗能企业配电托管方法 | |
CN110555583A (zh) | 一种智能电网调度控制***广域运行数据统一处理方法 | |
CN209911524U (zh) | 一种停电检测终端 | |
CN116756506A (zh) | 区域电缆网络碳排放检测方法、***、装置及存储介质 | |
CN110703019A (zh) | 基于输电线路的采集信息的用电异常精准定位方法 | |
CN110750760A (zh) | 一种基于态势感知和控制图的异常理论线损检测方法 | |
CN112446619B (zh) | 配电网抢修处理方法和装置 | |
CN116739550A (zh) | 一种抢修智能辅助决策方法及*** | |
CN103001321A (zh) | 具有d类电压质量监测功能的数据集中器 | |
CN110163539B (zh) | 一种低压配电台区用户侧停电故障的分析判断方法 | |
Li et al. | Research on Model Construction of Electric Energy Metering System Based on Intelligent Sensor Data | |
CN111813825A (zh) | 一种配变出口停电事件漏报自动检验方法及*** | |
CN110598805A (zh) | 一种电力***监控信息的识别方法和*** | |
CN110705916A (zh) | 一种变压器小微负荷电量的判定方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190503 |
|
RJ01 | Rejection of invention patent application after publication |