CN104992295A - 基于流式处理技术Storm的配电生产设备的在线监控方法 - Google Patents
基于流式处理技术Storm的配电生产设备的在线监控方法 Download PDFInfo
- Publication number
- CN104992295A CN104992295A CN201510401487.9A CN201510401487A CN104992295A CN 104992295 A CN104992295 A CN 104992295A CN 201510401487 A CN201510401487 A CN 201510401487A CN 104992295 A CN104992295 A CN 104992295A
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- distribution production
- storm
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于流式处理技术Storm的配电生产设备的在线监控方法，通过配电生产***的设备实时数据有更新则将数据发送到消息响应***，根据设备类型分发为不同的消息主题，流式处理***storm根据不同设备类型实时向消息相应***获取相对应主题消息，进行在线处理并判断当前状态是否异常，若异常则将设备信息发送至报警***；对处理后的设备状态值存入离线数据库，结合外部气象局数据与存入处理结果的离线数据库进行预警分析，本发明除了能够实时监控外，还能够结合历史数据，通过内部分析模型并判断是否准确，通过分析模型分析出的预警信息，比传统监控***中内置固定的专家意见和人工判断要更加准确，用数据说话也更科学、更严谨。
Description
技术领域
本发明涉及一种基于流式处理技术Storm的配电生产设备的在线监控方法，属于电力技术领域。
背景技术
现有的配电生产***并无具体设备检测管理***，目前只是定时采集实时量，并无后续监控；由于设备数量较大，没有较好的解决方案支撑瞬态如此大的数据量进行实时监控，并且设备是处于外部环境下工作，检测手段单一，大多是通过视频监控，不能够很好的实时报警，更不能根据天气以及状态负荷做到预警。
发明内容
本发明的目的是：针对现有技术的上的缺陷，提供一种基于流式处理技术Storm的配电生产设备的在线监控方法，既能实现实时监控，又可以结合历史数据进行内部分析，以克服现有技术的不足。
本发明的技术方案
一种基于流式处理技术Storm的配电生产设备的在线监控方法，该方法包括以下步骤，
步骤1：配电生产***的设备实时数据有更新则将数据发送到消息响应***，根据设备类型分发为不同的消息主题；在设备信息产生时，消息响应***有一个程序去一直监控数据的产生，产生一行就通过一个传输***发给消息响应***，然后在消息响应***内部按照设备类型、设备id分别存于不同的主题，通过广播的方式发布出去，每条数据从获取到分组发布完成，可以在毫秒级别完成；
步骤2：流式处理***storm根据不同设备类型实时向消息相应***获取相对应主题消息，进行在线处理；
步骤3：根据步骤2的处理结果判断当前状态是否异常，若异常则将设备信息发送至报警***；在设备信息产生时，消息响应***有一个程序去一直监控数据的产生，产生一行就通过一个传输***发给流式计算***，然后流式计算***直接处理，根据处理结果立即判断是需要发动报警还是存入离线数据库，每条数据从产生到处理完成，在集群数为4台以上可以在毫秒级别完成；
步骤4：对步骤2处理后的设备状态值存入离线数据库；
步骤5：结合外部气象局数据与步骤4存入处理结果的离线数据库进行预警分析。
前述的基于流式处理技术Storm的配电生产设备的在线监控方法中，所述步骤1包括以下子步骤：
S1.1：配网生产设备***会实时生成设备当前信息，如果当前设备信息数据较之前状态有变动，消息响应***会从配网生产管理***获取这条有信息变动的数据；
S1.2：消息响应***把获取到的设备数据按照设备类型与设备id分发成不同的主题消息，以广播的方式发布，供后续处理。
前述的基于流式处理技术Storm的配电生产设备的在线监控方法中，所述步骤2包括以下子步骤：
S2.1：流式处理***storm向消息响应***订阅主题，根据不同的设备类型和设备id订阅不同的实时主题消息；
S2.2：获取到数据后进行在线批量处理，根据设备温度、功效、开关等信息判断设备运行状态，并给出实时处理意见。
前述的基于流式处理技术Storm的配电生产设备的在线监控方法中，所述步骤3包括以下子步骤：
S3.1：根据步骤2的处理结果，如果设备异常，则向报警***发送异常事件；
S3.2：向管理员邮箱发送异常以及报警消息，通知管理员查看处理。
前述的基于流式处理技术Storm的配电生产设备的在线监控方法中，所述步骤4包括以下子步骤：
S4.1：对步骤2的结果设备正常的数据存入非关系型分析数据库HBase，根据设备类型划分不同的列族；
S4.2：对步骤2的结果设备异常的数据存入关系型分析数据库Mysql，积累的异常数据可刻画出设备运行异常周期，运行异常周期的计算更倾向于关系型数据库，这类查询需要复杂的查询sql以及多表查询。
前述的基于流式处理技术Storm的配电生产设备的在线监控方法中，所述步骤5包括以下子步骤：
S5.1：每日根据气象局接口获取24小时内数据，结合步骤4存入的分析数据库，建立分析模型分析设备运行状态和预警；
S5.2：建立评价***，评价***由较为科学的数学算法配合机器学习语言设计，分析模型需要评价***来对其不断维护，保证分析模型的准确性；
S5.3：分析模型每日提供预警建议，并发送至管理员邮箱供管理员参考。
由于采用了上述技术方案，与现有技术相比，本发明在监控***中运用大数据技术除了能够实时监控外，还能够结合历史数据，通过内部分析模型，并且用一套计算规则生成的评价***实时维护这个分析模型是否准确，并且可随时设定预警阀值，灵活控制分析模型，确保分析模型的准确性， 通过分析模型分析出的预警信息，比传统监控***中内置固定的专家意见和人工判断要更加准确，用数据说话也更科学、更严谨。
附图说明
附图1是本发明的流程图。
具体实施方式
下面结合附图对本发明用作进一步的详细说明，但不作为对本发明的任何限制。
本发明的实施例：一种基于流式处理技术Storm的配电生产设备的在线监控方法，如附图1所示，该方法包括以下步骤，
步骤1：配电生产***的设备实时数据有更新则将数据发送到消息响应***，根据设备类型分发为不同的消息主题；在设备信息产生时，消息响应***有一个程序去一直监控数据的产生，产生一行就通过一个传输***发给消息响应***，然后在消息响应***内部按照设备类型、设备id分别存于不同的主题，通过广播的方式发布出去，每条数据从获取到分组发布完成，可以在毫秒级别完成；
其中该步骤1包括以下子步骤：
S1.1：配网生产设备***会实时生成设备当前信息，如果当前设备信息数据较之前状态有变动，消息响应***会从配网生产管理***获取这条有信息变动的数据；
S1.2：消息响应***把获取到的设备数据按照设备类型与设备id分发成不同的主题消息，以广播的方式发布，供后续处理。
步骤2：流式处理***storm根据不同设备类型实时向消息相应***获取相对应主题消息，进行在线处理；storm通过网络直传、内存计算，其时延传输很低；当计算模型比较适合流式时，storm的流式处理，省去了批处理的收集数据的时间；storm是服务型的作业，省去了作业调度的时延。bolt是Storm***中的一个线程，在bolt的内存中会缓存很多变动频度低的数据。在计算预警信息时24小时内天气信息不会有大的改变，通过内存缓存这部分数据以避免重复向对应气象接口的消息响应***取数据，对于连绵不断的设备实时信息计算的延时相比传统服务算法要低很多，性能提升非常巨大，从秒级别到毫秒级别的提升。
其中该步骤2包括以下子步骤：
S2.1：流式处理***storm向消息响应***订阅主题，根据不同的设备类型和设备id订阅不同的实时主题消息；
S2.2：获取到数据后进行在线批量处理，根据设备温度、功效、开关等信息判断设备运行状态，并给出实时处理意见。
步骤3：根据步骤2的处理结果判断当前状态是否异常，若异常则将设备信息发送至报警***；在设备信息产生时，消息响应***有一个程序去一直监控数据的产生，产生一行就通过一个传输***发给流式计算***，然后流式计算***直接处理，根据处理结果立即判断是需要发动报警还是存入离线数据库，每条数据从产生到处理完成，在集群数一定规模下（4台以上）可以在毫秒级别完成；
其中该步骤3包括以下子步骤：
S3.1：根据步骤2的处理结果，如果设备异常，则向报警***发送异常事件；
S3.2：向管理员邮箱发送异常以及报警消息，通知管理员查看处理。
步骤4：对步骤2处理后的设备状态值存入离线数据库；其中该步骤4包括以下子步骤：
S4.1：对步骤2的结果设备正常的数据存入非关系型分析数据库HBase，根据设备类型划分不同的列族；
S4.2：对步骤2的结果设备异常的数据存入关系型分析数据库Mysql，积累的异常数据可刻画出设备运行异常周期，运行异常周期的计算更倾向于关系型数据库，这类查询需要复杂的查询sql以及多表查询。
步骤5：结合外部气象局数据与步骤4存入处理结果的离线数据库进行预警分析。
其中该步骤5包括以下子步骤：
S5.1：每日根据气象局接口获取24小时内数据，结合步骤4存入的分析数据库，建立分析模型分析设备运行状态和预警；
S5.2：建立评价***，评价***由较为科学的数学算法配合机器学习语言设计，分析模型需要评价***来对其不断维护，保证分析模型的准确性；
S5.3：分析模型每日提供预警建议，并发送至管理员邮箱供管理员参考。
本实施例在监控***中运用大数据技术除了能够实时监控外，还能够结合历史数据，通过内部分析模型，并且用一套计算规则生成的评价***实时维护这个分析模型是否准确，并且可随时设定预警阀值，灵活控制分析模型，确保分析模型的准确性， 通过分析模型分析出的预警信息，比传统监控***中内置固定的专家意见和人工判断要更加准确，用数据说话也更科学、更严谨。
Claims (6)
1.一种基于流式处理技术Storm的配电生产设备的在线监控方法，其特征在于：该方法包括以下步骤，
步骤1：配电生产***的设备实时数据有更新则将数据发送到消息响应***，根据设备类型分发为不同的消息主题；在设备信息产生时，消息响应***有一个程序去一直监控数据的产生，产生一行就通过一个传输***发给消息响应***，然后在消息响应***内部按照设备类型、设备id分别存于不同的主题，通过广播的方式发布出去，每条数据从获取到分组发布完成，可以在毫秒级别完成；
步骤2：流式处理***storm根据不同设备类型实时向消息相应***获取相对应主题消息，进行在线处理；
步骤3：根据步骤2的处理结果判断当前状态是否异常，若异常则将设备信息发送至报警***；在设备信息产生时，消息响应***有一个程序去一直监控数据的产生，产生一行就通过一个传输***发给流式计算***，然后流式计算***直接处理，根据处理结果立即判断是需要发动报警还是存入离线数据库，每条数据从产生到处理完成，在集群数为4台以上可以在毫秒级别完成；
步骤4：对步骤2处理后的设备状态值存入离线数据库；
步骤5：结合外部气象局数据与步骤4存入处理结果的离线数据库进行预警分析。
2.根据权利要求1所述的基于流式处理技术Storm的配电生产设备的在线监控方法，其特征在于：
所述步骤1包括以下子步骤：
S1.1：配网生产设备***会实时生成设备当前信息，如果当前设备信息数据较之前状态有变动，消息响应***会从配网生产管理***获取这条有信息变动的数据；
S1.2：消息响应***把获取到的设备数据按照设备类型与设备id分发成不同的主题消息，以广播的方式发布，供后续处理。
3.根据权利要求1所述的基于流式处理技术Storm的配电生产设备的在线监控方法，其特征在于：
所述步骤2包括以下子步骤：
S2.1：流式处理***storm向消息响应***订阅主题，根据不同的设备类型和设备id订阅不同的实时主题消息；
S2.2：获取到数据后进行在线批量处理，根据设备温度、功效、开关等信息判断设备运行状态，并给出实时处理意见。
4.根据权利要求1所述的基于流式处理技术Storm的配电生产设备的在线监控方法：
所述步骤3包括以下子步骤：
S3.1：根据步骤2的处理结果，如果设备异常，则向报警***发送异常事件；
S3.2：向管理员邮箱发送异常以及报警消息，通知管理员查看处理。
5.根据权利要求1所述的基于流式处理技术Storm的配电生产设备的在线监控方法：
所述步骤4包括以下子步骤：
S4.1：对步骤2的结果设备正常的数据存入非关系型分析数据库HBase，根据设备类型划分不同的列族；
S4.2：对步骤2的结果设备异常的数据存入关系型分析数据库Mysql，积累的异常数据可刻画出设备运行异常周期，运行异常周期的计算更倾向于关系型数据库，这类查询需要复杂的查询sql以及多表查询。
6.根据权利要求1所述的基于流式处理技术Storm的配电生产设备的在线监控方法：
所述步骤5包括以下子步骤：
S5.1：每日根据气象局接口获取24小时内数据，结合步骤4存入的分析数据库，建立分析模型分析设备运行状态和预警；
S5.2：建立评价***，评价***由较为科学的数学算法配合机器学习语言设计，分析模型需要评价***来对其不断维护，保证分析模型的准确性；
S5.3：分析模型每日提供预警建议，并发送至管理员邮箱供管理员参考。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510401487.9A CN104992295A (zh) | 2015-07-10 | 2015-07-10 | 基于流式处理技术Storm的配电生产设备的在线监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510401487.9A CN104992295A (zh) | 2015-07-10 | 2015-07-10 | 基于流式处理技术Storm的配电生产设备的在线监控方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104992295A true CN104992295A (zh) | 2015-10-21 |
Family
ID=54304105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510401487.9A Pending CN104992295A (zh) | 2015-07-10 | 2015-07-10 | 基于流式处理技术Storm的配电生产设备的在线监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104992295A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107403005A (zh) * | 2017-07-24 | 2017-11-28 | 浙江极赢信息技术有限公司 | 一种网站监控方法及装置 |
| CN108280090A (zh) * | 2017-01-06 | 2018-07-13 | 中芯国际集成电路制造(上海)有限公司 | 一种智能反馈***及方法 |
| CN109684180A (zh) * | 2018-12-20 | 2019-04-26 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
| CN110096664A (zh) * | 2019-04-03 | 2019-08-06 | 北大方正集团有限公司 | 分布式文本信息处理方法、装置、***、设备及存储介质 |
| CN110445857A (zh) * | 2019-08-01 | 2019-11-12 | 东莞弓叶互联科技有限公司 | 一种基于云端推送的垃圾处理设备实时数据处理方法 |
| CN113159411A (zh) * | 2021-04-14 | 2021-07-23 | 国网河南省电力公司电力科学研究院 | 一种电网气象风险预警模型的检验方法及*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150324A (zh) * | 2012-12-26 | 2013-06-12 | 人民搜索网络股份公司 | 一种基于链式处理的数据收集***及其方法 |
| CN104574219A (zh) * | 2015-01-28 | 2015-04-29 | 华东电网有限公司 | 电网业务信息***运行工况的监测预警方法及*** |
-
2015
- 2015-07-10 CN CN201510401487.9A patent/CN104992295A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150324A (zh) * | 2012-12-26 | 2013-06-12 | 人民搜索网络股份公司 | 一种基于链式处理的数据收集***及其方法 |
| CN104574219A (zh) * | 2015-01-28 | 2015-04-29 | 华东电网有限公司 | 电网业务信息***运行工况的监测预警方法及*** |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280090A (zh) * | 2017-01-06 | 2018-07-13 | 中芯国际集成电路制造(上海)有限公司 | 一种智能反馈***及方法 |
| CN107403005A (zh) * | 2017-07-24 | 2017-11-28 | 浙江极赢信息技术有限公司 | 一种网站监控方法及装置 |
| CN109684180A (zh) * | 2018-12-20 | 2019-04-26 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
| CN110096664A (zh) * | 2019-04-03 | 2019-08-06 | 北大方正集团有限公司 | 分布式文本信息处理方法、装置、***、设备及存储介质 |
| CN110096664B (zh) * | 2019-04-03 | 2021-04-09 | 北大方正集团有限公司 | 分布式文本信息处理方法、装置、***、设备及存储介质 |
| CN110445857A (zh) * | 2019-08-01 | 2019-11-12 | 东莞弓叶互联科技有限公司 | 一种基于云端推送的垃圾处理设备实时数据处理方法 |
| CN113159411A (zh) * | 2021-04-14 | 2021-07-23 | 国网河南省电力公司电力科学研究院 | 一种电网气象风险预警模型的检验方法及*** |
| CN113159411B (zh) * | 2021-04-14 | 2022-09-13 | 国网河南省电力公司电力科学研究院 | 一种电网气象风险预警模型的检验方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104992295A (zh) | 基于流式处理技术Storm的配电生产设备的在线监控方法 | |
| CN111984503B (zh) | 一种监控指标数据异常数据识别的方法及装置 | |
| CN107888441B (zh) | 一种网络流量基线自学习自适应方法 | |
| CN112712113B (zh) | 一种基于指标的告警方法、装置及计算机*** | |
| CN103412542B (zh) | 一种数据驱动的集成电路工艺设备异常预警技术方法 | |
| CN107172128B (zh) | 一种云辅助的制造装备大数据采集方法 | |
| CN106940677A (zh) | 一种应用日志数据告警方法及装置 | |
| CN108061841A (zh) | 一种电网故障事件等级自动识别的方法 | |
| CN106656669B (zh) | 一种基于阈值自适应设置的设备参数异常检测***及方法 | |
| CN115186883A (zh) | 基于边云协同计算的工业设备健康状态监测***及方法 | |
| CN111198808A (zh) | 预测性能指标的方法、装置、存储介质及电子设备 | |
| US20200209111A1 (en) | System and method for detecting anomalies in sensory data of industrial machines located within a predetermined proximity | |
| CN108306997B (zh) | 域名解析监控方法及装置 | |
| CN115640915A (zh) | 一种智慧燃气管网压缩机安全管理方法和物联网*** | |
| CN115664038B (zh) | 一种用于电气安全管理的智能配电运维监控*** | |
| CN108748936A (zh) | 一种注塑车间智能生产管理***及其方法 | |
| JP2015118505A (ja) | コントローラシステム | |
| CN113659712A (zh) | 一种电力设备大数据标签运行平台及方法 | |
| CN112291303A (zh) | 一种基于边缘计算的多方位距离动态监测及预警方法 | |
| CN104518913A (zh) | 一种基于人工免疫的云服务异常检测方法 | |
| CN117761416A (zh) | 一种母线槽在线监测*** | |
| CN116448234A (zh) | 一种电力变压器运行状态声纹监测方法及*** | |
| CN111708672A (zh) | 数据传输方法、装置、设备及存储介质 | |
| CN110794799A (zh) | 应用于工业生产的具有故障诊断功能的大数据*** | |
| CN106603396B (zh) | 一种基于总线型数据交换的物联网接入网关 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| CB03 | Change of inventor or designer information |
Inventor after: Huang Liya Inventor after: Zhu Zhou Inventor after: Wu Yang Inventor after: Wang Wei Inventor after: Luo Nianhua Inventor after: Ma Yanjie Inventor after: Ma Mingjian Inventor after: Wang Peng Inventor before: Li Fei Inventor before: Chen Chaoyin Inventor before: Zhang Xiang Inventor before: Yan Zhengteng Inventor before: Yang Jian Inventor before: Wang Peng Inventor before: Zhou Yongji |
|
| COR | Change of bibliographic data | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20151228 Address after: 550001 Guizhou Province, Guiyang city Nanming District Xinhua Road grand Vista C building 703 Applicant after: INFORMATION & COMMUNICATION BRANCH OF GUIZHOU GRID COMPANY Applicant after: GUIZHOU GUANGSI INFORMATION NETWORK CO., LTD. Address before: 550001 Guizhou Province, Guiyang city Nanming District Xinhua Road grand Vista C building 703 Applicant before: GUIZHOU GUANGSI INFORMATION NETWORK CO., LTD. |
|
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20200407 |
|
| AD01 | Patent right deemed abandoned |