CN117909892A - 基于LOF算法和Prophet模型的数据异常实时预警方法及*** - Google Patents

基于LOF算法和Prophet模型的数据异常实时预警方法及*** Download PDF

Info

Publication number
CN117909892A
CN117909892A CN202311746080.0A CN202311746080A CN117909892A CN 117909892 A CN117909892 A CN 117909892A CN 202311746080 A CN202311746080 A CN 202311746080A CN 117909892 A CN117909892 A CN 117909892A
Authority
CN
China
Prior art keywords
data
early warning
lof
propset
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311746080.0A
Other languages
English (en)
Inventor
李帅
王刚
丘凌
曹航瑞
王远峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Digital Life Technology Co Ltd
Original Assignee
Tianyi Digital Life Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Digital Life Technology Co Ltd filed Critical Tianyi Digital Life Technology Co Ltd
Priority to CN202311746080.0A priority Critical patent/CN117909892A/zh
Publication of CN117909892A publication Critical patent/CN117909892A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于LOF算法和Prophet模型的数据异常实时预警方法及***包括:步骤S101,数据采集,对数据源进行采集监控;步骤S102,对数据进行处理并进行相关特征处理;步骤S103,设置LOF判定阈值,计算LOF,得到异常点;步骤S104,进入异常点判定和Prophet模型训练,当判断异常点达到判定阈值时,将异常点与Prophet模型训练结果对照,并进入步骤S105;步骤S105,进入异常预警监测模式,进行预警阈值判定,将LOF计算结果与Prophet模型训练结果对照结果,当结果达到所设预警阈值时,进入S106;步骤S106,推送预警通知。通过将LOF算法和Prophet模型结合起来提供了一个数据异常实时预警方法及***,可以更好地监测和响应数据异常,帮助用户或***有效管理和控制潜在风险,并及时进行预警。

Description

基于LOF算法和Prophet模型的数据异常实时预警方法及***
技术领域
本发明涉及实时预警的技术领域,更具体地说,涉及一种基于LOF算法和Prophet模型的数据异常实时预警方法及***。
背景技术
在现代互联网应用中,随着大数据、物联网等技术的快速发展,越来越多的实时数据需要被实时监测和分析,以便及时识别潜在的异常情况并采取相应措施。然而,数据异常检测不及时可能导致严重的后果,包括***故障、安全漏洞、服务不稳定等问题。LOF(局部异常因子)算法和Prophet(时间序列预测)模型是两种常用且有效的数据分析方法。
局部异常因子算法是一种用于离群点检测的算法,其基本原理是通过计算数据点与其邻域内其他数据点之间的密度比较,判断数据点的异常程度。LOF算法可以在时间序列数据中有效地识别具有异常行为的数据点,对于实时预警***中的异常检测具有重要意义。Prophet模型是一种专门为时间序列预测设计的模型,可以自动学习和捕捉趋势、季节性模式等时间序列数据中的规律性。Prophet模型能够对未来时间进行预测,并提供置信区间等相关信息,对实时预警***中的异常预测具有重要作用。
基于局部异常因子算法和Prophet模型实现实时预警的方法和***将结合这两种方法的优势,以实现对时间序列数据流的实时异常检测和预测。通过实时计算数据点的局部异常因子,可以及时识别出可能的异常点。同时,使用Prophet模型对未来时间进行实时预测,可进一步提供异常情况的预警信息。
发明内容
本发明提供一种基于LOF算法和Prophet模型的数据异常实时预警方法及***,旨在解决数据流检测异常不及时问题,提高对数据的敏感性和准确性,以及基于趋势和历史数据的实时预测能力。
为实现上述目的,本发明提供了一种基于LOF算法和Prophet模型的数据异常实时预警方法,包括:
步骤S101,数据采集,对数据源进行采集监控;
步骤S102,对数据进行处理并进行相关特征处理;
步骤S103,设置LOF判定阈值,计算LOF,得到异常点;
步骤S104,进入异常点判定和Prophet模型训练,当判断异常点达到判定阈值时,将异常点与Prophet模型训练结果对照,并进入步骤S105,当判断异常点未达到判定阈值时,不做反馈;
步骤S105,进入异常预警监测模式,设定预警阈值,进行预警阈值判定,将LOF计算结果与Prophet模型训练结果对照结果,当结果达到所设预警阈值时,进入S106,当结果判断未达到所设预警阈值,不做反馈;
步骤S106,推送预警通知。
在一个实施例中,步骤S102中,所述数据处理包括清洗数据、缺失值和异常值处理;
所述相关特征处理包括对时间、数值和趋势的提取,以进行LOF计算和Prophet模型预测。
在一个实施例中,步骤S103中,LOF计算公式包括Z-score计算公式、Robust Z-score计算公式。
在一个实施例中,步骤S103中,计算时先确定数据集中的特征向量或数据点,选择适当的邻域大小,通过计算每个数据点到邻域内其他数据点的平均距离来确定其局部密度,并计算相对可达距离以得到LOF。
在一个实施例中,步骤S104中,将计算得到的LOF与预先设定的阈值进行比较,超过阈值的数据点被标记为异常点。
在一个实施例中,步骤S104中,所述Prophet模型训练包括历史数据分析、模型参数设置和动态更新模型,以确保模型预测的准确性和适应性。
在一个实施例中,步骤S105,将异常点和Prophet模型训练的预测结果与预设的预警阈值进行比较,如果异常点标记和预测结果同时超过预警阈值,***会触发相应的预警通知,以便及时采取措施。
在一个实施例中,步骤S106,预警通知方式包括短信、邮件和推送消息中的一个或多个,以将预警信息及时通知给相关人员。
一种基于LOF算法和Prophet模型的实时预警***,用于实现基于LOF算法和Prophet模型的数据异常实时预警方法,包括:
监控数据源模块,所述监控数据源模块监控多个数据源;
数据处理模块,所述数据处理模块与所述监控数据源模块连接,用于对数据进行实时处理和预处理;
LOF计算模块,与所述数据处理模块连接,将处理后的数据进行LOF计算,以得出异常点;
Prophet模型训练模块,所述Prophet模型训练模块与所述数据处理模块连接,用于预测数据趋势,得到预测结果;
其中,将LOF算法模块得到的异常点和Prophet模型的预测结果结合与预设的预警条件进行比较,以判断***是否需要预警通知。
在一个实施例中,所述数据源包括第一数据源、第二数据源、第三数据源和第四数据源;
所述数据处理模块包括数据清洗单元、数据转化单元和数据聚合单元;
所述Prophet模型训练模块包括数据采集单元、数据训练单元和异常预测单元。
本发明具有如下有益效果:
1、实时检测异常:局部异常因子算法用于实时检测数据中的异常点,帮助***快速捕捉到可能存在的问题或异常情况。通过对异常因子的计算和分析,可以准确地识别出与正常模式明显不同的数据点。
2、基于历史数据的预测:Prophet模型预测是基于历史数据的趋势、季节性和特殊事件等因素,进行实时预测。它能够利用时间序列模式,提供对未来数据点的可靠预测,帮助预警***及时做出响应。
3、提高实时预警准确性:通过结合局部异常因子算法和Prophet模型,可以综合考虑实时异常检测和趋势预测的结果,提高实时预警的准确性。异常因子算法的敏感性和Prophet模型的预测能力相结合,能够更好地捕捉到潜在的异常情况,并及时进行预警。
附图说明
图1为本发明一实施例的基于LOF算法和Prophet模型的数据异常实时预警方法的流程框图;
图2为本发明一实施例的基于LOF算法和Prophet模型的实时预警***的结构框图。
其中,100为监控数据源模块;110为第一数据源;120为第二数据源;130为第三数据源;140为第四数据源;200为数据处理模块;210为数据清洗单元;220为数据转化单元;230为数据聚合单元;300为LOF计算模块;400为Prophet模型训练模块;410为数据采集单元;420为数据训练单元;430为异常预测单元。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行更加详细的描述。在附图中,相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例,而不是全部的实施例。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本发明一实施例的基于LOF(局部异常因子)算法和Prophet(时间序列预测)模型实现数据异常实时预警方法的流程框图,包括:
步骤S101,数据采集,对数据源进行采集监控;
步骤S102,对数据进行处理并进行相关特征处理;
步骤S103,设置LOF判定阈值,计算LOF,得到异常点;
步骤S104,进入异常点判定和Prophet模型训练,当判断异常点达到判定阈值时,将异常点与Prophet模型训练结果对照,并进入步骤S105,当判断异常点未达到判定阈值时,不做反馈;
步骤S105,进入异常预警监测模式,设定预警阈值,进行预警阈值判定,将LOF计算结果与Prophet模型训练结果对照结果,当结果达到所设预警阈值时,进入S106,当结果未达到所设预警阈值,不做反馈;
步骤S106,推送预警通知。
具体地,数据采集以确定实时数据的来源和获取方式,确保数据能够及时地进入预警***;数据预处理包括清洗数据、处理缺失值和异常值,确保输入到算法和模型中的数据质量可靠。特征提取包括从实时数据中提取时间、数值和趋势等特征,用于局部LOF算法和Prophet模型的输入。
在一个实施例中,步骤S102中,所述数据处理包括清洗数据、缺失值和异常值处理;
所述相关特征处理包括对时间、数值和趋势的提取,以进行LOF计算和Prophet模型预测。
在一个实施例中,步骤S103中,LOF计算公式包括Z-score(标准分数)计算公式、Robust Z-score(稳健Z分数)计算公式。
在一个实施例中,步骤S103中,计算时先确定数据集中的特征向量或数据点,选择适当的邻域大小,通过计算每个数据点到邻域内其他数据点的平均距离来确定其局部密度,并计算相对可达距离以得到LOF。
具体地,根据LOF的值排序,较高的值表示较为异常的数据点。
在一个实施例中,步骤S104中,将计算得到的LOF与预先设定的阈值进行比较,超过阈值的数据点被标记为异常点。
在一个实施例中,步骤S104中,所述Prophet模型训练包括历史数据分析、模型参数设置和动态更新模型,以确保模型预测的准确性和适应性。
具体地,历史数据分析,使用历史数据对Prophet模型进行训练和构建,并分析数据的趋势、季节性等特征。模型参数设置,根据数据特点和需求,设置Prophet模型的参数,例如窗口大小、季节性模式等。动态更新模型,根据实时数据的输入,动态更新Prophet模型,保持模型的准确性和适应性。
在一个实施例中,步骤S105,将异常点和Prophet模型训练的预测结果与预设的预警阈值进行比较,如果异常点标记和预测结果同时超过预警阈值,***会触发相应的预警通知,以便及时采取措施。
在一个实施例中,步骤S106,预警通知方式包括短信、邮件和推送消息中的一个或多个,以将预警信息及时通知给相关人员。
具体地,预警触发条件:基于LOF算法的异常点识别结果和Prophet模型的预测结果来检测。
图2为本发明一实施例的基于LOF算法和Prophet模型的实时预警***的结构框图,用于实现基于LOF算法和Prophet模型的数据异常实时预警方法,包括:
监控数据源模块100,所述监控数据源模块100监控多个数据源;
数据处理模块200,所述数据处理模块200与所述监控数据源模块100连接,用于对数据进行实时处理和预处理;
LOF计算模块300,与所述数据处理模块200连接,将处理后的数据进行LOF计算,以得出异常点;
Prophet模型训练模块400,所述Prophet模型训练模块400与所述数据处理模块200连接,用于预测数据趋势,得到预测结果;
其中,将LOF算法模块得到的异常点和Prophet模型的预测结果结合与预设的预警条件进行比较,以判断***是否需要预警通知。
在一个实施例中,所述数据源包括第一数据源110、第二数据源120、第三数据源130和第四数据源140;
所述数据处理模块200包括数据清洗单元210、数据转化单元220和数据聚合单元230;
所述Prophet模型训练模块400包括数据采集单元410、数据训练单元420和异常预测单元430。
本发明一实施例具体如下:
数据采集和实时处理:通过监控数据源进行数据采集,并将数据传输到实时数据流处理平台。在一个实施例中,可以同时对多个数据源进行监控并进行数据采集,也可以设置为对指定的数据源进行监控并进行数据采集。在实时数据流处理平台上,对数据进行实时处理和预处理。这包括数据清洗、数据转化、数据聚合等预处理工作。确保数据质量和准确性。
LOF算法的动态调整和异常检测:在经过预处理的数据中,使用自适应的滑动窗口算法来动态调整LOF算法的参数。通过监控数据的变化情况,自动选择合适的窗口大小和邻域数。使用Z-score算法计算每个数据点的LOF。Z-score衡量数据点与平均值之间的偏差程度,从而判断数据是否异常。将计算得到的LOF与预先设定的阈值进行比较。超过阈值的数据点被标记为异常点。
Prophet模型的训练和预测:收集时间序列数据,将其分为日期和目标变量两列。再将日期列命名为"ds",目标变量列命名为"y",确保数据类型正确。然后使用历史时间序列数据对Prophet模型进行训练。模型会自动学习并捕捉数据的趋势和季节性模式,以及其他相关的模式和影响因素。再根据模型的参数设置,例如季节性模式的设置、趋势的灵活性等,对模型进行调整和优化。最后使用已训练的Prophet模型对未来时间进行预测,获取预测结果。
异常检测和预警:先将LOF算法的异常点标记和Prophet模型的预测结果结合。再将异常点标记和预测结果与预设的预警条件进行比较。如果达到预警条件,即异常点标记和预测结果同时满足预警条件,***会触发相应的预警通知,以便及时采取措施。
通过上述步骤,本专利实现了对监控数据的实时处理、动态调整的局部异常因子检测算法和时间序列预测模型的结合使用,以进行异常检测和预测
本发明具有如下有益效果:
1、实时检测异常:局部异常因子算法用于实时检测数据中的异常点,帮助***快速捕捉到可能存在的问题或异常情况。通过对异常因子的计算和分析,可以准确地识别出与正常模式明显不同的数据点。
2、基于历史数据的预测:Prophet模型预测是基于历史数据的趋势、季节性和特殊事件等因素,进行实时预测。它能够利用时间序列模式,提供对未来数据点的可靠预测,帮助预警***及时做出响应。
3、提高实时预警准确性:通过结合局部异常因子算法和Prophet模型,可以综合考虑实时异常检测和趋势预测的结果,提高实时预警的准确性。异常因子算法的敏感性和Prophet模型的预测能力相结合,能够更好地捕捉到潜在的异常情况,并及时进行预警。
在本申请的描述中,需要说明的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
需要说明的是,在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。还需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
此外,还需要说明的是,除非另有明确的规定和限定,在本申请的描述中使用的“连接”、“带动”类似词语应做广义理解,可以是直接的,也可以通过中间媒介间,还可以是两个元件内部的关系,领域内技术人员可根据具体情况理解其在本申请中的具体含义。
上述实施例是提供给熟悉本领域内的人员来实现或使用本申请的,熟悉本领域的人员可在不脱离本申请的申请思想的情况下,对上述实施例作出种种修改或变化,因而本申请的保护范围并不被上述实施例所限,而应该是符合权利要求书提到的创新性特征的最大范围。

Claims (10)

1.一种基于LOF算法和Prophet模型的数据异常实时预警方法,其特征在于,所述基于LOF算法和Prophet模型的数据异常实时预警方法包括:
步骤S101,数据采集,对数据源进行采集监控;
步骤S102,对数据进行处理并进行相关特征处理;
步骤S103,设置LOF判定阈值,计算LOF,得到异常点;
步骤S104,进入异常点判定和Prophet模型训练,当判断异常点达到判定阈值时,将异常点与Prophet模型训练结果对照,并进入步骤S105,当判断异常点未达到判定阈值时,不做反馈;
步骤S105,进入异常预警监测模式,设定预警阈值,进行预警阈值判定,将LOF计算结果与Prophet模型训练结果对照结果,当结果达到所设预警阈值时,进入S106,当结果判断未达到所设预警阈值,不做反馈;
步骤S106,推送预警通知。
2.根据权利要求1所述的基于LOF算法和Prophet模型的数据异常实时预警方法,其特征在于,步骤S102中,所述数据处理包括清洗数据、缺失值和异常值处理;
所述相关特征处理包括对时间、数值和趋势的提取,以进行LOF计算和Prophet模型预测。
3.根据权利要求1所述的基于LOF算法和Prophet模型的数据异常实时预警方法,其特征在于,步骤S103中,LOF计算公式包括Z-score计算公式、Robust Z-score计算公式。
4.根据权利要求3所述的基于LOF算法和Prophet模型的数据异常实时预警方法,其特征在于,步骤S103中,计算时先确定数据集中的特征向量或数据点,选择适当的邻域大小,通过计算每个数据点到邻域内其他数据点的平均距离来确定其局部密度,并计算相对可达距离以得到LOF。
5.根据权利要求4所述的基于LOF算法和Prophet模型的数据异常实时预警方法,其特征在于,步骤S104中,将计算得到的LOF与预先设定的阈值进行比较,超过阈值的数据点被标记为异常点。
6.根据权利要求5所述的基于LOF算法和Prophet模型的数据异常实时预警方法,其特征在于,步骤S104中,所述Prophet模型训练包括历史数据分析、模型参数设置和动态更新模型,以确保模型预测的准确性和适应性。
7.根据权利要求6所述的基于LOF算法和Prophet模型的数据异常实时预警方法,其特征在于,步骤S105,将异常点和Prophet模型训练的预测结果与预设的预警阈值进行比较,如果异常点标记和预测结果同时超过预警阈值,***会触发相应的预警通知,以便及时采取措施。
8.根据权利要求1所述的基于LOF算法和Prophet模型的数据异常实时预警方法,其特征在于,步骤S106,预警通知方式包括短信、邮件和推送消息中的一个或多个,以将预警信息及时通知给相关人员。
9.一种基于LOF算法和Prophet模型的实时预警***,用于实现权利要求1-8任一项所述的基于LOF算法和Prophet模型的数据异常实时预警方法,包括:
监控数据源模块,所述监控数据源模块监控多个数据源;
数据处理模块,所述数据处理模块与所述监控数据源模块连接,用于对数据进行实时处理和预处理;
LOF计算模块,与所述数据处理模块连接,将处理后的数据进行LOF计算,以得出异常点;
Prophet模型训练模块,所述Prophet模型训练模块与所述数据处理模块连接,用于预测数据趋势,得到预测结果;
其中,将LOF算法模块得到的异常点和Prophet模型的预测结果结合与预设的预警条件进行比较,以判断***是否需要预警通知。
10.根据权利要求9所述的基于LOF算法和Prophet模型的数据异常实时预警方法,其特征在于,所述数据源包括第一数据源、第二数据源、第三数据源和第四数据源;
所述数据处理模块包括数据清洗单元、数据转化单元和数据聚合单元;
所述Prophet模型训练模块包括数据采集单元、数据训练单元和异常预测单元。
CN202311746080.0A 2023-12-18 2023-12-18 基于LOF算法和Prophet模型的数据异常实时预警方法及*** Pending CN117909892A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311746080.0A CN117909892A (zh) 2023-12-18 2023-12-18 基于LOF算法和Prophet模型的数据异常实时预警方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311746080.0A CN117909892A (zh) 2023-12-18 2023-12-18 基于LOF算法和Prophet模型的数据异常实时预警方法及***

Publications (1)

Publication Number Publication Date
CN117909892A true CN117909892A (zh) 2024-04-19

Family

ID=90680849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311746080.0A Pending CN117909892A (zh) 2023-12-18 2023-12-18 基于LOF算法和Prophet模型的数据异常实时预警方法及***

Country Status (1)

Country Link
CN (1) CN117909892A (zh)

Similar Documents

Publication Publication Date Title
JP6890382B2 (ja) 生産システム
Caggiano et al. Cloud manufacturing framework for smart monitoring of machining
Pacella et al. Using recurrent neural networks to detect changes in autocorrelated processes for quality monitoring
CN110895526A (zh) 一种大气监测***中数据异常的修正方法
JP6141235B2 (ja) 時系列データにおける異常を検出する方法
CN111177505A (zh) 指标异常检测模型的训练方法、推荐的方法及装置
JP2022519228A (ja) 工業プロセスで使用されるコンポーネントから発生する信号の異常を検出及び測定するためのシステムと方法
CN110995153B (zh) 一种光伏电站的异常数据检测方法、装置及电子设备
CN113344133B (zh) 一种时序行为异常波动检测方法及***
JP2019135638A (ja) 生産プロセス中に異常なワークピースを自動検出するためのデータ駆動方法
CN116244765A (zh) 一种基于工业互联网的设备维护管理方法
US20230221684A1 (en) Explaining Machine Learning Output in Industrial Applications
CN112906738A (zh) 一种水质检测及处理方法
KR101960755B1 (ko) 미취득 전력 데이터 생성 방법 및 장치
CN117086699B (zh) 一种不锈钢构件切削加工温度测量方法及***
Trajkova et al. Active learning for automated visual inspection of manufactured products
CN117909892A (zh) 基于LOF算法和Prophet模型的数据异常实时预警方法及***
Wang et al. Broad learning system based visual fault diagnosis for electrical equipment thermography images
Salvador et al. Online detection of shutdown periods in chemical plants: A case study
Hoelzl et al. Detecting seasonal dependencies in production lines for forecast optimization
CN110727669A (zh) 一种电力***传感器数据清理装置及清理方法
CN110770753A (zh) 高维数据实时分析的装置和方法
CN113377630B (zh) 一种通用的kpi异常检测框架实现方法
JP6798968B2 (ja) ノイズ発生原因推定装置
CN103974028A (zh) 人员激烈行为侦测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination