CN111506625A - 一种告警阈值确定方法及装置 - Google Patents
一种告警阈值确定方法及装置 Download PDFInfo
- Publication number
- CN111506625A CN111506625A CN202010311941.2A CN202010311941A CN111506625A CN 111506625 A CN111506625 A CN 111506625A CN 202010311941 A CN202010311941 A CN 202010311941A CN 111506625 A CN111506625 A CN 111506625A
- Authority
- CN
- China
- Prior art keywords
- data
- determining
- quartile
- alarm threshold
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000002159 abnormal effect Effects 0.000 claims abstract description 117
- 238000005070 sampling Methods 0.000 claims abstract description 39
- 230000001960 triggered effect Effects 0.000 abstract description 11
- 238000012545 processing Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Quality & Reliability (AREA)
- Alarm Systems (AREA)
Abstract
本申请提供了一种告警阈值确定方法及装置,方法包括:获取从第一时间点至当前时间点的历史指标数据;按预设的采样周期对获取的历史指标数据进行采样,采样得到的历史指标数据作为第一目标数据;从第一目标数据中剔除异常数据,将剔除异常数据后的指标数据作为第二目标数据;根据第二目标数据确定当前的告警阈值。采用本申请提供的告警阈值确定方法确定的告警阈值能够与近期指标相适应,从而使得基于确定出的告警阈值能够准确地触发告警,并且,对获取的历史指标数据进行采样,以及剔除异常数据,使得根据第二目标数据确定出的告警阈值可靠性更高。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种告警阈值确定方法及装置。
背景技术
随着计算机技术的发展,大型企业***的主机及开放平台的批量处理业务的数量增长迅速,例如,账务处理、报表生成、数据收发等批量处理业务的数量不断增长,若不能及时发现并处理超时的批量处理业务,将影响后续批量处理业务的报送或者正常联机业务的开展。
目前,通常由业务人员凭借自身的业务经验预设静态的告警阈值,若检测到批量处理业务对应的指标数据不在告警阈值所划定的区间内,则触发告警并推送告警事件,以及时采取相应手段规避风险。
然而,在实际中,很多批量处理业务对应的指标数据具有动态特性,采用静态的告警阈值对具有动态特性的指标数据进行监控或分析时,无法体现动态的变化,其中,若告警阈值设置的较低,则会触发大量误告警,告警灵敏度较高,若告警阈值设置的较高,则会放宽告警条件,增加漏报的可能性。
发明内容
有鉴于此,本申请提供了一种告警阈值确定方法及装置,以解决现有技术中静态的告警阈值无法体现批量处理业务对应的指标数据的动态特性的问题,其技术方案如下:
一种告警阈值确定方法,包括:
获取从第一时间点至当前时间点的历史指标数据,其中,第一时间点为当前时间点之前的一时间点;
按预设的采样周期对获取的历史指标数据进行采样,采样得到的历史指标数据作为第一目标数据,其中,在每个采样周期采样最大的历史指标数据;
从第一目标数据中剔除异常数据,将剔除异常数据后的指标数据作为第二目标数据;
根据第二目标数据确定当前的告警阈值。
可选的,从第一目标数据中剔除异常数据,包括:
确定第一目标数据中的下四分位数和上四分位数,其中,下四分位数和上四分位数依次为,将第一目标数据按从小到大的顺序排序后,排名处于第25%的数据和排名处于第75%的数据;
根据下四分位数和上四分位数确定四分位距;
根据下四分位数、上四分位数以及四分位距,确定第一目标数据中的异常数据,并将确定出的异常数据剔除。
可选的,根据下四分位数、上四分位数以及四分位距,确定第一目标数据中的异常数据,包括:
根据下四分位数和四分位距确定异常值下限,并根据上四分位数和四分位距确定异常值上限;
将第一目标数据中,小于异常值下限的历史指标数据,以及大于异常值上限的指标数据确定为异常数据。
可选的,根据第二目标数据确定当前的告警阈值,包括:
确定第二目标数据的置信上限值;
根据第二目标数据的置信上限值和第二目标数据的标准差,确定当前的告警阈值。
可选的,根据第二目标数据的置信上限值和第二目标数据的标准差,确定当前的告警阈值,包括:
将第二目标数据的标准差的预设倍与第二目标数据的置信上限值求和;
根据求和得到值确定当前的告警阈值。
一种告警阈值确定装置,包括:历史指标数据获取模块、数据采样模块、异常数据剔除模块和告警阈值确定模块;
历史指标数据获取模块,用于获取从第一时间点至当前时间点的历史指标数据,其中,第一时间点为当前时间点之前的一时间点;
数据采样模块,用于按预设的采样周期对获取的历史指标数据进行采样,采样得到的历史指标数据作为第一目标数据,其中,在每个采样周期采样最大的历史指标数据;
异常数据剔除模块,用于从第一目标数据中剔除异常数据,将剔除异常数据后的指标数据作为第二目标数据;
告警阈值确定模块,用于根据第二目标数据确定当前的告警阈值。
可选的,异常数据剔除模块,包括:四分位数确定单元、四分位距确定单元和异常数据剔除单元;
四分位数确定单元,用于确定第一目标数据中的下四分位数和上四分位数,其中,下四分位数和上四分位数依次为,将第一目标数据按从小到大的顺序排序后,排名处于第25%的数据和排名处于第75%的数据;
四分位距确定单元,用于根据下四分位数和上四分位数确定四分位距;
异常数据剔除单元,用于根据下四分位数、上四分位数以及四分位距,确定第一目标数据中的异常数据,并将确定出的异常数据剔除。
可选的,异常数据剔除单元根据下四分位数、上四分位数以及四分位距,确定第一目标数据中的异常数据的过程,包括:
根据下四分位数和四分位距确定异常值下限,并根据上四分位数和四分位距确定异常值上限;
将第一目标数据中,小于异常值下限的历史指标数据,以及大于异常值上限的指标数据确定为异常数据。
可选的,告警阈值确定模块,包括:置信上限值确定单元和告警阈值确定单元;
置信上限值确定单元,用于确定第二目标数据的置信上限值;
告警阈值确定单元,用于根据第二目标数据的置信上限值和第二目标数据的标准差,确定当前的告警阈值。
可选的,告警阈值确定单元,包括:求和单元和告警阈值确定子单元;
求和单元,用于将第二目标数据的标准差的预设倍与第二目标数据的置信上限值求和;
告警阈值确定子单元,用于根据求和得到值确定当前的告警阈值。
经由上述的技术方案可知,本申请提供的告警阈值确定方法,首先获取从第一时间点至当前时间点的历史指标数据,然后按预设的采样周期对获取的历史指标数据进行采样,采样得到的历史指标数据作为第一目标数据,接着从第一目标数据中剔除异常数据,将剔除异常数据后的指标数据作为第二目标数据,最后根据第二目标数据确定当前的告警阈值。本申请提供的告警阈值确定方法中,由于告警阈值根据第一时间点至当前时间点的历史指标数据确定,因此,告警阈值能够与近期的指标数据相适应,即基于确定出的告警阈值能够准确的触发告警,并且,在当前时间点不同时,获取的历史指标数据也不同,相应的,确定的告警阈值也不同,也就是说,随着时间的推移,采用本申请提供的告警阈值确定方法总能获得与近期指标数据相适应的告警阈值,另外,按预设的采样周期对获取的历史指标数据进行采样,以及从第一目标数据中剔除异常数据,使得根据第二目标数据确定的告警阈值可靠性更高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种告警阈值确定方法的流程示意图;
图2为本申请实施例提供的告警阈值确定装置的结构示意图;
图3为本申请实施例提供的告警阈值确定设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
鉴于现有的告警阈值确定方法存在的问题,本案发明人进行了深入研究。
初始阶段的思路中,本案发明人想到:可以通过历史指标数据预测当前基准值,然后结合一定的概率算法得到合理的告警阈值范围,其中,该告警阈值范围的上限阈值和下限阈值相对于预测的基准阈值对称。具体来说,可以对历史指标数据直接使用正态分布特性进行概率计算,将历史指标数据的均值作为当前基准值,将该当前基准值加上标准差的预设倍作为上限阈值,并将该当前基准值减去标准差的预设倍作为下限阈值,以此得到告警阈值范围。例如,用历史指标数据的均值加上1.5倍的标准差得到上限阈值,用历史指标数据的均值减去1.5倍的标准差得到下限阈值,那么历史指标数据中会有约86.64%的指标数据处于该告警阈值范围内,而约13.36%的指标数据会触发告警并推送告警事件;再例如,用历史指标数据的均值加上2倍的标准差得到上限阈值,用历史指标数据的均值减去2倍的标准差得到下限阈值,那么历史指标数据中会有约95.45%的指标数据处于该告警阈值范围内,而约4.55%的指标数据会触发告警并推送告警事件。
但是,上述方法存在以下缺点:第一,若基于1.5倍的标准差计算上限阈值和下限阈值,则会触发大量误告警,告警灵敏度过高,增加运维成本;若基于2倍的标准差计算上限阈值和下限阈值,则会显著放宽告警条件,增加漏报的可能性;第二,该方法并未预先剔除历史指标数据中的异常数据,但是由于批量处理业务对应的历史指标数据中的异常数据较多,若不剔除该异常数据,将降低确定的告警阈值的可靠性和准确性。
鉴于上述思路存在的问题,本案发明人进一步进行研究,最终提出了一种告警阈值确定方法,利用该告警阈值确定方法能够确定动态的告警阈值,该告警阈值为上限阈值,即本申请仅需监控待检测的指标数据能否在上限阈值所对应的时间内运行完毕即可,相比于同时确定上限阈值和下限阈值,提高了后台计算的效率,降低了对资源的消耗,并且在确定该告警阈值时会将历史指标数据中的异常数据剔除,使得该告警阈值的可靠性和准确性得到提高。
接下来通过下述实施例对本申请提供的告警阈值确定方法进行详细介绍。
请参阅图1,示出了本申请实施例提供的告警阈值确定方法的流程示意图,该方法可以包括:
步骤S100、获取从第一时间点至当前时间点的历史指标数据。
其中,第一时间点为当前时间点之前的一时间点。
本申请实施例中,历史指标数据为批量处理业务对应的指标数据。
可选的,历史指标数据可以为批量处理业务运行的开始时间、结束时间以及运行时长等,当然,本申请实施例中,历史指标数据还可以为其他。
可选的,可以每隔预设时间,获取一次历史指标数据,以根据获取的历史指标数据确定告警阈值,例如,可每隔三个月,获取当前时间点之前一年内某夜间主机执行批量处理业务的每日开始时间,比如,2019年1月初获取2018年整年内夜间主机A执行批量处理业务1的每日开始时间,2019年4月初获取2018年4月初至2019年3月底夜间主机A执行批量处理业务1的每日开始时间,2019年7月初获取2018年7月初至2019年6月底夜间主机A执行批量处理业务1的每日开始时间。
需要说明是,每隔一段时间确定一次告警阈值,使得告警阈值能够一直保持与近期指标数据相适应,从而能够准确触发告警。
为方便统计,本申请实施例中,若历史指标数据为时间相关的数据,例如历史指标数据为批量处理业务运行的开始时间或者结束时间,那么可以预设基准时间,并以分钟为单位计算历史指标数据相比于基准时间的偏移量,以该偏移量作为本申请实施例中的历史指标数据。
例如,可以将22:00作为基准时间,以分钟为单位计算偏移量,那么若某日夜间主机A执行批量处理业务1的开始时间为凌晨1:00,则此次获取的历史指标数据为180分钟。
步骤S110、按预设的采样周期对获取的历史指标数据进行采样,采样得到的历史指标数据作为第一目标数据。
本步骤可以按预设的采样周期对获取的历史指标数据进行采样,以使得采样后得到的第一目标数据更加有效,基于该第一目标数据确定告警阈值,可以使得确定的告警阈值更加可靠且准确。
考虑到本申请需要获取历史指标数据对应的上限阈值,可选的,本申请实施例可以在每个采样周期采样最大的历史指标数据。
例如,在2019年1月初获取2018年整年内夜间主机A执行批量处理业务1的每日开始时间,可以得到365个历史指标数据。对该365个历史指标数据按照每周采样最大的历史指标数据,可以得到53个历史指标数据作为第一目标数据,该采样得到的第一目标数据可以参见表1所示。
表1第一目标数据
168 | 172 | 218 | 164 | 176 | 194 | 268 | 152 | 178 | 157 |
182 | 161 | 163 | 178 | 184 | 168 | 180 | 188 | 174 | 189 |
182 | 185 | 188 | 214 | 188 | 179 | 198 | 195 | 233 | 196 |
207 | 190 | 233 | 213 | 181 | 226 | 187 | 193 | 182 | 192 |
188 | 172 | 182 | 194 | 215 | 201 | 190 | 197 | 186 | 265 |
243 | 232 | 292 |
步骤S120、从第一目标数据中剔除异常数据,将剔除异常数据后的指标数据作为第二目标数据。
第一目标数据中往往包含多个异常数据,本步骤可以将第一目标数据中的异常数据剔除,以使得剔除异常数据后的第二目标数据更有效,并且该第二目标数据更能反映真实的历史规律,因此基于该第二目标数据确定的告警阈值更合理。
第一目标数据中包含多个异常数据的原因是:批量处理业务在运行过程中可能会报错,若报错则需要人为对报错的批量处理业务进行处理,若处理过程较慢,就可能导致该报错批量处理业务对应的指标数据成为异常数据。
步骤S130、根据第二目标数据确定当前的告警阈值。
前述已经说明了,历史指标数据可以为批量处理业务运行的开始时间、结束时间以及运行时长。其中,若历史指标数据为批量处理业务运行的开始时间,则告警阈值表征批量处理业务运行时可容忍的最晚开始时间,即若待检测的开始时间大于该最晚开始时间,则触发告警并推送告警事件;若历史指标数据为批量处理业务运行的结束时间,则告警阈值表征批量处理业务运行时可容忍的最晚结束时间,即若待检测的结束时间大于该最晚结束时间,则触发告警并推送告警事件;若历史指标数据为批量处理业务运行的运行时长,则告警阈值表征批量处理业务运行时可容忍的最大运行时长,即若待检测的运行时长大于该最大运行时长,则触发告警并推送告警事件。
本申请提供的告警阈值确定方法,首先获取从第一时间点至当前时间点的历史指标数据,然后按预设的采样周期对获取的历史指标数据进行采样,采样得到的历史指标数据作为第一目标数据,接着从第一目标数据中剔除异常数据,将剔除异常数据后的指标数据作为第二目标数据,最后根据第二目标数据确定当前的告警阈值。本申请提供的告警阈值确定方法中,由于告警阈值根据第一时间点至当前时间点的历史指标数据确定,因此,告警阈值能够与近期的指标数据相适应,即基于确定出的告警阈值能够准确的触发告警,并且,在当前时间点不同时,获取的历史指标数据也不同,相应的,确定的告警阈值也不同,也就是说,随着时间的推移,采用本申请提供的告警阈值确定方法总能获得与近期指标数据相适应的告警阈值,另外,按预设的采样周期对获取的历史指标数据进行采样,以及从第一目标数据中剔除异常数据,使得根据第二目标数据确定的告警阈值可靠性更高。
以下对上述实施例中的“步骤S120、从第一目标数据中剔除异常数据”进行说明。
考虑到第一目标数据中往往包含多个异常数据,该异常数据为第一目标数据中离散程度较高的数据,需要将该异常数据剔除,才可以得到更合理的告警阈值。
本申请实施例中,对第一目标数据中的异常数据进行剔除的过程可以包括:
步骤a1、确定第一目标数据中的下四分位数和上四分位数。
这里,下四分位数是指将第一目标数据按从小到大的顺序排序后,排名处于第25%的数据;上四分位数是指将第一目标数据按从小到大的顺序排序后,排名处于第75%的数据。
以表1所示第一目标数据为例,将表1中的第一目标数据按照从小到大的顺序排序后,排名处于第25%的数据为179,排名处于第75%的数据为201,那么下四分位数为179,上四分位数为201。
步骤a2、根据下四分位数和上四分位数确定四分位距。
本领域技术人员应当理解,四分位距=上四分位数-下四分位数。
仍以表1所示第一目标数据为例,四分位距为22。
步骤a3、根据下四分位数、上四分位数以及四分位距,确定第一目标数据中的异常数据,并将确定出的异常数据剔除。
可选的,本步骤根据下四分位数、上四分位数以及四分位距,确定第一目标数据中的异常数据的过程可以包括:
步骤a3-1、根据下四分位数和四分位距确定异常值下限,并根据上四分位数和四分位距确定异常值上限。
可选的,本申请实施例可以将Q1-1.5IQR确定为异常值下限,将Q3+1.5IQR确定为异常值上限。其中,Q1为下四分位数,Q3为上四分位数,IQR为四分位距。
那么,表1所示第一目标数据中,异常值下限为:Q1-1.5IQR=179-1.5*22=146,异常值上限为:Q3+1.5IQR=201+1.5*22=234。
步骤a3-2、将第一目标数据中,小于异常值下限的历史指标数据,以及大于异常值上限的指标数据确定为异常数据。
仍以表1所示第一目标数据为例,表1所示第一目标数据中小于异常值下限146,以及大于异常值上限234的指标数据为异常数据,经筛查可以得到表1所示异常数据包括:243、265、268和292。
本申请实施例在确定出第一目标数据中的异常数据后,可以将该异常数据从第一目标数据中剔除,剔除异常数据后数据作为第二目标数据。
以下对上述实施例中的“步骤S130、根据第二目标数据确定当前的告警阈值”进行说明。
在一可选实施例中,上述步骤S130的实现过程具体可以包括:
步骤b1、确定第二目标数据的置信上限值。
可选的,本步骤可以通过单侧置信区间算法确定第二目标数据的置信上限值,该单侧置信区间算法是一种上限估计方法,其对于一组给定的样本数据,能够根据该给定样本数据的样本数量、样本均值和样本标准差,确定该样本数据的置信上限值。
单侧置信区间算法对应的置信上限值的计算公式可以如下:
本申请实施例中,在确定置信上限值时,置信度β可以设置为95%。当然,该置信度β也可以为其他。
仍以表1所示第一目标数据为例,若表1所示异常数据包括:243、265、268和292,那么剔除该4个异常数据后可以得到表2所示第二目标数据。
表2第二目标数据
168 | 172 | 218 | 164 | 176 | 194 | 152 | 178 | 157 | 182 |
161 | 163 | 178 | 184 | 168 | 180 | 188 | 174 | 189 | 182 |
185 | 188 | 214 | 188 | 179 | 198 | 195 | 233 | 196 | 207 |
190 | 233 | 213 | 181 | 226 | 187 | 193 | 182 | 192 | 188 |
172 | 182 | 194 | 215 | 201 | 190 | 197 | 186 | 232 |
针对表2所示第二目标数据,第二目标数据的数量n为49,第二目标数据的均值为189.08,第二目标数据的标准差s为19.18,若置信度β为95%,则α=0.05。那么,经计算得到置信上限值为193.68。
需要说明的是,本申请实施例中,虽然根据第二目标数据,就可以得到置信上限值,但是该置信上限值在物理意义上针对的是全部指标数据,也即,该置信上限值能够表征在一定置信度下,全部指标数据的均值的上限值。
步骤b2、根据第二目标数据的置信上限值和第二目标数据的标准差,确定当前的告警阈值。
可选的,本步骤根据第二目标数据的置信上限值和第二目标数据的标准差,确定当前的告警阈值的实现过程可以包括:
步骤b2-1、将第二目标数据的标准差的预设倍与第二目标数据的置信上限值求和。
根据3σ准则,通常情况下,上述预设倍为大于1且小于3的数值。
以表2所示第二目标数据为例,若预设倍为1.5,则将第二目标数据的标准差的预设倍与第二目标数据的置信上限值求和,可以得到:19.18*1.5+193.68=222.45。
步骤b2-2、根据求和得到值确定当前的告警阈值。
本申请实施例中,若历史指标数据为时间相关的数据,例如历史指标数据为批量处理业务运行的开始时间或者结束时间,那么求和得到值为相比于基准时间的偏移量,那么可以根据该偏移量确定当前的告警阈值;若历史指标数据为时长相关的数据,例如历史指标数据为批量处理业务运行的运行时长,那么求和得到值即为当前的告警阈值。
示例性的,上一示例中求和得到值为222.45,该求和得到值是以分钟为单位计算的偏移量,那么若历史指标数据为夜间主机A执行批量处理业务1的每日开始时间,预设的基准时间为22:00,则确定的当前的告警阈值为01:43。那么,若待检测的开始时间晚于该告警阈值01:43,则触发告警并推送告警事件。
本申请实施例中,根据第二目标数据的标准差的预设倍与第二目标数据的置信上限值的和,确定当前的告警阈值,进一步增加了告警阈值的可靠性。
本申请实施例还提供了一种告警阈值确定装置,下面对本申请实施例提供的告警阈值确定装置进行描述,下文描述的告警阈值确定装置与上文描述的告警阈值确定方法可相互对应参照。
请参阅图2,示出了本申请实施例提供的告警阈值确定装置的结构示意图,如图2所示,该告警阈值确定装置可以包括:历史指标数据获取模块21、数据采样模块22、异常数据剔除模块23和告警阈值确定模块24。
历史指标数据获取模块21,用于获取从第一时间点至当前时间点的历史指标数据,其中,第一时间点为当前时间点之前的一时间点。
数据采样模块22,用于按预设的采样周期对获取的历史指标数据进行采样,采样得到的历史指标数据作为第一目标数据。
可选的,上述数据采样模块在采样指标数据时,在每个采样周期采样最大的历史指标数据。
异常数据剔除模块23,用于从第一目标数据中剔除异常数据,将剔除异常数据后的指标数据作为第二目标数据。
告警阈值确定模块24,用于根据第二目标数据确定当前的告警阈值。
本申请提供的告警阈值确定装置,首先获取从第一时间点至当前时间点的历史指标数据,然后按预设的采样周期对获取的历史指标数据进行采样,采样得到的历史指标数据作为第一目标数据,接着从第一目标数据中剔除异常数据,将剔除异常数据后的指标数据作为第二目标数据,最后根据第二目标数据确定当前的告警阈值。本申请实施例提供的告警阈值确定装置,由于第一时间点以及当前时间点不同时,获取的历史指标数据不同,那么根据不同的指标数据得到的当前的告警阈值也不同,相比于现有技术中获得静态的告警阈值,本申请获得的告警阈值更能体现动态变化,并且,按预设的采样周期对获取的历史指标数据进行采样,以及从第一目标数据中剔除异常数据,使得根据第二目标数据确定当前的告警阈值时,该当前的告警阈值的可靠性更高。
在一种可能的实现方式中,上述异常数据剔除模块可以包括:四分位数确定单元、四分位距确定单元和异常数据剔除单元。
四分位数确定单元,用于确定第一目标数据中的下四分位数和上四分位数,其中,下四分位数和上四分位数依次为,将第一目标数据按从小到大的顺序排序后,排名处于第25%的数据和排名处于第75%的数据。
四分位距确定单元,用于根据下四分位数和上四分位数确定四分位距。
异常数据剔除单元,用于根据下四分位数、上四分位数以及四分位距,确定第一目标数据中的异常数据,并将确定出的异常数据剔除。
在一种可能的实现方式中,上述异常数据剔除单元根据下四分位数、上四分位数以及四分位距,确定第一目标数据中的异常数据的过程具体可以包括:
步骤c1、根据下四分位数和四分位距确定异常值下限,并根据上四分位数和四分位距确定异常值上限。
步骤c2、将第一目标数据中,小于异常值下限的历史指标数据,以及大于异常值上限的指标数据确定为异常数据。
在一种可能的实现方式中,上述告警阈值确定模块可以包括:置信上限值确定单元和告警阈值确定单元。
置信上限值确定单元,用于确定第二目标数据的置信上限值。
告警阈值确定单元,用于根据第二目标数据的置信上限值和第二目标数据的标准差,确定当前的告警阈值。
在一种可能的实现方式中,上述告警阈值确定单元可以包括:求和单元和告警阈值确定子单元。
求和单元,用于将第二目标数据的标准差的预设倍与第二目标数据的置信上限值求和。
告警阈值确定子单元,用于根据求和得到值确定当前的告警阈值。
本申请实施例还提供了一种告警阈值确定设备。可选的,图3示出了告警阈值确定设备的硬件结构框图,参照图3,该告警阈值确定设备的硬件结构可以包括:至少一个处理器301,至少一个通信接口302,至少一个存储器303和至少一个通信总线304;
在本申请实施例中,处理器301、通信接口302、存储器303、通信总线304的数量为至少一个,且处理器301、通信接口302、存储器303通过通信总线304完成相互间的通信;
处理器301可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;
存储器303可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory)等,例如至少一个磁盘存储器;
其中,存储器303存储有程序,处理器301可调用存储器303存储的程序,所述程序用于:
获取从第一时间点至当前时间点的历史指标数据,其中,第一时间点为当前时间点之前的一时间点;
按预设的采样周期对获取的历史指标数据进行采样,采样得到的历史指标数据作为第一目标数据,其中,在每个采样周期采样最大的历史指标数据;
从第一目标数据中剔除异常数据,将剔除异常数据后的指标数据作为第二目标数据;
根据第二目标数据确定当前的告警阈值。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上述告警阈值确定方法。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种告警阈值确定方法,其特征在于,包括:
获取从第一时间点至当前时间点的历史指标数据,其中,所述第一时间点为当前时间点之前的一时间点;
按预设的采样周期对获取的历史指标数据进行采样,采样得到的历史指标数据作为第一目标数据,其中,在每个采样周期采样最大的历史指标数据;
从所述第一目标数据中剔除异常数据,将剔除异常数据后的指标数据作为第二目标数据;
根据所述第二目标数据确定当前的告警阈值。
2.根据权利要求1所述的告警阈值确定方法,其特征在于,所述从所述第一目标数据中剔除异常数据,包括:
确定所述第一目标数据中的下四分位数和上四分位数,其中,所述下四分位数和所述上四分位数依次为,将所述第一目标数据按从小到大的顺序排序后,排名处于第25%的数据和排名处于第75%的数据;
根据所述下四分位数和所述上四分位数确定四分位距;
根据所述下四分位数、所述上四分位数以及所述四分位距,确定所述第一目标数据中的异常数据,并将确定出的异常数据剔除。
3.根据权利要求2所述的告警阈值确定方法,其特征在于,所述根据所述下四分位数、所述上四分位数以及所述四分位距,确定所述第一目标数据中的异常数据,包括:
根据所述下四分位数和所述四分位距确定异常值下限,并根据所述上四分位数和所述四分位距确定异常值上限;
将所述第一目标数据中,小于所述异常值下限的历史指标数据,以及大于所述异常值上限的指标数据确定为异常数据。
4.根据权利要求1所述的告警阈值确定方法,其特征在于,所述根据所述第二目标数据确定当前的告警阈值,包括:
确定所述第二目标数据的置信上限值;
根据所述第二目标数据的置信上限值和所述第二目标数据的标准差,确定当前的告警阈值。
5.根据权利要求4所述的告警阈值确定方法,其特征在于,所述根据所述第二目标数据的置信上限值和所述第二目标数据的标准差,确定当前的告警阈值,包括:
将所述第二目标数据的标准差的预设倍与所述第二目标数据的置信上限值求和;
根据求和得到值确定当前的告警阈值。
6.一种告警阈值确定装置,其特征在于,包括:历史指标数据获取模块、数据采样模块、异常数据剔除模块和告警阈值确定模块;
所述历史指标数据获取模块,用于获取从第一时间点至当前时间点的历史指标数据,其中,所述第一时间点为当前时间点之前的一时间点;
所述数据采样模块,用于按预设的采样周期对获取的历史指标数据进行采样,采样得到的历史指标数据作为第一目标数据,其中,在每个采样周期采样最大的历史指标数据;
所述异常数据剔除模块,用于从所述第一目标数据中剔除异常数据,将剔除异常数据后的指标数据作为第二目标数据;
所述告警阈值确定模块,用于根据所述第二目标数据确定当前的告警阈值。
7.根据权利要求6所述的告警阈值确定装置,其特征在于,所述异常数据剔除模块,包括:四分位数确定单元、四分位距确定单元和异常数据剔除单元;
所述四分位数确定单元,用于确定所述第一目标数据中的下四分位数和上四分位数,其中,所述下四分位数和所述上四分位数依次为,将所述第一目标数据按从小到大的顺序排序后,排名处于第25%的数据和排名处于第75%的数据;
所述四分位距确定单元,用于根据所述下四分位数和所述上四分位数确定四分位距;
所述异常数据剔除单元,用于根据所述下四分位数、所述上四分位数以及所述四分位距,确定所述第一目标数据中的异常数据,并将确定出的异常数据剔除。
8.根据权利要求7所述的告警阈值确定装置,其特征在于,所述异常数据剔除单元根据所述下四分位数、所述上四分位数以及所述四分位距,确定所述第一目标数据中的异常数据的过程,包括:
根据所述下四分位数和所述四分位距确定异常值下限,并根据所述上四分位数和所述四分位距确定异常值上限;
将所述第一目标数据中,小于所述异常值下限的历史指标数据,以及大于所述异常值上限的指标数据确定为异常数据。
9.根据权利要求6所述的告警阈值确定装置,其特征在于,所述告警阈值确定模块,包括:置信上限值确定单元和告警阈值确定单元;
所述置信上限值确定单元,用于确定所述第二目标数据的置信上限值;
所述告警阈值确定单元,用于根据所述第二目标数据的置信上限值和所述第二目标数据的标准差,确定当前的告警阈值。
10.根据权利要求9所述的告警阈值确定装置,其特征在于,所述告警阈值确定单元,包括:求和单元和告警阈值确定子单元;
所述求和单元,用于将所述第二目标数据的标准差的预设倍与所述第二目标数据的置信上限值求和;
所述告警阈值确定子单元,用于根据求和得到值确定当前的告警阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010311941.2A CN111506625A (zh) | 2020-04-20 | 2020-04-20 | 一种告警阈值确定方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010311941.2A CN111506625A (zh) | 2020-04-20 | 2020-04-20 | 一种告警阈值确定方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111506625A true CN111506625A (zh) | 2020-08-07 |
Family
ID=71877667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010311941.2A Pending CN111506625A (zh) | 2020-04-20 | 2020-04-20 | 一种告警阈值确定方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111506625A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112087350A (zh) * | 2020-09-17 | 2020-12-15 | 中国工商银行股份有限公司 | 网络接入线路的流量监控方法、装置、***和介质 |
CN112260858A (zh) * | 2020-09-30 | 2021-01-22 | 福建天泉教育科技有限公司 | 一种可自动化检测的告警方法及终端 |
CN112926833A (zh) * | 2021-01-28 | 2021-06-08 | 北京安九信息技术有限公司 | 企业健康状况的检测方法及检测*** |
CN113096393A (zh) * | 2021-03-29 | 2021-07-09 | 中移智行网络科技有限公司 | 一种路况预警方法、装置及边缘云设备 |
CN113852591A (zh) * | 2021-06-08 | 2021-12-28 | 天翼智慧家庭科技有限公司 | 基于改进四分位差法的摄像头异常访问识别与告警方法 |
CN115001942A (zh) * | 2022-05-26 | 2022-09-02 | 腾云悦智科技(深圳)有限责任公司 | 一种运维监控阈值推荐的方法及*** |
CN116206427A (zh) * | 2023-05-06 | 2023-06-02 | 安徽智寰科技有限公司 | 一种基于通用指标自适应阈值的分级报警方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105406991A (zh) * | 2015-10-26 | 2016-03-16 | 上海华讯网络***有限公司 | 基于网络监控指标由历史数据生成业务阈值的方法及*** |
WO2019080918A1 (zh) * | 2017-10-26 | 2019-05-02 | 中兴通讯股份有限公司 | 压减冗余告警的方法、网管设备及存储介质 |
CN110033130A (zh) * | 2019-03-28 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 异常业务的监控方法及装置 |
CN110489306A (zh) * | 2019-08-26 | 2019-11-22 | 北京博睿宏远数据科技股份有限公司 | 一种报警阈值确定方法、装置、计算机设备及存储介质 |
CN110751371A (zh) * | 2019-09-20 | 2020-02-04 | 苏宁云计算有限公司 | 基于统计四分位距的商品库存风险预警方法、***及计算机可读存储介质 |
-
2020
- 2020-04-20 CN CN202010311941.2A patent/CN111506625A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105406991A (zh) * | 2015-10-26 | 2016-03-16 | 上海华讯网络***有限公司 | 基于网络监控指标由历史数据生成业务阈值的方法及*** |
WO2019080918A1 (zh) * | 2017-10-26 | 2019-05-02 | 中兴通讯股份有限公司 | 压减冗余告警的方法、网管设备及存储介质 |
CN110033130A (zh) * | 2019-03-28 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 异常业务的监控方法及装置 |
CN110489306A (zh) * | 2019-08-26 | 2019-11-22 | 北京博睿宏远数据科技股份有限公司 | 一种报警阈值确定方法、装置、计算机设备及存储介质 |
CN110751371A (zh) * | 2019-09-20 | 2020-02-04 | 苏宁云计算有限公司 | 基于统计四分位距的商品库存风险预警方法、***及计算机可读存储介质 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112087350A (zh) * | 2020-09-17 | 2020-12-15 | 中国工商银行股份有限公司 | 网络接入线路的流量监控方法、装置、***和介质 |
CN112087350B (zh) * | 2020-09-17 | 2022-03-18 | 中国工商银行股份有限公司 | 网络接入线路的流量监控方法、装置、***和介质 |
CN112260858A (zh) * | 2020-09-30 | 2021-01-22 | 福建天泉教育科技有限公司 | 一种可自动化检测的告警方法及终端 |
CN112926833A (zh) * | 2021-01-28 | 2021-06-08 | 北京安九信息技术有限公司 | 企业健康状况的检测方法及检测*** |
CN113096393A (zh) * | 2021-03-29 | 2021-07-09 | 中移智行网络科技有限公司 | 一种路况预警方法、装置及边缘云设备 |
CN113852591A (zh) * | 2021-06-08 | 2021-12-28 | 天翼智慧家庭科技有限公司 | 基于改进四分位差法的摄像头异常访问识别与告警方法 |
CN113852591B (zh) * | 2021-06-08 | 2023-09-22 | 天翼数字生活科技有限公司 | 基于改进四分位差法的摄像头异常访问识别与告警方法 |
CN115001942A (zh) * | 2022-05-26 | 2022-09-02 | 腾云悦智科技(深圳)有限责任公司 | 一种运维监控阈值推荐的方法及*** |
CN116206427A (zh) * | 2023-05-06 | 2023-06-02 | 安徽智寰科技有限公司 | 一种基于通用指标自适应阈值的分级报警方法 |
CN116206427B (zh) * | 2023-05-06 | 2023-06-30 | 安徽智寰科技有限公司 | 一种基于通用指标自适应阈值的分级报警方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111506625A (zh) | 一种告警阈值确定方法及装置 | |
CN109213654B (zh) | 一种异常检测方法及装置 | |
EP1065827B1 (en) | Method and apparatus for detecting service anomalies in transaction-oriented networks | |
US8275563B2 (en) | Nonparametric method for determination of anomalous event states in complex systems exhibiting non-stationarity | |
CN108599977B (zh) | 基于统计方法监控***可用性的***及方法 | |
US8862119B2 (en) | Method and apparatus for telecommunications network performance anomaly events detection and notification | |
US8468161B2 (en) | Determining a seasonal effect in temporal data | |
CN112152833B (zh) | 一种网络异常报警方法、装置及电子设备 | |
US20130219053A1 (en) | Method for improved handling of incidents in a network monitoring system | |
EP2613263B1 (en) | Operations management device, operations management method, and program | |
CN1297101C (zh) | 检测拒绝服务攻击的方法 | |
CN112465237A (zh) | 基于大数据分析的故障预测方法、装置、设备和存储介质 | |
CN114116390A (zh) | 一种故障预测方法、装置、设备及可读存储介质 | |
CN115729783A (zh) | 故障风险监控方法、设备、存储介质及程序产品 | |
CN110971435A (zh) | 一种报警方法及装置 | |
CN113497721B (zh) | 网络故障定位方法与装置 | |
CN111984455A (zh) | 超时数据的检测方法、装置、服务器和计算机存储介质 | |
CN114268567A (zh) | 异常终端的识别方法、分析装置及设备、存储介质 | |
CN111210070A (zh) | 一种数据分析方法、装置、电子设备及可读取存储介质 | |
WO2023111392A1 (en) | Method and system for modifying state of device using detected anomalous behavior | |
CN112787883B (zh) | 一种设备nat故障检测方法、装置及设备 | |
CN115330140A (zh) | 一种基于数据挖掘的建筑风险预测方法及其预测*** | |
CN111258788B (zh) | 磁盘故障预测方法、装置及计算机可读存储介质 | |
CN111246568B (zh) | 室内定位衰减监控方法、装置、设备及存储介质 | |
CN117640336A (zh) | 工单处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |