CN112783726A - 一种报警信息的生成方法、装置、设备及可读存储介质 - Google Patents
一种报警信息的生成方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN112783726A CN112783726A CN202110113168.3A CN202110113168A CN112783726A CN 112783726 A CN112783726 A CN 112783726A CN 202110113168 A CN202110113168 A CN 202110113168A CN 112783726 A CN112783726 A CN 112783726A
- Authority
- CN
- China
- Prior art keywords
- time
- abnormal
- log
- logs
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000002159 abnormal effect Effects 0.000 claims abstract description 225
- 238000011084 recovery Methods 0.000 claims abstract description 86
- 230000004044 response Effects 0.000 claims abstract description 30
- 238000004904 shortening Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 12
- 230000005856 abnormality Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例提供了一种报警信息的生成方法、装置、设备及可读存储介质,响应于接收到日志,更新异常次数,若第一计时时间达到第一预设时间时,异常次数不等于0,至少依据历史日志,获取等待恢复时间,在第二计时时间达到等待恢复时间时,在第二计时时间指示的时间段内接收到的日志均为异常日志,生成报警信息。异常次数为连续接收到异常日志的次数,第一计时时间指示连续接收到异常日志的时长,第二计时时间指示距离第一计时时间达到第一预设时间的时刻的时间,说明在第一计时时间内接收到至少一次异常日志后,在等待恢复时间指示的时间内导致异常日志的故障没有恢复。可见,本方法生成的报警信息准确度高。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种报警信息的生成方法、装置、设备及可读存储介质。
背景技术
网络爬虫(又称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取互联网信息的程序或者脚本,网络爬虫的使用大大提高了网站信息收集的效率。目前,在网络爬虫爬取信息的过程中,若出现信息错误,则将错误信息作为网络告警写入日志文件,并生成网络爬虫运行异常的报警信息,以供运维人员查询。但是,信息错误的原因包括多种,例如包括暂时性网络故障(例如丢包、网速过慢等)或网页执行预设的事件(例如网页更新),而暂时性网络故障通常会自动恢复,且网页执行预设的事件造成的信息错误在事件执行完成后也会自动恢复,显然,由这两种原因造成的信息错误不属于网络爬虫运行异常。因此,如果每次出现信息错误时均生成报警信息,报警信息不能准确的告警网络爬虫运行异常,需要运维人员通过日志分析判断是否是网络爬虫运行异常,可见现有技术生成的报警信息的准确度低,导致误报率过高。
发明内容
本申请提供了一种报警信息的生成方法、装置、设备及可读存储介质,目的在于提高报警信息的准确度,如下:
一种报警信息的生成方法,包括:
响应于接收到日志,更新异常次数,所述异常次数为连续接收到异常日志的次数;
若第一计时时间达到第一预设时间时所述异常次数不等于0,至少依据历史日志,获取等待恢复时间;所述第一计时时间指示连续接收到异常日志的时长,所述第一预设时间指示网页执行预设的事件所需的最短时长;
若第二计时时间达到所述等待恢复时间时,在所述第二计时时间指示的时间段内,接收到的日志均为异常日志,生成报警信息;所述第二计时时间指示距离目标时刻的时长,所述目标时刻为所述第一计时时间达到所述第一预设时间的时刻。
可选地,更新异常次数包括:
判断所述日志是否为异常日志;
若是,将所述异常次数加1;
若否,将所述异常次数清零。
可选地,事件包括网页更新,所述第一预设时间的获取过程包括:
依据所述网页更新的更新频率确定所述第一预设时间的初始值;
响应于所述日志不是异常日志,缩短所述第一预设时间;
响应于所述第一计时时间达到所述第一预设时间,且所述异常次数等于1,延长所述第一预设时间。
可选地,至少依据历史日志,获取等待恢复时间,包括:
依据预设的故障类型概率分布,获取当前故障类型,所述故障类型概率分布包括预设的故障类型与所述故障类型的发生概率,所述当前故障类型为在所述第一计时时间指示的时间段内接收到的异常日志属于的故障类型,所述故障类型概率分布至少依据所述历史日志确定;
依据预设的时间对应关系,获取属于所述目标故障类型的历史异常日志的故障恢复时间,作为所述等待恢复时间,所述时间对应关系包括历史故障类型与属于所述历史故障类型的历史异常日志的故障恢复时间的对应关系;所述时间对应关系至少依据所述历史日志确定。
可选地,还包括:
若所述第二计时时间未达到所述等待恢复时间时,接收到的日志不是异常日志,缩短所述时间对应关系中属于所述目标故障类型的历史异常日志的故障恢复时间。
可选地,还包括:
若所述第二计时时间未达到所述等待恢复时间时,接收到的日志不是异常日志,将所述异常次数清零;
若所述第一计时时间达到第一预设时间时所述异常次数不小于2,将所述异常次数清零。
一种报警信息的生成装置,包括:
次数获取模块,用于响应于接收到日志,更新异常次数,所述异常次数为连续接收到异常日志的次数,所述异常日志包括空数据和/或错误数据;
恢复时间获取模块,用于若第一计时时间达到第一预设时间时所述异常次数不等于0,至少依据历史日志,获取等待恢复时间;所述第一计时时间指示连续接收到异常日志的时长,所述第一预设时间指示网页执行预设的事件所需的最短时长;
报警模块,用于若第二计时时间达到所述等待恢复时间时,在所述第二计时时间指示的时间段内,接收到的日志均为异常日志,生成报警信息;所述第二计时时间指示距离目标时刻的时长,所述目标时刻为所述第一计时时间达到所述第一预设时间的时刻。
可选地,次数获取模块用于响应于接收到日志,更新异常次数,包括:所述次数获取模块具体用于:
判断所述日志是否为异常日志;
若是,将所述异常次数加1;
若否,将所述异常次数清零。
一种报警信息的生成设备,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如上所述的报警信息的生成方法的各个步骤。
一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上所述的报警信息的生成方法的各个步骤。
由上述技术方案可以看出,本申请实施例提供的报警信息的生成方法、装置、设备及可读存储介质,响应于接收到日志,更新异常次数,若第一计时时间达到第一预设时间时,异常次数不等于0,至少依据历史日志,获取等待恢复时间,进一步在第二计时时间达到等待恢复时间时,在第二计时时间指示的时间段内,接收到的日志均为异常日志,生成报警信息。由于,异常次数为连续接收到异常日志的次数,第一计时时间指示连续接收到异常日志的时长,且,第一预设时间指示网页执行预设的事件所需的最短时长,所以,若第一计时时间达到第一预设时间时,且异常次数不等于0,排除网页更新导致的日志异常。又由于,第二计时时间指示距离第一计时时间达到第一预设时间的时刻的时长,说明在第一计时时间内接收到异常日志后,在等待恢复时间指示的时间内导致异常日志的故障没有恢复。可见,本方法生成的报警信息准确度高,避免由于网页执行预设的事件导致的异常日志和暂时性网络故障导致的异常日志,导致的误报现象。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种报警信息的生成信息的应用场景的示意图;
图2为本申请实施例提供的一种报警信息的生成方法的具体实施方式的流程示意图;
图3为本申请实施例提供的一种报警信息的生成方法的流程示意图;
图4为本申请实施例提供的一种报警信息的生成装置的结构示意图;
图5为本申请实施例提供的一种报警信息的生成设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供的报警信息的生成方法应用于但不限于在信息采集装置采集信息时,通过对信息采集装置的运行状态进行监控,在信息采集装置运行状态异常时,生成报警信息,供运维人员查询。
可选地,本申请实施例提供的一种报警信息的生成方法的一种可选的应用场景如图1所示,包括:
网络爬虫爬取网页上的网页信息,并实时将网页信息作为日志存储至日志文件中,本方法应用于监测装置,通过获取网络爬虫采集的日志,并判断日志是否异常,从而判断网络爬虫的运行状态是否异常,并在网络爬虫的运行状态异常时生成报警信息,将报警信息存储至日志。需要说明的是,网络爬虫按照一定的频率爬取网页上的网页信息,例如,网络爬虫每3小时爬取一次xx网页的网页信息。进一步需要说明的是,在图1所示的应用场景中,监测装置可以通过与网络爬虫通行获取网络爬虫每一次爬取的网页信息,作为日志,或者,监测装置可以从日志文件中获取网络爬虫写入日志文件的日志,本实施例对此不做限定。
需要说明的是,本实施例仅以图1所示的场景作为实例,本申请还可以应用于其他场景下,通过对信息采集装置的运行状态是否异常的判断,生成报警信息。
图2为本申请实施例提供的一种报警信息的生成方法的流程示意图,如图2所示,具体可以包括下述S201~S206。
S201、响应于接收到日志,更新异常次数和第一计时时间。
本实施例中,第一计时时间为第一计时器的计时时间,指示连续接收到异常日志的时长,日志异常次数为连续接收到异常日志的总次数。
本实施例中,更新异常次数和第一计时时间的方法包括:
1、响应于日志是异常日志,且异常次数为0,则将异常次数加1且启动第一计时器从0开始计时。
2、响应于日志是异常日志,且异常次数不为0,则将异常次数加1。
3、响应于日志不是异常日志,则将异常次数清零、第一计时时间清零,且停止第一计时器。
本实施例中,判断日志是否为异常日志的方法包括多种,可选地,当日志为空数据时,判断日志为第一类异常日志,或者,当日志的数据格式不满足预设格式时,判断日志为第二类异常日志,其中,预设格式至少依据网页类型以及历史日志确定。
需要说明的是,当第一计时时间未达到第一预设时间时,迭代执行S201,也即每次接收到日志,依据日志是否是异常日志和异常次数是否是0,更新异常次数和/或第一计时时间。
S202、响应于第一计时时间达到第一预设时间且异常次数不小于2,依据故障类型概率分布,确定异常日志的故障类型,作为当前故障类型。
本实施例中,第一预设时间指示网页执行预设的事件所需的最短时长,其中,预设的事件包括网页更新,需要说明的是,第一预设时间依据网页更新的更新频率和网络爬虫的采集频率确定,其中,第一预设时间大于网页更新频率指示的网页更新所需时间,且第一预设时间大于采集频率指示的网络爬虫的相邻两次爬取网页信息的时间差,故障类型概率分布包括预设的故障类型与故障类型的出现概率的对应关系。
需要说明的是,故障类型概率依据网页的历史日志中异常日志出现的频率确定,例如,在历史日志中,网络爬虫爬取的异常日志的次数为20次,其中,由于网络中断导致的异常日志次数为20次,由于网站拓扑变更导致的异常日志次数为2次,由于网站架构变更导致的异常日志次数为5次,由于爬虫进程停止导致的异常日志次数为3次。所以,故障类型概率分布包括故障类型和故障类型的发生概率分别为:网络中断:0.5、网站拓扑变更:0.1、网站架构变更:0.25、爬虫进程停止:0.15。
可选的一种确定异常日志的故障类型的方法为:将故障类型概率分布中,出现概率最高的故障类型作为异常日志的故障类型,记为当前故障类型。
S203、依据预设的时间对应关系和当前故障类型,确定等待恢复时间。
本实施例中,时间对应关系依据历史日志获取,时间对应关系包括历史故障类型与属于历史故障类型的历史异常日志的故障恢复时间的对应关系,与历史故障类型对应的恢复时间指示发生属于历史故障类型的故障后,故障恢复所需时间的平均值。
本实施例中,将当前故障类型对应的恢复时间作为等待恢复时间。
需要说明的是,时间对应关系至少依据历史日志确定,具体方法参见现有技术。
S204、响应于第一计时时间达到第一预设时间且异常次数不小于2,将异常次数清零、第一计时时间清零、停止第一计时器、且启动第二计时器从0开始计时。
需要说明的是,本实施例不限定S202和S204的执行顺序。
需要说明的是,当第一计时时间达到第一预设时间且异常次数等于1时,说明在第一计时时间指示的时间段内,只接收到一次日志,且日志为异常日志,此时执行S202~S204,且更新第一预设时间。
S205、响应于第二计时时间未达到等待恢复时间,且第二计时时间指示的时间段内接收到的日志不是异常日志,则将第二计时时间清零且停止第二计时器。
本实施例中,第二计时时间为第二计时器的计时时间,指示距离目标时刻的时间,其中,目标时刻为第一计时时间达到第一预设时间的时刻。
需要说明的是,第二计时时间清零后,返回执行S201。
S206、响应于第二计时时间达到等待恢复时间,且在第二计时时间指示的时间段内接收到的日志均为异常日志,生成报警信息,并将报警信息存储至日志。
需要说明的是,生成报警信息后,返回执行S201。
由上述技术方案可以看出,本申请实施例提供的报警信息的生成方法,响应于接收到日志,更新异常次数,若第一计时时间达到第一预设时间时,异常次数不小于2,至少依据历史日志,获取等待恢复时间,进一步在第二计时时间达到等待恢复时间时,在第二计时时间指示的时间段内,接收到的日志均为异常日志,生成报警信息。由于,异常次数为连续接收到异常日志的次数,第一计时时间指示连续接收到异常日志的时间,且,第一预设时间指示网页更新所需的时间阈值,所以,若第一计时时间达到第一预设时间时,且异常次数不小于2,排除网页更新导致的日志异常。又由于,第二计时时间指示距离第一计时时间达到第一预设时间的时刻的时间,说明在第一计时时间内接收到至少两次异常日志后,在等待恢复时间指示的时间内导致异常日志的故障没有恢复。可见,本方法生成的报警信息准确度高,避免由于网页更新导致的异常日志和暂时性网络故障导致的异常日志,导致的误报现象。
需要说明的是,图2所示的流程仅为本申请实施例提供的一种报警信息的生成方法可选的一种具体实现方式,本申请还包括其他的具体实现方式。
例如,需要说明的是,S202仅为获取当前故障类型的一种可选的方法,本申请还包括其他获取当前故障类型的方法。例如:依据异常次数和/或异常日志的错误类型、以及预设的故障对应关系,获取当前故障类型。其中,故障对应关系依据历史日志预先配置,故障对应关系包括异常次数和异常日志的错误类型的组合与故障类型的对应关系。
再例如,S203仅为一种可选的获取等待恢复时间的方法,本申请还包括其他获取等待恢复时间的方法,例如以故障类型概率分布中各故障类型的出现概率作为权重,对时间对应关系中各故障类型的故障恢复时间加权相加,作为等待恢复时间。
再例如,本申请还包括第一预设时间的获取方法以及时间对应关系的获取方法。
可选地,第一预设时间的获取方法包括:
依据网页更新频率确定第一预设时间的初始值。
响应于第一计时时间清零,缩短第一预设时间。
响应于第一计时时间达到第一预设时间,且异常次数等于1,延长第一预设时间。
需要说明的是,网页更新的过程中,网络爬虫爬取的网页信息为异常日志,所以本实施例中,第一预设时间大于网页更新频率指示的网页更新持续时间,排除由于网页更新导致的日志异常,进一步,第一计时时间清零指示接收到的日志不是异常日志,则指示第一预设时间内网页更新完成或者故障恢复,所以,缩短第一预设时间,进一步,第一计时时间达到第一预设时间时异常次数等于1,指示在第一预设时间内没有接收到日志,也即网络爬虫没有爬取网页信息,说明第一预设时间小于网络爬虫爬取网页信息的间隔时间,所以延长第一预设时间。综上,本方法中,第一预设时间依据网页更新频率和网络爬虫采集频率确定,且实时更新,能够避免网页更新造成的异常日志导致的错误信息准确度低。
可选地,时间对应关系的获取方法包括:
获取历史日志中的异常日志所属的历史故障类型的平均恢复时间,作为历史故障类型对应的恢复时间;
响应于第二计时时间未达到等待恢复时间,且接收到的日志不是所述异常日志,缩短时间对应关系中,属于目标故障类型的历史异常日志的故障恢复时间。
需要说明的是,时间对应关系依据历史日志获取初始值,且依据报警信息生成方法过程中接收的日志自适应更新,所以时间对应关系准确度高,进一步提高了等待恢复时间的准确度。
综上所述,本申请实施例提供的报警信息的生成方法可以概括为图3所示的一种报警信息的生成方法流程示意图,如图3所示,本方法可以包括S301~S303。
S301、响应于接收到日志,更新异常次数。
本实施例中,异常次数为连续接收到异常日志的次数,可选地,更新异常次数的方法包括:当接收到的日志为异常日志时,异常次数加1,当接收到的日志不是异常日志时,异常次数清零。
需要说明的是,异常日志包括空数据和/或错误数据,判断日志是否是异常日志的方法包括多种,具体可以参见S201。
S302、若第一计时时间达到第一预设时间时,异常次数不等于0,至少依据历史日志,获取等待恢复时间。
本实施例中,第一计时时间指示连续接收到异常日志的时长,第一预设时间指示网页执行预设的事件所需的最短时长,需要说明的是,预事件包括为可能造成日志异常的事件,具体根据实际应用设置,例如事件为网页更新。
可选地,至少依据历史日志,获取等待恢复时间的方法包括多种,具体可以参见上述实施例。
S303、若第二计时时间达到等待恢复时间时,在第二计时时间指示的时间段内,接收到的日志均为异常日志,生成报警信息。
本实施例中,第二计时时间指示距离目标时刻的时长,目标时刻为第一计时时间达到第一预设时间的时刻。
由上述技术方案可以看出,本申请实施例提供的报警信息的生成方法,响应于接收到日志,更新异常次数,若第一计时时间达到第一预设时间时,异常次数不等于0,至少依据历史日志,获取等待恢复时间,进一步在第二计时时间达到等待恢复时间时,在第二计时时间指示的时间段内,接收到的日志均为异常日志,生成报警信息。由于,异常次数为连续接收到异常日志的次数,第一计时时间指示连续接收到异常日志的时长,且,第一预设时间指示网页执行预设的事件所需的最短时长,所以,若第一计时时间达到第一预设时间时,且异常次数不等于0,排除网页更新导致的日志异常。又由于,第二计时时间指示距离第一计时时间达到第一预设时间的时刻的时长,说明在第一计时时间内接收到异常日志后,在等待恢复时间指示的时间内导致异常日志的故障没有恢复。可见,本方法生成的报警信息准确度高,避免由于网页执行预设的事件导致的异常日志和暂时性网络故障导致的异常日志,导致的误报现象。
图4示出了本申请实施例提供的一种报警信息的生成装置的结构示意图,如图4所示,该装置可以包括:
次数获取模块401,用于响应于接收到日志,更新异常次数,所述异常次数为连续接收到异常日志的次数,所述异常日志包括空数据和/或错误数据;
恢复时间获取模块402,用于若第一计时时间达到第一预设时间时所述异常次数不等于0,至少依据历史日志,获取等待恢复时间;所述第一计时时间指示连续接收到异常日志的时长,所述第一预设时间指示网页执行预设的事件所需的最短时长;
报警模块403,用于若第二计时时间达到所述等待恢复时间时,在所述第二计时时间指示的时间段内,接收到的日志均为异常日志,生成报警信息;所述第二计时时间指示距离目标时刻的时长,所述目标时刻为所述第一计时时间达到所述第一预设时间的时刻。
可选地,次数获取模块,用于响应于接收到日志,更新异常次数,包括:所述次数获取模块具体用于:
判断所述日志是否为所述异常日志;
若是,将所述异常次数加1;
若否,将所述异常次数清零。
可选地,还包括:时间获取单元,用于获取第一预设时间,时间获取单元具体用于:
依据所述网页更新的更新频率确定所述第一预设时间的初始值;
响应于所述日志不是异常日志,缩短所述第一预设时间;
响应于所述第一计时时间达到所述第一预设时间,且所述异常次数等于1,延长所述第一预设时间。
可选地,恢复时间获取模块用于至少依据历史日志,获取等待恢复时间,包括:恢复时间获取模块具体用于:
依据预设的故障类型概率分布,获取当前故障类型,所述故障类型概率分布包括预设的故障类型与所述故障类型的发生概率,所述当前故障类型为在所述第一计时时间指示的时间段内接收到的异常日志属于的故障类型,所述故障类型概率分布至少依据所述历史日志确定;
依据预设的时间对应关系,获取属于所述目标故障类型的历史异常日志的故障恢复时间,作为所述等待恢复时间,所述时间对应关系包括历史故障类型与属于所述历史故障类型的历史异常日志的故障恢复时间的对应关系;所述时间对应关系至少依据所述历史日志确定。
可选地,还包括时间更新模块,用于:
若所述第二计时时间未达到所述等待恢复时间时,接收到的日志不是异常日志,缩短所述时间对应关系中属于所述目标故障类型的历史异常日志的故障恢复时间。
可选地,次数获取模块还用于:
若所述第二计时时间未达到所述等待恢复时间时,接收到的日志不是异常日志,将所述异常次数清零;
若所述第一计时时间达到第一预设时间时所述异常次数不小于2,将所述异常次数清零。
图5示出了该报警信息的生成设备的结构示意图,该设备可以包括:至少一个处理器501,至少一个通信接口502,至少一个存储器503和至少一个通信总线504;
在本申请实施例中,处理器501、通信接口502、存储器503、通信总线504的数量为至少一个,且处理器501、通信接口502、存储器503通过通信总线504完成相互间的通信;
处理器501可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;
存储器503可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory)等,例如至少一个磁盘存储器;
其中,存储器存储有程序,处理器可执行存储器存储的程序,实现本申请实施例提供的一种报警信息的生成方法的各个步骤,如下:
一种报警信息的生成方法,包括:
响应于接收到日志,更新异常次数,所述异常次数为连续接收到异常日志的次数;
若第一计时时间达到第一预设时间时所述异常次数不等于0,至少依据历史日志,获取等待恢复时间;所述第一计时时间指示连续接收到异常日志的时长,所述第一预设时间指示网页执行预设的事件所需的最短时长;
若第二计时时间达到所述等待恢复时间时,在所述第二计时时间指示的时间段内,接收到的日志均为异常日志,生成报警信息;所述第二计时时间指示距离目标时刻的时长,所述目标时刻为所述第一计时时间达到所述第一预设时间的时刻。
可选地,更新异常次数包括:
判断所述日志是否为异常日志;
若是,将所述异常次数加1;
若否,将所述异常次数清零。
可选地,事件包括网页更新,所述第一预设时间的获取过程包括:
依据所述网页更新的更新频率确定所述第一预设时间的初始值;
响应于所述日志不是异常日志,缩短所述第一预设时间;
响应于所述第一计时时间达到所述第一预设时间,且所述异常次数等于1,延长所述第一预设时间。
可选地,至少依据历史日志,获取等待恢复时间,包括:
依据预设的故障类型概率分布,获取当前故障类型,所述故障类型概率分布包括预设的故障类型与所述故障类型的发生概率,所述当前故障类型为在所述第一计时时间指示的时间段内接收到的异常日志属于的故障类型,所述故障类型概率分布至少依据所述历史日志确定;
依据预设的时间对应关系,获取属于所述目标故障类型的历史异常日志的故障恢复时间,作为所述等待恢复时间,所述时间对应关系包括历史故障类型与属于所述历史故障类型的历史异常日志的故障恢复时间的对应关系;所述时间对应关系至少依据所述历史日志确定。
可选地,还包括:
若所述第二计时时间未达到所述等待恢复时间时,接收到的日志不是异常日志,缩短所述时间对应关系中属于所述目标故障类型的历史异常日志的故障恢复时间。
可选地,还包括:
若所述第二计时时间未达到所述等待恢复时间时,接收到的日志不是异常日志,将所述异常次数清零;
若所述第一计时时间达到第一预设时间时所述异常次数不小于2,将所述异常次数清零。
本申请实施例还提供一种可读存储介质,该可读存储介质可存储有适于处理器执行的计算机程序,计算机程序被处理器执行时,实现本申请实施例提供的一种报警信息的生成方法的各个步骤,如下:
一种报警信息的生成方法,包括:
响应于接收到日志,更新异常次数,所述异常次数为连续接收到异常日志的次数;
若第一计时时间达到第一预设时间时所述异常次数不等于0,至少依据历史日志,获取等待恢复时间;所述第一计时时间指示连续接收到异常日志的时长,所述第一预设时间指示网页执行预设的事件所需的最短时长;
若第二计时时间达到所述等待恢复时间时,在所述第二计时时间指示的时间段内,接收到的日志均为异常日志,生成报警信息;所述第二计时时间指示距离目标时刻的时长,所述目标时刻为所述第一计时时间达到所述第一预设时间的时刻。
可选地,更新异常次数包括:
判断所述日志是否为异常日志;
若是,将所述异常次数加1;
若否,将所述异常次数清零。
可选地,事件包括网页更新,所述第一预设时间的获取过程包括:
依据所述网页更新的更新频率确定所述第一预设时间的初始值;
响应于所述日志不是异常日志,缩短所述第一预设时间;
响应于所述第一计时时间达到所述第一预设时间,且所述异常次数等于1,延长所述第一预设时间。
可选地,至少依据历史日志,获取等待恢复时间,包括:
依据预设的故障类型概率分布,获取当前故障类型,所述故障类型概率分布包括预设的故障类型与所述故障类型的发生概率,所述当前故障类型为在所述第一计时时间指示的时间段内接收到的异常日志属于的故障类型,所述故障类型概率分布至少依据所述历史日志确定;
依据预设的时间对应关系,获取属于所述目标故障类型的历史异常日志的故障恢复时间,作为所述等待恢复时间,所述时间对应关系包括历史故障类型与属于所述历史故障类型的历史异常日志的故障恢复时间的对应关系;所述时间对应关系至少依据所述历史日志确定。
可选地,还包括:
若所述第二计时时间未达到所述等待恢复时间时,接收到的日志不是异常日志,缩短所述时间对应关系中属于所述目标故障类型的历史异常日志的故障恢复时间。
可选地,还包括:
若所述第二计时时间未达到所述等待恢复时间时,接收到的日志不是异常日志,将所述异常次数清零;
若所述第一计时时间达到第一预设时间时所述异常次数不小于2,将所述异常次数清零。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种报警信息的生成方法,其特征在于,包括:
响应于接收到日志,更新异常次数,所述异常次数为连续接收到异常日志的次数;
若第一计时时间达到第一预设时间时所述异常次数不等于0,至少依据历史日志,获取等待恢复时间;所述第一计时时间指示连续接收到异常日志的时长,所述第一预设时间指示网页执行预设的事件所需的最短时长;
若第二计时时间达到所述等待恢复时间时,在所述第二计时时间指示的时间段内,接收到的日志均为异常日志,生成报警信息;所述第二计时时间指示距离目标时刻的时长,所述目标时刻为所述第一计时时间达到所述第一预设时间的时刻。
2.根据权利要求1所述的方法,其特征在于,所述更新异常次数包括:
判断所述日志是否为异常日志;
若是,将所述异常次数加1;
若否,将所述异常次数清零。
3.根据权利要求1或2所述的方法,其特征在于,所述事件包括网页更新,所述第一预设时间的获取过程包括:
依据所述网页更新的更新频率确定所述第一预设时间的初始值;
响应于所述日志不是异常日志,缩短所述第一预设时间;
响应于所述第一计时时间达到所述第一预设时间,且所述异常次数等于1,延长所述第一预设时间。
4.根据权利要求1或2所述的方法,其特征在于,所述至少依据历史日志,获取等待恢复时间,包括:
依据预设的故障类型概率分布,获取当前故障类型,所述故障类型概率分布包括预设的故障类型与所述故障类型的发生概率,所述当前故障类型为在所述第一计时时间指示的时间段内接收到的异常日志属于的故障类型,所述故障类型概率分布至少依据所述历史日志确定;
依据预设的时间对应关系,获取属于所述目标故障类型的历史异常日志的故障恢复时间,作为所述等待恢复时间,所述时间对应关系包括历史故障类型与属于所述历史故障类型的历史异常日志的故障恢复时间的对应关系;所述时间对应关系至少依据所述历史日志确定。
5.根据权利要求4所述的方法,其特征在于,还包括:
若所述第二计时时间未达到所述等待恢复时间时,接收到的日志不是异常日志,缩短所述时间对应关系中属于所述目标故障类型的历史异常日志的故障恢复时间。
6.根据权利要求1或2所述的方法,其特征在于,还包括:
若所述第二计时时间未达到所述等待恢复时间时,接收到的日志不是异常日志,将所述异常次数清零;
若所述第一计时时间达到第一预设时间时所述异常次数不小于2,将所述异常次数清零。
7.一种报警信息的生成装置,其特征在于,包括:
次数获取模块,用于响应于接收到日志,更新异常次数,所述异常次数为连续接收到异常日志的次数,所述异常日志包括空数据和/或错误数据;
恢复时间获取模块,用于若第一计时时间达到第一预设时间时所述异常次数不等于0,至少依据历史日志,获取等待恢复时间;所述第一计时时间指示连续接收到异常日志的时长,所述第一预设时间指示网页执行预设的事件所需的最短时长;
报警模块,用于若第二计时时间达到所述等待恢复时间时,在所述第二计时时间指示的时间段内,接收到的日志均为异常日志,生成报警信息;所述第二计时时间指示距离目标时刻的时长,所述目标时刻为所述第一计时时间达到所述第一预设时间的时刻。
8.根据权利要求7所述的装置,其特征在于,所述次数获取模块,用于响应于接收到日志,更新异常次数,包括:所述次数获取模块具体用于:
判断所述日志是否为异常日志;
若是,将所述异常次数加1;
若否,将所述异常次数清零。
9.一种报警信息的生成设备,其特征在于,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于执行所述程序,实现如权利要求1~6中任一项所述的报警信息的生成方法的各个步骤。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1~6中任一项所述的报警信息的生成方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110113168.3A CN112783726A (zh) | 2021-01-27 | 2021-01-27 | 一种报警信息的生成方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110113168.3A CN112783726A (zh) | 2021-01-27 | 2021-01-27 | 一种报警信息的生成方法、装置、设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112783726A true CN112783726A (zh) | 2021-05-11 |
Family
ID=75759155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110113168.3A Pending CN112783726A (zh) | 2021-01-27 | 2021-01-27 | 一种报警信息的生成方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112783726A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110086649A (zh) * | 2019-03-19 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 异常流量的检测方法、装置、计算机设备及存储介质 |
CN110399347A (zh) * | 2018-04-23 | 2019-11-01 | 华为技术有限公司 | 告警日志压缩方法、装置及***、存储介质 |
CN110769068A (zh) * | 2019-10-30 | 2020-02-07 | 软通动力信息技术有限公司 | 一种告警消息的生成方法、装置、服务器和存储介质 |
CN111159514A (zh) * | 2018-11-07 | 2020-05-15 | 中移(苏州)软件技术有限公司 | 网络爬虫的任务有效性检测方法、装置和设备及存储介质 |
-
2021
- 2021-01-27 CN CN202110113168.3A patent/CN112783726A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110399347A (zh) * | 2018-04-23 | 2019-11-01 | 华为技术有限公司 | 告警日志压缩方法、装置及***、存储介质 |
CN111159514A (zh) * | 2018-11-07 | 2020-05-15 | 中移(苏州)软件技术有限公司 | 网络爬虫的任务有效性检测方法、装置和设备及存储介质 |
CN110086649A (zh) * | 2019-03-19 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 异常流量的检测方法、装置、计算机设备及存储介质 |
CN110769068A (zh) * | 2019-10-30 | 2020-02-07 | 软通动力信息技术有限公司 | 一种告警消息的生成方法、装置、服务器和存储介质 |
Non-Patent Citations (1)
Title |
---|
朱欣嘉: "利用网络回溯分析技术进行异常流量分析", 《网络安全技术与应用》, no. 10, 15 October 2013 (2013-10-15), pages 6 - 7 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110661659B (zh) | 一种告警方法、装置、***及电子设备 | |
CN109308252B (zh) | 一种故障定位处理方法及装置 | |
AU2016351091B2 (en) | Method and device for processing service calling information | |
CN110888783A (zh) | 微服务***的监测方法、装置以及电子设备 | |
CN108418710B (zh) | 一种分布式监控***、方法及装置 | |
JP6413537B2 (ja) | 障害予兆通報装置および予兆通報方法、予兆通報プログラム | |
JP6988304B2 (ja) | 運用管理システム、監視サーバ、方法およびプログラム | |
CN113590429B (zh) | 一种服务器故障诊断方法、装置及电子设备 | |
CN111901176B (zh) | 故障确定方法、装置、设备及存储介质 | |
CN114783121B (zh) | 自助设备的故障处理方法、装置、设备及可读存储介质 | |
CN106201753B (zh) | 一种基于linux中PCIE错误的处理方法及*** | |
EP4362409A1 (en) | Noisy alarm detection and management in a communications environment | |
JP5503177B2 (ja) | 障害情報収集装置 | |
CN112650624A (zh) | 一种集群升级方法、装置、设备及计算机可读存储介质 | |
CN112783726A (zh) | 一种报警信息的生成方法、装置、设备及可读存储介质 | |
CN115686381B (zh) | 存储集群运行状态的预测方法及装置 | |
CN114268567A (zh) | 异常终端的识别方法、分析装置及设备、存储介质 | |
CN111401874A (zh) | 一种自助交易***监控方法及装置 | |
CN111413952A (zh) | 机器人故障检测方法、装置、电子设备及可读存储介质 | |
CN110955587A (zh) | 一种待更换设备确定方法及装置 | |
CN115037653B (zh) | 业务流量监控方法、装置、电子设备和存储介质 | |
CN110333968B (zh) | 应用于数据库的数据管理方法、装置及计算机设备 | |
CN113127245B (zh) | 一种***管理中断的处理方法、***及装置 | |
CN114281250A (zh) | 存储文件的清理方法及装置、存储介质、电子装置 | |
CN113254313A (zh) | 一种监控指标异常检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |