CN107528749A - 基于云防护日志的网站可用性检测方法、装置及*** - Google Patents
基于云防护日志的网站可用性检测方法、装置及*** Download PDFInfo
- Publication number
- CN107528749A CN107528749A CN201710749521.0A CN201710749521A CN107528749A CN 107528749 A CN107528749 A CN 107528749A CN 201710749521 A CN201710749521 A CN 201710749521A CN 107528749 A CN107528749 A CN 107528749A
- Authority
- CN
- China
- Prior art keywords
- website
- access
- server
- access information
- daily record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0811—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供一种基于云防护日志的网站可用性检测方法、装置及***,涉及网站维护技术领域,其中,该方法包括:获取用户对网站进行访问的访问日志;对访问日志进行解析,得到访问信息;访问信息包括以下至少之一:访问时间、网站域名、统一资源定位符、源IP地址、http响应码、请求耗时;据访问信息进行多维度统计计算,得到多个统计结果;每一个统计结果对应一个预设阈值;基于统计结果确定网站的可用性是否满足预设可用条件。该基于云防护日志的网站可用性检测方法,能够通过对云防护平台的真实访问日志的解析和判定,对网站页面可用性进行全面、准确的分析,以较小的资源代价高效地完成网站可用性的检测和告警。
Description
技术领域
本发明涉及网站维护技术领域,尤其是涉及一种基于云防护日志的网站可用性检测方法、装置及***。
背景技术
互联网时代网站承载着各种信息发布和数据传输的重任,近年来网络中攻击入侵行为成指数级上升趋势,在这种形势下对网站的可用性要求也越来越高。
传统的网站可用性检测方法多采用爬虫方式对网站页面进行请求,按照一定的规则,自动的抓取网页信息,从而进行网站可用性的检测,在这个过程中,存在以下几个方面的问题:
1)检测页面有限且固定;
2)爬虫方式是额外的非正常访问容易被阻断;
3)网络负载重,导致结果输出延时较大。
目前,针对上述问题,尚未提出有效的解决方案。
发明内容
有鉴于此,本发明的目的在于提供一种基于云防护日志的网站可用性检测方法、装置及***,能够通过对云防护平台的真实访问日志的解析和判定,对网站页面可用性进行全面、准确的分析,以较小的资源代价高效地完成网站可用性的检测和告警,较好地解决了以上问题。
第一方面,本发明实施例提供了一种基于云防护日志的网站可用性检测方法,包括:
获取用户对网站进行访问的访问日志;
对访问日志进行解析,得到访问信息;访问信息包括以下至少之一:访问时间、网站域名、统一资源定位符、源IP地址、http响应码、请求耗时;
根据访问信息进行多维度统计计算,得到多个统计结果;每一个统计结果对应一个预设阈值;
基于统计结果确定网站的可用性是否满足预设可用条件。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,基于统计结果确定网站的可用性是否满足预设可用条件包括:
判断预设时间内多个统计结果中是否包含目标统计结果,目标统计结果为多个统计结果中的任意一个统计结果,且目标统计结果大于预设阈值,预设阈值为目标统计结果相对应的阈值;
如果判断出多个统计结果中包含目标统计结果,则确定网站的可用性不满足预设可用条件,并触发告警服务器向用户进行告警。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,在对访问日志进行解析,得到访问信息之后,还包括:
按照JSON格式,向消息队列服务器发送访问信息,以使消息队列服务器按时序对访问信息进行保存;
在获取到对网站的可用性进行检测的检测指令的情况下,从消息队列服务器中提取访问信息。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,还包括:
在判断出多个统计结果中包含目标统计结果之后,将目标统计结果所对应的访问信息存储在目标信息列表中,目标信息列表用于记录异常信息。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,方法还包括:
对每个统计结果和目标信息列表执行以下至少一种处理,得到学习结果:数据持久化处理,大数据学习处理;
根据学习结果,对每个统计结果所对应的预设阈值均进行调整。
结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,触发告警服务器向用户进行告警,包括:
根据预设时间内目标统计结果的数量,确定预设告警类型;
基于告警类型向告警服务器发送触发指令,以使告警服务器向用户按照预设告警类型进行告警,其中,预设告警类型包括:高频次的电话告警、低频次的短信告警。
第二方面,本发明实施例提供一种基于云防护日志的网站可用性检测装置,包括:
日志获取模块,用于获取用户对网站进行访问的访问日志;
日志解析模块,用于对访问日志进行解析,得到访问信息;访问信息包括以下至少之一:访问时间、网站域名、统一资源定位符、源IP地址、http响应码、请求耗时;
统计计算模块,用于根据访问信息进行多维度统计计算,得到多个统计结果;每一个统计结果对应一个预设阈值;
可用性检测模块,基于统计结果确定网站的可用性是否满足预设可用条件。
第三方面,本发明实施例还提供一种基于云防护日志的网站可用性检测***,包括网络客户端、后端服务器、消息队列服务器以及告警服务器;
网络客户端、后端服务器、队列服务器以及告警服务器之间均通信连接;
后端服务器上安装有如第二方面所述的基于云防护日志的网站可用性检测装置。
第四方面,本发明实施例还提供一种电子设备,包括存储器、处理器,存储器上存储有可在处理器上运行的计算机程序,处理器执行计算机程序时实现如第一方面所述的方法的步骤。
第五方面,本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质,程序代码使处理器执行如第一方面所述的方法。
本发明实施例带来了以下有益效果:
在本发明实施例提供的基于云防护日志的网站可用性检测方法中,后端服务器首先获取用户对网站进行访问的访问日志;通过对访问日志的清洗解析,得到访问信息;该访问信息包括以下至少之一:访问时间、网站域名、统一资源定位符、源IP地址、http响应码、请求耗时;根据访问信息进行多维度统计计算,得到多维度的多个统计结果;其中,每一个统计结果对应一个预设阈值;最后基于上述多个统计结果确定网站的可用性是否满足预设可用条件。本发明实施例所提供的基于云防护日志的网站可用性检测方法,能够通过对云防护平台的真实访问日志的解析和判定,对网站页面可用性进行全面、准确的分析,以较小的资源代价高效地完成网站可用性的检测和告警。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于云防护日志的网站可用性检测方法的流程图;
图2为本发明实施例提供的另一种基于云防护日志的网站可用性检测方法的流程图;
图3为本发明实施例提供的另一种基于云防护日志的网站可用性检测方法的流程图;
图4为本发明实施例提供的另一种基于云防护日志的网站可用性检测方法的流程图;
图5为本发明实施例提供的另一种基于云防护日志的网站可用性检测方法的流程图;
图6为本发明实施例提供的另一种基于云防护日志的网站可用性检测方法的流程图;
图7为本发明实施例提供的一种基于云防护日志的网站可用性检装置的结构示意图;
图8为本发明实施例提供的一种基于云防护日志的网站可用性检测***的结构示意图;
图9为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前通常采用爬虫方式对网站进行可用性检测,在这个过程中,存在以下几个方面的问题:1)检测页面有限且固定;2)爬虫方式是额外的非正常访问容易被阻断;3)网络负载重,导致结果输出延时较大。
基于此,本发明实施例提供的基于云防护日志的网站可用性检测方法、装置及***,能够通过对云防护平台的真实访问日志的解析和判定,对网站页面可用性进行全面、准确的分析,以较小的资源代价高效地完成网站可用性的检测和告警,较好地解决了以上问题。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种基于云防护日志的网站可用性检测方法进行详细介绍。
实施例一:
本发明实施例提供一种基于云防护日志的网站可用性检测方法,参见图1所示,该网站可用性检测方法包括以下几个步骤:
S101:获取用户对网站进行访问的访问日志。
云防护平台是指能对网络攻击和入侵行为进行有效分析、计算并拦截的云计算平台。
首先,后端服务器基于云防护平台,获取用户在访问网站时的访问日志,该日志是云防护日志,即云防护平台对托管网站的访问流量进行清洗和拦截攻击行为过程中记录的HTTP日志。
S102:对访问日志进行解析,得到访问信息。
在获取到用户的访问日志后,按照预定的规则对该日志进行解析,得到如下访问信息,包括访问时间、网站域名、统一资源定位符、源IP地址、http响应码、请求耗时等。
S103:根据访问信息进行多维度统计计算,得到多个统计结果。
根据上述通过解析日志得到的访问信息,进行多维度统计计算,得到多个统计结果,比如:其个网站域名的http响应码中以5开头的响应码的数量、根据源IP地址得到访问源区域和运营商线路的IP访问耗时,等等。其中,每一个统计结果对应一个预设阈值。
需要说明的是,上述多维度统计计算过程,可以根据访问信息的数量,采取单个网络节点或多个网络节点的方式进行部署,比如节点A负责计算HTTP响应码,节点B负责计算请求总耗时,节点C负责计算访问源地区、运营商耗时分布情况等,这样就比较完整地得到了网站可用性的相关数据。
S104:基于统计结果确定网站的可用性是否满足预设可用条件。
根据多维度统计计算得到的统计结果,进一步判断该网站可用性是否满足预设可用条件,参见图2所示,具体包括以下步骤:
S201:判断预设时间内多个统计结果中是否包含目标统计结果,目标统计结果为多个统计结果中的任意一个统计结果,且目标统计结果大于预设阈值,预设阈值为目标统计结果相对应的阈值。
S202:如果判断出多个统计结果中包含目标统计结果,则确定网站的可用性不满足预设可用条件,并触发告警服务器向用户进行告警。
在具体实现的时候,判断预设时间内多个统计结果中是否包括超过预设阈值的目标统计结果,只要有一个超过预设阈值的目标统计结果,就会判定当前网站存在不能提供服务的风险,也就是该网站的可用性不满足预设可用条件。当然,也可能在预设时间内有多个超过预设阈值的目标统计结果。
比如,在一定的时间窗口内(如1分钟或3分钟内),访问信息中某个域名的响应码中5xx(500,502,503,504,505)比例大于其相应预设阀值3,以及根据源IP地址得到访问源区域和运营商线路,在预设时间内该地区该线路的IP访问耗时有异常,即可判定该地区该线路到网站源可能存在网络连通问题。由此可以判定该网站的可用性不满足预设可用条件。
当判定网站的可用性不满足预设可用条件时,后端服务器会自动触发告警服务器向相应的用户进行告警,参见图3所示,具体的告警过程包括以下步骤:
S301:根据预设时间内目标统计结果的数量,确定预设告警类型。
在本实施例中,可以根据网站异常的情况,对告警类型进行不同的设定,也就是,根据预设时间内多个统计结果中包括目标统计结果的数量,确定其相应的预设告警类型。比如,目标统计结果的数量为1个,表明网站可用性较差,这时,可以将预设告警类型设定为低频次的短信告警;或者目标统计结果为5个时,表明网站可用性极差,此时,可以将预设告警类型设定为高频次的电话告警。
S302:基于告警类型向告警服务器发送触发指令,以使告警服务器向用户按照预设告警类型进行告警。
在确定了预设告警类型后,向告警服务器发送触发指令,以使告警服务器按照预设告警类型向用户进行及时的告警,其中,预设告警类型包括:高频次的电话告警、低频次的短信告警。
需要说明的是,告警类型不仅限于本实施例中所述的,还可以包括发送邮件等其它告警方式。
作为一个优选实施方式,在执行完步骤S102:对访问日志进行解析,得到访问信息,之后,还可以包括以下步骤,参见图4所示:
S401:按照JSON格式,向消息队列服务器发送访问信息,以使消息队列服务器按时序对访问信息进行保存。
后端服务器在获取到用户访问网站时的访问日志后,按照预定的规则进行解析,得到访问时间、网站域名、统一资源定位符、源IP地址、http响应码、请求耗时等访问信息。然后将这些访问信息按照JSON格式发往消息队列服务器,消息队列服务器将按时序对这些访问信息进行保存。
S402:在获取到对网站的可用性进行检测的检测指令的情况下,从消息队列服务器中提取访问信息。
后端服务器在获取到终端的网站可用性检测指令时,或者后端服务器自动进行网站可用性检测时,需要对上述访问信息进行多维度统计计算,这时,可以从消息队列服务器中将访问信息提取出来。
由于后端服务器获取的访问日志量非常大,同步处理会导致日志大量堆积,服务器资源负载极大,不利于服务器的分析判断,因此,通过上述两个步骤,可以将访问信息暂存在消息队列服务器中,实现异步处理日志,达到缓冲和解耦的目的,提高后端服务器的统计计算和日志处理效率。
此外,为了方便后续对大量数据的进一步统计分析,参见图5所示,本发明实施例所提供的基于防护日志的网站可用性检测方法还包括:
S501:在判断出多个统计结果中包含目标统计结果之后,将目标统计结果所对应的访问信息存储在目标信息列表中,目标信息列表用于记录异常信息。
具体的,该后端服务器还可以提供REST API接口,以使外部方便地获取到上述用于记录异常信息的目标信息列表。
为了提高网站可用性检测的准确性,需要对统计结果的预设阈值进行实时的调整,参见图6所示,本发明实施例所提供的方法还包括:
S601:对每个统计结果和目标信息列表执行以下至少一种处理,得到学习结果:数据持久化处理,大数据学习处理。
S602:根据学习结果,对每个统计结果所对应的预设阈值均进行调整。
为了提高网站可用性检测和告警的准确性,需要对每个前述统计结果相对应的预设阈值进行合理地调整,因此,后端服务器会对上述统计结果和目标信息列表,也就是存放异常访问信息的列表,进行数据持久化处理或者大数据学习,从而得到新的学习结果,进而根据该学习结果对每个统计结果所对应的预设阈值进行调整。
本发明实施例所提供的基于云防护日志的网站可用性检测方法能够通过对云防护平台的真实访问日志的解析和判定,对网站页面可用性进行全面、准确的分析,以较小的资源代价高效地完成网站可用性的检测和告警。此外,本方法还可以减轻目标网站的负载,同时与云防护平台结合,起到攻击防护和可用性检测双重作用。
实施例二:
本发明实施例提供一种基于云防护日志的网站可用性检测装置,参见图7所示,该装置包括:日志获取模块71、日志解析模块72、统计计算模块73以及可用性检测模块74。
其中,日志获取模块71,用于获取用户对网站进行访问的访问日志;日志解析模块72,用于对访问日志进行解析,得到访问信息;访问信息包括以下至少之一:访问时间、网站域名、统一资源定位符、源IP地址、http响应码、请求耗时;统计计算模块73,用于根据访问信息进行多维度统计计算,得到多个统计结果;每一个统计结果对应一个预设阈值;可用性检测模块74,基于统计结果确定网站的可用性是否满足预设可用条件。
本发明实施例所提供的基于云防护日志的网站可用性检测装置中,各个模块与前述基于云防护日志的网站可用性检测方法具有相同的技术特征,因此,同样可以实现上述功能。本装置中的各个模块的具体工作过程参见上述方法实施例,在此不再赘述。
实施例三:
本发明实施例提供一种基于云防护日志的网站可用性检测***,参见图8所示,该***包括网络客户端81、后端服务器82、消息队列服务器83以及告警服务器84。
其中,网络客户端81、后端服务器82、队列服务器83以及告警服务器84之间均通信连接;后端服务器82上安装有实施例二所述的基于云防护日志的网站可用性检测装置821。
本发明实施例所提供的基于云防护日志的网站可用性检测***中,包括与前述基于云防护日志的网站可用性检测方法相同的技术特征,因此,同样可以实现上述功能。本***中的各个服务器的具体工作过程参见上述方法实施例,在此不再赘述。
实施例四:
本发明实施例还提供一种电子设备,参见图9所示,该电子设备包括:处理器90,存储器91,总线92和通信接口93,所述处理器90、通信接口93和存储器91通过总线92连接;处理器90用于执行存储器91中存储的可执行模块,例如计算机程序。处理器执行计算机程序时实现如方法实施例所述的方法的步骤。
其中,存储器91可能包含高速随机存取存储器(RAM,RandomAccessMemory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口93(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线92可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器91用于存储程序,所述处理器90在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器90中,或者由处理器90实现。
处理器90可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器90中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器90可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器91,处理器90读取存储器91中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的基于云防护日志的网站可用性检测方法的计算机程序产品,包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置及电子设备的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
附图中的流程图和框图显示了根据本发明的多个实施例方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于云防护日志的网站可用性检测方法,其特征在于,包括:
获取用户对网站进行访问的访问日志;
对所述访问日志进行解析,得到访问信息;所述访问信息包括以下至少之一:访问时间、网站域名、统一资源定位符、源IP地址、http响应码、请求耗时;
根据所述访问信息进行多维度统计计算,得到多个统计结果;每一个统计结果对应一个预设阈值;
基于所述统计结果确定所述网站的可用性是否满足预设可用条件。
2.根据权利要求1所述的方法,其特征在于,基于所述统计结果确定所述网站的可用性是否满足预设可用条件包括:
判断预设时间内所述多个统计结果中是否包含目标统计结果,所述目标统计结果为所述多个统计结果中的任意一个统计结果,且所述目标统计结果大于预设阈值,所述预设阈值为所述目标统计结果相对应的阈值;
如果判断出所述多个统计结果中包含目标统计结果,则确定所述网站的可用性不满足预设可用条件,并触发告警服务器向所述用户进行告警。
3.根据权利要求1所述的方法,其特征在于,在所述对所述访问日志进行解析,得到访问信息之后,还包括:
按照JSON格式,向消息队列服务器发送所述访问信息,以使所述消息队列服务器按时序对所述访问信息进行保存;
在获取到对所述网站的可用性进行检测的检测指令的情况下,从所述消息队列服务器中提取所述访问信息。
4.根据权利要求1所述的方法,其特征在于,还包括:
在判断出所述多个统计结果中包含目标统计结果之后,将所述目标统计结果所对应的访问信息存储在目标信息列表中,所述目标信息列表用于记录异常信息。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
对每个统计结果和所述目标信息列表执行以下至少一种处理,得到学习结果:数据持久化处理,大数据学习处理;
根据所述学习结果,对每个所述统计结果所对应的预设阈值均进行调整。
6.根据权利要求2所述的方法,其特征在于,所述触发告警服务器向所述用户进行告警,包括:
根据预设时间内所述目标统计结果的数量,确定预设告警类型;
基于所述告警类型向所述告警服务器发送触发指令,以使所述告警服务器向所述用户按照预设告警类型进行告警,其中,所述预设告警类型包括:高频次的电话告警、低频次的短信告警。
7.一种基于云防护日志的网站可用性检测装置,其特征在于,包括:
日志获取模块,用于获取用户对网站进行访问的访问日志;
日志解析模块,用于对所述访问日志进行解析,得到访问信息;所述访问信息包括以下至少之一:访问时间、网站域名、统一资源定位符、源IP地址、http响应码、请求耗时;
统计计算模块,用于根据所述访问信息进行多维度统计计算,得到多个统计结果;每一个统计结果对应一个预设阈值;
可用性检测模块,基于所述统计结果确定所述网站的可用性是否满足预设可用条件。
8.一种基于云防护日志的网站可用性检测***,其特征在于,包括网络客户端、后端服务器、消息队列服务器以及告警服务器;
所述网络客户端、所述后端服务器、所述队列服务器以及所述告警服务器之间均通信连接;
所述后端服务器上安装有如权利要求7所述的基于云防护日志的网站可用性检测装置。
9.一种电子设备,包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的方法的步骤。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质,其特征在于,所述程序代码使所述处理器执行所述权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710749521.0A CN107528749A (zh) | 2017-08-28 | 2017-08-28 | 基于云防护日志的网站可用性检测方法、装置及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710749521.0A CN107528749A (zh) | 2017-08-28 | 2017-08-28 | 基于云防护日志的网站可用性检测方法、装置及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107528749A true CN107528749A (zh) | 2017-12-29 |
Family
ID=60682699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710749521.0A Pending CN107528749A (zh) | 2017-08-28 | 2017-08-28 | 基于云防护日志的网站可用性检测方法、装置及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107528749A (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108572907A (zh) * | 2018-01-25 | 2018-09-25 | 北京金山云网络技术有限公司 | 一种告警方法、装置、电子设备及计算机可读存储介质 |
CN109379213A (zh) * | 2018-09-19 | 2019-02-22 | 杭州安恒信息技术股份有限公司 | 基于访问日志响应信息的网站可用性告警方法及告警*** |
CN109688097A (zh) * | 2018-09-07 | 2019-04-26 | 平安科技(深圳)有限公司 | 网站防护方法、网站防护装置、网站防护设备及存储介质 |
CN110061864A (zh) * | 2019-03-26 | 2019-07-26 | 网宿科技股份有限公司 | 一种域名配置自动化验证的方法和*** |
CN110109812A (zh) * | 2019-05-10 | 2019-08-09 | 广州英睿科技有限公司 | 访问日志数据的统计方法、装置、计算机设备和存储介质 |
CN110166486A (zh) * | 2019-06-14 | 2019-08-23 | 李啟锋 | 网站防护方法、装置及计算机可读存储介质 |
CN110213375A (zh) * | 2019-06-04 | 2019-09-06 | 杭州安恒信息技术股份有限公司 | 一种基于云waf的ip访问控制的方法、装置及电子设备 |
CN110311837A (zh) * | 2019-07-12 | 2019-10-08 | 广州华多网络科技有限公司 | 在线业务可用性检测方法、装置及计算机设备 |
CN110955544A (zh) * | 2019-12-18 | 2020-04-03 | 杭州安恒信息技术股份有限公司 | 一种web***的可用性检测方法、装置及*** |
CN111193685A (zh) * | 2018-11-14 | 2020-05-22 | ***通信集团辽宁有限公司 | 校验日志信息真伪的方法、装置、设备和介质 |
CN111258969A (zh) * | 2018-11-30 | 2020-06-09 | ***通信集团浙江有限公司 | 一种互联网访问日志解析方法及装置 |
CN111866854A (zh) * | 2019-04-28 | 2020-10-30 | 北京数安鑫云信息技术有限公司 | 一种应用自动更新方法、装置、***和计算机设备 |
CN112929360A (zh) * | 2021-02-03 | 2021-06-08 | 北京中数智汇科技股份有限公司 | 基于端口代理的web终端防护方法、***和存储介质 |
CN113139146A (zh) * | 2020-01-17 | 2021-07-20 | ***通信集团浙江有限公司 | 网站质量评估方法、装置及计算设备 |
CN113660244A (zh) * | 2021-08-11 | 2021-11-16 | 杭州安恒信息技术股份有限公司 | 网站可用性检测方法、***、可读存储介质及装置 |
CN113778780A (zh) * | 2020-11-27 | 2021-12-10 | 北京京东尚科信息技术有限公司 | 应用稳定性的确定方法、装置、电子设备和存储介质 |
CN115333920A (zh) * | 2022-08-12 | 2022-11-11 | 北京天融信网络安全技术有限公司 | 告警测试的方法、装置、电子设备及计算机可读存储介质 |
CN115396314A (zh) * | 2022-08-26 | 2022-11-25 | 湖北天融信网络安全技术有限公司 | 获得防护策略集合、报文检测的方法、装置、***及介质 |
CN117294745A (zh) * | 2023-11-24 | 2023-12-26 | 中关村科学城城市大脑股份有限公司 | 网络连接状态信息发送方法、装置、电子设备和介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160344751A1 (en) * | 2015-05-19 | 2016-11-24 | Fastly, Inc. | Customized record handling in a content delivery network |
CN106371986A (zh) * | 2016-09-08 | 2017-02-01 | 上海新炬网络技术有限公司 | 一种日志处理运维监控*** |
-
2017
- 2017-08-28 CN CN201710749521.0A patent/CN107528749A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160344751A1 (en) * | 2015-05-19 | 2016-11-24 | Fastly, Inc. | Customized record handling in a content delivery network |
CN106371986A (zh) * | 2016-09-08 | 2017-02-01 | 上海新炬网络技术有限公司 | 一种日志处理运维监控*** |
Non-Patent Citations (1)
Title |
---|
于希敏: "一个基于Web日志的用户操作序列及网站可用性分析方法", 《第5届全国人机交互学术会议》 * |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108572907B (zh) * | 2018-01-25 | 2022-05-06 | 北京金山云网络技术有限公司 | 一种告警方法、装置、电子设备及计算机可读存储介质 |
CN108572907A (zh) * | 2018-01-25 | 2018-09-25 | 北京金山云网络技术有限公司 | 一种告警方法、装置、电子设备及计算机可读存储介质 |
CN109688097A (zh) * | 2018-09-07 | 2019-04-26 | 平安科技(深圳)有限公司 | 网站防护方法、网站防护装置、网站防护设备及存储介质 |
CN109688097B (zh) * | 2018-09-07 | 2023-03-24 | 平安科技(深圳)有限公司 | 网站防护方法、网站防护装置、网站防护设备及存储介质 |
CN109379213A (zh) * | 2018-09-19 | 2019-02-22 | 杭州安恒信息技术股份有限公司 | 基于访问日志响应信息的网站可用性告警方法及告警*** |
CN111193685A (zh) * | 2018-11-14 | 2020-05-22 | ***通信集团辽宁有限公司 | 校验日志信息真伪的方法、装置、设备和介质 |
CN111193685B (zh) * | 2018-11-14 | 2022-10-18 | ***通信集团辽宁有限公司 | 校验日志信息真伪的方法、装置、设备和介质 |
CN111258969A (zh) * | 2018-11-30 | 2020-06-09 | ***通信集团浙江有限公司 | 一种互联网访问日志解析方法及装置 |
CN111258969B (zh) * | 2018-11-30 | 2023-08-15 | ***通信集团浙江有限公司 | 一种互联网访问日志解析方法及装置 |
CN110061864A (zh) * | 2019-03-26 | 2019-07-26 | 网宿科技股份有限公司 | 一种域名配置自动化验证的方法和*** |
CN110061864B (zh) * | 2019-03-26 | 2022-07-26 | 网宿科技股份有限公司 | 一种域名配置自动化验证的方法和*** |
CN111866854B (zh) * | 2019-04-28 | 2023-04-18 | 北京数安鑫云信息技术有限公司 | 一种应用自动更新方法、装置、***和计算机设备 |
CN111866854A (zh) * | 2019-04-28 | 2020-10-30 | 北京数安鑫云信息技术有限公司 | 一种应用自动更新方法、装置、***和计算机设备 |
CN110109812A (zh) * | 2019-05-10 | 2019-08-09 | 广州英睿科技有限公司 | 访问日志数据的统计方法、装置、计算机设备和存储介质 |
CN110213375A (zh) * | 2019-06-04 | 2019-09-06 | 杭州安恒信息技术股份有限公司 | 一种基于云waf的ip访问控制的方法、装置及电子设备 |
CN110166486A (zh) * | 2019-06-14 | 2019-08-23 | 李啟锋 | 网站防护方法、装置及计算机可读存储介质 |
CN110311837B (zh) * | 2019-07-12 | 2022-11-01 | 广州华多网络科技有限公司 | 在线业务可用性检测方法、装置及计算机设备 |
CN110311837A (zh) * | 2019-07-12 | 2019-10-08 | 广州华多网络科技有限公司 | 在线业务可用性检测方法、装置及计算机设备 |
CN110955544A (zh) * | 2019-12-18 | 2020-04-03 | 杭州安恒信息技术股份有限公司 | 一种web***的可用性检测方法、装置及*** |
CN113139146A (zh) * | 2020-01-17 | 2021-07-20 | ***通信集团浙江有限公司 | 网站质量评估方法、装置及计算设备 |
CN113778780A (zh) * | 2020-11-27 | 2021-12-10 | 北京京东尚科信息技术有限公司 | 应用稳定性的确定方法、装置、电子设备和存储介质 |
CN113778780B (zh) * | 2020-11-27 | 2024-05-17 | 北京京东尚科信息技术有限公司 | 应用稳定性的确定方法、装置、电子设备和存储介质 |
CN112929360A (zh) * | 2021-02-03 | 2021-06-08 | 北京中数智汇科技股份有限公司 | 基于端口代理的web终端防护方法、***和存储介质 |
CN113660244A (zh) * | 2021-08-11 | 2021-11-16 | 杭州安恒信息技术股份有限公司 | 网站可用性检测方法、***、可读存储介质及装置 |
CN113660244B (zh) * | 2021-08-11 | 2023-02-24 | 杭州安恒信息技术股份有限公司 | 网站可用性检测方法、***、可读存储介质及装置 |
CN115333920B (zh) * | 2022-08-12 | 2024-04-23 | 北京天融信网络安全技术有限公司 | 告警测试的方法、装置、电子设备及计算机可读存储介质 |
CN115333920A (zh) * | 2022-08-12 | 2022-11-11 | 北京天融信网络安全技术有限公司 | 告警测试的方法、装置、电子设备及计算机可读存储介质 |
CN115396314A (zh) * | 2022-08-26 | 2022-11-25 | 湖北天融信网络安全技术有限公司 | 获得防护策略集合、报文检测的方法、装置、***及介质 |
CN115396314B (zh) * | 2022-08-26 | 2024-04-26 | 湖北天融信网络安全技术有限公司 | 获得防护策略集合、报文检测的方法、装置、***及介质 |
CN117294745A (zh) * | 2023-11-24 | 2023-12-26 | 中关村科学城城市大脑股份有限公司 | 网络连接状态信息发送方法、装置、电子设备和介质 |
CN117294745B (zh) * | 2023-11-24 | 2024-02-02 | 中关村科学城城市大脑股份有限公司 | 网络连接状态信息发送方法、装置、电子设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107528749A (zh) | 基于云防护日志的网站可用性检测方法、装置及*** | |
JP6841910B2 (ja) | ユーザー異常行動検出方法、装置及びシステム | |
CN104519032B (zh) | 一种互联网账号的安全策略及*** | |
CN104391979B (zh) | 网络恶意爬虫识别方法及装置 | |
CN104426713B (zh) | 网络站点访问效果数据的监测方法和装置 | |
US10516697B2 (en) | ISP blacklist feed | |
CN108833184A (zh) | 服务故障定位方法、装置、计算机设备及存储介质 | |
US20150170070A1 (en) | Method, apparatus, and system for monitoring website | |
US20110166926A1 (en) | Evaluating Online Marketing Efficiency | |
CN104657250A (zh) | 一种对云主机进行性能监控的监控方法 | |
CN108492150B (zh) | 实体热度的确定方法及*** | |
CN108111554B (zh) | 一种访问队列的控制方法及装置 | |
EP3085023B1 (en) | Communications security | |
CN114095567B (zh) | 数据访问请求的处理方法、装置、计算机设备及介质 | |
CN113412607B (zh) | 内容推送方法、装置、移动终端及存储介质 | |
CN103279869A (zh) | 一种确定信息处理目标的方法和装置 | |
CN111061588A (zh) | 一种定位数据库异常来源的方法及装置 | |
CN105939321B (zh) | 一种dns攻击检测方法及装置 | |
CN113095891A (zh) | 一种数据处理方法、装置、存储介质及电子装置 | |
CN112383513B (zh) | 基于代理ip地址池的爬虫行为检测方法、装置及存储介质 | |
CN104219219B (zh) | 一种数据处理的方法、服务器及*** | |
CN103916463B (zh) | 一种网络访问统计分析方法及*** | |
CN108494635A (zh) | 一种基于云计算的网络流量探测*** | |
CN109729054A (zh) | 访问数据监测方法及相关设备 | |
CN110866831A (zh) | 资产活跃度等级的确定方法、装置及服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171229 |
|
RJ01 | Rejection of invention patent application after publication |