CN112751900B - 一种网络请求处理方法和装置 - Google Patents
一种网络请求处理方法和装置 Download PDFInfo
- Publication number
- CN112751900B CN112751900B CN201911052593.5A CN201911052593A CN112751900B CN 112751900 B CN112751900 B CN 112751900B CN 201911052593 A CN201911052593 A CN 201911052593A CN 112751900 B CN112751900 B CN 112751900B
- Authority
- CN
- China
- Prior art keywords
- request
- network
- matching engine
- load balancer
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000000903 blocking effect Effects 0.000 claims abstract description 27
- 230000007123 defense Effects 0.000 claims description 41
- 238000004458 analytical method Methods 0.000 claims description 26
- 230000015556 catabolic process Effects 0.000 claims description 26
- 238000006731 degradation reaction Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 7
- 238000012423 maintenance Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000007474 system interaction Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种网络请求处理方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:负载均衡器在收到网络请求之后,将所述网络请求发送到扫描匹配引擎进行内容检测;所述负载均衡器根据所述扫描匹配引擎返回的检测结果,对所述网络请求执行阻断或转发处理。该实施方式能够解决WAF负载大而导致网络时延大、匹配速度慢的问题,节约WAF部署成本,克服设备维护消耗人力和时间过多的缺陷,且WAF故障不会对业务造成影响,能减少误判,提高拦截的准确率。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种网络请求处理方法和装置。
背景技术
随着web应用越来越丰富,web服务器逐渐成为主要攻击目标。由于传统防火墙存在各种问题,由此产生了WAF(web应用防护***),与传统防火墙不同,WAF工作在应用层。当前WAF是串行部署在网络或者web服务器的出入口,发现SQL(结构化查询语言)注入、网页篡改、网页挂马等攻击时进行阻断拦截,可体现为硬件web防火墙,web软件防护。
当前互联网公司对用户的体验感十分注重,当网络请求特别大时,单独的web应用防火墙(即WAF)容易因为负载较大,而造成网络时延特别长,用户体验下降,且单独部署WAF成本比较高,当设备出现故障时,需要跟多的人力和时间去维护。此外现有WAF采用纯文本匹配,未对HTTP(超文本传输协议)请求进行合理的拆分,会产生大量的误判。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
WAF负载大,导致网络时延大,匹配速度慢;单独部署WAF成本比较高,当设备出现故障时用于维护的人力和时间消耗大;容易产生大量误判,拦截的准确率不高。
发明内容
有鉴于此,本发明实施例提供一种网络请求处理方法和装置,能够解决WAF负载大而导致网络时延大、匹配速度慢的问题,节约WAF部署成本,克服设备维护消耗人力和时间过多的缺陷,且即使WAF故障也不会对业务造成影响,能减少误判,提高拦截的准确率。
为实现上述目的,根据本发明实施例的一个方面,提供了一种网络请求处理方法。
一种网络请求处理方法,包括:负载均衡器在收到网络请求之后,将所述网络请求发送到扫描匹配引擎进行内容检测;所述负载均衡器根据所述扫描匹配引擎返回的检测结果,对所述网络请求执行阻断或转发处理。
可选地,所述扫描匹配引擎位于web应用防护***中,所述web应用防护***和所述负载均衡器同机部署。
可选地,所述负载均衡器通过调用所述web应用防护***提供的预设插件,将所述网络请求发送到所述扫描匹配引擎,其中,所述预设插件异步发送所述网络请求。
可选地,所述扫描匹配引擎通过如下方式对所述网络请求进行内容检测:所述扫描匹配引擎将所述网络请求的内容按照请求地址、请求头、请求体三部分进行解析,其中,将所述请求地址解析为请求方法和键值对形式的请求方法参数,以及,将所述请求头和所述请求体均解析为键值对的形式;所述扫描匹配引擎利用预设的防御规则,分别对所述请求地址、所述请求头、所述请求体三部分的解析结果进行检测。
可选地,所述扫描匹配引擎利用预设的防御规则,分别对所述请求地址、所述请求头、所述请求体三部分的解析结果进行检测的步骤,包括:所述扫描匹配引擎将所述请求地址、所述请求头、所述请求体三部分的解析结果,分别与所述预设的防御规则中对应的区域进行匹配,其中包括:将所述请求方法或所述请求方法参数的键、值、键值对中的一者,与所述预设的防御规则中对应请求地址的区域进行匹配;将所述请求头的值与所述预设的防御规则中对应请求头的区域进行匹配;将所述请求体的键、值、键值对中的一者,与所述预设的防御规则中对应请求体的区域进行匹配。
可选地,所述扫描匹配引擎将所述请求地址、所述请求头、所述请求体三部分的解析结果,分别与所述预设的防御规则中对应的区域进行匹配时,按照先字符串后正则表达式的匹配顺序进行所述匹配,且当匹配时间达到匹配时间阈值后,终止所述匹配。
可选地,还包括:当在预设时间段内,所述负载均衡器对访问同一域名的网络请求阻断次数累计达到次数阈值时,执行误报降级策略,并输出误报降级的通知消息,其中,执行所述误报降级策略包括对访问该同一域名的所有网络请求不执行阻断处理。
根据本发明实施例的另一方面,提供了一种网络请求处理装置。
一种网络请求处理装置,包括:负载均衡器、扫描匹配引擎,其中:所述负载均衡器用于在收到网络请求之后,将所述网络请求发送到扫描匹配引擎;所述扫描匹配引擎用于对所述网络请求进行内容检测,并将检测结果返回所述负载均衡器;所述负载均衡器还用于根据所述扫描匹配引擎返回的检测结果,对所述网络请求执行阻断或转发处理。
可选地,所述扫描匹配引擎位于web应用防护***中,所述web应用防护***和所述负载均衡器同机部署。
可选地,所述负载均衡器通过调用所述web应用防护***提供的预设插件,将所述网络请求发送到所述扫描匹配引擎,其中,所述预设插件异步发送所述网络请求。
可选地,所述扫描匹配引擎包括协议解析模块和检测模块,其中:所述协议解析模块用于将所述网络请求的内容按照请求地址、请求头、请求体三部分进行解析,其中,将所述请求地址解析为请求方法和键值对形式的请求方法参数,以及,将所述请求头和所述请求体均解析为键值对的形式;所述检测模块用于利用预设的防御规则,分别对所述请求地址、所述请求头、所述请求体三部分的解析结果进行检测。
可选地,所述检测模块还用于:所述扫描匹配引擎将所述请求地址、所述请求头、所述请求体三部分的解析结果,分别与所述预设的防御规则中对应的区域进行匹配,其中包括:将所述请求方法或所述请求方法参数的键、值、键值对中的一者,与所述预设的防御规则中对应请求地址的区域进行匹配;将所述请求头的值与所述预设的防御规则中对应请求头的区域进行匹配;将所述请求体的键、值、键值对中的一者,与所述预设的防御规则中对应请求体的区域进行匹配。
可选地,所述检测模块按照先字符串后正则表达式的匹配顺序进行所述匹配,且当匹配时间达到匹配时间阈值后,终止所述匹配。
可选地,还包括误报降级模块,用于:当在预设时间段内,所述负载均衡器对访问同一域名的网络请求阻断次数累计达到次数阈值时,执行误报降级策略,并输出误报降级的通知消息,其中,执行所述误报降级策略包括对访问该同一域名的所有网络请求不执行阻断处理。
根据本发明实施例的又一方面,提供了一种电子设备。
一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现本发明提供的网络请求处理方法。
根据本发明实施例的又一方面,提供了一种计算机可读介质。
一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明提供的网络请求处理方法。
上述发明中的一个实施例具有如下优点或有益效果:负载均衡器将网络请求发送到扫描匹配引擎进行内容检测,根据扫描匹配引擎返回的检测结果,对网络请求执行阻断或转发处理,能够解决WAF负载大而导致网络时延大、匹配速度慢的问题。WAF和负载均衡器同机部署,节约WAF部署成本,即使WAF故障也不会影响负载均衡器的处理流程,更不会对业务造成影响,克服设备维护消耗人力和时间过多的缺陷。扫描匹配引擎将请求地址、请求头、请求体三部分的解析结果分别与预设的防御规则中对应的区域进行匹配,能减少误判,提高拦截的准确率。按照先字符串后正则表达式的匹配顺序进行匹配,可减少匹配时间,提高匹配和检测速度。当在预设时间段内,负载均衡器对访问同一域名的网络请求阻断次数累计达到次数阈值时,执行误报降级策略,可进一步防止误报拦截而导致业务故障,防灾性强。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明一个实施例的网络请求处理方法的主要步骤示意图;
图2是根据本发明一个实施例的扫描匹配引擎与负载均衡器的优选部署方式示意图;
图3是根据本发明一个实施例的网络请求处理的***交互示意图;
图4是根据本发明一个实施例的网络请求处理装置的主要模块示意图;
图5是本发明实施例可以应用于其中的示例性***架构图;
图6是适于用来实现本发明实施例的终端设备或服务器的计算机***的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明一个实施例的网络请求处理方法的主要步骤示意图。
如图1所示,本发明一个实施例的网络请求处理方法主要包括如下的步骤S101至步骤S102。
步骤S101:负载均衡器在收到网络请求之后,将网络请求发送到扫描匹配引擎进行内容检测。
步骤S102:负载均衡器根据扫描匹配引擎返回的检测结果,对网络请求执行阻断或转发处理。
本实施例的网络请求具体为http请求。负载均衡器在扫描匹配引擎返回的检测结果为通过时,将http请求转发到业务集群或web服务集群以请求相应的业务数据或服务,当扫描匹配引擎返回的检测结果为不通过时,负载均衡器则阻断http请求。内容检测的具体步骤将在下文介绍。
扫描匹配引擎位于web应用防护***(即WAF)中,具体是在WAF上实现的一个SDK(软件开发工具包),即WAF-SDK。本发明的该SDK可供负载均衡器在进行网络请求转发之前调用,以进行网络请求内容的检测,此方式可实现快速部署。
负载均衡器可以通过调用web应用防护***提供的预设插件,将网络请求发送到扫描匹配引擎,其中,预设插件用于异步发送网络请求。该预设插件可以是Lua(一种脚本语言)插件,调用该Lua插件可以异步发送网络请求。
作为优选实施方式,web应用防护***和负载均衡器(即LB)同机部署,即部署在同一机器上。扫描匹配引擎与负载均衡器的优选部署方式如图2所示。图2中,LB-Core为负载均衡器核心,LB通过调用Lua插件,把http请求通过本地套接字(socket)发送给WAF-SDK,WAF-SDK异步处理http请求,对http请求的内容进行检测,将检测结果(result)回传给LB-Core,LB-core通过此检测结果判断是阻断此次请求还是通过此次请求。其中,检测结果为不通过时阻断此次请求,检测结果为通过时则将此次请求转发到web服务集群以请求服务。
通过WAF与LB同机部署,并采用异步处理的机制,可以节约了服务器资源。并且本发明实施例的WAF与LB进程间隔离,当WAF出现故障或异常时,则与LB的通信会超时失败,LB执行默认(不阻断)动作,从而即使WAF故障或异常也完全不会影响LB的处理流程,更不会影响业务。
作为替换实施方式,该SDK也可部署在负载均衡器不同的其他网络设备之上。
扫描匹配引擎可以通过如下方式对网络请求进行内容检测:扫描匹配引擎将网络请求的内容按照请求地址(URL)、请求头(HEADERS)、请求体(BODY)三部分进行解析,其中,将请求地址解析为请求方法和键值对形式的请求方法参数,以及,将请求头和请求体均解析为键值对的形式;扫描匹配引擎利用预设的防御规则,分别对请求地址、请求头、请求体三部分的解析结果进行检测。
将网络请求的内容按照请求地址(URL)、请求头(HEADERS)、请求体(BODY)三部分进行解析时,对http请求中的URL数据解析为path和Query(Key:Value)形式,path为http中的请求方法,Query为http中请求方法的参数。对HEADERS解析为Key:Value形式,对BODY依据不同的格式被解析成Key:Value形式。Key为键,Value为值。其中,对BODY解析时,先进行类型判断,具体为对Content-type(http请求中的媒体类型信息)进行判断,以确定具体格式,例如Json((JavaScript Object Notation,JS对象简谱)格式、XML(可扩展标记语言)格式等等,依据不同的格式解析为Key:Value形式,例如Json解析得到与Json相应的Key:Value,XML解析得到与XML相应的Key:Value。
本发明实施例的预设的防御规则(防御策略)可以准实时地更新到WAF引擎中,防御规则可以存放在缓存中(例如内存、redis(远程字典服务)等)。WAF对宿主进程提供外部更新规则接口,例如:waf_create_policy_handle(char*file),其中参数为防御策略(规则)文件路径。宿主进程即NP管理进程,该进程用于管理防御规则,包括准实时地更新防御规则。并且,本发明实施例支持防御规则热更新,以保证在整个服务不中断的情况下,更全面地检测,克服重启服务期间攻击流量被漏报的情况。
扫描匹配引擎利用预设的防御规则,分别对请求地址、请求头、请求体三部分的解析结果进行检测的步骤,具体可以包括:扫描匹配引擎将请求地址、请求头、请求体三部分的解析结果,分别与预设的防御规则中对应的区域进行匹配,其中包括:
将请求方法或请求方法参数的键、值、键值对中的一者,与预设的防御规则中对应请求地址的区域进行匹配,即:只匹配path,或者只匹配Key:Value形式的Key或者Value,或者Key:Value组合,达到精确匹配,如果匹配一致则请求地址检测不通过,否则请求地址检测通过;
将请求头的值与预设的防御规则中对应请求头的区域进行匹配,即:只匹配某个Header的value,达到精确匹配,如果匹配一致则请求头检测不通过,否则请求头检测通过;
将请求体的键、值、键值对中的一者,与预设的防御规则中对应请求体的区域进行匹配,即:只匹配某个Key或者Value或者Key:Value,从而达到精确匹配,如果匹配一致则请求体检测不通过,否则请求体检测通过。
在一个实施例中,扫描匹配引擎可以按照先字符串后正则表达式的匹配顺序进行匹配。具体地,扫描匹配引擎把不同的http请求数据利用数据分发器分发到不同的线程(线程1,线程2,……,线程N)中去扫描,扫描时按照先字符串(AC)后正则(Hyperscan)的匹配顺序匹配,即,将请求地址、请求头、请求体的解析结果,分别与预设的防御规则中对应的区域进行匹配时,如果一条防御规则中有字符串和正则的组合,则将解析结果先匹配字符串再匹配正则,从而保证匹配的时间很小。在解析结果与二者同时匹配一致时,则相应部分(请求地址、请求头、请求体)检测不通过,否则相应部分检测通过。通过先字符串(AC)后正则(hyperscan)的匹配方式可以减少匹配时间。另外,由于本发明实施例的WAF核心使用hyperscan(正则匹配引擎),充分利用CPU(中央处理单元)的Cache(高速缓冲存储器),并结合SIMD(Single Instruction Multiple Data,单指令多数据流)核心技术,使得性能最优,WAF扫描延迟小(可小于1毫秒)。
当请求地址、请求头、请求体三部分均检测通过时,检测结果为通过,否则检测结果为不通过。负载均衡器在检测结果为不通过时,对http请求执行阻断处理,即不进行下一步地转发,在检测结果为通过时,对http请求执行转发处理,即转发到业务集群或服务集群以请求相应的业务数据或服务。
在一个实施例中,可以预先设定一个匹配时间阈值,例如5毫秒,当匹配时间达到匹配时间阈值后,终止匹配,以防止匹配时间过长而影响用户体验。
在一个实施例中,当在预设时间段内,负载均衡器对访问同一域名的网络请求阻断次数累计达到次数阈值时,还可以执行误报降级策略,其中,执行误报降级策略包括对访问该同一域名的所有网络请求不执行阻断处理。一个域名可以对应多个客户端IP,即多个客户端发送的网络请求用于访问同一域名,从网络请求中可以得到该网络请求所访问的域名,当T(T为自定义的整数)秒内,访问某个域名的多个网络请求在访问该域名时被阻断的次数累计得到N次(N为次数阈值,是一个自定义的整数),则执行误报降级策略,即对访问该域名的所有网络请求都不执行阻断处理,而直接转发到业务集群或服务集群。
此外,在执行误报降级策略之后,还可以触发告警事件,以输出误报降级的通知消息,误报降级的通知消息用于通知相关人员已对该域名执行了误报降级策略。该误报降级的通知消息可以通过短信、邮件等形式发送。
本发明实施例通过自动误报降级机制,当发生误报时自动降级,防止误报拦截(阻断)导致业务故障,增强了防灾性。
在一个实施例中,还可以包括:依据匹配结果在进行防御(即阻断)操作之后,把此次攻击的日志记录下来,存储阻断的链接信息,以为后续分析做数据支撑。
图3是根据本发明一个实施例的网络请求处理的***交互示意图。
如图3所示,客户端通过网络(Internet)向负载均衡器(LB)发送网络请求,这些网络请求即流量数据。LB在收到网络请求之后,将网络请求发送到WAF CORE(web应用防护***核心),WAF CORE包括WAF-SDK,用于对网络请求进行内容检测。LB根据WAF-SDK返回的检测结果,对网络请求执行阻断(当检测结果为不通过)或转发(当检测结果为通过)处理。其中,在对网络请求进行内容检测时,按照URL、HEADERS、BODY三部分进行解析,与防御规则中对应的区域匹配,以提高检测的准确率,减少误报率。在匹配时可以预先设置预先设定一个匹配时间阈值:5毫秒,超过5毫秒则绕过WAF,即终止匹配,以防止匹配时间过长而影响用户体验。当检测结果为通过时,LB将网络请求转发到业务集群(包括Linux server(服务器);Windows server;网络设备;Unix server等)。图3中NP管理平台、数据分析平台、误报监控均表示本发明实施例的WAF CORE的功能,WAF CORE的NP管理平台功能负责管理WAF防御规则、控制WAF启停等。WAF CORE的数据分析平台功能负责存储阻断的链接信息(即记录攻击的日志),还可对存储的日志进行归类总结,并通过web界面进行直观展示等。WAF CORE的误报监控即本发明实施例的WAF的最主要的功能,负责对LB发送来的网络请求进行内容检测,并将检测结果返回LB。
图4是根据本发明一个实施例的网络请求处理装置的主要模块示意图。
如图4所示,本发明一个实施例的网络请求处理装置400主要包括:负载均衡器401、扫描匹配引擎402,其中:
负载均衡器401用于在收到网络请求之后,将网络请求发送到扫描匹配引擎402;
扫描匹配引擎402用于对网络请求进行内容检测,并将检测结果返回负载均衡器401;
负载均衡器401还用于根据扫描匹配引擎402返回的检测结果,对网络请求执行阻断或转发处理。
网络请求处理装置400还可以包括web应用防护***,扫描匹配引擎402位于web应用防护***中,具体是在WAF上实现的一个SDK,即WAF-SDK。优选地,web应用防护***和负载均衡器401同机部署。
负载均衡器401通过调用web应用防护***提供的预设插件(Lua插件),将网络请求发送到扫描匹配引擎402,其中,预设插件异步发送网络请求。
扫描匹配引擎402可以包括协议解析模块和检测模块,其中:
协议解析模块用于将网络请求的内容按照请求地址、请求头、请求体三部分进行解析,其中,将请求地址解析为请求方法和键值对形式的请求方法参数,以及,将请求头和请求体均解析为键值对的形式;
检测模块用于利用预设的防御规则,分别对请求地址、请求头、请求体三部分的解析结果进行检测。
检测模块还用于:扫描匹配引擎将请求地址、请求头、请求体三部分的解析结果,分别与预设的防御规则中对应的区域进行匹配,其中包括:将请求方法或请求方法参数的键、值、键值对中的一者,与预设的防御规则中对应请求地址的区域进行匹配;将请求头的值与预设的防御规则中对应请求头的区域进行匹配;将请求体的键、值、键值对中的一者,与预设的防御规则中对应请求体的区域进行匹配。
检测模块按照先字符串后正则表达式的匹配顺序进行匹配,且当匹配时间达到匹配时间阈值后,终止匹配。
在一个实施例中,网络请求处理装置400还可以包括误报降级模块,用于:当在预设时间段内,负载均衡器401对访问同一域名的网络请求阻断次数累计达到次数阈值时,执行误报降级策略,并输出误报降级的通知消息,其中,执行误报降级策略包括对访问该同一域名的所有网络请求不执行阻断处理。误报降级模块可以设置于web应用防护***或负载均衡器401中。
在一个实施例中,网络请求处理装置400还可以包括防御与日志模块,用于攻击的日志,即阻断的链接信息(网络请求)记录下来,以为后续的分析做数据支撑。
另外,在本发明实施例中网络请求处理装置的具体实施内容,在上面所述网络请求处理方法中已经详细说明了,故在此重复内容不再说明。
图5示出了可以应用本发明实施例的网络请求处理方法或网络请求处理装置的示例性***架构500。
如图5所示,***架构500可以包括终端设备501、502、503,网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互,以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器,例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的网络请求处理方法一般由服务器505执行,相应地,网络请求处理装置一般设置于服务器505中。
应该理解,图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图6,其示出了适于用来实现本申请实施例的终端设备或服务器的计算机***600的结构示意图。图6示出的终端设备或服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机***600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有***600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本发明公开的实施例,上文参考主要步骤示意图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行主要步骤示意图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的***中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的主要步骤示意图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,主要步骤示意图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或主要步骤示意图中的每个方框、以及框图或主要步骤示意图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括负载均衡器、扫描匹配引擎。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,负载均衡器还可以被描述为“用于在收到网络请求之后,将网络请求发送到扫描匹配引擎的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:负载均衡器在收到网络请求之后,将所述网络请求发送到扫描匹配引擎进行内容检测;所述负载均衡器根据所述扫描匹配引擎返回的检测结果,对所述网络请求执行阻断或转发处理。
根据本发明实施例的技术方案,负载均衡器将网络请求发送到扫描匹配引擎进行内容检测,根据扫描匹配引擎返回的检测结果,对网络请求执行阻断或转发处理,能够解决WAF负载大而导致网络时延大、匹配速度慢的问题。WAF和负载均衡器同机部署,节约WAF部署成本,即使WAF故障也不会影响负载均衡器的处理流程,更不会对业务造成影响,克服设备维护消耗人力和时间过多的缺陷。扫描匹配引擎将请求地址、请求头、请求体三部分的解析结果分别与预设的防御规则中对应的区域进行匹配,能减少误判,提高拦截的准确率。按照先字符串后正则表达式的匹配顺序进行匹配,可减少匹配时间,提高匹配和检测速度。当在预设时间段内,负载均衡器对访问同一域名的网络请求阻断次数累计达到次数阈值时,执行误报降级策略,可进一步防止误报拦截而导致业务故障,防灾性强。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (8)
1.一种网络请求处理方法,其特征在于,包括:
负载均衡器在收到网络请求之后,将所述网络请求发送到扫描匹配引擎进行内容检测;
所述负载均衡器根据所述扫描匹配引擎返回的检测结果,对所述网络请求执行阻断或转发处理;
所述扫描匹配引擎是在web应用防护***上实现的一个SDK软件开发工具包;所述web应用防护***与所述负载均衡器同机部署,所述web应用防护***与所述负载均衡器进程间隔离;
所述扫描匹配引擎通过如下方式对所述网络请求进行内容检测:
所述扫描匹配引擎将所述网络请求的内容按照请求地址、请求头、请求体三部分进行解析,其中,将所述请求地址解析为请求方法和键值对形式的请求方法参数,以及,将所述请求头和所述请求体均解析为键值对的形式;
所述扫描匹配引擎利用预设的防御规则,分别对所述请求地址、所述请求头、所述请求体三部分的解析结果进行检测。
2.根据权利要求1所述的方法,其特征在于,所述负载均衡器通过调用所述web应用防护***提供的预设插件,将所述网络请求发送到所述扫描匹配引擎,其中,所述预设插件异步发送所述网络请求。
3.根据权利要求1所述的方法,其特征在于,所述扫描匹配引擎利用预设的防御规则,分别对所述请求地址、所述请求头、所述请求体三部分的解析结果进行检测的步骤,包括:
所述扫描匹配引擎将所述请求地址、所述请求头、所述请求体三部分的解析结果,分别与所述预设的防御规则中对应的区域进行匹配,其中包括:将所述请求方法或所述请求方法参数的键、值、键值对中的一者,与所述预设的防御规则中对应请求地址的区域进行匹配;将所述请求头的值与所述预设的防御规则中对应请求头的区域进行匹配;将所述请求体的键、值、键值对中的一者,与所述预设的防御规则中对应请求体的区域进行匹配。
4.根据权利要求3所述的方法,其特征在于,所述扫描匹配引擎将所述请求地址、所述请求头、所述请求体三部分的解析结果,分别与所述预设的防御规则中对应的区域进行匹配时,按照先字符串后正则表达式的匹配顺序进行所述匹配,且当匹配时间达到匹配时间阈值后,终止所述匹配。
5.根据权利要求1所述的方法,其特征在于,还包括:当在预设时间段内,所述负载均衡器对访问同一域名的网络请求阻断次数累计达到次数阈值时,执行误报降级策略,并输出误报降级的通知消息,其中,执行所述误报降级策略包括对访问该同一域名的所有网络请求不执行阻断处理。
6.一种网络请求处理装置,其特征在于,包括:负载均衡器、扫描匹配引擎,其中:
所述负载均衡器用于在收到网络请求之后,将所述网络请求发送到扫描匹配引擎;
所述扫描匹配引擎用于对所述网络请求进行内容检测,并将检测结果返回所述负载均衡器;
所述负载均衡器还用于根据所述扫描匹配引擎返回的检测结果,对所述网络请求执行阻断或转发处理;
所述扫描匹配引擎是在web应用防护***上实现的一个SDK软件开发工具包;所述web应用防护***与所述负载均衡器同机部署,所述web应用防护***与所述负载均衡器进程间隔离;
所述扫描匹配引擎用于通过如下方式对所述网络请求进行内容检测:
所述扫描匹配引擎用于将所述网络请求的内容按照请求地址、请求头、请求体三部分进行解析,其中,将所述请求地址解析为请求方法和键值对形式的请求方法参数,以及,将所述请求头和所述请求体均解析为键值对的形式;
所述扫描匹配引擎用于利用预设的防御规则,分别对所述请求地址、所述请求头、所述请求体三部分的解析结果进行检测。
7.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
8.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911052593.5A CN112751900B (zh) | 2019-10-31 | 2019-10-31 | 一种网络请求处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911052593.5A CN112751900B (zh) | 2019-10-31 | 2019-10-31 | 一种网络请求处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112751900A CN112751900A (zh) | 2021-05-04 |
CN112751900B true CN112751900B (zh) | 2024-04-09 |
Family
ID=75644585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911052593.5A Active CN112751900B (zh) | 2019-10-31 | 2019-10-31 | 一种网络请求处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112751900B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113271305B (zh) * | 2021-05-17 | 2022-04-22 | 新华三信息安全技术有限公司 | 一种攻击检测方法、装置及网站应用级入侵防护***waf |
CN113645238B (zh) * | 2021-08-11 | 2023-04-25 | 码客工场工业科技(北京)有限公司 | 一种面向Handle标识体系的DDoS防御方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103095778A (zh) * | 2011-11-07 | 2013-05-08 | 北京知道创宇信息技术有限公司 | Web应用防火墙和web应用安全防护方法 |
CN103166966A (zh) * | 2013-03-07 | 2013-06-19 | 星云融创(北京)信息技术有限公司 | 识别对网站的非法访问请求的方法及装置 |
CN103561036A (zh) * | 2013-11-12 | 2014-02-05 | 深信服网络科技(深圳)有限公司 | 白名单上网环境下的请求拦截方法及装置 |
CN107426206A (zh) * | 2017-07-17 | 2017-12-01 | 北京上元信安技术有限公司 | 一种对web服务器的防护装置和方法 |
CN107483506A (zh) * | 2017-09-29 | 2017-12-15 | 四川长虹电器股份有限公司 | 基于负载均衡的web应用防火墙一体化*** |
CN107948127A (zh) * | 2017-09-27 | 2018-04-20 | 北京知道未来信息技术有限公司 | 一种基于回馈和监督学习的waf检测方法及*** |
CN109194749A (zh) * | 2018-09-11 | 2019-01-11 | 福建天泉教育科技有限公司 | 监听网络请求的方法、存储介质 |
CN109587122A (zh) * | 2018-11-20 | 2019-04-05 | 四川长虹电器股份有限公司 | 基于WAF***功能实现自我保障Web子***安全的***及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010091186A2 (en) * | 2009-02-04 | 2010-08-12 | Breach Security, Inc. | Method and system for providing remote protection of web servers |
-
2019
- 2019-10-31 CN CN201911052593.5A patent/CN112751900B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103095778A (zh) * | 2011-11-07 | 2013-05-08 | 北京知道创宇信息技术有限公司 | Web应用防火墙和web应用安全防护方法 |
CN103166966A (zh) * | 2013-03-07 | 2013-06-19 | 星云融创(北京)信息技术有限公司 | 识别对网站的非法访问请求的方法及装置 |
CN103561036A (zh) * | 2013-11-12 | 2014-02-05 | 深信服网络科技(深圳)有限公司 | 白名单上网环境下的请求拦截方法及装置 |
CN107426206A (zh) * | 2017-07-17 | 2017-12-01 | 北京上元信安技术有限公司 | 一种对web服务器的防护装置和方法 |
CN107948127A (zh) * | 2017-09-27 | 2018-04-20 | 北京知道未来信息技术有限公司 | 一种基于回馈和监督学习的waf检测方法及*** |
CN107483506A (zh) * | 2017-09-29 | 2017-12-15 | 四川长虹电器股份有限公司 | 基于负载均衡的web应用防火墙一体化*** |
CN109194749A (zh) * | 2018-09-11 | 2019-01-11 | 福建天泉教育科技有限公司 | 监听网络请求的方法、存储介质 |
CN109587122A (zh) * | 2018-11-20 | 2019-04-05 | 四川长虹电器股份有限公司 | 基于WAF***功能实现自我保障Web子***安全的***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112751900A (zh) | 2021-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11343268B2 (en) | Detection of network anomalies based on relationship graphs | |
US10079854B1 (en) | Client-side protective script to mitigate server loading | |
US11361074B2 (en) | Efficient scanning for threat detection using in-doc markers | |
US10200384B1 (en) | Distributed systems and methods for automatically detecting unknown bots and botnets | |
US9736260B2 (en) | Redirecting from a cloud service to a third party website to save costs without sacrificing security | |
US10728216B2 (en) | Web application security architecture | |
KR102580898B1 (ko) | Dns 메시지를 사용하여 컴퓨터 포렌식 데이터를 선택적으로 수집하는 시스템 및 방법 | |
US20190089736A1 (en) | Passive detection of forged web browsers | |
US10972507B2 (en) | Content policy based notification of application users about malicious browser plugins | |
US10122722B2 (en) | Resource classification using resource requests | |
US11757838B2 (en) | Web application firewall for an online service | |
US20220083661A1 (en) | Utilizing Machine Learning to detect malicious Office documents | |
JP5980968B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US8789177B1 (en) | Method and system for automatically obtaining web page content in the presence of redirects | |
US11140178B1 (en) | Methods and system for client side analysis of responses for server purposes | |
US20210312068A1 (en) | Detecting behavioral anomalies in user-data access logs | |
CN112751900B (zh) | 一种网络请求处理方法和装置 | |
CN117242446A (zh) | 恶意指标的自动提取和分类 | |
CN114208114A (zh) | 每参与者的多视角安全上下文 | |
US10904215B2 (en) | Database firewall for use by an application using a database connection pool | |
CN112637171A (zh) | 数据流量处理方法、装置、设备、***和存储介质 | |
US20240250991A1 (en) | Systems, methods, and devices for security enhancements in cloud computing environments | |
US20240037443A1 (en) | Unified parked domain detection system | |
US20220067581A1 (en) | Utilizing Machine Learning for dynamic content classification of URL content | |
CN109218270B (zh) | 一种处理被劫持请求的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |