CN113645233B - 流量数据的风控智能决策方法、装置、电子设备和介质 - Google Patents
流量数据的风控智能决策方法、装置、电子设备和介质 Download PDFInfo
- Publication number
- CN113645233B CN113645233B CN202110913273.5A CN202110913273A CN113645233B CN 113645233 B CN113645233 B CN 113645233B CN 202110913273 A CN202110913273 A CN 202110913273A CN 113645233 B CN113645233 B CN 113645233B
- Authority
- CN
- China
- Prior art keywords
- data
- rule
- protection
- wind control
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0263—Rule management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Measuring Volume Flow (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种流量数据的风控智能决策方法、装置、介质及终端,方法包括:预先设置规则解析引擎,获取流量数据,并通过第一防护规则进行校验处理;将经过基础规则校验后的数据通过第二防护规则完成防护策略和防护手段的匹配,获取策略匹配结果,并根据预先制定的风控策略与防护动作的映射关系,执行策略匹配结果对应的防护动作;本发明无需WAF设备,通过设置两重防护规则,第一重用来进行数据的初步的基础规则校验处理,第二重通过特定的智能防护规则的执行方式,完成基于流量的风控智能决策;还通过双重数据维度判断,实现根据实际需求不同,采用不同的策略,根据优先级进行优先匹配,降低了成本,特别适用于应对海量流量数据业务需求。
Description
技术领域
本发明涉及计算机网络安全领域,尤其涉及一种流量数据的风控智能决策方法、装置、电子设备和介质。
背景技术
随着互联网的蓬勃发展,在WEB应用越来越为丰富的同时,WEB服务器以其强大的计算能力、处理性能及蕴含的较高价值逐渐成为主要攻击目标,传统的硬件WAF(WebApplication Firewall,网站应用级入侵防御***)是通过代理技术代理来自外部的流量,并对请求包进行解析,通过安全规则库的攻击规则进行匹配,如果成功匹配规则库中的规则,就会识别为异常并进行请求阻断。
但是,传统硬件WAF存在很多缺点。首先,硬件WAF的成本较高。其次,由于硬件WAF是通过攻击规则库对异常流量进行识别,所以在业务***复杂的情况下,可能存在一定误杀,会导致正常的功能被防火墙拦截导致影响正常业务。第三,由于硬件WAF对HTTP协议进行自行解析,所以可能存在与Web服务器对HTTP请求的理解不一致的情况,从而导致恶意请求被绕过。第四,传统的WAF无智能决策能力,无法动态、快速的配置、上线规则。因此,传统的风控决策手段已不能胜任当前的流量数据业务需求。
发明内容
鉴于以上所述现有技术的缺点,本发明提供一种流量数据的风控智能决策方法、装置、介质及终端,以解决上述技术问题。
本发明提供的流量数据的风控智能决策方法,包括:
预先设置规则解析引擎,所述规则解析引擎包括用于对流量数据信息进行基础规则校验处理的第一防护规则,以及用于对数据进行防护策略和防护手段的匹配的第二防护规则;
获取流量数据,并通过所述第一防护规则进行基础规则校验处理;
将经过所述基础规则校验处理后的数据通过第二防护规则完成防护策略和防护手段的匹配,匹配过程包括:
根据所述流量数据信息获取目标数据对应的输入特征数据,并将所述目标数据对应的输入特征数据与预先制定的第二防护规则对应的输入特征数据类型进行匹配,获取策略匹配结果,并根据预先制定的风控策略与防护动作的映射关系,执行所述策略匹配结果对应的防护动作。
于本发明的一实施例中,将通过所述基础防护规则处理后的流量数据放行,并通过所述第二防护规则进行流处理分析;
获取第二防护规则对应的输入特征数据类型;
根据第二防护规则对应的输入特征数据类型,提取目标数据对应的输入特征数据;
根据所述目标数据对应的输入特征数据进行策略匹配,确定决策结果;
获取策略对应的匹配动作,并配置规则解析引擎中的决策动作,使规则解析引擎按决策结果执行对应的策略匹配动作。
于本发明的一实施例中,所述获取第二防护规则对应的输入特征数据类型之后,还包括:
根据所述第二防护规则对应的输入特征数据类型,统计风控策略所需的源数据类型;
按照所述源数据类型配置源数据提取路径,以及配置对应的特征聚合算法,所述源数据类型包括文本数据和事件上报数据,所述特征聚合算法包括在提取源数据时进行实时聚合,或者离线聚合。
于本发明的一实施例中,所述根据所述第二防护规则对应的输入特征数据类型,统计风控策略所需的源数据类型之后,还包括:
对所述文本数据设置数据维度,所述数据维度包括第一维度和第二维度,所述第一纬度包括防篡改数据和普通数据,所述第二维度包括正常数据和异常数据;
根据不同的需求,通过对两个维度之间进行组合,实现对相同的数据采用不同的风控策略。
于本发明的一实施例中,所述根据不同的需求,通过对两个维度之间进行组合,实现对相同的数据采用不同的风控策略,包括:
通过调用规则库中的规则和变量库中的变量进行运算,获取所述风控策略;所述风控策略包括放行、日志、限流、封杀;
对所述风控策略进行优先级划分,按优先级由高到低优先的次序判断风控策略的触发条件;
所述规则解析引擎包括规则库和变量库,所述变量库包括函数库和参数库,所述规则库中的每一个规则通过对各自的变量进行条件判断,获取判断结果,形成各规则之间互相独立的所述规则库。
于本发明的一实施例中,当风控策略为封杀,且存在误杀情况时,判断规则配置是否有误:
如果规则配置有误,则下架规则;
如果规则配置无误,核实是否存在异常,如无异常,则对判定为误杀的数据进行解封。
本发明还提供一种流量数据的风控智能决策装置,包括:
第一防护规则模块,用于对流量数据信息进行基础规则校验处理;
第二防护规则模块,用于对数据进行防护策略和防护手段的匹配;
策略匹配模块,用于将经过所述基础规则校验处理后的数据通过第二防护规则完成防护策略和防护手段的匹配;所述策略匹配模块根据所述流量数据信息获取目标数据对应的输入特征数据,并将所述目标数据对应的输入特征数据与预先制定的第二防护规则对应的输入特征数据类型进行匹配,获取策略匹配结果;
执行模块,用于根据预先制定的风控策略与防护动作的映射关系,执行所述策略匹配结果对应的防护动作。
于本发明的一实施例中,还包括:
统计模块,用于根据所述第二防护规则对应的输入特征数据类型,统计风控策略所需的源数据类型;所述源数据类型包括文本数据和事件上报数据;
特征聚合模块,用于按照所述源数据类型配置源数据提取路径,以及配置对应的特征聚合算法;所述特征聚合算法包括在提取源数据时进行实时聚合,或者离线聚合。
本发明还提供一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一项所述的方法。
发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述的方法。
本发明的有益效果:本发明中的流量数据的流量数据的风控智能决策方法、装置、电子设备和介质,无需WAF设备,通过设置两重防护规则,第一重用来进行数据的初步的基础规则校验处理,第二重通过智能防护规则进行特征数据类型匹配,按匹配结果执行防护动作,通过这种执行方式,完成基于流量的风控智能决策,降低了成本,特别适用于应对海量流量数据业务需求。
此外,本发明还通过数据类型的划分,在规则引擎中加入了双重数据维度判断,通过建立顶层、中间层和底层之间的关联和映射关系,实现根据实际需求不同,采用不同的策略,以及设置策略优先级,根据优先级进行优先匹配,可以简单、快速、灵活实现流量数据防护。另外,本发明还可以结合流量风控的下游操作,可以针对防篡改数据进行后续的区块链操作。
附图说明
图1是本发明实施例中流量数据的风控智能决策方法的流程示意图。
图2是本发明实施例中流量数据的风控智能决策方法的智能防护规则流程示意图。
图3是本发明一实施例提供的电子设备的硬件结构示意图。
图4是本发明另一实施例提供的电子设备的硬件结构示意图。
图5是本发明流量数据的风控智能决策装置的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
在下文描述中,探讨了大量细节,以提供对本发明实施例的更透彻的解释,然而,对本领域技术人员来说,可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的,在其他实施例中,以方框图的形式而不是以细节的形式来示出公知的结构和设备,以避免使本发明的实施例难以理解。
如图1所示,本实施例中的流量数据的风控智能决策方法,包括:
S1.预先设置规则解析引擎,所述规则解析引擎包括用于对流量数据信息进行基础规则校验处理的第一防护规则,以及用于对数据进行防护策略和防护手段的匹配的第二防护规则;
S2.获取流量数据,并通过所述第一防护规则进行校验处理;
S3.将经过基础规则校验后的数据通过第二防护规则完成防护策略和防护手段的匹配,匹配过程包括:
根据所述流量数据信息获取目标数据对应的输入特征数据,并将所述目标数据对应的输入特征数据与预先制定规则对应的输入特征数据类型进行匹配,获取策略匹配结果,并根据预先制定的风控策略与防护动作的映射关系,执行所述策略匹配结果对应的防护动作。
在本实施例的步骤S1中,预先设置规则解析引擎,规则引擎所的主要作用是:判定某个数据或者对象是否满足某个条件,然后根据判定结果,执行不同的动作。本实施例中规则解析引擎包括第一防护规则和第二防护规则,第一防护规则用于对流量数据信息进行基础规则校验处理,第二防护规则用于对数据进行防护策略和防护手段的匹配。可选的,本实施例中的规则引擎可以采用可视化的配置方式,实现按需添加,并定期通过接口进行更新。
在本实施例的步骤S2中,获取流量数据,并通过第一防护规则进行校验处理。本实施例中的第一防护规则为基础防护规则,基础防护规则可以通过智能决策***进行后台配置。本实施例中的服务器为高性能的HTTP和反向代理web服务器Nginx,可选的,可以采用经F5分发到Nginx,实现负载均衡,本实施例中的基础防护规则,主要包括SQL注入识别、XSS攻击保护、HPP参数污染检测、IP/参数黑名单过滤等。其中,SQL注入是将Web页面的原URL、表单域或数据包输入的参数,修改拼接成SQL语句,传递给Web服务器,进而传给数据库服务器以执行数据库命令。如Web应用程序的开发人员对用户所输入的数据或cookie等内容不进行过滤或验证(即存在注入点)就直接传输给数据库,就可能导致拼接的SQL被执行,获取对数据库的信息以及提权,本实施例通过基础防护规则,可以有效防止发生SQL注入攻击。本实施例中的XSS攻击保护中的XSS攻击,通常指的是通过利用网页开发时留下的漏洞,通过注入恶意指令代码到网页,使用户加载并执行攻击者恶意制造的网页程序,通过基础防护规则,可以对XSS攻击保护。HPP(HTTP Parameter Pollution),攻击者可以通过在HTTP请求中***特定的参数来发起攻击,通过基础防护规则对HPP参数污染进行检测。本实施例中的基础防护规则,是对流量数据信息进行基础规则校验处理,目的是直接利用网络流量层面获取的信息,在获取流量数据后,将流量数据分发至服务器,通过校验处理后,对数据流进行初筛过滤,再通过规则解析引擎中的第二防护规则进行风控的智能决策。
如图2所示,在本实施例中,将经过基础规则校验后的数据通过第二防护规则,即智能防护规则进行处理。步骤S3是本方案的核心步骤,主要包括智能防护规则的设定和执行的具体方式,智能防护规则流程如下:
S301、将流量数据放行,下发至应用端,同时,将流量信息发送至流处理分析引擎进行分析。
在本实施例中的步骤S301中,可以通过Kafka将流量信息推送给流处理分析引擎,本方案中的流处理分析引擎可以采用Flink分析引擎。Flink在执行后被映射到流数据流,每个Flink数据流以一个或多个源(数据输入,例如消息队列或文件***)开始并以一个或多个接收器(数据输出,如消息队列、文件***或数据库等)结束。Kafka以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能。同时具备高吞吐率,支持Kafka Server间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输。并同时支持离线数据处理和实时数据处理。
S302、Flink实时引擎定期通过接口方式更新计算规则,计算规则来源于智能决策***配置。当Flink接到流量信息后,匹配计算规则开始计算。实时引擎将计算结果通过Kafka推送给智能决策***。
在本实施例中的步骤S302中,获取风控策略对应的规则和规则对应的输入特征数据类型;根据输入特征数据类型,提取目标数据对应的输入特征数据;进行策略匹配确定决策结果;获取策略对应的匹配动作,并配置规则引擎中的决策动作,使其按决策结果执行对应的策略匹配动作。
在本实施例中的步骤S302中,可以根据输入特征数据类型,统计风控策略所需的源数据类型,并按照源数据类型配置源数据提取路径,以及配置对应的特征聚合算法。聚合数据可以是在提取源数据时实时聚合获得,也可以是离线聚合好的聚合数据。本实施例中的源数据类型,可以包括如文本数据、事件上报数据等等。可以通过设置阈值的方式进行特征匹配。
在本实施例中的步骤S302中,针对文本数据,可以针对性的设置数据维度,本实施例中将数据分为第一维度,包括防篡改数据和普通数据;第二维度,包括正常数据和异常数据,异常数据类型可以包括涉黄、涉暴、侮辱性词汇等。维度之间可以采用多种方式组合,针对相同的数据,可以根据不同的实际需求,实现对相同的数据采用不同的策略。可选的,也可以加入数据格式类型的判断,针对视频、音频数据可以将其转换为文本数据,再执行上述步骤,完成策略匹配。进一步的,结合下游操作,可以针对防篡改数据进行相应的区块链的操作。在本实施例中,可以利用现有技术中的语义识别技术,例如NLP、OCR等技术,对数据进行相应的识别处理,再根据已设置的数据维度,进行相应的筛选、过滤等操作,同样的,将视频、音频数据转为文本数据也可以利用现有技术中成熟的方案来实现,本领域技术人员应该可以知晓,在此不再赘述。在本实施例中,针对防篡改数据,例如存储于区块链中的数据或信息,其本身具有去中心化、不可篡改、全程留痕、可以追溯、集体维护、公开透明等特点,区块链在本质上是一个分布式的共享账本和数据库,但是区块链的安全风险问题被视为当前制约行业健康发展的一大短板。通过本实施例中的方式,可以实现对对相同的数据采用不同的策略。例如,针对防篡改数据优先放行或封杀,而针对普通数据,通过第二维度继续进行其他的策略匹配,通过这种方式特别适合与不同领域数据***同时对接,例如保险、医疗、健康等多领域融合,以实现根据不同的业务需求,进行策略的灵活配置。
在本实施例中的步骤S302中,规则引擎的智能防护规则通过规则库和变量库来实现,变量库包括函数库和参数库,对于一个策略,通过调用规则库中的规则和变量库中的变量进行运算,每一个规则是对各自的变量进行条件的判断,根据各个规则自己的条件进行判断,获取结果,各规则之间互相独立,通过这种独立的方式,来实现根据实际需求不同,采用不同的策略。本实施例中的参数库和函数库的主要作用是提供与规则引擎相关的基本参数操作功能和基本的函数操作功能,例如函数的新增、编辑、删除等基本功能,参数的编辑,导入导出,关联功能等。本实施例中的策略处于顶层,规则处于中间层,而函数和参数处于底层,处于顶层的策略为应用层面,各层之间通过建立关联和映射,实现最终的智能决策。在同一策略下,针对不同的用户需求可以采用不同的规则和/或变量进行运算。可选的,在本实施例中,可还可以进行数据统计,统计规则列表所在维度数据经过预设统计条件进行分类汇总所得到的数据。通过对规则进行调用和结算形成策略,通过规则调用函数和参数,实现对具体变量的逻辑判断,本实施例中的函数和参数处于底层靠近实现层面,顶层更加接近应用层面。函数、参数、规则和策略之间建立起关联和映射后,实现根据结果匹配该规则对应处理策略。
S303、收到计算结果后,根据结果匹配该规则对应处理策略。处理策略包括四部分:放行、日志、限流、封杀。完成策略匹配后,将结果存储。等待Nginx规则解析引擎拉取。可选的,本实施例中采用高吞吐量的分布式发布订阅消息***Kafka进行消息推送。
在本实施例中,可以对策略进行优先级划分,本申请中的处理策略主要包括上述四种,而上述四种策略需要同时启用,通过优先级划分,可以使每个策略对应一个优先级,优先级高的策略优先判断是否满足触发条件,例如放行策略最高、封杀策略第二、限流第三、日志第四,则优先匹配放行策略的触发条件是否满足,然后依次最后匹配日志的触发条件是否得到满足。
在本实施例中,可以预设的数据类型对应的评分权重,根据计算结果及评分权重计算权重分值,数据类型与评分权重的对应关系,根据数据类型的不同,则对应的评分权重不同,如果数据类型只包含一种数据类型,那么其对应的权重为1,当数据类型只包含防篡改数据时,则防篡改数据对应的权重类型为1,防篡改数据对应的规则策略的计算结果得分即为权重分值,当数据类型包含多种数据类型时,评分权重的比例可以根据数据量的比例进行设定,也可以根据人工预设的比例进行设定,通过多种数据类型与规则策略的计算得分以及对应权重计算可以得到权重分值,并根据权重分值可以判断得到数据的优先等级。比如得分为80分时,优先判断是否满足触发放行策略的条件,得分为60分时,优先判断是否满足触发封杀策略的条件,得分为40分时,优先判断是否满足触发限流策略的条件,得分为20分时,优先判断是否满足触发日志策略的条件。
S304、Nginx规则解析引擎拉取到最新规则后,匹配流量信息,采取相应的防护手段。
在本实施例中的步骤S304中,Flink实时引擎还会计算流量请求报文内容,将数据清洗后,存入ES(ElasticSearch)中。智能决策后台流量看板可实时查看当前***流量健康度,分析师通过流量看板,可以快速配置详细的拦截规则,从而达到主动发现、主动防护的功能。
S305、如果存在误杀情况,可通过两种方式快速处理:
S3051、如果规则配置有误,则下架规则,规则下架后,该规则引起的流量封杀、日志、限流均被解除。
S3052、如果规则配置无误,少部分流量被误杀,针对这种情况,可在接到投诉,核实无异常后。通过***后台解封。
相应的,本实施例还提供一种流量数据的风控智能决策装置,包括
第一防护规则模块101,用于对流量数据信息进行基础规则校验处理;
第二防护规则模块102,用于对数据进行防护策略和防护手段的匹配;
策略匹配模块103,用于将经过所述基础规则校验处理后的数据通过第二防护规则完成防护策略和防护手段的匹配;所述策略匹配模块根据所述流量数据信息获取目标数据对应的输入特征数据,并将所述目标数据对应的输入特征数据与预先制定的第二防护规则对应的输入特征数据类型进行匹配,获取策略匹配结果;
执行模块104,用于根据预先制定的风控策略与防护动作的映射关系,执行所述策略匹配结果对应的防护动作。
于本发明的一实施例中,还包括:
统计模块,用于根据所述第二防护规则对应的输入特征数据类型,统计风控策略所需的源数据类型;所述源数据类型包括文本数据和事件上报数据;
特征聚合模块,用于按照所述源数据类型配置源数据提取路径,以及配置对应的特征聚合算法;所述特征聚合算法包括在提取源数据时进行实时聚合,或者离线聚合。
在本实施例中,第一防护规则模块101和第二防护规则模块102构成规则解析引擎,规则解析引擎可以设置在服务器上,服务器获取流量数据,并通过所述第一防护规则进行校验处理;将经过基础规则校验后的数据通过第二防护规则完成防护策略和防护手段的匹配,匹配过程包括:根据所述流量数据信息获取目标数据对应的输入特征数据,并将所述目标数据对应的输入特征数据与预先制定的第二防护规则对应的输入特征数据类型进行匹配,获取策略匹配结果,并根据预先制定的风控策略与防护动作的映射关系,执行所述策略匹配结果对应的防护动作。
在本实施例中,服务器可以采用高性能的HTTP和反向代理web服务器Nginx,
首先,预先在Nginx服务器上设置规则解析引擎,规则解析引擎包括双重防护规则,即:基础防护规则和智能防护规则。用户可按需添加,规则解析引擎定期通过接口方式更新基础防护规则。
在本实施例中,规则引擎所的主要作用是:判定某个数据或者对象是否满足某个条件,然后根据判定结果,执行不同的动作。具体的,本方案中的规则引擎可以采用可视化的配置方式,实现按需添加,并定期通过接口进行更新。
在本实施例中,服务器获取流量数据,并先通过第一防护规则,即:基础防护规则,对流量数据信息进行基础规则校验处理。基础防护规则可以通过智能决策***进行后台配置。
可选的,在本实施例中,数据分发的方式可以经F5分发到服务器Nginx,实现负载均衡,本实施例中的基础防护规则,其主要包括SQL注入识别、XSS攻击保护、HPP参数污染检测、IP/参数黑名单过滤等。SQL注入是将Web页面的原URL、表单域或数据包输入的参数,修改拼接成SQL语句,传递给Web服务器,进而传给数据库服务器以执行数据库命令。如Web应用程序的开发人员对用户所输入的数据或cookie等内容不进行过滤或验证(即存在注入点)就直接传输给数据库,就可能导致拼接的SQL被执行,获取对数据库的信息以及提权,通过基础防护规则,可以有效防止发生SQL注入攻击。XSS攻击通常指的是通过利用网页开发时留下的漏洞,通过注入恶意指令代码到网页,使用户加载并执行攻击者恶意制造的网页程序,通过基础防护规则,可以对XSS攻击保护。HPP(HTTP Parameter Pollution),攻击者可以通过在HTTP请求中***特定的参数来发起攻击,通过基础防护规则对HPP参数污染进行检测;通过IP/参数黑名单过滤可以按黑名单列表进行过滤,例如可以通过DNS的查询方式来查找一个IP地址的A记录是否存在来判断其是否被列入了实时黑名单中,有效拒绝黑名单来源的连接,基础防护规则通过整合上述方式实现数据流的初步过滤处理,为后续的智能防护规则提供数据基础。
在本实施例中,将经过基础规则校验后的数据通过第二防护规则,即智能防护规则进行处理。步骤S3是本方案的核心步骤,主要包括智能防护规则的设定和执行的具体方式,智能防护规则流程如下:
在本实施例中,将流量数据放行,下发至应用端,同时,将流量信息发送至流处理分析引擎进行分析。
具体的,可以通过Kafka将流量信息推送给流处理分析引擎,本方案中的流处理分析引擎可以采用Flink分析引擎。Flink在执行后被映射到流数据流,每个Flink数据流以一个或多个源(数据输入,例如消息队列或文件***)开始并以一个或多个接收器(数据输出,如消息队列、文件***或数据库等)结束。Kafka以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能。同时具备高吞吐率,支持Kafka Server间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输。并同时支持离线数据处理和实时数据处理。
在本实施例中,Flink实时引擎定期通过接口方式更新计算规则,计算规则来源于智能决策***配置。当Flink接到流量信息后,匹配计算规则开始计算。实时引擎将计算结果通过Kafka推送给智能决策***。
在本实施例中,本方案中的智能防护规则:获取风控策略对应的规则和规则对应的输入特征数据类型;根据输入特征数据类型,提取目标数据对应的输入特征数据;进行策略匹配确定决策结果;获取策略对应的匹配动作,并配置规则引擎中的决策动作,使其按决策结果执行对应的策略匹配动作。
在本实施例中,可以根据输入特征数据类型,统计风控策略所需的源数据类型,并按照源数据类型配置源数据提取路径,以及配置对应的特征聚合算法。聚合数据可以是在提取源数据时实时聚合获得,也可以是离线聚合好的聚合数据。本实施例中的源数据类型,可以包括如文本数据、事件上报数据等等。可以通过设置阈值的方式进行特征匹配。
在本实施例中,针对文本数据,可以针对性的设置数据维度,本实施例中将数据分为第一维度,包括防篡改数据和普通数据;第二维度,包括正常数据和异常数据,异常数据类型可以包括涉黄、涉暴、侮辱性词汇等。维度之间可以采用多种方式组合,针对相同的数据,可以根据不同的实际需求,实现对相同的数据采用不同的策略。另外,也可以加入数据格式类型的判断,针对视频、音频数据可以将其转换为文本数据,再执行上述步骤,完成策略匹配。进一步的,结合下游操作,可以针对防篡改数据进行相应的区块链的操作。
在本实施例中,规则引擎的智能防护规则通过规则库和变量库来实现,变量库包括函数库和参数库,对于一个策略,通过调用规则库中的规则和变量库中的变量进行运算,每一个规则是对各自的变量进行条件的判断,根据各个规则自己的条件进行判断,获取结果,各规则之间互相独立,通过这种独立的方式,来实现根据实际需求不同,采用不同的策略。
在本实施例中,策略处于顶层,规则处于中间层,而函数和参数处于底层,处于顶层的策略为应用层面,各层之间通过建立关联和映射,实现最终的智能决策。在同一策略下,针对不同的用户需求可以采用不同的规则和/或变量进行运算。
另外,在本实施例中,可以进行数据统计,统计规则列表所在维度数据经过预设统计条件进行分类汇总所得到的数据。
在本实施例中,智能决策***收到Kafka推送过来的计算结果后,根据结果匹配该规则对应处理策略。处理策略包括四部分:放行、日志、限流、封杀。完成策略匹配后,将结果存储。等待Nginx规则解析引擎拉取。
在本实施例中,可以对策略进行优先级划分,本申请中的处理策略主要包括上述四种,而上述四种策略需要同时启用,通过优先级划分,可以使每个策略对应一个优先级,优先级高的策略优先判断是否满足触发条件,例如放行策略最高、封杀策略第二、限流第三、日志第四,则优先匹配放行策略的触发条件是否满足,然后依次最后匹配日志的触发条件是否得到满足。
在本实施例中,Nginx规则解析引擎拉取到最新规则后,匹配流量信息,采取相应的防护手段。Flink实时引擎还会计算流量请求报文内容,将数据清洗后,存入ES中。智能决策后台流量看板可实时查看当前***流量健康度,分析师通过流量看板,可以快速配置详细的拦截规则,从而达到主动发现、主动防护的功能。
在本实施例中,针对封杀策略,如果存在误杀情况,可通过两种方式快速处理:
如果规则配置有误,则下架规则,规则下架后,该规则引起的流量封杀、日志、限流均被解除。
如果规则配置无误,少部分流量被误杀,针对这种情况,可在接到投诉,核实无异常后。通过***后台解封。
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端,包括:处理器及存储器;
所述存储器用于存储计算机程序,所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质,本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子设备,包括处理器、存储器、收发器和通信接口,存储器和通信接口与处理器和收发器连接并完成相互间的通信,存储器用于存储计算机程序,通信接口用于进行通信,处理器和收发器用于运行计算机程序,使电子终端执行如上方法的各个步骤。
如图3所示,该电子设备可以包括:输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,第一存储器1103中可以存储各种程序,用于完成各种处理功能以及实现本实施例的方法步骤。
图4为在另一实施例提供的电子设备的硬件结构,本实施例中的电子设备可以包括第二处理器1201以及第二存储器1202。第二处理器1201执行第二存储器1202所存放的计算机程序代码,实现上述实施例中图1所述方法。第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令,例如消息,图片,视频等。第二存储器1202可能包含随机存取存储器(random access memory,简称RAM),也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。电子设备还可以包括:通信组件1203,电源组件1204,多媒体组件1205,音频组件1206,输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定,本实施例对此不作限定。
在本实施例中,存储器可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例中,除非另外规定,否则通过使用“第一”、“第二”等序号对共同的对象进行描述,只表示其指代相同对象的不同实例,而非是采用表示被描述的对象必须采用给定的顺序,无论是时间地、空间地、排序地或任何其他方式。在上述实施例中,说明书对“本实施例”、“一实施例”、“另一实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中,但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括,则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括,则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件,并非表示仅有一个元件。如果说明书或权利要求提及“一另外的”元件,并不排除存在多于一个的另外的元件。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明可用于众多通用或专用的计算***环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在上述实施例中,尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如,其他存储结构(例如,动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
上述实施例仅示例性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种流量数据的风控智能决策方法,其特征在于,包括:
预先设置规则解析引擎,所述规则解析引擎包括用于对流量数据信息进行基础规则校验处理的第一防护规则,以及用于对数据进行防护策略和防护手段的匹配的第二防护规则;
获取流量数据,并通过所述第一防护规则进行基础规则校验处理;
将通过所述基础规则处理后的流量数据放行,并通过所述第二防护规则进行流处理分析,将经过所述基础规则校验处理后的数据通过第二防护规则完成防护策略和防护手段的匹配,匹配过程包括:
根据所述流量数据信息获取目标数据对应的输入特征数据,并将所述目标数据对应的输入特征数据与预先制定的第二防护规则对应的输入特征数据类型进行匹配,获取策略匹配结果,并根据预先制定的风控策略与防护动作的映射关系,执行所述策略匹配结果对应的防护动作。
2.根据权利要求1所述的流量数据的风控智能决策方法,其特征在于,
获取第二防护规则对应的输入特征数据类型;
根据第二防护规则对应的输入特征数据类型,提取目标数据对应的输入特征数据;
根据所述目标数据对应的输入特征数据进行策略匹配,确定决策结果;
获取策略对应的匹配动作,并配置规则解析引擎中的决策动作,使规则解析引擎按决策结果执行对应的策略匹配动作。
3.根据权利要求2所述的流量数据的风控智能决策方法,其特征在于,所述获取第二防护规则对应的输入特征数据类型之后,还包括:
根据所述第二防护规则对应的输入特征数据类型,统计风控策略所需的源数据类型;
按照所述源数据类型配置源数据提取路径,以及配置对应的特征聚合算法,所述源数据类型包括文本数据和事件上报数据,所述特征聚合算法包括在提取源数据时进行实时聚合,或者离线聚合。
4.根据权利要求3所述的流量数据的风控智能决策方法,其特征在于,所述根据所述第二防护规则对应的输入特征数据类型,统计风控策略所需的源数据类型之后,还包括:
对所述文本数据设置数据维度,所述数据维度包括第一维度和第二维度,所述第一维度包括防篡改数据和普通数据,所述第二维度包括正常数据和异常数据;
根据不同的需求,通过对两个维度之间进行组合,实现对相同的数据采用不同的风控策略。
5.根据权利要求4所述的流量数据的风控智能决策方法,其特征在于,所述根据不同的需求,通过对两个维度之间进行组合,实现对相同的数据采用不同的风控策略,包括:
通过调用规则库中的规则和变量库中的变量进行运算,获取所述风控策略;所述风控策略包括放行、日志、限流、封杀;
对所述风控策略进行优先级划分,按优先级由高到低优先的次序判断风控策略的触发条件;
所述规则解析引擎包括规则库和变量库,所述变量库包括函数库和参数库,所述规则库中的每一个规则通过对各自的变量进行条件判断,获取判断结果,形成各规则之间互相独立的所述规则库。
6.根据权利要求5所述的流量数据的风控智能决策方法,其特征在于,当风控策略为封杀,且存在误杀情况时,判断规则配置是否有误:
如果规则配置有误,则下架规则;
如果规则配置无误,核实是否存在异常,如无异常,则对判定为误杀的数据进行解封。
7.一种流量数据的风控智能决策装置,其特征在于,包括:
第一防护规则模块,用于对流量数据信息进行基础规则校验处理;
第二防护规则模块,用于对数据进行防护策略和防护手段的匹配;
策略匹配模块,用于将通过所述基础规则处理后的流量数据放行,并通过所述第二防护规则进行流处理分析,将经过所述基础规则校验处理后的数据通过第二防护规则完成防护策略和防护手段的匹配;所述策略匹配模块根据所述流量数据信息获取目标数据对应的输入特征数据,并将所述目标数据对应的输入特征数据与预先制定的第二防护规则对应的输入特征数据类型进行匹配,获取策略匹配结果;
执行模块,用于根据预先制定的风控策略与防护动作的映射关系,执行所述策略匹配结果对应的防护动作。
8.根据权利要求7所述的流量数据的风控智能决策装置,其特征在于,还包括:
统计模块,用于根据所述第二防护规则对应的输入特征数据类型,统计风控策略所需的源数据类型;所述源数据类型包括文本数据和事件上报数据;
特征聚合模块,用于按照所述源数据类型配置源数据提取路径,以及配置对应的特征聚合算法;所述特征聚合算法包括在提取源数据时进行实时聚合,或者离线聚合。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110913273.5A CN113645233B (zh) | 2021-08-10 | 2021-08-10 | 流量数据的风控智能决策方法、装置、电子设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110913273.5A CN113645233B (zh) | 2021-08-10 | 2021-08-10 | 流量数据的风控智能决策方法、装置、电子设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113645233A CN113645233A (zh) | 2021-11-12 |
CN113645233B true CN113645233B (zh) | 2023-07-28 |
Family
ID=78420474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110913273.5A Active CN113645233B (zh) | 2021-08-10 | 2021-08-10 | 流量数据的风控智能决策方法、装置、电子设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113645233B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114448968B (zh) * | 2021-12-15 | 2023-01-10 | 广州市玄武无线科技股份有限公司 | 推送量校验方法和装置、电子设备、存储介质 |
CN114826715B (zh) * | 2022-04-15 | 2024-03-22 | 咪咕文化科技有限公司 | 网络防护方法、装置、设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021008028A1 (zh) * | 2019-07-18 | 2021-01-21 | 平安科技(深圳)有限公司 | 网络攻击源定位及防护方法、电子设备及计算机存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2013280511B2 (en) * | 2012-06-25 | 2016-09-22 | Rsc Industries Inc. | Cooling system and methods for cooling interior volumes of cargo trailers |
CN112333130B (zh) * | 2019-08-05 | 2023-04-07 | 阿里巴巴集团控股有限公司 | 数据处理方法、设备及存储介质 |
CN110691084A (zh) * | 2019-09-27 | 2020-01-14 | 武汉极意网络科技有限公司 | 风控规则引擎的适配方法及装置 |
CN111324357B (zh) * | 2020-02-11 | 2022-06-28 | 支付宝(杭州)信息技术有限公司 | 应用程序接入风控平台的方法及相关设备 |
-
2021
- 2021-08-10 CN CN202110913273.5A patent/CN113645233B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021008028A1 (zh) * | 2019-07-18 | 2021-01-21 | 平安科技(深圳)有限公司 | 网络攻击源定位及防护方法、电子设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113645233A (zh) | 2021-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200412767A1 (en) | Hybrid system for the protection and secure data transportation of convergent operational technology and informational technology networks | |
Lima Filho et al. | Smart detection: an online approach for DoS/DDoS attack detection using machine learning | |
US20200389495A1 (en) | Secure policy-controlled processing and auditing on regulated data sets | |
US9432389B1 (en) | System, apparatus and method for detecting a malicious attack based on static analysis of a multi-flow object | |
CN106534114B (zh) | 基于大数据分析的防恶意攻击*** | |
CN113472721B (zh) | 一种网络攻击检测方法及装置 | |
US20160241574A1 (en) | Systems and methods for determining trustworthiness of the signaling and data exchange between network systems | |
CN113645233B (zh) | 流量数据的风控智能决策方法、装置、电子设备和介质 | |
US8051484B2 (en) | Method and security system for indentifying and blocking web attacks by enforcing read-only parameters | |
US20100325685A1 (en) | Security Integration System and Device | |
US11824834B1 (en) | Distributed firewall that learns from traffic patterns to prevent attacks | |
US20200259861A1 (en) | Identifying and classifying community attacks | |
CN109413016B (zh) | 一种基于规则的报文检测方法和装置 | |
US9130997B2 (en) | Updating system behavior dynamically using feature expressions and feature loops | |
US20230119649A1 (en) | Intrusion detection and prevention system rule automation and optimization | |
US11750624B2 (en) | Statistical approach for augmenting signature detection in web application firewall | |
Bamasag et al. | Real-time DDoS flood attack monitoring and detection (RT-AMD) model for cloud computing | |
CN116015925A (zh) | 一种数据传输方法、装置、设备及介质 | |
US11425092B2 (en) | System and method for analytics based WAF service configuration | |
WO2023179461A1 (zh) | 一种处理疑似攻击行为的方法及相关装置 | |
CN114629694B (zh) | 一种分布式拒绝服务DDoS的检测方法及相关装置 | |
US11356471B2 (en) | System and method for defending a network against cyber-threats | |
US20240195841A1 (en) | System and method for manipulation of secure data | |
Meharouech et al. | Trusted intrusion detection architecture for high‐speed networks based on traffic classification, load balancing and high availability mechanism | |
CN118316656A (zh) | 数据包处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |