CN111835696A - 一种检测异常请求个体的方法及装置 - Google Patents

一种检测异常请求个体的方法及装置 Download PDF

Info

Publication number
CN111835696A
CN111835696A CN201910327904.8A CN201910327904A CN111835696A CN 111835696 A CN111835696 A CN 111835696A CN 201910327904 A CN201910327904 A CN 201910327904A CN 111835696 A CN111835696 A CN 111835696A
Authority
CN
China
Prior art keywords
request
abnormal
individual
request data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910327904.8A
Other languages
English (en)
Other versions
CN111835696B (zh
Inventor
韩啸
赵征
郭志强
刘添龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910327904.8A priority Critical patent/CN111835696B/zh
Publication of CN111835696A publication Critical patent/CN111835696A/zh
Application granted granted Critical
Publication of CN111835696B publication Critical patent/CN111835696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开一种检测异常请求个体的方法以及装置，其中，所述方法包括：获得原始请求数据中存在的异常请求数据；确定所述异常请求数据所属的请求个体；根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息；根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体或者确定所述请求个体是否为所述异常请求个体。采用本申请所述的检测异常请求个体的方法，能够确定所述请求个体中存在的潜在异常请求个体，提高异常检测的准确度，从而有效保障业务***的数据安全。

Description

一种检测异常请求个体的方法及装置
技术领域
本申请涉及数据安全防护领域，具体涉及一种检测异常请求个体的方法及装置。另外，本申请还涉及一种获取异常请求特征的方法和装置，以及一种检测异常请求特征的***。
背景技术
随着网络技术的快速发展，基于互联网的业务***越来越广泛。目前，很多业务都能够依赖于业务***在互联网上实现，例如：网上银行、网络购物、网络游戏等。伴随着各类业务***的出现，同时也产生了大量的网络安全漏洞，异常请求个体采用全量扫描的方式能够获取这些网络安全漏洞，进而对业务***发动攻击，通过获取他人的个人账户信息谋取非法利益。因此，识别潜在的异常请求个体，保障业务***的数据安全已成为当今互联网领域的研究热点。
为了解决上述技术问题，现有技术中通常采用的解决方案是预先设置WAF(WebApplication Firewall，web应用防护***)防火墙进行异常请求检测，对异常请求个体发出的请求数据进行识别和拦截，以便实现业务***数据安全，从而在一定程度上避免了业务***被异常入侵个体恶意入侵，提高了业务***的异常防护能力。
但是，上述WAF防火墙技术通常依赖已经发生的攻击数据进行触发，进而识别异常请求个体进行有效拦截。该技术具有明显的被动性，容易导致检测数据不完整，无法发现潜在的异常请求个体，从而仍然无法满足当前业务***的异常防护需求。
发明内容
本申请提供一种检测异常请求个体的方法，以解决现有技术中难以发现潜在的异常攻击请求数据，导致无法满足当前网络异常防护需求的问题。本申请还提供一种检测异常请求个体的装置。
本发明提供的检测异常请求个体的方法，包括：获得原始请求数据中存在的异常请求数据；确定所述异常请求数据所属的请求个体；根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息；根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体或者确定所述请求个体是否为所述异常请求个体。
可选的，所述根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体，包括：根据所述请求个体的异常概率信息，确定所述请求个体中存在的目标请求个体；根据历史请求个体白名单信息确定所述目标请求个体中存在的异常请求个体。
可选的，所述根据所述请求个体的异常概率信息，确定所述请求个体中存在的目标请求个体，包括：根据所述请求个体的异常概率值，确定所述请求个体中存在的目标请求个体，所述目标请求个体为所述异常概率值达到或者超过预设概率阈值的请求个体；或者，根据所述请求个体的异常概率等级，确定所述请求个体中存在的目标请求个体，所述目标请求个体为所述异常概率等级达到或者超过预设概率等级的请求个体。
可选的，所述确定所述异常请求数据所属的请求个体，包括：根据所述异常请求数据中标识请求个体的标识字段，确定所述异常请求数据所属的请求个体。
可选的，所述根据所述异常请求数据中标识请求个体的标识字段，确定所述异常请求数据所属的请求个体，包括：以所述标识字段为索引，基于标识字段与所述异常请求数据的对应关系，查找与所述标识字段对应的所述请求个体发出的异常请求数据。
可选的，所述请求个体发出的请求数据的异常概率信息为所述请求个体发出的请求数据的异常概率值；所述根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息，具体包括：计算所述请求个体发出的每个请求数据的异常概率值的平均值，将所述平均值作为所述请求个体的异常概率值。
可选的，所述请求个体发出的请求数据的异常概率信息为所述请求个体发出的请求数据的异常概率等级；所述根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息，具体包括：根据所述请求个体发出的请求数据在预设的异常概率等级中的分布比例，将所述请求数据分布比例最高的异常概率等级作为所述请求个体的异常概率等级。
可选的，所述根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体或者确定所述请求个体是否为所述异常请求个体，具体包括：判断所述请求个体的异常概率值是否达到所述异常请求个体的异常概率阈值，若是，则确定所述请求个体的异常概率值对应的所述请求个体为所述异常请求个体；或者，判断所述请求个体的异常概率等级是否达到所述异常请求个体的目标概率等级，若是，则确定所述请求个体的异常概率等级对应的所述请求个体为所述异常请求个体。
可选的，所述获得原始请求数据中存在的异常请求数据，包括：获得所述原始请求数据的异常概率信息；根据所述原始请求数据的异常概率信息，确定所述原始请求数据中存在的异常请求数据。
可选的，所述根据所述原始请求数据的异常概率信息，确定所述原始请求数据中存在的异常请求数据，具体包括：判断所述原始请求数据的异常概率值是否达到所述异常请求数据的异常概率阈值，若是，则确定所述原始请求数据的异常概率值对应的请求数据为所述异常请求数据；判断所述原始请求数据的异常概率等级是否达到所述异常请求数据的异常概率等级，若是，则确定所述原始请求数据的异常概率等级对应的请求数据为所述异常请求数据。
可选的，所述标识字段包含用于标识所述请求个体的设备ID数据字段、Cookie数据字段，IP地址数据字段、网站账户关联数据字段中的至少一种。
相应的，本申请还提供一种获取异常请求特征的方法，包括：获得异常请求个体发出的原始请求数据；从所述原始请求数据中获得所述异常请求个体发出的异常请求数据；根据已知异常请求特征，从所述异常请求数据中获得未知异常请求特征。
可选的，所述根据已知异常请求特征，从所述异常请求数据中获得未知异常请求特征，包括：获得所述异常请求数据的异常请求特征；将所述异常请求数据的异常请求特征与所述已知异常请求特征进行匹配，若无法匹配，则将所述异常请求数据的异常请求特征确定为未知异常请求特征。
可选的，所述根据已知异常请求特征，从所述异常请求数据中获得未知异常请求特征，包括：根据已知异常请求特征，获得已知异常请求数据；从所述异常请求数据获得除所述已知异常请求数据之外的未知异常请求数据；根据未知异常请求数据，获得所述未知异常请求特征。
可选的，所述获取异常请求特征的方法，还包括：将所述未知异常请求特征作为训练样本训练异常检测模型；其中，所述异常检测模型是用于根据请求特征判断具有所述未知异常请求特征的请求数据是否为异常请求数据的模型。
可选的，所述从所述原始请求数据中获得所述异常请求个体发出的异常请求数据，包括：基于白流量基线技术，从所述原始请求数据中获得所述异常请求个体发出的所述异常请求数据。
相应的，本申请提供一种检测异常请求个体的装置，包括：异请求数据获得单元，用于获得原始请求数据中存在的异常请求数据；请求个体确定单元，用于确定所述异常请求数据所属的请求个体；异常概率信息获得单元，用于根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息；异常请求个体确定单元，用于根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体或者确定所述请求个体是否为所述异常请求个体。
可选的，所述异常请求个体确定单元，包括：目标请求个体确定子单元，用于根据所述请求个体的异常概率信息，确定所述请求个体中存在的目标请求个体；异常请求个体确定子单元，用于根据历史请求个体白名单信息确定所述目标请求个体中存在的异常请求个体。
可选的，所述目标请求个体确定子单元具体用于：根据所述请求个体的异常概率值，确定所述请求个体中存在的目标请求个体，所述目标请求个体为所述异常概率值达到或者超过预设概率阈值的请求个体；或者，根据所述请求个体的异常概率等级，确定所述请求个体中存在的目标请求个体，所述目标请求个体为所述异常概率等级达到或者超过预设概率等级的请求个体。
可选的，所述请求个体确定单元具体用于：根据所述异常请求数据中标识请求个体的标识字段，确定所述异常请求数据所属的请求个体。
可选的，所述根据所述异常请求数据中标识请求个体的标识字段，确定所述异常请求数据所属的请求个体，包括：以所述标识字段为索引，基于标识字段与所述异常请求数据的对应关系，查找与所述标识字段对应的所述请求个体发出的异常请求数据。
可选的，所述请求个体发出的请求数据的异常概率信息为所述请求个体发出的请求数据的异常概率值；所述异常概率信息获得单元具体用于：计算所述请求个体发出的每个请求数据的异常概率值的平均值，将所述平均值作为所述请求个体的异常概率值。
可选的，所述请求个体发出的请求数据的异常概率信息为所述请求个体发出的请求数据的异常概率等级；所述异常概率信息获得单元具体用于：根据所述请求个体发出的请求数据在预设的异常概率等级中的分布比例，将所述请求数据分布比例最高的异常概率等级作为所述请求个体的异常概率等级。
可选的，所述异常请求个体确定单元具体用于：判断所述请求个体的异常概率值是否达到所述异常请求个体的异常概率阈值，若是，则确定所述请求个体的异常概率值对应的所述请求个体为所述异常请求个体；或者，判断所述请求个体的异常概率等级是否达到所述异常请求个体的目标概率等级，若是，则确定所述请求个体的异常概率等级对应的所述请求个体为所述异常请求个体。
可选的，所述异请求数据获得单元具体用于：获得所述原始请求数据的异常概率信息；根据所述原始请求数据的异常概率信息，确定所述原始请求数据中存在的异常请求数据。
可选的，所述根据所述原始请求数据的异常概率信息，确定所述原始请求数据中存在的异常请求数据，具体包括：判断所述原始请求数据的异常概率值是否达到所述异常请求数据的异常概率阈值，若是，则确定所述原始请求数据的异常概率值对应的请求数据为所述异常请求数据；判断所述原始请求数据的异常概率等级是否达到所述异常请求数据的异常概率等级，若是，则确定所述原始请求数据的异常概率等级对应的请求数据为所述异常请求数据。
可选的，所述标识字段包含用于标识所述请求个体的设备ID数据字段、Cookie数据字段，IP地址数据字段、网站账户关联数据字段中的至少一种。
相应的，本申请还提供一种获取异常请求特征的装置，包括：原始请求数据获得单元，用于获得异常请求个体发出的原始请求数据；异常请求数据获得单元，用于从所述原始请求数据中获得所述异常请求个体发出的异常请求数据；未知异常请求特征获得单元，用于根据已知异常请求特征，从所述异常请求数据中获得未知异常请求特征。
可选的，所述未知异常请求特征获得单元具体用于，获得所述异常请求数据的异常请求特征；将所述异常请求数据的异常请求特征与所述已知异常请求特征进行匹配，若无法匹配，则将所述异常请求数据的异常请求特征确定为未知异常请求特征。
可选的，所述未知异常请求特征获得单元具体用于，从所述异常请求数据中获得未知异常请求特征，包括：根据已知异常请求特征，获得已知异常请求数据；从所述异常请求数据获得除所述已知异常请求数据之外的未知异常请求数据；根据未知异常请求数据，获得所述未知异常请求特征。
可选的，所述获取异常请求特征的装置，还包括：训练单元，用于将所述未知异常请求特征作为训练样本训练异常检测模型；其中，所述异常检测模型是用于根据请求特征判断具有所述未知异常请求特征的请求数据是否为异常请求数据的模型。
可选的，所述异常请求数据获得单元具体用于：基于白流量基线技术，从所述原始请求数据中获得所述异常请求个体发出的所述异常请求数据。
相应的，本申请还提供一种检测异常请求特征的***，其特征在于，包括：上述所述的检测异常请求个体的装置，以及上述所述的获取异常请求特征的装置。
相应的，本申请提供一种电子设备，包括：处理器和存储器；所述存储器，用于存储检测异常请求个体的方法的程序，该设备通电并通过所述处理器运行该检测异常请求个体的方法的程序后，执行下述步骤：获得原始请求数据中存在的异常请求数据；确定所述异常请求数据所属的请求个体；根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息；根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体或者确定所述请求个体是否为所述异常请求个体。
相应的，本申请提供一种存储设备，存储有检测异常请求个体的方法的程序，该程序被处理器运行，执行下述步骤：获得原始请求数据中存在的异常请求数据；确定所述异常请求数据所属的请求个体；根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息；根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体或者确定所述请求个体是否为所述异常请求个体。
与现有技术相比，本申请具有以下优点：
采用本申请提供的检测异常请求个体的方法，能够通过获得原始请求数据中存在的异常请求数据，并确定所述异常请求数据所属的请求个体；根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息；根据所述请求个体的异常概率信息，确定所述请求个体中存在的潜在异常请求个体，提高异常检测的准确度，从而有效保障业务***的数据安全。
采用本申请提供的获取未知异常请求特征的方法，能够通过获得异常请求个体发出的原始请求数据，从所述原始请求数据中获得所述异常请求个体发出的异常请求数据，进而根据已知异常请求特征，从所述异常请求数据中获得潜在未知的异常请求特征，从而提高了异常检测的完整性和准确度，有效保障了业务***的数据安全。
附图说明
图1为本发明实施例提供的一种检测异常请求个体的方法流程图；
图2为本发明实施例提供的一种检测异常请求个体的装置示意图；
图3为本发明实施例提供的一种获取未知异常请求特征的方法流程图；
图4为本发明实施例提供的一种获取未知异常请求特征的方法示意图；
图5为本发明实施例提供的一种电子设备的示意图；
图6为本发明实施例提供的一种网络安全防护***的完整运行流程图；
图7为本发明实施例提供的一种检测异常请求个体方法的应用场景示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此，本发明不受下面公开的具体实施的限制。
下面基于本发明提供的检测异常请求个体的方法，对其实施例进行详细描述。如图7所示，其为本发明实施例提供的一种检测异常请求个体方法的应用场景示意图。
在具体实施过程中，本发明实施所述的检测异常请求个体的方法可以基于传统的载有网络数据安全防护***的移动端701来实现。例如，移动端701获得原始请求数据中存在的异常请求数据，确定异常请求数据所属的请求个体，进而根据请求个体发出的请求数据的异常概率信息，获得请求个体的异常概率信息；通过请求个体的异常概率信息，确定请求个体中存在的潜在异常请求个体。
另外，本发明实施例所述的检测异常请求个体的方法也可以基于移动端701和载有网络数据安全防护***的服务器702共同完成。比如移动端701获得大量的网络流量数据，并网络流量数据发送至载有网络数据安全防护***的服务器702。该服务器702可以根据网络流量数据分析获得原始请求数据，进而获得原始请求数据中存在的异常请求数据，并确定所述异常请求数据所属的请求个体；进而根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息；根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体或者确定所述请求个体是否为所述异常请求个体。
需要说明的是，本发明所述的检测异常请求个体的方法可以应用于保护Web服务器，通常情况下，应用在对外提供Web服务的Web服务器前端。
请参考图1所示，其为本发明实施例提供的一种检测异常请求个体的方法流程图。本发明所述的检测异常请求个体的方法，具体实现过程包括以下步骤：
步骤S101：获得原始请求数据中存在的异常请求数据。
在本发明实施例中，所述的原始请求数据可以是指基于超文本传输协议(HTTP，Hyper Text Transfer Protocol)发出的针对网站或APP应用进行访问的业务流量数据。所述的异常请求数据可以是指从原始请求数据利用特定提取方法获取的对网站或APP应用具有威胁或者存在攻击行为的请求数据，例如：XSS(Cross Site Scripting；跨站脚本攻击)攻击、SQL(Structured Query Language；结构化程序语言)注入、CSRF(Cross-siterequest forgery；跨站请求伪造)攻击、Cookie攻击、Xpath(XML Path Language；XML路径语言)注入、LDAP(Lightweight Directory Access Protocol；轻量目录访问协议)注入以及代码执行等。所述的特定提取方法可以是基于白流量基线技术对用户的总体的原始请求数据进行分类，分离出其中没有攻击行为、占大概率的正常请求数据，将剩余的、小概率的原始请求数据作为异常请求数据。在本发明实施例中，所述的异常请求数据可以是指异常概率信息达到或者超过预设异常概率信息阈值的请求数据。
具体的，所述的获得原始请求数据中存在的异常请求数据通过获得原始请求数据的异常概率信息，进而根据原始请求数据的异常概率信息，确定原始请求数据中存在的异常请求数据。其中，根据原始请求数据的异常概率信息，确定原始请求数据中存在的异常请求数据，可基于如下具体方式实现：
判断原始请求数据的异常概率值是否达到所述异常请求数据的异常概率阈值，若是，则确定原始请求数据的异常概率值对应的请求数据为所述异常请求数据。或者，判断原始请求数据的异常概率等级是否达到异常请求数据的异常概率等级，若是，则确定所述原始请求数据的异常概率等级对应的请求数据为所述异常请求数据。
需要说明的是，在实际应用过程中可以基于前端客户端收集针对网站或APP应用的各种请求数据，有时可以直接收集到请求数据对应的数据日志集，基于数据日志集中的日志数据获得上述能够表示请求数据原始含义的原始请求数据。有时则是收集的数据流量包，然而直接根据这些数据流量包无法准确识别请求数据的原始含义，进而无法检测其中存在的异常请求数据，因此，当收集的是数据流量包时，需要进一步对数据流量包进行编码转换，将网络流量数据转换为元数据的组合，即；在协议层面上的对网络流量数据进行协议解码，获得上述能够表示请求数据原始含义的原始请求数据。
步骤S102：确定所述异常请求数据所属的请求个体。
上述步骤S101中获得原始请求数据中存在的异常请求数据后，为本步骤确定所述异常请求数据所属的请求个体做了数据准备工作。在步骤S102中，可以根据异常请求数据中包含的对应请求个体的标识字段确定异常请求数据所属的请求个体。
具体的，根据异常请求数据中标识请求个体的标识字段，确定异常请求数据所属的请求个体，可基于如下具体方式实现：以异常请求数据中包含的对应请求个体的标识字段为索引，基于标识字段与异常请求数据的对应关系，从上述异常请求数据中查找与所述标识字段对应的请求个体发出的异常请求数据。其中，所述的标识字段包含用于标识请求个体的设备ID数据字段、Cookie数据字段，IP地址数据字段、网站账户关联数据字段中的至少一种。
步骤S103：根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息。
在上述步骤S102根据异常请求数据中包含的对应请求个体的标识字段确定异常请求数据所属的请求个体后，本步骤可以基于请求个体发出的请求数据的异常概率信息，获得请求个体的异常概率信息。
在本发明实施例中，可以通过HMM算法或者SVM算法对所述请求个体发出的请求数据进行评分，即：获取所述请求个体发出的请求数据的异常概率信息。当然，很多时候也可以使用其他的异常检测算法获取请求数据的异常概率信息，这里不再一一赘述。
在确定异常请求数据所属的请求个体以及所述请求个体发出的请求数据的异常概率信息之后，可以基于所述请求个体的设备ID数据字段、Cookie数据字段以及IP地址数据字段等对请求数据进行汇总统计，进而获得请求个体的异常概率信息。很多时候也可以使用IP指纹、网站账户关联信息等。
具体的，所述的请求个体发出的请求数据的异常概率信息可以是指请求个体发出的请求数据的异常概率值，也可以是指请求个体发出的请求数据的异常概率等级。
当所述的请求个体发出的请求数据的异常概率信息可以是指请求个体发出的请求数据的异常概率值时，可以通过计算所述请求个体发出的每个请求数据的异常概率值的平均值，将所述平均值作为请求个体的异常概率值。例如；取A请求个体发出的7条请求数据的异常概率值分别为：0.8、0.9、0.7、0.8、0.6、0.1、0.9，计算请求个体发出的每个请求数据的异常概率值的平均值为：0.68，即，请求个体的异常概率值为0.68。取B请求个体发出的9条请求数据的异常概率值分别为：0.8、0.8、0.7、0.9、0.6、0.8、0.9、0.9、0.7，计算请求个体发出的每个请求数据的异常概率值的平均值为：0.78，即，请求个体的异常概率值为0.68。取C请求个体发出的6条请求数据的异常概率值分别为：0.3、0.1、0.6、0.1、0.2、0.3，计算请求个体发出的每个请求数据的异常概率值的平均值为：0.68，即，请求个体的异常概率值为0.26。
当所述的请求个体发出的请求数据的异常概率信息可以是指请求个体发出的请求数据的异常概率等级时，可以根据请求个体发出的请求数据在预设的异常概率等级中的分布比例，将请求数据分布比例最高的异常概率等级作为请求个体的异常概率等级。例如；预设的异常概率等级分为：高级、中级、低级；D请求个体发出的请求数据为100，其中有74条请求数据被确定为异常概率等级为高级，16条请求数据被确定为异常概率等级为中级，10条请求数据被确定为异常概率等级为低级，则可以根据请求数据分布比例情况，确定该D请求个体的异常概率等级为高级。E请求个体发出的请求数据为70，其中有7条请求数据被确定为异常概率等级为高级，62条请求数据被确定为异常概率等级为中级，1条请求数据被确定为异常概率等级为低级，则可以根据请求数据分布比例情况，确定该E请求个体的异常概率等级为中级。F请求个体发出的请求数据为200，其中有16条请求数据被确定为异常概率等级为高级，10条请求数据被确定为异常概率等级为中级，174条请求数据被确定为异常概率等级为中级，则可以根据请求数据分布比例情况，确定该F请求个体的异常概率等级为低级。
步骤S104：根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体或者确定所述请求个体是否为所述异常请求个体。
在上述步骤S103根据请求个体发出的请求数据的异常概率信息获得请求个体的异常概率信息后，本步骤可以进一步基于据请求个体的异常概率信息，确定请求个体中存在的异常请求个体。
具体的，根据请求个体的异常概率信息确定请求个体中存在的异常请求个体可采用如下方式实现：
1)直接根据请求个体的异常概率值的大小或者异常概率等级的高低，确定请求个体中是否存在的异常请求个体。
具体的，当请求数据的异常概率信息为请求数据的异常概率值时，判断请求个体的异常概率值是否达到异常请求个体的异常概率阈值，若是，则确定请求个体的异常概率值对应的请求个体为异常请求个体。例如：通过计算获得A请求个体的异常概率值为0.68；B请求个体的异常概率值为0.78；C请求个体的异常概率值为0.26。异常请求个体的异常概率阈值0.6，则确定请求个体的异常概率值0.68、0.78对应的请求个体A和请求个体B为异常请求个体。
当请求数据的异常概率信息为请求数据的异常概率等级时，判断请求个体的异常概率等级是否达到异常请求个体的目标概率等级，若是，则确定请求个体的异常概率等级对应的请求个体为异常请求个体。例如：通过分析获得D请求个体的异常概率等级为高级；E请求个体的异常概率等级为中级；F请求个体的异常概率等级为低级；异常请求个体的目标概率等级为中级，则确定请求个体的异常概率等级高级的请求个体D和请求个体的异常概率等级中级的请求个体E为异常请求个体。
2)根据请求个体的异常概率信息，确定请求个体中存在的目标请求个体；根据历史请求个体白名单信息确定目标请求个体中存在的异常请求个体。
同样，所述的请求个体发出的请求数据的异常概率信息可以是指请求个体发出的请求数据的异常概率值，也可以是指请求个体发出的请求数据的异常概率等级。所述的目标请求个体可以是指异常概率等级达到预设概率等级或者异常概率值达到预设概率值的请求个体。例如，所述目标请求个体可以是指上述异常概率值0.68和0.78分别对应的请求个体A和请求个体B，也可以是指上述的异常概率等级为高级的请求个体D和请求个体的异常概率等级为中级的请求个体E。若所述目标请求个体为上述请求个体A和请求个体B，可以进一步利用历史请求个体白名单信息对目标请求个体进行过滤，获得目标请求个体中存在的异常请求个体。其中，所述的历史请求个体白名单信息可以是指已知的正常请求个体的特征信息。例如：基于历史请求个体白名单信息能够确定请求个体B为正常请求个体，则最终剩余的请求个体A为检测到的异常请求个体。需要说明的，在实际实施过程中，所述的A请求个体或B请求个体不限于特指某个请求个体，也可能表示多个请求个体；所述的请求数据可以是指请求个体的全量请求数据集。
采用本申请提供的检测异常请求个体的方法，能够通过获得原始请求数据中存在的异常请求数据，并确定所述异常请求数据所属的请求个体；根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息；根据所述请求个体的异常概率信息，确定所述请求个体中存在的潜在异常请求个体，提高异常检测的准确度，从而有效保障业务***的数据安全。
与上述提供的检测异常请求个体的方法相对应，本发明还提供一种检测异常请求个体的装置。由于该装置的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述一种检测异常请求个体的装置的实施例仅是示意性的。请参考图2所示，其为本发明实施例提供的一种检测异常请求个体的装置示意图。
本发明实施例所述的检测异常请求个体的装置包括如下部分：
异请求数据获得单元201，用于获得原始请求数据中存在的异常请求数据。
在本发明实施例中，所述的原始请求数据可以是指基于超文本传输协议(HTTP，Hyper Text Transfer Protocol)发出的针对网站或APP应用进行访问的业务流量数据。所述的异常请求数据可以是指从原始请求数据利用特定提取方法获取的对网站或APP应用具有威胁或者存在攻击行为的请求数据，例如：XSS(Cross Site Scripting；跨站脚本攻击)攻击、SQL(Structured Query Language；结构化程序语言)注入、CSRF(Cross-siterequest forgery；跨站请求伪造)攻击、Cookie攻击、Xpath(XML Path Language；XML路径语言)注入、LDAP(Lightweight Directory Access Protocol；轻量目录访问协议)注入以及代码执行等。所述的特定提取方法可以是基于白流量基线技术对用户的总体的原始请求数据进行分类，分离出其中没有攻击行为、占大概率的正常请求数据，将剩余的、小概率的原始请求数据作为异常请求数据。在本发明实施例中，所述的异常请求数据可以是指异常概率信息达到或者超过预设异常概率信息阈值的请求数据。
具体的，所述的获得原始请求数据中存在的异常请求数据通过获得原始请求数据的异常概率信息，进而根据原始请求数据的异常概率信息，确定原始请求数据中存在的异常请求数据。其中，根据原始请求数据的异常概率信息，确定原始请求数据中存在的异常请求数据，可基于如下具体方式实现：
判断原始请求数据的异常概率值是否达到所述异常请求数据的异常概率阈值，若是，则确定原始请求数据的异常概率值对应的请求数据为所述异常请求数据。或者，判断原始请求数据的异常概率等级是否达到异常请求数据的异常概率等级，若是，则确定所述原始请求数据的异常概率等级对应的请求数据为所述异常请求数据。
请求个体确定单元202，用于确定所述异常请求数据所属的请求个体。
上述异请求数据获得单元201获得原始请求数据中存在的异常请求数据之后，为请求个体确定单元202确定异常请求数据所属的请求个体做了数据准备工作。在请求个体确定单元202中，可以根据异常请求数据中包含的对应请求个体的标识字段确定异常请求数据所属的请求个体。
具体的，根据异常请求数据中标识请求个体的标识字段，确定异常请求数据所属的请求个体，可基于如下具体方式实现：以异常请求数据中包含的对应请求个体的标识字段为索引，基于标识字段与异常请求数据的对应关系，从上述异常请求数据中查找与所述标识字段对应的请求个体发出的异常请求数据。其中，所述的标识字段包含用于标识请求个体的设备ID数据字段、Cookie数据字段，IP地址数据字段、网站账户关联数据字段中的至少一种。
异常概率信息获得单元203，用于根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息。
在上述请求个体确定单元202确定异常请求数据所属的请求个体后，异常概率信息获得单元203通过分析请求个体发出的请求数据的异常概率信息，获得请求个体的异常概率信息。
在本发明实施例中，可以通过HMM算法或者SVM算法对所述请求个体发出的请求数据进行评分，即：获取所述请求个体发出的请求数据的异常概率信息。当然，很多时候也可以使用其他的异常检测算法获取请求数据的异常概率信息，这里不再一一赘述。
在确定异常请求数据所属的请求个体以及所述请求个体发出的请求数据的异常概率信息之后，可以基于所述请求个体的设备ID数据字段、Cookie数据字段以及IP地址数据字段等对请求数据进行汇总统计，进而获得请求个体的异常概率信息。很多时候也可以使用IP指纹、网站账户关联信息等。
具体的，所述的请求个体发出的请求数据的异常概率信息可以是指请求个体发出的请求数据的异常概率值，也可以是指请求个体发出的请求数据的异常概率等级。
当所述的请求个体发出的请求数据的异常概率信息可以是指请求个体发出的请求数据的异常概率值时，可以通过计算所述请求个体发出的每个请求数据的异常概率值的平均值，将所述平均值作为请求个体的异常概率值。例如；取A请求个体发出的7条请求数据的异常概率值分别为：0.8、0.9、0.7、0.8、0.6、0.1、0.9，计算请求个体发出的每个请求数据的异常概率值的平均值为：0.68，即，请求个体的异常概率值为0.68。取B请求个体发出的9条请求数据的异常概率值分别为：0.8、0.8、0.7、0.9、0.6、0.8、0.9、0.9、0.7，计算请求个体发出的每个请求数据的异常概率值的平均值为：0.78，即，请求个体的异常概率值为0.68。取C请求个体发出的6条请求数据的异常概率值分别为：0.3、0.1、0.6、0.1、0.2、0.3，计算请求个体发出的每个请求数据的异常概率值的平均值为：0.68，即，请求个体的异常概率值为0.26。
当所述的请求个体发出的请求数据的异常概率信息可以是指请求个体发出的请求数据的异常概率等级时，可以根据请求个体发出的请求数据在预设的异常概率等级中的分布比例，将请求数据分布比例最高的异常概率等级作为请求个体的异常概率等级。例如；预设的异常概率等级分为：高级、中级、低级；D请求个体发出的请求数据为100，其中有74条请求数据被确定为异常概率等级为高级，16条请求数据被确定为异常概率等级为中级，10条请求数据被确定为异常概率等级为低级，则可以根据请求数据分布比例情况，确定该D请求个体的异常概率等级为高级。E请求个体发出的请求数据为70，其中有7条请求数据被确定为异常概率等级为高级，62条请求数据被确定为异常概率等级为中级，1条请求数据被确定为异常概率等级为低级，则可以根据请求数据分布比例情况，确定该E请求个体的异常概率等级为中级。F请求个体发出的请求数据为200，其中有16条请求数据被确定为异常概率等级为高级，10条请求数据被确定为异常概率等级为中级，174条请求数据被确定为异常概率等级为中级，则可以根据请求数据分布比例情况，确定该F请求个体的异常概率等级为低级。
异常请求个体确定单元204，用于根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体或者确定所述请求个体是否为所述异常请求个体。
在上述请求个体确定单元203根据请求个体发出的请求数据的异常概率信息获得请求个体的异常概率信息后，进一步的，异常请求个体确定单元204能够根据请求个体的异常概率信息，确定请求个体中存在的异常请求个体。
具体的，根据请求个体的异常概率信息确定请求个体中存在的异常请求个体可采用如下方式实现：
1)直接根据请求个体的异常概率值的大小或者异常概率等级的高低，确定请求个体中是否存在的异常请求个体。
具体的，当请求数据的异常概率信息为请求数据的异常概率值时，判断请求个体的异常概率值是否达到异常请求个体的异常概率阈值，若是，则确定请求个体的异常概率值对应的请求个体为异常请求个体。例如：通过计算获得A请求个体的异常概率值为0.68；B请求个体的异常概率值为0.78；C请求个体的异常概率值为0.26。异常请求个体的异常概率阈值0.6，则确定请求个体的异常概率值0.68、0.78对应的请求个体A和请求个体B为异常请求个体。
当请求数据的异常概率信息为请求数据的异常概率等级时，判断请求个体的异常概率等级是否达到异常请求个体的目标概率等级，若是，则确定请求个体的异常概率等级对应的请求个体为异常请求个体。例如：通过分析获得D请求个体的异常概率等级为高级；E请求个体的异常概率等级为中级；F请求个体的异常概率等级为低级；异常请求个体的目标概率等级为中级，则确定请求个体的异常概率等级高级的请求个体D和请求个体的异常概率等级中级的请求个体E为异常请求个体。
2)根据请求个体的异常概率信息，确定请求个体中存在的目标请求个体；根据历史请求个体白名单信息确定目标请求个体中存在的异常请求个体。
同样，所述的请求个体发出的请求数据的异常概率信息可以是指请求个体发出的请求数据的异常概率值，也可以是指请求个体发出的请求数据的异常概率等级。所述的目标请求个体可以是指异常概率等级达到预设概率等级或者异常概率值达到预设概率值的请求个体。例如，所述目标请求个体可以是指上述异常概率值0.68和0.78分别对应的请求个体A和请求个体B，也可以是指上述的异常概率等级为高级的请求个体D和请求个体的异常概率等级为中级的请求个体E。若所述目标请求个体为上述请求个体A和请求个体B，可以进一步利用历史请求个体白名单信息对目标请求个体进行过滤，获得目标请求个体中存在的异常请求个体。其中，所述的历史请求个体白名单信息可以是指已知的正常请求个体的特征信息。例如：基于历史请求个体白名单信息能够确定请求个体B为正常请求个体，则最终剩余的请求个体A为检测到的异常请求个体。需要说明的，在实际实施过程中，所述的A请求个体或B请求个体不限于特指某个请求个体，也可能表示多个请求个体；所述的请求数据可以是指请求个体的全量请求数据集。
采用本申请提供的检测异常请求个体的装置，能够通过异请求数据获得单元获得原始请求数据中存在的异常请求数据，并通过请求个体确定单元确定所述异常请求数据所属的请求个体；由异常概率信息获得单元根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息；异常请求个体确定单元根据所述请求个体的异常概率信息，确定所述请求个体中存在的潜在异常请求个体，提高异常检测的准确度，从而有效保障业务***的数据安全。
与上述提供的检测异常请求个体的方法相对应，本发明还提供一种电子设备。请参见图3所示，其为本发明实施例提供的一种电子设备的示意图。
本申请实施例提供的一种电子设备包括如下部分：处理器501以及存储器502，存储器502用于存储检测异常请求个体的方法的程序503，该设备通电并通过所述处理器501运行该检测异常请求个体的方法的程序503后，执行下述步骤：获得原始请求数据中存在的异常请求数据；确定所述异常请求数据所属的请求个体；根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息；根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体或者确定所述请求个体是否为所述异常请求个体。处理器501与存储器502之间基于二者之间建立的总线505进行数据传输，通信接口504为电子设备与外部实现连接的数据交换接口。需要说明的是，对于本申请实施例提供的一种电子设备的详细描述，可以参考对本申请实施例提供的一种检测异常请求个体的方法的相关描述，这里不再赘述。
与上述提供的检测异常请求个体的方法相对应，本发明还提供一种存储设备，该存储设备存储有检测异常请求个体的方法的程序，该程序被处理器运行，执行步骤一：获得原始请求数据中存在的异常请求数据；步骤二：确定所述异常请求数据所属的请求个体；步骤三：根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息；步骤四：根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体或者确定所述请求个体是否为所述异常请求个体。需要说明的是，对于本申请实施例提供的一种存储设备的详细描述，可以参考对本申请实施例提供的一种检测异常请求个体的方法的相关描述，这里不再赘述。
与上述提供的检测异常请求个体的方法相对应，本发明还提供一种获取异常请求特征的方法。下面基于本发明提供的获取异常请求特征的方法，对其实施例进行详细描述。在具体实施过程中，本申请实施所述的检测异常请求个体的方法类似于上述检测异常请求个体的方法的具体实施过程，可以基于传统的载有网络数据安全防护***的移动终端来实现；也可以基于移动终端和载有网络数据安全防护***的服务器共同完成。
请参考图3所示，其为本发明实施例提供的一种获取未知异常请求特征的方法流程图。
步骤S301：获得异常请求个体发出的原始请求数据。
在本发明实施例中，所述的异常请求个体是通过获得原始请求数据中存在的异常请求数据，确定所述异常请求数据所属的请求个体，根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息，根据所述请求个体的异常概率信息，确定的所述请求个体中存在的异常请求个体。利用原始请求数据中存在的标识异常请求个体的标识字段进行统计分析，可以获得异常请求个体发出的原始请求数据。
步骤S302：从所述原始请求数据中获得所述异常请求个体发出的异常请求数据。
在本发明实施例中，可以基于白流量基线技术从原始请求数据中获得所述异常请求个体发出的所述异常请求数据。需要说明的是，在很多情况下也可以采用其他类似的技术手段，将异常请求数据从原始请求数据中分离出来，这里不再一一赘述。
步骤S303：根据已知异常请求特征，从所述异常请求数据中获得未知异常请求特征。
在本发明所述的实施例中，根据已知异常请求特征从所述异常请求数据中获得未知异常请求特征，可以通过如下两种方式实现：
1)获得异常请求数据的异常请求特征，将异常请求数据的异常请求特征与已知异常请求特征进行匹配，若无法匹配，则将异常请求数据的异常请求特征确定为未知异常请求特征。
2)根据已知异常请求特征，获得已知异常请求数据；从异常请求数据获得除已知异常请求数据之外的未知异常请求数据；根据未知异常请求数据，获得未知异常请求特征。
进一步的，可以将上述未知异常请求特征作为训练样本训练异常检测模型。其中，所述的异常检测模型是用于根据请求特征判断具有未知异常请求特征的请求数据是否为异常请求数据的模型。需要说明的是，本发明所述的异常检测模型不限于深度神经网络模型，其也可以通过逻辑回归模型实现。在具体实施过程中，可以通过性能对比测试来选择合适的模型。
如图6所示，为本发明实施例提供的一种网络安全防护***的完整运行流程图。在基于本发明实施例的完整运行过程可以包括如下步骤：第一步，网络流量数据与预处理；利用网络流量数据抓取、现有数据归集等获取手段在客户端收集网络流量数据，基于收集的网络流量数据和该网络流量数据的日志集获得原始请求数据集。第二步，请求数据评分；基于白流量基线技术对所述原始请求数据集中的原始请求数据进行评分，获得异常请求数据。第三步，检测异常请求个体；基于请求个体发出的异常请求数据的异常概率信息获得请求个体异常概率信息，进一步根据请求个体异常概率信息获得请求个体中存在的异常请求个体。第四步，获取未知异常请求特征；以上述异常请求个体的标识信息为索引，回溯上述原始请求数据集获得该异常请求个体发出的全量请求数据，利用白流量基线技术进行过滤迷惑的其中的异常请求数据，进一步根据已知异常请求特征对异常请求数据进行过滤，获得未知异常请求特征。第五步：训练异常检测模型；将未知异常请求特征作为训练样本训练异常检测模型。
采用本申请提供的获取未知异常请求特征的方法，能够通过获得异常请求个体发出的原始请求数据，从所述原始请求数据中获得所述异常请求个体发出的异常请求数据，进而根据已知异常请求特征，从所述异常请求数据中获得潜在未知的异常请求特征，从而提高了异常检测的完整性和准确度，有效保障了业务***的数据安全。
请参考图4所示，其为本发明实施例提供的一种获取未知异常请求特征的方法示意图。
原始请求数据获得单元401：获得异常请求个体发出的原始请求数据。
在本发明实施例中，所述的异常请求个体是通过获得原始请求数据中存在的异常请求数据，确定所述异常请求数据所属的请求个体，根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息，根据所述请求个体的异常概率信息，确定的所述请求个体中存在的异常请求个体。利用原始请求数据中存在的标识异常请求个体的标识字段进行统计分析，可以获得异常请求个体发出的原始请求数据。
异常请求数据获得单元402：从所述原始请求数据中获得所述异常请求个体发出的异常请求数据。
在本发明实施例中，可以基于白流量基线技术从原始请求数据中获得所述异常请求个体发出的所述异常请求数据。需要说明的是，在很多情况下也可以采用其他类似的技术手段，将异常请求数据从原始请求数据中分离出来，这里不再一一赘述。
未知异常请求特征获得单元403：根据已知异常请求特征，从所述异常请求数据中获得未知异常请求特征。
在本发明所述的实施例中，根据已知异常请求特征从所述异常请求数据中获得未知异常请求特征，可以通过如下两种方式实现：
1)获得异常请求数据的异常请求特征，将异常请求数据的异常请求特征与已知异常请求特征进行匹配，若无法匹配，则将异常请求数据的异常请求特征确定为未知异常请求特征。
2)根据已知异常请求特征，获得已知异常请求数据；从异常请求数据获得除已知异常请求数据之外的未知异常请求数据；根据未知异常请求数据，获得未知异常请求特征。
进一步的，可以将上述未知异常请求特征作为训练样本训练异常检测模型。其中，所述的异常检测模型是用于根据请求特征判断具有未知异常请求特征的请求数据是否为异常请求数据的模型。需要说明的是，本发明所述的异常检测模型不限于深度神经网络模型，其也可以通过逻辑回归模型实现。在具体实施过程中，可以通过性能对比测试来选择合适的模型。
采用本申请提供的获取未知异常请求特征的装置，能够通过原始请求数据获得单元获得异常请求个体发出的原始请求数据，由异常请求数据获得单元从所述原始请求数据中获得所述异常请求个体发出的异常请求数据，进而由未知异常请求特征获得单元根据已知异常请求特征，从所述异常请求数据中获得潜在未知的异常请求特征，从而提高了异常检测的完整性和准确度，有效保障了业务***的数据安全。
本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此，本发明的保护范围应当以本发明权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本发明的实施例可提供为方法、***或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (21)

1.一种检测异常请求个体的方法，其特征在于，包括：
获得原始请求数据中存在的异常请求数据；
确定所述异常请求数据所属的请求个体；
根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息；
根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体或者确定所述请求个体是否为所述异常请求个体。
2.根据权利要求1所述的检测异常请求个体的方法，其特征在于，所述根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体，包括：
根据所述请求个体的异常概率信息，确定所述请求个体中存在的目标请求个体；
根据历史请求个体白名单信息确定所述目标请求个体中存在的异常请求个体。
3.根据权利要求2所述的检测异常请求个体的方法，其特征在于，所述根据所述请求个体的异常概率信息，确定所述请求个体中存在的目标请求个体，包括：
根据所述请求个体的异常概率值，确定所述请求个体中存在的目标请求个体，所述目标请求个体为所述异常概率值达到或者超过预设概率阈值的请求个体；
或者，根据所述请求个体的异常概率等级，确定所述请求个体中存在的目标请求个体，所述目标请求个体为所述异常概率等级达到或者超过预设概率等级的请求个体。
4.根据权利要求1所述的检测异常请求个体的方法，其特征在于，所述确定所述异常请求数据所属的请求个体，包括：
根据所述异常请求数据中标识请求个体的标识字段，确定所述异常请求数据所属的请求个体。
5.根据权利要求4所述的检测异常请求个体的方法，其特征在于，所述根据所述异常请求数据中标识请求个体的标识字段，确定所述异常请求数据所属的请求个体，包括：
以所述标识字段为索引，基于标识字段与所述异常请求数据的对应关系，查找与所述标识字段对应的所述请求个体发出的异常请求数据。
6.根据权利要求1所述的检测异常入侵个体的方法，其特征在于，所述请求个体发出的请求数据的异常概率信息为所述请求个体发出的请求数据的异常概率值；
所述根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息，具体包括：
计算所述请求个体发出的每个请求数据的异常概率值的平均值，将所述平均值作为所述请求个体的异常概率值。
7.根据权利要求1所述的检测异常入侵个体的方法，其特征在于，所述请求个体发出的请求数据的异常概率信息为所述请求个体发出的请求数据的异常概率等级；
所述根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息，具体包括：
根据所述请求个体发出的请求数据在预设的异常概率等级中的分布比例，将所述请求数据分布比例最高的异常概率等级作为所述请求个体的异常概率等级。
8.根据权利要求1所述的检测异常入侵个体的方法，其特征在于，所述根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体，具体包括：
判断所述请求个体的异常概率值是否达到所述异常请求个体的异常概率阈值，若是，则确定所述请求个体的异常概率值对应的所述请求个体为所述异常请求个体；
或者，判断所述请求个体的异常概率等级是否达到所述异常请求个体的目标概率等级，若是，则确定所述请求个体的异常概率等级对应的所述请求个体为所述异常请求个体。
9.根据权利要求1所述的检测异常请求个体的方法，其特征在于，所述获得原始请求数据中存在的异常请求数据，包括：
获得所述原始请求数据的异常概率信息；
根据所述原始请求数据的异常概率信息，确定所述原始请求数据中存在的异常请求数据。
10.根据权利要求9所述的检测异常请求个体的方法，其特征在于，所述根据所述原始请求数据的异常概率信息，确定所述原始请求数据中存在的异常请求数据，具体包括：
判断所述原始请求数据的异常概率值是否达到所述异常请求数据的异常概率阈值，若是，则确定所述原始请求数据的异常概率值对应的请求数据为所述异常请求数据；
判断所述原始请求数据的异常概率等级是否达到所述异常请求数据的异常概率等级，若是，则确定所述原始请求数据的异常概率等级对应的请求数据为所述异常请求数据。
11.根据权利要求4或5所述的检测异常请求个体的方法，其特征在于，所述标识字段包含用于标识所述请求个体的设备ID数据字段、Cookie数据字段，IP地址数据字段、网站账户关联数据字段中的至少一种。
12.一种获取异常请求特征的方法，其特征在于，包括：
获得异常请求个体发出的原始请求数据；
从所述原始请求数据中获得所述异常请求个体发出的异常请求数据；
根据已知异常请求特征，从所述异常请求数据中获得未知异常请求特征。
13.根据权利要求12所述的获取异常请求特征的方法，其特征在于，所述根据已知异常请求特征，从所述异常请求数据中获得未知异常请求特征，包括：
获得所述异常请求数据的异常请求特征；
将所述异常请求数据的异常请求特征与所述已知异常请求特征进行匹配，若无法匹配，则将所述异常请求数据的异常请求特征确定为未知异常请求特征。
14.根据权利要求12所述的获取异常请求特征的方法，其特征在于，所述根据已知异常请求特征，从所述异常请求数据中获得未知异常请求特征，包括：
根据已知异常请求特征，获得已知异常请求数据；从所述异常请求数据获得除所述已知异常请求数据之外的未知异常请求数据；
根据未知异常请求数据，获得所述未知异常请求特征。
15.根据权利要求12所述的获取异常请求特征的方法，其特征在于，还包括：
将所述未知异常请求特征作为训练样本训练异常检测模型；
其中，所述异常检测模型是用于根据请求特征判断具有所述未知异常请求特征的请求数据是否为异常请求数据的模型。
16.根据权利要求12所述的获取异常请求特征的方法，其特征在于，所述从所述原始请求数据中获得所述异常请求个体发出的异常请求数据，包括：
基于白流量基线技术，从所述原始请求数据中获得所述异常请求个体发出的所述异常请求数据。
17.一种检测异常请求个体的装置，其特征在于，包括：
异请求数据获得单元，用于获得原始请求数据中存在的异常请求数据；
请求个体确定单元，用于确定所述异常请求数据所属的请求个体；
异常概率信息获得单元，用于根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息；
异常请求个体确定单元，用于根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体或者确定所述请求个体是否为所述异常请求个体。
18.一种获取异常请求特征的装置，其特征在于，包括：
原始请求数据获得单元，用于获得异常请求个体发出的原始请求数据；
异常请求数据获得单元，用于从所述原始请求数据中获得所述异常请求个体发出的异常请求数据；
未知异常请求特征获得单元，用于根据已知异常请求特征，从所述异常请求数据中获得未知异常请求特征。
19.一种检测异常请求特征的***，其特征在于，包括：上述权利要求13所述的检测异常请求个体的装置，以及上述权利要求14获取异常请求特征的装置。
20.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储检测异常请求个体的方法的程序，该设备通电并通过所述处理器运行该检测异常请求个体的方法的程序后，执行下述步骤：
获得原始请求数据中存在的异常请求数据；
确定所述异常请求数据所属的请求个体；
根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息；
根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体或者确定所述请求个体是否为所述异常请求个体。
21.一种存储设备，其特征在于，存储有检测异常请求个体的方法的程序，该程序被处理器运行，执行下述步骤：
获得原始请求数据中存在的异常请求数据；
确定所述异常请求数据所属的请求个体；
根据所述请求个体发出的请求数据的异常概率信息，获得所述请求个体的异常概率信息；
根据所述请求个体的异常概率信息，确定所述请求个体中存在的异常请求个体或者确定所述请求个体是否为所述异常请求个体。
CN201910327904.8A 2019-04-23 2019-04-23 一种检测异常请求个体的方法及装置 Active CN111835696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910327904.8A CN111835696B (zh) 2019-04-23 2019-04-23 一种检测异常请求个体的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910327904.8A CN111835696B (zh) 2019-04-23 2019-04-23 一种检测异常请求个体的方法及装置

Publications (2)

Publication Number Publication Date
CN111835696A true CN111835696A (zh) 2020-10-27
CN111835696B CN111835696B (zh) 2023-05-09

Family

ID=72912715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910327904.8A Active CN111835696B (zh) 2019-04-23 2019-04-23 一种检测异常请求个体的方法及装置

Country Status (1)

Country Link
CN (1) CN111835696B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150326520A1 (en) * 2012-07-30 2015-11-12 Tencent Technology (Shenzhen) Company Limited Method and device for detecting abnormal message based on account attribute and storage medium
CN105934765A (zh) * 2013-11-29 2016-09-07 通用电气航空***有限公司 从异常数据构造反常模型的方法
CN106027559A (zh) * 2016-07-05 2016-10-12 国家计算机网络与信息安全管理中心 基于网络会话统计特征的大规模网络扫描检测方法
CN106357618A (zh) * 2016-08-26 2017-01-25 北京奇虎科技有限公司 一种Web异常检测方法和装置
CN106982196A (zh) * 2016-01-19 2017-07-25 阿里巴巴集团控股有限公司 一种异常访问检测方法及设备
CN107222497A (zh) * 2017-06-30 2017-09-29 联想(北京)有限公司 网络流量异常监测方法及电子设备
CN107528904A (zh) * 2017-09-01 2017-12-29 星环信息科技（上海）有限公司 用于数据分布式异常检测的方法与设备
CN108259482A (zh) * 2018-01-04 2018-07-06 平安科技（深圳）有限公司 网络异常数据检测方法、装置、计算机设备及存储介质
CN108737406A (zh) * 2018-05-10 2018-11-02 北京邮电大学 一种异常流量数据的检测方法及***
CN109150838A (zh) * 2018-07-24 2019-01-04 湖南大学 一种针对慢速拒绝服务攻击的综合检测方法
CN109600345A (zh) * 2017-09-30 2019-04-09 北京国双科技有限公司 异常数据流量检测方法及装置
CN109614299A (zh) * 2018-09-25 2019-04-12 阿里巴巴集团控股有限公司 一种***异常检测方法、装置及电子设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150326520A1 (en) * 2012-07-30 2015-11-12 Tencent Technology (Shenzhen) Company Limited Method and device for detecting abnormal message based on account attribute and storage medium
CN105934765A (zh) * 2013-11-29 2016-09-07 通用电气航空***有限公司 从异常数据构造反常模型的方法
CN106982196A (zh) * 2016-01-19 2017-07-25 阿里巴巴集团控股有限公司 一种异常访问检测方法及设备
CN106027559A (zh) * 2016-07-05 2016-10-12 国家计算机网络与信息安全管理中心 基于网络会话统计特征的大规模网络扫描检测方法
CN106357618A (zh) * 2016-08-26 2017-01-25 北京奇虎科技有限公司 一种Web异常检测方法和装置
CN107222497A (zh) * 2017-06-30 2017-09-29 联想(北京)有限公司 网络流量异常监测方法及电子设备
CN107528904A (zh) * 2017-09-01 2017-12-29 星环信息科技（上海）有限公司 用于数据分布式异常检测的方法与设备
CN109600345A (zh) * 2017-09-30 2019-04-09 北京国双科技有限公司 异常数据流量检测方法及装置
CN108259482A (zh) * 2018-01-04 2018-07-06 平安科技（深圳）有限公司 网络异常数据检测方法、装置、计算机设备及存储介质
CN108737406A (zh) * 2018-05-10 2018-11-02 北京邮电大学 一种异常流量数据的检测方法及***
CN109150838A (zh) * 2018-07-24 2019-01-04 湖南大学 一种针对慢速拒绝服务攻击的综合检测方法
CN109614299A (zh) * 2018-09-25 2019-04-12 阿里巴巴集团控股有限公司 一种***异常检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN111835696B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN107483488B (zh) 一种恶意Http检测方法及***
US10721245B2 (en) Method and device for automatically verifying security event
CN107888571B (zh) 一种基于HTTP日志的多维度webshell入侵检测方法及检测***
CN110351280B (zh) 一种威胁情报提取的方法、***、设备及可读存储介质
EP2769508B1 (en) System and method for detection of denial of service attacks
CN108881263B (zh) 一种网络攻击结果检测方法及***
US20180075240A1 (en) Method and device for detecting a suspicious process by analyzing data flow characteristics of a computing device
WO2016192495A1 (zh) 账号被盗的风险识别方法、识别装置及防控***
CN106534051B (zh) 一种针对访问请求的处理方法和装置
CN108924118B (zh) 一种撞库行为检测方法及***
US10505986B1 (en) Sensor based rules for responding to malicious activity
CN107682345B (zh) Ip地址的检测方法、检测装置及电子设备
CN114915479B (zh) 一种基于Web日志的Web攻击阶段分析方法及***
CN107426196B (zh) 一种识别web入侵的方法及***
CN108282446B (zh) 识别扫描器的方法及设备
Cheng et al. A DDoS detection method for socially aware networking based on forecasting fusion feature sequence
CN105959294B (zh) 一种恶意域名鉴别方法及装置
CN115001812A (zh) 基于互联网的数据中心在线监管安全预警***
CN110955890B (zh) 恶意批量访问行为的检测方法、装置和计算机存储介质
CN113901441A (zh) 一种用户异常请求检测方法、装置、设备及存储介质
CN112671724A (zh) 一种终端安全检测分析方法、装置、设备及可读存储介质
US10313127B1 (en) Method and system for detecting and alerting users of device fingerprinting attempts
CN111835696B (zh) 一种检测异常请求个体的方法及装置
CN114172707A (zh) Fast-Flux僵尸网络检测方法、装置、设备及存储介质
Xi et al. Quantitative threat situation assessment based on alert verification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant