CN113014549B - 基于http的恶意流量分类方法及相关设备 - Google Patents

基于http的恶意流量分类方法及相关设备 Download PDF

Info

Publication number
CN113014549B
CN113014549B CN202110139581.7A CN202110139581A CN113014549B CN 113014549 B CN113014549 B CN 113014549B CN 202110139581 A CN202110139581 A CN 202110139581A CN 113014549 B CN113014549 B CN 113014549B
Authority
CN
China
Prior art keywords
traffic
attack
malicious traffic
label
malicious
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110139581.7A
Other languages
English (en)
Other versions
CN113014549A (zh
Inventor
赵春辉
涂腾飞
张华�
秦素娟
李文敏
高飞
温巧燕
王华伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110139581.7A priority Critical patent/CN113014549B/zh
Publication of CN113014549A publication Critical patent/CN113014549A/zh
Application granted granted Critical
Publication of CN113014549B publication Critical patent/CN113014549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本说明书一个或多个实施例提供一种基于HTTP的恶意流量分类方法及相关设备，首先通过构建标签过滤库对恶意流量进行过滤，再将恶意流量与标签知识库中的标签匹配并确定恶意流量的攻击行为模式，最终通过人工研判对恶意流量进行归类，过滤掉虚假的成功恶意流量，储存真正成功的恶意流量并将未知攻击流量归类为新型攻击事件。本发明提供的恶意流量分类方法能够对网络中的恶意流量进行有效识别，准确检测出恶意流量类别，大幅度减少人工分析的工作量，对于新型恶意流量能够进行有效识别并存入恶意流量规则知识库，为后续分析网络攻击提供有力保障，确保网络安全。

Description

基于HTTP的恶意流量分类方法及相关设备
技术领域
本说明书一个或多个实施例涉及网络安全技术领域，尤其涉及一种基于HTTP(超文本传输协议)的恶意流量分类方法及相关设备。
背景技术
现如今随着互联网技术的不断发展，人们的生活和工作越来越依赖于各种互联网应用。但由于安全意识的缺乏和攻击技术不断向复杂化、多样化发展，许多网络应用都遭受着各种各样的网络攻击和安全威胁，暴露出很多的网络安全漏洞。异常流量检测作为攻击防御的第一步为攻击的拦截提供了有效的保障，因此，准确地检测出异常流量是保障网络应用可用性和安全性的关键。目前检测恶意流量的主要方式是使用规则匹配恶意流量，需要安全从业人员逐一分析样本，会消耗较大的人力，并且难以检测变种的恶意流量。
发明内容
有鉴于此，本说明书一个或多个实施例的目的在于提出一种基于超文本传输协议HTTP的恶意流量分类方法及相关设备。
基于上述目的，本说明书一个或多个实施例提供了一种基于超文本传输协议HTTP的恶意流量分类方法，包括：
响应于接收到基于HTTP的恶意流量，提取所述恶意流量的流量特征；
通过将所述流量特征与恶意流量标签过滤库中的过滤标签进行匹配，对所述恶意流量进行过滤和提取处理；
基于经过所述过滤和提取处理的所述恶意流量的流量特征、恶意流量标签知识库以及预定的特征-标签关联规则，给所述恶意流量附加所述恶意流量标签知识库中相应的知识标签；
基于所附加的知识标签，将所述恶意流量按攻击行为模式分类，
其中，所述恶意流量标签过滤库和所述恶意流量标签知识库是预先基于HTTP响应机制和安全防护模式而构建的。
进一步的，所述流量特征包括下列中至少一种：请求方式、统一资源定位符URL、互联网协议IP地址、请求参数、状态码、用户代理UA、响应正文。
进一步的，所述过滤标签包括下列中至少一种：Web应用防护***WAF标签、UA普通标签、UA特殊标签、恶意IP标签。
进一步的，所述过滤和提取处理包括下列之一：
响应于确定所述流量特征中任一个与所述过滤标签中的WAF标签相匹配，将所述恶意流量过滤掉；
响应于确定所述流量特征中的UA与所述过滤标签中的UA普通标签相匹配，将所述恶意流量过滤掉；
响应于确定所述流量特征中的UA与所述过滤标签中的UA特殊标签相匹配，提取所述恶意流量；
响应于确定所述流量特征中的IP地址与所述过滤标签中的恶意IP标签相匹配，提取所述恶意流量。
进一步的，所述知识标签包括下列中至少一种：常规攻击标签、Web指纹标签、漏洞攻击标签、敏感文件标签和Webshell标签。
进一步的，所述特征-标签关联规则包括：
根据所述流量特征中的请求方式、URL、请求参数和状态码，确定所述恶意流量是否与所述知识标签中的常规攻击标签关联；
根据所述流量特征中的IP地址，确定所述恶意流量是否与所述知识标签中的Web指纹标签关联；
根据所述流量特征中的URL，确定所述恶意流量是否与所述知识标签中的漏洞攻击标签关联；
根据所述流量特征中的URL、请求参数和响应正文，确定所述恶意流量是否与所述知识标签中的敏感文件标签关联；
根据所述流量特征中的请求方式、URL和请求参数，确定所述恶意流量是否与所述知识标签中的Webshell标签关联。
进一步的，所述攻击行为模式包括下列中至少一种：常规攻击攻击成功、常规攻击攻击尝试、针对性漏洞攻击、漏洞扫描攻击、漏洞利用未知攻击、未知攻击、敏感信息泄露、Webshell成功访问。
进一步的，将所述恶意流量按攻击行为模式分类包括下列中至少一个：
通过将所述恶意流量的流量特征与所述知识标签中的常规攻击标签进行匹配，将所述恶意流量分类为常规攻击攻击成功流量、常规攻击攻击尝试流量或常规攻击未匹配流量；
通过将所述常规攻击未匹配流量的流量特征与所述知识标签中的Web指纹标签和漏洞攻击标签进行匹配，将所述常规攻击未匹配流量分类为针对性漏洞攻击流量、漏洞扫描攻击流量、漏洞利用未知攻击流量、未知攻击流量或漏洞攻击未匹配流量；
通过将所述漏洞攻击未匹配流量的流量特征与所述知识标签中的敏感文件标签进行匹配，将所述漏洞攻击未匹配流量分类为敏感信息泄露流量或敏感文件标签未匹配流量；
通过将所述敏感文件标签未匹配流量的流量特征与所述知识标签中的WebShell标签进行匹配，将所述敏感文件标签未匹配流量分类为Webshell成功访问流量或Webshell标签未匹配流量。
基于同一发明构思，本说明书一个或多个实施例提供了一种基于HTTP协议的恶意流量分类装置，包括：
特征提取模块，被配置为响应于接收到基于HTTP的恶意流量，提取所述恶意流量的流量特征；
过滤和提取处理模块，被配置为通过将所述流量特征与恶意流量标签过滤库中的过滤标签进行匹配，对所述恶意流量进行过滤和提取处理；
标签附加模块，被配置为基于经过所述过滤和提取处理的所述恶意流量的流量特征、恶意流量标签知识库以及预定的特征-标签关联规则，给所述恶意流量附加所述恶意流量标签知识库中相应的知识标签；
分类模块，被配置为基于所附加的知识标签，将所述恶意流量按攻击行为模式分类，
其中，所述恶意流量标签过滤库和所述恶意流量标签知识库是预先基于HTTP响应机制和安全防护模式而构建的。
基于同一发明构思，本说明书一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，其中，所述处理器在执行所述计算机程序时实现如上述任意一项所述的方法。
从上面所述可以看出，本说明书一个或多个实施例提供的一种基于HTTP的恶意流量分类方法及相关设备，首先通过构建标签过滤库对恶意流量进行过滤，再将恶意流量与标签知识库中的标签匹配并确定恶意流量的攻击行为模式，最终通过人工研判对恶意流量进行归类，过滤掉虚假的成功恶意流量，储存真正成功的恶意流量并将未知攻击流量归类为新型攻击事件。本发明提供的安全事件挖掘方法能够对网络中的恶意流量进行有效识别，准确检测出恶意流量类别，大幅度减少人工分析的工作量，对于新型恶意流量能够进行有效识别并存入恶意流量规则知识库，为后续分析网络攻击提供有力保障，确保网络安全。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例的基于HTTP的恶意流量分类方法的流程示意图；
图2为本说明书一个或多个实施例的恶意流量的流量特征与知识库标签关联的示意图；
图3为本说明书一个或多个实施例的恶意流量的常规攻击模式匹配的示意图；
图4为本说明书一个或多个实施例的常规攻击未匹配的恶意流量的攻击模式匹配的示意图；
图5为本说明书一个或多个实施例的漏洞攻击未匹配的恶意流量的攻击模式匹配的示意图；
图6为本说明书一个或多个实施例的敏感信息泄露未匹配的恶意流量的攻击模式匹配的示意图；
图7为本说明书一个或多个实施例的基于HTTP的恶意流量分类装置的模块结构示意图；
图8为本说明书一个或多个实施例的电子设备硬件结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
如背景技术部分所述，HTTP协议(超文本传输协议)是用于从万维网服务器传输超文本到本地浏览器的传送协议，用途十分广泛。随着互联网的快速发展，人们对互联网的依赖正在日益增加。然而，互联网的开放性特点使得任何符合其技术标准的设备或软件都可以不受限制地接入互联网，导致互联网各类安全事件层出不穷，网络安全形势变得日益严峻。当面临各种网络安全威胁时，发现和确定恶意流量的效率将是有决定性意义的。
申请人在实现本公开的过程中发现，在实际网络环境中，存在大量未知类型的网络攻击行为。现有技术中，仅能使用有限数量的已知网络攻击类型的样本数据进行标注，标注过程需要从业人员逐一进行确定，消耗大量人力，存在检测效率低、错检概率高的问题。
以下，通过具体的实施例进一步详细说明本公开的技术方案。
本实施例提供了一种基于超文本传输协议HTTP的恶意流量分类方法，参考图1，具体包括以下步骤：
步骤S101、响应于接收到基于HTTP的恶意流量，提取所述恶意流量的流量特征。
作为一可选实施例，所述流量特征包括请求方式、统一资源定位符URL(UniformResource Locator)、互联网协议IP地址、请求参数、状态码、用户代理UA(User-Agent)、响应正文，这些流量特征在恶意流量中以单条流量的JSON(JavaScript Object Notation)文本格式存储。
作为一可选实施例，所述流量特征提取具体方法为：对于请求方式，提取RequestMethod字段的内容，格式为“Request Method：请求方式”，本发明只包括GET和POST请求方式；对于URL，提取Remote Address字段的内容，格式为“Remote Address：URL”；对于IP地址，提取Host字段的内容，格式为“Host：URL”；对于请求参数，若HTTP请求方式为GET，则认为请求参数为URL字符串中“？”的后续部分，若HTTP请求方式为POST，则认为请求参数为HTTP字段中的POST参数，若请求参数当中包含“&”字符，则说明请求参数当中具有多个请求参数名以及请求参数值，将请求参数按照“&”字符进行分割后，得到多个格式为“请求参数名＝请求参数值”的具体参数；对于状态码，提取Status Code字段，格式为“Status Code：状态码”，主要包括“200”、“404”等；对于User-Agent，提取User-Agent字段，格式为“User-Agent：User-Agent”；对于响应正文，提取响应报文中除状态码和响应头的所有信息。
步骤S102、通过将所述流量特征与恶意流量标签过滤库中的过滤标签进行匹配，对所述恶意流量进行过滤和提取处理。
本步骤中，选取恶意流量标签过滤库中的过滤标签，并与提取到的流量特征进行匹配，依据匹配的标签，将恶意流量分为无效攻击流量、特殊标记流量和无标记流量三类，其中无效攻击流量直接进行过滤，特殊标签流量被单独提取并进行人工研判，无标记流量直接进入下一步骤。
作为一可选实施例，所述过滤标签包括以下几种：WAF(Web ApplicationFirewal)标签、UA普通标签、UA特殊标签、恶意IP标签。WAF标签主要来自sqlmap、wafw00f等开源工具，UA普通标签主要来自sqlmap等一些扫描工具，恶意IP标签主要来自开源恶意IP地址库。UA特殊标签来自于开源的扫描器工具(sqlmap、hydra、WPScan等)、自制扫描器(python-request、ruby、java等)的UA特征。UA特殊标签标记的流量代表攻击的发起已经包含一定的先验知识，具有很强的针对性和很大的成功率，需要进行人工研判。恶意IP来自于开源的威胁情报，表示目前活跃的持续进行攻击行为的主机。跟踪这类标签流量，可以获取最新的漏洞情报，容易发现未知的攻击模式。
无效攻击流量主要是WAF标签和UA普通标签过滤的恶意流量；特殊流量主要是特殊UA标签和恶意IP标签过滤的恶意流量。
具体的，如表1所示，若恶意流量的任意特征与标签中的WAF标签相匹配，则将此恶意流量直接过滤；若恶意流量的UA特征与标签中的UA普通标签相匹配，则将对恶意流量进行过滤；若恶意流量的UA特征与UA特殊标签相匹配，则将对恶意流量单独进行提取分析；若恶意流量的IP地址特征与标签中的恶意IP标签相匹配，则将对此恶意流量单独进行提取分析。
表1恶意流量过滤标签匹配与相应处理方法
Figure BDA0002928060300000071
步骤S103、基于经过所述过滤和提取处理的所述恶意流量的流量特征、恶意流量标签知识库以及预定的特征-标签关联规则，给所述恶意流量附加所述恶意流量标签知识库中相应的知识标签。
作为一可选实施例，所述知识标签包括下列中至少一种：常规攻击标签、Web指纹标签、漏洞攻击标签、敏感文件标签和Webshell标签。其中，常规攻击标签主要为针对恶意攻击请求和响应编写的规则，采用YARA语法编写，至少包括SQL注入、XSS攻击、本地文件包含。Web指纹标签可以帮助识别受害目标的指纹信息，至少包括代码语言、操作***、web服务器、web框架、数据库。漏洞攻击标签指的是针对web框架或平台的漏洞攻击规则，至少包括内容管理***(CMS)、Web中间件、服务器等漏洞规则。敏感文件标签主要针对Windows和Linux下一些关键的文件，至少包括配置文件、密码文件、文件目录。Webshell标签可以帮助识别黑客植入的后门，主要包含PHP平台Webshell、Java平台Webshell以及.NET平台Webshell。
作为一可选实施例，参考图2，所述预定的特征-标签关联规则包括：
根据所述流量特征中的请求方式、URL、请求参数和状态码确定所述恶意流量是否与所述常规攻击标签相关联；
根据所述流量特征中的IP地址确定所述恶意流量是否与所述Web指纹标签相关联；
根据所述流量特征中的URL确定所述恶意流量是否与所述漏洞攻击标签相关联；
根据所述流量特征中的URL、请求参数和响应正文确定所述恶意流量是否与敏感文件标签相关联；
根据所述流量特征中的所述请求方式、URL和请求参数确定所述恶意流量是否与Webshell标签相关联。
具体预定关联规则格式示例如下：
1.import"httprule"
2.rule framework_xxx_yyy//恶意流量标签名称
3.{
4.meta:
5.tag＝"framework_xxx_yyy"
6.description＝"描述信息"
7.filetype＝"unknown"
8.condition://恶意流量标签关联特征规则
9.httprule.requestMethod＝＝“请求方式”and
10.httprule.requestURL(/流量URL的特征/)and
11.…
12.}
如上述示例所示，恶意流量标签知识库为每个特征定义对应的字段，每个字段值对应特征的具体描述，通过一定数量特征字段+描述的组合来表示一条流量的具体特征详情。
步骤S104、基于所附加的知识标签，将所述恶意流量按攻击行为模式分类，其中，所述恶意流量标签过滤库和所述恶意流量标签知识库是预先基于HTTP响应机制和安全防护模式而构建的。
作为一可选实施例，所述攻击行为模式包括下列中至少一种：常规攻击攻击成功、常规攻击攻击尝试、针对性漏洞攻击、漏洞扫描攻击、漏洞利用未知攻击、未知攻击、敏感信息泄露、Webshell成功访问。基于知识标签确定攻击行为模式具体参见表2，其中，
常规攻击攻击成功模式表示有请求(q)，有成功响应(p1)的常规攻击；
常规攻击攻击尝试模式表示有请求(q)，无成功响应(p2)的常规攻击；
针对性漏洞攻击模式表示匹配上Web指纹标签(f1)和匹配上漏洞攻击标签(Vf1)；
漏洞扫描攻击模式表示匹配上Web指纹标签(f1)和未匹配上漏洞攻击标签(Vf2)；
漏洞利用未知攻击模式表示未匹配上Web指纹标签(f2)和匹配上漏洞攻击标签(Vf1)；
未知攻击模式表示未匹配上Web指纹标签(f2)和未匹配上漏洞攻击标签(Vf2)；
敏感信息泄露攻击模式表示匹配上敏感文件标签；
Webshell成功访问攻击模式表示匹配上Webshell标签。
表2攻击行为模式确定规则
Figure BDA0002928060300000091
Figure BDA0002928060300000101
具体的，知识标签匹配及攻击模式确定格式实例如下：
Figure BDA0002928060300000102
Figure BDA0002928060300000111
在上述示例中，漏洞攻击标签VulTags告诉我们：攻击者针对xx网站发起”ThinkPHP SQL注入漏洞攻击”，由指纹标签VulTags可知被攻击网站使用的框架指纹为ThinkPHP，与漏洞攻击一致。由此可知，该流量的攻击模式为针对性漏洞攻击，这种针对性攻击模式成功概率很高，将进入人工研判。
作为一可选实施例，参考图3，将恶意流量的流量特征与常规攻击标签进行匹配，将恶意流量分为常规攻击攻击成功流量、常规攻击攻击尝试流量、常规攻击未匹配流量。
参考图4，将常规攻击未匹配流量的流量特征与Web指纹标签和漏洞攻击标签进行匹配，将常规攻击未匹配流量分为针对性漏洞攻击流量、漏洞扫描攻击流量、漏洞利用未知攻击流量、未知攻击流量、漏洞攻击未匹配流量。
参考图5，将漏洞攻击未匹配流量的流量特征与敏感文件标签进行匹配，将漏洞攻击未匹配流量分为敏感信息泄露流量和敏感文件标签未匹配流量。
参考图6，将敏感文件标签未匹配流量的流量特征与WebShell标签进行匹配，匹配成功后，经过自动化产生相应的攻击行为模式，将敏感文件标签未匹配流量分为Webshell成功访问流量和Webshell标签未匹配流量。
将步骤S102中产生的UA特殊标签流量、恶意IP标签流量和步骤S104中经过分类的流量进行人工研判，对每种攻击行为模式下的恶意流量进行人工分析，过滤掉虚假的成功恶意流量，得到真正成功的恶意流量，并将其归类为真正成功事件，同时对于其中的未知攻击流量，人工分析其关键特征，并将其归类为新型攻击事件。人工分析方法具体为：将攻击行为模式按照危险程度进行排序，对于危险程度高的攻击行为模式下的恶意流量进行重点分析，对于危险程度低的攻击行为模式下的恶意流量进行简略分析。本实施例中，危险程度高的行为模式包括常规攻击成功、针对性漏洞攻击、漏洞利用未知攻击、未知攻击、敏感信息泄露、Webshell成功访问。危险程度低的行为模式包括常规攻击攻击尝试、漏洞扫描攻击和无效攻击。
对于真正成功事件，将其特征存入恶意流量威胁情报库。如表3所示，真正成功事件至少包括SQL注入、XSS攻击、本地文件包含等常规攻击成功事件，漏洞利用成功事件，目录遍历、信息泄露等攻击事件，Webshell成功攻击事件。对于新型攻击事件，总结其关键特征，最终存入恶意流量规则知识库，为后续的恶意流量检测提供支持。
表3各攻击行为模式产生的结果事件
Figure BDA0002928060300000121
基于步骤S101至步骤S104，完成对网络攻击恶意流量的过滤及分类，存储成功恶意流量并将未知攻击流量归类为新型攻击流量。
可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。
需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，参考图7，本公开的一个实施例提供了一种基于HTTP协议的恶意流量分类装置，包括：
特征提取模块701，被配置为响应于接收到基于HTTP的恶意流量，提取所述恶意流量的流量特征；
过滤和提取处理模块702，被配置为通过将所述流量特征与恶意流量标签过滤库中的过滤标签进行匹配，对所述恶意流量进行过滤和提取处理；
标签附加模块703，被配置为基于经过所述过滤和提取处理的所述恶意流量的流量特征、恶意流量标签知识库以及预定的特征-标签关联规则，给所述恶意流量附加所述恶意流量标签知识库中相应的知识标签；
分类模块704，被配置为基于所附加的知识标签，将所述恶意流量按攻击行为模式分类，
其中，所述恶意流量标签过滤库和所述恶意流量标签知识库是预先基于HTTP响应机制和安全防护模式而构建的。
作为一可选实施例，所述特征提取模块701，具体被配置为，所述流量特征包括下列中至少一种：请求方式、统一资源定位符URL、互联网协议IP地址、请求参数、状态码、用户代理UA、响应正文。
作为一可选实施例，所述过滤和提取处理模块702，具体被配置为，所述过滤标签包括下列中至少一种：Web应用防护***WAF标签、UA普通标签、UA特殊标签、恶意IP标签。
作为一可选实施例，所述过滤和提取处理模块702，具体被配置为，所述过滤和提取处理包括下列之一：
响应于确定所述流量特征中任一个与所述过滤标签中的WAF标签相匹配，将所述恶意流量过滤掉；
响应于确定所述流量特征中的UA与所述过滤标签中的UA普通标签相匹配，将所述恶意流量过滤掉；
响应于确定所述流量特征中的UA与所述过滤标签中的UA特殊标签相匹配，提取所述恶意流量；
响应于确定所述流量特征中的IP地址与所述过滤标签中的恶意IP标签相匹配，提取所述恶意流量。
作为一可选实施例，所述标签附加模块703，具体被配置为，所述知识标签包括下列中至少一种：常规攻击标签、Web指纹标签、漏洞攻击标签、敏感文件标签和Webshell标签。
作为一可选实施例，所述标签附加模块703，具体被配置为，根据所述流量特征中的请求方式、URL、请求参数和状态码，确定所述恶意流量是否与所述知识标签中的常规攻击标签关联；
根据所述流量特征中的IP地址，确定所述恶意流量是否与所述知识标签中的Web指纹标签关联；
根据所述流量特征中的URL，确定所述恶意流量是否与所述知识标签中的漏洞攻击标签关联；
根据所述流量特征中的URL、请求参数和响应正文，确定所述恶意流量是否与所述知识标签中的敏感文件标签关联；
根据所述流量特征中的请求方式、URL和请求参数，确定所述恶意流量是否与所述知识标签中的Webshell标签关联。
作为一可选实施例，所述分类模块704，具体被配置为，所述攻击行为模式包括下列中至少一种：常规攻击攻击成功、常规攻击攻击尝试、针对性漏洞攻击、漏洞扫描攻击、漏洞利用未知攻击、未知攻击、敏感信息泄露、Webshell成功访问。
作为一可选实施例，所述分类模块704，具体被配置为，将所述恶意流量按攻击行为模式分类包括下列中至少一个：
通过将所述恶意流量的流量特征与所述知识标签中的常规攻击标签进行匹配，将所述恶意流量分类为常规攻击攻击成功流量、常规攻击攻击尝试流量或常规攻击未匹配流量；
通过将所述常规攻击未匹配流量的流量特征与所述知识标签中的Web指纹标签和漏洞攻击标签进行匹配，将所述常规攻击未匹配流量分类为针对性漏洞攻击流量、漏洞扫描攻击流量、漏洞利用未知攻击流量、未知攻击流量或漏洞攻击未匹配流量；
通过将所述漏洞攻击未匹配流量的流量特征与所述知识标签中的敏感文件标签进行匹配，将所述漏洞攻击未匹配流量分类为敏感信息泄露流量或敏感文件标签未匹配流量；
通过将所述敏感文件标签未匹配流量的流量特征与所述知识标签中的WebShell标签进行匹配，将所述敏感文件标签未匹配流量分类为Webshell成功访问流量或Webshell标签未匹配流量。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，本说明书一个或多个实施例还提供了一种相关设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上任意实施例所述的方法。
图8示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的相关设备用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (7)

1.一种基于超文本传输协议HTTP的恶意流量分类方法，包括：
响应于接收到基于HTTP的恶意流量，提取所述恶意流量的流量特征；
通过将所述流量特征与恶意流量标签过滤库中的过滤标签进行匹配，对所述恶意流量进行过滤和提取处理，
所述流量特征包括下列中至少一种：请求方式、统一资源定位符URL、互联网协议IP地址、请求参数、状态码、用户代理UA、响应正文，
所述过滤标签包括下列中至少一种：Web应用防护***WAF标签、UA普通标签、UA特殊标签、恶意IP标签，
响应于确定所述流量特征中任一个与所述过滤标签中的WAF标签相匹配，将所述恶意流量过滤掉；
响应于确定所述流量特征中的UA与所述过滤标签中的UA普通标签相匹配，将所述恶意流量过滤掉；
响应于确定所述流量特征中的UA与所述过滤标签中的UA特殊标签相匹配，提取所述恶意流量；
响应于确定所述流量特征中的IP地址与所述过滤标签中的恶意IP标签相匹配，提取所述恶意流量；
基于经过所述过滤和提取处理的所述恶意流量的流量特征、恶意流量标签知识库以及预定的特征-标签关联规则，给所述经过滤和提取处理后的恶意流量附加所述恶意流量标签知识库中相应的知识标签；
基于所附加的知识标签，将所述经过滤和提取处理后的恶意流量按攻击行为模式分类，
其中，所述恶意流量标签过滤库和所述恶意流量标签知识库是预先基于HTTP响应机制和安全防护模式而构建的。
2.根据权利要求1所述的方法，其中，所述知识标签包括下列中至少一种：常规攻击标签、Web指纹标签、漏洞攻击标签、敏感文件标签和Webshell标签。
3.根据权利要求2所述的方法，其中，所述特征-标签关联规则包括：
根据所述流量特征中的请求方式、URL、请求参数和状态码，确定所述恶意流量是否与所述知识标签中的常规攻击标签关联；
根据所述流量特征中的IP地址，确定所述恶意流量是否与所述知识标签中的Web指纹标签关联；
根据所述流量特征中的URL，确定所述恶意流量是否与所述知识标签中的漏洞攻击标签关联；
根据所述流量特征中的URL、请求参数和响应正文，确定所述恶意流量是否与所述知识标签中的敏感文件标签关联；
根据所述流量特征中的请求方式、URL和请求参数，确定所述恶意流量是否与所述知识标签中的Webshell标签关联。
4.根据权利要求2所述的方法，其中，所述攻击行为模式包括下列中至少一种：常规攻击攻击成功、常规攻击攻击尝试、针对性漏洞攻击、漏洞扫描攻击、漏洞利用未知攻击、未知攻击、敏感信息泄露、Webshell成功访问。
5.根据权利要求4所述的方法，其中，将所述经过滤和提取处理后的恶意流量按攻击行为模式分类包括下列中至少一个：
通过将所述经过滤和提取处理后的恶意流量的流量特征与所述知识标签中的常规攻击标签进行匹配，将所述恶意流量分类为常规攻击攻击成功流量、常规攻击攻击尝试流量或常规攻击未匹配流量；
通过将所述常规攻击未匹配流量的流量特征与所述知识标签中的Web指纹标签和漏洞攻击标签进行匹配，将所述常规攻击未匹配流量分类为针对性漏洞攻击流量、漏洞扫描攻击流量、漏洞利用未知攻击流量、未知攻击流量或漏洞攻击未匹配流量；
通过将所述漏洞攻击未匹配流量的流量特征与所述知识标签中的敏感文件标签进行匹配，将所述漏洞攻击未匹配流量分类为敏感信息泄露流量或敏感文件标签未匹配流量；
通过将所述敏感文件标签未匹配流量的流量特征与所述知识标签中的WebShell标签进行匹配，将所述敏感文件标签未匹配流量分类为Webshell成功访问流量或Webshell标签未匹配流量。
6.一种基于HTTP协议的恶意流量分类装置，包括：
特征提取模块，被配置为响应于接收到基于HTTP的恶意流量，提取所述恶意流量的流量特征；
过滤和提取处理模块，被配置为通过将所述流量特征与恶意流量标签过滤库中的过滤标签进行匹配，对所述恶意流量进行过滤和提取处理，
所述流量特征包括下列中至少一种：请求方式、统一资源定位符URL、互联网协议IP地址、请求参数、状态码、用户代理UA、响应正文，
所述过滤标签包括下列中至少一种：Web应用防护***WAF标签、UA普通标签、UA特殊标签、恶意IP标签，
响应于确定所述流量特征中任一个与所述过滤标签中的WAF标签相匹配，将所述恶意流量过滤掉；
响应于确定所述流量特征中的UA与所述过滤标签中的UA普通标签相匹配，将所述恶意流量过滤掉；
响应于确定所述流量特征中的UA与所述过滤标签中的UA特殊标签相匹配，提取所述恶意流量；
响应于确定所述流量特征中的IP地址与所述过滤标签中的恶意IP标签相匹配，提取所述恶意流量；
标签附加模块，被配置为基于经过所述过滤和提取处理的所述恶意流量的流量特征、恶意流量标签知识库以及预定的特征-标签关联规则，给所述经过滤和提取处理后的恶意流量附加所述恶意流量标签知识库中相应的知识标签；
分类模块，被配置为基于所附加的知识标签，将所述经过滤和提取处理后的恶意流量按攻击行为模式分类，
其中，所述恶意流量标签过滤库和所述恶意流量标签知识库是预先基于HTTP响应机制和安全防护模式而构建的。
7.一种相关设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，其中，所述处理器在执行所述计算机程序时实现如权利要求1至5中任意一项所述的方法。
CN202110139581.7A 2021-02-01 2021-02-01 基于http的恶意流量分类方法及相关设备 Active CN113014549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110139581.7A CN113014549B (zh) 2021-02-01 2021-02-01 基于http的恶意流量分类方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110139581.7A CN113014549B (zh) 2021-02-01 2021-02-01 基于http的恶意流量分类方法及相关设备

Publications (2)

Publication Number Publication Date
CN113014549A CN113014549A (zh) 2021-06-22
CN113014549B true CN113014549B (zh) 2022-04-08

Family

ID=76384807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110139581.7A Active CN113014549B (zh) 2021-02-01 2021-02-01 基于http的恶意流量分类方法及相关设备

Country Status (1)

Country Link
CN (1) CN113014549B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554317B (zh) * 2021-07-27 2023-12-08 北京天融信网络安全技术有限公司 网络攻击数据分发研判方法、装置、设备和存储介质
CN113923021B (zh) * 2021-10-09 2023-09-22 中国联合网络通信集团有限公司 基于沙箱的加密流量处理方法、***、设备及介质
CN114021040B (zh) * 2021-11-15 2022-05-24 北京华清信安科技有限公司 基于业务访问的恶意事件的告警及防护方法和***
CN114584402B (zh) * 2022-05-07 2022-08-05 浙江御安信息技术有限公司 基于攻击特征识别标签库的威胁过滤研判方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102571486A (zh) * 2011-12-14 2012-07-11 上海交通大学 一种基于BoW模型和统计特征的流量识别方法
CN108965350A (zh) * 2018-10-23 2018-12-07 杭州安恒信息技术股份有限公司 一种邮件审计方法、装置和计算机可读存储介质
CN109960729A (zh) * 2019-03-28 2019-07-02 国家计算机网络与信息安全管理中心 Http恶意流量的检测方法及***
CN112235230A (zh) * 2019-07-15 2021-01-15 北京观成科技有限公司 一种恶意流量识别方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10187401B2 (en) * 2015-11-06 2019-01-22 Cisco Technology, Inc. Hierarchical feature extraction for malware classification in network traffic
CN110912888B (zh) * 2019-11-22 2021-08-10 上海交通大学 一种基于深度学习的恶意http流量检测***和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102571486A (zh) * 2011-12-14 2012-07-11 上海交通大学 一种基于BoW模型和统计特征的流量识别方法
CN108965350A (zh) * 2018-10-23 2018-12-07 杭州安恒信息技术股份有限公司 一种邮件审计方法、装置和计算机可读存储介质
CN109960729A (zh) * 2019-03-28 2019-07-02 国家计算机网络与信息安全管理中心 Http恶意流量的检测方法及***
CN112235230A (zh) * 2019-07-15 2021-01-15 北京观成科技有限公司 一种恶意流量识别方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于样本增强的网络恶意流量智能检测方法";陈铁明等;《通信学报》;20200612;第128-137页 *

Also Published As

Publication number Publication date
CN113014549A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113014549B (zh) 基于http的恶意流量分类方法及相关设备
CN110324311B (zh) 漏洞检测的方法、装置、计算机设备和存储介质
CN111600850B (zh) 一种检测挖矿虚拟货币的方法、设备及存储介质
US10721245B2 (en) Method and device for automatically verifying security event
CN109862003B (zh) 本地威胁情报库的生成方法、装置、***及存储介质
CN102984161B (zh) 一种可信网站的识别方法和装置
CN111163095B (zh) 网络攻击分析方法、网络攻击分析装置、计算设备和介质
US11792221B2 (en) Rest API scanning for security testing
CN110336835B (zh) 恶意行为的检测方法、用户设备、存储介质及装置
EP3547121B1 (en) Combining device, combining method and combining program
CN107332804B (zh) 网页漏洞的检测方法及装置
CN111163094B (zh) 网络攻击检测方法、网络攻击检测装置、电子设备和介质
CN103746992A (zh) 基于逆向的入侵检测***及其方法
CN115150261B (zh) 告警分析的方法、装置、电子设备及存储介质
CN109344614B (zh) 一种Android恶意应用在线检测方法
CN114528457A (zh) Web指纹检测方法及相关设备
US20230205888A1 (en) Security Event Modeling and Threat Detection Using Behavioral, Analytical, and Threat Intelligence Attributes
CN114006746A (zh) 一种攻击检测方法、装置、设备及存储介质
CN102984162B (zh) 可信网站的识别方法和收集***
Bhardwaj et al. Forensic analysis and security assessment of IoT camera firmware for smart homes
US20190325136A1 (en) Analysis apparatus, analysis method, and analysis program
TWI758632B (zh) 高效處理海量數據的資料蒐集系統
KR102001814B1 (ko) 모바일 장치 기반의 악성 스크립트 탐지 방법 및 그 장치
CN111291044A (zh) 敏感数据识别方法、装置、电子设备及存储介质
US20230156017A1 (en) Quantification of Adversary Tactics, Techniques, and Procedures Using Threat Attribute Groupings and Correlation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant