CN105516196A

CN105516196A - 基于http报文数据的并行化网络异常检测方法与***

Info

Publication number: CN105516196A
Application number: CN201610033198.2A
Authority: CN
Inventors: 马旸; 强小辉; 蔡冰; 王林汝; 吴超
Original assignee: JIANGSU BRANCH NATIONAL COMPUTER NETWORK AND INFORMATION SECURITY MANAGEMENT CENTER
Current assignee: JIANGSU BRANCH NATIONAL COMPUTER NETWORK AND INFORMATION SECURITY MANAGEMENT CENTER
Priority date: 2016-01-19
Filing date: 2016-01-19
Publication date: 2016-04-20

Abstract

本发明公开了基于HTTP报文数据的并行化网络异常检测方法与***，步骤包括获取HTTP报文数据，对HTTP报文数据进行数据清洗，对样本进行分层抽样，引入隐马尔科夫语法模型构建组合分类器并构建模糊化集合，使用组合分类器作为检测模型，引入模糊化集合动态判断待检测样本是否为异常访问记录，输出异常访问记录，本发明基于HADOOP大数据分析平台，可以全量分析HTTP报文数据，发现数据中隐藏的网络异常，此外，通过源IP进行回溯，结合与IP资源的比对，进一步挖掘发起攻击的终端的地理位置等社会信息，使得源头上阻止网络攻击发生变成可能。

Description

基于HTTP报文数据的并行化网络异常检测方法与***

技术领域：

本发明涉及网络安全应用领域，尤其涉及基于HTTP报文数据的并行化网络异常检测方法与***。

背景技术：

目前，网络异常已经成为国内乃至全世界的网络安全领域最为关注的危害之一。伴随着网络应用的迅速发展，网络异常带来的危害和影响也日益突显。根据CNCERT统计，SQL注入攻击、跨站点脚本攻击等主要网络攻击已经占网络安全事件的一半以上。网络异常一方面影响用户的正常享受网络服务，对网络服务提供商造成巨大的经济危害和信用危害，另一方面会窃取用户的隐私信息，甚至威胁到用户的资金安全和信息安全，危害巨大。

网络异常中的SQL注入、XSS等主要异常虽然攻击具体实现技术各不相同，但它们具有通用的攻击发起模式。即通过对参数进行注入payload来进行攻击，参数可能出现在GET、POST、PATH等等位置。因此，针对请求URL中的参数进行挖掘分析，是解决网络异常的一个重要突破口。已有的网络异常检测主要采用滥用检测方法和异常检测方法。滥用检测方法是利用预先定义的攻击特征来检测攻击，这种方法的准确率高，可应用于商业的入侵检测；它的缺点是：一方面需要手动定义不同的攻击特征模式，另一方面它无法有效应对新出现的攻击类型。异常检测方法学习访问的正常行为并建立正常访问的行为特征，检测并发现偏离正常访问的行为。异常检测方法的缺点是，对异常访问较为敏感，检测的错误率较高。

发明内容：

针对上述问题，本发明要解决的技术问题是提供基于HTTP报文数据的并行化网络异常检测方法与***。

本发明的基于HTTP报文数据的并行化网络异常检测方法与***，其特征在于：包括以下步骤：

a.获取HTTP报文数据；

b.对HTTP报文数据进行数据清洗并入库；

c.对入库的报文数据进行分层抽样，引入隐马尔科夫语法模型构建组合分类器并构建模糊化集合；

d.使用组合分类器作为检测模型，引入模糊化集合动态判断待检测样本是否为异常访问记录，输出异常访问记录。

优选的，所述HTTP报文数据包括记录标识、日期、时间、源IP点分式、请求URL的域名、路径、参数、HTTP访问的状态码和HTTP请求方式。

优选的，所述步骤b中数据清洗是基于HADOOP分布式计算框架，对HTTP报文数据进行清洗、入库，清洗后的HTTP报文数据包括源IP点分式、请求URL的域名、请求URL的路径、请求URL的参数、访问次数和日期，对参数尝试使用GBK、UTF-8、GB2312进行解码，进一步根据报文记录中的访问日期、源IP、请求URL的域名和请求URL的参数进行记录分组并统计频次。

优选的，所述步骤c中分层抽样是对样本记录进行抽样，每个IP每天抽取一条记录作为训练样本，以减少训练的计算复杂度，然后对抽取训练样本中的参数值和参数序列，引入隐马尔科夫语法模型并行的构造正常参数值和正常参数序列的语法模型，将不同参数的隐马尔科夫语法模型组成对应的隐马尔科夫组合分类器。

优选的，所述步骤d中组合分类器是作为检测模型，对待检测样本进行检测，计算得到待检测样本的评估概率值，为提高评估的正确率，引入模糊化集合，依据评估概率值进行模糊化和推理，判断该样本是否为异常访问记录。

本发明的基于HTTP报文数据的并行化网络异常检测***，包括：

数据采集单元，用于获取HTTP报文数据；

数据清洗单元，用于对HTTP报文数据进行清洗并入库；

数据训练单元，用于对入库的报文数据进行分层抽样，引入隐马尔科夫语法模型构建组合分类器并构建模糊化集合；

数据检测单元，用于使用组合分类器作为检测模型，引入模糊化集合动态判断待检测样本是否为异常访问记录，输出异常访问记录。

优选的，所述数据采集单元是通过架设HTTP报文采集服务器、镜像交换机以及光电转换等设备，实现HTTP报文数据的采集。

本发明有益效果：本发明基于HADOOP大数据分析平台，可以全量分析HTTP报文数据，发现数据中隐藏的网络异常；分析确定发起攻击的IP地址，可以针对IP地址进行封杀，使得已发生的网络异常减少影响范围。此外，通过源IP进行回溯，还可以通过与IP资源比对，进一步挖掘发起攻击的终端的地理位置等社会信息，使得源头上阻止网络攻击发生变成可能。

附图说明：

为了易于说明，本发明由下述的具体实施及附图作以详细描述。

图1是本发明基于HTTP报文数据的并行化网络异常分析方法的业务流程图；

图2是本发明基于HTTP报文数据的并行化网络异常分析方法的数据流程图；

图3是本发明基于HTTP报文数据的并行化网络异常分析方法的数据清洗的流程示意图；

图4是本发明基于HTTP报文数据的并行化网络异常分析***的模块示意图。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

如图1-4所示，本实施例的基于HTTP报文数据的并行化网络异常检测方法，其特征在于：包括以下步骤：

a.获取HTTP报文数据；

b.对HTTP报文数据进行数据清洗并入库；

具体地，HTTP报文数据包括记录标识、日期、时间、源IP点分式、请求URL的域名、路径、参数、HTTP访问的状态码和HTTP请求方式。

具体地，检测方法包含三个主要的数据处理过程，第一、数据清洗；第二、引入隐马尔科夫语法模型并行构建检测模型；第三、根据检测模型评估待检测记录。详细针对以上结构说明，步骤2中，基于HADOOP分布式计算框架，对HTTP报文数据进行清洗并入库。

数据清洗使用MapReduce计算实现，分为两个MapReduce程序。MapReduce程序一包含Mapper阶段，无Reducer阶段。Mapper阶段将原始的HTTP报文数据作为计算输入，其主要功能是去除不相关的字段、对参数值解码。

MapReduce程序二分为Mapper阶段和Reducer阶段。Mapper阶段对报文数据进行分片并分配到集群环境上并行运行。以源IP+日期+请求的URL作为KEY进行统计。Reducer阶段将Mapper阶段的输出根据KEY值进行规约统计，最终输出清洗后的HTTP报文数据。

清洗前的HTTP报文数据包括：记录标识、日期、时间、源IP点分式、请求URL的域名、路径、参数、HTTP访问的状态码、HTTP请求方式；

清洗后的HTTP报文数据包括：源IP点分式、请求URL的域名、请求URL的路径、请求URL的参数、访问次数、日期。

步骤3中，抽样选取报文记录、引入隐马尔科夫语法模型并行建立请求URL参数的检测模型、将不同参数的隐马尔科夫语法模型组成对应的隐马尔科夫组合分类器。

训练模型由三个过程组成。1）在HADOOP平台上，对样本记录按照IP字段分片，作并行分层抽样操作，保证每个源IP每天针对某一个请求只提供一个样本，得到训练样本集合B={b₁,b₂,…b_n}。2）引入隐马尔科夫语法模型建立请求URL参数的访问记录的正常模型。对请求URL样本b_i(1≤i≤n)进行分割，得到请求的域名、路径、参数。针对请求的不同参数在HADOOP平台的不同节点并行建立隐马尔科夫语法模型。请求的参数可作为一个字符序列Sequence。设b_i中包含的参数集合为P={p₁,p₂,…,p_m}，则请求记录中包含字符序列Sequence={(p₁,v₁),(p₂,v₂),…,(p_m,v_n)}。其中，p_j对应某个参数名称，v_j对应某个参数值。对于b_i的参数名称，{p₁,p₂,…,p_m}组成一个状态序列S_0i，每一个参数名称通过编码对应该序列中的一个状态，对参数名称序列建立隐马尔科夫语法模型M_0i。对于b_i的参数值，v_j对应一个状态序列S_ji，每个字符对应序列中的一个状态。参数值序列中的数字对应的隐含状态用N表示，序列中的英文字符、中文字符、中文标点字符对应的隐含状态用A表示，对控制字符及英文标点字符对应的隐含状态用自身表示，对参数值建立隐马尔科夫语法模型M_ii。即对于样本b_i，得到其对应的隐马尔科夫语法模型集合为{M_0i,M_1i,…M_ii,…,M_ni}。接着对训练样本集合中每个样本的隐马尔科夫语法模型集合进行压缩归并，一方面对重复的序列生成的隐马尔科夫语法模型进行归并；另一方面对具有相同前状态的序列进行压缩，对压缩相关的前转移概率相加，对后转移概率取几何平均值。压缩归并后得到隐马尔科夫语法模型组合分类器。下一步，确定训练样本的隐马尔科夫语法模型的最优评价标准。训练样本集合B={b₁,b₂,…,b_n}，对于隐马尔科夫语法模型M_ij，根据贝叶斯原则，模型取使得在B的条件下最大的后验概率为最优标准，后验概率即P(M_ij|B)=P(B|M_ij)P(M_ij)|P(B)。其中，P(M_ij)是模型本身的先验概率，P(B)为可忽略的常数，P(B|M_ij)可以通过累加各样本序列的输出概率得到，即P(B|M_ij)=∏P(b_i|M_ij),其中b_i∈B。3）将不同参数的隐马尔科夫语法模型组成对应的隐马尔科夫组合分类器并构建模糊集合。对训练样本中出现的参数和参数名称序列分别计算对应的概率集合，计算其分布的概率标准差σ和概率均值μ。在[0,1]上将概率划分为low，middle，high三个模糊值。模糊值low对应[0,μ-3σ)，模糊值middle对应[μ-3σ,μ+3σ]，模糊值high对应(μ+3σ,1]。

步骤4中，为了提高模型的分类效果，引入模糊化理论。设定模糊化集合，对隐马尔科夫语法模型的预测概率进行模糊化，映射得到隐马尔科夫语法模型集合的模糊化后的值。利用映射的值进行推理并去模糊化，得到模型的预测结果。输出预测结果为异常的报文记录。

此过程通过对隐马尔科夫语法模型的评估结果进行模糊化，按照规则进行推理得到最终预测结果并输出疑似恶意域名。具体包括：

1）对待检测的报文，抽取其请求参数，得到参数键值对序列{(p₁,v₁),(p₂,v₂),…,(p_n,v_n)}以及参数名称序列{p₁,p₂,…,p_n}。将序列输入对应的隐马尔科夫语法模型组合分类器计算得到相应的评估概率。

2）组合分类器中的每个隐马尔可夫语法模型计算待检测样本中的参数值或参数名称序列在对应语法模型中的评估概率。将隐马尔可夫语法模型计算的评估概率中的最小值作为概率集合作为该隐马尔可夫语法模型组合分类器的输出结果。

3）根据构建模糊化集合，将隐马尔可夫语法模型组合分类器的输出结果映射得到其对应的模糊值。由于隐马尔科夫语法模型的计算概率范围为[0,1]，在[0,1]上将概率划分为low，middle，high三个模糊值。模糊值low对应[0,μ-3σ)，模糊值middle对应[μ-3σ,μ+3σ]，模糊值high对应(μ+3σ,1]。

4）根据模糊规则库进行规则推理。规则库规则主要包括，规则1：参数名称序列的概率须为middle或者high；规则2：参数名称序列的概率优先级高于参数值序列的概率的权重；规则3：如果参数值序列的概率均不为low，而参数名称序列的概率为low，则样本判定为异常；规则4：如果参数名称序列的概率不为low，超过一半数量的参数值序列的概率均不为low，则样本判定为正常；规则5：如果参数名称序列的概率不为low，超过一半数量的参数值序列的概率为low，则样本判定为异常，输出判定为异常的样本。

与本发明方法实施例相对应，提供了基于HTTP报文数据的并行化网络异常检测***，包括：

数据采集单元，用于获取HTTP报文数据；

数据清洗单元，用于对HTTP报文数据进行清洗并入库；

具体地，数据采集单元是通过架设HTTP报文采集服务器、镜像交换机以及光电转换等设备，实现HTTP报文数据的采集。

本发明中方法的实施例采用递进的方式描述，对于***的实施例而言，由于其基本相似于方法的实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.基于HTTP报文数据的并行化网络异常检测方法，其特征在于：包括以下步骤：

a.获取HTTP报文数据；

b.对HTTP报文数据进行数据清洗并入库；

2.根据权利要求1所述的基于HTTP报文数据的并行化网络异常检测方法，其特征在于：所述步骤a中HTTP报文数据包括记录标识、日期、时间、源IP点分式、请求URL的域名、路径、参数、HTTP访问的状态码和HTTP请求方式。

3.根据权利要求1所述的基于HTTP报文数据的并行化网络异常检测方法，其特征在于：所述步骤b中数据清洗是基于HADOOP分布式计算框架，对HTTP报文数据进行清洗、入库，清洗后的HTTP报文数据包括源IP点分式、请求URL的域名、请求URL的路径、请求URL的参数、访问次数和日期，对参数尝试使用GBK、UTF-8、GB2312进行解码，进一步根据报文记录中的访问日期、源IP、请求URL的域名和请求URL的参数进行记录分组并统计频次。

4.根据权利要求1所述的基于HTTP报文数据的并行化网络异常检测方法，其特征在于：所述步骤c中分层抽样是对样本记录进行抽样，每个IP每天抽取一条记录作为训练样本，以减少训练的计算复杂度，然后对抽取训练样本中的参数值和参数序列，引入隐马尔科夫语法模型并行的构造正常参数值和正常参数序列的语法模型，将不同参数的隐马尔科夫语法模型组成对应的隐马尔科夫组合分类器。

5.根据权利要求1所述的基于HTTP报文数据的并行化网络异常检测方法，其特征在于：所述步骤d中组合分类器是作为检测模型，对待检测样本进行检测，计算得到待检测样本的评估概率值，为提高评估的正确率，引入模糊化集合，依据评估概率值进行模糊化和推理，判断该样本是否为异常访问记录。

6.基于HTTP报文数据的并行化网络异常检测***，包括：

数据采集单元，用于获取HTTP报文数据；

数据清洗单元，用于对HTTP报文数据进行清洗并入库；

7.根据权利要求6所述的基于HTTP报文数据的并行化网络异常检测***，其特征在于：所述数据采集单元是通过架设HTTP报文采集服务器、镜像交换机以及光电转换等设备，实现HTTP报文数据的采集。