CN103095711A - 一种针对网站的应用层DDoS攻击检测方法和防御*** - Google Patents

Abstract

本发明涉及一种应用层DDoS攻击检测方法及防御***，涉及网络安全，特别是应用层DDoS攻击检测与防御。本发明通过对用户访问行为进行分析，提出了基于用户点击序列预测的检测方法与防御***。首先提取网站的页面URL，利用聚类算法进行聚类，得到该网站的页面分类V _j 和用户点击序列；然后利用用户点击序列构建随机游走图，通过随机游走过程计算用户下一观测周期点击序列；最后计算预测序列与点击序列的序列相似度，通过训练阈值来判断用户点击序列的异常性。本发明能有效检测应用层DDoS攻击，特别是模拟正常用户行为的攻击请求，可广泛应用于数据中心网站服务器安全防御。

Description

一种针对网站的应用层DDoS攻击检测方法和防御***

技术领域

本发明涉及网络安全领域，尤其是涉及针对网站的应用层DDoS攻击检测方法和防御***。

背景技术

分布式拒绝服务攻击(Distributed Denial of Service, DDoS)，一直是互联网业务提供者-Web服务器所面临的最为严重的威胁之一。传统基于网络层或传输层的DDoS攻击方式已经被日益成熟的网络防护技术（防火墙、入侵检测技术等）很好地检测，同时计算模式的变化使得更多的服务通过Web进行交互，这加速了DDoS攻击方式向应用层发展。发生在应用层的DDoS攻击通常采用真实IP地址作为攻击节点，利用应用层协议的漏洞，向目标服务器发送大量基于HTTP合法协议的攻击请求，可轻松穿越网络防护***，这无疑使它成为当前Web服务器急需解决的安全问题。

然而大多数的研究成果是对网络层或传输层DDoS攻击进行检测，已经不适合基于应用层DDoS攻击的检测。已有的应用层DDoS攻击检测方法也主要针对基于HTTP协议的洪式攻击检测，通过对HTTP请求的流量特征或协议特征进行统计分析来实现攻击检测，这对于采用正常速率攻击请求的非对称攻击方式则是无效的。

Ranjan提出了基于会话中HTTP请求统计异常度的检测方法，该方法首先对网站页面进行分类，然后统计每个会话中的用户HTTP请求的分类情况，并以此来训练正常用户的HTTP请求模型，最后通过与正常用户模型的偏离程度识别攻击请求。该方法针对非对称攻击的特性，首次以HTTP请求对资源消耗情况进行了页面分类；但它采用会话中的HTTP请求统计特征进行正常模型的训练，所体现出来的仍然是流量的特征，然而非对称攻击者的流量特性与正常用户一致，而且采用的统一模型并不能对所有类型用户访问特征进行描述。

发明内容

本发明的目的是：针对网站的基于应用层HTTP协议DDoS攻击，提供一种能对采用洪式和非对称攻击方式的攻击流量进行检测的方法和防御***；由于非对称攻击方式下，攻击者的流量特性与正常用户一致，给攻击检测和防御带来困难，为此，发明人提出相应的解决方案。

一种针对网站的应用层DDoS攻击检测方法，包括如下步骤：

提取网站的页面URL，利用K-means聚类算法对HTTP请求按照网站进行分类，得到该网站的页面分类集合V _j ，j为页面类型，将HTTP请求与页面分类集合V _j 进行匹配，进而得到用户点击序列u _i ={x ₁ ,x ₂ ,…,x _n }，x _i 表示用户的一次点击，i为独立用户数。

利用用户点击序列u _i ={x ₁ ,x ₂ ,…,x _n }训练得到页面转移概率矩阵P _Vj 。

根据用户点击序列u _i ={x ₁ ,x ₂ ,…,x _n }，构造该用户所访问页面随机游走图。

根据用户当前观测周期内的用户点击序列u _i ={x ₁ ,x ₂ ,…,x _n }、页面转移概率矩阵P _Vj 和页面随机游走图进行随机游走计算，预测得到用户下一观测周期的用户点击序列u ^’ _i ={x ^’ ₁ ,x ^’ ₂ ,…,x ^’ _n }。随机游走计算中的概率分布向量计算公式为                                               ，其中p为邻接矩阵，s ₀为初始概率分布向量，为跳转发生概率，d为发生跳转时跳转到每个顶点的概率分布向量。p具体为页面转移概率矩阵P _Vj ；s ₀从随机游走图中得到；d具体为页面转移概率矩阵P _Vj 中的一个列向量；跳转发生概率

设置为0.15。

计算当前观测周期内的用户点击序列u _i ={x ₁ ,x ₂ ,…,x _n }和下一观测周期的用户点击序列u ^’ _i ={x ^’ ₁ ,x ^’ ₂ ,…,x ^’ _n }的序列相似度。序列相似度的计算公式为

，u _i 表示当前观测周期内的用户点击序列，u ^’ 表示下一观测周期的用户点击序列。

根据序列相似度与阈值进行比较判断用户点击序列u _i 是否正常，如果序列相似度小于阈值则表明该用户点击序列u _i 为攻击序列，反之为正常访问序列。

一种针对网站的应用层DDoS攻击防御***，包括请求处理模块、模型训练模块、序列预测模块和异常检测模块，其中，请求处理模块利用K-means聚类算法对HTTP请求按照网站进行分类，得到分类集合V _j ，进而得到用户点击序列u _i ，并将用户点击序列u _i 传交到模型训练模块和序列预测模块；模型训练模块根据用户点击序列u _i 构造随机游走图，获得网站页面转移概率矩阵P _Vj ，并提交给序列检测模块；序列预测模块在用户点击序列u _i 的当前观测周期的基础上，根据随机游走图预测下一个观测周期用户点击序列u ^’ _i ；异常检测模块将当前观测周期内的用户点击序列u _i 和下一个观测周期用户点击序列u ^’ _i 进行序列相似度计算。

本发明能有效检测应用层DDoS攻击，特别是模拟正常用户行为的攻击请求，可广泛应用于数据中心网站服务器安全防御。

附图说明

图1为应用层DDoS攻击防御***部署示意图；

图2为应用层DDoS攻击防御***体系结构示意图；

图3为应用层DDoS攻击检测方式示意图；

图4为用户点击序列预测及异常检测示意图；

图5为随机游走示意图。

具体实施方式

如图1所示为应用层DDoS攻击防御***部署示意图，***部署于数据中心web服务器1.2前端，用于保护数据中心的所有web服务器1.2。***对访问数据中心服务器80端口1.1的HTTP请求进行检测，如果为攻击请求则丢弃，如果为正常请求则转发给服务器。

如图2所示为应用层DDoS攻击防御***体系结构示意图，该***主要由以下四个模块组成：

请求处理模块1，本模块负责对访问服务器的HTTP请求进行预处理，首先根据HTTP请求采用K-means（基于距离的聚类算法）聚类算法对一个网站的页面进行分类，得到分类集合V _j ；j为页面类型，其次根据HTTP请求与页面分类集合V _j 进行匹配，得到用户的点击序列u _i ={x ₁ ,x ₂ ,…,x _n },u _i 中的元素 x _i ∈V _j ，将用户点击序列交给模型训练模块2与序列预测模块3。

模型训练模块2，本模块负责训练网站用户访问行为，构造用户访问页面随机游走图和网站页面的转移概率矩阵P _Vj ，提交给序列预测模块使用。用户访问页面随机游走图针对单个用户，可以用于区分单个用户的访问行为；网站页面的转移概率矩阵用于描述访问该网站所有用户的群聚行为，用于避免单个用户行为不同所带来的差异性。

序列预测模块3，本模块负责在用户点击序列u _i ={x ₁ ,x ₂ ,…,x _n }的当前观测周期的基础上，根据随机游走图预测下一个观测周期用户点击序列u ^’ _i ={x ^’ ₁ ,x ^’ ₂ ,…,x ^’ _n }。

异常检测模块4，本模块负责对用户点击序列的正常性进行检测，将观测周期内用户点击序列u _i ={x ₁ ,x ₂ ,…,x _n }和预测得到的用户点击序列u ^’ _i ={x ^’ ₁ ,x ^’ ₂ ,…,x ^’ _n }进行序列相似度计算，如果相似度高于阈值，则为正常用户请求，转发给服务器；如果相似度低于阈值，则为DDoS攻击请求，则丢弃该用户的HTTP请求。

为了解决攻击者伪装正常用户访问过程，***在用户点击序列识别中采用了基于随机游走的预测方法，能够对用户下一个周期的访问行为进行准确预测。

采用本发明提出的应用层DDoS攻击检测方法，弥补了传统以用户流量特征为基础方法的不足，能够有效对流量特征正常、而资源消耗高的非对称HTTP攻击请求进行检测，避免了传统***使用同一模型描述所有用户行为所带来的误差。

如图3所示为应用层DDoS攻击检测方法示意图，该方法包括以下六个步骤：

1、首先提取网站的页面URL，根据URL深度、URL流行度和用户忠诚度，利用K-means（基于距离的聚类算法）聚类算法进行聚类，得到该网站的页面分类V _j ，j为页面类型。

2、通过IP区分一个用户，得到该用户一次会话中的点击序列u _i ={x ₁ ,x ₂ ,…,x _n }，i为独立用户数，利用所有用户的点击序列训练页面转移概率矩阵P _Vj 。

3、根据用户的一次会话点击序列u _i ={x ₁ ,x ₂ ,…,x _n }，构造该用户所访问页面的随机游走图。

4、根据用户当前观测时间内的点击序列u _i ={x ₁ ,x ₂ ,…,x _n }，页面转移概率矩阵P _Vj 和页面随机游走图进行随机游走过程计算，预测得到用户下一观测周期的用户点击序列u ^’ _i ={x ^’ ₁ ,x ^’ ₂ ,…,x ^’ _n }。

5、计算观测序列u _i ={x ₁ ,x ₂ ,…,x _n }和预测序列u ^’ _i ={x ^’ ₁ ,x ^’ ₂ ,…,x ^’ _n }的序列相似度，计算公式为

，u _i 表示当前观测周期内的用户点击序列，u ^’ 表示下一观测周期的用户点击序列。

6、根据序列相似度与阈值进行比较判断该序列的正常性，如果序列相似度小于阈值则表明该用户访问序列为攻击序列，反之为正常访问序列。

下面以一个具体实例对用户点击序列随机游走图构造方法进行分析，例子：页面集合

中有5个页面，即k=5，训练集合D中有4条用户访问序列分别为u ₁={1,2,3,4,4}，u ₂={3,4,5,2}，u ₃={3,5,2,4,1,3}，u ₄={2,1,5}，则由页面集合

和训练集合D导出的有向的随机游走图如图5所示。

图4所示为用户点击序列预测及异常检测示意图，本方法通过观测周期T内获取的用户点击序列u _i (k)={x ₁ ,x ₂ ,…,x _n }，通过随机游走过程计算下一个观测周期T+1内的用户点击序列u _i ^`(k+1)={x _n+1, x _n+2, …, x _m+n  }，具体的计算过程如下：

以观测周期T内的用户点击序列u _i (k)={x ₁ ,x ₂ ,…,x _n }为输入，通过随机游走过程计算用户下一次点击x _n+1，随机游走过程需要4个输入参数：邻接矩阵p，初始概率分布向量s ₀，跳转发生概率，发生跳转时跳转到图中每个顶点的概率分布向量d。其中邻接矩阵p为网站页面转移概率矩阵P _Vj ；初始概率分布向量s ₀从随机游走图中得到；跳转概率分布向量d为网站页面转移概率矩阵P _Vj 中的一个列向量；跳转发生概率

设置为0.15。

每次游走过程后的输出概率分布向量记作s，s的计算方法如下式所示：

                            （1）

将向量s作为式(1)的输入

，反复迭代式(1)直至收敛，将此时的概率分布向量记作

，向量

即为稳定状态的概率分布向量，从向量

中选取x _n+1的下一次点击x _n+1。

根据新得到的点击x _n+1构成点击序列u _i (k)={x ₂ ,x ₂ ,…,x _n+1}，将它作为输入通过随机游走过程计算下一次点击x _n+2，如此重复计算m次，得到观测周期T+1内的用户点击序列u _i ^{`</sup>(k+1)={x <sub>n+1</sub>, x <sub>n+2</sub>, …, x <sub>m+n</sub> }。计算观测周期T+1内的观测序列u <sub>i</sub> (k+1)={x <sub>1</sub>, x <sub>2</sub>, …, x <sub>m</sub>  }和预测序列u <sub>i</sub> <sup>`}(k+1)={x _n+1, x _n+2, …, x _m+n }的相似度，实现序列异常检测。

Claims (5)

1. 一种针对网站的应用层DDoS攻击检测方法，其特征在于，包括如下步骤：

提取网站的页面URL，利用K-means聚类算法对HTTP请求按照网站进行分类，得到该网站的页面分类集合V _j ，j为页面类型，进而得到用户点击序列u _i ={x ₁ ,x ₂ ,…,x _n }，i为独立用户数；

利用用户点击序列u _i ={x ₁ ,x ₂ ,…,x _n }训练得到页面转移概率矩阵P _Vj ；

根据用户点击序列u _i ={x ₁ ,x ₂ ,…,x _n }，构造该用户所访问页面随机游走图；

根据用户当前观测周期内的用户点击序列u _i ={x ₁ ,x ₂ ,…,x _n }、页面转移概率矩阵P _Vj 和页面随机游走图进行随机游走计算，预测得到用户下一观测周期的用户点击序列u ^’ _i ={x ^’ ₁ ,x ^’ ₂ ,…,x ^’ _n }；

计算当前观测周期内的用户点击序列u _i ={x ₁ ,x ₂ ,…,x _n }和下一观测周期的用户点击序列u ^’ _i ={x ^’ ₁ ,x ^’ ₂ ,…,x ^’ _n }的序列相似度；

根据序列相似度与阈值进行比较判断用户点击序列u _i 是否正常，如果序列相似度小于阈值则表明该用户点击序列u _i 为攻击序列，反之为正常访问序列。

2.根据权利要求1所述一种针对网站的应用层DDoS攻击检测方法，其特征在于：所述得到页面分类集合V _j 后，将HTTP请求与页面分类集合V _j 进行匹配，进而得到用户点击序列u _i ={x ₁ ,x ₂ ,…,x _n }。

3.根据权利要求1所述一种针对网站的应用层DDoS攻击检测方法，其特征在于：所述随机游走计算中的概率分布向量计算公式为                                               

，其中p为邻接矩阵，s ₀为初始概率分布向量，

为跳转发生概率，d为发生跳转时跳转到每个顶点的概率分布向量。

4.根据权利要求1所述一种针对网站的应用层DDoS攻击检测方法，其特征在于：所述序列相似度的计算公式为

，u _i 表示当前观测周期内的用户点击序列，u ^’ 表示下一观测周期的用户点击序列。

5.一种针对网站的应用层DDoS攻击防御***，其特征在于：包括请求处理模块（1）、模型训练模块（2）、序列预测模块（3）和异常检测模块（4），其中，请求处理模块（1）利用K-means聚类算法对HTTP请求按照网站进行分类，得到分类集合V _j ，进而得到用户点击序列u _i ，并将用户点击序列u _i 传交到模型训练模块（2）和序列预测模块（3）；模型训练模块（2）根据用户点击序列u _i 构造随机游走图，获得网站页面转移概率矩阵P _Vj ，并提交给序列检测模块（3）；序列预测模块（3）在用户点击序列u _i 的当前观测周期的基础上，根据随机游走图预测下一个观测周期用户点击序列u ^’ _i ；异常检测模块（4）将当前观测周期内的用户点击序列u _i 和下一个观测周期用户点击序列u ^’ _i 进行序列相似度计算。

Images