CN100352208C - 一种大型网站数据流的检测与防御方法 - Google Patents

Abstract

本发明提供了一种适合于大型网站流的突发性的统计异常检测和防攻击方法，包括揭示突发流的隐半马尔可夫模型建模方法、高效的模型训练和流的正常性测量算法、以及相应的优先级排队服务和流量控制措施。本发明适用于构建一个具有对正常流提供正常服务和对DDoS洪水式攻击流进行过滤的、适合于大型网站如体育、新闻、娱乐、商业网站的统计异常检测和防御***。

Description

一种大型网站数据流的检测与防御方法

                          技术领域

本发明属于网络安全技术领域，特别是涉及一种大型网站数据流的检测与防御方法。

技术背景    大型网站的安全，具有与一般网站不同的特点。大型网站的峰值业务量非常巨大，在峰值时段最容易遭受洪水式攻击。所以，最直接有效的对大型网站的攻击将是DDoS(Distributed Denial-of-Service分布式拒绝服务)的洪水式攻击。大型网站的业务量还具有突发性的特点，相比于一般网站的业务量，它更容易与洪水式攻击相混淆。通常的为一般网站建立的抵御入侵的统计异常检测方法，有可能会把正常的、突如其来的流误判为攻击流，因而变得不适用。因此，大型网站的安全问题，是一种新的技术挑战。

已有的大型网站采用的安全策略，主要是通过采用超大容量的服务器阵列、超大带宽的网络接入、以及分布式的多级、多点结构，以提高网站的可靠性和化解洪水式流量的攻击。这种安全策略的主要问题是，人们不可能无穷尽地增加***容量，以抵抗任何程度的DDoS攻击；过大的***容量也有可能得不到实际的利用。所以，采取有效的检测与抵抗DDoS攻击的措施，对于在合理的投入和配置条件下，提高大型网站的安全是非常重要的。

大型网站业务量的变化，是一个非稳态的随机过程。普通网站的用户对网站的访问，受用户作息时间的影响比较大，因而服务器上的业务量，具有明显的以日、星期为周期的变化。这种业务量的宏观变化特性，被用来进行业务量在不同时区服务器之间的动态负载均衡、对网站的分类和对流量的预测。普通网站的这种宏观特性，可以在数小时内保持不变，因而，普通网站业务量模型往往局限于峰值时段的、假定为稳态过程的模型。大型网站的用户行为受大型活动安排的影响比较大，流量在活动举行前后和进行期间达到高峰(持续十几至几十分钟)。这种宏观上的变化，使得大型网站的峰值流具有非稳态变化特性。

近十年来的许多研究表明，实际的流具有二阶自相似性(second orderself-similarity)和长相关性(long-range dependence)。所以，对于大型网站的业务量的随机变化，仍然要用具有二阶自相似性或长相关性的随机过程来描述。考虑到模型的广泛适用性和参数估计算法的有效性，本发明将采用hiddensemi-Markov model(HSMM)来描述业务量的随机变化过程。Hidden Markovmodel(HMM)已经在语音识别、手写体/文字识别、数字通信编解码、DNA序列分类等许多重要领域获得了广泛和成功的应用。与HMM相比，HSMM更适合于描述非稳态和非Markovian分布。HSMM能够(但HMM不能)描述实际流的二阶自相似性/长相关性和随时间的动态变化特性，能够估计用于衡量自相似性的Hurst parameter。所以，利用HSMM可以检测业务量的统计异常情况，确定业务量的大小，等等。

                          发明内容

本发明的目的在于克服现有技术的不足，提供一种能很好区分到达大型网站的突如其来的大量正常数据流和攻击流并屏蔽攻击流的一种大型网站数据流的检测与防御方法。

本发明采用的技术方案如下：

一种大型网站数据流的检测与防御方法，通过采用隐半马尔可夫模型建立检测模型并利用大型网站的正常数据流训练所述检测模型，再将所述检测模型实时应用于检测到达大型网站的数据流，具体检测办法为计算各个数据流的观测序列相对于检测模型的或然概率，然后按照数据流的或然概率的分布和大小进行优先级排队，优先级越高的数据流就越优先得到服务，优先级越低的数据流则越后获得服务。

本发明所述的检测模型隐半马尔可夫模型的建模方法及模型训练方法包括：

(1)建立模型：设大型网站正在检测的数据流具有M个离散状态，分别表示为1，2，...，M并记这些状态的集合为S，状态转移关系用具有M状态的马尔可夫链来描述，矩阵A表示状态转移概率，它的元素a_mn代表从状态m到状态n的转移概率，状态之间的转移是由低到高或由高到低逐级变化的过程，即当|m-n|＞1时a_mn＝0；

采用b_m(k)表示对于给定状态m在单位时间内到达k个实体的概率，其符合Poisson分布，即 $b_m\left(k\right)=P(X=k|\mathrm{state\; m})=\frac{{{\mathrm{\μ}}_m}^{k-1}}{(k-1)!}{e}^{-{\mathrm{\μ}}_m},$ 其中，k＝1，2，...，∞，μ_m＞0，m∈S，μ₁≤μ₂≤...≤μM；

再令p_m(d)代表状态m的持续时间的离散概率分布，它表示前后两个状态之间的时间差为d的概率，其符合Pareto分布，即 $p_m\left(d\right)=d^{{-\mathrm{\λ}}_m}-{(d+1)}^{-{\mathrm{\λ}}_m},$ 其中，d＝1，2，...，∞，λ_m＞0，m∈S，

然后用参数的集合Ω＝{A，π，λ，μ}来代表隐半马尔可夫模型，其中π＝(π₁，π₂，...，π_M)，是初始状态概率分布向量，λ＝(λ₁，λ₂，...，λ_M)，μ＝(μ₁，μ₂，...，μ_M)；

(2)模型训练：即反复迭代运用如下所述的前向算法、反向算法和参数估计算法公式，直到模型参数收敛到一组固定的值，形成一个完善的检测模型。

前向—反向算法如下：

令o_t代表第t个观测向量，包括第t批到达的实体数r_t和从第t-1批的开始时刻到第t批的开始时刻之间的时间间隔q_t-1，即o_t＝(q_t-1，r_t)，o_a ^b代表从第a个到第b个观测向量序列，o₁ ^T则代表整个观测序列，其长度为T，s_t代表流在第t个批到达时的状态，1≤t≤T，再定义下列变量，

${\mathrm{\α}}_t\left(m\right)=\mathrm{Pr}[o_1^t,s_t=m|\mathrm{\Ω}],$

${\mathrm{\β}}_t\left(m\right)=\mathrm{Pr}\left[o_{t+1}^T\right|s_t=m,\mathrm{\Ω}],$

${\mathrm{\γ}}_t\left(m\right)=\mathrm{Pr}[s_t=m|o_1^T,\mathrm{\Ω}]=\frac{{\mathrm{\α}}_t\left(m\right){\mathrm{\β}}_t\left(m\right)}{\mathrm{Pr}\left[o_1^T\right|\mathrm{\Ω}]},$

${\mathrm{\ξ}}_t(m,n)=\mathrm{Pr}[s_t=m,s_{t+1}=n|o_1^T,\mathrm{\Ω}]=\frac{{\mathrm{\α}}_t\left(m\right)p_m\left(q_t\right)a_{\mathrm{mn}}{b}_n\left(r_{t+1}\right){\mathrm{\β}}_{t+1}\left(n\right)}{\mathrm{Pr}\left[o_1^T\right|\mathrm{\Ω}]},$

前向算法如下：

α₁(m)＝π_mb_m(r₁)，

${\mathrm{\α}}_t\left(m\right)=\left(\underset{M\≥n=m-1,m,m+1\≥1}{\mathrm{\Σ}}{\mathrm{\α}}_{t-1}\left(n\right)p_n\left(q_{t-1}\right)a_{\mathrm{nm}}\right)b_m\left(r_t\right),t=2,...,T,m\∈S,$

反向算法如下：

β_T(m)＝1，

${\mathrm{\β}}_t\left(m\right)=\underset{M\≥n=m-1,m,m+1\≥1}{\mathrm{\Σ}}{p}_m\left(q_t\right)a_{\mathrm{mn}}{\mathrm{\β}}_{t+1}\left(n\right)b_n\left(r_{t+1}\right),$ t＝T-1，T-2，...，1，m∈S，

参数估计算法如下：

参数λ_m的最大或然估计 ${\widehat{\mathrm{\λ}}}_m=\arg \underset{{\mathrm{\λ}}_m}{\max }\underset{d\≥1}{\mathrm{\Σ}}{\hat{p}}_m\left(d\right)\ln (d^{-{\mathrm{\λ}}_m}-{(d+1)}^{-{\mathrm{\λ}}_m}),$

或近似得到 ${\widehat{\mathrm{\λ}}}_m\≈\frac{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_t\left(m\right)}{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_t\left(m\right)(\ln q_t+\frac{1}{2}\ln \frac{q_t+1}{q_t})}=\frac{2\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_t\left(m\right)}{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_t\left(m\right)\left(\ln q_t(q_t+1)\right)},$

参数μ_m的最大或然估计 ${\widehat{\mathrm{\μ}}}_m=\frac{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_t\left(m\right)(r_t-1)}{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_t\left(m\right)},$

初始状态概率分布π_m的最大或然估计 ${\widehat{\mathrm{\π}}}_m=\frac{{\mathrm{\γ}}_1\left(m\right)}{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}_1\left(m\right)},$

状态转移概率a_mn的最大或然估计 ${\widehat{\mathrm{\α}}}_m=\frac{\underset{t=1}{\overset{T-1}{\mathrm{\Σ}}}{\mathrm{\ξ}}_t(m,n)}{\underset{n=1}{\overset{M}{\mathrm{\Σ}}}\underset{t=1}{\overset{T-1}{\mathrm{\Σ}}}{\mathrm{\ξ}}_t(m,n)},$

本发明所述的检测模型的训练可离线进行，也可在线训练，离线训练为脱机利用正常数据流对检测模型进行训练，确保训练后的模型可准确计算正常数据流的或然概率，而所述在线训练则在具体工作时同步进行，先把离线训练后可投入使用的检测模型参数当前的值作为初值，并实时采集到达网站的数据流，当数据流被检测为正常时，反复运用“前向-反向”算法和参数估计算法，直到模型参数收敛到一组固定的值为止。

本发明所述的将检测模型实时应用于检测到达大型网站的数据流，即计算各个数据流的观测序列相对于检测模型的或然概率，其或然概率的具体计算方法为先采用前向算法，

α₁(m)＝π_mb_m(r₁)，

${\mathrm{\α}}_t\left(m\right)\left(\underset{M\≥n=m-1,m,m+1\≥1}{\mathrm{\Σ}}{\mathrm{\α}}_{t-1}\left(n\right)p_n\left(q_{t-1}\right)a_{\mathrm{nm}}\right)b_m\left(r_t\right),$ t＝2，...，T，m∈S，

再采用如下公式计算： $\mathrm{Pr}\left[o_1^t\right|\mathrm{\Ω}]=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_t\left(m\right).$

上述技术方案中，所述的数据流指每秒到达网站的请求数、或分组数、或字节数、或连接数、或会话数、或页面数、或用户数、或上述任意组合的数据量，并且所述的数据流包括来自于单个用户的流、或来自于代理服务器的代表了一群用户的汇聚流、或所有新用户的汇总流、或到达大型网站的汇总流。

本发明通过隐半马尔可夫模型建立检测模型；再通过正常数据流训练检测模型；又以该检测模型实时测试到达大型网站的数据流；通过数据流相对于检测模型的或然概率的大小和分布进行优先级排队，正常流将具有较大的或然概率并符合正常流的或然概率分布从而被赋予较高的优先级，攻击流将不符合正常流模型并具有较低的或然概率或超出正常流的或然概率分布之外从而被赋予较低的优先级。因此，正常流将以高的优先权获得网站提供的正常服务，优先级最低的数据流在网络资源紧缺时，将被抛弃，从而很好地实现区分突如其来的大量正常数据流和攻击流，达到对正常流提供正常服务并防止攻击流对大型网站进行攻击的目的。

                          附图说明

图1为本发明的结构示意图。

                        具体实施方式

下面结合附图对本发明做进一步的说明。

本发明的结构示意图如附图1所示。首先对网络正常使用情况下的流进行采集，经过必要的处理，如转换格式和滤除不需要的信息，后保存到正常用户数据集①内。②是HSMM模型参数估计模块，它包含HSMM前向-反向算法和参数的迭代估计公式，该模块在第一次对模型进行训练时，首先按照预设的值给模型参数赋初值，即令a_1，1＝a_1，2＝a_M，M＝a_M，M-1＝1/2，a_m，m＝a_m，m-1＝a_m，m+1＝1/3(1＜m＜M)，π_m＝1/M，1＜λ_m＝1.5＜2，μ_m＝max(r_t)×m/M，M＝10，然后进行前向-反向迭代运算，并求得所有模型参数估计值，重复这种迭代过程，直到或然概率Pr[o₁ ^T|Ω]不再增长或增长很小时为止。训练得到的模型参数和正常流相对于该模型的熵的分布将保存到HSMM模型参数③内备用，前向算法模块④包含HSMM的前向算法，它们所需要的模型参数取自于HSMM模型参数③，前向算法模块④将用于实时在线的流的统计异常检测。

在实际应用需要时，本发明也可以对模型参数进行在线更新。这时正常用户数据流集①的数据来自于实时采集的流，当实时采集的数据被检测为正常时，即可以输入到正常用户数据流集①内用于对模型参数的实时更新，用于模型参数实时更新的数据序列长度可以限于几十分钟到一个小时，以便模型适合于流量的动态变化和减少训练所需的时间。在进行模型参数实时更新时，HSMM模型参数估计模块②将把模型参数当前的值作为初值(而不是预设的值)，运用HSMM的前向-反向算法，经过多次重复迭代以后，得到模型参数的更新值。更新结果保存到HSMM模型参数③内，以备前向算法模块④调用。

⑤是流的采集与区分模块，当该模块接收到一个分组时，由其源目IP地址、协议、端口或者cookies等进行流的区分，然后累加该流在当前单位时间内到达的实体数r_t；在当前单位时间结束时，计算与上次批到达之间的时间差q_t-1，并从数据库中提取该流的前向变量值{α_t-1(m)}，送入前向算法模块④计算前向变量{α_t(m)}，再计算熵ln(Pr[o₁ ^t|Ω])/t，由这个熵在正常流熵分布中出现的概率得到该流相对于给定模型参数的“正常”程度，按照正常程度的大小，将该流下一单位时间内到达的分组送入分类排队控制模块⑥中相应的队列进行排队服务，正常程度越大，则优先权越高；反之则越低，最低优先权的分组，在网络资源不够时，将被过滤掉。由此达到保护正常流和滤除攻击流的目的，当被监测的流是总流量或总的新用户数时，分类排队控制模块⑥只对异常情况进行报警。

本实施例：首先由一组观测序列，对模型进行训练：

a)给出模型参数集合Ω的初值。可以采用各种合适的赋初值的办法。但一种简单而又合理的赋初值的方法是令状态转移概率为等概率分布，即令a_1，1＝a_1，2＝a_M，M＝a_M，M-1＝1/2，a_m，m＝a_m，m-1＝a_m，m+1＝1/3(1＜m＜M)，π_m＝1/M；令状态的持续时间分布p_m(d)为重尾的Pareto分布，即1＜λ_m＝1.5＜2；令不同给定状态的实体的到达率不同，即μ_m＝max(r_t)×m/M。M可以是10～30之间的任一整数。

b)运用前向算法和反向算法迭代运算求前向变量{α_t(m)}和β_t(m)}。。

c)运用参数估计算法求得模型参数集合Ω的估计值。

d)重复步骤b)和c)直到或然概率Pr[o₁ ^T|Ω]收敛到一定的值。

e)将这组观测序列的熵(即ln Pr[o₁ ^T|Ω]/T)的频率分布作为正常流的熵的分布。

由于模型训练可以离线进行，所以不会影响***的在线运行性能。实际上模型训练的时间也不长。如果实际应用需要，该模型也可以在线训练，用于训练的序列长度可以限于几十分钟到一个小时，以便模型适合于流量的动态变化和减少训练所需的时间。在线训练可能面临的问题是如何保证用于训练的流是正常流而不包含攻击流。

然后将训练后的模型实际应用于流的统计异常检测，即计算各个流对于给定模型参数的或然概率：

a)当检测***第一次收到来自于某个流(由源目IP地址、协议、端口或者cookies进行流的区分)的实体时，统计它在该单位时间(例如1秒)内到达的实体数，并计算前向变量的初始值α₁(m)，m∈S；令t＝1，τ₀是该单位时间的开始时刻。

b)在当前的单位时间(其开始时刻是第τ秒)，如果收到该流的实体，则令t＝t+1，并统计该流在该单位时间内到达的实体数r_t，以及与上次批到达之间的时间差q_t-1＝τ-τ₀。然后令τ₀＝τ

c)计算前向变量α_t(m)，m∈S，再计算熵ln(Pr[o₁ ^t|Ω])/t。

d)该熵在正常流熵分布中出现的概率就是该流相对于给定模型参数(代表了所有正常用户共同特征)的“正常”程度。

e)重复步骤b)和d)。

在或然概率计算中，最主要的时间可能在于从存储器中搜索每个流在前一次批到达时的前向变量值{α_t-1(m)，m∈S}。这个搜索时间可以通过对IP地址的Hash运算、建立搜索树、分流处理等而大大减少。另外，利用到达某一网站的IP分组的时间局域性(即最近出现过的源IP地址，有很大的概率再次出现)，通过堆栈，使得最近出现过的IP地址在堆栈顶端，从而使得搜索地址列表的平均时间减少。实际上，并不需要对每个流单独进行检测，可以将若干个流汇聚在一起进行检测。例如，将32bit的IP地址缩写为10bit的码，则需要检测的“汇聚流”个数只有1024个。当检测***发现其中某个汇聚流异常时，可以对该汇聚流进行更细致的分析，即对其中的每一个流进行检测和分析，找出造成异常的那些流。

在计算得到了一个流的熵ln(Pr[o₁ ^t|Ω])/t以后，就可以按照这个值在正常流熵分布中出现概率的大小，将该流的后续分组送入相应的队列进行排队服务。这个值出现的概率越大，则优先权越高；反之则越低。最低优先权的实体，在网络资源不够时，将被过滤掉。由此达到保护正常流和化解DDoS攻击流的目的。

此外，对大型网站进行攻击的流可以是任意产生的流，也可以是伪装正常的流，或者重放正常的流。对付任意产生的流、伪装源地址的流、利用其它服务器反射的流以及重放正常的流的有效办法之一是采用cookies。没有携带服务器即时产生的cookies的分组，可以很容易地被发现，因而被区别对待。例如，对于没有cookies的分组，如果其源IP地址或端口近期访问过该网站，则可以简单地过滤掉。否则，可以作为可能的新用户，由专门的队列甚至专门的服务器提供速率受限的服务(新用户出现的速率通常只占总用户到达率的很小的比例)。所以，难以检测和过滤的流是那些具有正常的地址、端口和cookies的攻击流。这种攻击流为了达到对网站的“洪水”式的攻击，必然要采用超大的流量或者协调众多的攻击流，从而在统计特性上表现出“异常”。这种异常将可以由本发明所提出的检测技术模块检测出来，并被相应的防御技术模块所过滤掉。

Claims (6)

1、一种大型网站数据流的检测与防御方法，其特征在于采用隐半马尔可夫模型建立检测模型并利用大型网站的正常数据流训练所述检测模型，再将所述检测模型实时应用于检测到达大型网站的数据流，具体检测办法为计算各个数据流的观测序列相对于检测模型的或然概率，然后按照数据流的或然概率的分布和大小进行优先级排队，优先级越低的数据流越后获得服务。

2、根据权利要求1所述的大型网站数据流的检测与防御方法，其特征在于所述的隐半马尔可夫模型的建模方法及模型训练方法包括：

(1)建立模型，设大型网站正在检测的数据流具有M个离散状态，分别表示为1，2，...，M，并记这些状态的集合为S，状态转移关系用具有M状态的马尔可夫链来描述，矩阵A表示状态转移概率，它的元素a_mn代表从状态m到状态n的转移概率，状态之间的转移是由低到高或由高到低逐级变化的过程，即当|m-n|＞1时a_mn＝0；

采用b_m(k)表示对于给定状态m在单位时间内到达k个实体的概率，其符合Poisson分布，即 $b_m\left(k\right)=P(X=\mathrm{kistatem})={{\mathrm{\μ}}_m}^{k-1}{e}^{-{\mathrm{\μ}}_m}/(k-)!,$ 其中，k＝1，2，...，∞，μ_m＞0，m∈S，μ₁≤μ₂≤...≤μ_M；

再令p_m(d)代表状态m的持续时间的离散概率分布，它表示前后两个状态之间的时间差为d的概率，其符合Pareto分布，即 $p_m\left(d\right)=d^{-{\mathrm{\λ}}_m}-{(d+1)}^{-{\mathrm{\λ}}_m},$ 其中，d＝1，2，...，∞，λ_m＞0，m∈S，

然后用参数的集合Q＝{A，π，λ，μ}来代表隐半马尔可夫模型，其中π＝(π₁，π₂，...，π_M)，是初始状态概率分布向量，λ＝(λ₁，λ₂，...，λ_M)，μ＝(μ₁，μ₂，...，μ_M)；

(2)模型训练，包括主要的前向-反向算法如下：

令o_t代表第t个观测向量，它包括第t批到达的实体数r_t和从第t-1批的开始时刻到第t批的开始时刻之间的时间间隔q_t-1，即o_t＝(q_t-1，r_t)，o_a ^b代表从第a个到第b个观测向量序列，o₁ ^T则代表整个观测序列，其长度为T，s_t代表流在第t个批到达时的状态，1≤t≤T，再定义下列变量，

${\mathrm{\α}}_t\left(m\right)=\mathrm{Pr}[o_1^t,s_t=m|\mathrm{\Ω}],$

${\mathrm{\β}}_t\left(m\right)=\mathrm{Pr}\left[o_{t+1}^T\right|s_t=m,\mathrm{\Ω}],$

${\mathrm{\γ}}_t\left(m\right)=\mathrm{Pr}[s_t=m|o_1^T,\mathrm{\Ω}]={\mathrm{\α}}_t\left(m\right){\mathrm{\β}}_t\left(m\right)/\mathrm{Pr}[o_1^T\left|\mathrm{\Ω}\right],$

${\mathrm{\ξ}}_t(m,n)=\mathrm{Pr}[s_t=m,s_{t+1}=n|o_1^T,\mathrm{\Ω}]={\mathrm{\α}}_1\left(m\right)p_m\left(q_t\right)a_{\mathrm{mn}}{b}_n\left(r_{t+1}\right){\mathrm{\β}}_{t+1}\left(n\right)/\mathrm{Pr}\left[o_1^T\right|\mathrm{\Ω}],$

前向算法如下：

α₁(m)＝π_mb_m(r₁)，

${\mathrm{\α}}_t\left(m\right)=\left(\underset{m\≥n=m-1,m,m+1\≥1}{\mathrm{\Σ}}{\mathrm{\α}}_{t-1}\left(n\right)p_n\left(q_{t-1}\right)a_{\mathrm{nm}}\right)b_m\left(r_t\right),t=2,...,T,m\∈S,$

反向算法如下：

β_T(m)＝1，

${\mathrm{\β}}_t\left(m\right)=\underset{M\≥n=m-1,m,m+1\≥1}{\mathrm{\Σ}}{p}_m\left(q_t\right)a_{\mathrm{mn}}{\mathrm{\β}}_{t+1}\left(n\right)b_n\left(r_{t+1}\right),t=T-1,T-2,...,1,m\∈S,$

然后再通过如下参数估计算法计算模型参数的估计值：

参数λ_m的最大或然估计 ${\widehat{\mathrm{\λ}}}_m=\arg \underset{{\mathrm{\λ}}_m}{\max }\underset{d\≥1}{\mathrm{\Σ}}{\hat{p}}_m\left(d\right)\ln (d^{-{\mathrm{\λ}}_m}-{(d+1)}^{-{\mathrm{\λ}}_m}),$

或近似得到 ${\widehat{\mathrm{\λ}}}_m\≈\frac{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_t\left(m\right)}{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_t\left(m\right)(\ln q_t+\frac{1}{2}\ln \frac{q_t+1}{q_t})}=\frac{2\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_t\left(m\right)}{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_t\left(m\right)\left(\ln q_t(q_t+1)\right)},$

参数μ_m的最大或然估计 ${\widehat{\mathrm{\μ}}}_m=\frac{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_t\left(m\right)(r_t-1)}{\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_t\left(m\right)},$

初始状态概率分布π_m的最大或然估计 ${\widehat{\mathrm{\π}}}_m=\frac{{\mathrm{\γ}}_1\left(m\right)}{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\γ}}_1\left(m\right)},$

状态转移概率a_mn的最大或然估计 ${\hat{a}}_{\mathrm{mn}}=\frac{\underset{t=1}{\overset{T-1}{\mathrm{\Σ}}}{\mathrm{\ξ}}_t(m,n)}{\underset{n=1}{\overset{M}{\mathrm{\Σ}}}\underset{t=1}{\overset{T-1}{\mathrm{\Σ}}}{\mathrm{\ξ}}_t(m,n)},$

最后迭代运用前向算法、反向算法和参数估计算法公式，直到模型参数收敛到一组固定的值，形成一个完善的检测模型。

3、根据权利要求2所述的大型网站数据流的检测与防御方法，其特征在于所述的或然概率的具体计算方法为先采用前向算法，再采用如下公式计算：

$\mathrm{Pr}\left[o_1^t\right|\mathrm{\Ω}]=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_t\left(m\right).$

4、根据权利要求1或2或3所述的大型网站数据流的检测与防御方法，其特征在于所述的数据流指每秒到达网站的请求数、或分组数、或字节数、或连接数、或会话数、或页面数、或用户数、或上述任意组合的数据量，并且所述的数据流包括来自于单个用户的流、或来自于代理服务器的代表了一群用户的汇聚流、或所有新用户的汇总流、或到达大型网站的汇总流。

5、根据权利要求4所述的大型网站数据流的检测与防御方法，其特征在于所述的检测模型的训练为离线进行或者是在线训练，所述在线训练把检测模型参数当前的值作为初值，并实时采集到达网站的数据流，当数据流被检测为正常时，反复运用“前向-反向”算法和参数估计公式，直到模型参数收敛到一组固定的值为止。

6、根据权利要求5所述的大型网站数据流的检测与防御方法，其特征在于按照数据流的或然概率的分布和大小进行优先级排队，优先权高的流得到正常的服务，优先权最低的数据流，在网络资源不够时被过滤掉。

Images