CN107231348B - 一种基于相对熵理论的网络流量异常检测方法 - Google Patents
一种基于相对熵理论的网络流量异常检测方法 Download PDFInfo
- Publication number
- CN107231348B CN107231348B CN201710346850.0A CN201710346850A CN107231348B CN 107231348 B CN107231348 B CN 107231348B CN 201710346850 A CN201710346850 A CN 201710346850A CN 107231348 B CN107231348 B CN 107231348B
- Authority
- CN
- China
- Prior art keywords
- data
- entropy
- network
- sliding window
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 87
- 230000002159 abnormal effect Effects 0.000 claims abstract description 27
- 238000009826 distribution Methods 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 14
- 230000005856 abnormality Effects 0.000 claims description 11
- 230000009191 jumping Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000011160 research Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于相对熵理论的网络流量异常检测方法,其特征是,包括如下步骤:1)收集网络流量数据:从原始网络数据流中读取所需的网络流源端口的数据;2)计算网络流量信息熵值;3)构建滑动窗口模型;4)计算滑动窗口内信息熵值的平均值;5)计算当前网络流量的相对熵值;6)检测下一粒度网络流量是否异常。这种检测方法能有效地检测出网络流量异常,并能解决低检测率和高误报率的问题,且能够适应动态变化的网络环境。
Description
技术领域
本发明涉及信息安全技术领域,涉及网络流量异常检测方法,具体是一种基于相对熵理论的网络流量异常检测方法。
背景技术:
随着计算机网络规模的不断扩大以及各类网络应用的不断深化,互联网已经融于人类的生产生活,逐渐成为人们生活的一部分,在给人们生活带来巨大方便的同时,网络拥挤和网络滥用等流量偏离其正常行为的流量异常情况时有发生,这些异常事件发作突然,并引起网络流量的剧烈变化,给网络安全和网络性能造成极大的伤害。而异常检测作为一种可以有效检测网络流量异常的方法,相关研究早已被广大学者和业界人士所重视,并取得了一定的研究成果。
熵是一种源于热力学的无序度量,表示***微观状态的分布几率。信息熵则是熵在信息***中的一种扩展,如果将信息源视为一组随机事件的集合,则热力学中微观状态的混乱度类同信息源的随机性不确定度,将热力学几率扩展到信息源信号出现的几率,就是信息熵。信息熵是对信息***中随机事件不确定性程度的描述,标志着所含信息量的多少,信息熵作为一种复合型特征(区别简单特征,如计数特征、流量特征等),可以反映简单统计特征无法反映的内涵。当网络特征全部相同,取一个值时,表示特征的分布最集中,此时信息熵值取得最小值;当网络特征全取不同值时,表示特征的分布最为分散,信息熵值取得最大值,扩展到网络流量数据中,即在同一属性上,数据分布越集中的地方信息熵值越小,数据分布越分散的地方信息熵值越大。据研究发现,使用信息熵进行计算时,源/目的IP、源/目的端口和流持续时间等特征分布要比其他特征分布效果更好,并且这些特征本身具有强相关关系,可以有效的表征大规模网络流量的异常。以拒绝服务攻击(DistributedDenial Of Service,简称DDOS)为例,它借助足够数量的傀儡主机,随机伪造大量的IP地址,在几乎同一时间开展拒绝服务攻击,向目标主机发送大量无用分组,引起源IP地址的分布更加分散,进而造成源IP地址信息熵突然增大,目的地址信息熵突然减小。
基于信息熵的网络流量异常检测依赖于流量的特征分布,可以提供比传统流量分析更细粒度的见解,近些年来引起了许多研究者的广泛关注。Andersen、Nychis等人针对网络流量报头特征和行为特征分布,测量出不同分布的熵在时间序列上的成对相关得分,结果表明基于熵的异常检测方法中,IP地址和端口分布之间具有强相关性,其他特征显示低相关性或无相关性;Bereziński P、Pawelec J等人通过捕获不同的流量特征,采用基于分组和基于流的方法,利用Shannon熵和Titchener熵以及参数化的Renyi熵和Tsallis熵四种信息熵算法分别实验,研究证明,当特征分布选择正确时,基于熵的检测方法优于大部分传统的异常检测方法,其中IP地址和端口以及持续时间的特征分布是最好的选择;国防科技大学教授郑黎明、邹鹏等针对传统异常检测***分类器不同网络环境下不断变化的问题,提出了在Hash直方图上基于增减式的在线SVDD流量异常检测方法,结合多窗口关联检测算法结构,对提高分类器的检测效果和检测精度及减少算法的复杂度有很大的效果,但该方法需要大量的***开销,且有一定的难度;清华大学信息网络工程研究中心专家朱应武和杨家海等通过对网络流量信息结构和网络流量规律的研究分析,利用正常网络流量的IP、端口等具有重尾分布和自相似特性等稳定的流量结构的特点,结合信息熵理论,对流量进行建模,将网络流量异常检测问题转换为基于SVM的分类决策问题,提出了一种基于熵的支持向量机(support vector machine,SVM)方法,实验结果表明,基于信息熵的SVM方法更加简洁、高效,在网络流量小样本情况下,具有较高的检测效率和良好的检验精度,但在应对大规模突发性流量方面有一定的缺陷;西安理工大学张亚玲博士等人提出通过对网络流量进行统计分析,引入相对熵理论,通过对相对熵值多测度加权计算作为网络异常判断的依据,实现基于相对熵理论的网络异常检测,结果表明,该方法具有较低的误报率,但检测率效果不理想,而且需要计算大量的历史数据,另一方面,加权系数的设定比较困难;中国民航大学冯兴杰教授等人针对现有方法中模型弹性较差,无法适应动态网络变化的问题,在Hurst指数分析的基础上,结合EWMA和滑动窗口模型,提出一种基于动态阈值的网络异常检测,仅针对滑动窗口内的历史观测值进行分析,有效的避免了检测效率低的问题,但只对突发性流量具有较好的检测效果,对异常的类型检测方面也有不足。
发明内容
本发明的目的是针对现有技术的不足,而提供一种基于相对熵理论的网络流量异常检测方法。这种检测方法能有效地检测出网络流量异常,并能解决低检测率和高误报率的问题,且能够适应动态变化的网络环境。
实现本发明目的的技术方案是:
一种基于相对熵理论的网络流量异常检测方法,包括如下步骤:
1)收集网络流量数据:从原始网络数据流中读取所需的网络流源端口的数据;
2)计算网络流量信息熵值:网络流量数据当作为离散信息源,将数据的特征当作一组随机事件,定义随机变量X={ni,i=1,2,...,N},N为正整数,表示网络流量数据中待分析的网络特征i发生了ni次,xi则表示该特征的具体值,那么信息熵的定义如下:
设检测粒度为T,对检测粒度T内的网络流源端口的数据分布进行统计,将得到的统计结果通过公式(1)求出每个T内网络流源端口的数据分布的信息熵值,得到网络流源端口的数据分布情况的原始信息熵值序列E={Ei,i=1,2,...,m},m为正整数,为下一步的检测分析准备数据;
3)构建滑动窗口模型:设数据流为一个不断增长的多维元组集合对任意i,i≥1,设元组内元素为xi,元素数量为d,则各元组时标为T1...Tj...,且对任意i<m,Ti<Tm,在滑动窗口模型中,在任意时刻只考虑并处理最近到达的N个元组,最近到达的N个元组称为有效元组;其余的元组则称为过期元组,并不再参与下一步的分析处理;
4)计算滑动窗口内信息熵值的平均值:采用网络流量数据作为元组集合的基本元组,滑动窗口模型内预设w个正常网路流量数据,当有新的正常网络流量数据时,滑动窗口向前推移,加入最新的正常流量数据,并剔除最旧的正常流量数据;滑动窗口模型在任意时刻,仅仅考虑并处理包含在模型内的最近到达的w个数据,包含在滑动窗口内的w个数据即为有效元组,有效元组时标前的数据,称为过期元组,且不参与数据的分析处理,正常信息熵值序列为EZ={EZj,j=1,2,...,n},n为正整数,滑动窗口内包含最新的w个数据,求滑动窗口内数据的均值avg,其中
5)计算当前网络流量的相对熵值:信息熵是表示对不确定性程度的一种度量形式,当流量有异常发生时,网络流量在相关属性的信息熵值会与正常历史流量在该属性的信息熵值发生显著的差异性变化,对于这种差异性的变化,可以采用相对熵进行度量,相对熵,又称K-L散度,用信息量D(P,Q)表示,用来度量两个概率分布P={p1,p2,...,pn}和Q={q1,q2,...,qn}的相似程度,可表示为:
在信息熵的基础上,相对熵可以表示为对同一属性在不同状态下的特征分布的信息熵值比,用信息量I(P,Q)表示,结合信息熵公式,相对熵可表示为:
其中,P代表当前检测的网络流量分布,Q代表正常的历史网络流量分布,H(P)和H(Q)分别代表当前检测的网络流量分布的信息熵值和正常的历史网络流量分布的信息熵值,相对熵值I(P,Q)的一个重要性质是:I(P,Q)≥0恒成立,且根据定义,I(P,Q)越接近1,表示P和Q越接近,反之则表示两个分布之间相差较大;当I(P,Q)=1时,表示两个分布完全相同,此时,设u、v为上下限阈值,如果
I(P,Q)∈[u,v] (4)
则判定当前检测的网络流量正常;反之,则判定当前检测的网络流量发生异常,结合步骤4),当前信息熵值H(P)为Ei,正常的历史网络流量分布的信息熵值H(Q)为avg,根据公式(3),则相对熵值EI=Ei/avg,若EI∈(u,v),则判定为正常;否,判定为异常;
6)检测下一粒度网络流量是否异常:
(1)若当前检测相对熵值无异常,将对应信息熵值放入正常信息熵值序列EZ,滑动窗口向前推移一项,加入最新的正常熵值为活动数据,并剔除滑动窗口内最原始的一项为过期数据的活动数据,重新计算平均信息熵值avg,更新原有的avg,之后,跳转至步骤4),进行下一熵值的流量检测;
(2)若当前检测熵值为异常,则保持滑动窗口内数据、当前正常信息熵值的平均值avg不变,直接跳转至步骤4),进行下一熵值的异常检测。
所述检测粒度T为至少100。
所述网络特征i为源或目的IP、源或目的端口。
在实际应用中,人们常常关心的是最近一段时间的信息情况而不是所有的数据信息情况,这是因为久远的数据对最后的结果影响力比较小,而且在网络环境中,“正常流量”并非一个特定的状态,而是会随着网络环境以及相关因素的变化而不断更新的状态,因此,对于异常流量的判断也必须基于当前网络状态的正常基准值来确定。
这种检测方法将信息熵在原有的基础上,加以延伸,采用相对熵与滑动窗口结合的方法对网络流量进行异常的检测,检测率是指正确检测的异常数目占实际异常数目的百分比;误报率是指错误检测的异常数目占检测异常数目的百分比。
现实中,网络流量是随着网络环境以及相关因素的变化而不断更新的,比如,凌晨这个时段用户少,网络流量小,而工作时间等用网高峰期,网络流量大,这就给异常的检测带来偏差影响,针对这种情况,通过滑动窗口模型内的有效数据和当前检测数据相对熵值的变化可以准确的掌握当前数据流的状态,保证检测率的同时,有效降低误报率。
这种检测方法以信息熵算法为基础,与滑动窗口相结合,吸收相对熵的理论思想,通过对网络流量特征进行分析研究,建立熵值序列,结合滑动窗口模型,通过相对熵进行最后的检测。
这种检测方法能有效地检测出网络流量异常,并能解决低检测率和高误报率的问题,且能够适应动态变化的网络环境。
附图说明
图1为实施例的方法流程示意图;
图2为实施例中滑动窗口参数取值变化对应的检测率和误报率曲线示意图;
图3为实施例中上下阈值参数取值变化对应的检测率和误报率曲线示意图;
图4为实施例中检测率与误报率变化曲线示意图。
具体实施方式
下面结合附图和实施例对本发明内容作进一步的阐述,但不是对本发明的限定。
实施例:
参照图1、一种基于相对熵理论的网络流量异常检测方法,包括如下步骤:
1)收集网络流量数据:从原始网络数据流中读取所需的网络流源端口的数据;
2)计算网络流量信息熵值:网络流量数据当作为离散信息源,将数据的特征当作一组随机事件,定义随机变量X={ni,i=1,2,...,N},N为正整数,表示网络流量数据中待分析的网络特征i发生了ni次,xi则表示该特征的具体值,那么信息熵的定义如下:
设检测粒度为T,对检测粒度T内的网络流源端口的数据分布进行统计,将得到的统计结果通过公式(1)求出每个T内网络流源端口的数据分布的信息熵值,得到网络流源端口的数据分布情况的原始信息熵值序列E={Ei,i=1,2,...,m},,m为下整数,为下一步的检测分析准备数据;
3)构建滑动窗口模型:设数据流为一个不断增长的多维元组集合对任意i,i≥1,各元组时标为T1...Tj...,且对任意i<m,Ti<Tm,在滑动窗口模型中,在任意时刻只考虑并处理最近到达的N个元组,最近到达的N个元组称为有效元组;其余的元组则称为过期元组,并不再参与下一步的分析处理;
4)计算滑动窗口内信息熵值的平均值:本方法中采用网络流量数据作为元祖集合的基本元祖。滑动窗口模型内预设w个正常网路流量数据,当有新的正常网络流量数据时,滑动窗口向前推移,加入最新的正常流量数据,并剔除最旧的正常流量数据;滑动窗口模型在任意时刻,仅仅考虑并处理包含在模型内的最近到达的w个数据,包含在滑动窗口内的w个数据即为有效元祖,有效元祖时标前的数据,称为过期元祖,且不参与数据的分析处理,正常信息熵值序列为EZ={EZj,j=1,2,...,n},n为正整数,滑动窗口内包含最新的w个数据,求滑动窗口内数据的均值avg,其中
5)计算当前网络流量的相对熵值:信息熵是表示对不确定性程度的一种度量形式,当流量有异常发生时,网络流量在相关属性的信息熵值会与正常历史流量在该属性的信息熵值发生显著的差异性变化,对于这种差异性的变化,可以采用相对熵进行度量,相对熵,又称K-L散度,用信息量D(P,Q)表示,用来度量两个概率分布P={p1,p2,...,pn}和Q={q1,q2,...,qn}的相似程度,可表示为:
在信息熵的基础上,相对熵可以表示为对同一属性在不同状态下的特征分布的信息熵值比,用信息量I(P,Q)表示,结合信息熵公式,相对熵可表示为:
其中,P代表当前检测的网络流量分布,Q代表正常的历史网络流量分布,H(P)和H(Q)分别代表当前检测的网络流量分布的信息熵值和正常的历史网络流量分布的信息熵值,相对熵值I(P,Q)的一个重要性质是:I(P,Q)≥0恒成立,且根据定义,I(P,Q)越接近1,表示P和Q越接近,反之则表示两个分布之间相差较大;当I(P,Q)=1时,表示两个分布完全相同,此时,设u、v为上下限阈值,如果
I(P,Q)∈[u,v] (4)
则判定当前检测的网络流量正常;反之,则判定当前检测的网络流量发生异常,结合步骤4),当前信息熵值H(P)为Ei,正常的历史网络流量分布的信息熵值H(Q)为avg,根据公式(3),则相对熵值EI=Ei/avg,若EI∈(u,v),则判定为正常;否,判定为异常;
6)检测下一粒度网络流量是否异常:
(1)若当前检测相对熵值无异常,将对应信息熵值放入正常信息熵值序列EZ,滑动窗口向前推移一项,加入最新的正常熵值为活动数据,并剔除滑动窗口内最原始的一项为过期数据的活动数据,重新计算平均信息熵值avg,更新原有的avg,之后,跳转至步骤4),进行下一熵值的流量检测;
(2)若当前检测熵值为异常,则保持滑动窗口内数据、当前正常信息熵值的平均值avg不变,直接跳转至步骤4),进行下一熵值的异常检测。
所述检测粒度T为至少100,本例为100。
所述网络特征i为源或目的IP、源或目的端口。
具体地:
本实施例采用迄今为止网络安全审计研究人员使用最多的10%数据集(kddcup.data_10_percent_corrected)为实验的研究分析对象,检测粒度T为100,
对检测率DR和误报率FA定义如下:
DN,NA,FD,DF分别代表正确检测出的异常数目、实际存在的所有异常数目、误检测为异常的正常数据数目,检测的异常数目;
通过不断的调整u、v、w三个实验参数值对实验进行测试,并对结果进行分析,结果如图2-图4所示;
经过大量的实验测试发现,图2中,当u、v一定时,随着滑动窗口w的增大,模型的检测率先增加后减小,之后增加并稳定在区间[0.9,1]上,而误报率则随着w值的增大,先减小后增加,在图3中,随着对u、v、w三个参数值的不断调整,模型的检测率和误报率整体呈现增大趋势,当DR>0.936时,模型的检测率提升速度逐渐减慢,但误报率的增长速度加大,检测率和误报率的关系曲线如图4所示。在保证误报率在可接受范围内,检测率越高越好的前提下,综合分析可知,当检测率设在区间0.886、0.936之间时,检验结果比较理想,此时误报率在0.05、0.08之间,
通过分析测试结果可知,当相对熵上限值u=3.6,相对熵下限值取v=0.394时,DR=0.935,FA=0.055,结果相对理想,对KDD CUP9910%数据集(kddcup.data_10_percent_corrected)进行检测,结果如表1所示:
表1检测结果
由表1可知,本实施例的方法针对数据集中包含的四种异常类型均能有效的检测出来,其中以DOS攻击检测结果最为优秀,检测率为97.8%,Probe、U2R和R2L的检测率分别为78.74%、61.54%和75.84%,整体检测结果达到预期的效果。
为了证明实验改进的有效性,表2给出了3种不同网络流量异常检测的方法的结果,A代表一种基于分析视图的相对熵异常检测方法;B代表一种基于信息熵的异常检测方法;C代表基于信息熵的改进的K-maens网络流量异常检测方法;D代表本实施例方法:
表2不同检测方法异常检测结果比较
对比表中不同方法检测结果可知:检测率方面,方法A<B<C<D,误报率方面,方法B>C>D>A;相对于方法A、B、C三种算法,本实施例方法的检测率比方法A高出了8.5%,比方法B高出了2.3,比方法C高出0.8%;误报率方面,本实施例的方法比方法A高出0.5%、比方法B低3.1%、比方法C低1.96%。
综合分析表明,本实施例的方法在信息熵与相对熵理论的基础上,结合滑动窗口技术,采用最近影响力较大的正常流量数据,动态更新相对熵值,对网络流量进行异常检测,在保证低误报率的同时,最大限度提高了检测率,在总体上,对异常检测的性能有很大的改进。
Claims (3)
1.一种基于相对熵理论的网络流量异常检测方法,其特征是,包括如下步骤:
1)收集网络流量数据:从原始网络数据流中读取所需的网络流源端口的数据;
2)计算网络流量信息熵值:网络流量数据当作为离散信息源,将数据的特征当作一组随机事件,定义随机变量X={ni,i=1,2,...,N},N为正整数,表示网络流量数据中待分析的网络特征i发生了ni次,xi则表示该特征的具体值,那么信息熵的定义如下:
设检测粒度为T,对检测粒度T内的网络流源端口的数据分布进行统计,将得到的统计结果通过公式(1)求出每个T内网络流源端口的数据分布的信息熵值,得到网络流源端口的数据分布情况的原始信息熵值序列E={Ei,i=1,2,...,m},m为正整数;
3)构建滑动窗口模型:设数据流为一个不断增长的多维元组集台对任意i,i≥1,设元组内元素为xi,元素数量为d,则各元组时标为T1...Tj...,且对任意i<m,Ti<Tm,在滑动窗口模型中,在任意时刻只考虑并处理最近到达的N个元组,最近到达的N个元组称为有效元组;其余的元组则称为过期元组,并不再参与下一步的分析处理;
4)计算滑动窗口内信息熵值的平均值:采用网络流量数据作为元组集合的基本元组,滑动窗口模型内预设w个正常网路流量数据,当有新的正常网络流量数据时,滑动窗口向前推移,加入最新的正常流量数据,并剔除最旧的正常流量数据;滑动窗口模型在任意时刻,仅仅考虑并处理包含在模型内的最近到达的w个数据,包含在滑动窗口内的w个数据即为有效元组,有效元组时标前的数据,称为过期元组,且不参与数据的分析处理,正常信息熵值序列为EZ={EZj,j=1,2,...,n},n为正整数,滑动窗口内包含最新的w个数据,求滑动窗口内数据的均值avg,其中
5)计算当前网络流量的相对熵值:相对熵,又称K-L散度,用信息量D(P,Q)表示,用来度量两个概率分布P={p1,p2,...,pn}和Q={q1,q2,...,qn}的相似程度,可表示为:
在信息熵的基础上,相对熵可以表示为对同一属性在不同状态下的特征分布的信息熵值比,用信息量I(P,Q)表示,结合信息熵公式,相对熵可表示为:
其中,P代表当前检测的网络流量分布,Q代表正常的历史网络流量分布,H(P)和H(Q)分别代表当前检测的网络流量分布的信息熵值和正常的历史网络流量分布的信息熵值,相对熵值I(P,Q)的一个重要性质是:I(P,Q)≥0恒成立,且根据定义,I(P,Q)越接近1,表示P和Q越接近,反之则表示两个分布之间相差较大;当I(P,Q)=1时,表示两个分布完全相同,此时,设u、v为上下限阈值,如果
I(P,Q)∈[u,v] (4)
则判定当前检测的网络流量正常;反之,则判定当前检测的网络流量发生异常;
结合步骤4),当前信息熵值H(P)为Ei,正常的历史网络流量分布的信息熵值H(Q)为avg,根据公式(3),则相对熵值EI=Ei/avg,若EI∈(u,v),则判定为正常;否,判定为异常;
6)检测下一粒度网络流量是否异常:
(1)若当前检测相对熵值无异常,将对应信息熵值放入正常信息熵值序列EZ,滑动窗口向前推移一项,加入最新的正常熵值为活动数据,并剔除滑动窗口内最原始的一项为过期数据的活动数据,重新计算平均信息熵值avg,更新原有的avg,之后,跳转至步骤4),进行下一熵值的流量检测;
(2)若当前检测熵值为异常,则保持滑动窗口内数据、当前正常信息熵值的平均值avg不变,直接跳转至步骤4),进行下一熵值的异常检测。
2.根据权利要求1所述的基于相对熵理论的网络流量异常检测方法,其特征是,所述检测粒度T为至少100。
3.根据权利要求1所述的基于相对熵理论的网络流量异常检测方法,其特征是,所述网络特征i为源或目的IP、源或目的端口。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710346850.0A CN107231348B (zh) | 2017-05-17 | 2017-05-17 | 一种基于相对熵理论的网络流量异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710346850.0A CN107231348B (zh) | 2017-05-17 | 2017-05-17 | 一种基于相对熵理论的网络流量异常检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107231348A CN107231348A (zh) | 2017-10-03 |
CN107231348B true CN107231348B (zh) | 2020-07-28 |
Family
ID=59933714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710346850.0A Expired - Fee Related CN107231348B (zh) | 2017-05-17 | 2017-05-17 | 一种基于相对熵理论的网络流量异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107231348B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190166024A1 (en) * | 2017-11-24 | 2019-05-30 | Institute For Information Industry | Network anomaly analysis apparatus, method, and non-transitory computer readable storage medium thereof |
CN109951420B (zh) * | 2017-12-20 | 2020-02-21 | 广东电网有限责任公司电力调度控制中心 | 一种基于熵和动态线性关系的多级流量异常检测方法 |
CN109726364B (zh) * | 2018-07-06 | 2023-01-10 | 平安科技(深圳)有限公司 | 用电量异常检测方法、装置、终端及计算机可读存储介质 |
CN108803578A (zh) * | 2018-08-07 | 2018-11-13 | 三门峡速达交通节能科技股份有限公司 | 一种电动汽车整车控制网络通信安全检测装置及检测方法 |
CN108667856B (zh) * | 2018-08-10 | 2021-01-26 | 广东电网有限责任公司 | 一种网络异常检测方法、装置、设备及存储介质 |
CN109409042B (zh) * | 2018-08-23 | 2021-04-20 | 顺丰科技有限公司 | 一种用户权限分配异常检测***、方法、设备及存储介质 |
CN109361673B (zh) * | 2018-10-26 | 2021-06-22 | 电子科技大学 | 基于流量数据样本统计和平衡信息熵估计的网络异常检测方法 |
CN109257390B (zh) * | 2018-11-27 | 2021-11-05 | 杭州安恒信息技术股份有限公司 | Cc攻击的检测方法、装置及电子设备 |
CN109495893B (zh) * | 2018-12-13 | 2019-12-24 | 深圳美克拉网络技术有限公司 | 一种移动通信数据流量异常监测*** |
CN110519266B (zh) * | 2019-08-27 | 2021-04-27 | 四川长虹电器股份有限公司 | 一种基于统计学方法的cc攻击检测的方法 |
CN111294362B (zh) * | 2020-03-16 | 2021-07-27 | 湖南大学 | 一种基于分形残差的LDoS攻击实时检测方法 |
CN112087450B (zh) * | 2020-09-09 | 2022-11-04 | 北京明略昭辉科技有限公司 | 一种异常ip识别方法、***及计算机设备 |
CN112637224B (zh) * | 2020-12-28 | 2022-11-15 | 浙江工业大学 | 一种自治***内基于子空间和相对熵的DDoS攻击检测方法 |
CN112788066B (zh) * | 2021-02-26 | 2022-01-14 | 中南大学 | 物联网设备的异常流量检测方法、***及存储介质 |
CN113098945A (zh) * | 2021-03-26 | 2021-07-09 | 江西省能源大数据有限公司 | 一种基于压缩感知理论的5g能源物联网通讯方法 |
CN113285847A (zh) * | 2021-04-01 | 2021-08-20 | 南瑞集团有限公司 | 一种智能换流站监测***的通信网络异常检测方法及*** |
CN113660237B (zh) * | 2021-08-10 | 2023-04-07 | 和中通信科技有限公司 | 一种基于动态滑动窗口的工业互联网数据流异常检测方法、存储器和处理器 |
CN114499979B (zh) * | 2021-12-28 | 2022-12-06 | 云南电网有限责任公司信息中心 | 一种基于联邦学习的sdn网络异常流量协同检测方法 |
CN114866485B (zh) * | 2022-03-11 | 2023-09-29 | 南京华飞数据技术有限公司 | 一种基于聚合熵的网络流量分类方法及分类*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101645884A (zh) * | 2009-08-26 | 2010-02-10 | 西安理工大学 | 基于相对熵理论的多测度网络异常检测方法 |
CN102123062A (zh) * | 2011-04-22 | 2011-07-13 | 西安电子科技大学 | 基于树突细胞算法的网络数据异常检测方法 |
CN102324007A (zh) * | 2011-09-22 | 2012-01-18 | 重庆大学 | 基于数据挖掘的异常检测方法 |
CN103441982A (zh) * | 2013-06-24 | 2013-12-11 | 杭州师范大学 | 一种基于相对熵的入侵报警分析方法 |
CN103514398A (zh) * | 2013-10-18 | 2014-01-15 | 中国科学院信息工程研究所 | 一种实时在线日志检测方法及*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9203887B2 (en) * | 2011-12-23 | 2015-12-01 | Intel Corporation | Bitstream processing using coalesced buffers and delayed matching and enhanced memory writes |
GB2505888B (en) * | 2012-09-12 | 2014-11-05 | Toshiba Res Europ Ltd | Method for interference & congestion detection with multiple radio technologies |
-
2017
- 2017-05-17 CN CN201710346850.0A patent/CN107231348B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101645884A (zh) * | 2009-08-26 | 2010-02-10 | 西安理工大学 | 基于相对熵理论的多测度网络异常检测方法 |
CN102123062A (zh) * | 2011-04-22 | 2011-07-13 | 西安电子科技大学 | 基于树突细胞算法的网络数据异常检测方法 |
CN102324007A (zh) * | 2011-09-22 | 2012-01-18 | 重庆大学 | 基于数据挖掘的异常检测方法 |
CN103441982A (zh) * | 2013-06-24 | 2013-12-11 | 杭州师范大学 | 一种基于相对熵的入侵报警分析方法 |
CN103514398A (zh) * | 2013-10-18 | 2014-01-15 | 中国科学院信息工程研究所 | 一种实时在线日志检测方法及*** |
Non-Patent Citations (2)
Title |
---|
基于模糊相对熵的网络异常流量检测方法研究;姚宏林;《信息安全与技术》;20140810;第16-18页 * |
基于相对熵的网络流量异常检测方法;张登银;《南京邮电大学学报(自然科学版)》;20121015;第26-31页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107231348A (zh) | 2017-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107231348B (zh) | 一种基于相对熵理论的网络流量异常检测方法 | |
CN107483455B (zh) | 一种基于流的网络节点异常检测方法和*** | |
CN111614627B (zh) | 一种面向sdn的跨平面协作ddos检测与防御方法与*** | |
CN105553998B (zh) | 一种网络攻击异常检测方法 | |
CN108965347B (zh) | 一种分布式拒绝服务攻击检测方法、装置及服务器 | |
CN109729090B (zh) | 一种基于wedms聚类的慢速拒绝服务攻击检测方法 | |
CN110225037B (zh) | 一种DDoS攻击检测方法和装置 | |
CN109194608B (zh) | 一种基于流的DDoS攻击与闪拥事件检测方法 | |
CN106603326B (zh) | 基于异常反馈的NetFlow采样处理方法 | |
CN112261000B (zh) | 一种基于PSO-K算法的LDoS攻击检测方法 | |
CN107070930B (zh) | 一种面向主机的可疑网络连接识别方法 | |
CN111600876B (zh) | 一种基于mfopa算法的慢速拒绝服务攻击检测方法 | |
CN111262849A (zh) | 一种基于流表信息的网络异常流量行为识别阻断的方法 | |
Pekár et al. | Adaptive aggregation of flow records | |
CN107360127A (zh) | 一种基于aewma算法的慢速拒绝服务攻击检测方法 | |
CN106330611A (zh) | 一种基于统计特征分类的匿名协议分类方法 | |
Li et al. | DDoS attack detection algorithms based on entropy computing | |
Du et al. | Detecting DoS attacks using packet size distribution | |
CN117220958A (zh) | 一种高速网络场景下基于sketch的DDoS攻击检测方法 | |
Chang et al. | A flow-based anomaly detection method using entropy and multiple traffic features | |
CN115643108B (zh) | 面向工业互联网边缘计算平台安全评估方法、***及产品 | |
Lu et al. | An improved wavelet analysis method for detecting DDoS attacks | |
Yan et al. | Detect and identify DDoS attacks from flash crowd based on self-similarity and Renyi entropy | |
CN102238047B (zh) | 基于Web通信群体外联行为的拒绝服务攻击检测方法 | |
CN112437091B (zh) | 一种面向主机社区行为的异常流量检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200728 |