CN109714311B - 一种基于聚类算法的异常行为检测的方法 - Google Patents
一种基于聚类算法的异常行为检测的方法 Download PDFInfo
- Publication number
- CN109714311B CN109714311B CN201811355937.5A CN201811355937A CN109714311B CN 109714311 B CN109714311 B CN 109714311B CN 201811355937 A CN201811355937 A CN 201811355937A CN 109714311 B CN109714311 B CN 109714311B
- Authority
- CN
- China
- Prior art keywords
- sampling
- sample
- point
- class
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于聚类算法的异常行为检测的方法,包括以下步骤:A、基于采集到的针对设备的连接建立频率,平均连接持续时间,流量带宽采样信息,形成综合信息采样样本;对设备的综合信息采样样本采样点进行分类,形成各个设备的行为模型;B、利用上述设备的行为模型,针对新的采样点进行异常行为检测。本发明能够改进现有技术的不足,可以将病毒或者恶意威胁软件爆发前或者潜伏期的网络行为识别出来,进行适时预警。
Description
技术领域
本发明涉及计算机网络技术领域,尤其是一种基于聚类算法的异常行为检测的方法。
背景技术
随着信息技术的发展,工业控制***逐步走向开放,互联,通用。很多工业控制协议逐渐运行于工业以太网上,针对工业控制***的攻击也更加普遍。相对于传统的IT互联网络,工控网络中的恶意威胁软件,一旦潜入成功后,很大一部分不会立即对工业网络造成破坏,而是潜伏下来,探测并等待时机成熟时(如互联网联通、接收到指令),再突然发动进行暴力破坏。
目前,网络中异常流量检测技术主要是白名单与黑名单的结合检测,白名单与黑名单技术都是针对网络协议流量进行深度解析,并与白名单或者黑名单规则进行匹配,从而对异常网络协议流量进行告警。对于病毒或者恶意威胁软件爆发前或者潜伏期内,很大一部分病毒和恶意威胁软件只是进行探测,导致白名单与黑名单技术无法很好的检测出威胁潜伏期内的异常网络行为,对于病毒或者恶意威胁软件爆发前或者潜伏期的网络行为无法正确识别。
发明内容
本发明要解决的技术问题是提供一种基于聚类算法的异常行为检测的方法,能够解决现有技术的不足,可以将病毒或者恶意威胁软件爆发前或者潜伏期的网络行为识别出来,进行适时预警。
为解决上述技术问题,本发明所采取的技术方案如下。
一种基于聚类算法的异常行为检测的方法,包括以下步骤:
A、基于采集到的针对设备的连接建立频率,平均连接持续时间,流量带宽采样信息,形成综合信息采样样本;对设备的综合信息采样样本采样点进行分类,形成各个设备的行为模型;
B、利用上述设备的行为模型,针对新的采样点进行异常行为检测。
作为优选,步骤A中,利用网络中部署的探针设备采集网络流量,在学习阶段,周期性地对网络中的每台设备的连接建立频率进行采样,形成各个设备连接建立频率采样样本,如下表所示,
设备 | 连接建立频率采样样本 |
设备1 | {F<sub>1,1</sub>,F<sub>1,2</sub>,……F<sub>1,N-1</sub>,F<sub>1,N</sub>} |
设备2 | {F<sub>2,1</sub>,F<sub>2,2</sub>,……F<sub>2,N-1</sub>,F<sub>2,N</sub>} |
… | … |
设备M | {F<sub>M,1</sub>,F<sub>M,2</sub>,……F<sub>M,N-1</sub>,F<sub>M,N</sub>} |
其中,FM,N表示设备m的连接建立频率采样样本中的第n个采样点。
作为优选,步骤A中,利用网络中部署的探针设备采集网络流量,在学习阶段,对网络中的每台设备的连接持续时间进行采样。经过一段时间的采样,形成各个设备连接持续时间采样样本,如下表所示,
设备 | 连接持续时间采样样本 |
设备1 | {T<sub>1,1</sub>,T<sub>1,2</sub>,……T<sub>1,N-1</sub>,T<sub>1,N</sub>} |
设备2 | {T<sub>2,1</sub>,T<sub>2,2</sub>,……T<sub>2,N-1</sub>,T<sub>2,N</sub>} |
… | … |
设备M | {T<sub>M,1</sub>,T<sub>M,2</sub>,……T<sub>M,N-1</sub>,T<sub>M,N</sub>} |
其中,TM,N表示设备m的平均连接持续时间采样样本中的第n个采样点。
作为优选,步骤A中,利用网络中部署的探针设备采集网络流量,在学习阶段,周期性地对网络中的每台设备的流量带宽进行采样。经过一段时间的采样,形成各个设备连接持续时间采样样本,如下表所示,
设备 | 连接持续时间采样样本 |
设备1 | {B<sub>1,1</sub>,B<sub>1,2</sub>,……B<sub>1,N-1</sub>,B<sub>1,N</sub>} |
设备2 | {B<sub>2,1</sub>,B<sub>2,2</sub>,……B<sub>2,N-1</sub>,B<sub>2,N</sub>} |
… | … |
设备M | {B<sub>M,1</sub>,B<sub>M,2</sub>,……B<sub>M,N-1</sub>,B<sub>M,N</sub>} |
其中,BM,N表示设备m的平均连接持续时间采样样本中的第n个采样点。
作为优选,步骤A中,将采集到的针对设备的连接建立频率,平均连接持续时间,流量带宽采样信息,形成综合信息采样样本,如下表所示,
设备 | 连接持续时间采样样本 |
设备1 | {S<sub>1,1</sub>,S<sub>1,2</sub>,……S<sub>1,N-1</sub>,S<sub>1,N</sub>} |
设备2 | {S<sub>2,1</sub>,S<sub>2,2</sub>,……S<sub>2,N-1</sub>,S<sub>2,N</sub>} |
… | … |
设备M | {S<sub>M,1</sub>,S<sub>M,2</sub>,……S<sub>M,N-1</sub>,S<sub>M,N</sub>} |
其中,SM,N表示设备m的平均连接持续时间采样样本中的第n个采样点,并且Sm,n={Fm,n,Tm,n,Bm,n}。
作为优选,步骤A中,对设备的综合信息采样样本采样点进行分类包括以下步骤,
随机选择K个点作为初始的质心点,当任意一个点的簇分配结果发生改变时,对数据集中的每一个数据点,对每一个质心计算质心与数据点的距离,将数据点分配到距离最近的簇,对每一个簇,计算簇中所有点的均值,并将均值作为质心。
作为优选,通过轮廓系数来确定K的取值,
对于每个样本点x(i),计算点x(i)与其同一个簇内的所有其他采样点距离的平均值,记作a(i),用于量化簇内的凝聚度;
选取x(i)外的一个簇b,计算x(i)与b中所有点的平均距离,遍历所有其他簇,找到最近的这个平均距离,记作b(i),即为x(i)的邻居类,用于量化簇之间分离度;
对于样本点x(i),轮廓系数q(i)=(b(i)-a(i))/max(a(i),b(i));
计算所有样本点x(i)的轮廓系数,求出平均值即为整体轮廓系数,度量数据聚类的紧密程度。
作为优选,步骤A中,建立设备的行为模型包括以下步骤,
计算出每一类采样点中点到该类质心的欧氏距离的均值,标准差,最大值;
该类采样点到该类质心的欧氏距离的均值计算方法如下:
该类采样点到该类质心的欧氏距离的标准差计算方法如下:
该类采样点到该类质心的欧氏距离的最大值计算方法如下:
EDmax=max{||x1-μj||,||x2-μj||,......||xm-μj||},
其中,xi为第i个采样点,μj为第j类质心,m为采样点数量;
针对某个具体的设备,可得到如下信息:
作为优选,步骤B中,计算该采样点到各个分类的质心的欧氏距离,与采样点欧氏距离最小的质心所在的类,即为该采样点所属的类,判断采样点与其所属类的质心的欧氏距离是否大于采样点到各个分类的质心的欧氏距离最大值与2倍的欧氏距离标准差之和,如果出现了大于的情况,则认为该采样点为异常采样点,否则认为该采样点为正常采样点。
采用上述技术方案所带来的有益效果在于:本发明以连接建立频率,连接持续时间,流量带宽3个维度建立的行为模型,将于病毒或者恶意威胁软件爆发前或者潜伏期的网络行为识别出来,进行适时预警。
具体实施方式
本发明一个具体实施方式包括以下步骤:
A、基于采集到的针对设备的连接建立频率,平均连接持续时间,流量带宽采样信息,形成综合信息采样样本;对设备的综合信息采样样本采样点进行分类,形成各个设备的行为模型;
B、利用上述设备的行为模型,针对新的采样点进行异常行为检测。
步骤A中,利用网络中部署的探针设备采集网络流量,在学习阶段,周期性地对网络中的每台设备的连接建立频率进行采样,形成各个设备连接建立频率采样样本,如下表所示,
设备 | 连接建立频率采样样本 |
设备1 | {F<sub>1,1</sub>,F<sub>1,2</sub>,......,F<sub>1,N-1</sub>,F<sub>1,N</sub>} |
设备2 | {F<sub>2,1</sub>,F<sub>2,2</sub>,......,F<sub>2,N-1</sub>,F<sub>2,N</sub>} |
… | … |
设备M | {F<sub>M,1</sub>,F<sub>M,2</sub>,......,F<sub>M,N-1</sub>,F<sub>M,N</sub>} |
其中,Fm,n表示设备m的连接建立频率采样样本中的第n个采样点。
步骤A中,利用网络中部署的探针设备采集网络流量,在学习阶段,对网络中的每台设备的连接持续时间进行采样。经过一段时间的采样,形成各个设备连接持续时间采样样本,如下表所示,
设备 | 连接持续时间采样样本 |
设备1 | {T<sub>1,1</sub>,T<sub>1,2</sub>,......,T<sub>1,N-1</sub>,T<sub>1,N</sub>} |
设备2 | {T<sub>2,1</sub>,T<sub>2,2</sub>,......,T<sub>2,N-1</sub>,T<sub>2,N</sub>} |
… | … |
设备M | {T<sub>M,1</sub>,T<sub>M,2</sub>,......,T<sub>M,N-1</sub>,T<sub>M,N</sub>} |
其中,Tm,n表示设备m的平均连接持续时间采样样本中的第n个采样点。
步骤A中,利用网络中部署的探针设备采集网络流量,在学习阶段,周期性地对网络中的每台设备的流量带宽进行采样。经过一段时间的采样,形成各个设备流量带宽采样样本,如下表所示,
其中,Bm,n表示设备m的流量带宽采样样本中的第n个采样点。
步骤A中,将采集到的针对设备的连接建立频率,平均连接持续时间,流量带宽采样信息,形成综合信息采样样本,如下表所示,
设备 | 流量带宽采样样本 |
设备1 | {S<sub>1,1</sub>,S<sub>1,2</sub>,......,S<sub>1,N-1</sub>,S<sub>1,N</sub>} |
设备2 | {S<sub>2,1</sub>,S<sub>2,2</sub>,......,S<sub>2,N-1</sub>,S<sub>2,N</sub>} |
… | … |
设备M | {S<sub>M,1</sub>,S<sub>M,2</sub>,......,S<sub>M,N-1</sub>,S<sub>M,N</sub>} |
其中Sm,n设备m的综合信息采样样本中的第n个采样点,并且Sm,n={Fm,n,Tm,n,Bm,n}。
步骤A中,对设备的综合信息采样样本采样点进行分类包括以下步骤,
随机选择K个点作为初始的质心点,当任意一个点的簇分配结果发生改变时,对数据集中的每一个数据点,对每一个质心计算质心与数据点的距离,将数据点分配到距离最近的簇,对每一个簇,计算簇中所有点的均值,并将均值作为质心。
通过轮廓系数来确定K的取值,
对于每个样本点x(i),计算点x(i)与其同一个簇内的所有其他采样点距离的平均值,记作a(i),用于量化簇内的凝聚度;
选取x(i)外的一个簇b,计算x(i)与b中所有点的平均距离,遍历所有其他簇,找到最近的这个平均距离,记作b(i),即为x(i)的邻居类,用于量化簇之间分离度;
对于样本点x(i),轮廓系数q(i)=(b(i)-a(i))/max(a(i),b(i));
计算所有样本点x(i)的轮廓系数,求出平均值即为整体轮廓系数,度量数据聚类的紧密程度。
步骤A中,建立设备的行为模型包括以下步骤,
计算出每一类采样点中点到该类质心的欧氏距离的均值,标准差,最大值;
该类采样点到该类质心的欧氏距离的均值计算方法如下:
该类采样点到该类质心的欧氏距离的标准差计算方法如下:
该类采样点到该类质心的欧氏距离的最大值计算方法如下:
EDmax=max{||x1-μj||,||x2-μj||,......||xm-μj||},
其中,xi为第i个采样点,μj为第j类质心,m为采样点数量;
针对某个具体的设备,可得到如下信息:
步骤B中,计算该采样点到各个分类的质心的欧氏距离,与采样点欧氏距离最小的质心所在的类,即为该采样点所属的类,判断采样点与其所属类的质心的欧氏距离是否大于采样点到各个分类的质心的欧氏距离最大值与2倍的欧氏距离标准差之和,如果出现了大于的情况,则认为该采样点为异常采样点,否则认为该采样点为正常采样点。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (1)
1.一种基于聚类算法的异常行为检测的方法,其特征在于包括以下步骤:
A、基于采集到的针对设备的连接建立频率,平均连接持续时间,流量带宽采样信息,形成综合信息采样样本;对设备的综合信息采样样本采样点进行分类,形成各个设备的行为模型;
利用网络中部署的探针设备采集网络流量,在学习阶段,周期性地对网络中的每台设备的连接建立频率进行采样,形成各个设备连接建立频率采样样本,如下表所示,
其中,FM,N表示设备M的连接建立频率采样样本中的第N个采样点;
利用网络中部署的探针设备采集网络流量,在学习阶段,对网络中的每台设备的连接持续时间进行采样,经过一段时间的采样,形成各个设备连接持续时间采样样本,如下表所示,
其中,TM,N表示设备M的平均连接持续时间采样样本中的第N个采样点;
利用网络中部署的探针设备采集网络流量,在学习阶段,周期性地对网络中的每台设备的流量带宽进行采样,经过一段时间的采样,形成各个设备流量带宽采样样本,如下表所示,
其中,BM,N表示设备M的流量带宽采样样本中的第N个采样点;
将采集到的针对设备的连接建立频率,平均连接持续时间,流量带宽采样信息,形成综合信息采样样本,如下表所示,
其中SM,N是设备M的综合信息采样样本中的第N个采样点,并且SM,N={FM,N,TM,N,BM,N};
对设备的综合信息采样样本采样点进行分类包括以下步骤,
随机选择K个点作为初始的质心点,当任意一个点的簇分配结果发生改变时,计算每一个质心与每一个采样点的距离,将采样点分配到距离最近的簇,对每一个簇,计算簇中所有点的均值,并将均值作为质心;
通过轮廓系数来确定K的取值,
对于每个采样点x(i),计算点x(i)与其同一个簇内的所有其他采样点距离的平均值,记作a(i),用于量化簇内的凝聚度;
选取x(i)外的一个簇b,计算x(i)与b中所有点的平均距离,遍历所有其他簇,找到最近的这个平均距离,记作b(i),即为x(i)的邻居类,用于量化簇之间分离度;
对于采样点x(i),轮廓系数q(i)=(b(i)-a(i))/max(a(i),b(i));
计算所有采样点x(i)的轮廓系数,求出平均值即为整体轮廓系数,度量数据聚类的紧密程度;
建立设备的行为模型包括以下步骤,
计算出每一类采样点中点到该类质心的欧氏距离的均值,标准差,最大值;
该类采样点到该类质心的欧氏距离的均值计算方法如下:
该类采样点到该类质心的欧氏距离的标准差计算方法如下:
该类采样点到该类质心的欧氏距离的最大值计算方法如下:
EDmax=max{||x1-μj||,||x2-μj||,......||xm-μj||},
其中,xi为第i个采样点,μj为第j类质心,m为采样点数量;
针对某个具体的设备,可得到如下信息:
;
B、利用上述设备的行为模型,针对新的采样点进行异常行为检测;
计算该新的采样点到各个分类的质心的欧氏距离,与该新的采样点欧氏距离最小的质心所在的类,即为该新的采样点所属的类,判断该新的采样点与其所属类的质心的欧氏距离是否大于该新的采样点到各个分类的质心的欧氏距离最大值与2倍的欧氏距离标准差之和,如果出现了大于的情况,则认为该新的采样点为异常采样点,否则认为该新的采样点为正常采样点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811355937.5A CN109714311B (zh) | 2018-11-15 | 2018-11-15 | 一种基于聚类算法的异常行为检测的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811355937.5A CN109714311B (zh) | 2018-11-15 | 2018-11-15 | 一种基于聚类算法的异常行为检测的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109714311A CN109714311A (zh) | 2019-05-03 |
CN109714311B true CN109714311B (zh) | 2021-12-31 |
Family
ID=66254848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811355937.5A Active CN109714311B (zh) | 2018-11-15 | 2018-11-15 | 一种基于聚类算法的异常行为检测的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109714311B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110162419A (zh) * | 2019-05-31 | 2019-08-23 | 北京奇艺世纪科技有限公司 | 一种消息消费状态检测方法及装置 |
CN110445753A (zh) * | 2019-06-28 | 2019-11-12 | 平安科技(深圳)有限公司 | 终端设备异常访问的隔离方法和装置 |
CN110417744B (zh) * | 2019-06-28 | 2021-12-24 | 平安科技(深圳)有限公司 | 网络访问的安全判定方法和装置 |
CN113765914B (zh) * | 2021-09-03 | 2022-12-20 | 杭州安恒信息技术股份有限公司 | Cc攻击防护方法、***、计算机设备及可读存储介质 |
CN113938410B (zh) * | 2021-10-14 | 2023-05-23 | 广东电网有限责任公司 | 一种终端协议的识别方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120096551A1 (en) * | 2010-10-13 | 2012-04-19 | National Taiwan University Of Science And Technology | Intrusion detecting system and method for establishing classifying rules thereof |
CN103200133A (zh) * | 2013-03-21 | 2013-07-10 | 南京邮电大学 | 一种基于网络流引力聚类的流量识别方法 |
CN106714220A (zh) * | 2017-01-06 | 2017-05-24 | 江南大学 | 一种基于mea‑bp神经网络wsn异常检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103929738B (zh) * | 2014-04-21 | 2017-04-12 | 东南大学 | 一种基于危险多代理的WSNs联合入侵检测方法 |
-
2018
- 2018-11-15 CN CN201811355937.5A patent/CN109714311B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120096551A1 (en) * | 2010-10-13 | 2012-04-19 | National Taiwan University Of Science And Technology | Intrusion detecting system and method for establishing classifying rules thereof |
CN103200133A (zh) * | 2013-03-21 | 2013-07-10 | 南京邮电大学 | 一种基于网络流引力聚类的流量识别方法 |
CN106714220A (zh) * | 2017-01-06 | 2017-05-24 | 江南大学 | 一种基于mea‑bp神经网络wsn异常检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109714311A (zh) | 2019-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109714311B (zh) | 一种基于聚类算法的异常行为检测的方法 | |
EP2725512B1 (en) | System and method for malware detection using multi-dimensional feature clustering | |
CN109644184B (zh) | 用于从ipfix数据检测云上的ddos僵尸网络的聚类方法 | |
CN109729090B (zh) | 一种基于wedms聚类的慢速拒绝服务攻击检测方法 | |
WO2016082284A1 (zh) | 基于OCSVM双轮廓模型的Modbus TCP通信行为异常检测方法 | |
CN106878995B (zh) | 一种基于感知数据的无线传感器网络异常类型鉴别方法 | |
CN110071829B (zh) | Dns隧道检测方法、装置及计算机可读存储介质 | |
CN109150859B (zh) | 一种基于网络流量流向相似性的僵尸网络检测方法 | |
CN107579846B (zh) | 一种云计算故障数据检测方法及*** | |
CN110351291B (zh) | 基于多尺度卷积神经网络的DDoS攻击检测方法及装置 | |
CN111970229B (zh) | 一种针对多种攻击方式的can总线数据异常检测方法 | |
KR100628329B1 (ko) | 네트워크 세션 특성 정보에 대한 공격 행위 탐지규칙 생성장치 및 그 방법 | |
CN113645182B (zh) | 一种基于二次特征筛选的拒绝服务攻击随机森林检测方法 | |
CN109951499B (zh) | 一种基于网络结构特征的异常检测方法 | |
CN110825545A (zh) | 一种云服务平台异常检测方法与*** | |
CN113904795B (zh) | 一种基于网络安全探针的流量快速精确检测方法 | |
CN117675387B (zh) | 基于用户行为分析的网络安全风险预测方法及*** | |
CN110650157B (zh) | 基于集成学习的Fast-flux域名检测方法 | |
Bhuyan et al. | Towards an unsupervised method for network anomaly detection in large datasets | |
JP2018169897A (ja) | 検知装置、検知方法及び検知プログラム | |
CN110262467B (zh) | 基于深度学习的工控***入侵攻击及线索发现方法 | |
Tian et al. | Incremental intrusion detecting method based on SOM/RBF | |
CN110689074A (zh) | 一种基于模糊集特征熵值计算的特征选择方法 | |
CN115225369B (zh) | 一种僵尸网络的检测方法、装置及设备 | |
JP2019175070A (ja) | アラート通知装置およびアラート通知方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |