CN109951499B - 一种基于网络结构特征的异常检测方法 - Google Patents
一种基于网络结构特征的异常检测方法 Download PDFInfo
- Publication number
- CN109951499B CN109951499B CN201910338300.3A CN201910338300A CN109951499B CN 109951499 B CN109951499 B CN 109951499B CN 201910338300 A CN201910338300 A CN 201910338300A CN 109951499 B CN109951499 B CN 109951499B
- Authority
- CN
- China
- Prior art keywords
- network
- time
- normal
- network structure
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种基于网络结构特征的异常检测方法，其中，包括：(1)网络特征参数提取，(2)建立网络拓扑特征模型；(3)进行网络特征匹配，包括：将t时刻的待检测网络结构特征与分析所得的正常网络结构特征进行匹配，若t时刻的网络特征与的正常网络结构特征偏离度较大，则表示当前t时刻的网络存在异常；若偏离度不大，则判定t时刻的网络正常；网络特征模型更新，并通过更新后的网络模型对待检测网络行为进行检测。一种基于网络结构特征的异常检测方法，解决了现有技术无法检测规模性异常、对网络流量之间关联关系分析不深入、精细化分析导致开销过大等的问题。
Description
技术领域
本发明涉及网络安全技术领域，特别是一种基于网络结构特征的异常检测方法。
背景技术
随着信息和网络技术的飞速发展，通信网络已成为人们日常生活中不可或缺的一部分，然而，伴随通信网络广泛应用为用户带来便利的同时，也为网络安全带来了极大的隐患，针对网络的攻击事件频繁发生，且攻击手段更加复杂多样。如何通过安全技术手段尽可能发现网络异常行为或入侵企图，并采取有效举措进行处理和防范，是目前信息安全领域研究的重点之一，这类研究称为网络异常检测。
网络异常检测能够有效发现网络中的潜在问题，为网络安全运行提供基础。现有的网络异常检测技术根据研究对象主要分为两类，即基于主机和基于网络。基于主机的异常检测通过收集主机***的时间日志、操作日志以及安全审计数据进行分析，发现可能遇到的异常事件。基于网络的异常检测主要是针对网络数据流，通过将网络行为分为“正常”和“异常”两类；符合规范的网络行为定性为正常行为，而与正常行为偏离较大的行为定性为异常行为。
针对网络的异常检测技术，其基本思想是：通过对大量正常网络数据进行分析处理，建立正常规则模型，将待测网络与该规则模型进行匹配，判定与该规则不相匹配的待测网络为网络异常，相匹配的网络为正常。网络异常检测的过程一般包括数据采集、模型建立和匹配检测三个阶段。数据采集是模型建立和匹配检测阶段的基础，主要实现对数据的提取、筛选、过滤与预处理；模型建立阶段基于采集的数据，进行训练并建立正常模型，该模型将用于匹配检测阶段发现网络异常。目前应用较为广泛的异常检测方法包括基于信息熵的异常检测方法、基于统计分析的异常检测方法、基于分类的异常检测方盒以及基于聚类的异常检测方法等。部分方法存在无法检测规模性异常、对网络流量之间关联关系分析不深入、精细化分析导致开销过大等问题。
发明内容
本发明的目的在于提供一种基于网络结构特征的异常检测方法，用于解决上述现有技术的问题。
本发明一种基于网络结构特征的异常检测方法，其中，包括：(1)网络特征参数提取，包括：对于网络拓扑GS＝(VS,ES)，其中VS和ES分别表示网络拓扑节点集合和链路集合；网络特征参数集合定义为SS＝(s1,s2,…,sd)，共包含d类特征参数；(2)建立网络拓扑特征模型，包括：设置时间周期T天以及窗口宽度W，则网络结构特征模型定义如下：假设在t时刻之前，在周期内相同时刻的连续W次网络行为均为正常行为，则在t时刻正常网络结构特征S0(t)＝(so(t，1)，so(t，2)，so(t，3))可表示为：
即t时刻正常网络结构特征为前W个周期内相同时刻的正常网络特征平均值；(3)进行网络特征匹配，包括：将t时刻的待检测网络结构特征与分析所得的正常网络结构特征进行匹配，若t时刻的网络特征与的正常网络结构特征偏离度较大，则表示当前t时刻的网络存在异常；若偏离度不大，则判定t时刻的网络正常；网络特征模型更新，并通过更新后的网络模型对待检测网络行为进行检测。
根据本发明的基于网络结构特征的异常检测方法的一实施例，其中，还包括：(4)网络特征模型更新，包括：
在检测结束后，若t时刻的网络存在异常，则仍以S0(t)作为t+1时刻的网络结构特征模式，即S0(t+1)＝S0(t)，若t时刻的网络行为为正常行为，增加t时刻的网络特征数据，替代在S0(t)中离t时刻时间最长的网络特征数据，即SS(t-W×T)，则：
根据本发明的基于网络结构特征的异常检测方法的一实施例，其中，网络特征参数包括：网络节点数、网络边数、网络平均度数、网络拓扑直径、网络密度以及节点度分布.
根据本发明的基于网络结构特征的异常检测方法的一实施例，其中，
1)网络节点数为：
网络GS＝(VS,ES)的节点数V＝|VS|；
2)网络边数为：
网络中边的数目，即网络GS＝(VS,ES)的边数E＝|ES|；
3)网络平均度数，包括：
指连接到节点的边的数目，节点vi的度数D(vi)可表示为：
其中，若节点vi与vj之间存在通信链路，即(vi,vj)∈ES,则δij＝1，否则δij＝0，网络平均度数为网络中所有节点的平均度，表示为：
根据本发明的基于网络结构特征的异常检测方法的一实施例，其中，时间周期T＝7天，窗口宽度W＝4。
根据本发明的基于网络结构特征的异常检测方法的一实施例，其中，进行网络特征匹配采用的相似度匹配算法，包括Jaccard算法以及夹角余弦算法。
根据本发明的基于网络结构特征的异常检测方法的一实施例，其中，进行网络特征匹配中，t时刻的网络结构特征表示为：SS(t)＝(ss(t，1)，ss(t，2)，ss(t，3))，对SS(t)与S0(t)进行匹配，在匹配过程中，首先对SS(t)与S0(t)进行归一化处理，再进行相似度匹配；
定义
则归一化处理后的S’S(t)与S’0(t)表示为：
根据本发明的基于网络结构特征的异常检测方法的一实施例，其中，对于办公网网络拓扑GS＝(VS，ES)，选择3类特征参数，包括网络节点数、网络边数以及网络平均度数，即，SS＝(s1,s2，s3)，d＝3，其中s1，s2,s3分别表示网络节点数、网络边数以及网络平均度数。
本发明根据已有研究成果发现，在正常情况下网络拓扑结构应具有一定的规律性和稳定性，而当网络异常行为发生时，会造成各网络结的特征发生变化。例如，DDoS攻击以极大的通信量冲击目标网络或用极大量的连接请求冲击目标主机，以消耗可用的网络资源或***资源，会导致网络拓扑中网络节点数、边数、平均度数大量增大。本发明将基于网络结构特征，结合滑动窗口理念，设计了一种网络异常检测方法，解决了现有技术无法检测规模性异常、对网络流量之间关联关系分析不深入、精细化分析导致开销过大等的问题。
附图说明
图1为基于网络结构特征的异常检测方法的流程图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
图1为基于网络结构特征的异常检测方法的流程图，如图1所示，本发明的基于网络结构特征的异常检测方法包括：
(1)网络特征参数提取，包括：
对于网络拓扑GS＝(VS,ES)，其中VS和ES分别表示网络拓扑节点集合和链路集合。网络特征参数集合定义为SS＝(s1,s2,…,sd)，共包含d类特征参数。网络特征参数可用于表征当前时刻网络状况，包括：网络节点数、网络边数、网络平均度数、网络拓扑直径、网络密度、节点度分布等。为了便于理解，本发明以网络节点数、网络边数、网络平均度数为例，所提模型具有良好的可扩展性，未来可根据需要扩充网络特征参数，如网络拓扑直径、网络密度、节点度分布等。
1)网络节点数，包括：
网络节点数是指网络中节点的数目，即网络GS＝(VS,ES)的节点数V＝|VS|。
2)网络边数，包括：
网络边数是指网络中边的数目，即网络GS＝(VS,ES)的边数E＝|ES|。
3)网络平均度数，包括：
网络平均度数在无向图中是指连接到节点的边的数目，节点vi的度数D(vi)可表示为：
其中，若节点vi与vj之间存在通信链路，即(vi,vj)∈ES,则δij＝1，否则δij＝0。网络平均度数为网络中所有节点的平均度，可表示为：
当网络中出现异常行为时，可能会导致网络结构特征发生变化。例如DDoS攻击可能会导致网络节点数、边数、平均度数大量增大，因此通过提取网络特征参数，建立网络拓扑特征模型，并与该网络待检测状态进行匹配可发现网络异常行为。
(2)网络拓扑特征模型建立
网络流量及拓扑特征在一定时间周期内具有规律性。以办公网络为例，在一个星期内，工作日工作时间网络流量较大，在周末及工作日休息时间网络拓扑中节点和流量较少。本发明在网络特征模型建立阶段，结合滑动窗口理念，对网络拓扑的特征进行建模。滑动窗口初始设计主要针对网络数据流连续无限的情况，通过设计滑动窗口，着重对当前数据进行处理，对时间较远的衰减数据进行清除。本方法将对网络拓扑特征数据根据时间进行分片，如设置时间周期T＝7天，窗口宽度W＝4，则网络结构特征模型可初步定义如下：
假设在t时刻之前，在周期内相同时刻的连续W次网络行为均为正常行为，则在t时刻正常网络结构特征S0(t)＝(so(t，1)，so(t，2)，so(t，3))可表示为
即t时刻正常网络结构特征为前W个周期内相同时刻的正常网络特征平均值。
(3)网络特征匹配，包括：
网络特征匹配是将t时刻的待检测网络结构特征与分析所得的正常网络结构特征进行匹配，若t时刻的网络特征与的正常网络结构特征偏离度较大，则表示当前t时刻的网络存在异常；若偏离度不大，则判定t时刻的网络正常。
t时刻的网络结构特征可表示为：SS(t)＝(ss(t，1)，ss(t，2)，ss(t，3))，对SS(t)与S0(t)进行匹配。在匹配过程中，首先对SS(t)与S0(t)进行归一化处理，再进行相似度匹配。
定义
则归一化处理后的S’S(t)与S’0(t)可表示为：
目前已存在多种相似度匹配算法，如Jaccard算法、夹角余弦算法等。可根据实际数据，经过反复多次测试，校正，验证，再校正的过程，选择最佳偏离度测算方案。
(4)网络特征模型更新，包括：
在检测结束后，若t时刻的网络存在异常，则仍以S0(t)作为t+1时刻的网络结构特征模式，即S0(t+1)＝S0(t)。若t时刻的网络行为为正常行为，增加t时刻的网络特征数据，替代在S0(t)中离t时刻时间最长的网络特征数据，即SS(t-W×T)，则：
如图1所示，对于本发明基于网络结构特征的异常检测方法的一实施例，包括：
步骤1：网络拓扑特征参数选择。对于办公网网络拓扑GS＝(VS，ES)，选择3类特征参数，包括网络节点数、网络边数、网络平均度数。即，SS＝(s1,s2,s3)，d＝3，其中s1,s2,s3分别表示网络节点数、网络边数、网络平均度数。
步骤2：网络拓扑特征模型建立。针对办公网络流量的规律性，设定流量特征比对的时间周期T＝7天，窗口宽度W＝4。即对于办公网网络拓扑GS＝(VS，ES)，若判断时刻t为3月29日星期一上午10时的网络异常情况，则为建立正常网络拓扑特征模型，则需采集3月22日(t-T时刻)、3月15日(t-2×T时刻)、3月8日(t-3×T时刻)、3月1日(t-4×T时刻)上午10时的网络拓扑特征参数(上述四个时刻的网络行为均为正常行为)，相应的特征参数如下表所示。
| 时间 | 节点数 | 边数 | 平均度数 |
| 3月22日10时 | 121 | 350 | 1.91 |
| 3月15日10时 | 120 | 358 | 1.93 |
| 3月8日10时 | 116 | 368 | 1.94 |
| 3月1日10时 | 132 | 364 | 1.86 |
则在t时刻(3月29日星期一上午10时)正常网络结构特征可表示为
步骤3：网络特征匹配。采集待检测的t时刻(3月29日星期一上午10时)的网络特征，为SS(t)＝(121,358,1.89)。经过归一化处理后，采用夹角余弦算法判断t时刻是否存在异常网络行为，经计算cos(θt)≈1，t时刻的网络结构特征与正常网络环境下的特征相匹配，即判定t时刻的网络不存在异常行为。
步骤4：更新网络特征模型。因为t时刻的网络行为为正常行为，在对t+1时刻(即4月5日星期一上午10时)的网络行为进行检测时，更新网络拓扑特征模型，删除最远时刻3月1日上午10时的网络拓扑特征参数，补充3月29日上午10时的网络拓扑特征参数，并计算网络拓扑特征模型；若t时刻的网络存在异常，则仍采用原有网络拓扑特征模型。根据更新后的网络拓扑特征模型对待检测网络行为进行检测，重复步骤2、3、4。
本发明根据已有研究成果发现，在正常情况下网络拓扑结构应具有一定的规律性和稳定性，而当网络异常行为发生时，会造成各网络结的特征发生变化。例如，DDoS攻击以极大的通信量冲击目标网络或用极大量的连接请求冲击目标主机，以消耗可用的网络资源或***资源，会导致网络拓扑中网络节点数、边数、平均度数大量增大。本发明将基于网络结构特征，结合滑动窗口理念，设计了一种网络异常检测方法，解决了现有技术无法检测规模性异常、对网络流量之间关联关系分析不深入、精细化分析导致开销过大等的问题。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (5)
1.一种基于网络结构特征的异常检测方法，其特征在于，包括：
(1)网络结构特征参数提取，包括：
对于网络拓扑GS＝(VS,ES)，其中VS和ES分别表示网络拓扑节点集合和链路集合；网络结构特征参数集合定义为SS＝(s1,s2,…,sd)，共包含d类特征参数；
其中,对于办公网网络拓扑GS＝(VS,ES)，选择3类特征参数，包括网络节点数、网络边数以及网络平均度数，即，SS＝(s1,s2,s3)，d＝3，其中s1,s2,s3分别表示网络节点数、网络边数以及网络平均度数；
(2)建立网络拓扑特征模型，包括：
设置时间周期T天以及窗口宽度W，则网络结构特征模型定义如下：
假设在t时刻之前，在周期内相同时刻的连续W次网络行为均为正常行为，则在t时刻正常网络结构特征S0(t)＝(so(t，1)，so(t，2)，so(t，3))可表示为：
即t时刻正常网络结构特征为前W个周期内相同时刻正常网络结构特征平均值；
(3)进行网络结构特征匹配，包括：
将t时刻的待检测网络结构特征与分析所得t时刻正常网络结构特征进行匹配，若t时刻的网络结构特征与正常网络结构特征偏离度较大，则表示当前t时刻的网络存在异常；若偏离度不大，则判定t时刻的网络正常；
网络结构特征模型更新，并通过更新后的网络模型对待检测网络行为进行检测；
(4)网络结构特征模型更新，包括：
在检测结束后，若t时刻的网络存在异常，则仍以S0(t)作为t+1时刻的网络结构特征模式，即S0(t+1)＝S0(t)，若t时刻的网络行为为正常行为，增加t时刻的网络结构特征数据，替代在S0(t)中离t时刻时间最长的网络结构特征数据，即S0(t-W×T)。
2.如权利要求1所述的基于网络结构特征的异常检测方法，其特征在于，
1)网络节点数为：
网络GS＝(VS,ES)的节点数V＝|VS|；
2)网络边数为：
网络中边的数目，即网络GS＝(VS,ES)的边数E＝|ES|；
3)网络平均度数，包括：
指连接到节点的边的数目，节点vi的度数D(vi)可表示为：
其中，若节点vi与vj之间存在通信链路，即(vi,vj)∈ES,则δij＝1，否则δij＝0，网络平均度数为网络中所有节点的平均度，表示为：
3.如权利要求1所述的基于网络结构特征的异常检测方法，其特征在于，时间周期T＝7天，窗口宽度W＝4。
4.如权利要求1所述的基于网络结构特征的异常检测方法，其特征在于，进行网络结构特征匹配采用的相似度匹配算法，包括Jaccard算法以及夹角余弦算法。
5.如权利要求1所述的基于网络结构特征的异常检测方法，其特征在于，进行网络结构特征匹配中，t时刻的网络结构特征表示为：SS(t)＝(ss(t，1)，ss(t，2)，ss(t，3))，对SS(t)与S0(t)进行匹配，在匹配过程中，首先对SS(t)与S0(t)进行归一化处理，再进行相似度匹配；
定义
则归一化处理后的S’S(t)与S’0(t)表示为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910338300.3A CN109951499B (zh) | 2019-04-25 | 2019-04-25 | 一种基于网络结构特征的异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910338300.3A CN109951499B (zh) | 2019-04-25 | 2019-04-25 | 一种基于网络结构特征的异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109951499A CN109951499A (zh) | 2019-06-28 |
| CN109951499B true CN109951499B (zh) | 2021-09-17 |
Family
ID=67016179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910338300.3A Active CN109951499B (zh) | 2019-04-25 | 2019-04-25 | 一种基于网络结构特征的异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109951499B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110896524B (zh) * | 2019-12-24 | 2022-01-11 | 腾讯科技（深圳）有限公司 | 网络结构监测方法、装置 |
| CN114650167B (zh) * | 2022-02-08 | 2023-06-27 | 联想(北京)有限公司 | 一种异常检测方法、装置、设备及计算机可读存储介质 |
| CN115296984B (zh) * | 2022-08-08 | 2023-12-19 | 中国电信股份有限公司 | 异常网络节点的检测方法及装置、设备、存储介质 |
| CN117579344B (zh) * | 2023-11-20 | 2024-06-07 | 北京思存通信技术有限公司 | 一种网络结构特征异常检测*** |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4089719B2 (ja) * | 2005-09-09 | 2008-05-28 | 沖電気工業株式会社 | 異常検出システム，異常管理装置，異常管理方法，プローブおよびそのプログラム |
| US9203857B2 (en) * | 2011-08-30 | 2015-12-01 | Nec Europe Ltd. | Method and system for detecting anomaly of user behavior in a network |
| US9106555B2 (en) * | 2012-01-25 | 2015-08-11 | Cisco Technology, Inc. | Troubleshooting routing topology based on a reference topology |
| CN103888304B (zh) * | 2012-12-19 | 2017-08-04 | 华为技术有限公司 | 一种多节点应用的异常检测方法及相关装置 |
| US10044745B1 (en) * | 2015-10-12 | 2018-08-07 | Palantir Technologies, Inc. | Systems for computer network security risk assessment including user compromise analysis associated with a network of devices |
| CN109214456A (zh) * | 2018-09-06 | 2019-01-15 | 深圳先进技术研究院 | 一种网络异常检测方法、***及电子设备 |
-
2019
- 2019-04-25 CN CN201910338300.3A patent/CN109951499B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109951499A (zh) | 2019-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109951499B (zh) | 一种基于网络结构特征的异常检测方法 | |
| CN112738015B (zh) | 一种基于可解释卷积神经网络cnn与图检测的多步攻击检测方法 | |
| US20200322368A1 (en) | Method and system for clustering darknet traffic streams with word embeddings | |
| CN109067722B (zh) | 一种基于两步聚类和检测片分析联合算法的LDoS检测方法 | |
| JP2008545343A (ja) | 全ネットワークアノマリー診断用の方法及び装置並びにトラフィック特徴分布を使用してネットワークアノマリーを検出及び分類する方法 | |
| Peng et al. | Network intrusion detection based on deep learning | |
| CN112333195B (zh) | 基于多源日志关联分析的apt攻击场景还原检测方法及*** | |
| CN109951462B (zh) | 一种基于全息建模的应用软件流量异常检测***及方法 | |
| CN107483451B (zh) | 基于串并行结构网络安全数据处理方法及***、社交网络 | |
| CN113542060A (zh) | 一种基于设备通信数据特征的异常设备检测方法 | |
| CN110851422A (zh) | 一种基于机器学习的数据异常监测模型构建方法 | |
| CN113904881B (zh) | 一种入侵检测规则误报处理方法和装置 | |
| Landress | A hybrid approach to reducing the false positive rate in unsupervised machine learning intrusion detection | |
| Aung et al. | An analysis of K-means algorithm based network intrusion detection system | |
| CN115795330A (zh) | 一种基于ai算法的医疗信息异常检测方法及*** | |
| CN112887326A (zh) | 一种基于边云协同的入侵检测方法 | |
| CN113904795A (zh) | 一种基于网络安全探针的流量快速精确检测方法 | |
| RU148692U1 (ru) | Система мониторинга событий компьютерной безопасности | |
| Karimpour et al. | Intrusion detection in network flows based on an optimized clustering criterion | |
| RU180789U1 (ru) | Устройство аудита информационной безопасности в автоматизированных системах | |
| CN114494771A (zh) | 一种可防御后门攻击的联邦学习图像分类方法 | |
| CN114172699A (zh) | 一种工业控制网络安全事件关联分析方法 | |
| CN113780431A (zh) | 基于神经网络技术的网络流量信息分析方法及*** | |
| CN110650157B (zh) | 基于集成学习的Fast-flux域名检测方法 | |
| CN108108625B (zh) | 基于格式异构的溢出漏洞检测方法、***及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |