CN111786903A - 一种基于约束模糊聚类和粒计算的网络流量分类方法 - Google Patents

Abstract

本发明属于网络流量分类技术领域，公开了一种基于约束模糊聚类和粒计算的网络流量分类方法，在训练阶段，使用流量信息将带有标签的数据集与不带标签的数据集合并；通过CCFCM对合并的数据集进行操作，并将一组聚类中心以数值格式输出；围绕数值型的聚类中心构建网络流量粒，将在合理粒度准则的指导下不断进行优化；将获得的最佳NTG借助带有标记的流，每个流量粒将会被映射到相应的流量类别；从NTG提取数据包级别和流级别特征，构建分类规则库；在测试阶段，粒分类器借助分类规则识别新的网络流或网络异常。由于网络流量粒可以详细地描述流量数据的潜在结构，因此对流量的分类精度将得到极大的提高。

Description

一种基于约束模糊聚类和粒计算的网络流量分类方法

技术领域

本发明属于网络流量分类技术领域，尤其涉及一种基于约束模糊聚类和粒计算的网络流量分类方法。

背景技术

目前，网络流量分类旨在识别由不同应用程序和协议生成的流量的所属类别，它可以为网络管理员提供网络状况的细粒度或粗粒度视图，例如服务质量测量，资源分配和入侵检测，进而帮助其方便地管理网络。随着越来越多的新型网络服务和网络访问设备的出现，网络流量分类吸引了越来越多的关注以便以智能的方式管理网络。

目前的流量分类方法主要分为五种：第一种是基于相关性的分类，它先依据流量的相关性对其进行聚合，然后对聚合的流量使用一些机器学习算法。第二种是基于特征的分类算法，这种方法通过对基于流或者基于包的统计特征进行分析来实现分类。第三种方法是基于行为的分类算法，它使用主机的交互行为来判断该主机在网络中的角色，然后基于这些角色的行为进行分类。第四种是基于端口的分类方法，该方法通过检查知名应用程序使用的标准端口来标识相应的流量。最后一种方法是基于数据包负载的分类方法，它使用深度包检查技术来匹配有效负载中的应用程序/协议的签名。

以上这些方法中存在一些问题。首先，大部分方法都存在对未知流量的错误分类情况。它们在训练阶段无法识别未知的流量类别，从而将他们归于已知的流量类别之中。这将在很大程度上影响分类的准确度。第二个问题是有些方法并不总是可靠的，比如说基于负载的分类方法在处理加密数据时就会变得无效；基于端口的分类方法在面临动态端口机制时也会变得无效。第三个问题是它们无法与数据包级别和流级别特征结合使用来执行流量分类。它们的分类规则基于数据包级别或流级别流量特征。当处理某些精心设计的流量(例如由隐秘的分布式拒绝服务攻击生成的异常流量)时，它们将变得无效。因此，在当前的网络管理中，诸如网络异常检测和网络可视化，需要已融合的不同流量级别信息。为了克服上述问题，迫切需要研究出具有以下要求的新型流量分类方法：准确度高、具有识别未知流量类别的能力、使用不同流量级别特征以精细的粒来详细描述潜在的流量数据结构、可以解决由训练数据短缺带来的问题。

本发明是一种基于相关性的分类方法。与大部分基于相关性的分类方法相似的是，本发明利用了数据流之间的相关性来增加分类的准确度。但是，需要指出的是，现有的基于相关性的分类方案存在上述讨论的某些问题，比如，无法准确识别未知的流量；没有充分利用不同层次的流量信息等。

通过上述分析，现有技术存在的问题及缺陷为：

(1)大部分方法都存在对未知流量的错误分类情况。它们在训练阶段无法识别未知的流量类别，从而将他们归于已知的流量类别之中。这将在很大程度上影响分类的准确度；

(2)有些方法并不总是可靠的。当网络出现波动或者网络环境发生变化时，大部分方法的准确度会变低；

(3)它们无法与数据包级别和流级别特征结合使用来执行流量分类。

解决以上问题及缺陷的难度为：虽然有很多方法在不断尝试提高分类的准确度和可靠性，但是可靠稳定的流量分类依然面临很多困难。首先，由于网络的不断发展，越来越多的应用程序带来了海量的数据流量，很多未知的流量甚至恶意流量夹杂其中，给分类带来了很大困难。其次，数据集和标签的采集对流量分类来讲也是一个难题。如何在不侵犯用户隐私的前提下获取大量真实可靠的网络流量和正确的数据标签依旧需要进一步研究。

解决以上问题及缺陷的意义为：解决这些问题可以帮助网络用户获得更好的服务，以及更加安全的网络环境。帮助研究者在进一步提高分类的准确度基础上，提高分类的细粒度，能够更为精准的描述流量数据结构。

发明内容

针对现有技术存在的问题，本发明提供了一种基于约束模糊聚类和粒计算的网络流量分类方法。

本发明是这样实现的，该基于约束模糊聚类和粒计算的网络流量分类方法为：

在训练阶段，使用流量信息将带有标签的数据集与不带标签的数据集合并；

通过CCFCM对合并的数据集进行操作，并将一组聚类中心以数值格式输出；

围绕数值型的聚类中心构建网络流量粒，将在合理粒度准则的指导下不断进行优化；

将获得的最佳NTG借助带有标记的流，每个流量粒将会被映射到相应的流量类别；

从NTG提取数据包级别和流级别特征，构建分类规则库；

在测试阶段，粒分类器借助分类规则识别新的网络流或网络异常。

进一步，构建网络流量粒的方法包括以下步骤：

步骤一，利用约束模糊聚类对网络流量进行聚类；

步骤二，根据聚类结果，建立网络流量信息粒并构建粒度分类器；

步骤三，基于粒度分类器对网络流量进行分类。

进一步，在步骤一中，

首先，采集网络流量，从每个流中提取以下特征：流大小，流间隔，数据包大小的最大、最小、均值和标准差，数据包到达间隔的最大、最小、均值和标准差，传输的字节数量；给定一个标签为L＝{l₁,l₂,...,l_n}的数据流集合S＝{s₁,s₂,...,s_n}，其中s_i∈R^q,q是特征维数,l_i∈(Class₁,Class₂,...Class_K)，i∈[1,n]，Class_p(p∈[1,K])是流量类别，对另一个未标记的数据集T＝{t₁,t₂,...}；

其次，聚类网络流量，使用增强系数来指导聚类过程中隶属度变化的方向，该增强系数仅通过每个簇中包含must-link数据流的比率来计算，CCFCM的目标函数为：

其中，m是模糊系数，c是簇的数量，N是数据流的数量，0≤u_ik≤1是数据流x_k对聚类中心v_i的隶属度并且必须满足

·是标准欧几里得距离，β_ik是增强系数；

β_ik的计算公式如下：

其中，RL_l是RLS中的一个相关流子集,Card(C_i)是在第i个簇中与x_k为must-link关系的数据流的数量，Card(RL_l)是RL_l中数据流的数量。

进一步，在步骤二中，围绕由数值数据表示的聚类中心v₁,v₂,...,v_c构建网络流量粒，将流量粒表示为NTG＝{G₁,G₂,...,G_c}，其中G_i＝{G_i1,G_i2,...,G_iq}，q是流量特征维数，i＝1,2,...,c。

进一步，流量粒的构建过程如下：

(1)生成网络流量粒，使用ε-信息粒规则来生成网络流量粒，网络流量粒G_i在结构上类似于超级立方体结构，其每一维的计算方式为G_ij＝[v_ij-ε/2*range_j,v_ij+ε/2*range_j]，其中v_ij是数值型中心v_i第j维的值，i＝1,2,...,c,j＝1,2,...,q，ε是G_i的大小,range_j是原始数据值第j维的数值变化范围；

(2)基于网络流量粒重构原始数据点，从NTG＝{G₁,G₂,...,G_c}中重构数据点x_k，重构的数据为一个间隔值，表示为

k＝1,2,...,N；如果

那么这个网络流量粒对x_k的表达能力就认为是好的；

(3)优化网络流量粒。

进一步，计算隶属度的方法包括：

(1)如果x_k∈G_i,i＝1,2,...,c，那么x_k对G_i的隶属度为

而对其他流量粒的隶属度则为

使用G_i表示，

(2)如果

通过隶属度聚合和已构建的网络流量信息粒进行去模糊运算以计算

的计算公式如下：

其中

和

是G_i的下界与上界。对第j个维度，

的计算公式为：

其中

进一步，在步骤三中，基于粒中包含的数据点来判断类别，如果一个流量粒中不包含任何带有标签的流，就将其视为未知类别，在分类阶段不使用它；对于至少包含一个带标签的流的粒，根据其中不同标记的流的数量比较来分配其流量类别；

设置包级别和流级别的规则库，从每个网络流量粒中提取的单个流的分类规则，以及从每个流量类别中提取的应用程序行为的识别规则；对于单个流分类，计算流与每个网络流量粒之间的距离。

进一步，对一个新的流y∈R^q,按照一下步骤进行分类：

·如果y∈G_i(i＝1,2,...,r)，即y_j在流量粒G_ij(j＝1,2,...,q)内部，这里G_i∈TC_p(p∈[1,K])，那么我们就把流y的标签记为Class_p；

·如果

我们需要计算流y与流量粒G_i(i＝1,2,...,r)之间的距离，将其分到包含与流y最近的G_i的集合类别TC_p(p∈[1,K])中。

本发明的另一目的在于提供一种实施基于约束模糊聚类和粒计算的网络流量分类方法的网络异常检测与预防方法。

本发明的另一目的在于提供一种实施基于约束模糊聚类和粒计算的网络流量分类方法的大数据分析方法。

结合上述的所有技术方案，本发明旨在从粒度的角度对网络流量进行分类，这是用于信息处理的新的计算方法，本发明所具备的优点及积极效果为：

(1)有效性：由于本发明将相关流量信息作为群集网络流量的先验知识，因此本专利是有效的。设计的“自定义约束模糊C均值”(CCFCM)算法是一种使用机器学习的半监督学习方法，该算法结合了先验知识以获得接近用户期望的结果。在CCFCM中，本发明通过考虑must-link数据点的比率，采用增强系数来调整成员隶属度。与其他约束FuzzyC-means算法相比，CCFCM的隶属矩阵和聚类中心的更新过程简单并且有效。

(2)准确性：网络流量粒的优化过程使本发明的分类方法比其他现有方法更准确。为了挖掘流量数据的基础结构，本发明首先使用CCFCM获得粗略描述，然后使用合理粒度原理的优化规则基于聚类结果构建网络流量粒。双重挖掘步骤可以完全描述流量数据的结构，并使描述更加具体。本发明提高了粒分类器的准确性。

(3)鲁棒性：本专利是鲁棒的，因为它具有识别未知流量类别的能力。未知流量类别的发现非常重要，因为未知类别的数量会极大地影响流量分类的准确性。如果无法识别未知流量并将其错误地分类为已知类别，分类器的性能将下降。本发明的方法可以准确地发现未知流量，因为它可以提供流量结构的详细描述。此属性使本发明的分类方法在存在未知流量的情况下更加鲁棒。

(4)多功能性：本发明是通用的，因为它可以执行流量分类和异常检测。当前流量测量中非常需要这两个功能。本发明从网络流量颗粒中提取数据包级别和流级别特征，以建立两个规则库，以对流量类别进行分类并识别应用行为。通过调整规则库，还可以实现更多的流量测量功能。显然，本发明的分类方法可以应用于发现异常网络行为，从而可以作为有效的网络入侵和威胁检测方法。

(5)可扩展性：本发明的方法可以容易地扩展本专利以实现网络安全性测量的任务。本发明提供了一种通过创新CCFCM并采用粒度计算理论来分析和建模网络数据的新方法。本发明可以使用类似的原理来处理更多类型的流量数据和其他类型的数据，例如，分析异常流量数据以执行网络异常检测。

(6)由于网络流量粒可以详细地描述流量数据的潜在结构，因此对流量的分类精度将得到极大的提高。

(7)现有技术直接在聚类中心上建立分类规则，其中会包含离群值进而导致分类不够精确。现有技术的分类的准确性取决于聚类的质量。本发明在簇中心周围构建网络流量粒，并使用从每个流量粒中提取的规则对流量进行分类。

(8)本发明的提取规则更加具体，将大大提高分类的准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的CCFCM示例图。

图2是本发明实施例提供的网络流量信息粒图。

图3是本发明实施例提供的基于约束模糊聚类和粒计算的网络流量分类方法流程图。

图4是本发明实施例提供的实施的具体步骤图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提出了网络流量粒的概念，并旨在建立用于对网络流量进行分类的基于粒的分类器。粒和粒度是源自粒计算的概念。它是一种用于解决复杂问题，大规模数据挖掘和模糊信息处理的不断发展而强大的理论。在本发明中，设计自定义约束模糊C均值(Customized Constrained Fuzzy C-Means,CCFCM)的新型聚类算法。该算法结合了关于流量信息的先验知识以增强网络流量聚类的准确度。流量信息的先验知识是相关流之间的必须链接关系，即两个数据流必须被聚类到同一个簇中。相关流是具有相同的目标地址，目标端口和传输协议的流。考虑到网络环境的稳定性，在某个短时间内它们是由同一应用程序产生的。在对流量进行聚类后，可以获得由数值表示的多个簇中心。本发明围绕这些由数值表示的簇中心构建网络流量粒，以提高对流量数据结构描述的质量。由于网络流量粒的构建是一个优化问题，因此粒会根据粒优化准则不断地进行优化更新，为了详细地描述流量结构。在每个网络流量粒中，本发明提取数据包级别和流级别规则以构建不同的粒分类器。通过结合两级流量规则，本发明的分类器可以有效、准确地对各种流量类别进行分类，以进一步检测网络异常。下面结合附图对本发明作详细的描述。

该发明可以实现网络流量度量的两个重要功能：流量类别分类和异常检测。在训练阶段，本发明使用相关流量信息将带有标签的数据集与不带标签的数据集合并。本发明不仅可以找到相关流，还可以扩展训练数据集。CCFCM对合并的数据集进行操作，并将一组聚类中心以数值格式输出。然后，围绕这些数值型的聚类中心构建网络流量粒(NTG)。他们将在合理粒度准则的指导下不断进行优化。此步骤是本发明分类方法的核心。优化过程完成后，本发明将获得最佳NTG。借助带有标记的流，每个流量粒将会被映射到相应的流量类别。从NTG提取数据包级别和流级别特征，以构建分类规则库。在测试阶段，粒分类器借助分类规则识别新的网络流或网络异常。

所述的基于约束模糊聚类和粒计算的网络流量分类方法包括以下步骤：

步骤一，利用约束模糊聚类对网络流量进行聚类。

步骤二，根据聚类结果，建立网络流量信息粒并构建粒度分类器。

步骤三，基于粒度分类器对网络流量进行分类。

所述步骤一具体包括：

(1)采集网络流量：流定义为具有一个或多个相同属性的数据包的集合。这些相同的属性(通常称为流关键字)通常包括数据包头信息、数据包内容和元信息。流比数据包更能概括网络流量信息。本发明选择流关键字为源IP地址，目标IP地址，源端口，目标端口和传输协议。本发明将从每个流中提取以下特征：流大小(数据包的数量)；流间隔(从第一个数据包到达到流过期的时间间隔)；数据包大小的最大、最小、均值和标准差；数据包到达间隔的最大、最小、均值和标准差；传输的字节数量。

相关流是具有相同目的地址，目的端口和传输协议的流。因为提供某些应用程序的主机不会在短时间内更改其服务，所以相关流由同一应用程序生成。因此，在聚类过程中，应将相关流聚到同一簇中。另外，在网络流量信息中不存在cannot-link约束关系，因为本发明无法根据数据包头信息确定两个流是否属于不同的流量类别。

给定一个标签为L＝{l₁,l₂,...,l_n}的数据流集合S＝{s₁,s₂,...,s_n}，其中s_i∈R^q,q是特征维数,l_i∈(Class₁,Class₂,...Class_K)，i∈[1,n]，Class_p(p∈[1,K])是流量类别。对另一个未标记的数据集T＝{t₁,t₂,...},本发明使用相关流信息合并S和T来很获得一个更大的训练数据集,以此来解决训练数据集短缺的问题。这个合并的训练数据集包括两个部分:相关流集合RLS＝{RL₁,RL₂,...}和单独流集合IS。本发明赋予在同一个相关流集合中的数据流为must-link关系。并且，如果RL_l中包含带有标签的流，本发明就把RL_l中所有的流归为带有标签流所属的类别。

(2)聚类网络流量：自定义约束模糊C均值(CCFCM)的目标是在聚类过程中将数据流尽可能地分到包含与该数据流具有must-link关系的数据流最多的簇中。本发明使用一个增强系数来指导聚类过程中隶属度变化的方向。该增强系数仅通过每个簇中包含must-link数据流的比率来计算。

CCFCM的目标函数为：

其中，m是模糊系数，c是簇的数量，N是数据流的数量，0≤u_ik≤1是数据流x_k对聚类中心v_i的隶属度并且必须满足

||·||是标准欧几里得距离，β_ik是增强系数。

β_ik的计算公式如下：

其中，RL_l是RLS中的一个相关流子集,Card(C_i)是在第i个簇中与x_k为must-link关系的数据流的数量，Card(RL_l)是RL_l中数据流的数量，满足Card(C_i)≤Card(RL_l).

β_ik的作用是增大数据流x_k对包含与其具有must-link关系数据流的簇的隶属度即拉近x_k与该簇的距离。图1中给出了一个示例。两个聚类中心用v₁和v₂表示，它们的成员用黑点和绿点表示。绿点与x_k之间具有must-link的关系。本发明可以看到簇v₁中的绿点数量大于v₂中的绿点数量。因此，本发明通过提高x_k与v₁的隶属度提高到来拉近它们之间的距离。

图1是CCFCM示例图，CCFCM的隶属度和聚类中心的更新公式如下：

所述步骤二具体包括：

CCFCM完成之后，本发明可以得到由数值数据表示的聚类中心，即v₁,v₂,...,v_c。围绕这些数值型的聚类中心便可以构建网络流量粒。本发明将流量粒表示为NTG＝{G₁,G₂,...,G_c}，其中G_i＝{G_i1,G_i2,...,G_iq}，q是流量特征维数，i＝1,2,...,c。流量粒的构建过程如下所述。

(1)生成网络流量粒：这一步的目的是基于原始数值中心构建流量信息粒。本发明使用ε-信息粒规则来生成网络流量粒。网络流量粒G_i在结构上类似于超级立方体结构，其每一维的计算方式为G_ij＝[v_ij-ε/2*range_j,v_ij+ε/2*range_j]，其中v_ij是数值型中心v_i第j维的值，i＝1,2,...,c,j＝1,2,...,q，ε是G_i的大小,range_j是原始数据值第j维的数值变化范围(也就是第j维的最大值与最小值之间的差值)。

为了细化G_ij的边界，本发明首先找出G_ij中距离v_i最远的点。然后，本发明删除最远的数据点和边界之间的空白区域，以使这些点位于边界处。图2显示了二维流量信息粒的格式。带有点线边界是原始的网络流量粒，带有实线的边界的是压缩后的网络流量粒。本发明通过丢弃未使用的区域可以压缩流量粒的大小。此压缩过程使网络流量粒度更加具体。

而且，从图2中可以看出一个网络流量粒实际上一系列数据点的集合。使用粒进行表示，本发明可以使用更少的数据点以一种可读的方式表示流量信息。

(2)基于网络流量粒重构原始数据点：这一步的目的是从网络流量粒来重构原始数据点，以便更好的测试他们的代表能力。比如，本发明想从NTG＝{G₁,G₂,...,G_c}中重构数据点x_k，重构的数据为一个间隔值，表示为

k＝1,2,...,N。如果

那么这个网络流量粒对x_k的表达能力就可以认为是好的。为了计算

本发明需要知道x_k对G_i,i＝1,2,...,c的隶属度。这里有两种方法来计算隶属度。

1)如果x_k∈G_i,i＝1,2,...,c，那么x_k对G_i的隶属度为

而对其他流量粒的隶属度则为

这代表本发明可以使用G_i表示x_k。因此，使用这种方法的话，

2)如果

本发明通过隶属度聚合和已构建的网络流量信息粒进行去模糊运算以计算

的计算公式如下：

其中

和

是G_i的下界与上界。对第j个维度，

的计算公式为：

其中

(3)优化网络流量粒：这一步非常重要，因为它指导了网络流量粒度的构建方向。本发明首先介绍合理粒度的原理，这是具有两个性能指标(即覆盖率和特异性)的优化规则。

覆盖率:覆盖率要求流量粒能包含尽可能多的原始数据点。一个网络流量粒中包含越多的数据点，就代表这个网络流量粒具有更好的表示能力。通过第二步执行的原始数据点的重构过程，本发明可以计算一个网络流量粒中包含的原始数据点的数量。覆盖率的计算如下：

其中N是原始数据点的数量，

是其重构中包含的数据点数。覆盖率将随着ε的增加而变大。

特异性:特异性指导网络流量粒覆盖尽可能具体的原始数据点。这意味着流量粒的大小应该更小以获得对流量清晰定义的语义。网络流量粒越小，其中包含的数据点就越相似。因此，特异性会随着ε的增加而减少。特定性的定义如下：

代表

的特异性,计算如下：

其中a_j和b_j是原始数据点第j维上最大和最小的值。

从覆盖率和特异性的定义中，本发明可以得出这两个性能指标之间存在竞争关系。覆盖率越大，特异性就越小。这两个指标都受网络流量粒大小ε的影响。因此，如何平衡覆盖率和特异性来获得最优的ε，是合理粒度原则的主要动机。本发明使用以下质量评估来衡量这种竞争关系：

QA(ε)＝Coverage*Specificity^α

其中α是一个非负参数，当α＞1，特异性就更为重要，当α＜1，覆盖率就更为重要。当α＝1，覆盖率和特异性一样重要。

所述步骤三具体包括：

对每一个NTG，本发明首先基于粒中包含的数据点来判断它的类别。如果一个流量粒中不包含任何带有标签的流，本发明就将其视为未知类别，在分类阶段不使用它。一切其他的技术可以用来对其进行分析，比如深度数据包检查。对于至少包含一个带标签的流的粒，本发明根据其中不同标记的流的数量比较来分配其流量类别。

例如，在流量粒G_i(i＝1,2,...,r,r≤c)中，带标签的流是{lf_i1,lf_i2,...lf_iu}，它们对应的类别分别是{ll_i1,ll_i2,...,ll_iu}，这里ll_io∈(Class₁,Class₂,...Class_K),o＝1,2,..,u。本发明可以按一下公式将流量粒G_i的标签(记为LG_i)设置为Class_p(p∈[1,K])：

对所有的流量粒进行标记之后，流量类别Class_p(p∈[1,K])可以由网络流量粒类别的集合来表示，如下所示：

TC_p＝{G_i,i＝1,2,...,r|LG_i＝Class_p}

接下来，本发明可以设置包级别和流级别的规则库。规则库包含两个部分：从每个网络流量粒中提取的单个流的分类规则，以及从每个流量类别中提取的应用程序行为的识别规则。对于单个流分类，本发明需要计算流与每个网络流量粒之间的距离。下面是粒分类器的实现过程。

对一个新的流y∈R^q,本发明对按照一下步骤进行分类:

·如果y∈G_i(i＝1,2,...,r)，即y_j在流量粒G_ij(j＝1,2,...,q)内部，这里G_i∈TC_p(p∈[1,K])，那么本发明就把流y的标签记为Class_p。

·如果

本发明需要计算流y与流量粒G_i(i＝1,2,...,r)之间的距离，将其分到包含与流y最近的G_i的集合类别TC_p(p∈[1,K])中。

本发明使用dis(y,G_i)来表示y到G_i(i＝1,2,...,r)的距离，它的计算如下：

dis(y_j,G_ij)是y和G_i(i＝1,2,...,r)在第j维上的距离。

下一步，本发明首先计算y和G_i(i＝1,2,...,r)在每一个流量类别TC_p(p∈[1,K])上的最短距离。然后，对所有p个流量类别，本发明将y的类别标记为与其具有最短距离的类别TC_p(p∈[1,K])。公式如下：

本发明提出了一种新型约束模糊C均值算法来对流量进行聚类并解决了训练数据集过小的问题。本发明可以将网络流量中存在的相关流量信息视为半监督学习中的must-link关系(即两个相关流量必须被分到同一个簇中)。因此，在对网络流量进行聚类时，本发明应该让相关流尽可能的近。CCFCM将相关性信息作为先验知识，通过考虑每个簇中must-link数据点的基数来连续调整给定数据点的隶属度。与其他受约束的FCM算法相比，CCFCM效率更高，速度更快，因为它仅通过考虑每个簇中must-link的数据点的比率来更新隶属矩阵，而不是一个个地判断关系。

本发明建立了对网络流量的新型表达形式，称为网络流量粒。每个网络流量粒都是包含许多数据点的超多维数据集。由于其构建是一个优化过程，因此可以完全捕获流量数据的基础结构。流量粒将带来许多好处，例如识别不兼容的数据，减少所需表达的数据量，在多个流量数据级别上构建规则库。

本发明基于网络流量粒建立了两个用于网络流量度量的规则库，即包级别规则库以及流级别规则库。使用这些规则库，可以实现网络安全度量的许多功能，例如异常应用程序检测，恶意流量识别。

基于以上讨论，本发明的网络流量分类方案符合以下步骤。首先，本发明使用相关流量信息在训练数据集中找到相关流。然后，通过考虑先验知识，使用CCFCM将流量数据划分为几个簇类。CCFCM执行完毕后，本发明获得了一组以数值形式表示的聚类中心。接下来，本发明在合理粒度原则的优化指导下，围绕这些数值型的聚类中心构建网络流量粒。通过这种方式，本发明成功地将流量数据的表示形式从数字格式提升为粒度格式。在每个流量粒中，本发明提取数据包级别和流级别特征以构建两个规则库。基于这些库，粒度分类器可以识别新的流，这些新的流或应用程序行为可以用于检测网络异常，以进行网络安全性度量。

在图4中，首先在训练阶段，本发明使用相关流量信息将带有标签的数据集与不带标签的数据集合并。这样，本发明不仅可以找到相关流，还可以扩展训练数据集。CCFCM对合并的数据集进行操作，并将一组聚类中心以数值格式输出。然后，围绕这些数值型的聚类中心构建网络流量粒(NTG)。他们将在合理粒度准则的指导下不断进行优化。此步骤是本发明分类方法的核心。优化过程完成后，本发明将获得最佳NTG。借助带有标记的流，每个流量粒将会被映射到相应的流量类别。从NTG提取数据包级别和流级别特征，以构建分类规则库。在测试阶段，粒分类器借助分类规则识别新的网络流。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于约束模糊聚类和粒计算的网络流量分类方法，其特征在于，所述基于约束模糊聚类和粒计算的网络流量分类方法为：

在训练阶段，使用流量信息将带有标签的数据集与不带标签的数据集合并；

通过CCFCM对合并的数据集进行操作，并将一组聚类中心以数值格式输出；

围绕数值型的聚类中心构建网络流量粒，将在合理粒度准则的指导下不断进行优化；

将获得的最佳NTG借助带有标记的流，每个流量粒将会被映射到相应的流量类别；

从NTG提取数据包级别和流级别特征，构建分类规则库；

在测试阶段，粒分类器借助分类规则识别新的网络流或网络异常。

2.如权利要求1所述的基于约束模糊聚类和粒计算的网络流量分类方法，其特征在于，构建网络流量粒的方法包括以下步骤：

步骤一，利用约束模糊聚类对网络流量进行聚类；

步骤二，根据聚类结果，建立网络流量信息粒并构建粒度分类器；

步骤三，基于粒度分类器对网络流量进行分类。

3.如权利要求2所述的基于约束模糊聚类和粒计算的网络流量分类方法，其特征在于，在步骤一中，

首先，采集网络流量，从每个流中提取以下特征：流大小，流间隔，数据包大小的最大、最小、均值和标准差，数据包到达间隔的最大、最小、均值和标准差，传输的字节数量；给定一个标签为L＝{l₁,l₂,...,l_n}的数据流集合S＝{s₁,s₂,...,s_n}，其中s_i∈R^q,q是特征维数,l_i∈(Class₁,Class₂,...Class_K)，i∈[1,n]，Class_p(p∈[1,K])是流量类别，对另一个未标记的数据集T＝{t₁,t₂,...}；

其次，聚类网络流量，使用增强系数来指导聚类过程中隶属度变化的方向，该增强系数仅通过每个簇中包含must-link数据流的比率来计算，CCFCM的目标函数为：

其中，m是模糊系数，c是簇的数量，N是数据流的数量，0≤u_ik≤1是数据流x_k对聚类中心v_i的隶属度并且必须满足

||·||是标准欧几里得距离，β_ik是增强系数；

β_ik的计算公式如下：

如果x_k∈RL_l并且Card(C_i)≠0

其中，RL_l是RLS中的一个相关流子集,Card(C_i)是在第i个簇中与x_k为must-link关系的数据流的数量，Card(RL_l)是RL_l中数据流的数量。

4.如权利要求3所述的基于约束模糊聚类和粒计算的网络流量分类方法，其特征在于，在步骤二中，围绕由数值数据表示的聚类中心v₁,v₂,...,v_c构建网络流量粒，将流量粒表示为NTG＝{G₁,G₂,...,G_c}，其中G_i＝{G_i1,G_i2,...,G_iq}，q是流量特征维数，i＝1,2,...,c。

5.如权利要求4所述的基于约束模糊聚类和粒计算的网络流量分类方法，其特征在于，流量粒的构建过程如下：

(1)生成网络流量粒，使用ε-信息粒规则来生成网络流量粒，网络流量粒G_i在结构上类似于超级立方体结构，其每一维的计算方式为G_ij＝[v_ij-ε/2*range_j,v_ij+ε/2*range_j]，其中v_ij是数值型中心v_i第j维的值，i＝1,2,...,c,j＝1,2,...,q，ε是G_i的大小,range_j是原始数据值第j维的数值变化范围；

(2)基于网络流量粒重构原始数据点，从NTG＝{G₁,G₂,...,G_c}中重构数据点x_k，重构的数据为一个间隔值，表示为

如果

那么这个网络流量粒对x_k的表达能力就认为是好的；

(3)优化网络流量粒。

6.如权利要求5所述的基于约束模糊聚类和粒计算的网络流量分类方法，其特征在于，计算隶属度的方法包括：

(1)如果x_k∈G_i,i＝1,2,...,c，那么x_k对G_i的隶属度为

而对其他流量粒的隶属度则为

使用G_i表示，

(2)如果

通过隶属度聚合和已构建的网络流量信息粒进行去模糊运算以计算

的计算公式如下：

其中

和

是G_i的下界与上界.对第j个维度，

的计算公式为：

其中

7.如权利要求6所述的基于约束模糊聚类和粒计算的网络流量分类方法，其特征在于，在步骤三中，基于粒中包含的数据点来判断类别，如果一个流量粒中不包含任何带有标签的流，就将其视为未知类别，在分类阶段不使用它；对于至少包含一个带标签的流的粒，根据其中不同标记的流的数量比较来分配其流量类别；

设置包级别和流级别的规则库，从每个网络流量粒中提取的单个流的分类规则，以及从每个流量类别中提取的应用程序行为的识别规则；对于单个流分类，计算流与每个网络流量粒之间的距离。

8.如权利要求7所述的基于约束模糊聚类和粒计算的网络流量分类方法，其特征在于，对一个新的流y∈R^q,按照一下步骤进行分类：

·如果y∈G_i(i＝1,2,...,r)，即y_j在流量粒G_ij(j＝1,2,...,q)内部，这里G_i∈TC_p(p∈[1,K])，那么我们就把流y的标签记为Class_p；

·如果

我们需要计算流y与流量粒G_i(i＝1,2,...,r)之间的距离，将其分到包含与流y最近的G_i的集合类别TC_p(p∈[1,K])中。

9.一种实施权利要求1～8任意一项基于约束模糊聚类和粒计算的网络流量分类方法的网络异常检测与预防方法。

10.一种实施权利要求1～8任意一项所述基于约束模糊聚类和粒计算的网络流量分类方法的大数据分析方法。

Images