CN105005629A - 一种基于混合高斯的sdn流聚类方法 - Google Patents

Abstract

本发明涉及一种基于混合高斯的SDN流聚类方法，通过对基本高斯混合模型算法进行了改进，引入流的边信息，构造基于边信息等价集约束的高斯混合模型，提高聚类效果，并将其运用到SDN数据流聚类中。本发明使得聚类结果的准确度和聚类速度得到很大的提升。

Description

一种基于混合高斯的SDN流聚类方法

技术领域

本发明涉及SDN数据流聚类，特别是一种基于混合高斯的SDN流聚类方法。

背景技术

软件定义网络(Software Defined Network,SDN)，是Emulex网络一种新型网络创新架构，是网络虚拟化的一种实现方式，其核心技术OpenFlow通过将网络设备控制面与数据面分离开来，从而实现了网络流量的灵活控制，使网络作为管道变得更加智能。

目前在软件定义网络(SDN)环境下，针对SDN流的高效、准确地归类问题的研究还没有很大进展。

发明内容

有鉴于此，本发明的目的是提出一种基于混合高斯的SDN流聚类方法，使得聚类结果的准确度和聚类速度得到很大的提升。

本发明采用以下方案实现：一种基于混合高斯的SDN流聚类方法，具体包括以下步骤；

步骤S1：对原始SDN数据进行五元组记录，并且采用KMeans聚类算法，完成SND数据流与用户之间的映射关系；

步骤S2：利用高斯混合模型GMM以及公式对SDN数据流的概率密度分布进行估计，其中K为高斯模型的个数，a_i为第i个高斯模型的权重，p_i(x|θ_i)为第i个高斯模型的概率密度函数，所述p_i(x|θ_i)的均值为μ_k，方差为σ^k；θ_i＝(μ_i,∑_i)，μ_i,∑_i为待求解的数据生成模型的参数；

步骤S3：采用流持续时间、数据包数量、流大小、数据包大小、数据包间隔时间作为SDN流向量属性，通过边信息获得SDN流等价集；

步骤S4：对高斯混合模型GMM的数据生成模型进行调整；

步骤S5：采用must-link成对点约束和cannot-link成对点约束来辅助聚类。

进一步的，所述步骤S4具体包括以下步骤：

步骤S41：将SDN流边信息的取值空间表示为 $\mathrm{\Ω}=\left\{Y\right|(y_1^s=...=y_i^s=...=y_{Ns}^s=Y_s),s=1,...,M\},$ 其中，Y＝{y₁,…,y_i,…,y_N}，y_i表示第i个数据点的聚类中心，表示在第s个等价集中第i个数据点的聚类中心，Y_s表示第s个等价集X_s的概率分布，X_s包含N_s条数据流，所有等价集包含的数据条数x＝{x₁,…x_N}表示N条数据流，X＝{X₁,…X_M}表示M个等价集，X_s是X₁至X_M中的其中一个等价集，y_i∈{1,…,K}，K为聚类中心的个数；

步骤S42：建立基于约束最大化的log-likelyhood function： $\begin{array}{c}{Q}^C(\mathrm{\θ},{\mathrm{\θ}}^g)=E\[\log p(X,Y|Y\∈\mathrm{\Ω},\mathrm{\θ})|X,Y\∈\mathrm{\Ω},{\mathrm{\θ}}^g\]\\ =\underset{y\∈\mathrm{\Ω}}{\mathrm{\Σ}}\log p(X,y|y\∈\mathrm{\Ω},\mathrm{\θ})P\left(y\right|X,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)\end{array},$ 根据所述数据生成模型可以得到 $\begin{array}{c}logp(X,y|y\∈\mathrm{\Ω},\mathrm{\θ})=logp\left(y\right|y\∈\mathrm{\Ω},\mathrm{\θ})p\left(X\right|y,y\∈\mathrm{\Ω},\mathrm{\θ})\\ =\underset{s=1}{\overset{M}{\Σ}}log{a}_{Y_S}+\underset{s=1}{\overset{M}{\Σ}}logp\left(X_S\right|Y_S,y\∈\mathrm{\Ω},\mathrm{\θ})\end{array},$ 边缘概率分布为： $P\left(y\right|X,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)=\frac{P(y\∈\mathrm{\Ω}|X,y,{\mathrm{\θ}}^g)P\left(y\right|X,{\mathrm{\θ}}^g)}{P(y\∈\mathrm{\Ω}|X,{\mathrm{\θ}}^g)}=\frac{\underset{s=1}{\overset{M}{\Π}}{\mathrm{\δ}}_{Y_S}P\left(Y_S\right|X_S,{\mathrm{\θ}}^g)}{\underset{Y_1}{\Σ}...\underset{Y_M}{\Σ}\underset{j=1}{\overset{M}{\Π}}{\mathrm{\δ}}_{Y_j}P\left(Y_j\right|X_j,{\mathrm{\θ}}^g)},$ ${\mathrm{\δ}}_{Y_j}=\left\{\begin{array}{cc}1,& y_1^j=...=y_{N_j}^j\\ 0,& otherwise\end{array}\right.;$ 其中θ^g是当前参数估计，θ是迭代计算后的参数估计，X表示等价集，Y为等价集在各个聚类中心点的分布概率，y＝y_i，表示每一个聚类中心的先验概率；

步骤S43：将log-likelyhood function简化为其中，每一个等价集的后验概率计算定义如下： $\begin{array}{c}P(Y_s=l|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)\≡P(y_1^s=l,...y_{Nl}^s=l|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)\\ =\frac{\underset{n=1}{\overset{N_s}{\mathrm{\Π}}}\[a_l^g{p}_l\left(x_n^s\right|{\mathrm{\θ}}_l^g)\]}{\underset{j=1}{\overset{K}{\Σ}}\underset{n=1}{\overset{N_s}{\mathrm{\Π}}}\[\[a_j^g{p}_j\left(x_n^s\right|{\mathrm{\θ}}_l^g)\]\]}\end{array},$ 其中为当前l类的权重，表示当前参数估计下x的概率，为等价集X_s的元素，表示旧的参数估计，θ_l表示新的参数估计，l表示第l的聚类中心；

步骤S44：使用带约束的最大似然估计的方法求解数据生成模型的参数，使得Q^C(θ,θ^g)的取值最大化；其中其中表示等价集X_s的元素； ${\mathrm{\Σ}}_i=\frac{\underset{s=1}{\overset{M}{\Σ}}P\left(l\right|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)\underset{n=1}{\overset{N_s}{\Σ}}(x_n^s-{\mathrm{\μ}}_i){(x_n^s-{\mathrm{\μ}}_i)}^T}{\underset{s=1}{\overset{M}{\Σ}}P\left(l\right|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)N_S};$ $a_i=\frac{1}{M}\underset{s=1}{\overset{M}{\Σ}}P\left(l\right|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g).$

进一步的，所述的五元组包括源IP、源端口、目标IP、目标端口以及协议。

进一步的，所述的SDN流等价集为独立同分布。

进一步的，所述边信息SDN流的目标ip、目标端口、协议。

与现有技术相比，本发明有以下有益效果：因此本发明引入半监督式聚类算法，根据用户历史数据，分析数据包与数据关联特征。本发明是通过对基本高斯混合模型算法进行了改进，引入流的边信息，构造基于边信息等价集约束的高斯混合模型，提高聚类效果，并将其运用到SDN数据流聚类中。本发明的基于边信息等价集约束的高斯混合模型比较与高斯混合模型以及K-Means聚类结果准确度和聚类速度均有较大的提升。

附图说明

图1为本发明的方法流程示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本实施例提供了一种基于混合高斯的SDN流聚类方法，具体包括以下步骤；

步骤S1：对原始SDN数据进行五元组记录，并且采用KMeans聚类算法，完成SND数据流与用户之间的映射关系；

步骤S2：利用高斯混合模型GMM以及公式对SDN数据流的概率密度分布进行估计，其中K为高斯模型的个数，a_i为第i个高斯模型的权重，p_i(x|θ_i)为第i个高斯模型的概率密度函数，所述p_i(x|θ_i)的均值为μ_k，方差为σ^k；θ_i＝(μ_i,∑_i)，μ_i,∑_i为待求解的数据生成模型的参数；

步骤S3：采用流持续时间、数据包数量、流大小、数据包大小、数据包间隔时间作为SDN流向量属性，通过边信息获得SDN流等价集；

步骤S4：对高斯混合模型GMM的数据生成模型进行调整；

步骤S5：采用must-link成对点约束和cannot-link成对点约束来辅助聚类。

在本实施例中，所述步骤S4具体包括以下步骤：

步骤S41：将SDN流边信息的取值空间表示为 $\mathrm{\Ω}=\left\{Y\right|(y_1^s=...=y_i^s=...=y_{Ns}^s=Y_s),s=1,...,M\},$ 其中，Y＝{y₁,…,y_i,…,y_N}，y_i表示第i个数据点的聚类中心，表示在第s个等价集中第i个数据点的聚类中心，Y_s表示第s个等价集X_s的概率分布，X_s包含N_s条数据流，所有等价集包含的数据条数x＝{x₁,…x_N}表示N条数据流，X＝{X₁,…X_M}表示M个等价集，X_s是X₁至X_M中的其中一个等价集，y_i∈{1,…,K}，K为聚类中心的个数；

步骤S42：建立基于约束最大化的log-likelyhood function： $\begin{array}{c}{Q}^C(\mathrm{\θ},{\mathrm{\θ}}^g)=E\[\log p(X,Y|Y\∈\mathrm{\Ω},\mathrm{\θ})|X,Y\∈\mathrm{\Ω},{\mathrm{\θ}}^g\]\\ =\underset{y\∈\mathrm{\Ω}}{\mathrm{\Σ}}\log p(X,y|y\∈\mathrm{\Ω},\mathrm{\θ})P\left(y\right|X,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)\end{array},$ 根据所述数据生成模型可以得到 $\begin{array}{c}logp(X,y|y\∈\mathrm{\Ω},\mathrm{\θ})=logp\left(y\right|y\∈\mathrm{\Ω},\mathrm{\θ})p\left(X\right|y,y\∈\mathrm{\Ω},\mathrm{\θ})\\ =\underset{s=1}{\overset{M}{\Σ}}log{a}_{Y_S}+\underset{s=1}{\overset{M}{\Σ}}logp\left(X_S\right|Y_S,y\∈\mathrm{\Ω},\mathrm{\θ})\end{array},$ 边缘概率分布为： $P\left(y\right|X,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)=\frac{P(y\∈\mathrm{\Ω}|X,y,{\mathrm{\θ}}^g)P\left(y\right|X,{\mathrm{\θ}}^g)}{P(y\∈\mathrm{\Ω}|X,{\mathrm{\θ}}^g)}=\frac{\underset{s=1}{\overset{M}{\Π}}{\mathrm{\δ}}_{Y_S}P\left(Y_S\right|X_S,{\mathrm{\θ}}^g)}{\underset{Y_1}{\Σ}...\underset{Y_M}{\Σ}\underset{j=1}{\overset{M}{\Π}}{\mathrm{\δ}}_{Y_j}P\left(Y_j\right|X_j,{\mathrm{\θ}}^g)},$ ${\mathrm{\δ}}_{Y_j}=\left\{\begin{array}{cc}1,& y_1^j=...=y_{N_j}^j\\ 0,& otherwise\end{array}\right.;$ 其中θ^g是当前参数估计，θ是迭代计算后的参数估计，X表示等价集，Y为等价集在各个聚类中心点的分布概率，y＝y_i，表示每一个聚类中心的先验概率；

步骤S43：将log-likelyhood function简化为 $\begin{array}{c}{Q}^C(\mathrm{\θ},{\mathrm{\θ}}^g)=\underset{s=1}{\overset{M}{\Σ}}\underset{l=1}{\overset{K}{\Σ}}P(Y_s=l|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)\underset{n=1}{\overset{N_s}{\Σ}}log{p}_l\left(x_n^s\right|{\mathrm{\θ}}_l)\\ +\underset{s=1}{\overset{M}{\Σ}}\underset{l=1}{\overset{K}{\Σ}}P(Y_s=l|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)N_{s}log{a}_l\end{array},$ 其中，每一个等价集的后验概率计算定义如下： $\begin{array}{c}P(Y_s=l|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)\≡P(y_1^s=l,...y_{Nl}^s=l|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)\\ =\frac{\underset{n=1}{\overset{N_s}{\mathrm{\Π}}}\[a_l^g{p}_l\left(x_n^s\right|{\mathrm{\θ}}_l^g)\]}{\underset{j=1}{\overset{K}{\Σ}}\underset{n=1}{\overset{N_s}{\mathrm{\Π}}}\[\[a_j^g{p}_j\left(x_n^s\right|{\mathrm{\θ}}_l^g)\]\]}\end{array},$ 其中为当前l类的权重，表示当前参数估计下x的概率，为等价集X_s的元素，表示旧的参数估计，θ_l表示新的参数估计，l表示第l的聚类中心；

步骤S44：使用带约束的最大似然估计的方法求解数据生成模型的参数，使得Q^C(θ,θ^g)的取值最大化；其中其中表示等价集X_s的元素； ${\mathrm{\Σ}}_i=\frac{\underset{s=1}{\overset{M}{\Σ}}P\left(l\right|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)\underset{n=1}{\overset{N_s}{\Σ}}(x_n^s-{\mathrm{\μ}}_i){(x_n^s-{\mathrm{\μ}}_i)}^T}{\underset{s=1}{\overset{M}{\Σ}}P\left(l\right|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)N_S};$ $a_i=\frac{1}{M}\underset{s=1}{\overset{M}{\Σ}}P\left(l\right|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g).$

在本实施例中，所述的五元组包括源IP、源端口、目标IP、目标端口以及协议。

在本实施例中，所述的SDN流等价集为独立同分布。

在本实施例中，所述边信息SDN流的目标ip、目标端口、协议。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种基于混合高斯的SDN流聚类方法，其特征在于包括以下步骤；

步骤S1：对原始SDN数据进行五元组记录，并且采用KMeans聚类算法，完成SND数据流与用户之间的映射关系；

步骤S2：利用高斯混合模型GMM以及公式对SDN数据流的概率密度分布进行估计，其中K为高斯模型的个数，a_i为第i个高斯模型的权重，p_i(x|θ_i)为第i个高斯模型的概率密度函数，所述p_i(x|θ_i)的均值为μ_k，方差为σ^k；θ_i＝(μ_i,Σ_i)，μ_i，Σ_i为待求解的数据生成模型的参数；

步骤S3：采用流持续时间、数据包数量、流大小、数据包大小、数据包间隔时间作为SDN流向量属性，通过边信息获得SDN流等价集；

步骤S4：对高斯混合模型GMM的数据生成模型进行调整；

步骤S5：采用must-link成对点约束和cannot-link成对点约束来辅助聚类。

2.根据权利要求1所述的一种基于混合高斯的SDN流聚类方法，其特征在于：所述步骤S4具体包括以下步骤：

步骤S41：将SDN流边信息的取值空间表示为 $\mathrm{\Ω}=\left\{Y\right|(y_1^s=...=y_i^s=...=y_{Ns}^s=Y_s),s=1,...,M\},$ 其中，Y＝{y₁,…,y_i,…,y_N}，y_i表示第i个数据点的聚类中心，表示在第s个等价集中第i个数据点的聚类中心，Y_s表示第s个等价集X_s的概率分布，X_s包含N_s条数据流，所有等价集包含的数据条数x＝{x₁,…x_N}表示N条数据流，X＝{X₁,…X_M}表示M个等价集，X_s是X₁至X_M中的其中一个等价集，y_i∈{1,…,K}，K为聚类中心的个数；

步骤S42：建立基于约束最大化的log-likelyhood function： $\begin{array}{c}{Q}^C(\mathrm{\θ},{\mathrm{\θ}}^g)=E\[\log p(X,Y|Y\∈\mathrm{\Ω},\mathrm{\θ})|X,Y\∈\mathrm{\Ω},{\mathrm{\θ}}^g\]\\ =\underset{y\∈\mathrm{\Ω}}{\mathrm{\Σ}}\log p(X,y|y\∈\mathrm{\Ω},\mathrm{\θ})P\left(y\right|X,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)\end{array},$ 根据所述数据生成模型可以得到 $\begin{array}{c}logp(X,y|y\∈\mathrm{\Ω},\mathrm{\θ})=logp\left(y\right|y\∈\mathrm{\Ω},\mathrm{\θ})p\left(X\right|y,y\∈\mathrm{\Ω},\mathrm{\θ})\\ =\underset{s=1}{\overset{M}{\Σ}}log{a}_{Y_S}+\underset{s=1}{\overset{M}{\Σ}}logp\left(X_S\right|Y_S,y\∈\mathrm{\Ω},\mathrm{\θ})\end{array},$ 边缘概率分布为： $P\left(y\right|X,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)=\frac{P(y\∈\mathrm{\Ω}|X,y,{\mathrm{\θ}}^g)P\left(y\right|X,{\mathrm{\θ}}^g)}{P(y\∈\mathrm{\Ω}|X,{\mathrm{\θ}}^g)}=\frac{\underset{s=1}{\overset{M}{\Π}}{\mathrm{\δ}}_{Y_S}P\left(Y_S\right|X_S,{\mathrm{\θ}}^g)}{\underset{Y_1}{\Σ}...\underset{Y_M}{\Σ}\underset{j=1}{\overset{M}{\Π}}{\mathrm{\δ}}_{Y_j}P\left(Y_j\right|X_j,{\mathrm{\θ}}^g)},$ ${\mathrm{\δ}}_{Y_j}=\left\{\begin{array}{cc}1,& y_1^j=...=y_{N_j}^j\\ 0,& otherwise\end{array}\right.;$ 其中θ^g是当前参数估计，θ是迭代计算后的参数估计，X表示等价集，Y为等价集在各个聚类中心点的分布概率，y＝y_i，表示每一个聚类中心的先验概率；

步骤S43：将log-likelyhood function简化为 $\begin{array}{c}{Q}^C(\mathrm{\θ},{\mathrm{\θ}}^g)=\underset{s=1}{\overset{M}{\Σ}}\underset{l=1}{\overset{K}{\Σ}}P(Y_s=l|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)\underset{n=1}{\overset{N_s}{\Σ}}log{p}_l\left(x_n^s\right|{\mathrm{\θ}}_l)\\ +\underset{s=1}{\overset{M}{\Σ}}\underset{l=1}{\overset{K}{\Σ}}P(Y_s=l|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)N_{s}log{a}_l\end{array},$ 其中，每一个等价集的后验概率计算定义如下： $\begin{array}{c}P(Y_s=l|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)\≡P(y_1^s=l,...y_{Nl}^s=l|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)\\ =\frac{\underset{n=1}{\overset{N_s}{\mathrm{\Π}}}\[a_l^g{p}_l\left(x_n^s\right|{\mathrm{\θ}}_l^g)\]}{\underset{j=1}{\overset{K}{\Σ}}\underset{n=1}{\overset{N_s}{\mathrm{\Π}}}\[\[a_j^g{p}_j\left(x_n^s\right|{\mathrm{\θ}}_l^g)\]\]}\end{array},$ 其中为当前l类的权重，表示当前参数估计下x的概率，为等价集X_s的元素，表示旧的参数估计，θ_l表示新的参数估计，l表示第l的聚类中心；

步骤S44：使用带约束的最大似然估计的方法求解数据生成模型的参数，使得Q^C(θ,θ^g)的取值最大化；其中其中表示等价集Xs的元素； ${\mathrm{\Σ}}_i=\frac{\underset{s=1}{\overset{M}{\Σ}}P\left(l\right|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)\underset{n=1}{\overset{N_s}{\Σ}}(x_n^s-{\mathrm{\μ}}_i){(x_n^s-{\mathrm{\μ}}_i)}^T}{\underset{s=1}{\overset{M}{\Σ}}P\left(l\right|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g)N_S};$ $a_i=\frac{1}{M}\underset{s=1}{\overset{M}{\Σ}}P\left(l\right|X_s,y\∈\mathrm{\Ω},{\mathrm{\θ}}^g).$

3.根据权利要求1所述的一种基于混合高斯的SDN流聚类方法，其特征在于：所述的五元组包括源IP、源端口、目标IP、目标端口以及协议。

4.根据权利要求1所述的一种基于混合高斯的SDN流聚类方法，其特征在于：所述的SDN流等价集为独立同分布。

5.根据权利要求1所述的一种基于混合高斯的SDN流聚类方法，其特征在于：所述边信息SDN流的目标ip、目标端口、协议。