CN115051940A - 一种基于bloom滤波器的IPv6网络流测量方法 - Google Patents

Abstract

该发明公开了一种基于bloom滤波器的IPv6网络流测量方法，属于网络流量估计领域。本发明能够实现对网络流量测量的误差更低，并且能够不增加甚至减少bloom滤波器的复杂度和存储空间。该方法仅使用bloom滤波器对网络进行低抽样频率的测量，因此可以有效减少bloom滤波器的误判率，然后使用ARIMA预测算法预测得到时序预测的网络流量，然后使用蚁群算法对时序预测的网络测量结果进行优化，因此可以在有限的抽样频率的条件下得到接近实际的网络流测量结果，在流量小，测量数据稀少的场景下也能应用，因而应用范围更加广泛。并且，由于bloom滤波器中存在预测模块，在流量剧烈变化时有良好的回归能力，相比于其他bloom滤波器，更适合流量变化剧烈和具有长期趋势性变化的流量测量。

Description

一种基于bloom滤波器的IPv6网络流测量方法

技术领域

本发明属于网络数据流测量和统计领域，特别是涉及bloom滤波测量IPv6网络流的方法。

背景技术

IPv6网络的规模更大、速率更快，对***计算和存储资源提出了更高的要求，且增加了传统的对流经链路所有数据包进行捕获和测量的难度。抽样技术作为一种可扩展的数据缩减技术，其能够有效保留原始流量行为的细节，提高***的处理效率和资源利用率。目前，应用较广泛的技术主要有哈希算法、超时策略和概要数据结构，并由此衍生出如流抽样、抽样与哈希结合的测量以及基于bloom滤波器的抽样测量等。其中，bloom滤波器具有简便易实现、资源利用率高以及处理速度快等优点，相比于传统随机抽样，能够判断当前分组报文是否是新流，且空间与时间复杂度都比较低，因此更加适合与网络流抽样。

但是，使用bloom滤波器的网络测量方法一直存在随着存入元素数量增加，误算率随之增加的问题。而为了对高速、大流量网络流量进行准确的测量，通常需要对网络进行更高频率的测量，从而导致元素数量增加，使得要么bloom滤波器复杂度和存储空间增加，要么使得误算率增加。bloom滤波器也有很多改进算法，主要有Counting bloom滤波器，Compressed bloom滤波器，Spectral bloom滤波器和Dynamic Counting滤波器。最具代表性的如Counting bloom滤波器，解决了删除元素的问题，降低了溢出率，增加了bloom滤波器的准确性。Spectral bloom滤波器，由于其存储类似于多重集结构，所以对于频繁的查询操作来说，可以很好的支持。Stable bloom滤波器大量压缩数据，使得在存储空间上降低要求，特别适用于数据流的重复检测。Dynamic Couting bloom滤波器使用多层Coutingbloom滤波器，根据网络流量动态增加层数，减小了因计数器溢出造成的误算率。现有基于bloom滤波器的网络流测量技术大多对网络流进行被动的测量，因此需要高抽样频率以达到更好的测量结果，因此需要在误算率、计算复杂度和空间复杂度三者之间求均衡。少有技术充分利用有限的网络流测量结果对真实的网络流信息进行估计，并且采用主动获取的少量准确信息对估计结果进行修正。

在IPv6网络中的网络速度快，流量波动剧烈，测量得到的网络流量可以用时间序列表示。所以可以将流量建模成时间序列并发现流量的变化趋势，该建模方法属于时间序列分析领域，自回归积分移动平均(ARIMA)模型是最典型和最常用的时间序列分析模型。而在在对结果进行优化时，可以应用蚁群算法，蚁群算法(AC)是一种用于解决复杂组合优化问题，具有很强的发现好解的能力，具有高度的灵活性和健壮性。

发明内容

现有基于bloom滤波器的网络流测量技术大多对网络流进行被动的测量，少有技术充分利用有限的网络流测量结果对真实的网络流信息进行估计，并且采用主动获取的少量准确信息对估计结果进行修正。而自回归移动平均模型(ARIMA)特别适合用来对网络流的变化趋势进行预测，并且可以利用蚁群算法(AC)对测量的结果进行优化，可以解决bloom滤波器对高抽样频率测量的依赖性。针对现有技术存在的缺点，本发明提出一种基于bloom滤波器的IPv6网络流测量方法，能够实现对网络流量测量的误差更低，并且能够不增加甚至减少bloom滤波器的复杂度和存储空间。该方法仅使用bloom滤波器对网络进行低抽样频率的测量，因此可以有效减少bloom滤波器的误判率，然后使用ARIMA预测算法预测得到时序预测的网络流量，然后使用蚁群算法对时序预测的网络测量结果进行优化，因此可以在有限的测量频率的条件下得到接近实际的网络流测量结果。

本发明技术方案为一种基于bloom滤波器的IPv6网络流测量方法，具体步骤如下：

步骤1：bloom滤波器初始化；

使用bloom滤波器，设置三层位向量，随机设置不同的位向量的动态装载因子上限；

步骤2：三层的位向量交替地测量网络流；

运用两层位向量同时对网络流展开测量，对两层位向量所得到的判定结果取交集，当一个位向量的装载数量达到上限时，随即进行初始化，由原本的另一个位向量和一个新的位向量开始工作，循环交替工作，得到的网络流测量结果；

步骤3：构建流量矩阵，利用步骤2中得到的网络流测量结果，预测出流量矩阵中每个流的网络流测量结果；具体过程如下：

步骤3.1：设置流的数量M和测量流量矩阵X，并对流量矩阵的第1到M个流依次进行如下操作；

当时间序列x(t)满足

E(x(t))＝E(x(t-t′))＝μ (1)

E(x(t)-μ)²＝E(x(t-t′)-μ)²＝σ² (2)

cov(x(t),x(t-t′))＝cov(x(t-j),x(t-j-t′))＝γ (3)

其中，x(t)表示时间序列，E(·)表示期望函数，cov(·)表示协方差函数，μ为时间序列的平均值，σ²为时间序列的方差，t′表示采样序列中上一个采样时刻，j为采样时隙的滑动间隔，γ为时间序列与时间间隔有关的自相关函数；对时间序列进行差分操作，循环计算直到时间序列x(t)不再满足(1)，(2)和(3)；

步骤3.2：对不平滑的时间序列要进行差分计算得到d，利用信息量准则AIC和贝叶斯信息量准则BIC确定参数，，确定参数p,q＝argv(min(AIC),min(BIC))。

其中，

BIC＝AIC+(log(L)-2)(p+q+1)

其中，L表示滞后算子；

回归模型的残差平方和；p表示自回归项数；q表示滑动平均项数；d表示稳序列所做的差分次数。对ARIMA(p,d,q)模型进行拟合，ARIMA(p,d,q)模型为

其中，L表示滞后算子；p表示滞后阶数；q表示移动平均项数；φ,θ分别表示循环迭代更新步长；利用循环迭代的方法拟合ARIMA(p,d,q)模型，如果服从高斯分布的随机误差u(t)的期望E(u(t))＝0，并且方差D(u(t))满足要求，则跳出循环，否则更新参数φ,θ，继续循环；得到预测流量x(t)；

步骤4：使用基于拉取的方法发送请求消息来获取网络中的链路负载，基于误差最小化构造目标函数，并求解该目标函数，使用得到的解对步骤3的估计结果进行修正，就可得到接近实际流量的测量结果。

进一步的，所述步骤1中bloom滤波器，设计为三层位向量，其中任意2层位向量为工作状态；另一层位向量为等待状态。随机设置bloom滤波器中不同的位向量的动态装载因子上限。使用hash函数选择处于工作状态的位向量，通过对测量值进行量化，并利用流量之间的相关性计算获得流量值。初始化具体过程如下：

各位向量分别在一定范围内随机生成装载因子上限，B₁,B₂,B₃，设置哈希函数数量k，位向量的长度m。初始化位向量A₁,A₂，A₃，初始化n＝n₁＝n₂＝0。

进一步的，所述步骤2三层位向量交替地测量网络流，具体过程如下：

新的分组x到达时，解析其流关键字f，通过哈希函数将f分别映射到位向量A₁,A₂；如果A₁判定为新流，则A₁流量数n₁加1，否则n₁不变；同样的，如果A₂判定为新流，则A₂流量数n₂加1，否则n₂不变；如果A₁和A₂都判定为新流，则流量数n加一，否则不变；

计算bloom滤波器误差Δx＝[1-(1-1/m)^kn]k≈(1-e^-kn/m)^k,调整随机抽样概率为r/(-x)，其中k为哈希函数数量，n为已经捕获的流的数量，m为位向量的长度；

如果工作中的某一个位向量达到装载因子上限，即其退出工作，开始初始化，并由空闲等待的位向量代替其工作；

重复步骤上述步骤，每次循环为一个测量周期，获得一个测量值x。

进一步的，所述步骤4使用蚁群算法对预测的网络流测量结果进行优化，具体过程如下：

目标函数为

其中，α和β是待求的测量结果的权重系数；A为路由矩阵；Y_m为表示链路m的流量测量值；

为流量矩阵；a_mn为路由参数，表示业务流n从链路m上经过；x_ji为从终端节点j流向终端节点i的业务流的流量值；N为网络中终端节点的数量，约束条件C1表示业务流量与链路流量之间的约束关系；约束条件C2表示业务流流量的非负性，约束条件C3表示迭代过程中业务流流量的上限约束；约束条件C4表示在交换机中流量是守恒的，即流入交换机的流量x_ij和流量交换机的流量x_ji是相同的；

初始化控制参数、蚂蚁数量和最大迭代次数，并给出实际网络中每个节点对的每个候选变量的初始信息素浓度值；

每只蚂蚁从自己的起点出发，路由经过网络中的每个节点，设对应于所述信息素浓度第a个的候选流量值第j个变量是τ(i,j)，蚂蚁根据以下等式，为第a个网络节点选择候选流量：

其中，q为信息素浓度，q₀为信息度浓度阈值；

当一只蚂蚁经过所有网络节点时，则为所有实际网络节点选择流量值，改变蚂蚁在经过的网络节点中选择的候选流量值s对应的信息素浓度值，局部信息素浓度的更新规则为：

τ_k+1(i,j)＝(1-ρ)τ_k(i,j)，其中τ_k(i,j)为第k次循环时的候选流量值。

当所有蚂蚁完成寻路过程后，根据全局信息素浓度更新规则更新网络中的信息素浓度，全局信息素浓度更新规则为：

τ_k+1(j)＝(1-α)τ_k(j)+Δτ_k(j) (7)

其中τ_k(j)为本次循环的信息素浓度，τ_k+1(j)为下一次循环的信息素浓度，f_best为找到的最佳流量值，f_worst为找到的最差的流量值，

为浓度更新的差值；

在优化过程中，需要对蚂蚁构造的解进行分析，在所有蚂蚁构造完解之后，判断这些解是否是新解，如果是新路径，则计算对应的目标函数值，否则，函数值将设置为给定的默认值；

每次计算后判断是否达到终止条件，如果达到则停止；否则，重复上述蚁群算法，直到重复次数达到最大重复次数K；将得到的解α和β带入流量预测值

即得到测量结果。

本发明的有益效果：

本发明提出一种IPv6网络流测量中的bloom滤波器构建方法。

针对现有技术存在的缺点，本发明提出一种IPv6网络流测量中的bloom滤波器构建方法，能够实现对网络流量测量的误差更低，并且能够不增加甚至减少bloom滤波器的复杂度和存储空间。该方法仅使用bloom滤波器对网络进行低抽样频率的测量，因此可以有效减少bloom滤波器的误判率，然后使用ARIMA预测算法预测得到时序预测的网络流量，然后使用蚁群算法对时序预测的网络测量结果进行优化，因此可以在有限的抽样频率的条件下得到接近实际的网络流测量结果，在流量小，测量数据稀少的场景下也能应用，因而应用范围更加广泛。并且，由于bloom滤波器中存在预测模块，在流量剧烈变化时有良好的回归能力，相比于其他bloom滤波器，更适合流量变化剧烈和具有长期趋势性变化的流量测量。

附图说明

图1为本发明的bloom滤波器构建方法基本原理图；

图2为本发明IPv6网络流测量中的bloom滤波器构建方法的算法流程图；

图3为本发明bloom滤波器的真实数据的测量结果对比；

图4为本发明bloom滤波器的测量结果的绝对误差；

图5为本发明bloom滤波器的测量结果的相对误差；

图6为本发明bloom滤波器的测量结果的绝对误差的累计分布函数；

图7为本发明bloom滤波器的测量结果的相对误差的累计分布函数；

图8为本发明bloom滤波器的均方误差的互补累计分布函数；

具体实施方式

本发明是一种IPv6网络流测量中的bloom滤波器构建方法。使用改进型bloom滤波器，设置三层位向量，在一定范围内随机设置不同的位向量的动态装载因子上限。运用两层位向量同时对网络流展开测量，对两层位向量所得到的判定结果取交集。当一个位向量的装载数量达到上限时，随即进行初始化，由原本的另一个位向量和一个新的位向量开始工作，循环交替工作，得到的网络流测量结果。构建流量矩阵，并使用ARIMA算法，利用得到的网络流测量结果，预测出流量矩阵中每个流的网络流测量结果；使用基于拉取的方法发送请求消息来获取网络中的链路负载，并综合考虑带宽、流量守恒原理、链路负载等因素，基于误差最小化构造目标函数，并使用蚁群算法求解该目标函数，使用得到的解对估计结果进行修正，就可得到接近实际流量的测量结果。方法示意图如图1所示，算法流程图如图2所示。然后，我们将我们的方法与高抽样频率测量(采样间隔为1秒的周期性采样)(FGM)、主成分分析(PCA)方法和SRSVD方法进行比较。

步骤1：分析测量结果，并对测量结果和真实网络流量进行对比分析。图3显示了实际流量和测量结果。图3中的红线代表实际流量，蓝线、粉线和绿线分别代表本bloom滤波器、SRSVD和PCA的测量方法的测量结果。从图3中对网络流的测量结果可以看出，测量结果能够准确地反映真实数据的变化趋势，并且误差很小。SRSVD方法和本bloom滤波的测量结果接近实际流量。虽然真实流量的变化较为剧烈，但是bloom滤波器始终具有稳定的测量效果。在流量剧烈变化的时候测量结果和真实数据的差距会增大，但是该差距会迅速重新减小，这正是本bloom滤波器相比于随机抽样具有的对流量变化时更加灵敏的测量能力。从短期和长期上来看，时间跨度越长的趋势变化，测量的准确性越好，这正是ARIMA时序预测以及AIC算法优化产生的效果。说明ARIMA时序预测和AIC算法恰好增加了bloom滤波器对长期趋势更加准确的测量能力，进一步增强了流量剧烈变化时的测量效果。

步骤2：分析测量结果与真实网络流量之间的绝对与相对误差。图4和图5分别显示了绝对误差和相对误差。从图4可以看出，本方法和SRSVD测量结果的绝对误差在40分钟中的80％都小于1000Mbps。从图5可以看出，本方法和SRSVD相对误差在40分钟中的80％都小于0.2。这意味着网络流量测量是稳定有效的。可以明显观察到本bloom滤波器的测量结果是四种测量方法中最好的。

步骤3：引入累计分布函数更加直观地描述误差。图6和图7显示了绝对误差和相对误差的累计分布函数。测量结果的绝对误差的累计函数在1000bps以上，原因之一是流量具有随机特征，估计方法在估计过程中不能反映高斯噪声。但是，测量结果可以反映流量波动的趋势，不同流量的测量值具有相似的趋势，因此相对误差小于0.3。本bloom滤波器的绝对误差和相对误差小于PCA，大于FGM。这说明，由于没有增加抽样的频率，使得在流量变化不剧烈时，本bloom滤波器的优势不明显。但是在流量剧烈变化以及具有长期的趋势变化时，本bloom滤波器具有更好的测量效果，适合面向流量变化大的IPv6网络的测量。

步骤4：引入互补累计分布函数对RMSE进行直观地描述。图8显示了测量结果的均方根误差的互补累计分布函数。互补累积分布函数反映了测量结果相对误差的均方根误差，也说明了当测量结果相对误差的均方根误差大于0.2时，测量误差很小，因此说明本bloom滤波器的测量效果总体优秀。们可以直接发现本bloom滤波器的性能是比ARSVD和PCA好，比FGM差一点。所以，当测量精度要求误差不超过20％时，本bloom滤波器是可行的。

Claims (4)

1.一种基于bloom滤波器的IPv6网络流测量方法，具体步骤如下：

步骤1：bloom滤波器初始化；

使用bloom滤波器，设置三层位向量，随机设置不同的位向量的动态装载因子上限；

步骤2：三层的位向量交替地测量网络流；

运用两层位向量同时对网络流展开测量，对两层位向量所得到的判定结果取交集，当一个位向量的装载数量达到上限时，随即进行初始化，由原本的另一个位向量和一个新的位向量开始工作，循环交替工作，得到的网络流测量结果；

步骤3：构建流量矩阵，利用步骤2中得到的网络流测量结果，预测出流量矩阵中每个流的网络流测量结果；具体过程如下：

步骤3.1：设置流的数量M和测量流量矩阵X，并对流量矩阵的第1到M个流依次进行如下操作；

当时间序列x(t)满足

E(x(t))＝E(x(t-t′))＝μ (1)

E(x(t)-μ)²＝E(x(t-t′)-μ)²＝σ² (2)

cov(x(t),x(t-t′))＝cov(x(t-j),x(t-j-t′))＝γ (3)

其中，x(t)表示时间序列，E(·)表示期望函数，cov(·)表示协方差函数，μ为时间序列的平均值，σ²为时间序列的方差，t′表示采样序列中上一个采样时刻，j为采样时隙的滑动间隔，γ为时间序列与时间间隔有关的自相关函数；对时间序列进行差分操作，循环计算直到时间序列x(t)不再满足(1)，(2)和(3)；

步骤3.2：对不平滑的时间序列要进行差分计算得到d，利用信息量准则AIC和贝叶斯信息量准则BIC确定参数，，确定参数p,q＝argv(min(AIC),min(BIC))；

其中，

BIC＝AIC+(log(L)-2)(p+q+1)

其中，L表示滞后算子；

回归模型的残差平方和；p表示自回归项数；q表示滑动平均项数；d表示稳序列所做的差分次数；对ARIMA(p,d,q)模型进行拟合，ARIMA(p,d,q)模型为

其中，L表示滞后算子；p表示滞后阶数；q表示移动平均项数；φ,θ分别表示循环迭代更新步长；利用循环迭代的方法拟合ARIMA(p,d,q)模型，如果服从高斯分布的随机误差u(t)的期望E(u(t))＝0，并且方差D(u(t))满足要求，则跳出循环，否则更新参数φ,θ，继续循环；得到预测流量x(t)；

步骤4：使用基于拉取的方法发送请求消息来获取网络中的链路负载，基于误差最小化构造目标函数，并求解该目标函数，使用得到的解对步骤3的估计结果进行修正，就可得到接近实际流量的测量结果。

2.如权利要求1所述的一种基于bloom滤波器的IPv6网络流测量方法，其特征在于，所述步骤1中bloom滤波器，设计为三层位向量，其中任意2层位向量为工作状态；另一层位向量为等待状态，随机设置bloom滤波器中不同的位向量的动态装载因子上限，使用hash函数选择处于工作状态的位向量，通过对测量值进行量化，并利用流量之间的相关性计算获得流量值，初始化具体过程如下：

各位向量分别在一定范围内随机生成装载因子上限，B₁,B₂,B₃，设置哈希函数数量k，位向量的长度m；初始化位向量A₁,A₂，A₃，初始化n＝n₁＝n₂＝0。

3.如权利要求1所述的一种基于bloom滤波器的IPv6网络流测量方法，其特征在于，所述步骤2三层位向量交替地测量网络流，具体过程如下：

新的分组x到达时，解析其流关键字f，通过哈希函数将f分别映射到位向量A₁,A₂；如果A₁判定为新流，则A₁流量数n₁加1，否则n₁不变；同样的，如果A₂判定为新流，则A₂流量数n₂加1，否则n₂不变；如果A₁和A₂都判定为新流，则流量数n加一，否则不变；

计算bloom滤波器误差Δx＝[1-(1_-1/m)^kn]^k≈(1-e^-kn/m)^k,调整随机抽样概率为r/(-x)，其中k为哈希函数数量，n为已经捕获的流的数量，m为位向量的长度；

如果工作中的某一个位向量达到装载因子上限，即其退出工作，开始初始化，并由空闲等待的位向量代替其工作；

重复步骤上述步骤，每次循环为一个测量周期，获得一个测量值x。

4.如权利要求1所述的一种基于bloom滤波器的IPv6网络流测量方法，其特征在于，所述步骤4使用蚁群算法对预测的网络流测量结果进行优化，具体过程如下：

目标函数为

其中，α和β是待求的测量结果的权重系数；A为路由矩阵；Y_m为表示链路m的流量测量值；

为流量矩阵；a_mn为路由参数，表示业务流n从链路m上经过；x_ji为从终端节点j流向终端节点i的业务流的流量值；N为网络中终端节点的数量，约束条件C1表示业务流量与链路流量之间的约束关系；约束条件C2表示业务流流量的非负性，约束条件C3表示迭代过程中业务流流量的上限约束；约束条件C4表示在交换机中流量是守恒的，即流入交换机的流量x_ij和流量交换机的流量x_ji是相同的；

初始化控制参数、蚂蚁数量和最大迭代次数，并给出实际网络中每个节点对的每个候选变量的初始信息素浓度值；

每只蚂蚁从自己的起点出发，路由经过网络中的每个节点，设对应于所述信息素浓度第a个的候选流量值第j个变量是τ(i,j)，蚂蚁根据以下等式，为第a个网络节点选择候选流量：

其中，q为信息素浓度，q₀为信息度浓度阈值；

当一只蚂蚁经过所有网络节点时，则为所有实际网络节点选择流量值，改变蚂蚁在经过的网络节点中选择的候选流量值s对应的信息素浓度值，局部信息素浓度的更新规则为：

τ_k+1(i,j)＝(1-ρ)τ_k(i,j)，其中τ_k(i,j)为第k次循环时的候选流量值；

当所有蚂蚁完成寻路过程后，根据全局信息素浓度更新规则更新网络中的信息素浓度，全局信息素浓度更新规则为：

τ_k+1(j)＝(1-α)τ_k(j)+Δτ_k(j) (7)

其中τ_k(j)为本次循环的信息素浓度，τ_k+1(j)为下一次循环的信息素浓度，f_best为找到的最佳流量值，f_worst为找到的最差的流量值，

为浓度更新的差值；

在优化过程中，需要对蚂蚁构造的解进行分析，在所有蚂蚁构造完解之后，判断这些解是否是新解，如果是新路径，则计算对应的目标函数值，否则，函数值将设置为给定的默认值；

每次计算后判断是否达到终止条件，如果达到则停止；否则，重复上述蚁群算法，直到重复次数达到最大重复次数K；将得到的解α和β带入流量预测值

即得到测量结果。

Images