CN114978941A - 一种面向IPv6网络的业务流测量方法 - Google Patents

Abstract

该发明公开了一种面向IPv6网络的业务流测量方法，属于数据流量处理领域。针对现有技术存在的缺点，本发明提出了一种基于采样、插值和优化的面向IPv6网络的业务流测量架构，它能够仅使用低开销对网络业务流量进行高精度的测量。架构首先选取若干个初始测量点，使用traceroute技术来对整个网络的拓扑结构进行测量，得到网络的拓扑后，使用主动测量技术发送探针包进行低精度流量测量，从网络拓扑、链路负载和IPv6网络中流量的全局视图构建流量矩阵，然后使用插值理论将一些数据填充到低精度的测量结果中，考虑到链路负载和流量之间的关系，将高精度的测量问题描述为多约束优化模型，最后通过启发式算法来求解该模型，以对填充的数据进行优化，得到最终的测量结果。

Description

一种面向IPv6网络的业务流测量方法

技术领域

本发明属于网络流量工程领域，特别是涉及一种适用于IPv6网络的业务流测量方法。

背景技术

随着互联网及其应用的飞速增长，当前的互联网协议IPv4(Internet Protocolversion 4)地址短缺等缺点已经越来越突出。IPv6(Internet Protocol version 6)作为IETF(The Internet Engineering Task Force)确定的下一代互联网协议。有望解决IPv4地址短缺等问题。我国已经建成了世界上最大规模的IPv6网络。随着网络规模的不断扩大以及语音和视频等实时业务和多媒体应用的普及，特别是IPv6的发展，互联网的控制机制和行为特征越来越复杂，对于IPv6 网络流测量的需求也越来越紧迫。

流量测量使用硬件或软件实时收集有关网络中数据包传输的信息。基于流的测量可以反映网络中流的性质，可用于许多任务，例如QoS(Quality of Service)、路由管理、负载平衡和异常检测。在传统网络中，有许多测量工具支持基于流的测量，例如SFlow和NetFlow。NetFlow需要在交换机中配置收集器、分析器等相关服务，会降低数据包转发性能。SFlow类似于NetFlow，但它需要交换机和路由器中的额外硬件支持，并且这两种方法都属于被动测量。IPv6 网络中，传输延迟对于音视频等实时性较强的任务来说非常重要，精细的测量可以帮助网络以低延迟的方式管理和调度流量，主动测量具有灵活和实时性强的优点，但为了达到更高的精度，主动测量机制需要频繁发送探针包对网络节点的流量进行测量，过多的测量消息会为网络带来额外负担，因此基于主动测量开发一种高精度和低开销的网络的业务流测量架构十分重要。

发明内容

针对现有技术存在的缺点，本发明提出了一种基于采样、插值和优化的面向IPv6网络的业务流测量架构，它能够仅使用低开销对网络业务流量进行较高精度的测量。

该架构的测量流程可以总结为：首先选取若干个初始测量点，使用TraceRoute技术来对整个网络的拓扑结构进行测量，得到网络的拓扑后，使用主动测量技术发送探针包进行低精度流量测量，从网络拓扑、链路负载和IPv6网络中流量的全局视图构建流量矩阵，然后使用插值理论将一些数据填充到低精度的测量结果中，考虑到链路负载和流量之间的关系，将高精度测量问题描述为多约束优化模型，最后通过启发式算法来求解该模型，以对填充的数据进行优化，得到最终的测量结果。

本发明技术方案为一种面向IPv6网络的业务流测量方法，该方法步骤如下：

步骤1：网络拓扑更新；

使用TraceRoute方法对网络的拓扑结构进行测量，更新的拓扑结构保存在数据库中由拓扑状态；

步骤2：进行主动测量，构建流量矩阵；

根据网络节点的统计信息产生初步低精度测量结果，根据低精度的测量值构建流量矩阵；

步骤3：插值和建立优化模型；

使用插值理论对低精度的测量结果进行数据填充，基于填充结果建立优化模型，减小测量结果与实际流量之间的差距；

步骤4：求解优化模型得到测量结果；

使用优化插值的迭代算法迭代求解优化模型，在迭代达到初始化的最大次数或结果满足迭代停止阈值时停止迭代，得到对插值进行优化后的测量结果；

具体来说，步骤1所述的网络拓扑更新，详细过程如下：

使用TraceRoute方法向网络中指定的测量点的不可达端口发送IP数据报，在路径上的每一个路由器节点，该数据包触发一个ICMP消息返回测量主机，测量主机记录下ICMP消息发送节点的IP地址和耗时，当该数据报到达指定测量点后，也触发一个ICMP端口不可达消息返回测量主机，测量主机对收到的所有ICMP消息的耗时进行升序排序，排序结果设为 ICMP_i1＜ICMP_i2＜...＜ICMP_in，则测得路径上的路由器的IP地址依此为：IP_i1,IP_i2,...,IP_in，这里的IP_i表示发送第i个ICMP消息的节点的IP地址；通过对于若干指定的测量点使用TraceRoute技术进行拓扑测量，得到网络的拓扑结构，将更新的拓扑结构保存在测量数据库中；

步骤2所述的进行主动测量，根据初步测量结果构建流量矩阵，详细过程如下：

向测量节点发送探针包来收集短时隙检查点的流量和端口的统计信息，测量节点报告的流量统计数据为S(t₁)和S(t₂)，Δt＝t₂-t₁为统计间隔，则ΔS＝S(t₂)-S(t₁)是统计间隔内的流量增量，t时刻的瞬时流量为：

其中，ΔS＝S(t₂)-S(t₁)是统计间隔内的流量增量，Δt＝t₂-t₁为统计间隔；

根据用户指定的流量速率采样密度生成采样周期T，通过对网络拓扑中节点的度进行比较，选取度大于设定阈值的节点作为关键测量节点，以周期T对这些节点相关的链路和流的瞬时速率进行采样，对这些节点的链路和流的统计信息进行处理，得到对应链路和流的瞬时流量速率，形成网络中流的低精度测量结果；

根据低精度的测量值构建流量矩阵；用Y＝[L₁,L₂,...,L_M]来表示链路上的负载，其中M为链路数量；用X＝[X₁,X₂,...,X_N]^T来表示流量，用二进制变量a_ij来表示路由矩阵的元素，a_ij表示流量j是否通过链路i，如果流量j通过链路i，则a_ij＝1，否则a_ij＝0，通过流量矩阵函数，得到流量、链路负载和路由矩阵的关系如下：

其中,Y＝[Y₁,Y₂,...,Y_M]^T表示网络中的链路负载，X＝[X₁,X₂,...,X_N]^T表示流量矩阵， A＝(a_ij)_M×N是路由矩阵链接和流之间的路由矩阵；

步骤3所述的插值和建立优化模型，详细过程如下：

若低精度测量结果中有n个流j的低精度流量测量点，则这些测量点将整个段测量时间划分为n-1个插值区间，将每个插值区间表示为t∈[t_h,t_h+1]，将插值点表示为x_j(t)，则高精度的插值测量结果表示为：

其中，x_j(t)为插值点，[t_h,t_h+1]为第h个插值区间，c₃,c₂,c₁,c₀为插值多项式系数；

在流量j的三次插值函数中，待定系数c₃,c₂,c₁,c₀用变化趋势的导数来确定，使用上一次测量结果和下一次测量结果间的直线斜率作为测量的导数，来获得平滑的曲线，c₃,c₂,c₁,c₀在导数为0处计算得到；

用三次插值法填充得到的流j的高精度测量结果为x_j，流j的实际流量记为

为了获得较高的测量精度，对插值结果进行优化，构造出优化函数如下：

其中，X为高精度流量测量结果的向量，

为实际流量向量，Y_i为网络中第i条链路的负载， x_j为流j的高精度流量测量结果，A为路由矩阵，x_ij为节点i到节点j的流量；

约束C1表示链路的流量限制约束，即总流量不能超过链路的最大流量负载；C2和C3表示流和链接的流量是非负的，C4表示每个节点的流量是守恒的，即流入一个节点的流量等于流出该节点的流量，其中λ是拉格朗日乘数；

步骤4所述的求解优化模型得到测量结果，详细过程如下：

填充得到的链路负载

为：

其中，所有二元变量a_ij都在测量主机中获取，流量

由插值法获得，记Y_i为链路负载的测试结果，则x_j和

的差别经由上式反应到Y_i和

上；定义更新步长w_i为：

其中，

为恢复得到的链路负载，Y_i为链路负载的测试结果；

由于网络中的流量是守恒的，在一个OD对中，从起点处发出的流量必然不小于终点处接受到的流量，表示为：

其中，a_ij为路由矩阵A的第i行j列元素，x_j为流j的高精度流量测量结果；

在上述约束下求解优化问题，首先确定最大迭代次数K和停止阈值δ，然后通过

计算更新步长，在满足约束∑_origina_mjx_j＝∑_destinationa_njx_j的前提下使用

对

进行更新并更新插值流量向量

比较更新后的向量

与更新前向量

的绝对距离与阈值δ的大小，若小于阈值，说明算法已经收敛到了满意的结果，这时候的插值流量向量

即为优化模型的解；否则重新计算更新步长，重复上述更新过程，直到达到最大迭代次数K。

本发明的有益效果：

随着网络规模的不断扩大以及语音和视频等实时业务和多媒体应用的普及，特别是IPv6 的发展，互联网的控制机制和行为特征越来越复杂，对于IPv6网络业务流测量的需求也越来越紧迫。在IPv6网络中，传输延迟对于音视频等实时性较强的任务来说非常重要，高精度的测量可以帮助网络以低延迟的方式管理和调度流量，主动测量具有灵活和实时性强的优点，但过多的测量消息会为网络带来额外负担，因此基于主动测量开发一种高精度和低开销的网络业务流测量架构十分重要。

针对现有技术存在的缺点，本发明提出了一种基于采样、插值和优化的面向IPv6网络的业务流测量架构，它能够仅使用低开销对网络业务流量进行高精度的测量。架构首先选取若干个初始测量点，使用traceroute技术来对整个网络的拓扑结构进行测量，得到网络的拓扑后，使用主动测量技术发送探针包进行低精度流量测量，从网络拓扑、链路负载和IPv6网络中流量的全局视图构建流量矩阵，然后使用插值理论将一些数据填充到低精度的测量结果中，考虑到链路负载和流量之间的关系，将高精度的测量问题描述为多约束优化模型，最后通过启发式算法来求解该模型，以对填充的数据进行优化，得到最终的测量结果。

附图说明

图1为Iperf实际生成流量和高采样率方法测得流量对比图。

图2为Iperf实际生成流量和本测量架构(60s采样周期)测得流量对比图。

图3为Iperf实际生成流量和本测量架构(300s采样周期)测得流量对比图。

图4为高采样率测量方法和本测量框架(60s采样周期)测量结果的绝对误差图。

图5为高采样率测量方法和本测量框架(300s采样周期)测量结果的绝对误差图。

图6为高采样率测量方法和本测量框架(60s采样周期)测量结果的相对误差图。

图7为高采样率测量方法和本测量框架(300s采样周期)测量结果的相对误差图。

图8为不同测量方法(高采样率、本测量框架60s，本测量框架300s，PCA)测量结果的绝对误差概率分布函数图。

图9为不同测量方法(高采样率、本测量框架60s，本测量框架300s，PCA)测量结果的相对误差概率分布函数图。

图10为本测量架构使用和不使用优化时绝对误差的概率分布函数图。

图11为本测量架构使用和不使用优化时相对误差的概率分布函数图。

具体实施方式

建立了一个由四台路由器、四台交换机、八台主机和一个测量主机组成的简单拓扑，链路连接为网状拓扑。以1秒采样周期间隔的高精度测量方法作为对比。为了验证所提出的测量架构的性能，我们引入了一些常见的误差评估指标，例如绝对误差(AbsoluteError，AE)、相对误差(Relative Error，RE)和均方根误差(Root Mean Squared Error，RMSE)。流量的AE反映了实际流量与测量结果的偏差。AE越小，测量越准确。RE是测得的AE与实际值的比值，反映了测量的可信度。AE、RE和RMSE可以表示为：

其中x_ij和

分别为从第i个节点流向第j个节点的流量以及对该流量的测试值。

使用Iperf生成TCP数据包来填充网络中从源主机到目标主机的每条链路，并使用上述测量架构来测量所有流量。选择网络中两条流进行讨论，并将它们与高采样率方法和主成分分析法(Principal Component Analysis，PCA)进行比较。

图1，2和3分别是实际情景下高采样率方法、本测量架构(60s采样周期)、本测量架构 (300s采样周期)的测量结果与Iperf实际生成流量的比较。它们都以不同的采样周期测量反映了流量的变化，随着测量周期的增长，测量误差变得更加明显。

图4和图5是高采样率测量方法和本测量框架在不同采样率下的AE。本测量架构的AE 大于高采样率测量方法的AE。原因之一是三次插值的误差对于距离敏感，两个采样点之间有多达300个插值点，插值难以直接反映高采样率采样的误差。和使用PCA方法的测量结果对比，PCA方法的误差大于本测量架构测得的误差。

图6和图7是高采样率测量方法和本测量框架在不同采样率下的RE。注意到取测量间隔为60s时测量误差的平均RE低于0.3，意味着所提出的测量架构是可行的。比较图6和图7 之间的RE，可见测量误差主要受插值影响。插值区间越大，实际流量与测量值之间的差异越大。本架构的测量误差与高采样率测量方法相似，说明所提出的测量方法是有效的。

图8和图9分别不同测量方法(高采样率、本测量框架60s采样周期，本测量框架300s 采样周期，PCA)测量结果的AE和RE的概率分布函数(Cumulative DistributionFunction， CDF)图。本架构在测量间隔为60秒时RE小于0.3，测量间隔为300秒时RE约为0.5。将 PCA方法的AE和RE与提出的架构和高采样率测量方法进行比较，本架构的AE和RE比PCA 方法小，比高采样率方法大。

图10和11分别比较了使用优化和不使用优化的方法时AE和RE的概率分布函数。带有优化过程的测量的结果明显好于未进行优化的结果，因此，对低采样率测量的插值结果进行优化是必要的和可行的。

除了测量精度，再考虑测量开销，对于每次测量，测量主机都需要向测量节点发送探针包，并从测量节点获取端口和流的统计信息。假设在测量过程中流量和链路没有变化，即每次统计的端口和链路的长度是相等的：使用变量φ来表示它。模拟持续了600秒，所以高采样率测量方法的开销是600φ，而本架构在采样周期60秒时的开销大约是10φ。综上，本测量架构在保持较好的测量精度的前提下，明显降低了测量的网络开销，因此是可行和高效的。

Claims (1)

1.一种面向IPv6网络的业务流测量方法，该方法步骤如下：

步骤1：网络拓扑更新；

使用TraceRoute方法对网络的拓扑结构进行测量，更新的拓扑结构保存在数据库中由拓扑状态；

步骤2：进行主动测量，构建流量矩阵；

根据网络节点的统计信息产生初步低精度测量结果，根据低精度的测量值构建流量矩阵；

步骤3：插值和建立优化模型；

使用插值理论对低精度的测量结果进行数据填充，基于填充结果建立优化模型，减小测量结果与实际流量之间的差距；

步骤4：求解优化模型得到测量结果；

使用优化插值的迭代算法迭代求解优化模型，在迭代达到初始化的最大次数或结果满足迭代停止阈值时停止迭代，得到对插值进行优化后的测量结果；

具体来说，步骤1所述的网络拓扑更新，详细过程如下：

使用TraceRoute方法向网络中指定的测量点的不可达端口发送IP数据报，在路径上的每一个路由器节点，该数据包触发一个ICMP消息返回测量主机，测量主机记录下ICMP消息发送节点的IP地址和耗时，当该数据报到达指定测量点后，也触发一个ICMP端口不可达消息返回测量主机，测量主机对收到的所有ICMP消息的耗时进行升序排序，排序结果设为ICMP_i1＜ICMP_i2＜...＜ICMP_in，则测得路径上的路由器的IP地址依此为：IP_i1,IP_i2,...,IP_in，这里的IP_i表示发送第i个ICMP消息的节点的IP地址；通过对于若干指定的测量点使用TraceRoute技术进行拓扑测量，得到网络的拓扑结构，将更新的拓扑结构保存在测量数据库中；

步骤2所述的进行主动测量，根据初步测量结果构建流量矩阵，详细过程如下：

向测量节点发送探针包来收集短时隙检查点的流量和端口的统计信息，测量节点报告的流量统计数据为S(t₁)和S(t₂)，Δt＝t₂-t₁为统计间隔，则ΔS＝S(t₂)-S(t₁)是统计间隔内的流量增量，t时刻的瞬时流量为：

其中，ΔS＝S(t₂)-S(t₁)是统计间隔内的流量增量，Δt＝t₂-t₁为统计间隔；

根据用户指定的流量速率采样密度生成采样周期T，通过对网络拓扑中节点的度进行比较，选取度大于设定阈值的节点作为关键测量节点，以周期T对这些节点相关的链路和流的瞬时速率进行采样，对这些节点的链路和流的统计信息进行处理，得到对应链路和流的瞬时流量速率，形成网络中流的低精度测量结果；

根据低精度的测量值构建流量矩阵；用Y＝[L₁,L₂,...,L_M]来表示链路上的负载，其中M为链路数量；用X＝[X₁,X₂,...,X_N]^T来表示流量，用二进制变量a_ij来表示路由矩阵的元素，a_ij表示流量j是否通过链路i，如果流量j通过链路i，则a_ij＝1，否则a_ij＝0，通过流量矩阵函数，得到流量、链路负载和路由矩阵的关系如下：

其中,Y＝[Y₁,Y₂,...,Y_M]^T表示网络中的链路负载，X＝[X₁,X₂,...,X_N]^T表示流量矩阵，A＝(a_ij)_M×N是路由矩阵链接和流之间的路由矩阵；

步骤3所述的插值和建立优化模型，详细过程如下：

若低精度测量结果中有n个流j的低精度流量测量点，则这些测量点将整个段测量时间划分为n-1个插值区间，将每个插值区间表示为t∈[t_h,t_h+1]，将插值点表示为x_j(t)，则高精度的插值测量结果表示为：

其中，x_j(t)为插值点，[t_h,t_h+1]为第h个插值区间，c₃,c₂,c₁,c₀为插值多项式系数；

在流量j的三次插值函数中，待定系数c₃,c₂,c₁,c₀用变化趋势的导数来确定，使用上一次测量结果和下一次测量结果间的直线斜率作为测量的导数，来获得平滑的曲线，c₃,c₂,c₁,c₀在导数为0处计算得到；

用三次插值法填充得到的流j的高精度测量结果为x_j，流j的实际流量记为

为了获得较高的测量精度，对插值结果进行优化，构造出优化函数如下：

其中，X为高精度流量测量结果的向量，

为实际流量向量，Y_i为网络中第i条链路的负载，x_j为流j的高精度流量测量结果，A为路由矩阵，x_ij为节点i到节点j的流量；

约束C1表示链路的流量限制约束，即总流量不能超过链路的最大流量负载；C2和C3表示流和链接的流量是非负的，C4表示每个节点的流量是守恒的，即流入一个节点的流量等于流出该节点的流量，其中λ是拉格朗日乘数；

步骤4所述的求解优化模型得到测量结果，详细过程如下：

填充得到的链路负载

为：

其中，所有二元变量a_ij都在测量主机中获取，流量

由插值法获得，记Y_i为链路负载的测试结果，则x_j和

的差别经由上式反应到Y_i和

上；定义更新步长w_i为：

其中，

为恢复得到的链路负载，Y_i为链路负载的测试结果；

由于网络中的流量是守恒的，在一个OD对中，从起点处发出的流量必然不小于终点处接受到的流量，表示为：

其中，a_ij为路由矩阵A的第i行j列元素，x_j为流j的高精度流量测量结果；

在上述约束下求解优化问题，首先确定最大迭代次数K和停止阈值δ，然后通过

计算更新步长，在满足约束∑_origina_mjx_j＝∑_destinationa_njx_j的前提下使用

对

进行更新并更新插值流量向量

比较更新后的向量

与更新前向量

的绝对距离与阈值δ的大小，若小于阈值，说明算法已经收敛到了满意的结果，这时候的插值流量向量

即为优化模型的解；否则重新计算更新步长，重复上述更新过程，直到达到最大迭代次数K。

Images