CN104935476A - 一种基于sdn的网络流量矩阵测量方法 - Google Patents

Abstract

本发明属于网络管理和网络测量领域，提供一种基于SDN的网络流量矩阵测量方法，以达到满足流聚合可行性约束及网络测量资源有限约束，降低流量矩阵的估计误差等目的。本发明中设定目的节点相同的流都聚合在一起，通过解聚和路由规则来设计汇聚矩阵；采用两步法来估计流量矩阵，第一步是选择一个聚合流最多的路由规则(称为旧规则)来产生新规则，使得旧规则和新规则聚合流的数目相差最小，然后利用矩阵完成技术估计出一个流量矩阵；第二步是以第一步中估计出的流量矩阵作为基础，从中选择最大的前k个流来直接测量；本发明降低了测量的周期和直接测量每个流的困难，并且满足流聚合可行性约束，估计误差比较低。

Description

一种基于SDN的网络流量矩阵测量方法

技术领域

本发明属于网络管理和网络测量领域，特别是部署了支持OpenFlow协议的SDN交换机的网络管理和测量。

背景技术

网络测量是指遵照一定的方法和技术，利用软件或硬件工具来测试表征网络状态和性能的指标，获取网络拓扑结构、节点属性和业务量特征等一系列活动的总称。网络测量的主要内容包括网络的时延、丢包率，可用带宽、网络拓扑和网络流量矩阵等。网络管理员为了有效地管理网络，必须及时地了解网络的运行状态。因此，测量网络运行状态指标的网络测量技术成为了网络管理的核心技术之一。其中，流量矩阵表示的是网络中任意两个节点对间的流量大小。流量矩阵是很多网络管理任务的关键输入信息，比如流量工程、网络规划、网络性能诊断分析和流量计费等。网络流量矩阵测量是对网络中承载的所有流量大小进行测量和估计，以便网络管理员可以根据测量得到的流量矩阵，合理的规划和安排网络流的路由，从而提高业务的服务质量和网络资源的利用效率。

传统的网络流量矩阵测量方法主要包括直接测量法和估计法。直接测量法的基本原理是将网络探针安装在网络节点或链路上，以便直接获取所需要的参数。但是，直接测量流量矩阵存在多方面的困难，首先，流的数目一般比较大，不可能直接测量出每个流的大小，这样花费的代价太大；其次，测量需要专业的测量硬件资源，不可能在每个网络节点上安装这些昂贵的资源，耗费太大；最后，由于网络是异构的，测量时需要不同网络之间的相互协作，但是由于某些原因(比如网络安全)，很难保证各个网络之间都能相互协作，这就无法保证测量的准确性。

估计法的基本思路是通过直接测量的方式获取容易测量到或花费代价小的测量信息，再使用这些信息估计出流量矩阵，估计法又叫做间接测量法。在估计法中，可以利用网络中的一些附加信息来估计流量矩阵，比如链路负载、路由矩阵。链路负载表示相连的两节点间链路上的流量，是网络中的流量按照路由矩阵在链路上汇聚的流量大小。链路负载可以通过使用SNMP协议来得到，路由矩阵可以通过收集内部路由协议的配置信息或者通过收集路由器之间交互的链路状态信息获得。因此，流量矩阵估计即是在链路负载和路由矩阵已知的前提下，估算出流量矩阵的估计值。在网络中，流的数目一般远大于链路的数目，即路由矩阵是低秩的，无法精确地估计出流量矩阵。为了提高流量矩阵的估计正确率，必须获得更多的附加信息，但是由于传统网络控制平面的限制，获取更多的附加信息是非常困难的。

近年来，为了增强对网络的管控能力，研究界提出了SDN网络构架。SDN将网络的控制面和数据面彻底分开，控制面集中式的运行于网络控制器之上，而数据面则分散的存在于各个设备上。SDN的这种分离式设计为网络流量矩阵的测量也带来了好处。首先，集中式的控制平面具有全局的网络视图，可以统一地调配网络资源，动态地配置流表。其次，分布于网络设备上的数据面提供了若干用于流统计的计数器，利用这些计数器我们可以为流量矩阵的估计提供更多的输入。因此，研究基于SDN的网络流量矩阵测量对网络管理员能够有效地控制和管理网络是非常有必要的。

目前，学术上已经有一些基于SDN的网络流量矩阵测量方法的研究。ProgMe提出了一种可编程的网络流量测量结构，可以收集用户指定的流量集合中的流量统计值。OpenSketch提出了一种基于哈希的测量框架，可以动态地配置各框架。但是，ProgMe和OpenSketch都假设所有交换机都支持专业的测量硬件，这显然是不可能的。并且这两种方法都只是针对某些特定的流量集合来测量，比如Heavy Hitter，它们对流量矩阵的测量都不太适合。

Open-TM，DCM和iSTAMP都是基于SDN测量流量矩阵的方法。Open-TM和DCM都是通过监测每个流来直接测量每个流的大小，从而得到流量矩阵。显而易见，Open-TM和DCM的扩展性都很差，由于在网络中流的数目一般非常大，但是所需的测量资源又是有限的，所以根本不可能通过直接测量每个流的大小来获得流量矩阵。为了满足测量资源的约束，并且提高测量的准确性，iSTAMP方法首先测量最大的前k个流和一些流汇聚后的大小，然后估计出流量矩阵。iSTAMP似乎在网络资源和测量正确率两者之间作出了平衡，但它还是有如下的缺陷：首先，SDN交换机转发流时是基于优先级和通配符的匹配原则来查找转发表的，只有具有相同目的节点的流才可能被聚合到一个表项中(即称为流聚合的可行性约束)，但是iSTAMP方法中忽略了此约束，进行任意的聚合；其次，为了找出最大的前k个流，iSTAMP利用全部的TCAM表项来直接测量多个时间段内每个流的大小，这又会带来不可忽略的测量代价。

发明内容

本发明的目的是针对背景技术存在的缺陷，研究设计一种基于SDN的网络流量矩阵测量方法。利用SDN的特性来设计汇聚矩阵(汇聚矩阵是0-1矩阵，它的每一行对应一个TCAM表项，表示一条流量测量规则，其元素(i,j)表示流j是否经规则i转发)，然后利用矩阵完成技术估计出流量矩阵，以达到满足流聚合可行性约束及网络测量资源有限约束，降低流量矩阵的估计误差，提高探测Heavy Hitter的正确概率等目的。

本发明的解决的方案是：假设为了节省TCAM表项，目的节点相同的流都聚合在一起，通过解聚和路由规则来设计汇聚矩阵；采用两步法来估计流量矩阵，第一步是选择一个聚合流最多的路由规则(称为旧规则)来产生新规则，使得旧规则和新规则聚合流的数目相差最小，然后利用矩阵完成技术估计出一个流量矩阵；第二步是以第一步中估计出的流量矩阵作为基础，从中选择最大的前k个流来直接测量，采用求表征流与SDN交换机可用TCAM表项间的关系的二分图的最大权最大匹配来解决每个SDN交换机直接测量流集合的问题；本发明即以此来实现其目的。因此，本发明采用方法方案为：

一种基于SDN的网络流量矩阵测量方法，包括以下步骤：

A.构造初始汇聚矩阵：假设初始时目的节点相同的流都是聚合的，即只需用一个TCAM表项来路由具有相同目的节点的流；设计每个SDN交换机TCAM表项对应的流量测量规则，处理过程为：

步骤1.0：在所有SDN交换机的TCAM表项中，选择一个聚合流数目最多的规则(称为旧规则)来产生新规则，旧规则与新规则除了优先级、源IP前缀不一样外，其余的都相同，新规则的优先级高于旧规则，转步骤2.0；

步骤2.0：为新规则寻找一个长度更长的源IP前缀：在以旧规则的源IP前缀为树根的前缀树中寻找此前缀，使得这两个规则聚合流的数目相差最小，转步骤2.1；

步骤2.1：把产生的新规则部署到SDN交换机的可用TCAM表项中，若所有SDN交换机的TCAM表都已经满了，则转步骤3.0，否则转步骤1.0；

步骤3.0：根据每个TCAM表项聚合的流，构建一个汇聚矩阵，由于SDN交换机数量有限，部分流没有监测到，所以根据链路流量约束把路由矩阵并入到汇聚矩阵中，得到最后的汇聚矩阵；

B.估计流量矩阵：根据步骤A中得到最后的汇聚矩阵来估计流量矩阵，估计方法采用最小化λ为正则系数，其中A为汇聚矩阵，X为所求的流量矩阵，Y为与汇聚矩A对应的列矩阵，Y矩阵中与并入路由矩阵前的汇聚矩阵对应的元素为每个表项汇聚的流量大小、与路由矩阵对应的元素为链路负载；

C.重新设计汇聚矩阵：根据步骤B中估计出的流量矩阵来重新设计各SDN交换机TCAM表项对应的流量测量规则，其处理过程为：

步骤1.0：对于每个SDN交换机，从它能够监测到的流集合中选择最大的前k(k的值等于此SDN交换机可用TCAM表项的数目)个流直接测量，选择方法为：

步骤1.0.0：构造虚拟二分图：首先构造第一部分的节点，表示每个SDN交换机的可用TCAM表项，若节点j处的SDN交换机的可用TCAM表项数目为s，则对应生成s个节点j₁、j₂、...、j_s，每个节点表示该SDN交换机TCAM表的一个可用表项；接着构造第二部分的节点，表示每个流，如若有L个流，则就有L个节点，流i表示第i个流，即节点i；最后构造第一部分节点与第二部分节点间的链路，若流i经过节点j处的SDN交换机，则把节点i与j₁、j₂、...、j_s分别相连，链路的权重均为流i的大小，其它链路的添加方式类似，转步骤1.0.1；

步骤1.0.1：求此二分图的最大权最大匹配：按照二分图最大权最大匹配算法可求出此二分图的最大权最大匹配，然后从此最大权最大匹配中找出每个SDN交换机要直接测量的最大前k个流；比如j处SDN交换机的2个可用TCAM表项对应的节点为j₁、j₂，计算得到的匹配为j₁-a，j₂-b，则此SDN交换机要直接测量的最大前2个流为a、b；转步骤2.0；

步骤2.0：根据上述步骤得到的最大权最大匹配重新配置每个SDN交换机要直接测量哪些流后，就可以得到一个新的汇聚矩阵，再把链路流量约束并入到汇聚矩阵中，得到最终新的汇聚矩阵；

D.估计最后的流量矩阵：根据步骤C得到的最终新的汇聚矩阵按照步骤B估计流量矩阵，并计算误差。

本发明由于在构建汇聚矩阵时，是针对每个表项聚合流的个数最多的规则来产生新规则，并且尽量保证两个规则聚合流的数目相差最小，然后根据此时的汇聚矩阵估计流量矩阵，最后根据估计出的流量矩阵来寻找每个SDN交换机要直接测量的流集合，不需要知道每个流的实际大小，降低了测量的周期和直接测量每个流的困难，并且满足流聚合可行性约束，估计误差比较低。

附图说明

图1为本发明具体实施中有5个节点构成的网络物理拓扑网络示意图。

图2为本发明具体实施中选择最大的前k个流时构造的虚拟二分图。

注：其中为实际流量矩阵的元素，为估计得到的流量矩阵的元素。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细描述。

附图1是由5个节点构成的网络物理拓扑网络示意图，其中节点1和3为部署了SDN交换机的节点，网络中的链路均为双向链路，本实施例是来估计出流量矩阵，即所有节点对间的流量，然后和实际的流量矩阵进行比较。

实施例的信息如下：

假设图1中两个SDN交换机(节点1和节点3)的可用TCAM表项数目均为7，五个节点的IP地址分别为61.133.128.0/17、202.100.64.0/21、222.88.0.0/15、123.184.0.0/14、116.192.0.0/16，对应的IP前缀分别为00111101100001011、110010100110010001000、110111100101100、01111011101110、0111010011000000。

记实际流量矩阵为：

$\mathrm{TM}=\left(\begin{array}{ccccc}0& 434& 600& 1078& 458\\ 1305& 0& 427& 1595& 1036\\ 491& 253& 0& 1021& 816\\ 1047& 1138& 267& 0& 994\\ 803& 433& 773& 311& 0\end{array}\right)$

实施步骤：

A.构造初始汇聚矩阵：把流注入网络中，每个流的路由为最小跳数路由。当每个SDN交换机初始化用于流路由的表项后，节点1处的SDN交换机的TCAM表初始表项有5个，分别聚合的流集合为{1->0,2->0,4->0}、{0->1,2->1,3->1,4->1}、{0->2,1->2,4->2}、{1->3}、{0->4,1->4,2->4}，节点3处的SDN交换机的TCAM表初始表项有5个，分别聚合的流集合为{3->0}、{3->1}、{3->2}、{0->3,1->3,2->3,4->3}、{3->4}。接下来的处理过程为：

步骤1.0：在所有SDN交换机的TCAM表项中，聚合流个数最多的表项为节点1处的SDN交换机的第2个表项(或节点3处的SDN交换机的第4个表项)，选择此表项对应的规则(称为旧规则)来产生新规则，转步骤2.0；

步骤2.0：旧规则聚合了4个流，源节点分别为0、2、3、4，旧规则的源IP前缀为""(即为空)。通过寻找以""为树根的前缀树寻找到前缀"0111"，匹配这两个前缀(""和"0111")的流的个数分别为2，即新规则的源IP前缀为"0111"，其优先级比旧规则高，聚合的流的数目为2；然后把新规则部署到可用的TCAM表项中。此时这两个规则(对应为两个TCAM表项)聚合的流集合分别为{3->1,4->1}、{0->1,2->1}。转步骤2.1；

步骤2.1：若所有SDN交换机的TCAM表项都已经用完，则转步骤3.0，否则转步骤1.0；

步骤3.0：根据所有SDN交换机的TCAM表项聚合的流，构建一个汇聚矩阵，由于SDN交换机数量有限，部分流没有监测到，所以根据链路流量约束把路由矩阵并入到汇聚矩阵中，得到最后的汇聚矩阵。

B.估计流量矩阵：估计方法为最小化其中A为汇聚矩阵，X为所求的流量矩阵(把5行5列的流量矩阵按从左到右从高到低写成一列)，Y为测量的值。按此方法得到估计流量矩阵为：

$\mathrm{Estimated}\_\mathrm{TM}=\left(\begin{array}{ccccc}0& 326.6& 484& 1078& 681.4\\ 1124.4& 0& 723.6& 1595& 920\\ 491& 360.4& 0& 1021& 708.6\\ 1047& 1138& 267& 0& 994\\ 983.6& 433& 592.4& 311& 0\end{array}\right)$

C.重新设计汇聚矩阵：根据估计出的流量矩阵重新设计各SDN交换机的TCAM表项，其处理过程为：

步骤1.0：对于每个SDN交换机，从能够监测到的流集合中选择最大的前K＝7-5＝2(TCAM表的表项总数目为7个，用于路由的表项为5个)个流直接测量，选择方法为：

步骤1.0.0：构造虚拟二分图：因为每个SDN交换机的可用TCAM表项数目为2，每个SDN交换机的TCAM表就表示成2个节点，见图2，其中节点A1、A2表示节点1处的SDN交换机的两个可用TCAM表项，节点B1、B2表示节点3处的SDN交换机的两个可用TCAM表项，节点1、2、...、20表示网络中的20个流，若某个流经过节点1，就把该流代表的节点和A1、A2相连，其它链路的添加方式类似。链路的权重(图中未标出)表示成对应流的大小，转步骤1.0.1。

步骤1.0.1：求出此二分图的最大权最大匹配：可以求得此二分图的最大权最大匹配为A1-7、A2-14、，B1-3、，B2-13。由此可知，两个SDN交换机选择的最大的2个流分别为{1->3,3->1}、{0->3,3->0}。这样以后，节点1处的SDN交换机的7个表项分别聚合的流集合为{1->0,2->0,4->0}、{0->1,2->1,3->1,4->1}、{0->2,1->2,4->2}、{1->3}、{0->4,1->4,2->4}、{1->3}、{3->1}，节点3处的SDN交换机的7个表项分别聚合的流集合为{3->0}、{3->1}、{3->2}、{0->3,1->3,2->3,4->3}、{3->4}、{0->3}、{3->0}，然后根据这些表项可以得到一个新的汇聚矩阵，再把链路流量约束并入到汇聚矩阵中，得到最后的汇聚矩阵。

D.估计最后的流量矩阵：根据步骤C得到的汇聚矩阵估计出的流量矩阵为EStimated_TM₁，并计算出NMAE误差为0.1046。

${\mathrm{Estimated}\_\mathrm{TM}}_1=\left(\begin{array}{ccccc}0& 343.6& 545.6& 1078& 593.8\\ 1037& 0& 632.1& 1595& 998.9\\ 658.8& 283.9& 0& 1021& 617.3\\ 1047& 1138& 267& 0& 994\\ 903.3& 492.5& 613.3& 311& 0\end{array}\right)$

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (1)

1.一种基于SDN的网络流量矩阵测量方法，包括以下步骤：

A.构造初始汇聚矩阵：设定初始时目的节点相同的流都是聚合的，即只需用一个TCAM表项来路由具有相同目的节点的流；设计每个SDN交换机TCAM表项对应的流量测量规则，处理过程为：

步骤1.0：在所有SDN交换机的TCAM表项中，选择一个聚合流数目最多的规则作为旧规则用以产生新规则，旧规则与新规则除了优先级、源IP前缀不一样外，其余的都相同，新规则的优先级高于旧规则，转步骤2.0；

步骤2.0：为新规则寻找源IP前缀：在以旧规则的源IP前缀为树根的前缀树中寻找此前缀，使得这两个规则聚合流的数目相差最小，转步骤2.1；

步骤2.1：把产生的新规则部署到SDN交换机的可用TCAM表项中，若所有SDN交换机的TCAM表都已经满了，则转步骤3.0，否则转步骤1.0；

步骤3.0：根据每个TCAM表项聚合的流，构建一个汇聚矩阵，再根据链路流量约束把路由矩阵并入到汇聚矩阵中，得到最后的汇聚矩阵；

B.估计流量矩阵：根据步骤A中得到的汇聚矩阵来估计流量矩阵，估计方法采用最小化其中λ为正则系数，A为汇聚矩阵，X为所求的流量矩阵，Y为与汇聚矩A对应的列矩阵；

C.重新设计汇聚矩阵：根据步骤B中估计出的流量矩阵重新设计各SDN交换机TCAM表项对应的流量测量规则，其处理过程为：

步骤1.0：对于每个SDN交换机，从它能够监测到的流集合中选择最大的前k个流直接测量、k的值等于此SDN交换机可用TCAM表项的数目，选择方法为：

步骤1.0.0：构造虚拟二分图：首先构造第一部分的节点，表示每个SDN交换机的可用TCAM表项，若节点j处的SDN交换机的可用TCAM表项数目为s，则对应生成s个节点j₁、j₂、...、j_s，每个节点表示该SDN交换机TCAM表的一个可用表项；然后构造第二部分的节点，表示每个流，若有L个流，则就有L个节点，流i表示第i个流，即节点i；最后构造第一部分节点与第二部分节点间的链路，若流i经过节点j处的SDN交换机，则把节点i与j₁、j₂、...、j_s分别相连，链路的权重均为流i的大小；其它链路的添加方式相同，转步骤1.0.1；

步骤1.0.1：求此二分图的最大权最大匹配：按照二分图最大权最大匹配算法求出此二分图的最大权最大匹配，然后从此最大权最大匹配中找出每个SDN交换机要直接测量的最大前k个流；转步骤2.0；

步骤2.0：根据上述步骤得到的最大权最大匹配重新配置每个SDN交换机直接测量的流，得到一个新的汇聚矩阵，再根据链路流量约束把路由矩阵并入到汇聚矩阵中，得到最终的新的汇聚矩阵；

D.估计最后的流量矩阵：根据步骤C得到的新的汇聚矩阵按照步骤B估计流量矩阵，并计算误差。