CN113098789B - 一种基于sdn的数据中心网络多路径动态负载均衡方法 - Google Patents

Abstract

一种基于SDN的数据中心网络多路径动态负载均衡方法，包括如下步骤：监测网络状态，获取设备的实时状态信息；划分大小流；对于小流，采用ECMP的方式进行路由，基于流的10元组值进行哈希运算选择转发路径；对于大流，采用大流选路算法；计算平均链路利用率与链路负载方差，将链路利用率最大的链路上占用带宽最大的流重路由到瓶颈带宽最大的路径上。本方法结合初始路由及重路由算法，强化负载均衡效果；既满足小流的低时延需求又满足大流的高吞吐量需求；对大流采用基于概率选择算法的动态选路算法，避免因路径信息更新不及时导致大流分配到同一路径上的问题发生；设置单个周期内重路由次数上限，避免网络波动引发的不必要的重路由，减小控制器的开销。

Description

一种基于SDN的数据中心网络多路径动态负载均衡方法

技术领域

本发明属于数据中心网络领域，具体的是一种基于SDN的数据中心网络多路径动态负载均衡方法。

背景技术

随着互联网技术的快速发展，网络业务量快速增长，网络运营商不断加大服务器和存储设备部署密度，数据中心网络节点和链路呈指数型增长，数据中心已逐渐成为网络流量的汇聚地。数据中心的数据流量的不断增加以及不同类型的流量对链路需求和服务质量需求不同对数据中心网络提出了更高的要求，而现有的大多数路由算法未综合考虑链路的实时状态与各个流量特征，因而导致网络中部分链路负载过重的同时另一部分链路仍处于空闲状态，引起了网络负载的不均衡。

在当前的数据中心负载均衡算法中，ECMP算法是使用最为广泛的，它先将多条等价路径进行编号，再根据等价路径数目对数据包头部字段进行哈希求模运算，最后将数据流映射到对应路径上。ECMP算法实现了流数目的均衡，但由于ECMP算法未考虑动态地网络环境，可能会将多条大流映射到同一条链路上引起大流碰撞，加重链路负载，甚至导致链路拥塞，数据包丢失。在网络负载较轻时，ECMP算法有着良好的表现，但随着网络负载的加重，网络的负载会变得不均衡。LABERIO算法将全网瞬时已用带宽方差最为负载均衡度参数，一旦方差超过设定好的阈值，SDN控制器将网络中拥塞程度最重的链路上的流调度到满足流传输条件且负载最小的路径上，LABERIO虽然满足了某些流被调度的迫切性，但瞬时已用带宽方差易受到网络中突发流量的影响，不停地触发重路由，引起不必要的开销。DLB算法是一种面向胖树拓扑网络的动态负载均衡算法，在胖树拓扑网络中，只要确定了流量到达最高层节点的路径，下传路径也就相应确定了。DLB采用贪婪策略的思想，从源节点开始选择剩余带宽最大的链路的另一节点作为下一跳，直到到达最高层交换机接节点。但是DLB算法得到的路径只是局部最优的，有可能造成部分局部最优路径的拥塞。

专利CN106533960A“一种基于Fat-Tree结构的数据中心网络路由方法”提出了一种基于调度优先级的拥塞控制算法，对新流采用基于链路带宽和大流数目的DLB算法进行路由，之后监测网络，对发现的拥塞链路上的大流进行重路由，将这些大流按照从大到小的顺序根据基于截止时间和交换机队列长度的DR算法依次重新调度，直至链路不再拥塞。这种方法一定程度上降低了拥塞链路上的负载，提高链路利用率。然而，这篇专利对新流采用的DLB算法由于贪婪策略选择下一跳的特性，选择的路径多是局部最优路径，很容易造成局部链路拥塞，之后采用DR算法虽然考虑了局部链路上的大流被调度的迫切性，可以一定程度上减轻拥塞，但是未加限制的DR算法可能会造成大量的额外开销；同时未考虑小流对低时延的需求。所以，优化新流路由方法的同时结合重路由机制可能达到更好的负载均衡效果。

发明内容

针对上述所提出的技术问题，本发明结合初始路由算法和重路由算法提出了一种基于SDN(Software Defined Network，软件定义网络)的数据中心网络多路径动态负载均衡方法(Multipath Transmission Dynamic LoadBalance，MTDLB)，在传统的数据中心负载计划方法上进行了改进。

一种基于SDN的数据中心网络多路径动态负载均衡方法，包括如下步骤：

步骤1：监测网络状态，获取网络中每个设备的实时状态信息；

步骤2：划分大小流；由边缘交换机负责大小流的判定，当边缘交换机接收到来自主机的流量时，将低于链路容量10％大小的流量定义为小流，高于链路容量10％大小的流量定义为大流；

步骤3：执行初始路由算法；在步骤2的判定划分大小流后，对于小流，采用ECMP的方式进行路由，基于流的10元组值进行哈希运算选择转发路径；对于大流，采用大流选路算法；

步骤4：执行重路由算法；计算平均链路利用率与链路负载方差，当平均链路利用率大于30％且链路已用带宽方差超过阈值

时进行重路由，将链路利用率最大的链路上占用带宽最大的流重路由到瓶颈带宽最大的路径上，同时设置重路由次数上限为2；

步骤5：对于每个监控周期，重复执行步骤1到步骤4，直至监控周期结束。

进一步地，所述数据中心网络采用胖树拓扑作为网络模型，所述胖树拓扑包含核心层、聚合层和边缘层，每层均由交换机组成；其中，聚合交换机与边缘交换机组成多个Pod，每个Pod中的聚合交换机分别与同Pod中的不同交换机相连；用k表示Pod的数量，每个Pod有k/2个聚合交换机与k/2个边缘交换机；核心层有k²/4个核心交换机，聚合层有k²/2个聚合交换机、边缘层有，k²/2个边缘交换机与k³/4台主机；此外，每个边缘交换机与k/2个主机相连。

进一步地，步骤3中，所述初始路由阶段中对于大流采用的大流选路算法，基于链路剩余可用带宽、链路容量、大流所需带宽、路径链路数计算出多条可用路径的权重w，再根据路径权重按概率选择转发路径，具体步骤如下：

步骤3-1，找出大流源到目的地间的所有可用路径；

步骤3-2，计算得出链路带宽利用率和第k条路径瓶颈带宽，在此基础上得到第k条路径剩余链路利用率，总结得出路径满意度，最后根据路径满意度得到路径的权重；

步骤3-3，通过第k条路径的权重值与所有可用路径权重值之和的比值得到选择该路径进行传输的概率，然后将概率归一化，得出每条路径对应在[0,1)区间上的子区间，最后生成[0,1)上的随机数，根据随机数落到的子区间选择对应的路径作为流传输路径。

进一步地，步骤3-1中，对于胖树拓扑结构，用J表示源到目的地间的所有路径集合，J＝{j₁,j₂,j₃,...,j_k,...}，j_k表示第k条路径。

进一步地，步骤3-2中，链路带宽利用率U_ki是链路已用带宽与链路容量的比值：

U_ki＝S_ki/C (1)

式中，S_ki表示第k条路径中第i条链路的已使用带宽，C表示链路容量，i表示链路；

第k条路径瓶颈带宽是各条链路中已用带宽的最大值为B_k：

B_k＝max{S_k1,S_k2,...,S_kn}                   (2)

式中，n为路径中链路数目；

第k条路径剩余链路利用率是传输完流之后最小的剩余带宽与链路容量的比值为U_s：

U_s＝((C-B_k)-f)/C                    (3)

式中，f表示流带宽；

之后得出路径满意度S：

最后，定义路径的权重：

进一步地，步骤3-3中，设源与目的节点间有n条可用路径，第k条路径的权重值为W_k，选择第k条路径的概率为P_k，其值为第k条路径的权重值与所有可用路径权重值之和的比值，计算公式如下：

对于每条流，按概率P_k随机选择路径；因为概率之和为1，对于k条路径，设计k个区间，第k条路径对应的区间如公式(7)所示：

保证占完[0,1)区间；生成[0,1)间的随机数，处于哪一区间内则选择对应的路径进行流的转发，完成流传输路径的选择。

进一步地，步骤4中，以平均链路利用率和已用带宽方差作为重路由机制触发条件，其中：

U(t)＝Load(t)/C                      (9)

式中，load_i(t)表示t时刻链路i的已用带宽，Load(t)表示链路平均已用带宽，U(t)表示平均链路利用率，M指网络中链路总数；o(t)越大说明链路已用带宽离散程度越大，链路利用率越不一致，网络负载越不均衡；此外，设定限制值CW＝2，一旦一个监测周期内连续重路由次数超过2，则终止重路由。

进一步地，步骤4的具体流程如下：

步骤4-1：初始化限制值CW＝0；

步骤4-2：通过公式(8)与(10)分别计算出网络链路平均已用带宽Load(t)与已用带宽方差o(t)，再通过公式(9)计算出网络中平均链路利用率U(t)；当U(t)≥30％且

时转到步骤4-3，否则结束这次重路由；

步骤4-3：比较所有链路的链路利用率load_l(t)，找出load_l(t)最大的链路上流负载最大的流F_max；

步骤4-4：选择瓶颈带宽最大的路径作为该流的重路由路径，将F_max重路由到这条路径上，CW加1；

步骤4-5:如果CW>2，结束这次重路由，否则转到步骤4-2。

本发明与现有技术相比有如下有益效果：

(1)与传统负载均衡算法相比，本发明结合初始路由及重路由算法，强化负载均衡效果。

(2)本发明针对大小流采用不同的算法，既满足小流的低时延需求又满足大流的高吞吐量需求。对大流采用基于概率选择算法的动态选路算法，避免因路径信息更新不及时导致的将大流分配到同一路径上的问题发生。

(3)设置了单个周期内重路由次数上限，避免网络波动引发的不必要的重路由，减小控制器的开销。

附图说明

图1本发明实施例中胖树拓扑网络图(k＝4)。

图2本发明实施例中初始路由算法流程图。

图3本发明实施例中重路由算法流程图。

具体实施方式

下面结合说明书附图对本发明的技术方法做进一步的详细说明。

本发明采用胖树(Fat-Tree)拓扑作为网络模型，如图1所示。胖树拓扑包含3层：核心层、汇聚层、边缘层。其中，聚合交换机与边缘交换组成多个Pod，每个Pod中的聚合交换机分别与同Pod中的不同交换机相连。用k表示Pod的数量，每个Pod有k/2个聚合交换机与k/2个边缘交换机，同时，每个边缘交换机与k/2个主机相连，总共有k²/4个核心交换机、k²/2个聚合交换机、k²/2个边缘交换机与k³/4台主机。在本发明中，k的值为4，即共有4个核心交换机、8个聚合交换机、8个边缘交换机与16台主机。

本发明实施例中，用J表示源到目的地间的所有路径集合，J＝{j₁,j₂,j₃,...,j_k,...}，j_k表示第k条路径，i表示链路，f表示流带宽，C表示链路容量，S_ki表示第k条路径中第i条链路的已使用带宽，n为路径中链路数目(每条路径上链路数可能不一样)。链路带宽利用率U_ki是链路已用带宽与链路容量的比值：

U_ki＝S_ki/C                       (1)

第k条路径瓶颈带宽是各条链路中已用带宽的最大值为B_k：

B_k＝max{S_k1,S_k2,...,S_kn}                   (2)

本发明实施例中分为2个部分执行：

第一阶段执行初始路由算法，具体步骤如图2所示。首先获取网络状态信息，如链路已用带宽、交换机转发速率等。其次，当边缘交换机检测到新流时，检测流的大小是否超出链路容量的10％，如果没有超出，将其判定为小流，对其采用ECMP的方式进行路由；如果流的大小超出链路容量的10％，将其判定为大流，采用基于概率选择的大流选路算法。

ECMP算法介绍：

在具有多径传输特性的胖树拓扑网络中，每条流都具有多条可用传输路径，ECMP算法为所有的流开辟一个缓存空间，用于存储多条可用路径。当小流到达边缘交换机时，ECMP算法将数据流的五元组作为哈希函数输入值进行对可用路径数的取模计算，得出一个输出值，再根据预先设定好的哈希函数的输出值与等价路径之间的映射关系完成转发。如图1所示，以从主机H1到主机H5的数据流为例，根据ECMP算法，该流有4条最佳等价路径，分别是(S1,S9,S17,S11,S3)、(S1,S9,S18,S11,S3)、(S1,S10,S19,S12,S3)和(S1,S10,S20,S12,S3)。之后，对于每条流，根据计算得出取模的值，0、1、2、3分别对应4条等价路径，选择对应的路径进行传输。

大流选路算法首先根据流的源、目的地址在具有多径特性的胖树拓扑中找出多条可达路径，根据公式(2)计算出路径的瓶颈带宽，将路径瓶颈带宽大于流传输带宽的路径选出作为可用路径。下一步计算路径权重w。

首先设定第k条路径的剩余链路利用率是传输完流之后最小的剩余带宽与链路容量的比值为U_s：

U_s＝((C-B_k)-f)/C                    (3)

之后得出路径满意度S：

路径满意度S表示流对于可用路径的满意程度，路径剩余瓶颈带宽越大，剩余链路利用率U_s越大，路径满意度S也就越大，表明流对该路径的满意度越大，越有可能选择该路径传输流。在本文中，按传输完流后的剩余链路利用率把路径分成3中状态，当Us≤10％时，判定改路径处于重度负载状态，不宜传输大流，此时权重为1；当10％＜Us≤50％时，判定路径处于中度负载状态，可以传输大流，此时，权重为3；当Us＞50％时，判定路径处于轻度负载状态，比较适宜传输大流，此时权重为9。

最后，定义路径的权重：

路径权重综合考虑了链路数、瓶颈带宽、流带宽，尽可能达到负载均衡的目的。之所以考虑瓶颈链路带宽是因为瓶颈链路更能真实地反应路径可用带宽情况。流量传输过程中，路径的剩余链路利用率越大意味着瓶颈带宽越大，使用这样的路径传输流量能有效降低负载均衡方差，使得网络负载越均衡，而且不容易阻塞小流，影响小流的时延。因此，在发明中，路径权重随着剩余链路利用率的增加加快增长，此外链路数的加入考虑了流的传输时延，提高传输效率。

在计算出可用路径的权重之后，通过概率选择的方法权重作为参考因素计算所有可用路径被选则作为流传输路径的概率，最后根据概率选择路径对流进行传输。

概率选择算法是一种常用的流转发方法，能很大程度上减小链路状态更新不及时的影响，概率选择算法能较好的实现负载均衡。

假设源与目的节点间有n条可用路径，第k条路径的权重值为W_k，选择第k条路径的概率为P_k，值为第k条路径的权重值与所有可用路径权重值之和的比值，计算公式如下：

对于每条流，按概率P_k随机选择路径，具体方法如下：因为概率之和为1，对于k条路径，设计k个区间，第k条路径对应的区间如公式(7)所示：

保证占完[0,1)区间。生成[0,1)间的随机数，处于那一区间内就选择对应的路径进行流的转发。

对于概率高的路径由于概率空间比较大，产生的随机数更容易落在概率高的路径上。

至此，第一阶段执行完毕，进入第二阶段：重路由阶段。

重路由具体步骤如图3所示，首先获取网络状态信息，如链路已用带宽、交换机转发速率等。通过获得的全网链路已用带宽信息根据公式(8)计算出网络平均已用带宽，再根据公式(9)计算出网络平均链路利用率，之后根据公式(10)计算出网络中链路的已用带宽方差。得出这三个数据后进行重路由触发判定，当平均链路利用率达到30％且链路已用带宽方差超过阈值

时触发重路由机制，找出拥塞程度最大的链路，即链路利用率最高的链路，将该链路上占用带宽最大的流重新调度，根据第一阶段所述方案计算出流的所有可用路径，并计算这些可用路径的瓶颈带宽，选择瓶颈带宽最大的路径作为该流的调度路径。同时设置重路由次数上限CW＝2，在一个周期内，最多只执行2次大流的调度，避免不停地重路由浪费网络资源。

U(t)＝Load(t)/C                     (9)

load_l(t)表示t时刻链路l的已用带宽，Load(t)表示链路平均已用带宽，U(t)表示平均链路利用率，M指的是网络中链路总数。o(t)越大说明链路已用带宽离散程度越大，链路利用率越不一致，网络负载越不均衡。当网络处于低负载状态时，负载不均衡对网络性能的影响不是很大，随着网络负载的加重，负载不均衡直接影响网络吞吐量与流量的传输时延。流程如下：

步骤1：初始化CW＝0；

步骤2：通过公式(8)与(10)分别计算出网络链路平均已用带宽Load(t)与已用带宽方差o(t)，再通过公式(9)计算出网络中平均链路利用率U(t)。当U(t)≥30％且

(

的值按经验得出)时转到步骤3，否则结束这次重路由；

步骤3：比较所有链路的链路利用率load_l(t)，找出load_l(t)最大的链路上流负载最大的流F_max；

步骤4：选择瓶颈带宽最大的路径作为该流的重路由路径，将F_max重路由到这条路径上，CW加1；

步骤5:如果CW>2，结束这次重路由，否则转到步骤2。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (6)

1.一种基于SDN的数据中心网络多路径动态负载均衡方法，其特征在于：包括如下步骤：

步骤1：监测网络状态，获取网络中每个设备的实时状态信息；

步骤2：划分大小流；由边缘交换机负责大小流的判定，当边缘交换机接收到来自主机的流量时，将低于链路容量10％大小的流量定义为小流，高于链路容量10％大小的流量定义为大流；

步骤3：执行初始路由算法；在步骤2的判定划分大小流后，对于小流，采用ECMP的方式进行路由，基于流的10元组值进行哈希运算选择转发路径；对于大流，采用大流选路算法；

步骤3中，所述初始路由阶段中对于大流采用的大流选路算法，基于链路剩余可用带宽、链路容量、大流所需带宽、路径链路数计算出多条可用路径的权重w，再根据路径权重按概率选择转发路径，具体步骤如下：

步骤3-1，找出大流源到目的地间的所有可用路径；

步骤3-2，计算得出链路带宽利用率和第k条路径瓶颈带宽，在此基础上得到第k条路径剩余链路利用率，总结得出路径满意度，最后根据路径满意度得到路径的权重；

步骤3-3，通过第k条路径的权重值与所有可用路径权重值之和的比值得到选择该路径进行传输的概率，然后将概率归一化，得出每条路径对应在[0,1)区间上的子区间，最后生成[0,1)上的随机数，根据随机数落到的子区间选择对应的路径作为流传输路径；

步骤4：执行重路由算法；计算平均链路利用率与链路负载方差，当平均链路利用率大于30％且链路已用带宽方差超过阈值时进行重路由，将链路利用率最大的链路上占用带宽最大的流重路由到瓶颈带宽最大的路径上，同时设置重路由次数上限为2；

步骤4的具体流程如下：

步骤4-1：初始化限制值CW＝0；

步骤4-2：分别计算出网络链路平均已用带宽Load(t)与已用带宽方差o(t)，再计算出网络中平均链路利用率U(t)；当U(t)≥30％且 时转到步骤4-3，否则结束这次重路由；

步骤4-3：比较所有链路的链路利用率load_i(t)，找出load_i(t)最大的链路上流负载最大的流F_max；

步骤4-4：选择瓶颈带宽最大的路径作为该流的重路由路径，将F_max重路由到这条路径上，CW加1；

步骤4-5:如果CW>2，结束这次重路由，否则转到步骤4-2；

步骤5：对于每个监控周期，重复执行步骤1到步骤4，直至监控周期结束。

2.根据权利要求1所述的一种基于SDN的数据中心网络多路径动态负载均衡方法，其特征在于：所述数据中心网络采用胖树拓扑作为网络模型，所述胖树拓扑包含核心层、聚合层和边缘层，每层均由交换机组成；其中，聚合交换机与边缘交换机组成多个Pod，每个Pod中的聚合交换机分别与同Pod中的不同交换机相连；用k表示Pod的数量，每个Pod有k/2个聚合交换机与k/2个边缘交换机；核心层有k²/4个核心交换机，聚合层有k²/2个聚合交换机，边缘层有k²/2个边缘交换机与k³/4台主机；此外，每个边缘交换机与k/2个主机相连。

3.根据权利要求1所述的一种基于SDN的数据中心网络多路径动态负载均衡方法，其特征在于：步骤3-1中，对于胖树拓扑结构，用J表示源到目的地间的所有路径集合，J＝{j₁,j₂,j₃,...,j_k,...}，j_k表示第k条路径。

4.根据权利要求1所述的一种基于SDN的数据中心网络多路径动态负载均衡方法，其特征在于：步骤3-2中，链路带宽利用率U_ki是链路已用带宽与链路容量的比值：

U_ki＝S_ki/C (1)

式中，S_ki表示第k条路径中第i条链路的已使用带宽，C表示链路容量，i表示链路；

第k条路径瓶颈带宽是各条链路中已用带宽的最大值为B_k：

B_k＝max{S_k1,S_k2,...,S_kn} (2)

式中，n为路径中链路数目；

第k条路径剩余链路利用率是传输完流之后最小的剩余带宽与链路容量的比值为U_s：

U_s＝((C-B_k)-f)/C (3)

式中，f表示流带宽；

之后得出路径满意度S：

最后，定义路径的权重：

5.根据权利要求1所述的一种基于SDN的数据中心网络多路径动态负载均衡方法，其特征在于：步骤3-3中，设源与目的节点间第k条路径的权重值为W_k，选择第k条路径的概率为P_k，其值为第k条路径的权重值与所有可用路径权重值之和的比值，计算公式如下：

对于每条流，按概率P_k随机选择路径；因为概率之和为1，对于k条路径，设计k个区间，第k条路径对应的区间如公式(7)所示：

保证占完[0,1)区间；生成[0,1)间的随机数，处于哪一区间内则选择对应的路径进行流的转发，完成流传输路径的选择。

6.根据权利要求4所述的一种基于SDN的数据中心网络多路径动态负载均衡方法，其特征在于：步骤4中，以平均链路利用率和已用带宽方差作为重路由机制触发条件，其中：

U(t)＝Load(t)/C (9)

式中，load_i(t)表示t时刻链路i的已用带宽，Load(t)表示链路平均已用带宽，U(t)表示平均链路利用率，M指网络中链路总数；o(t)越大说明链路已用带宽离散程度越大，链路利用率越不一致，网络负载越不均衡；此外，设定限制值CW＝2，一旦一个监测周期内连续重路由次数超过2，则终止重路由。

Images