CN107454009A

CN107454009A - 面向数据中心的离线场景低带宽开销流量调度方案

Info

Publication number: CN107454009A
Application number: CN201710820516.4A
Authority: CN
Inventors: 崔勇; ***; 肖诗汉; 李楚鸣
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2017-09-08
Filing date: 2017-09-08
Publication date: 2017-12-08
Anticipated expiration: 2037-09-08
Also published as: CN107454009B

Abstract

面向数据中心的离线场景低带宽开销流量调度方案，是一种互联网传输控制技术，其目的为在保障所有大块传输流按时完成的前提下，合理调度各个大块传输流，使得数据中心拥有者的带宽租用开销最小，其执行流程为1)获得一个租用周期内所有大块传输流的源目的节点，数据量，到达和截止时间；2)将租用周期分为多个传输时隙，合理调度各个大块传输流在每个传输时隙内的发送路径和发送速率，在保障所有大块传输流都能完成的前提下，达到带宽开销的最小化；本发明可以在保障服务质量的前提下，有效降低数据中心拥有者向互联网服务供应商租用带宽的开销，降低数据中心运营成本。

Description

面向数据中心的离线场景低带宽开销流量调度方案

技术领域

本发明属于互联网技术领域，涉及流量调度技术，特别涉及一种面向数据中心的离线场景低带宽开销流量调度方案。

背景技术

当今，谷歌，微软等许多网络服务供应商和云服务商在不同的地理区域拥有数据中心，这些数据中心上运行着各种全局分布式的应用程序，因此它们有着相互通信的需求，广域网是保证这些分布在不同地理位置的数据中心能够相互通信的关键设施。这些数据中心之间的通信需求导致了高昂的带宽开销，通常，数据中心拥有者每年要向互联网服务供应商支付数亿的费用来租用广域网带宽。然而，数据中心间的带宽利用率并不高，即使是繁忙链路的带宽利用率也不超过60％，这导致了带宽开销的极大浪费。如何在保证数据流按时完成的情况下，合理有效地进行流量调度，减少带宽开销，成为了数据中心间流量调度领域的一个重要问题。

大块传输流占据了数据中心间广域网流量的很大比重，通常在85％到95％之间。大块传输流的特征是数据量大(几TB到几PB之间)，持续时间长。它的典型例子有：搜索引擎在数据中心间周期性地同步索引项，金融机构在交易日远端备份交易记录等。相比于持续时间较短的交互式传输流，大块传输流没有那么强的时延敏感性，因此，可以使用集中控制器对它们进行更加灵活的，经济的调度。在某些场景下，一段时间内所有大块数据传输流的到达时间，截止时间，数据量都是可以预知的，这些场景统称为离线场景。在离线场景下对大块数据流的合理调度，不仅是网络服务质量的重大保障，更可以节省大量的带宽租用开销。

近年来，许多研究工作围绕着合理调度大块传输流展开。一种主要思路是，采取存储转发策略，在数据中心上增加存储设备，在链路繁忙的时候暂存到达的数据，在链路空闲的时候传输数据，充分利用带宽。另一种思路也是采取了存储转发的策略，平衡优化了各个链路的利用率。这两种思路都需要在每个数据中心增加额外的存储设备，以暂存通过各个数据中心的流量，这样不仅增加了额外的存储开销，也增大了流量调度的复杂性。因此，我们希望寻求一种更合理的调度方案，在保证各个大块传输流按时完成并且不增加额外开销的前提下，进行带宽开销的优化，并保证方案的可行性。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种面向数据中心的离线场景低带宽开销流量调度方案，在保证所有大块传输流都可以按时完成的前提下，通过合理的调度，最小化数据中心拥有者向互联网服务供应商租用广域网带宽的开销；本发明在每个传输时隙内为每个大块传输流合理地分配带宽，设置发送路径，在保证所有大块传输流按时完成的基础上，最小化带宽租用开销。

为了实现上述目的，本发明采用的技术方案是：

一种面向数据中心的离线场景低带宽开销流量调度方案，在数据中心间广域网络下按照以下步骤实现：

步骤(1)，将一个租用周期分为若干个传输时隙，即1，...，T，用一个有向图G＝(V，E)来表示数据中心和数据中心之间的链路，其中V是有向图的节点集合，表示所有的数据中心的集合，E是有向图的边集，表示所有的链路的集合，用五元组r_i＝(s_i，t_i，d_i，a_i，τ_i)来代表一个大块传输流，其中s_i，t_i，d_i，a_i，τ_i分别代表第i个大块传输流的源节点、目的节点、数据量、到达时间和截止时间；获得一个租用周期内所有大块传输流的源节点、目的节点、数据量、到达时间和截止时间；

步骤(2)，运行PDA算法，计算每条大块传输流的调度方案，算法初始化时，令PDA算法维护的问题PDA算法维护的目标函数值等于当前的解对应的带宽值向上取整决定的目标函数值

步骤(3)，分多轮进行迭代优化，每轮的具体步骤如下：

步骤(3a)，令约束集合

步骤(3b)，找出在问题的解中带宽值不为整数的所有边e，将和两个约束加入到S中；

步骤(3c)，将S中的所有约束分别加入到的约束中，求解得到新的带宽值和新的目标函数值

步骤(3d)，在S中选择一个能在加入问题后使新的目标函数值小于的约束，将该约束加入问题以形成新的问题同时将更新为新的问题产生的新的目标函数值，若不存在这样的约束，算法中止；

步骤(3e)，算法终止，对应原问题P₀的一组可行解决定的目标函数值，P₀表示在流量约束、容量约束和整数约束共三个约束下，使目标函数：

最小化的最优化问题，其中u_e表示链路e的单位带宽价格，P₁为P₀去掉整数约束之后的问题，是相对于P₁包含一些额外约束的松弛问题；

步骤(4)，根据算法结果生成流量调度方案，进行流量调度。

所述流量约束有两个，分别是：

一个流量约束为：

且v≠s_i，v≠t_i，

t∈[a_i，τ_i]且t∈N⁺

其中，x_i，e(t)表示第i个请求在连接e上的第t个时刻的传输数据量，δ⁺(v)表示以节点v为起点的所有有向边的集合，δ^-(v)表示以节点v为终点的所有有向边的集合，N⁺表示正整数集合；

另一个流量约束为：

其中，δ⁺(s_i)表示以节点s_i为起点的所有有向边的集合，δ-(s_i)表示以节点s_i为终点的所有有向边的集合；

所述容量约束为：

其中c_e表示数据中心拥有者在链路e上租用的带宽的单位数，δ_c表示单位带宽的大小，δ_t代表了每个时间片的大小；

所述整数约束为：

其中N表示自然数集合。

与现有技术相比，本发明的有益效果是：

1)在保证所有大块传输流可以在规定时间内传输完成的前提下，最小化了带宽租用的开销。

2)本发明提出的方案考虑了ISP按一定粒度收费，实用性更强。

3)本发明中提出的方案不需要引入额外的存储设备，节省了总的调度开销。

附图说明

图1为面向数据中心的离线场景示意图。

图2为面向数据中心的离线场景低带宽开销流量调度方案的具体流程图。其中为PDA算法维护的问题，为PDA算法维护的目标函数值，S为约束集合，为当前的解对应的带宽值。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

如图1所示，本发明考虑一个租用周期内的大块传输流的调度问题，将周期分为若干个传输时隙，即1，...，T。用一个有向图G＝(V，E)来表示数据中心和数据中心之间的链路，其中V是有向图的节点集合，表示所有的数据中心的集合，E是有向图的边集，表示所有的链路的集合。用五元组r_i＝(s_i，t_i，d_i，a_i，τ_i)来代表一个大块传输流，其中s_i，t_i，d_i，a_i，τ_i分别代表第i个大块传输流的源节点，目的节点，数据量，到达时间，以及截止时间。

对于一个大块传输流r_i，它传输数据的时间被限制在时间区间[a_i，τ_i]之内的时间片上。此外，一个请求的源目节点s_i和t_i之间可能存在多条可行的路径，每条路径由E中的一个或多个链路e串联而成，根据以上描述，使用x_i，e(t)来表示第i个请求在连接e上的第t个时刻的传输数据量，可以得到流量约束：

且v≠s_i，v≠t_i，

t∈[a_i，τ_i]且t∈N⁺

该约束的含义是，任意一个大块传输流在所有它的源目的节点之外的节点上的所有时刻上必须满足流量守恒，即从该节点流出的属于该大块传输流的流量之和必须等于流入该节点的属于该大块传输流的流量之和。其中，δ⁺(v)表示以节点v为起点的所有有向边的集合，δ^-(v)表示以节点v为终点的所有有向边的集合。

另一个流量约束是：

该约束保证任意一个大块传输流的源节点流出的属于该大块传输流的流量之和减去流入源节点的属于该大块传输流的流量之和在所有时刻上求和等于该大块传输流的总数据传输量，其作用是保证所有大块传输流可以在规定时间内完成。

为了保证任意一条链路在任意传输时隙内传输流量的总速率不超过租用的链路带宽大小，x_i，e(t)必须满足容量约束：

其中，其中c_e表示数据中心拥有者在链路e上租用的带宽的单位数，δ_c表示单位带宽的大小，δ_t代表了每个时间片的大小。

由于数据中心拥有者租用带宽时必须租用整数单位的带宽，c_e为整数变量，因此c_e需要满足整数约束：

为了实现本发明最小化带宽租用开销的目标，本方案用P₀表示在流量约束，容量约束和整数约束共三个约束下，使目标函数：

最小化的最优化问题。其中u_e表示e这条链路的单位带宽价格。

P₀是NP-hard问题，本方案包括了求解该问题的渐进式下降算法(PDA)，为了说明该算法的流程，定义P₀去掉整数约束之后的问题为P₁，算法的流程为：

1、维护一个相对于原始松弛问题P₁包含一些额外约束的松弛问题同时，维护一个最优目标函数值算法初始时，令等于P₁的解的对应的带宽值c_e向上取整决定的目标函数值

2、在每一轮中，生成一个约束的集合S，每轮开始时，令然后，在的解中找出带宽值c_e不为整数的所有连接。之后，对于每个这样的连接，将它的带宽值c_e分别固定为根据解出的带宽值的向下取整和向上取整，得到两个新约束，都加入当前一轮的约束集合S中。最后，如果则此时算法中止；否则，对于约束集合S中的每个约束，将它加入问题重新求解得到新的一组带宽值c_e并计算由新一组c_e决定的目标函数值最后在约束集合S中选择一个能在加入问题后使新问题有解且新的目标函数值最小的约束，如果该约束加入得到的新的目标函数值小于则将该约束加入问题以形成新的问题同时将更新为该约束产生的新的目标函数值；否则，算法中止。在算法终止后，即对应了原问题P₀的一组可行解的决定的目标函数值。

因此，参照图2，本发明面向数据中心的离线场景低带宽开销流量调度方案的具体的实施方式包含以下几个主要步骤：

步骤(1)获得一个租用周期内所有大块传输流的源节点，目的节点，数据量，到达时间和截止时间。

步骤(2)运行PDA算法，计算每条流的调度方案。算法初始化时，令等于的解的对应的带宽值向上取整决定的目标函数值

步骤(3)分多轮进行迭代优化每轮的具体步骤如下：

步骤(3a)令约束集合

步骤(3b)找出在问题的解中带宽值不为整数的所有边e，将和两个约束加入到S中。

步骤(3c)将S中的所有约束分别加入到的约束中，求解得到新的带宽值和新的目标函数值

步骤(3d)在S中选择一个能在加入问题后使新的目标函数值最小的约束。若该约束对应的新目标函数值大于等于或所有约束加入问题后都无解，算法中止；否则，将该约束加入问题以形成新的问题同时将更新为新的问题产生的新的目标函数值。

步骤(3e)算法终止，对应原问题P₀的一组可行解决定的目标函数值。

步骤(4)根据算法结果生成流量调度方案，进行流量调度。

综上所述，本发明提出了一种面向数据中心的离线场景低带宽开销流量调度方案。该方案能够保障所有的大块传输流按时完成，同时不引入额外的存储开销。在此前提下，该方案大幅提升了链路利用率，最小化了带宽租用的开销，从而节省了数据中心的运营成本。

Claims

1.一种面向数据中心的离线场景低带宽开销流量调度方案，其特征在于，在数据中心间广域网络下按照以下步骤实现：

步骤(1)，将一个租用周期分为若干个传输时隙，即1,…,T，用一个有向图G＝(V,E)来表示数据中心和数据中心之间的链路，其中V是有向图的节点集合，表示所有的数据中心的集合，E是有向图的边集，表示所有的链路的集合，用五元组r_i＝(s_i,t_i,d_i,a_i,τ_i)来代表一个大块传输流，其中s_i，t_i，d_i，a_i，τ_i分别代表第i个大块传输流的源节点、目的节点、数据量、到达时间和截止时间；获得一个租用周期内所有大块传输流的源节点、目的节点、数据量、到达时间和截止时间；

步骤(3)，分多轮进行迭代优化，每轮的具体步骤如下：

步骤(3a)，令约束集合

<mrow> <munder> <mi>&Sigma;</mi> <mrow> <mi>e</mi> <mo>&Element;</mo> <mi>E</mi> </mrow> </munder> <msub> <mi>c</mi> <mi>e</mi> </msub> <msub> <mi>u</mi> <mi>e</mi> </msub> </mrow>

步骤(4)，根据算法结果生成流量调度方案，进行流量调度。

2.根据权利要求1所述面向数据中心的离线场景低带宽开销流量调度方案，其特征在于，所述流量约束有两个，分别是：

一个流量约束为：

且v≠s_i,v≠t_i,

且t∈N⁺

其中，x_i,e(t)表示第i个请求在边e上的第t个时刻的传输数据量，δ⁺(v)表示以节点v为起点的所有有向边的集合，δ^-(v)表示以节点v为终点的所有有向边的集合，N⁺表示正整数集合；

另一个流量约束为：

<mrow> <mo>&ForAll;</mo> <mi>i</mi> <mo>:</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>t</mi> <mo>=</mo> <msub> <mi>a</mi> <mi>i</mi> </msub> </mrow> <msub> <mi>&tau;</mi> <mi>i</mi> </msub> </munderover> <mrow> <mo>(</mo> <munder> <mi>&Sigma;</mi> <mrow> <mi>e</mi> <mo>&Element;</mo> <msup> <mi>&delta;</mi> <mo>+</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </munder> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>e</mi> </mrow> </msub> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>-</mo> <munder> <mi>&Sigma;</mi> <mrow> <mi>e</mi> <mo>&Element;</mo> <msup> <mi>&delta;</mi> <mo>-</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </munder> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>e</mi> </mrow> </msub> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>d</mi> <mi>i</mi> </msub> </mrow>

其中，δ⁺(s_i)表示以节点s_i为起点的所有有向边的集合，δ^-(s_i)表示以节点s_i为终点的所有有向边的集合；

所述容量约束为：

<mrow> <mo>&ForAll;</mo> <mi>e</mi> <mo>,</mo> <mi>t</mi> <mo>:</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>I</mi> </munderover> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>e</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>&le;</mo> <msub> <mi>c</mi> <mi>e</mi> </msub> <msub> <mi>&delta;</mi> <mi>c</mi> </msub> <msub> <mi>&delta;</mi> <mi>t</mi> </msub> </mrow>

其中c_e为带宽值，表示数据中心拥有者在边e上租用的带宽的单位数，δ_c表示单位带宽的大小，δ_t表示每个时间片的大小；

所述整数约束为：

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>&ForAll;</mo> <mi>e</mi> <mo>&Element;</mo> <mi>E</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>c</mi> <mi>e</mi> </msub> <mo>&Element;</mo> <mi>N</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中N表示自然数集合。