CN114826925B - 一种数据中心间基于成本时序的大数据传输带宽调度方法 - Google Patents

一种数据中心间基于成本时序的大数据传输带宽调度方法 Download PDF

Info

Publication number
CN114826925B
CN114826925B CN202210347575.5A CN202210347575A CN114826925B CN 114826925 B CN114826925 B CN 114826925B CN 202210347575 A CN202210347575 A CN 202210347575A CN 114826925 B CN114826925 B CN 114826925B
Authority
CN
China
Prior art keywords
time
transmission
request
time slot
bandwidth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210347575.5A
Other languages
English (en)
Other versions
CN114826925A (zh
Inventor
侯爱琴
王思明
蒋添任
张佳璇
季于东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN202210347575.5A priority Critical patent/CN114826925B/zh
Publication of CN114826925A publication Critical patent/CN114826925A/zh
Application granted granted Critical
Publication of CN114826925B publication Critical patent/CN114826925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种数据中心间基于成本时序的大数据传输带宽调度方法,包括:步骤1,对给定的多个数据传输带宽预留请求进行优先级排序;步骤2,对排序后的数据传输带宽预留请求按顺序调度;步骤3,当前请求调度成功,计算请求实际传输时间及相应传输时隙;步骤4,更新时间点列表TimePointList,更新路径中各链路的时隙带宽,继续调度下一个请求,即将下一个请求作为当前请求,执行步骤2,直至完成所有请求的调度。本发明的方法以最小化数据传输成本为目的,在最大传输带宽和截止时间约束下,兼顾不同时间链路成本和带宽资源的差异,自适应带宽预留,降低单位带宽传输代价。

Description

一种数据中心间基于成本时序的大数据传输带宽调度方法
技术领域
本发明属于计算机网络技术领域,涉及带宽调度,具体涉及一种数据中心间基于成本时序的大数据传输带宽调度方法。
背景技术
当今网络服务和应用普遍分布式部署在全球各地数据中心,运行过程中在多地数据中心之间产生大规模数据传输需求,及时完成大数据的跨数据中心传输是保证服务时效性和可靠性的重要环节。
由于数据中心间网络资源的稀缺性、动态化以及传输成本高、价格差异大等问题,带宽成本在数据中心间的运维成本构成里占很大比例。所以,在跨数据中心网络中的大数据传输的网络成本问题逐渐需要被考虑。在大规模的数据中心网络中,其中包括很多应用程序是需要可调度的、灵活的网络服务,并且希望以带宽预留服务提供商在特定成本模型下收取的最低成本完成其数据传输。
现有的最小成本调度算法主要关注数据中心内部,很少考虑数据中心间稀缺的网络传输资源以及昂贵的链路带宽成本,并不能简单应用于多数据中心的工作场景。现有的周期性带宽调度算法更多地考虑网络资源有效性指标,缺乏对经济效益的研究,尤其是缺乏对网络资源成本动态变化的研究。从优化路径的角度出发,忽略了数据中心间的传输成本在时间和空间上的差异性。
发明内容
针对现有技术存在的不足,本发明的目的在于,提供一种数据中心间基于成本时序的大数据传输带宽调度方法,以解决现有技术中单位带宽传输代价有待进一步降低的技术问题。
为了解决上述技术问题,本发明采用如下技术方案予以实现:
一种数据中心间基于成本时序的大数据传输带宽调度方法,该方法包括以下步骤:
步骤1,对给定的多个数据传输带宽预留请求进行优先级排序,得到排序后的请求序列R1,R2,...,Ri,...,Rn,Ri表示为(vs,vd,tS,tE,D,bmax);
式中:
n为请求的总数,0≤i≤n,n为大于等于2的整数;
Ri为第i个请求;
vs为该请求的源节点;
vd为目的节点;
tS为最早传输时间,tE为最晚传输时间,每个请求均需要在设定时间段[tS,tE]内完成传输;
D为数据量;
bmax为请求传输数据过程中的最大带宽;
步骤2,对排序后的数据传输带宽预留请求按顺序调度;
步骤2.1,对当前调度请求Ri,根据当前请求的开始传输时间和截止时间找到满足传输的至少一个时间窗,按照时间窗持续时间进行升序排序得到排序后的时间窗序列TimeWindowList;选择第一个时间窗作为当前时间窗,得到当前时间窗包含的时隙列表TimeStepList;
TimeWindowList={W1,W2,...,Wj,...,WJ}
式中:
W为时间窗;
Wj为第j个时间窗;
J为时间窗的总数,1≤j≤J,J为大于等于1的整数;
步骤2.2,通过Dijkstra算法找到一条从源节点到目的节点的跳数最短且可用带宽较大的路径;
步骤2.3,根据步骤2.2找到的路径,对当前时间窗中的时隙列表TimeStepList按照各个时隙下该路径的传输成本大小进行升序排列,得到排序后的传输时隙序列TimeSteps;
Figure BDA0003577445640000031
Figure BDA0003577445640000032
式中:
m为当前时间窗中的时隙总数,0≤i≤m,m为大于等于1的整数;
Figure BDA0003577445640000033
为当前时间窗中的第i个时隙的开始时间点;
Figure BDA0003577445640000034
为当前时间窗中的第i个时隙的结束时间点;
Figure BDA0003577445640000035
为当前时间窗中经过排序后的第i个时隙的开始时间点;
Figure BDA0003577445640000036
为当前时间窗中经过排序后的第i个时隙的结束时间点;
步骤2.4,根据步骤2.3排序后的传输时隙序列,选择第一个时隙作为当前时隙,依次在各个时隙中进行带宽预留;
步骤2.5,通过查询带宽时隙表,得到当前时隙下的路径的可用带宽bi,并在该条路径上传输数据,路径传输带宽为min(bi,bmax),计算当前时隙下该条路径的可传输数据量
Figure BDA0003577445640000037
并计算当前时隙数据传输累积量
Figure BDA0003577445640000038
步骤2.6,若DataSum>D,即累积到当前时隙数据传输累积量大于该传输请求的数据量,说明路径累计数据传输量足够传输请求,TimeSteps循环终止,执行步骤3;否则,将下一个时隙作为当前时隙,执行步骤2.5;
步骤3,当前请求调度成功,计算请求实际传输时间及相应传输时隙;
步骤4,更新时间点列表TimePointList,更新路径中各链路的时隙带宽,继续调度下一个请求,即将下一个请求作为当前请求,执行步骤2,直至完成所有请求的调度。
本发明与现有技术相比,具有如下技术效果:
(Ⅰ)本发明的方法以最小化数据传输成本为目的,兼顾不同时间链路成本和带宽资源的差异,自适应带宽预留,降低单位带宽传输代价。
(Ⅱ)本发明的方法在具有带宽预留功能的高性能网络中考虑到带宽及链路成本动态变化情况,对于给定的多个具有截止时间约束的带宽预留请求。
(Ⅲ)本发明的方法处理大数据传输请求时,采用灵活带宽固定路径传输模型,路径寻找过程不仅考虑带宽的因素,还考虑到传输成本的因素。
(Ⅳ)本发明的方法在大数据传输的过程中,针对链路成本在不同时隙的动态差异,根据选择的传输路径,对传输时隙根据路径成本升序排列后进行灵活带宽分配方案,可更高效地完成大数据传输请求,并且降低带宽传输代价。
(Ⅴ)本发明的方法在带宽调度地过程中,除了考虑数据传输的成功率(SSR)、平均传输时间(the average Completation Time,ACT)等常见的QoS参数外,本发明还考虑了数据成功传输的总代价(the Sum Cost,C)、所消耗带宽的平均传输代价(the averageBandwidth Cost Ratio,BCost)、成功传输的总数据量平均花费比率(the averageDatasize Cost Ratio,DCost)、实际传输的平均时间代价(the average TransmissionTime Cost Ratio,TCost)。
附图说明
图1为本发明的数据中心间基于成本时序的大数据传输带宽调度方法的流程示意图。
图2为本发明中的高性能网络拓扑图。
图3为本发明实施例高性能网络拓扑图中各个链路带宽对应的ATB表。
图4为本发明实施例高性能网络拓扑图中各个链路成本对应的ATC表。
图5为本发明实施例中依次调度多个请求后,各链路的可用带宽对应的ATB表,其中,(a)表示高性能网络拓扑初始状态,各链路可用带宽,(b)表示调度请求R1后,各链路的可用带宽,(c)表示调度请求R2后,各链路的可用带宽,(d)表示调度请求R0后,各链路的可用带宽。
图6为本发明仿真实验中所用ESnet5的拓扑图。
图7为本发明中的调度方法(FPVBVCts)和对比算法(FPFBVC、FPVBVC)的成功率的性能比较结果图。
图8为本发明中的调度方法(FPVBVCts)和对比算法(FPFBVC、FPVBVC)的成功传输消耗的总带宽平均花费比率的性能比较结果图。
图9为本发明中的调度方法(FPVBVCts)和对比算法(FPFBVC、FPVBVC)的成功传输的总数据量平均花费比率的性能比较结果图。
以下结合实施例对本发明的具体内容作进一步详细解释说明。
具体实施方式
需要说明的是,本发明中的所有的算法,如无特殊说明,全部均采用现有技术中已知的算法。例如Dijkstra算法采用已知的Dijkstra算法。带宽时隙表采用已知常用的带宽时隙表。
需要说明的是,本发明中:
所述的成本时序指的是兼顾链路成本和负载均衡的传输时隙的顺序,即在满足请求传输的时间窗内,将时隙列表按链路成本及可用带宽升序排列,排序后的传输时隙序列。
所述的高性能网络(High-Performance)指的是一种集中式控制和高带宽、可进行带宽预留的网络,在科研和生产环境中已经被广泛的使用。
所述的ATB指的是综合时隙带宽表(Aggregate Time-stepBandwidth,ATB),记录所有链路在各个时隙可用带宽的数据表。
所述的ATC指的是综合时隙成本表(Aggregate Time-stepCost,ATC),记录所有链路在各个时隙链路成本的的数据表。
所述的ESnet5指的是美国能源科学网络(Energy Sciences network,ESnet)的第五代网络,本发明使用ESnet5的网络拓扑作为实验的网络基础,进行带宽调度仿真实验。
所述的FPVBVCts指的是数据中心间基于成本时序的大数据传输带宽调度方法(Fixed Path Variable Bandwidth Variable Cost Time Series,FPVBVCts)。
所述的FPFBVC指的是固定路径固定带宽(Fixed Path Fixed Bandwidth,FPFB)调度类型中具有较好网络性能的MINBP-ECT算法基础上,针对本发明所解决成本问题进行修改添加,保留原有调度逻辑的算法。
所述的FPVBVC指的是固定路径可变带宽(Fixed Path Variable Bandwidth,FPVB)调度类型中具有较好网络性能的MINBP-ECT算法基础上,针对本发明所解决成本问题进行修改添加,保留原有调度逻辑的算法。
本发明的整体技术构思为:本发明的方法是对多个数据中心间的数据传输请求根据优先级排序后,依次对每个请求在传输周期内找出兼顾链路成本和负载均衡的传输时隙的顺序,即在满足请求传输的时间窗内,将时隙列表按各个时隙的链路成本升序排列,若成本相同按其链路可用带宽升序排列,得到排序后的传输时隙序列。根据传输时隙序列,依次自适应带宽预留,获得带宽预留方案。
遵从上述技术方案,以下给出本发明的具体实施例,需要说明的是本发明并不局限于以下具体实施例,凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
实施例:
本实施例给出一种数据中心间基于成本时序的大数据传输带宽调度方法,如图1所示,该方法包括以下步骤:
步骤1,对给定的多个数据传输带宽预留请求进行优先级排序,得到排序后的请求序列R1,R2,...,Ri,...,Rn,Ri表示为(vs,vd,tS,tE,D,bmax);
式中:
n为请求的总数,0≤i≤n,n为大于等于2的整数;
Ri为第i个请求;
vs为该请求的源节点;
vd为目的节点;
tS为最早传输时间,tE为最晚传输时间,每个请求均需要在设定时间段[tS,tE]内完成传输;
D为数据量;
bmax为请求传输数据过程中的最大带宽。
具体的,步骤1的具体操作如下:
对所述多个用户请求按照基本传输带宽进行升序排序,所述基本传输带宽为
Figure BDA0003577445640000071
所述持续时间为
Figure BDA0003577445640000072
对于基本传输带宽大小一样的,按照最迟的截止完成时间进行升序排序,如果最迟的截止完成时间一样,则根据请求持续时间进行升序排列;最终得到排序后的请求序列R1,R2,...,Ri,...,Rn
步骤2,对排序后的数据传输带宽预留请求按顺序调度。
步骤2.1,对当前调度请求Ri,根据当前请求的开始传输时间和截止时间找到满足传输的至少一个时间窗,按照时间窗持续时间进行升序排序得到排序后的时间窗序列TimeWindowList;选择第一个时间窗作为当前时间窗,得到当前时间窗包含的时隙列表TimeStepList。
TimeWindowList={W1,W2,...,Wj,...,WJ}
式中:
W为时间窗;
Wj为第j个时间窗;
J为时间窗的总数,1≤j≤J,J为大于等于1的整数;
具体的,步骤2.1中,排序后的时间窗序列TimeWindowList的得到过程为:根据当前请求的传输开始时间和截止时间,在当前时间点列表TimePointList中找到开始时间小于等于请求的传输开始时间且结束时间大于等于请求的截止时间的时间窗口;对高性能网络中的多个时间窗口按照时间窗口的持续时间升序排列,得到排序后的时间窗口序列TimeWindowList。
步骤2.2,通过Dijkstra算法找到一条从源节点到目的节点的跳数最短且可用带宽较大的路径。
具体的,步骤2.2的具体操作过程为:在网络拓扑中,寻找源节点到目的节点间链路跳数最少的路径,若有若干个链路跳数相同的路径,则根据路径在当前时间窗下的最小可用带宽进行降序排列,所述最小可用带宽为该路径在当前时间窗内不同时隙的可用带宽最小值,得到排序后的路径序列,选择第一个路径作为传输路径。
步骤2.3,根据步骤2.2找到的路径,对当前时间窗中的时隙列表TimeStepList按照各个时隙下该路径的传输成本大小进行升序排列,得到排序后的传输时隙序列TimeSteps。
Figure BDA0003577445640000091
Figure BDA0003577445640000092
式中:
m为当前时间窗中的时隙总数,0≤i≤m,m为大于等于1的整数;
Figure BDA0003577445640000093
为当前时间窗中的第i个时隙的开始时间点;
Figure BDA0003577445640000094
为当前时间窗中的第i个时隙的结束时间点;
Figure BDA0003577445640000095
为当前时间窗中经过排序后的第i个时隙的开始时间点;
Figure BDA0003577445640000096
为当前时间窗中经过排序后的第i个时隙的结束时间点;
步骤2.4,根据步骤2.3排序后的传输时隙序列,选择第一个时隙作为当前时隙,依次在各个时隙中进行带宽预留。
步骤2.5,通过查询带宽时隙表,得到当前时隙下的路径的可用带宽bi,并在该条路径上传输数据,路径传输带宽为min(bi,bmax),计算当前时隙下该条路径的可传输数据量
Figure BDA0003577445640000097
并计算当前时隙数据传输累积量
Figure BDA0003577445640000098
步骤2.6,若DataSum>D,即累积到当前时隙数据传输累积量大于该传输请求的数据量,说明路径累计数据传输量足够传输请求,TimeSteps循环终止,执行步骤3;否则,将下一个时隙作为当前时隙,执行步骤2.5。
步骤3,当前请求调度成功,计算请求实际传输时间及相应传输时隙。
具体的,步骤3中的具体操作过程为:
对路径累计数据传输量足够传输请求的路径,计算传输多余数据量ExcessData=DataSum-D。
若ExcessData=0,则该请求在该预留方案中满足传输时的最后一个时隙
Figure BDA0003577445640000101
中完全传输,即
Figure BDA0003577445640000102
否则,计算多余传输时间
Figure BDA0003577445640000103
Figure BDA0003577445640000104
即满足传输时的最后一个时隙
Figure BDA0003577445640000105
为请求最早开始时间所在时隙
Figure BDA0003577445640000106
则在该时隙实际传输时间为
Figure BDA0003577445640000107
Figure BDA0003577445640000108
即满足传输时的最后一个时隙
Figure BDA0003577445640000109
既不是请求最早开始时间所在时隙
Figure BDA00035774456400001010
也不是请求最晚传输时间所在时隙
Figure BDA00035774456400001011
则在该时隙实际传输时间为
Figure BDA00035774456400001012
Figure BDA00035774456400001013
即满足传输时的最后一个时隙
Figure BDA00035774456400001014
是请求最晚传输时间所在时隙
Figure BDA00035774456400001015
则在该时隙实际传输时间为
Figure BDA00035774456400001016
最终得到完成数据传输的请求实际传输时间[tStart,tEnd],其中
Figure BDA00035774456400001018
Figure BDA00035774456400001019
以及相应传输时隙为
Figure BDA00035774456400001020
式中:
tStart为完成数据传输的请求实际传输开始时间;
tEnd为完成数据传输的请求实际传输结束时间;
步骤4,更新时间点列表TimePointList,更新路径中各链路的时隙带宽,继续调度下一个请求,即将下一个请求作为当前请求,执行步骤2,直至完成所有请求的调度。
本实施例中,上述方式针对可变带宽的大数据传输请求,在每个时隙中,针对高性网络中的可变带宽路径对所述路径采用灵活带宽调度模式进行调度,使数据传输的请求调度成功率最大化的同时,实现最小的数据传输代价。
应用例:
本应用例给出基于上述实施例的数据中心间基于成本时序的大数据传输带宽调度方法,具体如下所述。
为了更好的解释本发明的方法,在图2所示的网络图中,5个节点其中有一对节点被指定为源节点和目标节点,5条链路,每条链路标的带宽分配如图3的ATB表所示,每条链路标的成本分配如图4的ATC表所示。假设随机产生了如表1所示的3个请求,调度这些请求的具体操作如下:
表1用户输入请求
R <![CDATA[v<sub>s</sub>]]> <![CDATA[v<sub>d</sub>]]> <![CDATA[B<sup>max</sup>(Gb/s)]]> D(Gb) <![CDATA[[t<sup>S,</sup>t<sup>E</sup>](s)]]>
R0 d b 7 14 [0,7]
R1 b d 4 4 [6,11]
R2 d c 2 2 [5,7]
对表1中的3个用户输入请求排序,得到排序后的请求序列为{R1,R2,R0},时间点列表TimePointList={0,5s,10s,20s},当前网络的链路可用带宽情况如图5中的(a)所示。
依次对排序后的请求序列依次寻找合适的带宽预留策略:
首先调度请求R1。根据请求的最早开始时间、截止时间,得到满足该请求的时间窗口,排序得到TimeWindowList={[5s,20s],[0,20s],[5s,+∞],[0,+∞]}。选择持续时间最短的时间窗口[5s,20s],该时间窗口中包含TimeStepList={[5s,10s],[10s,20s]}。根据迪杰斯特拉算法找出传输成本最小且长度最短的路径b-d,TimeStepList下的路径成本分别为{1,2}。根据时隙路径成本排序得到TimeSteps={[5s,10s],[10s,20s]}。在该路径下,依次遍历TimeSteps:[5s,10s],该时隙上述路径可用带宽为4Gb/s,请求最大带宽为4Gb/s,该条路径在该时隙传输的数据大小为:
Figure BDA0003577445640000111
此时该路径累计数据传输量为16Gb,足够传输请求,TimeSteps循环终止。多余带宽为ExcessData=DataSum-D=16-4=12GB,满足传输时的最后一个时隙传输带宽为4Gb/s,多余传输时间
Figure BDA0003577445640000121
则该时隙实际传输时间为:
Figure BDA0003577445640000122
得到完成数据传输的请求实际传输开始和结束时间[6s,7s]。该请求调度成功,返回qr(1,{[1,3][1-3-I]=[4]},[4.0],[6,7],Cost:4),实际传输时隙{[6s,7s]}。
更新时间点列表TimePointList={0,5s,6s,7s,10s,20s}。更新网络带宽,链路b-d在[6s,7s]间的带宽为由4Gb/s变为0,此时网络的链路可用带宽情况如图5中的(b)所示。
调度请求R2。根据请求的最早开始时间、截止时间,满足该请求的时间窗口,排序得到TimeWindowList={[5s,7s],[5s,10s],[0,7s],[0,10s],[5s,20s],[0,20s],[5s,+∞],[0,+∞]}。选择第一个时间窗口[5s,7s],该时间窗口中包含TimeStepList={[5s,6s],[6s,7s]}。根据迪杰斯特拉算法找出传输成本最小且长度最短的路径d-c,TimeStepList下的路径成本分别为{2,2}。根据时隙路径成本排序得到TimeSteps={[5s,6s],[6s,7s]},依次遍历TimeSteps:[5s,6s],该时隙上述路径可用带宽为5Gb/s,请求最大带宽为2Gb/s,该条路径在该时隙传输的数据大小为2·(6-5)=2Gb,此时该路径累计数据传输量为2Gb此时该路径累计数据传输量为2Gb,足够传输请求,TimeSteps循环终止。多余带宽为0,则该时隙实际传输时间为:
Figure BDA0003577445640000123
得到完成数据传输的请求实际传输开始和结束时间[5s,6s]。该请求调度成功,返回qr(1,{[3,2][2-3-I]=[2]},[2.0],[5,6],Cost:4),实际传输时隙{[5s,6s]}。
更新时间点列表TimePointList={0,5s,6s,7s,10s,20s}。更新网络带宽,链路c-d在[5s,6s]间的带宽为由5Gb/s变为3Gb/s,此时网络的链路可用带宽情况如图5中的(c)所示。
调度请求R0。根据请求的最早开始时间、截止时间,满足该请求的时间窗口,排序得到TimeWindowList={[0,7s],[0,10s],[0,20s],[0,+∞]}。选择第一个时间窗口[0,7s],该时间窗口中包含TimeStepList={[0,5s],[5s,6s],[6s,7s]}。根据迪杰斯特拉算法找出传输成本最小且长度最短的路径d-c-b,TimeStepList下的路径成本分别为{6,5,5}。路径可用带宽分别为{2,3,4}。根据时隙路径成本排序得到:
TimeSteps={[6s,7s],[5s,6s],[0,5s]}。
依次遍历TimeSteps:[6s,7s],请求最大带宽为7Gb/s,该时隙上述路径可用带宽为4Gb/s,该条路径在该时隙传输的数据大小为4·(7-6)=4Gb,此时该路径累计数据传输量为4Gb,小于请求传输数据大小14Gb,则进入下一个时隙继续传输;[5s,6s],该时隙上述路径可用带宽为3Gb/s,该条路径在该时隙传输的数据大小为3·(6-5)=3Gb,此时该路径累计数据传输量为7Gb,继续传输;[0,5s],该时隙上述路径可用带宽为2Gb/s,该条路径在该时隙传输的数据大小为2·(5-0)=10Gb,此时该路径累计数据传输量为17Gb,足够传输请求,TimeSteps循环终止。多余传输时间
Figure BDA0003577445640000131
则该时隙实际传输时间为:
Figure BDA0003577445640000132
Figure BDA0003577445640000133
Figure BDA0003577445640000134
Figure BDA0003577445640000135
得到完成数据传输的请求实际传输开始和结束时间[1s,7s]。该请求调度成功,返回qr(1,{[3,2,1][2-3-I,1-2-I]=[4,3,2]},[15.0],[1,7],Cost:83)),实际传输时隙{[1s,5s],[5s,6s],[6s,7s]}。
更新时间点列表TimePointList={0,1s,5s,6s,7s,10s,20s}。更新网络带宽,链路b-c在[1s,5s]间的带宽为由2Gb/s变为0;[5s,6s]间的带宽为由4Gb/s变为1Gb/s;[6s,7s]间的带宽为由4Gb/s变为0。链路c-d在[1s,5s]间的带宽为由3Gb/s变为1Gb/s;[5s,6s]间的带宽为由3Gb/s变为0;[6s,7s]间的带宽为由5Gb/s变为1Gb/s,此时网络的链路可用带宽情况如图5中的(d)所示。
可以得出,4个请求都被成功调度,成功率为:
Figure BDA0003577445640000141
该批请求中成功调度的请求总传输成本为C=4+4+83=91。
该批请求中成功调度的请求平均消耗的成本比率为:
Figure BDA0003577445640000142
成功传输的总数据量平均花费比率为:
Figure BDA0003577445640000143
该批请求中成功调度的请求的传输时间成本为:
Figure BDA0003577445640000144
实验验证:
为了验证本发明提出的数据中心间多约束条件下考虑数据传输成本的大数据传输带宽调度方法(即FPVBVCts)的性能,在ESnet5环境,如图6所示,下进行了评估,并将此方法与FPFBVC、FPVBVC进行比较。
FPFBVC&FPVBVC:在已有的具有较好网络性能的MINBP-ECT&FPVB算法基础上,针对本发明所解决成本问题进行修改添加,保留原有逻辑,作为对比算法。
在[0,20s]的时间周期内,随机产生多个可变带宽预留请求Request:随机产生源节点vs和目的节点vd(vs≠vd),最大带宽Bmax在[1Gb/s,20Gb/s]之间随机取值,截止时间tE在[0,20s]内随机取值,开始时间tS间在[0,tE]内随机取值,数据量D在[Bmax,Bmax×(tE-tS)]之间随机取值。共进行5组实验,第1组实验产生10个随机Request,之后每组分别递增10个随机Request,且在每组实验中所有的算法处理相同的随机Request,每组实验随机5次。
性能分析:
如图7所示,在ESnet5环境下,本发明的方法(FPVBVCts)与FPFBVC、FPVBVC相比,成功调度的请求比率(the Successful Ratio)提高。如图8所示,成功传输消耗的总带宽平均花费比率(the average Bandwidth Cost Ratio,BCost)降低。如图9所示,成功传输的总数据量平均花费比率(the average Datasize Cost Ratio,DCost)降低。可以看到,本发明提出的方法对于同一组请求,成功处理更多请求的同时在Bcost(sumcost/bwConsumeSum)、Dcost(sumcost/bwRequestSum)均低于比较算法,拥有较好的调度性能和成本消耗,验证算法有效性。

Claims (5)

1.一种数据中心间基于成本时序的大数据传输带宽调度方法,其特征在于,该方法包括以下步骤:
步骤1,对给定的多个数据传输带宽预留请求进行优先级排序,得到排序后的请求序列R1,R2,...,Ri,...,Rn,Ri表示为(vs,vd,tS,tE,D,bmax);
式中:
n为请求的总数,0≤i≤n,n为大于等于2的整数;
Ri为第i个请求;
vs为该请求的源节点;
vd为目的节点;
tS为最早传输时间,tE为最晚传输时间,每个请求均需要在设定时间段[tS,tE]内完成传输;
D为数据量;
bmax为请求传输数据过程中的最大带宽;
步骤2,对排序后的数据传输带宽预留请求按顺序调度;
步骤2.1,对当前调度请求Ri,根据当前请求的开始传输时间和截止时间找到满足传输的至少一个时间窗,按照时间窗持续时间进行升序排序得到排序后的时间窗序列TimeWindowList;选择第一个时间窗作为当前时间窗,得到当前时间窗包含的时隙列表TimeStepList;
TimeWindowList={W1,W2,...,Wj,...,WJ}
式中:
W为时间窗;
Wj为第j个时间窗;
J为时间窗的总数,1≤j≤J,J为大于等于1的整数;
步骤2.2,通过Dijkstra算法找到一条从源节点到目的节点的跳数最短且可用带宽较大的路径;
步骤2.3,根据步骤2.2找到的路径,对当前时间窗中的时隙列表TimeStepList按照各个时隙下该路径的传输成本大小进行升序排列,得到排序后的传输时隙序列TimeSteps;
Figure FDA0004153505560000021
Figure FDA0004153505560000022
式中:
m为当前时间窗中的时隙总数,0≤i≤m,m为大于等于1的整数;
Figure FDA0004153505560000023
为当前时间窗中的第i个时隙的开始时间点;
Figure FDA0004153505560000024
为当前时间窗中的第i个时隙的结束时间点;
Figure FDA0004153505560000025
为当前时间窗中经过排序后的第i个时隙的开始时间点;
Figure FDA0004153505560000026
为当前时间窗中经过排序后的第i个时隙的结束时间点;
步骤2.4,根据步骤2.3排序后的传输时隙序列,选择第一个时隙作为当前时隙,依次在各个时隙中进行带宽预留;
步骤2.5,通过查询带宽时隙表,得到当前时隙下的路径的可用带宽bi,并在该条路径上传输数据,路径传输带宽为min(bi,bmax),计算当前时隙下该条路径的可传输数据量
Figure FDA0004153505560000027
并计算当前时隙数据传输累积量
Figure FDA0004153505560000028
步骤2.6,若DataSum>D,即累积到当前时隙数据传输累积量大于该数据传输带宽预留请求的数据量,说明路径累计数据传输量足够数据传输带宽预留请求,TimeSteps循环终止,执行步骤3;否则,将下一个时隙作为当前时隙,执行步骤2.5;
步骤3,当前请求调度成功,计算请求实际传输时间及相应传输时隙;
步骤4,更新时间点列表TimePointList,更新路径中各链路的时隙带宽,继续调度下一个请求,即将下一个请求作为当前请求,执行步骤2,直至完成所有请求的调度。
2.如权利要求1所述的数据中心间基于成本时序的大数据传输带宽调度方法,其特征在于,步骤1的具体操作如下:
对所述多个数据传输带宽预留请求按照基本传输带宽进行升序排序,所述基本传输带宽为
Figure FDA0004153505560000031
所述持续时间为tE-tS,对于基本传输带宽大小一样的,按照最迟的截止完成时间进行升序排序,如果最迟的截止完成时间一样,则根据请求持续时间进行升序排列;最终得到排序后的请求序列R1,R2,...,Ri,...,Rn,其中n表示请求的总数,0≤i≤n,n为大于等于2的整数。
3.如权利要求1所述的数据中心间基于成本时序的大数据传输带宽调度方法,其特征在于,步骤2.1中,排序后的时间窗序列TimeWindowList的得到过程为:根据当前请求的传输开始时间和截止时间,在当前时间点列表TimePointList中找到开始时间小于等于请求的传输开始时间且结束时间大于等于请求的截止时间的时间窗口;对高性能网络中的多个时间窗口按照时间窗口的持续时间升序排列,得到排序后的时间窗口序列TimeWindowList。
4.如权利要求1所述的数据中心间基于成本时序的大数据传输带宽调度方法,其特征在于,步骤2.2的具体操作过程为:在网络拓扑中,寻找源节点到目的节点间链路跳数最少的路径,若有若干个链路跳数相同的路径,则根据路径在当前时间窗下的最小可用带宽进行降序排列,所述最小可用带宽为该路径在当前时间窗内不同时隙的可用带宽最小值,得到排序后的路径序列,选择第一个路径作为传输路径。
5.如权利要求1所述的数据中心间基于成本时序的大数据传输带宽调度方法,其特征在于,步骤3中的具体操作过程为:
对路径累计数据传输量足够传输请求的路径,计算传输多余数据量ExcessData=DataSum-D;
若ExcessData=0,则该请求在预留方案中最后预留时间数据完成时间
Figure FDA0004153505560000041
否则,计算多余传输时间
Figure FDA0004153505560000042
Figure FDA0004153505560000043
即满足传输时的最后一个时隙
Figure FDA0004153505560000044
为请求最早开始时间所在时隙
Figure FDA0004153505560000045
则在该时隙实际传输时间为
Figure FDA0004153505560000046
Figure FDA0004153505560000047
即满足传输时的最后一个时隙
Figure FDA0004153505560000048
既不是请求最早开始时间所在时隙
Figure FDA0004153505560000049
也不是请求最晚传输时间所在时隙
Figure FDA00041535055600000410
则在该时隙实际传输时间为
Figure FDA00041535055600000411
Figure FDA00041535055600000412
即满足传输时的最后一个时隙
Figure FDA00041535055600000413
是请求最晚传输时间所在时隙
Figure FDA00041535055600000414
则在该时隙实际传输时间为
Figure FDA00041535055600000415
最终得到完成数据传输的请求实际传输时间
Figure FDA00041535055600000416
其中
Figure FDA00041535055600000417
Figure FDA00041535055600000418
以及相应传输时隙为
Figure FDA00041535055600000419
式中:
tStart为完成数据传输的请求实际传输开始时间;
tEnd为完成数据传输的请求实际传输结束时间。
CN202210347575.5A 2022-04-01 2022-04-01 一种数据中心间基于成本时序的大数据传输带宽调度方法 Active CN114826925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210347575.5A CN114826925B (zh) 2022-04-01 2022-04-01 一种数据中心间基于成本时序的大数据传输带宽调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210347575.5A CN114826925B (zh) 2022-04-01 2022-04-01 一种数据中心间基于成本时序的大数据传输带宽调度方法

Publications (2)

Publication Number Publication Date
CN114826925A CN114826925A (zh) 2022-07-29
CN114826925B true CN114826925B (zh) 2023-05-09

Family

ID=82531928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210347575.5A Active CN114826925B (zh) 2022-04-01 2022-04-01 一种数据中心间基于成本时序的大数据传输带宽调度方法

Country Status (1)

Country Link
CN (1) CN114826925B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014169884A2 (zh) * 2013-07-23 2014-10-23 中兴通讯股份有限公司 动态带宽调度方法、装置及计算机存储介质
CN108712337A (zh) * 2018-04-26 2018-10-26 西北大学 高性能网络中多路径带宽调度方法
CN109617710A (zh) * 2018-11-09 2019-04-12 西北大学 数据中心间有截止时间约束的大数据传输带宽调度方法
CN110417682A (zh) * 2019-06-24 2019-11-05 西北大学 一种高性能网络中的周期调度方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014169884A2 (zh) * 2013-07-23 2014-10-23 中兴通讯股份有限公司 动态带宽调度方法、装置及计算机存储介质
CN108712337A (zh) * 2018-04-26 2018-10-26 西北大学 高性能网络中多路径带宽调度方法
CN109617710A (zh) * 2018-11-09 2019-04-12 西北大学 数据中心间有截止时间约束的大数据传输带宽调度方法
CN110417682A (zh) * 2019-06-24 2019-11-05 西北大学 一种高性能网络中的周期调度方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Bandwidth Reservation for Data Transfers through Multiple Disjoint Paths of Dynamic HPNs;Aiqin Hou等;《IEEE》;全文 *
Bandwidth Scheduling with Flexible Multi-paths in High-Performance Networks;Aiqin Hou等;《IEEE》;全文 *
高性能网络中面向大数据传输QoS的带宽调度研究;候爱琴;《中国博士学位论文全文数据库 信息科技辑》;全文 *

Also Published As

Publication number Publication date
CN114826925A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN110381541B (zh) 一种基于强化学习的智能电网切片分配方法及装置
CN103699446B (zh) 基于量子粒子群优化算法的多目标工作流动态调度方法
CN113784373A (zh) 云边协同网络中时延和频谱占用联合优化方法及***
CN109617710B (zh) 数据中心间有截止时间约束的大数据传输带宽调度方法
CN101895931B (zh) 基于搜索和均衡思想的工业无线网络通信资源分配方法
CN109445386A (zh) 一种基于onba的云制造任务最短生产时间调度方法
CN111611076B (zh) 任务部署约束下移动边缘计算共享资源公平分配方法
CN110119399A (zh) 基于机器学习的业务流程优化方法
CN111913800B (zh) 基于l-aco的云中微服务成本优化的资源分配方法
CN108600098B (zh) 一种高性能网络中多条可变路径固定带宽的调度方法
CN115883438A (zh) 时间敏感网络中时间触发流量的路由与调度方法、装置及可读存储介质
CN114727353A (zh) 基于遗传算法的移动机会传感器网络自适应信息传输方法
CN115065601B (zh) 一种节点链路同时映射的虚拟网络映射方法
CN114826925B (zh) 一种数据中心间基于成本时序的大数据传输带宽调度方法
Xu et al. Scheduling stochastic real-time D2D communications
CN111698721B (zh) 一种面向多个线型拓扑工业无线网络共存的资源分配方法
Chai et al. A parallel placement approach for service function chain using deep reinforcement learning
CN101616085A (zh) 一种约束路由生成方法和装置
CN113159539A (zh) 多层边缘计算***中联合绿色能源调度和动态任务分配方法
CN110417682B (zh) 一种高性能网络中的周期调度方法
Ma et al. Efficient scheduling algorithms for real-time service on WDM optical networks
CN114615205B (zh) 基于时间效益函数的时间敏感网络下的混合流量调度方法
CN111026534A (zh) 云计算环境下基于多种群遗传算法的工作流执行优化方法
CN111245701A (zh) 一种基于最大加权匹配的链路优先虚拟网络映射方法
CN113824650B (zh) 一种分布式深度学习***中的参数传输调度算法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant