CN111585915B - 长、短流量均衡传输方法、***、存储介质、云服务器 - Google Patents

Abstract

本发明属于云数据中心网络流量传输调度技术领域，公开了一种长、短流量均衡传输方法、***、存储介质、云服务器，构建数据中心长、短流量均衡传输方法的深度强化学习架构；短流量实时性优化，依据基于强化学习的多级队列阈值优化方法改善交互性短流量传输延迟；利用决策概率选择传输策略，并初始化决策概率，根据概率执行已选择的传输策略；决策概率动态调整，用于迭代更新传输策略以适应数据中心流量类型变化，最终实现长、短流量均衡传输。本发明基于深度Q网络策略决策模型与决策概率动态调整算法，优化多级队列阈值调整方法，在保证交互性短流量实时性传输的基础上，满足长流量高带宽占用需求，有效改善整体网络传输性能。

Description

长、短流量均衡传输方法、***、存储介质、云服务器

技术领域

本发明属于云数据中心网络流量传输调度技术领域，尤其涉及一种长、短流量均衡传输方法、***、存储介质、云服务器。

背景技术

目前，云数据中心网络传输调度优化一直是云环境数据中心的主要研究方向，是学术界和产业界的研究热点。在现如今云计算服务越来越趋向于分布式云存储、大数据分析、在线教育等密集式应用，数据中心内部服务器间的传输流量急剧上升，且云计算中心服务的复杂化、差异化，致使用户体验急需改善。因此近年来，针对网络传输性能的研究，主要以降低流量完成时间为目标，数据中心网络传输优化在改善用户体验方面具有重要的影响。又根据数据统计分析，数据中心网络中交互实时性应用短流量占所有数据流数量的80％，而短流量占数据中心带宽大小的5％左右，带宽高需求的长流量占95％。而且在基于网络传输TCP协议的传输中，虽然带宽尽力而为分配且不按照流量差异区分传输方式，这有利于长流量优先传输，占用带宽；却也致使短流量传输实时性极大的降低，无法做到长、短流量均衡传输。正因此，为改善交互实时性应用的用户体验，大部分研究方向都是尽可能使具有实时性需求的短流量优先传输，降低传输的延迟，改善用户体验。例如：文章“Pias:Practical information-agnostic flow scheduling for commodity data centers”中提出了基于多级反馈队列的流量调度方法PIAS。PIAS利用交换机中的多个优先级队列实施多级反馈队列(Multilevel Feedback Queue Scheduling，MLFQ)。数据包在不同队列中严格按照优先级传输，而在相同队列中则按照FIFO方式传输。在每个流量的生命周期中，当传输流量大小大于所在第i级队列的阈值时，由第i级队列继续下降到第i+1级队列，直至进入最后级队列中。以上的技术，使用传统TCP协议有利于长流量传输，无法保证短流量实时传输；PIAS则着重于提升短流量实时性传输，加之数据中心网络流量特征符合长尾分布，因此在基于多级反馈队列的网络流量调度方法中，交互实时性短流量一直处于较高优先级队列中优先传输，而高带宽需求的长流量处于低优先级队列滞后传输，存在长流量不能在截止时间前完成传输问题，造成长流量传输需求不能够得到满足的现象，致使长流量一直处于饥饿状态，无法做到长、短流量的均衡传输。

通过上述分析，现有技术存在的问题及缺陷为：现有的长流量不能在截止时间前完成传输问题，造成长流量传输需求不能够得到满足的现象，致使长流量一直处于饥饿状态，无法做到长、短流量的均衡传输。

解决以上问题及缺陷的难度为：如何在保证数据中心交互性短流量实时性传输的基础上，优化高带宽占用的长流量传输性能有待解决。

解决以上问题及缺陷的意义为：数据中心长、短流量均衡传输方法在保证短流量传输低延迟的情况下，改善长流量传输性能，既能够满足如网页检索、远程连接等交互实时型应用的时延敏感需求，也能够满足如存储、备份、数据挖掘等高带宽占用型应用的尽力传输需求，有效改善用户体验。

发明内容

针对现有技术存在的问题，本发明提供了一种长、短流量均衡传输方法、***、存储介质、云服务器。

本发明是这样实现的，一种长、短流量均衡传输方法，所述长、短流量均衡传输方法包括：

第一步，构建数据中心长、短流量均衡传输方法的深度强化学习架构；

第二步，短流量实时性优化，依据基于强化学习的多级队列阈值优化方法改善实时性短流量传输延迟；

第三步，利用概率选择传输策略，并初始化概率，根据决策概率执行已选择的传输策略；

第四步，决策概率动态调整，用于迭代更新传输策略以适应数据中心流量类型变化，实现长、短流量均衡传输。

进一步，所述深度强化学习架构包括：

状态：建立状态空间S，每个状态s_i为第i步中控制器选择执行多级队列阈值优化方法的概率，决策状态表示为：

S＝(s₁,s₂,…,s_n)；

其中0＜s_i＜1；在一轮的学习迭代过程中，存在n个时隙，在每个时隙t开始时定义随机变量m，当m≤s_i时，执行多级队列阈值优化方法，改善短流量传输延迟；当m＞s_i时，执行长流量优化策略，改善长流量传输性能。

动作空间：网络传输策略决策模型的动作空间为策略选择概率p的变化量Δp，模型动作空间为：

A＝(Δp₁,Δp₂,…,Δp_n)；

动作数量n∈[1,100]；

奖励：衡量决策动作的好坏，网络传输决策模型的奖励为一轮学***均值Γ_t与上一轮学***均值Γ_t-1的比值，衡量决策动作的好坏利用短流量与长流量在传输过程所占流量的权重计算奖励值r，设置优化长、短流量的权重分别为ω和υ，奖励r的计算公式为：

进一步，所述基于强化学习的多级队列阈值优化方法改善实时性短流量传输延迟包括：监测数据中心流量，获取流量分布，并依此流量大小分布计算出多级队列降级阈值，初始化阈值，再通过强化学习方式细粒度的调整阈值的大小，划分数据包传输优先级。

进一步，所述依据决策概率执行传输策略包括：根据流量类型进行传输策略选择，选择过程利用概率体现，并按照概率执行已选择的传输策略，在策略选择与执行模块，首先利用决策概率生成器随机生成初始概率，利用深度强化学习中的DQN方法更新概率；根据概率，选择不同传输策略，包括是否执行基于强化学习的多级队列阈值优化方法。

进一步，所述决策概率动态更新包括以下步骤：

步骤一：初始化训练样本经验池D，同时初始化深度强化学习中主Q网络与目标Q网络；

步骤二：根据当前数据中心网络传输策略状态，初始化策略决策概率s；

步骤三：利用动作选择策略ε-greedy选择动作Δp，作为决策概率变化量，智能体执行动作Δp，调整概率状态为s′；

步骤四：根据***需求，将本轮迭代时间分为n个时隙，在第i个时隙开始时，从区间[0,1]中随机取数值m；当数值m≤s′时，***执行基于强化学习的多级队列阈值优化策略；当数值m＞s′时，***卸载阈值优化策略，还原数据中心网络初始传输状态，同时存储每个时隙流量完成时间；

步骤五：累计全部时隙的流量完成时间，计算迭代过程流量平均完成时间与奖励r，将此次训练样本(s,Δp,r,s′)存储在经验池D中；

步骤六：根据当前概率状态s′与奖励r，计算目标Q值函数Y_j，利用梯度下降方法更新值函数参数。

本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求任意一项所述包括下列步骤：

第一步，构建数据中心长、短流量均衡传输方法的深度强化学习架构；

第二步，短流量实时性优化，依据基于强化学习的多级队列阈值优化方法改善实时性短流量传输延迟；

第三步，利用概率选择传输策略，并初始化概率，根据决策概率执行已选择的传输策略；

第四步，决策概率动态调整，用于迭代更新传输策略以适应数据中心流量类型变化，实现长、短流量均衡传输。

本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的长、短流量均衡传输方法。

本发明的另一目的在于提供一种实施所述的长、短流量均衡传输方法的长、短流量均衡传输***，所述本长、短流量均衡传输***包括：

架构构建模块，用于构建长、短流量均衡传输方法架构；

流量大小分布获取模块，用于获取流量大小分布，依据基于强化学习的多级队列阈值优化方法改善实时性短流量传输延迟；

传输策略选择模块，用于利用概率选择传输策略，并初始化概率，根据决策概率执行已选择的传输策略；

决策概率动态调整模块，用于迭代更新传输策略以适应数据中心流量类型变化，实现长、短流量均衡传输。

本发明的另一目的在于提供一种云服务器，所述云服务器安装有所述的长、短流量均衡传输***。

本发明的另一目的在于提供一种终端，所述终端安装有所述的长、短流量均衡传输***，所述终端为分布式云存储终端、大数据分析终端或在线教育终端。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明为了解决长、短流量传输不均衡，长流量饥饿问题，针对数据中心流量传输符合长尾分布特点，在使用基于强化学习的多级队列阈值优化方法来保证短流量实时传输的基础上，提出并设计了基于深度强化学习的网络传输策略决策方法与网络传输决策模型，基于DQN的策略决策模型与决策概率动态调整算法，优化多级队列阈值调整方法，在保证交互性短流量实时性传输的基础上，满足长流量高带宽占用需求，有效改善整体网络传输性能。能够针对云环境下数据中心中基于多级反馈队列网络长流量传输局限性特点与长流量传输实时性的需求，有效做到了长、短流量均衡传输。本发明基于深度Q网络(Deep Q-Network，DQN)策略决策模型与决策概率动态调整算法，优化多级队列阈值调整方法，在保证交互性短流量实时性传输的基础上，满足长流量高带宽占用需求，有效改善整体网络传输性能。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的长、短流量均衡传输方法流程图。

图2是本发明实施例提供的长、短流量均衡传输***的结构示意图；

图中：1、架构构建模块；2、短流量实时性优化模块；3、传输策略选择模块；4、决策概率动态调整模块。

图3是本发明实施例提供的长、短流量均衡传输***的架构图。

图4是本发明实施例提供的决策概率动态调整算法流程图。

图5是本发明实施例提供的实验结果折线图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种长、短流量均衡传输方法、***、存储介质、云服务器，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的长、短流量均衡传输方法包括以下步骤：

S101：构建长、短流量均衡传输方法架构；

S102：短流量实时性优化，依据基于强化学习的多级队列阈值优化方法改善实时性短流量传输延迟；

S103：利用概率选择传输策略，并初始化概率，根据决策概率执行已选择的传输策略；

S104：决策概率动态调整，用于迭代更新传输策略以适应数据中心流量类型变化，最终实现长、短流量均衡传输。

如图2所示，本发明提供的长、短流量均衡传输***包括：

架构构建模块1，用于构建长、短流量均衡传输方法架构。

短流量实时性优化模块2，用于获取流量大小分布，依据基于强化学习的多级队列阈值优化方法改善实时性短流量传输延迟。

传输策略选择模块3，用于利用概率选择传输策略，并初始化概率，根据决策概率执行已选择的传输策略。

决策概率动态调整模块4，用于迭代更新传输策略以适应数据中心流量类型变化，最终实现长、短流量均衡传输。

下面结合附图对本发明的技术方案作进一步的描述。

如图3和图4所示，本发明的长、短流量均衡传输方法包括以下步骤：

第一步，构建长、短流量均衡传输方法架构；

状态：建立状态空间S，每个状态s_i为第i步中控制器选择执行多级队列阈值优化方法的概率。决策状态可表示为：

S＝(s₁,s₂,…,s_n)；

其中0＜s_i＜1。

动作空间：网络传输策略决策模型的动作空间为策略选择概率p的变化量Δp。动作表示如为：

A＝(Δp₁,Δp₂,…,Δp_n)；

奖励：衡量决策动作的好坏。网络传输决策模型的奖励为一轮学***均值Γ_t与上一轮学***均值Γ_t-1的比值，又由于数据中心内部大部分应用以短流量形式体现，在优化长流量传输的同时，应能够保证短流量传输的实时性，因此衡量决策动作的好坏利用短流量与长流量在传输过程所占流量的权重来计算奖励值r，此处设置优化长、短流量的权重分别为ω和υ，奖励r的计算公式为：

第二步，基于强化学习的多级队列阈值优化方法改善短流量实时性：监测数据中心流量，获取流量分布，并依此流量大小分布计算出多级队列降级阈值，初始化阈值，再通过强化学习方式细粒度的调整阈值的大小，由此划分数据包传输优先级，保证短流量传输的实时性。

第三步，策略概率初始化，根据决策概率执行已选择的传输策略，流量生成器根据流量大小分布生成不同类型流量，***根据流量类型进行传输策略选择，选择过程利用概率体现，并按照概率执行已选择的传输策略，在策略选择与执行模块，首先利用决策概率生成器随机生成初始概率，而后利用深度强化学习中的DQN方法更新概率。根据概率，选择不同传输策略，包括是否执行基于强化学习的多级队列阈值优化方法。

第四步，决策概率动态调整；

步骤一：初始化训练样本经验池D，同时初始化深度强化学习中主Q网络与目标Q网络。

步骤二：根据当前数据中心网络传输策略状态，初始化策略决策概率s。

步骤三：利用动作选择策略ε-greedy选择动作Δp，作为决策概率变化量，智能体执行动作Δp，调整概率状态为s′。

步骤四：根据***需求，将本轮迭代时间分为n个时隙，在第i个时隙开始时，从区间[0,1]中随机取数值m。当数值m≤s′时，***执行基于强化学习的多级队列阈值优化策略；当数值m＞s′时，***卸载阈值优化策略，还原数据中心网络初始传输状态，同时存储每个时隙流量完成时间。

步骤五：累计全部时隙的流量完成时间，计算迭代过程流量平均完成时间与奖励r，将此次训练样本(s,Δp,r,s′)存储在经验池D中。

步骤六：根据当前概率状态s′与奖励r，计算目标Q值函数Y_j，利用梯度下降方法更新值函数参数。

下面结合实验对本发明的技术效果作详细的描述。

图5为本发明实验数据，结果表明，本发明实施例的云数据中心长、短流量均衡传输方法能够有效做到长、短流量均衡传输，优化了高带宽占用的长流量的传输性能，DRL-TSD在全部流量的平均完成时间方面，比传统的TCP传输过程和PIAS相比分别优化了43.1％、30.6％。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种长、短流量均衡传输方法，其特征在于，所述长、短流量均衡传输方法包括：

第一步，构建数据中心长、短流量均衡传输方法的深度强化学习架构；

第二步，短流量实时性优化，依据基于强化学习的多级队列阈值优化方法改善实时性短流量传输延迟；

第三步，利用概率选择传输策略，并初始化概率，根据决策概率执行已选择的传输策略；

第四步，决策概率动态调整，用于迭代更新传输策略以适应数据中心流量类型变化，实现长、短流量均衡传输；

所述深度强化学习架构包括：

状态：建立状态空间S，每个状态s_i为第i步中智能体选择执行多级队列阈值优化方法的概率，决策状态表示为：

S＝(s₁,s₂,…,s_n)；

其中0＜s_i＜1；

动作空间：网络传输策略决策模型的动作空间为策略选择概率p的变化量Δp，模型动作空间为：

A＝(Δp₁,Δp₂,…,Δp_n)；

动作数量n∈[1,100]；

奖励：衡量决策动作的好坏，网络传输决策模型的奖励为一轮学***均值Γ_t与上一轮学***均值Γ_t-1的比值，衡量决策动作的好坏利用短流量与长流量在传输过程所占流量的权重计算奖励值r，设置优化长、短流量的权重分别为ω和υ，奖励r的计算公式为：

所述基于强化学习的多级队列阈值优化方法改善实时性短流量传输延迟包括：监测数据中心流量，获取流量分布，并依此流量大小分布计算出多级队列降级阈值，初始化阈值，再通过强化学习方式细粒度的调整阈值的大小，划分数据包传输优先级；

所述依据决策概率执行传输策略包括：根据流量类型进行传输策略选择，选择过程利用概率体现，并按照概率执行已选择的传输策略，在策略选择与执行模块，首先利用决策概率生成器随机生成初始概率，利用深度强化学习中的DQN方法更新概率；根据概率，选择不同传输策略，包括是否执行基于强化学习的多级队列阈值优化方法；

所述决策概率动态更新包括以下步骤：

步骤一：初始化训练样本经验池D，同时初始化深度强化学习中主Q网络与目标Q网络；

步骤二：根据当前数据中心网络传输策略状态，初始化策略决策概率s；

步骤三：利用动作选择策略ε-greedy选择动作Δp，作为决策概率变化量，智能体执行动作Δp，调整概率状态为s′；

步骤四：根据***需求，将本轮迭代时间分为n个时隙，在第i个时隙开始时，从区间[0,1]中随机取数值m；当数值m≤s′时，***执行基于强化学习的多级队列阈值优化策略；当数值m＞s′时，***卸载阈值优化策略，还原数据中心网络初始传输状态，同时存储每个时隙流量完成时间；

步骤五：累计全部时隙的流量完成时间，计算迭代过程流量平均完成时间与奖励r，将此次训练样本(s,Δp,r,s′)存储在经验池D中；

步骤六：根据当前概率状态s′与奖励r，计算目标Q值函数Y_j，利用梯度下降方法更新值函数参数。

2.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求任意一项所述包括下列步骤：

第一步，构建数据中心长、短流量均衡传输方法的深度强化学习架构；

第二步，短流量实时性优化，依据基于强化学习的多级队列阈值优化方法改善实时性短流量传输延迟；

第三步，利用概率选择传输策略，并初始化概率，根据决策概率执行已选择的传输策略；

第四步，决策概率动态调整，用于迭代更新传输策略以适应数据中心流量类型变化，实现长、短流量均衡传输。

3.一种实施权利要求1所述的长、短流量均衡传输方法的长、短流量均衡传输***，其特征在于，所述本长、短流量均衡传输***包括：

架构构建模块，用于构建长、短流量均衡传输方法架构；

短流量实时性优化模块，用于获取流量大小分布，依据基于强化学习的多级队列阈值优化方法改善实时性短流量传输延迟；

传输策略选择模块，用于利用概率选择传输策略，并初始化概率，根据决策概率执行已选择的传输策略；

决策概率动态调整模块，用于迭代更新传输策略以适应数据中心流量类型变化，实现长、短流量均衡传输。

4.一种云服务器，其特征在于，所述云服务器安装有权利要求3所述的长、短流量均衡传输***。

5.一种终端，其特征在于，所述终端安装有权利要求3所述的长、短流量均衡传输***，所述终端为分布式云存储终端、大数据分析终端或在线教育终端。

Images