CN113946436B - 一种基于负载均衡的资源预调度方法 - Google Patents

Abstract

一种基于负载均衡的资源预调度方法,根据用户需求预测的结果，确定与用户需求匹配的资源服务器集合；选择资源预调度服务器，通过其运行周期收集各服务器资源使用数据，根据各服务器上正在执行的用户请求，得到服务器当前实际利用率；判断服务器是否处于饱和状态，若服务器处于饱和状态，选用等待时间最短的服务器为资源预调度服务器，否则将用户需求预测结果分配到服务器集合，得到服务器的负载方差，选定方差最小的服务器为处理用户需求的服务器。最后选择最大链路带宽利用率最小的路径为资源预调度链路。该方法通过计算服务器负载方差选择资源预调度服务器，并使用最小化最大带宽利用率(max‑min)原则选择最优资源预调度链路。极大提高了资源调度的效率，解决资源不能充分利用的问题。

Description

一种基于负载均衡的资源预调度方法

技术领域

本发明涉及云资源调度领域，具体涉及一种基于负载均衡的资源预调度方法。

背景技术

云平台是以不同应用形式构建而成，在服务平台中存储数字化资源。资源使用者可以通过访问云平台，不受时间与地点限制，高效应用云服务平台，获取相关资源。

近年来，实施了全国文化信息资源共享工程、数字图书馆推广工程、公共电子阅览室建设计划等公共数字文化惠民工程，基本建立了覆盖全国的服务网络、形成了较大规模的云数字资源库群和以国家公共文化云为代表的技术支撑服务平台，为公共文化服务体系的数字化、网络化奠定了基础。然而，国家公共文化云服务还存在不少问题，例如：不能根据用户需求找到最合理的资源分配方法和资源调度策略、不能高效的对公共文化云资源进行调度、以及资源利用率较低等问题。

与传统资源的调度不同，公共文化云环境的发展使更多的资源都存储在云端，由于云资源的分配效率影响着用户使用云计算服务的感受，所以处于云端的资源更需要合理的分配使用。在云资源调度的过程中，因为云计算环境具有高度的动态性和异构性、不同客户对云计算资源有着不同的需求，因此，需要从全局最优的和整体服务器资源负载均衡来对资源进行合理的调度，根据用户的实时需求预测考虑调度的适时决策。另外，在执行调度的过程中，静态的资源分配和调度往往会造成资源的不足或浪费的情况，而人工的动态资源调整又有着明显的滞后性，因此还需要实时地监控任务的执行状态，通过资源利用率智能地判断服务器饱和度，除此之外，如果资源的调度时间处于效率低下的水平，且没有受到优化，会严重导致之后决策的正确性，因此必须在适当的时机对***进行动态的重新调度以实现负载均衡。最后在资源调度过程中通过服务器负载方差选择资源预调度服务器，并使用最小化最大带宽利用率原则选择最优资源预调度链路。极大提高了整个***资源调度的效率，解决资源不能充分利用的问题。

发明内容

为了克服上述现有技术的不足，本发明的目的是提供一种基于负载均衡的资源预调度方法，根据用户未来一段时间间隔所需资源的预测结果以及所需资源分布数据，结合服务器负载方差确定资源预调度服务器集合，并基于服务器饱和度和服务器负载方差确定调度服务器，最后根据判断公共文化云端服务器与用户端服务器链路状况，确定最优预调度链路。解决现有资源调度方法资源利用率低、调度时间缓慢以及服务器资源负载不均衡等弊端。

为了实现上述目的，本发明采用的技术方案是：

一种基于负载均衡的资源预调度方法，包括以下步骤：

步骤1，服务器集合选择：

根据用户需求预测的结果，通过下式确定与用户需求匹配的资源服务器集合,

其中C_ik为服务器i上资源k的总量，N_mi(t-1)为t-1时间单元等待服务器i上的m类用户请求，M为用户请求种类的上限，D_mk为m类用户请求所消耗资源k的量，D_nk为用户请求n所需资源k的量；

步骤2，服务器利用率计算：

在各服务器节点设置监控设备，依照运行周期收集各服务器资源使用数据，分析各服务器上正在执行的用户请求，计算服务器当前实际利用率，具体包括：

1)根据公共文化云端服务器节点数据随时间改变的特点，根据其运行周期收集资源的使用数据，采集各服务器上正在执行的用户请求数P_i；

2)根据各服务器正在执行用户请求数P_i，计算各服务器的实际利用率η_i；

其中，服务器可共同并行运行P_i个用户需求，P_i＞0为正整数，N为公共文化云端总的服务器的数量，分母代表服务器能够并行执行的最大用户请求数，分子代表现阶段执行的用户需求数,当η_i＝1时，代表服务器处于饱和状态；当η_i＝0时，代表服务器上无正在执行的用户需求，处于非饱和状态；

步骤3，资源预调度服务器选择：

1)根据各服务器实际利用率判断服务器是否处于饱和状态，若服务器处于非饱和状态时，选择待分配用户需求n；

①根据t时间内m类用户需求数目计算t时间内总待分配用户需求数，计算公式如下:

L_m(t)＝L_m(t-1)+A_m(t)-H_m(t)

其中L_m(t)为t时间内m类用户需求数目，A_m(t)为t时间内新到达的m类用户需求数，H_m(t)为t时间内完成的m类用户需求数,L(t)为t时间内总待分配用户需求数；

②若t时间内总待分配用户需求数和t-1时间时间单元等待分配的m类用户需求的和不大于等待队列长度时，选择待分配用户需求中所需资源最大的用户需求为n，否则选取待分配任务权重最大的用户需求为n；

其中Max_ql为等待队列长度，N_mi(t-1)为t-1时间单元等待分配的m类资源,W_a为待分配任务a的权重，T_a为待分配用户需求a在等待序列中等待的时间，为待分配用户需求a所需资源量；

2)选择服务器处于非饱和状态时处理用户需求的服务器；

①计算出将区域用户需求n分配给服务器集合时各服务器的平均负载，计算公式如下：

其中表示为t时间单元服务器i上的负载，P_ni(t)为t时间单元需分配的用户需求n分配到服务器i的概率，D_mk为m类用户需求所消耗资源k的量,D_nk为用户需求n所需资源k的量，N_mi(t-1)为t-1时间单元等待分配的m类资源，Avg_DC(t)为用户需求n分配给服务器集合时各服务器的平均负载，N为公共文化云端总服务器的数量；

②计算用户需求n分配到各服务器时，服务器的负载方差，计算公式如下：

其中N为公共文化云端总服务器的数量，表示为t时间单元服务器i上的负载，Avg_DC(t)为用户需求n分配给服务器集合时各服务器的平均负载；

③分析服务器负载，选定负载方差最小的服务器为处理用户需求的服务器；

3)若服务器处于饱和状态，根据服务器用户请求执行的时间、服务器用户请求排队数量、服务器运行用户请求数量，得到全部服务器的等待时间，选用等待时间最短的服务器处理用户需求。依据资源监控设备对资源的运行状态检测，同时得到对应的参数值；

计算服务器的资源等待时间，计算公式如下：

其中P_i表示服务器现阶段执行用户需求数，表示服务器的任务排队数量，I_i表示服务器执行完一个用户需求所需的时间；

步骤4，链路选择：

根据最小化最大带宽利用率(max-min)原则衡量网络中流量的均衡程度，选择最大链路带宽利用率最小的路径为资源调度链路；

用有向图G＝(V，E)抽象描述公共文化云端到用户端网络拓扑，V表示网络中节点的集合，E表示网络链路集合；用M，N分别表示节点数量和链路数量，即M＝|V|，N＝|E|；一条从源点公共文化云端s到终点用户端t的路径P由一组不重复的链路(I₁，I₂，I₃,…,I_n)组成；对于都对应一个长度值，用/>表示；

组成路径的所有长度值的和为：

路径P的带宽利用率为：

其中len(P)表示路径P的长度，为表示流量经过链路l_i后链路的带宽利用率。

所述的步骤4中将选择新的链路问题抽象为：在一个有向图G中，找到一条从源点公共文化云端s到终点用户端t的路径P，并指定一个长度上限D，使其满足以下条件：

len(P)≤D

其中每条路径的长度不超过长限，保证用户服务质量，且选择最大链路带宽利用率最小的路径为资源调度链路。

本发明的有益效果是：

该方法通过计算服务器负载方差选择资源预调度服务器，并使用最小化最大带宽利用率(max-min)原则选择最优资源预调度链路。极大提高了资源调度的效率，解决资源不能充分利用的问题。

附图说明

图1为本发明的流程示意图；

图2为资源调度网络结构示意图。

具体实施方式

以下结合附图及实施例对本发明进一步叙述。

如图1、2所示，一种基于负载均衡的资源预调度方法，具体包括以下步骤：

步骤1：根据用户需求预测的结果，确定与用户需求匹配的资源服务器集合。

计算公式如下：

其中C_ik为服务器i上资源k的总量，N_mi(t-1)为t-1时间单元等待服务器i上的m类用户请求，M为用户请求种类的上限，D_mk为m类用户请求所消耗资源k的量，D_nk为用户请求n所需资源k的量；

步骤2：在各服务器节点设置监控设备，依照运行周期收集各服务器资源使用数据，分析各服务器上正在执行的用户请求，计算出服务器当前实际利用率。

进一步，步骤S2具体包括以下步骤：

S21：根据公共文化云端服务器节点数据随时间改变的特点，根据其运行周期收集资源的使用数据，采集各服务器上正在执行的用户请求数P_i；

S22：根据各服务器正在执行用户请求数P_i，计算各服务器的实际利用率η_i；

其中，服务器可共同并行运行P_i个用户需求，P_i＞0为正整数，N为公共文化云端总的服务器的数量，分母代表服务器能够并行执行的最大用户请求数，分子代表现阶段执行的用户需求数,当η_i＝1时，代表服务器处于饱和状态；当η_i＝0时，代表服务器上无正在执行的用户需求，处于非饱和状态；

步骤3：根据服务器当前实际利用率判断服务器饱和状态，若服务器处于非饱和状态，计算将用户需求预测结果分配到服务器集合时服务器的负载方差，选定方差最小的服务器为处理用户需求的服务器。若服务器处于饱和状态，根据服务器用户请求执行的时间、服务器用户请求排队数量、服务器运行用户请求数量，求出全部服务器的等待时间，选用等待时间最短的服务器。

进一步，步骤S3具体包括以下步骤：

S31：根据各服务器实际利用率判断服务器是否处于饱和状态，若服务器处于非饱和状态时，选择待分配用户需求n；

1)根据t时间内m类用户需求数目计算t时间内总待分配用户需求数，计算公式如下:

L_m(t)＝L_m(t-1)+A_m(t)-H_m(t)

其中L_m(t)为t时间内m类用户需求数目，A_m(t)为t时间内新到达的m类用户需求数，H_m(t)为t时间内完成的m类用户需求数,L(t)为t时间内总待分配用户需求数；

2)若t时间内总待分配用户需求数和t-1时间时间单元等待分配的m类用户需求的和不大于等待队列长度时，选择待分配用户需求中所需资源最大的用户需求为n，否则选取待分配任务权重最大的用户需求为n；

其中Max_ql为等待队列长度，N_mi(t-1)为t-1时间单元等待分配的m类资源,W_a为待分配任务a的权重，T_a为待分配用户需求a在等待序列中等待的时间，为待分配用户需求a所需资源量；

S32：选择服务器处于非饱和状态时处理用户需求的服务器；

1)计算出将区域用户需求n分配给服务器集合时各服务器的平均负载，计算公式如下：

其中表示为t时间单元服务器i上的负载，P_ni(t)为t时间单元需分配的用户需求n分配到服务器i的概率，D_mk为m类用户需求所消耗资源k的量,D_nk为用户需求n所需资源k的量，N_mi(t-1)为t-1时间单元等待分配的m类资源，Avg_DC(t)为用户需求n分配给服务器集合时各服务器的平均负载，N为公共文化云端总服务器的数量；

2)计算用户需求n分配到各服务器时，服务器的负载方差，计算公式如下：

3)分析服务器负载，选定负载方差最小的服务器为处理用户需求的服务器；

其中N为公共文化云端总服务器的数量，表示为t时间单元服务器i上的负载，Avg_DC(t)为用户需求n分配给服务器集合时各服务器的平均负载；

S32：若服务器处于饱和状态，计算出全部服务器的等待时间，选用等待时间最短的服务器处理用户需求。依据资源监控设备对资源的运行状态检测，同时得到对应的参数值；

计算服务器的资源等待时间，计算公式如下：

其中P_i表示服务器现阶段执行用户需求数，表示服务器的任务排队数量，I_i表示服务器执行完一个用户需求所需的时间；

S4：根据最小化最大带宽利用率(max-min)原则衡量网络中流量的均衡程度，选择最大链路带宽利用率最小的路径为资源调度链路；

用有向图G＝(V，E)抽象描述公共文化云端到用户端网络拓扑。V表示网络中节点的集合，E表示网络链路集合。用M，N分别表示节点数量和链路数量，即M＝|V|，N＝|E|。一条从源点公共文化云端s到终点用户端t的路径P由一组不重复的链路(I₁，I₂，I₃,…,I_n)组成；对于都对应一个长度值，用/>表示；

组成路径的所有长度值的和为：

路径P的带宽利用率为：

其中len(P)表示路径P的长度，为表示流量经过链路l_i后链路的带宽利用率。

将选择新的链路问题抽象为：在一个有向图G中，找到一条从源点公共文化云端s到终点用户端t的路径P，并指定一个长度上限D，使其满足以下条件：

len(P)≤D

其中每条路径的长度不超过长限，保证用户服务质量，且选择最大链路带宽利用率最小的路径为资源调度链路。

Claims (2)

1.一种基于负载均衡的资源预调度方法，其特征在于，包括以下步骤：

步骤1，服务器集合选择：

根据用户需求预测的结果，通过下式确定与用户需求匹配的资源服务器集合,

其中C_ik为服务器i上资源k的总量，N_mi(t-1)为t-1时间单元等待服务器i上的m类用户请求，M为用户请求种类的上限，D_mk为m类用户请求所消耗资源k的量，D_nk为用户请求n所需资源k的量；

步骤2，服务器利用率计算：

在各服务器节点设置监控设备，依照运行周期收集各服务器资源使用数据，分析各服务器上正在执行的用户请求，计算服务器当前实际利用率，具体包括：

1)根据公共文化云端服务器节点数据随时间改变的特点，根据其运行周期收集资源的使用数据，采集各服务器上正在执行的用户请求数P_i；

2)根据各服务器正在执行用户请求数P_i，计算各服务器的实际利用率η_i；

其中，服务器可共同并行运行P_i个用户需求，P_i＞0为正整数，N为公共文化云端总的服务器的数量，分母代表服务器能够并行执行的最大用户请求数，分子代表现阶段执行的用户需求数，当η_i＝1时，代表服务器处于饱和状态；在当η_i＝0时，代表服务器上无正在执行的用户需求，处于非饱和状态；

步骤3，资源预调度服务器选择：

1)根据各服务器实际利用率判断服务器是否处于饱和状态，若服务器处于非饱和状态时，选择待分配用户需求n；

①根据t时间内m类用户需求数目计算t时间内总待分配用户需求数，计算公式如下：

L_m(t)＝L_m(t-1)+A_m(t)-H_m(t)

其中L_m(t)为t时间内m类用户需求数目，A_m(t)为t时间内新到达的m类用户需求数，H_m(t)为t时间内完成的m类用户需求数，L(t)为t时间内总待分配用户需求数；

②若t时间内总待分配用户需求数和t-1时间时间单元等待分配的m类用户需求的和不大于等待队列长度时，选择待分配用户需求中所需资源最大的用户需求为n，否则选取待分配任务权重最大的用户需求为n；

其中Max_ql为等待队列长度，N_mi(t-1)为t-1时间单元等待分配的m类资源,W_a为待分配任务a的权重，T_a为待分配用户需求a在等待序列中等待的时间，为待分配用户需求a所需资源量；

2)选择服务器处于非饱和状态时处理用户需求的服务器；

①计算出将区域用户需求n分配给服务器集合时各服务器的平均负载，计算公式如下：

其中表示为t时间单元服务器i上的负载，p_ni(t)为t时间单元需分配的用户需求n分配到服务器i的概率，D_mk为m类用户需求所消耗资源k的量,D_nk为用户需求n所需资源k的量，N_mi(t-1)为t-1时间单元等待分配的m类资源，Avg_DC(t)为用户需求n分配给服务器集合时各服务器的平均负载，N为公共文化云端总服务器的数量；

②计算用户需求n分配到各服务器时，服务器的负载方差，计算公式如下：

其中N为公共文化云端总服务器的数量，表示为t时间单元服务器i上的负载，Avg_DC(t)为用户需求n分配给服务器集合时各服务器的平均负载；

③分析服务器负载，选定负载方差最小的服务器为处理用户需求的服务器；

3)若服务器处于饱和状态，根据服务器用户请求执行的时间、服务器用户请求排队数量、服务器运行用户请求数量，得到全部服务器的等待时间，选用等待时间最短的服务器处理用户需求；依据资源监控设备对资源的运行状态检测，同时得到对应的参数值；

计算服务器的资源等待时间，计算公式如下：

其中P_i表示服务器现阶段执行用户需求数，表示服务器的任务排队数量，I_i表示服务器执行完一个用户需求所需的时间；

步骤4，链路选择：

根据最小化最大带宽利用率(max-min)原则衡量网络中流量的均衡程度，选择最大链路带宽利用率最小的路径为资源调度链路；

用有向图G＝(V，E)抽象描述公共文化云端到用户端网络拓扑，V表示网络中节点的集合，E表示网络链路集合；用M，N分别表示节点数量和链路数量，即M＝|V|，N＝|E|；一条从源点公共文化云端s到终点用户端t的路径P由一组不重复的链路(I₁，I₂，I₃,…,I_n)组成；对于都对应一个长度值，用/>表示；

组成路径的所有长度值的和为：

路径P的带宽利用率为：

其中len(P)表示路径P的长度，为表示流量经过链路l_i后链路的带宽利用率。

2.根据权利要求1所述的一种基于负载均衡的资源预调度方法，其特征在于，其特征在于，所述的步骤4中将选择新的链路问题抽象为：在一个有向图G中，找到一条从源点公共文化云端s到终点用户端t的路径P，并指定一个长度上限D，使其满足以下条件：

len(P)≤D

其中每条路径的长度不超过长限，保证用户服务质量，且选择最大链路带宽利用率最小的路径为资源调度链路。