CN103595780B - 基于消重的云计算资源调度方法 - Google Patents

Abstract

本发明公开一种基于消重的云计算资源调度方法，包括如下步骤：计算节点向管理节点发送资源调度请求；管理节点对各计算节点的***负载水平进行评估；判断可用云计算资源能否满足调度请求，如否则调度过程结束，是则继续；管理节点计算待调度虚拟机与各计算节点上已运行虚拟机之间的语义相似度；管理节点加权待调度虚拟机与相应计算节点上所有运行虚拟机的语义相似度和，找出可选目标计算节点；判断可选目标计算节点是否唯一，如是则跳转至最后一步，否则顺序执行；随机选取一可选节点作为目标计算节点；目标计算节点分配计算资源给待调度虚拟机运行。本发明的方法，能同时优化云计算***I/O性能、保持节点集群负载平衡、提高资源利用率。

Description

基于消重的云计算资源调度方法

技术领域

本发明属于虚拟化和云计算领域，特别是一种基于消重的云计算资源调度方法。

背景技术

云计算能够利用虚拟化技术将数据中心每个物理节点的计算资源抽象成多台具有独立计算能力的虚拟机，并通过Internet为用户按需提供以虚拟机为单位的计算服务。由于用户的计算服务需求动态变化、物理节点资源分布不均、云计算***的动态扩展以及物理节点替换等原因，使得云计算资源调度技术成为云计算的关键技术之一，对于保持云计算***高效、稳定、可靠地运行起到至关重要的作用。

在云计算***中，虚拟机运行在物理计算节点集群上，而由共享存储***管理虚拟机的文件数据。虚拟机数据可以划分为操作***数据、应用数据和用户数据三类。虚拟机数据以虚拟机镜像文件的方式进行存储管理。由于大量虚拟机使用相同的操作***和应用软件，甚至用户文件，导致大量数据内容是重复的。

消重技术作为一种高效的数据缩减技术，较传统的数据压缩技术能够发现更多数据冗余，它被广泛应用于云计算***的各个数据管理层。在计算节点的虚拟机数据存储栈中，对数据内容相似的虚拟机数据页进行消重，不仅能够有效地提高计算节点的内存、本地磁盘数据缓存以及共享存储***的物理资源利用率，还能通过减少计算节点与共享存储***之间I/O操作数和数据传输量，极大地提高计算节点的***性能。

在云计算***中，当用户请求创建一个新的虚拟机，或者已有虚拟机隔了一段时间没运行后重新启动，以及维护云计算***时增删计算节点导致虚拟机迁移时，都需要进行云计算资源调度给虚拟机运行，以保持整个云计算***高效、可靠地运行。现有的云计算资源调度方法，如USENIX HotCloud’12论文“DynamicVirtual Machine Scheduling in Clouds for Architectural Shared Resources”（公开日：2012-06-12）,中国发明专利申请“一种面向云数据中心的大规模虚拟机快速迁移决策方法”（申请号：201310186581.8公开日：2013-08-14）和中国发明专利申请“一种虚拟机调度方法及***”（申请号：201310186581.8，公开日：2013-03-20），主要考虑***性能和负载平衡，而没有考虑计算节点内进行数据消重处理带来的影响。

可见，现有技术存在的问题是：如何在优化云计算***I/O性能，并保持云计算节点集群的负载平衡的同时，还能提高云计算***的资源利用率。

发明内容

本发明的目的在于提供一种基于消重的云计算资源调度方法，在优化云计算***I/O性能、并保持云计算节点集群的负载平衡的同时，提高云计算***的资源利用率。

实现本发明目的的技术解决方案步骤如下：一种基于消重的云计算资源调度方法，云计算***包括计算节点集群、管理节点和共享存储池，包括如下步骤：

10）云计算资源调度请求发送：一个计算节点发送待调度虚拟机的***计算资源需求和该虚拟机的操作***、软件配置和用户等信息给管理节点；

20）计算节点负载水平评估：管理节点对集群内各个计算节点的***负载水平进行评估；

30）资源是否充足判断：判断是否有足够的可用计算资源运行待调度虚拟机，否，则资源调度过程结束；是，则继续后续步骤；

40）虚拟机语义相似度计算：定量化计算出该待调度虚拟机与各个计算节点运行虚拟机之间的语义相似度；

50）可选目标计算节点选择：利用各个计算节点负载水平值的倒数加权待调度虚拟机与相应节点上所有运行虚拟机的语义相似度和，选择最大的加权语义相似度和对应的计算节点作为可选目标计算节点；

60）可选目标计算节点数量判断：如果可选目标计算节点只有一个，则跳转至目标计算节点分配计算资源（80）步骤，可选目标计算节点不只一个，则继续后续步骤；

70）目标计算节点选择：在多个可选目标计算节点形成的集合中，随机选取一个作为待调度虚拟机运行的目标计算节点；

80）目标计算节点分配计算资源：在目标节点上分配计算资源给待调度虚拟机运行。

与现有技术相比，本发明的显著优势在于：

1、***资源的利用率高：基于虚拟机语义分析，将内容相似的虚拟机调度到同一计算节点，使得冗余数据集中在节点内部，通过消重处理后，极大地节省了计算节点内存和本地磁盘数据缓存的空间使用；

2、***性能好：基于消重处理和数据缓存技术，虚拟机运行所需调用的大量数据页都已存在内存和本地磁盘数据缓存中，不需要从共享存储池重复读取。同时，已写过的那些数据页也不需要重新写入共享存储池。这极大地减少了云计算节点集群与后台共享存储池之间的数据I/O操作，从而提高了虚拟机运行性能；

3、***负载均衡：根据各个计算节点的负载水平来指导虚拟机调度以平衡节点的***负载，提高了***的可扩展性。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是云计算***架构示意图。

图2是基于消重的数据页组织关系示意图。

图3是共享存储池数据布局示意图。

图4是本发明基于消重的云计算资源调度方法流程图。

具体实施方式

图1是一种基于消重的云计算***架构示意图，包括云计算节点集群、管理节点以及共享存储池三个部分。

1、云计算节点集群：每个节点被虚拟成多个虚拟机，虚拟机管理器负责管理这些虚拟机的运行，每个节点运行有消重引擎来优化内存和本地磁盘数据缓存的空间使用，并有资源监控器实时采集物理节点***资源使用情况。

2、管理节点：实现本方法的核心部分，负责虚拟机语义的分析、索引查询和相似度计算，还有计算节点集群负载评估，以及虚拟机调度时的计算节点选择。

3、共享存储池：负责存放虚拟机镜像文件和虚拟机语义索引。

基于消重的云计算节点集群的每个物理节点被虚拟成多个虚拟机，为用户提供计算服务，由虚拟机管理器统一协调这些虚拟机对底层物理资源的共享使用。消重引擎通过消除重复数据，减少数据在节点本地内存和磁盘设备中的空间使用量。计算节点本地具有数据缓存来保存最近频繁访问的数据，以优化虚拟机访问的I/O性能，还具有资源监控器为管理节点提供实时的***负载信息。

图2是基于消重的数据页组织关系示意图。通过节点数据消重处理后，不论是各台虚拟机之间，还是虚拟机内部，相同内容的逻辑页在内存和本地磁盘数据缓存中都共享同一物理页。

图3是共享存储池数据布局示意图。共享存储池为虚拟机镜像文件提供存储管理服务。它分为虚拟机语义索引区和虚拟机镜像文件存储区。虚拟机的语义索引项包括：虚拟机ID、虚拟机语义信息和节点ID。虚拟机ID是一台已运行虚拟机的唯一标识。虚拟机语义信息包含虚拟机的操作***语义、应用软件语义和用户语义信息。节点ID对应云计算节点集群中运行该虚拟机的某个节点。

管理节点负责调度云计算节点集群内的计算资源，管理虚拟机语义索引结构，建立虚拟机ID所对应虚拟机镜像文件在共享存储池各个数据段之间的映射关系。不论是用户请求创建一个新的虚拟机，还是重新启动已有虚拟机，以及增删云计算节点导致迁移虚拟机时，都需要通过管理节点进行云计算资源调度来保持整个***高效、稳定、可靠地运行。

图4是本发明基于消重的云计算资源调度方法流程图。基于消重的云计算资源调度方法，包括如下八个步骤：

10）云计算资源调度请求发送：一个计算节点发送待调度虚拟机的计算资源需求和该虚拟机的操作***、软件配置和用户等信息给管理节点；

20）计算节点负载水平评估：管理节点对集群内各个计算节点的***负载水平进行评估；

所述计算节点负载水平评估20）步骤包括：

21）各个计算节点将资源监控器获取的***负载信息发送到管理节点；

所述计算节点负载信息获取21）步骤中，所述计算节点负载信息包括CPU能力、内存空间、磁盘空间以及网络带宽等***资源的已使用量R_C、R_M、R_D、R_N和总量T_C、T_M、T_D、T_N。

22）根据计算节点各类***资源已使用量和总量之比，选取最大值作为节点的负载水平值

L_i=max{R_C/T_C、R_M/T_M、R_D/T_D、R_N/T_N}，

式中，N为云计算节点集群节点个数；

23）由步骤22)评估得到各个计算节点的***资源负载水平值L₁、L₂、…、L_N；

24）根据各个计算节点***资源的已使用量和总量信息，计算各个计算节点***资源的可用量；

30）资源是否充足判断：判断是否有足够的可用计算资源运行待调度虚拟机，否，则资源调度过程结束；是，则继续后续步骤；

40）虚拟机语义相似度计算：定量化计算出该待调度虚拟机与各个计算节点运行虚拟机之间的语义相似度；

所述虚拟机语义相似度计算40）步骤包括：

41）管理节点从步骤10）的云计算资源调度请求消息内容中，采集待调度虚拟机的操作***语义、应用软件语义以及用户语义等信息；

所述操作***语义信息包括操作***类型OS_T和版本号OS_V，所述应用软件语义包括各种应用的类型App_N及版本号App_V，所述用户语义包括各个用户名User_N和其最近更新时间Time_U。

42）管理节点在虚拟机语义索引上查询各个计算节点内已运行虚拟机的语义信息；

管理节点查询共享存储池中所存的虚拟机语义索引，用来比对待调度虚拟机与现有运行虚拟机之间的语义信息。虚拟机语义索引保存了虚拟机与其语义信息的映射关系、以及虚拟机和计算节点的映射关系，如表1所示。

表1.虚拟机语义索引结构示例

43）待调度虚拟机与各个计算节点已运行虚拟机之间的语义相似度由以下公式给出：

$D(X,Y)=\left\{\begin{array}{cc}0,& \mathrm{if}:x_1\≠x_2;\\ 1,& \mathrm{if}:x_1=x_2\mathrm{and}{y}_1\≠y_2;\\ 2,& \mathrm{if}:x_1=x_2\mathrm{and}{y}_1=y_2.\end{array}\right.$

44）待调度虚拟机与各个计算节点的语义相似度由以下公式计算：

$\mathrm{Dist}({\mathrm{VM}}_1,{\mathrm{VM}}_2)=D(S_1,S_2)\×w_S+\underset{i=1}{\overset{p}{\mathrm{\Σ}}}\underset{j=1}{\overset{q}{\mathrm{\Σ}}}D(A_{\mathrm{li}},A_{2j})\×w_A+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}D(U_{1i},U_{2j})\×w_U;$

45）按以上二维语义相似度计算公式，在管理节点上定量化计算出该待调度虚拟机与各个计算节点上已运行虚拟机之间的语义相似度；

以上各式中，二维向量S=<OS_T,OS_V>、A=<App_N,App_V>和U=<User_N,Time_U>，分别表示虚拟机内操作***数据、各类应用数据和各个用户数据的语义信息，二维向量集合：VM={S,A₁,…,A_j,U₁,…,U_k}表示具有j个应用、k个用户的虚拟机，Dist(VM₁,VM₂)表示两个虚拟机VM₁={S₁,A₁₁,…,A_1p,U₁₁,…,U_1m}和VM₂={S₂,A₂₁,…,A_2q,U₂₁,…,U_2n}的语义相似度，w_S、w_A和w_U分别为可定义的权值。

50）可选目标计算节点选择：利用各个计算节点负载水平值的倒数加权待调度虚拟机与相应节点上所有运行虚拟机的语义相似度和，选择最大的加权语义相似度和对应的计算节点作为可选目标计算节点；

所述可选目标计算节点选择50）步骤包括：

51）待调度虚拟机与计算节点的所有已运行虚拟机语义相似度和由下式表示：

$\mathrm{SUM}({\mathrm{VM}}_r,{\mathrm{Node}}_i)=\underset{t=1}{\overset{k}{\mathrm{\&Sigma;}}}D({\mathrm{VM}}_r,{\mathrm{VM}}_{\mathrm{it}});$

这里，VM_r为待调度虚拟机，Node_i为运行有k个虚拟机{VM_i1,VM_i2,…,VM_ik}的计算节点，SUM(VM_r,Node_i)为待调度虚拟机VM_r与计算节点Node_i上所有运行虚拟机之间的语义相似度和。

52）按以上语义相似度和计算公式，在管理节点上定量化计算出待调度虚拟机与各个计算节点上所有运行虚拟机的语义相似度和SUM₁、SUM₂、…、SUM_N；

53）管理节点虚拟机调度器的核心模块，利用步骤23）中各个节点负载水平值的倒数来加权待调度虚拟机与该节点上所有运行虚拟机的语义相似度和，得到有效语义相似度，

SUM₁/L₁、SUM₂/L₂、…、SUM_N/L_N；

54）选择最大的加权语义相似度

SUM_T/L_T=max{SUM₁/L₁,SUM₂/L₂,…,SUM_N/L_N}

对应的计算节点T作为可选目标计算节点来运行待调度虚拟机；

60）可选目标计算节点数量判断：如果可选目标计算节点只有一个，则则跳转至目标计算节点分配计算资源（80）步骤，如果可选目标计算节点不只一个，则继续后续步骤；

70）目标计算节点选择：在多个可选目标计算节点形成的集合中，随机选取一个作为待调度虚拟机运行的目标计算节点；

80）目标计算节点分配计算资源：在目标节点上分配计算资源给待调度虚拟机运行。

所述目标计算节点分配计算资源80）步骤包括：

81）管理节点发送待调度虚拟机所需***资源信息给目标节点，由目标节点分配计算资源给该虚拟机运行；

82）将待调度虚拟机的ID、语义信息和目标节点ID作为新运行虚拟机索引项添加到共享存储池中的虚拟机语义索引上。

Claims (4)

1.一种基于消重的云计算资源调度方法，所涉及云计算***包括计算节点集群、管理节点和共享存储池，包括如下步骤：

10)云计算资源调度请求发送：计算节点发送待调度虚拟机的计算资源需求和该虚拟机的操作***、软件配置和用户给管理节点；

20)计算节点负载水平评估：管理节点对集群内各个计算节点的***负载水平进行评估；

30)资源是否充足判断：判断是否有足够的可用计算资源运行待调度虚拟机，否，则资源调度过程结束；是，则继续后续步骤；

40)虚拟机语义相似度计算：定量化计算出该待调度虚拟机与各个计算节点运行虚拟机之间的语义相似度；

50)可选目标计算节点选择：利用各个计算节点负载水平值的倒数加权待调度虚拟机与相应节点上所有运行虚拟机的语义相似度和，选择最大的加权语义相似度和对应的计算节点作为可选目标计算节点；

60)可选目标计算节点数量判断：如果可选目标计算节点只有一个，则跳转至目标计算节点分配计算资源(80)步骤，不只一个，则继续后续步骤；

70)目标计算节点选择：在多个可选目标计算节点形成的集合中，随机选取一个作为待调度虚拟机运行的目标计算节点；

80)目标计算节点分配计算资源：在目标计算节点上分配计算资源给待调度虚拟机运行；

其特征在于：所述计算节点负载水平评估(20)步骤包括：

21)各个计算节点将资源监控器获取的***负载信息发送到管理节点，所述***负载信息包括***资源CPU能力、内存空间、磁盘空间以及网络带宽的已使用量R_C、R_M、R_D、R_N和总量T_C、T_M、T_D、T_N；

22)根据计算节点各类***资源已使用量和总量之比，选取最大值作为节点的负载水平值

L＝max{R_C/T_C、R_M/T_M、R_D/T_D、R_N/T_N}，

式中，N为云计算节点集群节点个数；

23)由步骤22)评估得到各个计算节点的***资源负载水平值L₁、L₂、…、L_N；

24)根据各个计算节点***资源的已使用量和总量信息，计算各个计算节点***资源的可用量。

2.根据权利要求1所述的云计算资源调度方法，其特征在于：所述虚拟机语义相似度计算(40)步骤包括：

41)管理节点从云计算资源调度请求消息内容中，采集待调度虚拟机的操作***语义、应用软件语义以及用户语义，操作***语义信息包括操作***类型OS_T和版本号OS_V，应用软件语义包括各种应用的类型App_N及版本号App_V，用户语义包括各个用户名User_N和其最近更新时间Time_U；

42)管理节点的虚拟机语义索引上查询各个计算节点内已运行虚拟机的语义信息，虚拟机语义索引保存在共享存储池中，记录了虚拟机与其语义信息之间的映射关系、以及虚拟机和运行所在计算节点之间的映射关系；

43)待调度虚拟机与各个计算节点已运行虚拟机之间的语义相似度由以下公式给出：

$D(X,Y)=\left\{\begin{array}{cc}0,& if:x_1\&NotEqual;x_2;\\ 1,& if:x_1=x_{2}and{y}_1\&NotEqual;y_2;\\ 2,& if:x_1=x_{2}and{y}_1=y_2.;\end{array}\right.$

44)待调度虚拟机与各个计算节点的语义相似度由以下公式计算：

$Dist({\mathrm{VM}}_1,{\mathrm{VM}}_2)=D(S_1,S_2)\&times;w_S+\underset{i=1}{\overset{p}{\&Sigma;}}\underset{j=1}{\overset{q}{\&Sigma;}}D(A_{1i},A_{2j})\&times;w_A+\underset{i=1}{\overset{m}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}D(U_{1i},U_{2j})\&times;w_U;$

45)按待调度虚拟机与各个计算节点的语义相似度计算公式，在管理节点上定量化计算出该待调度虚拟机与各个计算节点上已运行虚拟机之间的语义相似度；

以上各式中，二维语义向量X＝<x₁,y₁>和Y＝<x₂,y₂>的语义向量相似度为D(X,Y)，二维向量S＝<OS_T,OS_V>、A＝<App_N,App_V>和U＝<User_N,Time_U>，分别表示虚拟机内操作***数据、各类应用数据和各个用户数据的语义信息，二维向量集合：VM＝{S,A₁,…,A_j,U₁,…,U_k}表示具有j个应用、k个用户的虚拟机，Dist(VM₁,VM₂)表示两个虚拟机VM₁＝{S₁,A₁₁,…,A_1p,U₁₁,…,U_1m}和VM₂＝{S₂,A₂₁,…,A_2q,U₂₁,…,U_2n}的语义相似度，w_S、w_A和w_U分别为可定义的权值。

3.根据权利要求1所述的云计算资源调度方法，其特征在于，所述可选目标计算节点选择(50)步骤包括：

51)待调度虚拟机与计算节点的所有已运行虚拟机语义相似度和由下式表示：

$SUM({\mathrm{VM}}_r,{\mathrm{Node}}_i)=\underset{t=1}{\overset{k}{\&Sigma;}}D({\mathrm{VM}}_r,{\mathrm{VM}}_{it});$

这里，VM_r为待调度虚拟机，Node_i为运行有k个虚拟机{VM_i1,VM_i2,…,VM_ik}的计算节点，SUM(VM_r,Node_i)为待调度虚拟机VM_r与计算节点Node_i上所有运行虚拟机VM_it之间的语义相似度D(VM_R,VM_IT)之和；

52)按以上语义相似度和计算公式，在管理节点上定量化计算出待调度虚拟机与相应计算节点上所有运行虚拟机的语义相似度和SUM₁、SUM₂、…、SUM_N；

53)管理节点虚拟机调度器的核心模块，利用步骤(23)中各个节点负载水平值的倒数来加权待调度虚拟机与该节点上所有运行虚拟机的语义相似度和，得到有效语义相似度，

SUM₁/L₁、SUM₂/L₂、…、SUM_N/L_N；

54)选择最大的加权语义相似度

SUM_T/L_T＝max{SUM₁/L₁,SUM₂/L₂,…,SUM_N/L_N}；

对应的计算节点T作为可选目标计算节点来运行待调度虚拟机。

4.根据权利要求1所述的云计算资源调度方法，其特征在于，所述目标计算节点分配计算资源(80)步骤包括：

81)管理节点发送待调度虚拟机所需***资源信息给目标计算节点，由目标计算节点分配***资源给该虚拟机运行；

82)将待调度虚拟机的ID、语义信息和目标计算节点ID作为新运行虚拟机索引项添加到共享存储池中的虚拟机语义索引上。