CN104199736A - 云环境下的数据中心节能方法 - Google Patents

Abstract

一种云环境下的数据中心节能方法，包括：根据历史负载动态地更新队列中各服务器的迁移触发优先级；基于启发信息确定候选迁移虚拟机；基于负载相似度和资源适配度选择迁移目标服务器。由于本发明根据虚拟机当前负载估算迁移开销，并引入***负载特征向量(尽量混合部署不同负载特征的虚拟机)，以提升整体资源利用率，***按照收益最大化/开销最小化启发策略确定候选迁移虚拟机，从而能大幅降低能耗。

Description

云环境下的数据中心节能方法

技术领域

本发明涉及云计算技术领域，尤其涉及一种云环境下的数据中心节能方法。

背景技术

随着云计算的不断发展，数据中心高能耗成为一个亟待解决的问题。根据Amazon估算，每年的能耗开销占到其数据中心总开销的42％，其中直接能耗开销占19％，冷却(包含冷却设备)开销占23％。数据中心节能技术旨在保障服务质量的情况下最小化能耗开销，对云服务提供商有着很强的吸引力。

在强大的需求下，学术界和产业界纷纷投身到数据中心节能技术的研究上。目前数据中心节能技术分为硬件节能技术和软件节能技术。

目前有一系列的硬件节能技术，例如SpeedStep、PowNow、DBS(按需切换，Demand Based Switching)，它们通过在资源闲置的时候降低CPU时钟频率或关闭部分核(chip)来达到节能目的。ACPI(高级配置和电源管理接口，Advanced Configuration and Power Interface)定义了4种电源状态，并通过操作***实现电源状态的切换，为能耗管理提供了灵活性。

软件节能技术主要指能耗感知的调度技术。其范围涵盖较广，包括弹性计算、能耗感知的处理器调度和任务调度、服务器整合(Server Consolidation)等。其中服务器整合技术发展较为成熟，它基于在线迁移技术对虚拟机进行动态重分配，在保障服务质量的情况下使用最少的服务器从而达到节能目的。服务器整合问题旨在满足服务质量和不超过单个服务器资源上限的情况下，使用最少的服务器集合来满足数据中心所有虚拟机运行需求。它可归结为多维装箱问题(MDBP，Multi dimensional bin packing problem)，是一个NP困难问题，即使是单维度的装箱问题。可以通过分支限界算法得到该问题的最优解，但时间消耗太高，在工业场景下不适用。通常采用最佳适应下降(BFD,best-fit decreasing)和首次适应下降(FFD,fisrt-fit decreasing)等启发式方法解决。

在线迁移是实现服务器整合的关键技术，它能在很短的宕机时间内将处于运行状态的虚拟机从一台服务器迁移到另一台服务器上。在线迁移可以灵活地转移工作负载，在服务器维护中经常使用。它可以用来在数据中心服务器间实现负载均衡，避免服务器出现过载情况。

尽管目前存在一些弹性伸缩的专利，然而大都根据数据中心当前负载进行调整，忽略了虚拟机负载特征和迁移开销。例如，专利号为CN103077082 A的专利，提出了《一种数据中心负载分配及虚拟机迁移节能方法及***》。该方法首先生成超载服务器列表，按照资源利用率形成有序的待迁移虚拟机列表，并将有序待迁移虚拟机列表中的虚拟机迁移到目标服务器上；然后选出处于低载状态且能效比最小的服务器，对其上的所有虚拟机使用能效感知的负载分配策略预分配到其它服务器上。专利号为CN103024048 A的专利，公开了一种云环境下的资源调度方法。该专利从***级节能角度出发，在满足云任务的执行时间和费用两个QOS需求的前提下，以***总能耗最小为目标，对资源进行调度，可有效降低云数据中心的能源消耗；并进一步采用改进的遗传算法进行最优资源调度方案的搜索，从而有效提高了算法的收敛性能。然而它们没有考虑到虚拟机多种资源的负载特征，若将不同负载特征虚拟机进行混合，有助于进一步提升资源利用率。同时迁移开销(特别是宕机时间)对服务质量的影响也是资源分配过程中应该着重考虑的因素。

发明内容

本发明解决的问题是提供一种云环境下的数据中心节能方法，能大幅降低数据中心能耗。

为解决上述问题，本发明实施例提供了一种云环境下的数据中心节能方法，包括：

根据历史负载动态地更新队列中各服务器的迁移触发优先级；

基于启发信息确定候选迁移虚拟机；

基于负载相似度和资源适配度选择迁移目标服务器。

可选的，所述根据历史负载动态地更新队列中各服务器的迁移触发优先级的方法，具体操作步骤包括：

(11)：收集物理机历史负载数据，获取当前负载，并根据AR模型得到预测负载；

(12)：对于CPU、内存、网络、I/O四种资源类型，执行步骤13～16的过程；

(13)：若服务器处于高负载状态，优先级(pr≥pr_H)递增(若从其它状态进入高负载状态，则初始化为pr_H)，以尽快迁移位于高负载服务器上的虚拟机，转步骤17；

(14)：若服务器处于警告状态，优先级(pr∈[pr_W,pr_H])递增(若从低优先级状态进入警告状态，则初始化为pr_W)，并根据负载走势修正优先级；

若负载处于上升状态，则根据趋势度|ΔL|相应地增大优先级，转步骤17；

若负载处于下降状态，则根据趋势度|ΔL|相应地减小优先级，转步骤17；

(15)：如服务器处于最佳状态，优先级(pr∈[pr_O,pr_H])递减。若负载预测值高于警告阈值pr_W则递增优先级(若预测值优低优先级首次进入警告状态，则初始化为pr_W)，然后根据负载趋势ΔL修正优先级，转步骤7；

(16)：如果服务器处于低负载状态，优先级(pr∈[pr_L,pr_H])递增，然后根据负载趋势ΔL修正优先级；

(18):若则将物理机加入到迁移触发优先队列Q中。

可选的，基于启发信息确定候选迁移虚拟机的方法包括：

(21)：如果服务器处于低负载状态，则将该服务器上的所有虚拟机加入迁移虚拟机队列MQ；否则执行步骤22；

(22)：获取该服务器的当前负载状态，根据计算该服务器的负载特征；

(23)：如果该服务器上还有虚拟机未处理，则转步骤24；否则转步骤26；

(24)：根据公式C＝c₁M+c₂DT计算迁移开销；

(25)：根据公式计算虚拟机迁移优先级，转步骤23；

(26)：选择优先级最大的虚拟机加入迁移虚拟机队列MQ。

可选的，所述基于负载相似度和资源适配度选择迁移目标服务器的方法包括：

(31)：根据公式计算虚拟机实际使用的资源向量；

(32)：遍历所有服务器，如果还有服务器未遍历则执行步骤33；否则转步骤36；

(33)：根据公式计算服务器可分配资源量；

(34)：若服务器的任意类可用资源均满足该虚拟机资源分配请求，则将该服务器加入候选服务器队列CSL；

(35)：处理下一台服务器，转步骤32；

(36)：若低负载和最佳状态服务器所占比例小于某个阈值，则唤醒适量的服务器投入使用；

(37)：遍历队列CSL的所有候选服务器，若存在未处理的服务器执行步骤38；否则转步骤311；

(38)：根据公式计算服务器和虚拟机的负载相似度；

(39)：根据公式计算服务器和虚拟机的资源适配度；

(310)：根据公式H(P_i,V_j)＝S(P_i,V_j)D(P_i,V_j)计算优先级，转步骤37；

(311)：按照优先级对队列CSL进行排序；

(312)：从队列头部:某个区间随机选择一台服务器作为迁移目标服务器；

(313)：执行虚拟机迁移操作。

与现有技术相比，本技术方案具有以下优点：

根据虚拟机当前负载估算迁移开销，并引入***负载特征向量(尽量混合部署不同负载特征的虚拟机)，以提升整体资源利用率，***按照收益最大化/开销最小化启发策略确定候选迁移虚拟机，从而能大幅降低能耗。

附图说明

图1为本发明的云环境下的数据中心节能方法的流程示意图。

具体实施方式

本发明基于在线迁移实现了云环境下的数据中心节能方法，请参考图1，包括：

步骤S101，根据历史负载动态地更新队列中各服务器的迁移触发优先级：该算法将服务器负载分成低负载、最佳、警告、高负载4个状态，并根据不同状态采取不同的策略根据历史负载动态地更新队列中各服务器的迁移触发优先级。

步骤S102，基于启发信息确定候选迁移虚拟机：该算法根据虚拟机当前负载估算迁移开销，并引入***负载特征向量(尽量混合部署不同负载特征的虚拟机)，以提升整体资源利用率，***按照收益最大化/开销最小化启发策略确定候选迁移虚拟机，并加入迁移虚拟机队列。

步骤S103，基于负载相似度和资源适配度选择迁移目标服务器：该算法根据负载特征向量确定待迁移虚拟机和目标服务器的负载相似度，并采用欧几里得距离定义服务器剩余资源和虚拟机需求资源的适配度，***按照最小化负载相似度和资源适配度选择迁移目标服务器。

在其他实施例中，还包括基于阈值的服务器伸缩：该算法动态检测数据中心警告、高负载状态服务器所占的比例，若超过预定义阈值，则唤醒一些服务器，以避免进入资源饥饿状态；并通过迁出低负载状态服务器上所有虚拟机，并关闭服务器，以达到节能目的。

虚拟机在线迁移的开销主要包括迁移数据传输开销和停止并拷贝(Stopand Copy)操作导致的宕机开销。特别地，在宕机时间内，虚拟机上的服务处于不可用(unavailable)状态，将对服务质量将受到极大影响。

大多数在线迁移***均采用共享存储，因此可不用考虑磁盘的拷贝，处理器上下文和设备信息数据量很小，可忽略不计。因此，网络传输开销主要包括迁移触发时刻内存镜像的传输和内存镜像传输过程中脏页(Dirty Page，被修改过的内存页面)的传输(在Stop and Copy阶段)。迁移过程中传输的数据量可建模为：

M＝T_Mem+λu_MemT_Mem＝T_mem(1+λu_mem)   (1)

其中T_Mem为虚拟机分配的总内存量，u_Mem内存利用率，λ为脏页占实际内存的比例。

根据Clark C和Salfner F等人对在线迁移宕机时间的研究，宕机时间主要和被迁移虚拟机的工作集(实际使用的内存)和写磁盘的速度有关，而与CPU利用率和虚拟机内存总量关系很小，可以对虚拟机宕机时间建模如下：

$\mathrm{DT}=\frac{{\mathrm{\α}}_1{T}_{\mathrm{Mrm}}{u}_{\mathrm{Mem}}+{\mathrm{\α}}_2{b}_w+{\mathrm{\α}}_3}{B}---\left(2\right)$

其中α₁、α₂、α₃为待确定的参数，b_w为虚拟机写磁盘的速度(block/s，每秒写磁盘块的个数)，B为网络传输速度。

由此，虚拟机在线迁移开销可定义为：

C＝c₁M+c₂DT   (3)

其中c₁为单位数据传输代价，c₂为单位宕机时间造成的服务质量下降代价。在对服务质量要求较高的应用场景下，网络传输开销可忽略不计。

根据服务器的实际运维情况，可以将服务器负载情况分为低负载状态(Low Load Status)、最佳状态(Optimal Status)、警告状态(Warn Status)、高负载状态(High Load Status)。若服务器在处于较高负载状态触发迁移任务，会加剧负载的增高，进而会影响服务质量。因此，应该尽量在高负载到来之前提前进行迁移。负载预测能根据历史负载数据预估出未来的负载情况，可以为迁移触发提供启发信息。考虑到服务器负载的随机性和复杂性，我们采用AR(p)模型进行负载预测：

x_t＝α₁x_t-1+α₂x_t-2+...α_px_t-p+ε_t   (4)

其中x_t-1,x_t-2,...x_t-p为最近收集到的负载数据，ε_t为白噪声(White Noise)α₁,α₂,...,α_p为待确定的参数(可通过训练样本数据得到)，x_t为预测出的下一个时刻的负载。

对于收缩操作，需要迁出所有的虚拟机，故候选虚拟机选择问题仅针对负载平衡操作。本发明引入了迁移开销最小化和最大化收益两种启发信息，定义启发如下：

迁移收益最大化：候选虚拟机迁出后，服务器高负载情况能有效缓解，且能刚好进入最佳状态(避免过度迁移)。

迁移开销最小化：迁移开销主要指所有迁移虚拟机的总宕机时间。

然而负载特征对迁移收益最大化问题来说，蕴含着很重要的信息。迁出和服务器负载特征相似的虚拟机将能提升潜在收益，例如对于CPU处于高负载的服务器，迁出CPU利用率高的虚拟机，将能有效缓解CPU资源竞争。考虑到高负载状态对服务质量的显著影响，对***负载(资源利用率)曲线进行修正如下：

$L_{\mathrm{rt}}\left(t\right)=e^{\frac{u_{\mathrm{rt}}\left(t\right)-T_{\mathrm{rt}}^W}{T_{\mathrm{rt}}^H-T_{\mathrm{rt}}^W}-1}=e^{\frac{u_{\mathrm{rt}}\left(t\right)-T_{\mathrm{rt}}^H}{T_{\mathrm{rt}}^H-T_{\mathrm{rt}}^W}}---\left(5\right)$

其中rt∈RT，表示CPU、内存、磁盘、网络等***资源，u_rt(t)为t时刻资源rt的利用率，L_rt(t)为相应的负载因子。

定义选择候选虚拟机的启发式规则如下：

$S(P_i,V_j)=\frac{{\stackrel{\→}{L}}_i\·\stackrel{\→}{U_j}}{C_j\left|\stackrel{\→}{L_i}\right|}---\left(6\right)$

$\stackrel{\→}{U_j}=(R_j^{\mathrm{cpu}}{u}_j^{\mathrm{cpu}},R_j^{\mathrm{mem}}{u}_j^{\mathrm{mem}},R_j^{\mathrm{disk}}{u}_j^{\mathrm{disk}},R_j^{\mathrm{net}}{u}_j^{\mathrm{net}})---\left(7\right)$

其中表示服务器的负载特征向量，表示虚拟机实际使用的资源，C_j为公式(6)定义的在线迁移开销。该规则优先选择实际占用资源(优先考虑和服务器高负载资源类型相同的资源)最多和迁移开销最小的虚拟机作为候选虚拟机。

基于上述启发规则的候选迁移虚拟机选择，对于任意队列中触发迁移的服务器P_i，若处于低负载状态，则将该服务上所有的虚拟机加入待迁移队列ML。若P_i没有迁移任务，则根据公式(6)计算位于P_i上各虚拟机的迁移优先级，并选择优先级最大的虚拟机加入迁移队列，并标记服务器处于迁移状态；否则等待下个时间片再处理。

目标服务器选择问题，需要待迁移的虚拟机分配到数据中心的服务器上，且不能超过每台服务器的资源限制，是一个典型的多维装箱问题。BFD(最佳适应下降，Best Fit Decreasing)是解决装箱问题的有效启发式算法，但没有考虑到负载特征这一因素。直观地，服务器上不同负载特征均衡混合有助于减少资源竞争，提升资源利用率。例如，在一台服务器上全部部署CPU密集型的虚拟机，比分别部署CPU、内存、磁盘、网络密集型的混合部署方式资源利用率低。

负载相似度(Workload Similarity)可由余弦公式计算得到：

$S(P_i,V_j)=\frac{\stackrel{\→}{L_i}\·\stackrel{\→}{L_j}}{\left|\stackrel{\→}{L_i}\right|\left|\stackrel{\→}{L_j}\right|}---\left(8\right)$

其中和由公式错误！未找到引用源。根据***资源利用率(服务器或虚拟机)计算得到。

服务器剩余资源和虚拟机需求资源的适配程度(Resource Fitness，尽量使得选择的服务器的剩余资源刚好满足虚拟机迁移需求)，可由欧几里得距离定义：

$D(P_i,V_j)=|\stackrel{\→}{A_i}-\stackrel{\→}{U_j}|---\left(9\right)$

$A_i^{\mathrm{rt}}=(R_i^{\mathrm{rt}}-R_{\mathrm{sys}}^{\mathrm{rt}})(T_W^{\mathrm{rt}}-u_i^{\mathrm{rt}})---\left(10\right)$

$\stackrel{\→}{U_j}=(r_j^{\mathrm{cpu}}{u}_j^{\mathrm{cpu}},r_j^{\mathrm{mem}}{u}_j^{\mathrm{mem}},r_j^{\mathrm{disk}}{u}_j^{\mathrm{disk}},r_j^{\mathrm{net}}{u}_j^{\mathrm{net}})---\left(11\right)$

其中为服务器实际可用的资源向量，为rt∈RT类可用资源，为rt类资源总量，宿主机预留资源，为虚拟机实际使用的资源向量。

在迁移目的服务器的选择中，需要最小化虚拟机和服务器的负载相似度S(P_i,V_j)和最大化资源适配度(最小化D(P_i,V_j))，由此定义启发信息如下

H(P_i,V_j)＝S(P_i,V_j)D(P_i,V_j)(12)

基于上述启发信息的迁移目的服务器选择如算法5.3所示,它首先从迁移虚拟机队列MQ中取出队头元素V_j，然后遍历服务器集合P，筛选处于低负载状态和最佳状态且剩余资源满足V_j资源需求的服务器放入候选列表CSL。然后遍历候选列表，分别计算负载相似度和资源适配度得到启发信息H(P_i,V_j)。

最后根据启发信息对CSL进行升序排序，从列表前α_r|CSL|元素中随机选择一台服务器作为迁移目标服务器(避免过度拟合)，并执行迁移操作。在算法执行过程，还不断检查低负载和最佳状态的虚拟机占总服务器数量的比例，如果则唤醒λ|P|的服务器，以避免进入资源紧张状态。

其中，所述根据历史负载动态地更新队列中各服务器的迁移触发优先级的方法，它根据当前负载和预测负载对处于不同负载状态的服务器的触发优先级进行动态调整，并通过累积触发的方式触发迁移操作，具体操作步骤如下：

(11)：收集物理机历史负载数据，获取当前负载，并根据AR模型得到预测负载；

(12)：对于CPU、内存、网络、I/O四种资源类型，执行步骤13～16的过程；

(13)：若服务器处于高负载状态，优先级(pr≥pr_H)递增(若从其它状态进入高负载状态，则初始化为pr_H)，以尽快迁移位于高负载服务器上的虚拟机，转步骤17；

(14)：若服务器处于警告状态，优先级(pr∈[pr_W,pr_H])递增(若从低优先级状态进入警告状态，则初始化为pr_W)，并根据负载走势修正优先级；

若负载处于上升状态，则根据趋势度|ΔL|相应地增大优先级，转步骤17；

若负载处于下降状态，则根据趋势度|ΔL|相应地减小优先级，转步骤17；

(15)：如服务器处于最佳状态，优先级(pr∈[pr_O,pr_H])递减。若负载预测值高于警告阈值pr_W则递增优先级(若预测值优低优先级首次进入警告状态，则初始化为pr_W)，然后根据负载趋势ΔL修正优先级，转步骤7；

(16)：如果服务器处于低负载状态，优先级(pr∈[pr_L,pr_H])递增，然后根据负载趋势ΔL修正优先级；

(17):若则将物理机加入到迁移触发优先队列Q中。

其中，所述基于启发信息确定候选迁移虚拟机的具体方法，它根据迁移收益最大化/开销最小化准则，选择选择某台触发服务器上的启发值最大的虚拟机迁出，具体步骤如下(针对迁移服务器队列Q中的每台服务器)：

(21)：如果服务器处于低负载状态，则将该服务器上的所有虚拟机加入迁移虚拟机队列MQ；否则执行步骤22；

(22)：获取该服务器的当前负载状态，根据计算该服务器的负载特征；

(23)：如果该服务器上还有虚拟机未处理，则转步骤24；否则转步骤26；

(24)：根据公式C＝c₁M+c₂DT计算迁移开销；

(25)：根据公式计算虚拟机迁移优先级，转步骤23；

(26)：选择优先级最大的虚拟机加入迁移虚拟机队列MQ。

其中，基于负载相似度和资源适配度选择迁移目标服务器的方法，它根据负载相似度最小化和资源适配度最大化准则，选择启发值最大的服务器作为迁移目标，具体步骤如下(针对迁移虚拟机队列MQ中的每台虚拟机)：

(31)：根据公式计算虚拟机实际使用的资源向量；

(32)：遍历所有服务器，如果还有服务器未遍历则执行步骤33；否则转步骤36；

(33)：根据公式计算服务器可分配资源量；

(34)：若服务器的任意类可用资源均满足该虚拟机资源分配请求，则将该服务器加入候选服务器队列CSL；

(35)：处理下一台服务器，转步骤32；

(36)：若低负载和最佳状态服务器所占比例小于某个阈值，则唤醒适量的服务器投入使用；

(37)：遍历队列CSL的所有候选服务器，若存在未处理的服务器执行步骤38；否则转步骤311；

(38)：根据公式计算服务器和虚拟机的负载相似度；

(39)：根据公式计算服务器和虚拟机的资源适配度；

(310)：根据公式H(P_i,V_j)＝S(P_i,V_j)D(P_i,V_j)计算优先级，转步骤37；

(311)：按照优先级对队列CSL进行排序；

(312)：从队列头部:某个区间随机选择一台服务器作为迁移目标服务器；

(313)：执行虚拟机迁移操作。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (4)

1.一种云环境下的数据中心节能方法，其特征在于，包括：

根据历史负载动态地更新队列中各服务器的迁移触发优先级；

基于启发信息确定候选迁移虚拟机；

基于负载相似度和资源适配度选择迁移目标服务器。

2.如权利要求1所述的云环境下的数据中心节能方法，其特征在于，所述根据历史负载动态地更新队列中各服务器的迁移触发优先级的方法，具体操作步骤包括：

(11)：收集物理机历史负载数据，获取当前负载，并根据AR模型得到预测负载；

(12)：对于CPU、内存、网络、I/O四种资源类型，执行步骤13～16的过程；

(13)：若服务器处于高负载状态，优先级(pr≥pr_H)递增(若从其它状态进入高负载状态，则初始化为pr_H)，以尽快迁移位于高负载服务器上的虚拟机，转步骤17；

(14)：若服务器处于警告状态，优先级(pr∈[pr_W,pr_H])递增(若从低优先级状态进入警告状态，则初始化为pr_W)，并根据负载走势修正优先级；

若负载处于上升状态，则根据趋势度|ΔL|相应地增大优先级，转步骤17；

若负载处于下降状态，则根据趋势度|ΔL|相应地减小优先级，转步骤17；

(15)：如服务器处于最佳状态，优先级(pr∈[pr_O,pr_H])递减。若负载预测值高于警告阈值pr_W则递增优先级(若预测值优低优先级首次进入警告状态，则初始化为pr_W)，然后根据负载趋势ΔL修正优先级，转步骤7；

(16)：如果服务器处于低负载状态，优先级(pr∈[pr_L,pr_H])递增，然后根据负载趋势ΔL修正优先级；

(17):若则将物理机加入到迁移触发优先队列Q中。

3.如权利要求1所述的云环境下的数据中心节能方法，其特征在于，基于启发信息确定候选迁移虚拟机的方法包括：

(21)：如果服务器处于低负载状态，则将该服务器上的所有虚拟机加入迁移虚拟机队列MQ；否则执行步骤22；

(22)：获取该服务器的当前负载状态，根据计算该服务器的负载特征；

(23)：如果该服务器上还有虚拟机未处理，则转步骤24；否则转步骤26；

(24)：根据公式C＝c₁M+c₂DT计算迁移开销；

(25)：根据公式计算虚拟机迁移优先级，转步骤23；

(26)：选择优先级最大的虚拟机加入迁移虚拟机队列MQ。

4.如权利要求1所述的云环境下的数据中心节能方法，其特征在于，所述基于负载相似度和资源适配度选择迁移目标服务器的方法包括：

(31)：根据公式计算虚拟机实际使用的资源向量；

(32)：遍历所有服务器，如果还有服务器未遍历则执行步骤33；否则转步骤36；

(33)：根据公式计算服务器可分配资源量；

(34)：若服务器的任意类可用资源均满足该虚拟机资源分配请求，则将该服务器加入候选服务器队列CSL；

(35)：处理下一台服务器，转步骤32；

(36)：若低负载和最佳状态服务器所占比例小于某个阈值，则唤醒适量的服务器投入使用；

(37)：遍历队列CSL的所有候选服务器，若存在未处理的服务器执行步骤38；否则转步骤311；

(38)：根据公式计算服务器和虚拟机的负载相似度；

(39)：根据公式计算服务器和虚拟机的资源适配度；

(310)：根据公式H(P_i,V_j)＝S(P_i,V_j)D(P_i,V_j)计算优先级，转步骤37；

(311)：按照优先级对队列CSL进行排序；

(312)：从队列头部:某个区间随机选择一台服务器作为迁移目标服务器；

(313)：执行虚拟机迁移操作。