CN103294546A - 多维度资源性能干扰感知的虚拟机在线迁移方法及*** - Google Patents

Abstract

本发明公开了一种虚拟机在线迁移方法，属于计算机虚拟化技术领域。该方法具体为：中心控制服务器监控各物理服务器的资源消耗状态，以优化资源消耗状态为目标确定迁移源物理服务器；在迁移源物理服务器上选取候选待迁移虚拟机，按照一一对应方式构成候选迁移方案；综合虚拟机迁移过程造成的迁移性能干扰以及迁移之后对目的物理服务器造成的同机性能干扰评价候选迁移方案造成的整体性能干扰；从各候选迁移方案中选取整体性能干扰最小者作为最终迁移方案；迁移源物理服务器依据最终迁移方案完成虚拟机在线迁移。本发明综合迁移性能干扰以及同机性能干扰，以干扰最小为目标选取合适的迁移方案，有效减小虚拟机在线迁移而产生的性能干扰。

Description

多维度资源性能干扰感知的虚拟机在线迁移方法及***

技术领域

本发明属于计算机虚拟化技术领域，更具体地，涉及一种虚拟化环境中虚拟机在线迁移的方法及***。

背景技术

当前，虚拟化技术被广泛应用于大规模数据中心Data Center（由多台物理服务器组成的集群）中，例如Amazon EC2，以实现大量物理服务器资源（计算、内存和网络带宽等多维度资源）的高效利用及灵活管理。由于数据中心用户的运行负载具有时变特性，因此需要对虚拟机进行合理的调度或整合，即利用虚拟机在线迁移技术实现数据中心的负载均衡及能耗节约等日常管理行为。

为了缓解数据中心内部由于虚拟机在不同物理服务器之间迁移而带来的负面性能影响，现有的虚拟机在线迁移方案主要关注于被迁移虚拟机本身的性能开销，例如迁移时延、迁移停机时间等因素。然而，这些方案忽视了虚拟机在迁移过程中与迁移源物理服务器和目的物理服务器上的虚拟机产生的性能干扰（简称迁移干扰），以及在迁移之后与迁移目的的物理服务器上的虚拟机产生的同机性能干扰（简称同机干扰）。这导致现有的虚拟机在线迁移方案不能全面分析、量化、并减轻由虚拟机迁移带来的性能干扰（简称虚拟机迁移性能干扰）。此外，由于大部分现有方案对虚拟机迁移所产生的性能干扰采取离线式的测量或是仅在部分维度资源（如CPU、内存）上的性能干扰进行量化，因此导致其量化的结果不够全面准确。这会影响迁移方案的优化决策（即待迁移虚拟机与迁移目的物理服务器的选择），进而降低数据中心的性能。综合上述两点，现有的虚拟机迁移方案具有处理步骤复杂，干扰量化不准，迁移性能不佳等问题。

发明内容

针对现有技术的缺陷，本发明提供一种虚拟化环境中虚拟机在线迁移的方法，该方法综合考虑虚拟机迁移过程造成的迁移性能干扰以及迁移之后对目的物理服务器造成的同机性能干扰，以干扰最小为目标选取合适的迁移方案，有效减小虚拟机在线迁移而产生的性能干扰。

为实现上述技术目的，本发明提供一种虚拟机在线迁移方法，包括以下步骤：

（1）中心控制服务器监控各物理服务器的资源消耗状态，以优化资源消耗状态为目标确定有虚拟机迁移需求的物理服务器，记为迁移源物理服务器；

（2）在迁移源物理服务器上选取候选待迁移虚拟机，并为每一个候选待迁移虚拟机选取候选迁移目的物理服务器，候选迁移目的物理服务器需满足其可用CPU核个数及内存大小足以供候选待迁移虚拟机使用，将候选待迁移虚拟机与候选迁移目的物理服务器一一对应构成候选迁移方案；

（3）评价每一个候选迁移方案造成的整体性能干扰，其过程为：

按照迁移源物理服务器和目的物理服务器的网络I/O带宽竞争越大以及迁移时间越长，则迁移过程对迁移源物理服务器和目的物理服务器造成的迁移性能干扰越大的准则，评价候选迁移方案造成的迁移性能干扰；

结合待迁移虚拟机的网络I/O资源占用率越大则待迁移虚拟机在迁移后对迁移目的物理服务器造成的同机性能干扰越大，以及待迁移虚拟机的缓存及内存带宽的需求量越大，而迁移目的物理服务器上缓存及内存带宽的供应量越小，则待迁移虚拟机在迁移后对迁移目的物理服务器造成的同机性能干扰越大的准则，评价候选迁移方案造成的同机性能干扰；

综合评价候选迁移方案造成的迁移性能干扰和同机性能干扰，得到候选迁移方案造成的整体性能干扰；

（4）从各候选迁移方案中选取整体性能干扰最小者作为最终迁移方案；

（5）迁移源物理服务器依据最终迁移方案完成虚拟机在线迁移。

进一步地，所述步骤（3）中，所述网络I/O带宽竞争采用物理服务器上的虚拟机网络I/O带宽消耗和物理服务器的网络中断供需比进行综合衡量；所述迁移时间采用待迁移虚拟机的内存大小和待迁移虚拟机的内存脏页率衡量进行综合衡量；所述网络I/O资源占用率采用网络I/O带宽或网络IO中断次数或网络TCP套接字个数衡量；所述待迁移虚拟机的缓存及内存带宽的需求量采用虚拟机缓存缺失率和内存占用率之和来衡量；所述迁移目的物理服务器上缓存及内存带宽的供应量采用该物理服务器的缓存命中率与内存剩余率之和来衡量。

进一步地，所述步骤（3）中评价候选迁移方案造成的迁移性能干扰的具体实现方式为：令候选迁移方案表示为<V_l,P_d>，V_l为待迁移虚拟机，P_d为迁移目的物理服务器；候选迁移方案<V_l,P_d>造成的迁移性能干扰

，ω_s为待迁移虚拟机V_l在迁移过程中对迁移源物理服务器造成的迁移性能干扰，ω_d为待迁移虚拟机V_l在迁移过程中对迁移目的物理服务器P_d造成的迁移性能干扰，ω_sm为所有候选迁移方案的迁移过程对迁移源物理服务器造成的迁移性能干扰最大值，ω_dm为所有候选迁移方案的迁移过程对迁移目的物理服务器造成的迁移性能干扰最大值；

其中，待迁移虚拟机在迁移过程中对迁移源或目的物理服务器造成的迁移性能干扰

，α为迁移源或目的物理服务器承载的虚拟机的个数，μ_ih为迁移源或目的物理服务器的第i个虚拟机的网络I/O带宽消耗的均值，σ_ih为迁移源或目的物理服务器的第i个虚拟机的网络I/O带宽消耗的标准差，μ_it为迁移源或目的物理服务器的第i个虚拟机的网络中断次数的均值，β_l为待迁移虚拟机归一化后的内存，D_l为待迁移虚拟机的内存脏页率，μ_t为迁移源或目的物理服务器的网络中断次数的均值；

所述步骤（3）评价候选迁移方案造成的同机性能干扰的具体实现方式为：令候选迁移方案表示为<V_l,P_d>，V_l为待迁移虚拟机，P_d为迁移目的物理服务器；待迁移虚拟机V_l的同机性能干扰

，γ_ld为待迁移虚拟机V_l在迁移目的物理服务器P_d造成的网络带宽性能干扰，ε_ld为待迁移虚拟机V_l在迁移目的物理服务器P_d造成的缓存及内存带宽的性能干扰，γ_m为所有候选迁移方案中的待迁移虚拟机在迁移目的物理服务器上造成的网络带宽性能干扰最大值，ε_m为所有候选迁移方案的待迁移虚拟机在迁移目的物理服务器造成的缓存及内存带宽性能干扰最大值；

其中， ${\mathrm{\&gamma;}}_{\mathrm{ld}}=\frac{{\mathrm{\&mu;}}_{\mathrm{lt}}}{{\mathrm{\&mu;}}_{\mathrm{dt}}}(\underset{i=1}{\overset{{\mathrm{\&alpha;}}_d}{\mathrm{\&Sigma;}}}\frac{{\mathrm{\&sigma;}}_{\mathrm{ih}}}{{\mathrm{\&mu;}}_{\mathrm{ih}}}+\frac{\underset{i=1}{\overset{{\mathrm{\&alpha;}}_d}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_{\mathrm{it}}}{{\mathrm{\&mu;}}_{\mathrm{dt}}}),$ ${\mathrm{\&epsiv;}}_{\mathrm{ld}}=\frac{{\mathrm{VU}}_{\mathrm{ml}}+{\mathrm{VCM}}_l}{(1-{\mathrm{PU}}_{\mathrm{md}})+(1-{\mathrm{PCM}}_d)},$

μ_lt为待迁移虚拟机V_l的网络中断次数均值，μ_dt为迁移目的物理服务器的网络中断均值，α_d为迁移目的物理服务器承载的虚拟机个数，VU_ml为待迁移虚拟机V_l的内存占用率，μ_it为迁移目的物理服务器第i个虚拟机的网络中断次数的均值，VU_ml为待迁移虚拟机V_l的内存占用率，VCM_l为待迁移虚拟机V_l的缓存缺失率，PU_md为迁移目的物理服务器的内存占用率，PCM_d为迁移目的物理服务器的缓存缺失率；

所述步骤（3）综合候选迁移方案造成的迁移性能干扰和同机性能干扰得到候选迁移方案造成的整体性能干扰的具体实现方式为：整体性能干扰T＝ρM+(1-ρ)N，权重系数0≤ρ≤1，M为候选迁移方案造成的迁移性能干扰，N为候选迁移方案造成的同机性能干扰。

进一步地，若迁移源物理服务器和目的物理服务器的运行负载均为网络I/O密集型，ρ取值大于0.5；若迁移源物理服务器和目的物理服务器的运行负载均为CPU计算密集型，ρ取值小于0.5；若迁移源和目的物理服务的器的运行负载为网络I/O密集型与CPU计算密集型的混合型负载，ρ取值0.5。

进一步地，所述步骤（1）具体为：中心控制服务器监控各物理服务器的资源消耗状态，根据资源消耗状态确定资源利用率过高或过低的物理服务器；若存在多台物理服务器资源利用率过高，则选取过载最严重者为迁移源物理服务器；若存在多台物理服务器资源利用过低，则选取最低者作为迁移源物理服务器；若同时出现资源利用率过高的物理服务器和资源利用率过低的物理服务器，则选取资源利用率过高的物理服务器作为迁移源物理服务器；所述资源消耗状态采用CPU占用率或内存占用率或网络I/O带宽消耗衡量。

进一步地，在迁移源物理服务器上选取候选待迁移虚拟机的具体实现方式为：对于资源利用率过高的迁移源物理服务器，选取部分对物理服务器资源占用率大的虚拟机作为候选待迁移虚拟机；对于资源利用率过低的迁移源物理服务器，将其所有的虚拟机作为候选待迁移虚拟机。

本发明的另一目的在于提供一种虚拟化环境中虚拟机在线迁移***，该***综合考虑虚拟机迁移过程造成的迁移性能干扰以及迁移之后对目的物理服务器造成的同机性能干扰，以干扰最小为目标选取合适的迁移方案，有效减小虚拟机在线迁移而产生的性能干扰。

为实现上述技术目的，本发明提供的一种虚拟机在线迁移***，包括：

第一模块，用于中心控制服务器监控各物理服务器的资源消耗状态，以优化资源消耗状态为目标确定有虚拟机迁移需求的物理服务器，记为迁移源物理服务器；

第二模块，用于在迁移源物理服务器上选取候选待迁移虚拟机，并为每一个候选待迁移虚拟机选取候选迁移目的物理服务器，候选迁移目的物理服务器需满足其可用CPU核个数及内存大小足以供候选待迁移虚拟机使用，将候选待迁移虚拟机与候选迁移目的物理服务器一一对应构成候选迁移方案；

第二模块，用于评价每一个候选迁移方案造成的整体性能干扰，具体包括以下子模块：

第一子模块，用于按照迁移源物理服务器和目的物理服务器的网络I/O带宽竞争越大以及迁移时间越长，则迁移过程对迁移源物理服务器和目的物理服务器造成的迁移性能干扰越大的准则，评价候选迁移方案造成的迁移性能干扰；

第二子模块，用于结合待迁移虚拟机的网络I/O资源占用率越大则待迁移虚拟机在迁移后对迁移目的物理服务器造成的同机性能干扰越大，以及待迁移虚拟机的缓存及内存带宽的需求量越大，而迁移目的物理服务器上缓存及内存带宽的供应量越小，则待迁移虚拟机在迁移后对迁移目的物理服务器造成的同机性能干扰越大的准则，评价候选迁移方案造成的同机性能干扰；

第三子模块，用于综合评价候选迁移方案造成的迁移性能干扰和同机性能干扰，得到候选迁移方案造成的整体性能干扰；

第四模块，用于从各候选迁移方案中选取整体性能干扰最小者作为最终迁移方案；

第五模块，用于迁移源物理服务器依据最终迁移方案完成虚拟机在线迁移。

进一步地，所述第二模块中，所述网络I/O带宽竞争采用物理服务器上的虚拟机网络I/O带宽消耗和物理服务器的网络中断供需比进行综合衡量；所述迁移时间采用待迁移虚拟机的内存大小和待迁移虚拟机的内存脏页率衡量进行综合衡量；所述网络I/O资源占用率采用网络I/O带宽或网络IO中断次数或网络TCP套接字个数衡量；所述待迁移虚拟机的缓存及内存带宽的需求量采用虚拟机缓存缺失率和内存占用率之和来衡量；所述迁移目的物理服务器上缓存及内存带宽的供应量采用该物理服务器的缓存命中率与内存剩余率之和来衡量。

进一步地，所述第一子模块用于评价候选迁移方案造成的迁移性能干扰的具体实现方式为：令候选迁移方案表示为<V_l,P_d>，V_l为待迁移虚拟机，P_d为迁移目的物理服务器；候选迁移方案<V_l,P_d>造成的迁移性能干扰

，ω_s为待迁移虚拟机V_l在迁移过程中对迁移源物理服务器造成的迁移性能干扰，ω_d为待迁移虚拟机V_l在迁移过程中对迁移目的物理服务器P_d造成的迁移性能干扰，ω_sm为所有候选迁移方案的迁移过程对迁移源物理服务器造成的迁移性能干扰最大值，ω_dm为所有候选迁移方案的迁移过程对迁移目的物理服务器造成的迁移性能干扰最大值；

其中，待迁移虚拟机在迁移过程中对迁移源或目的物理服务器造成的迁移性能干扰

，α为迁移源或目的物理服务器承载的虚拟机的个数，μ_ih为迁移源或目的物理服务器的第i个虚拟机的网络I/O带宽消耗的均值，σ_ih为迁移源或目的物理服务器的第i个虚拟机的网络I/O带宽消耗的标准差，μ_it为迁移源或目的物理服务器的第i个虚拟机的网络中断次数的均值，β_l为待迁移虚拟机归一化后的内存，D_l为待迁移虚拟机的内存脏页率，μ_t为迁移源或目的物理服务器的网络中断次数的均值；

所述第二子模块用于评价候选迁移方案造成的同机性能干扰的具体实现方式为：令候选迁移方案表示为<V_l,P_d>，V_l为待迁移虚拟机，P_d为迁移目的物理服务器；待迁移虚拟机V_l的同机性能干扰

，γ_ld为待迁移虚拟机V_l在迁移目的物理服务器P_d造成的网络带宽性能干扰，ε_ld为待迁移虚拟机V_l在迁移目的物理服务器P_d造成的缓存及内存带宽的性能干扰，γ_m为所有候选迁移方案中的待迁移虚拟机在迁移目的物理服务器上造成的网络I/O干扰最大值，ε_m为所有候选迁移方案的待迁移虚拟机在迁移目的物理服务器造成的缓存和内存带宽性能干扰最大值；

其中， ${\mathrm{\&gamma;}}_{\mathrm{ld}}=\frac{{\mathrm{\&mu;}}_{\mathrm{lt}}}{{\mathrm{\&mu;}}_{\mathrm{dt}}}(\underset{i=1}{\overset{{\mathrm{\&alpha;}}_d}{\mathrm{\&Sigma;}}}\frac{{\mathrm{\&sigma;}}_{\mathrm{ih}}}{{\mathrm{\&mu;}}_{\mathrm{ih}}}+\frac{\underset{i=1}{\overset{{\mathrm{\&alpha;}}_d}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_{\mathrm{it}}}{{\mathrm{\&mu;}}_{\mathrm{dt}}}),$ ${\mathrm{\&epsiv;}}_{\mathrm{ld}}=\frac{{\mathrm{VU}}_{\mathrm{ml}}+{\mathrm{VCM}}_l}{(1-{\mathrm{PU}}_{\mathrm{md}})+(1-{\mathrm{PCM}}_d)},$

μ_lt为待迁移虚拟机V_l的网络中断次数均值，μ_dt为迁移目的物理服务器的网络中断均值，α_d为迁移目的物理服务器承载的虚拟机个数，VU_ml为待迁移虚拟机V_l的内存占用率，μ_it为迁移目的物理服务器第i个虚拟机的网络中断次数的均值，VU_ml为待迁移虚拟机V_l的内存占用率，VCM_l为待迁移虚拟机V_l的缓存缺失率，PU_md为迁移目的物理服务器的内存占用率，PCM_d为迁移目的物理服务器的缓存缺失率；

所述第三子模块用于综合候选迁移方案造成的迁移性能干扰和同机性能干扰得到候选迁移方案造成的整体性能干扰的具体实现方式为：整体性能干扰T＝ρM+(1-ρ)N，权重系数0≤ρ≤1，M为候选迁移方案造成的迁移性能干扰，N为候选迁移方案造成的同机性能干扰。

通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下的有益效果：

1、虚拟机性能干扰评测全面准确：本发明综合考虑两种性能干扰，包括虚拟机迁移过程中在源物理服务器和目的物理服务器上造成的性能干扰，以及其迁移完成后在目的物理服务器上的同机性能干扰。同时，在预估性能干扰时，本方案综合考虑虚拟机的多维度资源消耗情况，包括缓存、内存、以及网络带宽的使用情况。

2、简单易实现：本发明无需通过预先运行虚拟机负载或者离线测量的方法，来获取由虚拟机迁移带来的性能干扰，而是采用一种在线的方式实时地计算在线迁移性能干扰。同时本发明无须改动现有虚拟化数据中心的管理机制，并且与现有虚拟机在线迁移方法兼容。

附图说明

图1是本发明虚拟化环境中性能干扰感知的虚拟机在线迁移流程图。

图2是本发明方法中步骤（3）的具体流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施示例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施示例仅仅用以解释本发明，并不用于限定本发明。

首先，介绍应用本发明的数据中心场景，其涉及一台中心控制服务器和多台物理服务器，每台物理服务器上承载有多个虚拟机。中心控制服务器负责与物理服务器、虚拟机的通信，完成虚拟机的迁移决策，物理服务器根据迁移决策结果完成虚拟机迁移。

如图1所示，本发明虚拟化环境中多维度资源性能干扰感知的虚拟机在线迁移方法包括以下步骤：

（1）中心控制服务器（Central Server，简称CS）监控物理服务器（Physical Machine，简称PM）的资源消耗状态，以判断虚拟机（VirtualMachine，简称VM）是否需要迁移；若需要迁移，则进入步骤（2），否则过程结束。

本步骤地的目的是检测出资源利用率过高或过低的物理服务器，以备后续将资源利用率过高的物理服务器上运行的虚拟机迁移至其它物理服务器，以达到负载均衡的目的；或将资源利用率过低的物理服务器上运行的虚拟机整合至其他服务器，以达到节约能耗的目的。

具体而言，在当前监控周期内，中心控制服务器与物理服务器及其承载的每个虚拟机进行通信，以获取虚拟机与物理服务器的多维度资源消耗信息来获知各物理服务器的资源消耗状态，并以此判断是否需要迁移虚拟机来管理维护数据中心，以优化资源消耗状态。其中资源消耗信息具体包括：虚拟机V_i的网络I/O带宽消耗的均值μ_ih及标准差σ_ih，网络中断次数的均值μ_it，内存脏页率D_i，内存占用率VU_mi，以及缓存（cache）缺失率VCM_i；物理服务器P_j的网络中断次数的均值μ_jt，CPU占用率PU_cj，内存占用率PU_mj，以及缓存缺失率PCM_j。

资源消耗状态具体可采用CPU占用率、内存占用率、网络I/O带宽消耗等来衡量。由于CPU占用率是衡量物理服务器性能的关键指标，因此本发明优选CPU占用率来衡量资源消耗状态，并以此作为触发虚拟机迁移的充分条件，下面做详细说明。判断是否迁移虚拟机的具体需求设为：当某个物理服务器P_j过载，即CPU占用率PU_cj>资源利用率上限值，则需要迁移该服务器上运行的虚拟机，以达到负载均衡的目的；或者当某个物理服务器P_j的资源利用率过低，即CPU占用率PU_cj<资源利用率下限值，则需要将该服务器上运行的虚拟机整合至其他服务器，以达到节约能耗的目的。资源利用率上限值和下限值为经验值，一般而言，资源利用率上限值取值范围为80%～99%，资源利用率下限值取值范围为1%～20%。一般来讲，若出现多台物理服务器过载，则选取过载最严重者为迁移源物理服务器；若出现多台物理服务器资源利用过低，则选取最低者作为迁移源物理服务器；若同时出现过载物理服务器和资源利用率过低的物理服务器，考虑到过载物理服务器由于资源过度利用容易成为数据中心的性能瓶颈，而资源利用率过低的物理服务器只是造成资源浪费但对数据中心的性能影响甚微，因此优选过载物理服务器作为迁移源物理服务器。

（2）在迁移源物理服务器上，中心控制服务器选取多个候选待迁移虚拟机以及对应的多个迁移目的物理服务器；

候选待迁移虚拟机的选择：对于过载的迁移源物理服务器，可将其所有的虚拟机作为候选待迁移虚拟机，但是其导致计算量大，因此本发明优选从中选取部分对物理服务器资源占用率较大的虚拟机作为候选待迁移虚拟机；对于资源利用率过低的物理服务器，则将其所有的虚拟机作为候选待迁移虚拟机。

候选迁移目的物理服务器的选择：将所有过载物理服务器以外的物理服务器作为备选物理服务器。针对每一个待迁移虚拟机，从备选物理服务器中选取适合作为其迁移目的的物理服务器，即中心控制服务器根据迁移目的物理服务器的约束条件（即目的物理服务器的可用CPU核心数及内存大小等资源必须能够足以供迁移虚拟机使用）来选取。然后按照待迁移虚拟机与目的物理服务器一一对应构建得到候选迁移方案，即对候选虚拟机V_l找出Z个候选迁移目的物理服务器{P_l,...,P_Z}，构建候选迁移方案<V_l,P_d>，d=1,2,…,Z。

（3）对于每一对候选迁移方案，中心控制服务器计算该迁移方案对数据中心造成的整体性能干扰值。

具体而言，对于每一对候选迁移元组<V_l,P_d>（代表将虚拟机V_l迁移至服务器P_d），中心控制服务器将该候选待迁移虚拟机V_l、候选迁移源物理服务器P_s（即承载V_l的物理服务器）以及候选迁移与目的物理服务器P_d的多维度资源消耗值，计算对应的性能干扰预估值。

（4）在所有候选列表（方案）中，中心控制服务器选择整体性能干扰值最小的迁移方案（待迁移虚拟机与迁移目的物理服务器）。

（5）源物理服务器利用虚拟机管理程序（Hypervisor）提供的在线迁移接口，将所选择的待迁移虚拟机在线迁移至目的物理服务器。

步骤（3）综合考虑缓存、内存带宽、网络I/O带宽等多维度资源消耗的因素，全面预估虚拟机迁移过程之中和迁移之后带来的性能干扰。如图2所示，针对每一对候选迁移方案，步骤（3）根据如下子步骤评价该候选迁移方案所产生的性能干扰：

（3-1）中心控制服务器评价迁移方案对应的迁移过程对该方案中迁移源物理服务器和目的物理服务器造成的迁移性能干扰。

本步骤的技术思路：由于虚拟机迁移主要涉及对迁移源物理服务器和目的物理服务器的网络带宽资源的消耗，因此迁移干扰主要体现为迁移源物理服务器和目的物理服务器网络I/O性能干扰。进一步来说，虚拟机迁移过程对网络I/O带宽竞争（当一台物理服务器所承载的虚拟机网络I/O带宽总需求超过该物理服务器的网络I/O带宽时，即产生虚拟机网络I/O带宽竞争）较为严重的物理服务器所产生的性能干扰较大，而对网络I/O竞争较轻的物理服务器所产生的性能干扰较小；虚拟机迁移所需时间越长，其对迁移源物理服务器和目的物理服务器所产生的性能干扰越大，虚拟机迁移所需时间越短，其对迁移源物理服务器和目的物理服务器所产生的性能干扰越小。综上，在源和目的物理服务器上的迁移性能干扰可表示为物理服务器上的虚拟机网络I/O竞争强度和虚拟机迁移时间的函数（例如乘积函数）。

具体评价过程中，可选取合适的参量衡量虚拟机网络I/O带宽竞争强度和虚拟机迁移时间便可量化迁移性能干扰。

虚拟机网络I/O带宽竞争强度的衡量参量选取可根据虚拟化技术理论的I/O调度机制，选取虚拟机以及物理服务器的网络I/O中断次数来衡量。本发明中，物理服务器上的虚拟机网络I/O带宽竞争强度由两个因素来衡量，一个是物理服务器上的虚拟机网络I/O带宽的波动幅度，根据虚拟机I/O带宽资源的分配方式，在I/O带宽资源紧缺的情况下，虚拟机网络I/O波动幅度大小可直接反映虚拟机网络I/O带宽竞争强度；另一个是物理服务器的网络中断供需比，资源的供需比可用来反映资源竞争的强度，供需比越大，则表明竞争越激烈。这是因为该两个因素具有原因，因此最能衡量虚拟机网络I/O带宽竞争强度。以上两个因素的值越大，表明物理服务器上虚拟机的网络I/O带宽竞争强度越大。在本发明中，根据统计学理论，单台虚拟机网络I/O带宽的波动幅度可由该虚拟机网络I/O带宽的变异系数（即I/O带宽标准差与I/O带宽均值的比率）来衡量；另外，根据市场经济学理论，物理服务器的网络中断供需比可由该物理服务器上的虚拟机网络中断次数总和（需求）除以该物理服务器所提供的网络中断次数（供给）来衡量。以上衡量方式简单、计算量小，所有参数可在线获取，并可准确衡量以上两个指标。

虚拟机迁移时间的衡量参量选取可根据虚拟化技术理论和已有相关研究，选取待迁移虚拟机的内存大小、待迁移虚拟机的内存脏页率、物理服务器的网络I/O带宽大小等衡量，具体来说，虚拟机迁移时间与前两个参量成正比，与后一个参量成反比，具体的虚拟机迁移时间计算模型较为复杂。本发明虚拟机迁移时间做了合理的简化，也选取其中两方面因素的乘积来衡量，一个是待迁移虚拟机的内存大小，另一个是待迁移虚拟机的内存脏页率，这有计算复杂度低、准确的技术效果。

具体而言，计算并规整化候选待迁移虚拟机V_l在迁移源物理服务器P_s与迁移目的物理服务器P_d上所产生的迁移干扰值M。在本发明优选的方式中，M可由如下公式求得：

$M=\frac{{\mathrm{\&omega;}}_s}{{\mathrm{\&omega;}}_{\mathrm{sm}}}+\frac{{\mathrm{\&omega;}}_d}{{\mathrm{\&omega;}}_{\mathrm{dm}}}$

其中，ω_s与ω_d分别为虚拟机V_i在迁移过程中对源物理服务器P_s和目的物理服务器P_d造成的迁移干扰值。ω_sm与ω_dm分别为全部候选迁移方案中在迁移源物理服务器与迁移目的物理服务器上的迁移干扰的最大值。ω_s与ω_d可由步骤（1）中心控制服务器所收集的资源消耗信息求得，具体计算方式如下：

待迁移虚拟机在迁移过程中对迁移源或目的物理服务器造成的迁移性能干扰

$\mathrm{\&omega;}=(\underset{i=1}{\overset{\mathrm{\&alpha;}}{\mathrm{\&Sigma;}}}\frac{{\mathrm{\&sigma;}}_{\mathrm{ih}}}{{\mathrm{\&mu;}}_{\mathrm{ih}}}+\frac{\underset{i=1}{\overset{\mathrm{\&alpha;}}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_{\mathrm{it}}}{{\mathrm{\&mu;}}_t}){\mathrm{\&beta;}}_l{D}_l$

其中，α为迁移源或目的物理服务器承载的虚拟机的个数，μ_ih为迁移源或目的物理服务器的第i个虚拟机的网络I/O带宽消耗的均值，σ_ih为迁移源或目的物理服务器的第i个虚拟机的网络I/O带宽消耗的标准差，μ_it为迁移源或目的物理服务器的第i个虚拟机的网络中断次数的均值，β_l为待迁移虚拟机归一化后的内存，D_l为待迁移虚拟机的内存脏页率，μ_t为迁移源或目的物理服务器的网络中断次数的均值。

（3-2）中心控制服务器计算候选待迁移虚拟机在迁移目的物理服务器上的同机干扰。

本步骤的技术思路：虚拟机同机干扰主要由两方面因素来衡量，一个是待迁移虚拟机在迁移目的物理服务器上所造成的网络I/O性能干扰，另一个是待迁移虚拟机在迁移目的物理服务器上所造成的缓存及内存带宽的性能干扰。一方面，待迁移虚拟机的网络I/O资源占用率越大（正比关系），其对迁移目的物理服务器造成的网络I/O性能干扰越严重。因此，待迁移虚拟机在迁移目的物理服务器上所造成的网络I/O性能干扰可表示为待迁移虚拟机的网络I/O资源占用率（具体衡量参量可为网络I/O带宽、网络IO中断次数、网络TCP socket（套接字）个数等）的函数。具体衡量方式可根据虚拟化技术中资源分配相关理论，选取待迁移虚拟机的网络I/O资源需求大小、迁移目的物理服务器上的虚拟机网络I/O带宽竞争强度等因素。考虑到计算复杂度小而不失准确性的优点，本发明采用线性方程来衡量该性能干扰，该线性方程的斜率为迁移目的物理服务器上的虚拟机网络I/O带宽竞争强度与迁移目的物理服务器的网络I/O中断次数之比值，待迁移虚拟机的网络I/O资源占用率选定为虚拟机网络I/O中断次数，因为网络I/O中断次数可反映虚拟机的网络I/O资源需求大小。其中，迁移目的物理服务器上的虚拟机网络I/O带宽竞争强度可由步骤（3-1）求得。

另一方面，待迁移虚拟机的缓存及内存带宽的需求量越大（正比关系），迁移目的物理服务器上缓存及内存带宽的供应量越小（反比关系），则表明待迁移虚拟机在迁移目的物理服务器上所造成的缓存及内存带宽的性能干扰越严重。其具体衡量方式可根据虚拟化技术中资源分配的相关理论，选取待迁移虚拟机与迁移目的物理服务器的缓存缺失率、待迁移虚拟机与迁移目的物理服务器的内存占用率等参量。考虑到计算复杂度小而不失准确性的优点，本发明采用市场经济学理论中的资源供需比值，来衡量待迁移虚拟机在迁移目的物理服务器上所造成的缓存及内存带宽的性能干扰。其中，虚拟机的缓存及内存带宽的需求量可由当前周期内的该虚拟机缓存缺失率及内存占用率之和来衡量；物理服务器的缓存及内存带宽的供应量可由当前周期内的该物理服务器缓存命中率（1-缺失率）及内存剩余率（1-占用率）之和来衡量。

具体而言，计算并规整化候选待迁移虚拟机V_l在迁移目的物理服务器P_d上所产生的同机干扰值N。在本发明优选的方式中，N可由如下公式求得：

$N=\frac{{\mathrm{\&gamma;}}_{\mathrm{ld}}}{{\mathrm{\&gamma;}}_m}+\frac{{\mathrm{\&epsiv;}}_{\mathrm{ld}}}{{\mathrm{\&epsiv;}}_m}$

其中，γ_ld为待迁移虚拟机V_l在迁移目的物理服务器P_d上所造成的网络I/O性能干扰值，ε_ld为待迁移虚拟机V_l在迁移目的物理服务器P_d上的所造成的缓存及内存带宽的性能干扰值。γ_m与ε_m分别为全部候选迁移方案中待迁移虚拟机在迁移目的物理服务器上的网络I/O干扰与缓存和内存带宽性能干扰的最大值。γ_ld与ε_ld可由步骤（1）中心控制服务器所收集的资源消耗信息求得，具体根据如下公式：

${\mathrm{\&gamma;}}_{\mathrm{ld}}=\frac{{\mathrm{\&mu;}}_{\mathrm{lt}}}{{\mathrm{\&mu;}}_{\mathrm{dt}}}(\underset{i=1}{\overset{{\mathrm{\&alpha;}}_d}{\mathrm{\&Sigma;}}}\frac{{\mathrm{\&sigma;}}_{\mathrm{ih}}}{{\mathrm{\&mu;}}_{\mathrm{ih}}}+\frac{\underset{i=1}{\overset{{\mathrm{\&alpha;}}_d}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_{\mathrm{it}}}{{\mathrm{\&mu;}}_{\mathrm{dt}}}),$ ${\mathrm{\&epsiv;}}_{\mathrm{ld}}=\frac{{\mathrm{VU}}_{\mathrm{ml}}+{\mathrm{VCM}}_l}{(1-{\mathrm{PU}}_{\mathrm{md}})+(1-{\mathrm{PCM}}_d)}.$

计算γ_ld的公式中，μ_lt为待迁移虚拟机V_l的网络中断次数均值，μ_dt为迁移目的物理服务器P_d的网络中断均值，α_d为迁移目的物理服务器P_d所承载的虚拟机个数。

计算ε_ld的公式中，VU_ml为待迁移虚拟机V_l的内存占用率，VCM_l为待迁移虚拟机V_l的缓存缺失率，PU_md为迁移目的物理服务器P_d的内存占用率（0<PU_md<1），PCM_d为迁移目的物理服务器P_d的缓存缺失率（0<PCM_d<1）

（3-3）中心控制服务器合并以上两子步骤中的性能干扰值，以预估虚拟机在迁移过程中和迁移之后所造成的整体性能干扰值。具体而言，在虚拟机迁移过程中和迁移之后的整体性能干扰值T中，中心控制服务器可以利用权重系数ρ动态调整由虚拟机迁移过程中的性能干扰M与迁移后的同机性能干扰N所占的权重大小。虚拟机迁移过程中和迁移之后的整体性能干扰值T可由如下公式求得：

T＝ρM+(1-ρ)N

其中，参数ρ含义为迁移干扰所占整体性能干扰的权重大小，其取值范围为0≤ρ≤1。性能干扰可调参数ρ，可供数据中心管理员按其实际需求，动态调整虚拟机在线迁移方法中迁移干扰及同机干扰的权重大小，使得该发明在评测虚拟机在线迁移的性能干扰时具有较高的灵活性。具体而言，不同类型（网络I/O密集型、CPU计算密集型、内存计算密集型）的运行负载对迁移干扰以及同机干扰的敏感程度不一样。一般来说，网络I/O密集型负载对迁移干扰更为敏感，若迁移源与目的物理服务器的运行负载均为网络I/O密集型，ρ取值需大于0.5；而CPU计算密集型负载对同机干扰更为敏感，若迁移源与目的物理服务器的运行负载均为CPU计算密集型，ρ取值需小于0.5。若迁移源与目的物理服务的器的运行负载为混合型负载，一般ρ取值即为0.5。因此，中心控制服务器可基于迁移源与目的物理服务器上虚拟机的运行负载类型按需调整。

以上方案描述了数据中心单次性能干扰感知的虚拟机迁移所需步骤。然而，单次虚拟机迁移可能不会达到中心控制服务器所预期的负载均衡或能耗节约等目标；此外，由于数据中心的运行负载随时间波动，导致虚拟机迁移之后的物理服务器再次出现资源利用率过载或过低的情况。在以上两种情况下，本发明可由中心控制服务器定期监控数据中心的物理服务器资源利用率，来完成多次必要的虚拟机迁移，以维护、管理数据中心。

本发明中采用当前周期内虚拟机与物理服务器资源利用率序列的均值作为步骤（3）中评价各个待迁移方案的输入计算参量，此方法简单、开销小、可行性高。对本方案的扩展可采用其他较为复杂、精确的计算方法，比如取当前周期内资源利用率序列的最大值、或采用自回归模型、隐马尔科夫模型等统计学方法。

应用实例

为了体现本方案的可行性与有效性，在真实环境下搭建的原型***对本发明进行验证。该***包含1台中心控制服务器，9台物理服务器，以及1台网络文件***服务器。具体而言，每台物理服务器配置双路四核IntelXeon E56202.40GHz处理器，12MB L3级共享缓存，24GB内存，1Gbps全双工网络适配卡，物理服务器运行CentOS5.5操作***（Linux2.6.18.8-Xen4.1.1的内核），并且所有的服务器连接到1Gbps的网络交换机，同在一个局域网内。虚拟机管理器采用Xen4.1.1的半虚拟化方式，所有虚拟机的磁盘镜像文件存储在网络文件***服务器中，通过网络的方式挂载虚拟机镜像。原型***共承载50台虚拟机，每10台虚拟机运行一种类型的负载，5种虚拟机负载具体配置如表1所示：

中心控制服务器定期收集各台物理服务器和虚拟机的资源消耗信息，在本测试***中，中心控制服务器的信息收集周期设定为10秒，迁移干扰与同机干扰的比例参数ρ设为0.5。

测试实验结果表明：在迁移一台虚拟机的情况下，分别与以能耗节约为目标的虚拟机迁移方案First-Fit Decreasing（FFD），及以负载均衡为目标的虚拟机迁移方案Sandpiper相比，本方案可以提高netperf（网络密集型）负载的性能高达55%-70%，提高Hadoop、NASA parallel benchmark、以及SPECWeb（CPU，内存，网络中等消耗型）负载的性能达10%-18%。同时，本方案仅引入微小的CPU开销及网络I/O开销。具体来说，本方案每10秒在中心控制服务器中产生的网络I/O开销仅为14400字节数，对虚拟机中运行SPECCPU（CPU密集型）负载的影响仅为1秒左右。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种虚拟机在线迁移方法，包括以下步骤：

（1）中心控制服务器监控各物理服务器的资源消耗状态，以优化资源消耗状态为目标确定有虚拟机迁移需求的物理服务器，记为迁移源物理服务器；

（2）在迁移源物理服务器上选取候选待迁移虚拟机，并为每一个候选待迁移虚拟机选取候选迁移目的物理服务器，候选迁移目的物理服务器需满足其可用CPU核个数及内存大小足以供候选待迁移虚拟机使用，将候选待迁移虚拟机与候选迁移目的物理服务器一一对应构成候选迁移方案；

（3）评价每一个候选迁移方案造成的整体性能干扰，其过程为：

按照迁移源物理服务器和目的物理服务器的网络I/O带宽竞争越大以及迁移时间越长，则迁移过程对迁移源物理服务器和目的物理服务器造成的迁移性能干扰越大的准则，评价候选迁移方案造成的迁移性能干扰；

结合待迁移虚拟机的网络I/O资源占用率越大则待迁移虚拟机在迁移后对迁移目的物理服务器造成的同机性能干扰越大，以及待迁移虚拟机的缓存及内存带宽的需求量越大，而迁移目的物理服务器上缓存及内存带宽的供应量越小，则待迁移虚拟机在迁移后对迁移目的物理服务器造成的同机性能干扰越大的准则，评价候选迁移方案造成的同机性能干扰；

综合评价候选迁移方案造成的迁移性能干扰和同机性能干扰，得到候选迁移方案造成的整体性能干扰；

（4）从各候选迁移方案中选取整体性能干扰最小者作为最终迁移方案；

（5）迁移源物理服务器依据最终迁移方案完成虚拟机在线迁移。

2.根据权利要求1所述的虚拟机在线迁移方法，其特征在于，所述步骤（3）中，所述网络I/O带宽竞争采用物理服务器上的虚拟机网络I/O带宽消耗和物理服务器的网络中断供需比进行综合衡量；所述迁移时间采用待迁移虚拟机的内存大小和待迁移虚拟机的内存脏页率衡量进行综合衡量；所述网络I/O资源占用率采用网络I/O带宽或网络IO中断次数或网络TCP套接字个数衡量；所述待迁移虚拟机的缓存及内存带宽的需求量采用虚拟机缓存缺失率和内存占用率之和来衡量；所述迁移目的物理服务器上缓存及内存带宽的供应量采用该物理服务器的缓存命中率与内存剩余率之和来衡量。

3.根据权利要求1或2所述的虚拟机在线迁移方法，其特征在于，

所述步骤（3）中评价候选迁移方案造成的迁移性能干扰的具体实现方式为：令候选迁移方案表示为<V_l,P_d>，V_l为待迁移虚拟机，P_d为迁移目的物理服务器；候选迁移方案<V_l,P_d>造成的迁移性能干扰，ω_s为待迁移虚拟机V_l在迁移过程中对迁移源物理服务器造成的迁移性能干扰，ω_d为待迁移虚拟机V_l在迁移过程中对迁移目的物理服务器P_d造成的迁移性能干扰，ω_sm为所有候选迁移方案的迁移过程对迁移源物理服务器造成的迁移性能干扰最大值，ω_dm为所有候选迁移方案的迁移过程对迁移目的物理服务器造成的迁移性能干扰最大值；

其中，待迁移虚拟机在迁移过程中对迁移源或目的物理服务器造成的迁移性能干扰，α为迁移源或目的物理服务器承载的虚拟机的个数，μ_ih为迁移源或目的物理服务器的第i个虚拟机的网络I/O带宽消耗的均值，σ_ih为迁移源或目的物理服务器的第i个虚拟机的网络I/O带宽消耗的标准差，μ_it为迁移源或目的物理服务器的第i个虚拟机的网络中断次数的均值，β_l为待迁移虚拟机归一化后的内存，D_l为待迁移虚拟机的内存脏页率，μ_t为迁移源或目的物理服务器的网络中断次数的均值；

所述步骤（3）评价候选迁移方案造成的同机性能干扰的具体实现方式为：令候选迁移方案表示为<V_l,P_d>，V_l为待迁移虚拟机，P_d为迁移目的物理服务器；待迁移虚拟机V_l的同机性能干扰

，γ_ld为待迁移虚拟机V_l在迁移目的物理服务器P_d造成的网络带宽性能干扰，ε_ld为待迁移虚拟机V_l在迁移目的物理服务器P_d造成的缓存及内存带宽的性能干扰，γ_m为所有候选迁移方案中的待迁移虚拟机在迁移目的物理服务器上造成的网络带宽性能干扰最大值，ε_m为所有候选迁移方案的待迁移虚拟机在迁移目的物理服务器造成的缓存及内存带宽性能干扰最大值；

其中， ${\mathrm{\&gamma;}}_{\mathrm{ld}}=\frac{{\mathrm{\&mu;}}_{\mathrm{lt}}}{{\mathrm{\&mu;}}_{\mathrm{dt}}}(\underset{i=1}{\overset{{\mathrm{\&alpha;}}_d}{\mathrm{\&Sigma;}}}\frac{{\mathrm{\&sigma;}}_{\mathrm{ih}}}{{\mathrm{\&mu;}}_{\mathrm{ih}}}+\frac{\underset{i=1}{\overset{{\mathrm{\&alpha;}}_d}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_{\mathrm{it}}}{{\mathrm{\&mu;}}_{\mathrm{dt}}}),$ ${\mathrm{\&epsiv;}}_{\mathrm{ld}}=\frac{{\mathrm{VU}}_{\mathrm{ml}}+{\mathrm{VCM}}_l}{(1-{\mathrm{PU}}_{\mathrm{md}})+(1-{\mathrm{PCM}}_d)},$

μ_lt为待迁移虚拟机V_l的网络中断次数均值，μ_dt为迁移目的物理服务器的网络中断均值，α_d为迁移目的物理服务器承载的虚拟机个数，VU_ml为待迁移虚拟机V_l的内存占用率，μ_it为迁移目的物理服务器第i个虚拟机的网络中断次数的均值，VU_ml为待迁移虚拟机V_l的内存占用率，VCM_l为待迁移虚拟机V_l的缓存缺失率，PU_md为迁移目的物理服务器的内存占用率，PCM_d为迁移目的物理服务器的缓存缺失率；

所述步骤（3）综合候选迁移方案造成的迁移性能干扰和同机性能干扰得到候选迁移方案造成的整体性能干扰的具体实现方式为：整体性能干扰T＝ρM+(1-ρ)N，权重系数0≤ρ≤1，M为候选迁移方案造成的迁移性能干扰，N为候选迁移方案造成的同机性能干扰。

4.根据权利要求1或2或3所述的虚拟机在线迁移方法，其特征在于，若迁移源物理服务器和目的物理服务器的运行负载均为网络I/O密集型，ρ取值大于0.5；若迁移源物理服务器和目的物理服务器的运行负载均为CPU计算密集型，ρ取值小于0.5；若迁移源和目的物理服务的器的运行负载为网络I/O密集型与CPU计算密集型的混合型负载，ρ取值0.5。

5.根据权利要求1或2或3所述的虚拟机在线迁移方法，其特征在于，所述步骤（1）具体为：中心控制服务器监控各物理服务器的资源消耗状态，根据资源消耗状态确定资源利用率过高或过低的物理服务器；若存在多台物理服务器资源利用率过高，则选取过载最严重者为迁移源物理服务器；若存在多台物理服务器资源利用过低，则选取最低者作为迁移源物理服务器；若同时出现资源利用率过高的物理服务器和资源利用率过低的物理服务器，则选取资源利用率过高的物理服务器作为迁移源物理服务器；所述资源消耗状态采用CPU占用率或内存占用率或网络I/O带宽消耗衡量。

6.根据权利要求5所述的虚拟机在线迁移方法，其特征在于，在迁移源物理服务器上选取候选待迁移虚拟机的具体实现方式为：对于资源利用率过高的迁移源物理服务器，选取部分对物理服务器资源占用率大的虚拟机作为候选待迁移虚拟机；对于资源利用率过低的迁移源物理服务器，将其所有的虚拟机作为候选待迁移虚拟机。

7.一种虚拟机在线迁移***，其特征在于，包括：

第一模块，用于中心控制服务器监控各物理服务器的资源消耗状态，以优化资源消耗状态为目标确定有虚拟机迁移需求的物理服务器，记为迁移源物理服务器；

第二模块，用于在迁移源物理服务器上选取候选待迁移虚拟机，并为每一个候选待迁移虚拟机选取候选迁移目的物理服务器，候选迁移目的物理服务器需满足其可用CPU核个数及内存大小足以供候选待迁移虚拟机使用，将候选待迁移虚拟机与候选迁移目的物理服务器一一对应构成候选迁移方案；

第二模块，用于评价每一个候选迁移方案造成的整体性能干扰，具体包括以下子模块：

第一子模块，用于按照迁移源物理服务器和目的物理服务器的网络I/O带宽竞争越大以及迁移时间越长，则迁移过程对迁移源物理服务器和目的物理服务器造成的迁移性能干扰越大的准则，评价候选迁移方案造成的迁移性能干扰；

第二子模块，用于结合待迁移虚拟机的网络I/O资源占用率越大则待迁移虚拟机在迁移后对迁移目的物理服务器造成的同机性能干扰越大，以及待迁移虚拟机的缓存及内存带宽的需求量越大，而迁移目的物理服务器上缓存及内存带宽的供应量越小，则待迁移虚拟机在迁移后对迁移目的物理服务器造成的同机性能干扰越大的准则，评价候选迁移方案造成的同机性能干扰；

第三子模块，用于综合评价候选迁移方案造成的迁移性能干扰和同机性能干扰，得到候选迁移方案造成的整体性能干扰；

第四模块，用于从各候选迁移方案中选取整体性能干扰最小者作为最终迁移方案；

第五模块，用于迁移源物理服务器依据最终迁移方案完成虚拟机在线迁移。

8.根据权利要求7所述的虚拟机在线迁移***，其特征在于，所述第二模块中，所述网络I/O带宽竞争采用物理服务器上的虚拟机网络I/O带宽消耗和物理服务器的网络中断供需比进行综合衡量；所述迁移时间采用待迁移虚拟机的内存大小和待迁移虚拟机的内存脏页率衡量进行综合衡量；所述网络I/O资源占用率采用网络I/O带宽或网络IO中断次数或网络TCP套接字个数衡量；所述待迁移虚拟机的缓存及内存带宽的需求量采用虚拟机缓存缺失率和内存占用率之和来衡量；所述迁移目的物理服务器上缓存及内存带宽的供应量采用该物理服务器的缓存命中率与内存剩余率之和来衡量。

9.根据权利要求8所述的虚拟机在线迁移***，其特征在于，

所述第一子模块中评价候选迁移方案造成的迁移性能干扰的具体实现方式为：令候选迁移方案表示为<V_l,P_d>，V_l为待迁移虚拟机，P_d为迁移目的物理服务器；候选迁移方案<V_l,P_d>造成的迁移性能干扰

ω_s为待迁移虚拟机V_l在迁移过程中对迁移源物理服务器造成的迁移性能干扰，ω_d为待迁移虚拟机V_l在迁移过程中对迁移目的物理服务器P_d造成的迁移性能干扰，ω_sm为所有候选迁移方案的迁移过程对迁移源物理服务器造成的迁移性能干扰最大值，ω_dm为所有候选迁移方案的迁移过程对迁移目的物理服务器造成的迁移性能干扰最大值；

其中，待迁移虚拟机在迁移过程中对迁移源或目的物理服务器造成的迁移性能干扰

，α为迁移源或目的物理服务器承载的虚拟机的个数，μ_ih为迁移源或目的物理服务器的第i个虚拟机的网络I/O带宽消耗的均值，σ_ih为迁移源或目的物理服务器的第i个虚拟机的网络I/O带宽消耗的标准差，μ_it为迁移源或目的物理服务器的第i个虚拟机的网络中断次数的均值，β_l为待迁移虚拟机归一化后的内存，D_l为待迁移虚拟机的内存脏页率，μ_t为迁移源或目的物理服务器的网络中断次数的均值；

所述第二子模块评价候选迁移方案造成的同机性能干扰的具体实现方式为：令候选迁移方案表示为<V_l,P_d>，V_l为待迁移虚拟机，P_d为迁移目的物理服务器；待迁移虚拟机V_l的同机性能干扰

，γ_ld为待迁移虚拟机V_l在迁移目的物理服务器P_d造成的网络带宽性能干扰，ε_ld为待迁移虚拟机V_l在迁移目的物理服务器P_d造成的缓存及内存带宽的性能干扰，γ_m为所有候选迁移方案中的待迁移虚拟机在迁移目的物理服务器上造成的网络I/O干扰最大值，ε_m为所有候选迁移方案的待迁移虚拟机在迁移目的物理服务器造成的缓存和内存带宽性能干扰最大值；

其中， ${\mathrm{\&gamma;}}_{\mathrm{ld}}=\frac{{\mathrm{\&mu;}}_{\mathrm{lt}}}{{\mathrm{\&mu;}}_{\mathrm{dt}}}(\underset{i=1}{\overset{{\mathrm{\&alpha;}}_d}{\mathrm{\&Sigma;}}}\frac{{\mathrm{\&sigma;}}_{\mathrm{ih}}}{{\mathrm{\&mu;}}_{\mathrm{ih}}}+\frac{\underset{i=1}{\overset{{\mathrm{\&alpha;}}_d}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_{\mathrm{it}}}{{\mathrm{\&mu;}}_{\mathrm{dt}}}),$ ${\mathrm{\&epsiv;}}_{\mathrm{ld}}=\frac{{\mathrm{VU}}_{\mathrm{ml}}+{\mathrm{VCM}}_l}{(1-{\mathrm{PU}}_{\mathrm{md}})+(1-{\mathrm{PCM}}_d)},$

μ_lt为待迁移虚拟机V_l的网络中断次数均值，μ_dt为迁移目的物理服务器的网络中断均值，α_d为迁移目的物理服务器承载的虚拟机个数，VU_ml为待迁移虚拟机V_l的内存占用率，μ_it为迁移目的物理服务器第i个虚拟机的网络中断次数的均值，VU_ml为待迁移虚拟机V_l的内存占用率，VCM_l为待迁移虚拟机V_l的缓存缺失率，PU_md为迁移目的物理服务器的内存占用率，PCM_d为迁移目的物理服务器的缓存缺失率；

所述第三子模块综合候选迁移方案造成的迁移性能干扰和同机性能干扰得到候选迁移方案造成的整体性能干扰的具体实现方式为：整体性能干扰T＝ρM+(1-ρ)N，权重系数0≤ρ≤1，M为候选迁移方案造成的迁移性能干扰，N为候选迁移方案造成的同机性能干扰。

10.根据权利要求7或8或9所述的虚拟机在线迁移***，其特征在于，若迁移源物理服务器和目的物理服务器的运行负载均为网络I/O密集型，ρ取值大于0.5；若迁移源物理服务器和目的物理服务器的运行负载均为CPU计算密集型，ρ取值小于0.5；若迁移源和目的物理服务的器的运行负载为网络I/O密集型与CPU计算密集型的混合型负载，ρ取值0.5。

Images