CN106469085B - 虚拟机在线迁移方法、装置及*** - Google Patents

Abstract

本发明提供一种虚拟机在线迁移方法、装置及***，该方法包括：获取源虚拟机的磁盘工作集中预设个数的磁盘块数据，并将预设个数的磁盘块数据写入缓存；将预设个数的磁盘块数据向目的宿主计算机传输，并将源虚拟机的内存页面数据向目的宿主计算机传输；在内存页面数据传输过程中，当内存页面脏数据收敛到预设阈值时，确定磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式；根据磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式，将磁盘工作集中磁盘脏块数据、和/或、源虚拟机的内存页面脏数据传输到目的宿主计算机；将非磁盘工作集的磁盘块数据传输到目的宿主计算机。可见，提高了虚拟机在线迁移效率。

Description

虚拟机在线迁移方法、装置及***

技术领域

本发明涉及计算机技术领域，尤其涉及一种虚拟机在线迁移方法、装置及***。

背景技术

云计算是通过计算机网络为用户提供了按需、灵活、可伸缩的计算和存储资源；随着云计算的发展，客户通过云端按需的访问应用程序和数据的形式成为越来越重要的计算和服务模式。云划分为：私有云、公有云和混合云，其中，公有云为独立于企业公司的面向公众的云，私有云为面向组织内部的云，混合云是组合两个或多个私有云或公有云所形成的基础设施；混合云具有灵活性、兼顾安全与弹性的特点，是未来云计算***部署的发展趋势。

虚拟化技术是云计算的核心技术，虚拟化技术通过虚拟中间层截获虚拟操作***对底层接口的调用，可以屏蔽底层计算机硬件的差异，消除***软件和硬件的耦合，提高物理资源的利用率。虚拟机在线迁移技术是指将运行中的源虚拟机的虚拟机服务透明地从源宿主计算机中迁移到另一台目的宿主计算机上运行，同时保持虚拟机服务不中断，避免对虚拟机服务造成的影响，是实现资源调度、灾难备份、在线维护升级和节约电能，提供弹性、可扩展和高可用性等必不可少的技术之一。其中，虚拟机在线迁移需要考虑内存页面的迁移、存储的迁移(即磁盘块数据的迁移)和网络连接的迁移。A)在同一个云环境中，源宿主计算机和目的宿主计算机之间通过网络SAN、NAS等方式共享镜像文件，只需要传输内存页面；B)在多个云之间的虚拟机在线迁移需要考虑内存页面的迁移、存储的迁移等。

现有的虚拟机在线迁移方式可以分为预拷贝、后拷贝和混合拷贝方式。A)预拷贝方式：目的虚拟机启动前完成将待拷贝数据拷贝到目的宿主计算机的操作；B)后拷贝方式：先只拷贝目的虚拟机运行虚拟机服务所必须的数据，在启动目的虚拟机后通过缺块调取的方式获取剩余所需数据；C)混合拷贝方式：结合预拷贝方式与后拷贝方式。

现有的混合拷贝方式分为三个阶段：1)预拷贝阶段：将内存页数据和整个磁盘块数据拷贝到目的宿主计算机；其中，在预拷贝阶段中某个磁盘块数据被修改时，则将磁盘位图表中该被修改的磁盘块标记为1；2)停机拷贝阶段：停止源虚拟机的运行，将剩余未拷贝的内存页数据和磁盘位图表发送给目的宿主计算机，并启动目的虚拟机；3)后拷贝阶段：捕获IO操作，若是对磁盘位图表中标记为1的磁盘块中数据的访问，则从源宿主计算机请求获取被修改后的该磁盘块中数据(即磁盘脏块数据)，更新目的宿主计算机中磁盘块数据并将磁盘位图表中该磁盘块标记置为0，如此直到迁移完成，同时在后拷贝阶段源宿主计算机不断将其它磁盘脏数据块推送到目的宿主计算机，并修改磁盘位图表中标记为0。

可见，现有的混合拷贝方式中，在预拷贝阶段需要拷贝整个磁盘块，预拷贝阶段所需时间较长，导致产生的磁盘脏块数据较多，从而增加了需要重传的数据数量，降低了虚拟机在线迁移效率。

发明内容

本发明提供一种虚拟机在线迁移方法、装置及***，提高了虚拟机在线迁移效率。

第一方面，本发明提供一种虚拟机在线迁移方法，包括：

获取源虚拟机的磁盘工作集中预设个数的磁盘块数据，并将所述预设个数的磁盘块数据写入缓存，其中，所述磁盘工作集为预设时间段内待访问磁盘块的集合；

将所述预设个数的磁盘块数据向目的宿主计算机传输，并将所述源虚拟机的内存页面数据向所述目的宿主计算机传输；其中，所述目的宿主计算机中运行有目的虚拟机；

在所述内存页面数据传输过程中，当所述内存页面脏数据收敛到预设阈值时，确定所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式；

根据所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式，将所述磁盘工作集中磁盘脏块数据、和/或、所述源虚拟机的内存页面脏数据传输到所述目的宿主计算机；

将非磁盘工作集的磁盘块数据传输到所述目的宿主计算机，其中，所述非磁盘工作集为所述源虚拟机中除所述磁盘工作集以外的磁盘块集合。

可选地，所述根据所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式之前，还包括：

将所述磁盘工作集中的磁盘脏块数据写入所述缓存，并将所述磁盘工作集中的磁盘脏块数据向所述目的宿主计算机传输。

可选地，所述确定所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式之前，还包括：

获取所述磁盘工作集的磁盘脏块数据产生率P1、当前所述磁盘工作集中剩余的磁盘脏块个数M、以及所述磁盘工作集的磁盘块数据向目的宿主计算机传输的传输速率P2；

根据所述当前所述磁盘工作集中剩余的磁盘脏块个数M、以及所述磁盘工作集的磁盘块数据向目的宿主计算机传输的传输速率P2，计算停机拷贝时间段长度、以及所述停机拷贝时间段内最大剩余磁盘脏块个数N；

其中，M和N为大于0的正整数，P1和P2大于0。

可选地，所述确定所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式，包括：

M小于或等于N时，执行步骤A：停止所述源虚拟机，且将所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据向所述目的宿主计算机传输；或者，

P1小于P2、且M大于N时，继续将所述磁盘工作集中的磁盘脏块数据写入所述缓存直至在预设超时时间段内M小于或等于N时，执行步骤A；否则，执行步骤B；

P1大于或等于P2、且M大于N时，执行步骤B：停止所述源虚拟机，将所述磁盘工作集中的磁盘脏块变更为非磁盘工作集的磁盘块，并将所述源虚拟机的内存页面脏数据向所述目的宿主计算机传输。

可选地，在将所述预设个数的磁盘块数据写入缓存过程中，所述方法还包括：

截获所述磁盘工作集中已写入所述缓存的磁盘数据块的写操作；

根据所述写操作将待写数据写入所述缓存中。

可选地，所述获取源虚拟机的磁盘工作集中预设个数的磁盘块数据之前，还包括：

截获预设时间段内的所有IO读写操作；

根据所述IO读写操作以及工作集选择算法，确定磁盘工作集/非工作集信息；其中，所述磁盘工作集/非工作集信息包括：磁盘工作集的指示信息以及非磁盘工作集的指示信息。

第二方面，本发明提供一种虚拟机在线迁移装置，包括：

处理模块，用于获取源虚拟机的磁盘工作集中预设个数的磁盘块数据，并将所述预设个数的磁盘块数据写入缓存，其中，所述磁盘工作集为预设时间段内待访问磁盘块的集合；

第一传输模块，用于将所述预设个数的磁盘块数据向目的宿主计算机传输，并将所述源虚拟机的内存页面数据向所述目的宿主计算机传输；其中，所述目的宿主计算机中运行有目的虚拟机；

确定模块，用于在所述内存页面数据传输过程中，当所述内存页面脏数据收敛到预设阈值时，确定所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式；

第二传输模块，用于根据所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式，将所述磁盘工作集中磁盘脏块数据、和/或、所述源虚拟机的内存页面脏数据传输到所述目的宿主计算机；

第三传输模块，用于将非磁盘工作集的磁盘块数据传输到所述目的宿主计算机，其中，所述非磁盘工作集为所述源虚拟机中除所述磁盘工作集以外的磁盘块集合。

可选地，所述装置，还包括：

第四传输模块，用于将所述磁盘工作集中的磁盘脏块数据写入所述缓存，并将所述磁盘工作集中的磁盘脏块数据向所述目的宿主计算机传输。

可选地，所述装置，还包括：

获取模块，用于获取所述磁盘工作集的磁盘脏块数据产生率P1、当前所述磁盘工作集中剩余的磁盘脏块个数M、以及所述磁盘工作集的磁盘块数据向目的宿主计算机传输的传输速率P2；

计算模块，用于根据所述当前所述磁盘工作集中剩余的磁盘脏块个数M、以及所述磁盘工作集的磁盘块数据向目的宿主计算机传输的传输速率P2，计算停机拷贝时间段长度、以及所述停机拷贝时间段内最大剩余磁盘脏块个数N；

其中，M和N为大于0的正整数，P1和P2大于0。

可选地，所述确定模块具体用于：

M小于或等于N时，执行步骤A：停止所述源虚拟机，且将所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据向所述目的宿主计算机传输；或者，

P1小于P2、且M大于N时，继续将所述磁盘工作集中的磁盘脏块数据写入所述缓存直至在预设超时时间段内M小于或等于N时，执行步骤A；否则，执行步骤B；

P1大于或等于P2、且M大于N时，执行步骤B：停止所述源虚拟机，将所述磁盘工作集中的磁盘脏块变更为非磁盘工作集的磁盘块，并将所述源虚拟机的内存页面脏数据向所述目的宿主计算机传输。

可选地，所述处理模块还用于：

截获所述磁盘工作集中已写入所述缓存的磁盘数据块的写操作；

根据所述写操作将待写数据写入所述缓存中。

可选地，所述装置，还包括：

截获模块，用于截获预设时间段内的所有IO读写操作；

确定模块，用于根据所述IO读写操作以及工作集选择算法，确定磁盘工作集/非工作集信息；其中，所述磁盘工作集/非工作集信息包括：磁盘工作集的指示信息以及非磁盘工作集的指示信息。

第三方面，本发明提供一种虚拟机在线迁移***，包括：运行源虚拟机的源宿主计算机以及运行目的虚拟机的目的宿主计算机，其中，所述源宿主计算机中包含如上述第二方面中任一项所述的虚拟机在线迁移装置。

本发明中，通过在预拷贝阶段将源虚拟机的磁盘工作集中的磁盘块数据以及内存页面数据传输至目的宿主计算机；在内存页面数据传输过程中，当内存页面脏数据收敛到预设阈值时，确定磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式，并根据磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式，将磁盘工作集中磁盘脏块数据、和/或、源虚拟机的内存页面脏数据传输到目的宿主计算机；进一步地，在后拷贝阶段将非磁盘工作集的磁盘块数据传输到目的宿主计算机；可见，在预拷贝阶段仅需拷贝磁盘工作集内的磁盘块数据，所需预拷贝时间较短，减少了所产生的磁盘脏块数据数量，从而减少了需要重传的数据数量，大大提高了虚拟机在线迁移效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1A为本发明虚拟机在线迁移方法的应用场景示意图；

图1B为本发明虚拟机在线迁移方法实施例一的流程示意图；

图2为本发明虚拟机在线迁移方法的应用架构示意图；

图3为本发明虚拟机在线迁移装置实施例一的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请涉及的磁盘工作集是指：在预设时间段内，源虚拟机的进程需要访问的磁盘块集合；对应的，本申请涉及的非磁盘工作集是指：源虚拟机中除磁盘工作集以外的磁盘块集合。

本申请涉及的内存页面脏数据是指：Linux操作***是以内存页作为高速缓存的单位，当进程修改了高速缓存里的数据时，该内存页就被Linux操作***内核标记为内存脏页，该内存脏页包括的数据为内存页面脏数据。

本申请涉及的磁盘脏块数据是指：在某个内存页被Linux操作***内核标记为内存脏页后，Linux操作***内核将会在合适的时间将内存脏页的数据(即内存页面脏数据)写到磁盘镜像中去，以保持高速缓存中的数据和磁盘镜像中的数据一致；在磁盘镜像中某个磁盘块数据在内存页中已被修改，但最新数据还未写入磁盘镜像中对应磁盘块中，该磁盘块数据即为磁盘脏块数据。

现有的混合拷贝方式中，在预拷贝阶段需要拷贝整个磁盘块，预拷贝阶段所需时间较长，导致产生的磁盘脏块数据较多，从而增加了需要重传的数据数量，降低了虚拟机在线迁移效率。

本申请实施例提供的虚拟机在线迁移方法，通过根据磁盘工作集动态划分预拷贝阶段和后拷贝阶段的磁盘块数据(磁盘工作集内的磁盘块数据作为预拷贝阶段需要拷贝的磁盘块，非磁盘工作集内的磁盘块数据作为后拷贝阶段的磁盘块)；可见，在预拷贝阶段仅需拷贝磁盘工作集内的磁盘块数据，所需预拷贝时间较短，减少了所产生的磁盘脏块数据数量，从而减少了需要重传的数据数量，大大提高了虚拟机在线迁移效率。

下面结合附图通过具体实施例对本发明实施例提供的虚拟机在线迁移方法、装置及***进行详细说明。

图1A为本发明虚拟机在线迁移方法的应用场景示意图，图1B为本发明虚拟机在线迁移方法实施例一的流程示意图。如图1A所示，源宿主计算机中运行源虚拟机，目的宿主计算机中运行目的虚拟机。本实施例的执行主体可以为配置在源宿主计算机中的虚拟机在线迁移装置，该装置可以通过软件和/或硬件实现。本实施例的方案可提高虚拟机在线迁移效率。如图1B所示，本实施例的方法可以包括：

S101、获取源虚拟机的磁盘工作集中预设个数的磁盘块数据，并将预设个数的磁盘块数据写入缓存。

本步骤中，虚拟机在线迁移装置获取源虚拟机的磁盘工作集中预设个数的磁盘块数据，并将预设个数的磁盘块数据写入缓存，以便等待将该磁盘块数据传输至目的宿主计算机，其中，磁盘工作集为预设时间段内待访问磁盘块的集合。可选地，在该磁盘工作集中有待传输的磁盘块数据时，缓存中始终保持预设个数的磁盘块数据，直至该磁盘工作集中的所有待传输磁盘块数据传输完毕为止，例如，当将N个磁盘块数据写入缓存，当其中1个磁盘块数据成功传输至目的宿主计算机时，缓存中剩余N-1个磁盘块数据，此时可再将磁盘工作集中的一个待传输的磁盘块数据写入缓存，如此反复，直至该磁盘工作集中的所有待传输磁盘块数据传输完毕为止。

可选地，在将预设个数的磁盘块数据写入缓存过程中，虚拟机在线迁移装置通过截获该磁盘工作集中已写入缓存的磁盘数据块的写操作，并根据该写操作将待写数据写入缓存中，例如通过截获输入输出(Input Output，简称IO)读写操作，若是对该磁盘工作集中已写入缓存的磁盘数据块的写操作，则根据该写操作将待写数据写入缓存中。

S102、将预设个数的磁盘块数据向目的宿主计算机传输，并将源虚拟机的内存页面数据向目的宿主计算机传输。

本步骤中，虚拟机在线迁移装置将缓存中的该预设个数的磁盘块数据依次向目的宿主计算机(目的宿主计算机中运行有目的虚拟机)传输，在将磁盘工作集中的所有待传输磁盘块数据依次传输至目的宿主计算机后，进一步地，并将源虚拟机的内存页面数据向目的宿主计算机传输，可选地，采用迭代预拷贝方式将源虚拟机的内存页面数据向目的宿主计算机传输，其中，迭代预拷贝方式是指：第一轮将整个内存页面数据拷贝至目的宿主计算机，第二轮只拷贝在第一轮中被修改过的内存页面数据(即内存页面脏数据)，以此类推直到内存页面脏数据收敛到预设阈值，停止拷贝剩余的内存页面脏数据。

可选地，在内存页面数据传输过程中，虚拟机在线迁移装置通过截获IO读写操作，并将磁盘工作集中的磁盘脏块数据同步到目的宿主计算机，可选地，通过将磁盘工作集中的磁盘脏块数先写入缓存，并将已写入缓存中的该磁盘工作集中的磁盘脏块数据向目的宿主计算机传输。

S103、在内存页面数据传输过程中，当内存页面脏数据收敛到预设阈值时，确定磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式。

本步骤中，在内存页面数据传输过程中，当内存页面脏数据收敛到预设阈值时，虚拟机在线迁移装置根据预设策略确定磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式。

可选地，确定磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式之前，还包括：

获取磁盘工作集的磁盘脏块数据产生率P1、当前磁盘工作集中剩余的磁盘脏块个数M、以及磁盘工作集的磁盘块数据向目的宿主计算机传输的传输速率P2；

根据当前磁盘工作集中剩余的磁盘脏块个数M、以及磁盘工作集的磁盘块数据向目的宿主计算机传输的传输速率P2，计算停机拷贝时间段长度、以及停机拷贝时间段内最大剩余磁盘脏块个数N；其中，M和N为大于0的正整数，P1和P2大于0。

本实施例中，虚拟机在线迁移装置通过获取磁盘工作集的磁盘脏块数据产生率P1、当前磁盘工作集中剩余的磁盘脏块个数M、以及磁盘工作集的磁盘块数据向目的宿主计算机传输的传输速率P2，并根据当前磁盘工作集中剩余的磁盘脏块个数M、以及磁盘工作集的磁盘块数据向目的宿主计算机传输的传输速率P2，分别计算停机拷贝时间段长度t1、以及停机拷贝时间段内最大剩余磁盘脏块个数N，可选地，t1＝M/P2，N＝预设最大停机拷贝时间段长度t2*P2，当然，虚拟机在线迁移装置还可通过上述计算公式的其它变形公式或者其它方式计算t1和N，本申请实施例中对此并不作限制。

可选地，确定磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式，包括：

M小于或等于N时，执行步骤A：停止源虚拟机，且将磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据向目的宿主计算机传输；或者，

P1小于P2、且M大于N时，继续将磁盘工作集中的磁盘脏块数据写入缓存直至在预设超时时间段内M小于或等于N时，执行步骤A；否则，执行步骤B；

P1大于或等于P2、且M大于N时，执行步骤B：停止源虚拟机，将磁盘工作集中的磁盘脏块变更为非磁盘工作集的磁盘块，并将源虚拟机的内存页面脏数据向目的宿主计算机传输。

本实施例中，虚拟机在线迁移装置根据预设策略确定磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式，可选地，i)当M小于或等于N时(即虚拟机在线迁移装置能够在预设最大停机拷贝时间段长度t2内将M个磁盘脏块全部传输到目的宿主计算机)，则执行步骤A：停止源虚拟机，且将磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据向目的宿主计算机传输；ii)当P1小于P2、且M大于N时(即若此时停机拷贝所需停机拷贝时间段长度t1大于预设最大停机拷贝时间段长度t2，并且P1小于P2，那么继续预拷贝阶段可以使M减少)，则继续将磁盘工作集中的磁盘脏块数据写入缓存直至在预设超时时间段内M小于或等于N时，执行步骤A；否则，执行步骤B；iii)当P1大于或等于P2、且M大于N时(即若此时停机拷贝所需停机拷贝时间段长度t1大于预设最大停机拷贝时间段长度t2，且P1大于或等于P2，继续预拷贝阶段并不会使磁盘脏块数据减少)，则执行步骤B：停止源虚拟机，同时为了停机拷贝所需停机拷贝时间段长度t1不超过预设最大停机拷贝时间段长度t2，将磁盘工作集中的磁盘脏块变更为非磁盘工作集的磁盘块(即将磁盘工作集位图表中关于该磁盘脏块对应的标识更新为0)，仅将源虚拟机的内存页面脏数据向目的宿主计算机传输，此时无需将该磁盘工作集中的磁盘脏块向目的宿主计算机传输，可在后拷贝阶段再进行传输。

可见，虚拟机在线迁移装置根据P1、P2、M、N、t1及t2等的不同情况确定磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式，不仅避免了磁盘工作集的磁盘脏块数据产生率P1过高导致的停机拷贝时间段长度t1过长的问题，同时保证了停机拷贝时间段长度t1在预设最大停机拷贝时间段长度t2的范围内，从而避免对源虚拟机性能造成过大影响。

S104、根据磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式，将磁盘工作集中磁盘脏块数据、和/或、源虚拟机的内存页面脏数据传输到目的宿主计算机。

本步骤中，虚拟机在线迁移装置根据磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式(如上述根据P1、P2、M、N、t1及t2等的不同情况所确定出的拷贝方式)，将磁盘工作集中磁盘脏块数据、和/或、源虚拟机的内存页面脏数据传输到目的宿主计算机。

S105、将非磁盘工作集的磁盘块数据传输到目的宿主计算机。

本步骤中，虚拟机在线迁移装置在后拷贝阶段将非磁盘工作集的磁盘块数据传输到目的宿主计算机，其中，非磁盘工作集为源虚拟机中除磁盘工作集以外的磁盘块集合；可选地，虚拟机在线迁移装置在后拷贝阶段还可将剩余未传输的磁盘块工作集中磁盘脏块数据传输到目的宿主计算机；当全部磁盘块数据全称拷贝至目的宿主计算机时，则迁移完成。可见，只有磁盘工作集中的磁盘脏块数据可能需要多次传输，非磁盘工作集中的磁盘块数据只需传输一次，减少了需要重传的数据数量。

本实施例中，通过在预拷贝阶段将源虚拟机的磁盘工作集中的磁盘块数据以及内存页面数据传输至目的宿主计算机；在内存页面数据传输过程中，当内存页面脏数据收敛到预设阈值时，确定磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式，并根据磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式，将磁盘工作集中磁盘脏块数据、和/或、源虚拟机的内存页面脏数据传输到目的宿主计算机；进一步地，在后拷贝阶段将非磁盘工作集的磁盘块数据传输到目的宿主计算机；可见，在预拷贝阶段仅需拷贝磁盘工作集内的磁盘块数据，所需预拷贝时间较短，减少了所产生的磁盘脏块数据数量，从而减少了需要重传的数据数量，大大提高了虚拟机在线迁移效率。

可选地，步骤S101之前，还包括：

截获预设时间段内的所有IO读写操作；

根据该IO读写操作以及工作集选择算法，确定磁盘工作集/非工作集信息。

本实施例中，虚拟机在线迁移装置在获取源虚拟机的磁盘工作集中预设个数的磁盘块数据之前，通过截获预设时间段内的所有IO读写操作，分别确定出所有IO读写操作对应的读写操作信息(例如，操作类型、操作的磁盘块标识信息等)，进一步根据所有IO读写操作对应的读写操作信息以及工作集选择算法，确定出磁盘工作集/非工作集信息；其中，该磁盘工作集/非工作集信息包括：磁盘工作集的指示信息以及非磁盘工作集的指示信息；可选地，磁盘工作集/非工作集信息可以磁盘工作集位图表形式标识，例如，磁盘工作集位图表中的某个磁盘块标识对应的数值为0代表：该磁盘块标识对应的磁盘块为非磁盘工作集中的磁盘块；磁盘工作集位图表中的某个磁盘块标识对应的数值为1代表：该磁盘块标识对应的磁盘块为磁盘工作集中的磁盘块。当然，磁盘工作集/非工作集信息还可以通过其它形式标识，本申请实施例中对此并不作限制。可选地，工作集选择算法可以采用哈希映射进行索引，同时利用循环列表实现先进先出，或者还可以采用内存的工作集选择算法(例如利用空间局部性和时间局部性，采用先进先出算法)；当然，本实施例涉及的工作集选择算法还可以采用其它选择算法，本实施例中对此并不作限制。

图2为本发明虚拟机在线迁移方法的应用架构示意图。如图2所示，源宿主计算机包括：源内存、源内存迁移单元、智能停机拷贝单元、源磁盘迁移单元、源传输单元和源磁盘镜像，其中，源磁盘迁移单元包括：源IO处理子单元、源IO读写子单元、磁盘脏块同步子单元及源磁盘缓存区；目的宿主计算机包括：目的内存、目的内存迁移单元、目的磁盘迁移单元、目的传输单元和目的磁盘镜像，其中，目的磁盘迁移单元包括：目的IO处理子单元、目的IO读写子单元及目的磁盘缓存区。如图2所示，在上述实施例的基础上，本发明虚拟机在线迁移方法实施例二中对每个单元的功能进行详细描述。

本实施例虚拟机在线迁移方法包括：迁移前阶段和迁移阶段，其中，迁移阶段包括：预拷贝阶段、停机拷贝阶段及后拷贝阶段，本实施例中按照阶段顺序对各个单元的功能进行相应描述。

1)迁移前阶段

源IO处理子单元用于截获预设时间段内的所有IO读写操作，分别确定出所有IO读写操作对应的读写操作信息(例如，操作类型、操作的磁盘块标识信息等)，进一步根据所有IO读写操作对应的读写操作信息以及工作集选择算法，确定出磁盘工作集/非工作集信息，可选地，磁盘工作集/非工作集信息可以磁盘工作集位图表形式标识。

2)预拷贝阶段

源IO读写子单元用于根据磁盘工作集位图表将磁盘工作集中的磁盘块数据写入源磁盘缓存区，可选地，源IO读写子单元查看磁盘工作集位图表和已迁移位图表，若磁盘工作集位图表中磁盘工作集中的某个磁盘块数据对应的标识为1且已迁移位图表中该磁盘块数据对应的标识为0(表示该磁盘块数据未被迁移)，则源IO读写子单元将该磁盘块数据写入源磁盘缓存区，并将已迁移位图表中该磁盘块数据对应的标识修改为1(表示该磁盘块数据已被迁移)；当磁盘工作集中的所有待传输磁盘块数据均传输至目的宿主计算机后，通知源内存迁移单元，以使源内存迁移单元开始迁移源虚拟机的内存页面数据。

在源IO读写子单元将磁盘工作集中的磁盘块数据写入源磁盘缓存区中，源IO处理子单元用于截获***的所有IO读写操作，分别确定出所有IO读写操作对应的读写操作信息，并判断是否为对磁盘工作集中已传输磁盘数据块的写操作，若是，则将该读写操作信息及待写数据发送给磁盘脏块同步子单元；若否，则不作处理。

磁盘脏块同步子单元用于接收源IO处理子单元发送的读写操作信息及待写数据，并查看磁盘工作集位图表和已迁移位图表，A)若磁盘工作集位图表中磁盘工作集中的某个磁盘块数据对应的标识以及已迁移位图表中该磁盘块数据对应的标识都为1(即该磁盘块数据为磁盘脏块数据)，则将读写操作信息及待写数据写入源磁盘缓存区，等待传输至目的宿主计算机；B)若磁盘工作集位图表中磁盘工作集中的某个磁盘块数据对应的标识为1且已迁移位图表中该磁盘块数据对应的标识为0，则表示该磁盘块还没有迁移，暂时不需要同步。同时，磁盘脏块同步子单元还用于：更新磁盘工作集的磁盘脏块数据产生率P1和记录当前磁盘工作集中剩余的磁盘脏块个数M等。

源内存迁移单元用于采用迭代预拷贝方式将源虚拟机的内存页面数据向目的宿主计算机传输，直到内存页面数据收敛达到预设阈值时，通知智能停机拷贝单元，以确定磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式。

在源内存迁移单元将源虚拟机的内存页面数据向目的宿主计算机传输过程中，源IO处理子单元还用于截获***的所有IO读写操作，并将磁盘工作集中的磁盘脏块数据同步到目的宿主计算机。

3)停机拷贝阶段

智能停机拷贝单元用于查询磁盘工作集的磁盘脏块数据产生率P1、当前磁盘工作集中剩余的磁盘脏块个数M、以及磁盘工作集的磁盘块数据向目的宿主计算机传输的传输速率P2，并计算停机拷贝时间段长度t1、以及停机拷贝时间段内最大剩余磁盘脏块个数N，其中，计算t1和N的具体方式可参照上述实施例中相应部分，此处不再赘述；i)当M小于或等于N时，执行步骤A：停止源虚拟机，且将磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据向目的宿主计算机传输；ii)当P1小于P2、且M大于N时，继续预拷贝阶段(即将磁盘工作集中的磁盘脏块数据写入缓存)直至在预设超时时间段内M小于或等于N时，执行步骤A；否则，执行步骤B；iii)当P1大于或等于P2、且M大于N时，执行步骤B：停止源虚拟机，将磁盘工作集中的磁盘脏块变更为非磁盘工作集的磁盘块(即将磁盘工作集位图表中关于该磁盘脏块对应的标识更新为0)，并将源虚拟机的内存页面脏数据向目的宿主计算机传输以及将关于该磁盘脏块对应的标识更新通知目的宿主计算机。

智能停机拷贝单元还用于在停机拷贝阶段结束时，通知目的宿主计算机和/或通知源IO读写子单元启动后拷贝阶段。

可选地，智能停机拷贝单元可向磁盘脏块同步子单元查询P1和M；可选地，智能停机拷贝单元中预先存储有P2以及预设最大停机拷贝时间段长度t2。

4)后拷贝阶段

源IO读写子单元用于将非磁盘工作集的磁盘块数据传输到目的宿主计算机，可选地，通过查看磁盘工作集位图表和已迁移位图表，若磁盘工作集位图表中磁盘工作集中的某个磁盘块数据对应的标识以及已迁移位图表中该磁盘块数据对应的标识都为0，则将该磁盘块数据写入源磁盘缓存区，传输至目的宿主计算机，并将已迁移位图表中该磁盘块数据对应的标识修改为1(表示该磁盘块数据已被迁移)。

目的IO处理子单元用于截获预设时间段内的所有IO读写操作，判断是否对未迁移磁盘块数据的读/写操作；A)若是读操作，则向源宿主计算机的源IO处理子单元请求所需磁盘块数据，以使源IO处理子单元请求将所需磁盘块数据尽快传输至目的宿主计算机；B)若是写操作，则将待写数据直接写入目的磁盘缓存区，并将已迁移位图表中该磁盘块数据对应的标识更新为1(表示该磁盘块数据已被迁移)；C)若是对已迁移磁盘块数据的读/写操作，则直接进行读/写。

目的IO读写子单元用于读取目的磁盘缓存区中的磁盘块数据写入目的磁盘镜像中，并将目的IO处理子单元请求的数据写入目的磁盘镜像中。

可选地，在上述各个阶段，源IO处理子单元还用于实时更新磁盘工作集/非工作集信息。

综上所述，本申请实施例提供的虚拟机在线迁移方法，通过根据磁盘工作集动态划分预拷贝阶段和后拷贝阶段的磁盘块数据(磁盘工作集内的磁盘块数据作为预拷贝阶段需要拷贝的磁盘块，非磁盘工作集内的磁盘块数据作为后拷贝阶段的磁盘块)，因此，在预拷贝阶段仅需拷贝磁盘工作集内的磁盘块数据，所需预拷贝时间较短，在实现较小缺块率的前提下，减少了所产生的磁盘脏块数据数量，从而减少了需要重传的数据数量，大大提高了虚拟机在线迁移效率；进一步地，根据P1、P2、M、N、t1及t2等的不同情况确定磁盘工作集中磁盘脏块数据和源虚拟机的内存页面脏数据拷贝方式，不仅避免了磁盘工作集的磁盘脏块数据产生率P1过高导致的停机拷贝时间段长度t1过长的问题，同时保证了停机拷贝时间段长度t1在预设最大停机拷贝时间段长度t2的范围内，从而避免对源虚拟机性能造成过大影响。

图3为本发明虚拟机在线迁移装置实施例一的结构示意图。如图3所示，本实施例提供的虚拟机在线迁移装置30，包括：

处理模块301，用于获取源虚拟机的磁盘工作集中预设个数的磁盘块数据，并将所述预设个数的磁盘块数据写入缓存，其中，所述磁盘工作集为预设时间段内待访问磁盘块的集合；

第一传输模块302，用于将所述预设个数的磁盘块数据向目的宿主计算机传输，并将所述源虚拟机的内存页面数据向所述目的宿主计算机传输；其中，所述目的宿主计算机中运行有目的虚拟机；

确定模块303，用于在所述内存页面数据传输过程中，当所述内存页面脏数据收敛到预设阈值时，确定所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式；

第二传输模块304，用于根据所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式，将所述磁盘工作集中磁盘脏块数据、和/或、所述源虚拟机的内存页面脏数据传输到所述目的宿主计算机；

第三传输模块305，用于将非磁盘工作集的磁盘块数据传输到所述目的宿主计算机，其中，所述非磁盘工作集为所述源虚拟机中除所述磁盘工作集以外的磁盘块集合。

进一步地，虚拟机在线迁移装置30还包括：

第四传输模块，用于将所述磁盘工作集中的磁盘脏块数据写入所述缓存，并将所述磁盘工作集中的磁盘脏块数据向所述目的宿主计算机传输。

进一步地，虚拟机在线迁移装置30还包括：

获取模块，用于获取所述磁盘工作集的磁盘脏块数据产生率P1、当前所述磁盘工作集中剩余的磁盘脏块个数M、以及所述磁盘工作集的磁盘块数据向目的宿主计算机传输的传输速率P2；

计算模块，用于根据所述当前所述磁盘工作集中剩余的磁盘脏块个数M、以及所述磁盘工作集的磁盘块数据向目的宿主计算机传输的传输速率P2，计算停机拷贝时间段长度、以及所述停机拷贝时间段内最大剩余磁盘脏块个数N；

其中，M和N为大于0的正整数，P1和P2大于0。

进一步地，所述确定模块303具体用于：

M小于或等于N时，执行步骤A：停止所述源虚拟机，且将所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据向所述目的宿主计算机传输；或者，

P1小于P2、且M大于N时，继续将所述磁盘工作集中的磁盘脏块数据写入所述缓存直至在预设超时时间段内M小于或等于N时，执行步骤A；否则，执行步骤B；

P1大于或等于P2、且M大于N时，执行步骤B：停止所述源虚拟机，将所述磁盘工作集中的磁盘脏块变更为非磁盘工作集的磁盘块，并将所述源虚拟机的内存页面脏数据向所述目的宿主计算机传输。

进一步地，所述处理模块301还用于：

截获所述磁盘工作集中已写入所述缓存的磁盘数据块的写操作；

根据所述写操作将待写数据写入所述缓存中。

进一步地，虚拟机在线迁移装置30还包括：

截获模块，用于截获预设时间段内的所有IO读写操作；

确定模块，用于根据所述IO读写操作以及工作集选择算法，确定磁盘工作集/非工作集信息；其中，所述磁盘工作集/非工作集信息包括：磁盘工作集的指示信息以及非磁盘工作集的指示信息。

可选地，本实施例的虚拟机在线迁移装置中各模块的功能可以通过上述图2所示的源宿主计算机中的相应单元实现，具体实现方式详见上述本发明虚拟机在线迁移方法实施例二，此处不再赘述。

本实施例的虚拟机在线迁移装置，可以用于执行本发明上述虚拟机在线迁移方法任意实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。

本发明实施例还提供一种虚拟机在线迁移***，参照图1A所示，本实施例提供的虚拟机在线迁移***，包括：运行源虚拟机的源宿主计算机以及运行目的虚拟机的目的宿主计算机，其中，所述源宿主计算机中包含上述虚拟机在线迁移装置实施例一中所述的虚拟机在线迁移装置，对应地，可以执行本发明上述虚拟机在线迁移方法任意实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以理解：本文中涉及的第一、第二等各种数字编号仅为描述方便进行的区分，并不用来限制本发明实施例的范围。

本领域普通技术人员可以理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种虚拟机在线迁移方法，其特征在于，包括：

获取源虚拟机的磁盘工作集中预设个数的磁盘块数据，并将所述预设个数的磁盘块数据写入缓存，其中，所述磁盘工作集为预设时间段内待访问磁盘块的集合；

将所述预设个数的磁盘块数据向目的宿主计算机传输，并将所述源虚拟机的内存页面数据向所述目的宿主计算机传输；其中，所述目的宿主计算机中运行有目的虚拟机；

在所述内存页面数据传输过程中，当所述内存页面脏数据收敛到预设阈值时，确定所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式；

根据所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式，将所述磁盘工作集中磁盘脏块数据、和/或、所述源虚拟机的内存页面脏数据传输到所述目的宿主计算机；

将非磁盘工作集的磁盘块数据传输到所述目的宿主计算机，其中，所述非磁盘工作集为所述源虚拟机中除所述磁盘工作集以外的磁盘块集合；

所述根据所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式之前，还包括：

将所述磁盘工作集中的磁盘脏块数据写入所述缓存，并将所述磁盘工作集中的磁盘脏块数据向所述目的宿主计算机传输；

所述确定所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式之前，还包括：

获取所述磁盘工作集的磁盘脏块数据产生率P1、当前所述磁盘工作集中剩余的磁盘脏块个数M、以及所述磁盘工作集的磁盘块数据向目的宿主计算机传输的传输速率P2；

根据所述当前所述磁盘工作集中剩余的磁盘脏块个数M、以及所述磁盘工作集的磁盘块数据向目的宿主计算机传输的传输速率P2，计算停机拷贝时间段长度、以及所述停机拷贝时间段内最大剩余磁盘脏块个数N；

其中，M和N为大于0的正整数，P1和P2大于0。

2.根据权利要求1所述的方法，其特征在于，所述确定所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式，包括：

M小于或等于N时，执行步骤A：停止所述源虚拟机，且将所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据向所述目的宿主计算机传输；或者，

P1小于P2、且M大于N时，继续将所述磁盘工作集中的磁盘脏块数据写入所述缓存直至在预设超时时间段内M小于或等于N时，执行步骤A；否则，执行步骤B；

P1大于或等于P2、且M大于N时，执行步骤B：停止所述源虚拟机，将所述磁盘工作集中的磁盘脏块变更为非磁盘工作集的磁盘块，并将所述源虚拟机的内存页面脏数据向所述目的宿主计算机传输。

3.根据权利要求1所述的方法，其特征在于，在将所述预设个数的磁盘块数据写入缓存过程中，所述方法还包括：

截获所述磁盘工作集中已写入所述缓存的磁盘数据块的写操作；

根据所述写操作将待写数据写入所述缓存中。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述获取源虚拟机的磁盘工作集中预设个数的磁盘块数据之前，还包括：

截获预设时间段内的所有IO读写操作；

根据所述IO读写操作以及工作集选择算法，确定磁盘工作集/非工作集信息；其中，所述磁盘工作集/非工作集信息包括：磁盘工作集的指示信息以及非磁盘工作集的指示信息。

5.一种虚拟机在线迁移装置，其特征在于，包括：

处理模块，用于获取源虚拟机的磁盘工作集中预设个数的磁盘块数据，并将所述预设个数的磁盘块数据写入缓存，其中，所述磁盘工作集为预设时间段内待访问磁盘块的集合；

第一传输模块，用于将所述预设个数的磁盘块数据向目的宿主计算机传输，并将所述源虚拟机的内存页面数据向所述目的宿主计算机传输；其中，所述目的宿主计算机中运行有目的虚拟机；

确定模块，用于在所述内存页面数据传输过程中，当所述内存页面脏数据收敛到预设阈值时，确定所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式；

第二传输模块，用于根据所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据拷贝方式，将所述磁盘工作集中磁盘脏块数据、和/或、所述源虚拟机的内存页面脏数据传输到所述目的宿主计算机；

第三传输模块，用于将非磁盘工作集的磁盘块数据传输到所述目的宿主计算机，其中，所述非磁盘工作集为所述源虚拟机中除所述磁盘工作集以外的磁盘块集合；

第四传输模块，用于将所述磁盘工作集中的磁盘脏块数据写入所述缓存，并将所述磁盘工作集中的磁盘脏块数据向所述目的宿主计算机传输；

获取模块，用于获取所述磁盘工作集的磁盘脏块数据产生率P1、当前所述磁盘工作集中剩余的磁盘脏块个数M、以及所述磁盘工作集的磁盘块数据向目的宿主计算机传输的传输速率P2；

计算模块，用于根据所述当前所述磁盘工作集中剩余的磁盘脏块个数M、以及所述磁盘工作集的磁盘块数据向目的宿主计算机传输的传输速率P2，计算停机拷贝时间段长度、以及所述停机拷贝时间段内最大剩余磁盘脏块个数N；

其中，M和N为大于0的正整数，P1和P2大于0。

6.根据权利要求5所述的装置，其特征在于，所述确定模块具体用于：

M小于或等于N时，执行步骤A：停止所述源虚拟机，且将所述磁盘工作集中磁盘脏块数据和所述源虚拟机的内存页面脏数据向所述目的宿主计算机传输；或者，

P1小于P2、且M大于N时，继续将所述磁盘工作集中的磁盘脏块数据写入所述缓存直至在预设超时时间段内M小于或等于N时，执行步骤A；否则，执行步骤B；

P1大于或等于P2、且M大于N时，执行步骤B：停止所述源虚拟机，将所述磁盘工作集中的磁盘脏块变更为非磁盘工作集的磁盘块，并将所述源虚拟机的内存页面脏数据向所述目的宿主计算机传输。

7.根据权利要求5所述的装置，其特征在于，所述处理模块还用于：

截获所述磁盘工作集中已写入所述缓存的磁盘数据块的写操作；

根据所述写操作将待写数据写入所述缓存中。

8.根据权利要求5-7中任一项所述的装置，其特征在于，还包括：

截获模块，用于截获预设时间段内的所有IO读写操作；

确定模块，用于根据所述IO读写操作以及工作集选择算法，确定磁盘工作集/非工作集信息；其中，所述磁盘工作集/非工作集信息包括：磁盘工作集的指示信息以及非磁盘工作集的指示信息。

9.一种虚拟机在线迁移***，其特征在于，包括：运行源虚拟机的源宿主计算机以及运行目的虚拟机的目的宿主计算机，其中，所述源宿主计算机中包含如权利要求5-8中任一项所述的虚拟机在线迁移装置。