CN104102528A - 快速的虚拟机监视器性能恢复方法 - Google Patents

Abstract

本发明提供一种快速的虚拟机监视器性能恢复方法，步骤如下：步骤1，基于内存的VM状态钝化；步骤2，VMM微重启；步骤3，VM激活。本发明提供的方法可以快速清除VMM的内部状态，降低由于频繁的磁盘存取大量占用带宽对其他VMs的影响，以及避免重启后的***不会因为不一致的数据再次进入崩溃状态。

Description

快速的虚拟机监视器性能恢复方法

技术领域

本发明属于性能恢复技术领域，特别是一种快速的虚拟机监视器性能恢复方法。

背景技术

软件衰退现象是指一个长时间持续运行的软件***会发生状态退化或性能降低，最终导致***崩溃。软件衰退现象往往表现为***资源缓慢泄漏、未释放的文件锁、数据损坏等形式，且随着时间推移，***错误状态逐步累积，导致***性能下降，或者瞬时失效。

近年来，为了有效地满足面向互联网的复杂应用对大规模计算能力、海量数据处理和信息服务的需求，国际学术界和工业界开始借助于虚拟化技术实现异构环境中资源的可共享、可管理和可协同，并支持应用大规模部署、迁移和运行维护。虚拟化技术通过在软、硬件之间引入虚拟层，屏蔽硬件平台的动态性、分布性和异构性，支持硬件资源的共享和复用，并为每个普通用户提供独立的、隔离的计算环境，同时为管理员提供软硬件资源的集中管理。结合图1，虚拟机监视器VMM(Virtual Machine Monitor)是实现虚拟化技术的中间层软件，常用的VMM有Xen和VMware等。借助于虚拟化技术在软、硬件之间引入虚拟层，该层屏蔽硬件平台的动态性、分布性和异构性，支持硬件资源的共享和复用，并为每个普通用户提供独立的、隔离的计算环境，同时为管理员提供软硬件资源的集中管理。通常，把通过VMM为应用提供的独立运行环境称之为虚拟机VM(Virtual Machine)，如运行在VMware中的Linux***和应用程序构成一个VM，且把VM中的操作***称之为客户操作***GOS(Guest OperatingSystem)，VMM称为VM的宿主。对于每个VMM而言，可以承载多个VM，每个VM之间相互隔离。然而，对于任何软件而言，在其运行时不可避免地经历软件衰退，VMM自然也不能例外。因为VMM是VMs的宿主，所以当VMM进行性能恢复时，VMs的状态会丢失，导致VM提供的服务失效，且增加失效时间。

为了应对由于软件衰退导致的***性能下降，甚至是失效，研究人员提出了很多用于恢复***性能的方法，如Restart，Microreboot，Checkpointing，Rio，RootHammer，Otherworld，Recovery Box等，用于改善***性能，增加***的可靠性和可用性。

重启Restart(B.Randell.System Structure for Software Fault Tolerance.IEEETransactions on Software Engineering,SE-1(2):220-232,1975.)是一种最为简单而有效的性能恢复手段，常被应用于操作***和进程的重启。其中，操作***重启是用于解决操作***运行时问题的最为常见的方法，然而，操作***重启涉及关闭运行时***，重新加载操作***内核，需要比较多的时间开销，并且会导致正在运行的应用程序进程意外终止，造成数据丢失。本发明中的VMM地位等价于传统计算***中操作***的地位，若将重启技术直接应用于VMM会导致VM状态的丢失。

Microreboot(G.Candea,S.Kawamoto,Y.Fujiki,G.Friedman,and A.Fox,Microreboot-A Technique for Cheap Recovery，6th Symposium on OperatingSystems Design and Implementation,San Francisco,CA,pp.31-44,2004)是一种递归重启技术，该技术的核心思想是首先对细粒度的软件组件实施重启，若重启后软件性能未能恢复，则对更粗粒度的软件组件实施重启，以此类推，直至达到恢复性能的目的。本发明中仅考虑VMM有恢复的需求，认为VMM承载的VM是健壮的，因此没有应用递归重启技术的必要性，但需要确保VMM重启时VM状态不丢失。

通过使用重启技术和Microreboot技术，重启后***从失效状态重新回到了健康状态，但由于大量数据和状态丢失，很多应用和服务中断，性能大大降低。

为了解决恢复过程中待恢复软件组件所承载组件状态丢失的问题，Checkpointing以及Rio文件缓存法被提出。Checkpointing(S.Feldman and C.Brown.IGOR:A System for Program Debugging via Reversible Execution.InProceedings of the Workshop on Parallel and Distributed Debugging,pages112–123,1989)被应用于恢复过程，基本思想是在对待恢复软件组件实施恢复之前，采用Checkpointing技术保存所承载组件状态，但恢复过后再重新加载所承载组件状态，避免组件状态丢失。Rio文件缓存法(P.Chen,W.Ng,S.Chandra,C.Aycock,G.Rajamani,and D.Lowell,The Rio File Cache:Surviving Operating SystemCrashes,in Proc.Int’l Conf.ASPLOS,1996,pp.74–83.)能够保存旧的文件缓存。当***崩溃时，Rio能够保存脏文件缓存至硬盘，并且能够防止因重启造成对文件的任何修改或损坏。Rio依赖于操作***和硬件，有些操作不能被硬件支持，而本发明方法依赖于VMM，独立于硬件。另外，Rio关注的是***的可靠性，对重启后提升***性能作用甚微。

无论是Checkpointing和Rio文件缓存法保存组件状态都是基于外存实现的，需要更多的时间开销，因此研究人员考虑基于内存的状态保存方法，如Otherworld(M.Le,A.Gallagher,and Y.T amir,Challenges and Opportunities withFault Injection in Virtualized Systems，First International Workshop on VirtualizationPerformance:Analysis,Characterization and Tools,Austin,TX，April 2008)。Otherworld允许Linux内核从失效状态中恢复，并同时保存运行进程的状态。新内核在一块预留的存储空间中启动，因此失效***的存储空间中的内容被保存了下来。在Otherworld中，线程通过新建进程描述符并从旧的内存区域拷贝出原值，然而修复的内核组件需要传递许多复杂的数据结构，这极有可能损坏内核。本发明虽然也采用的基于内存的VM状态保存思想，但充分利用原VM分配的内存空间，通过P2M映射表能方便识别被修改的内存页缩小需要保留的内存页范围，且所需额外内存开销很小。

Recovery Box(M.Baker and M.Sullivan.The Recovery Box:Using FastRecovery to Provide High Availability in the UNIX Environment.In Proceedings ofthe Summer USENIX Conference,pages31–44,1992)仅保存操作***和应用程序的状态，且将状态保存于未使用的内存空间中，在恢复之后重新加载这些状态，但是它也需要硬件支持以达到在重启后内存状态不丢失的目的，本发明方法依赖于VMM，独立于硬件，且能保存完整的VM状态。

发明内容

本发明的目的在于提供一种融合VM钝化和激活以及VMM微重启实施快速的虚拟机监视器性能恢复方法。

实现本发明目的的技术解决方案为：一种快速的虚拟机监视器性能恢复方法，步骤如下：

步骤1，基于内存的VM状态钝化，具体为：

在实施VMM性能恢复之前，将VMM中每个VM的所有状态保存到预留的内存块中；

步骤2，VMM微重启，具体为：

保存重启前VMM的堆信息、静态数据段和内存页信息，载入原始内核映像实现***重启，解决重启前后状态的一致性问题；

步骤3，VM激活，具体为：

按照每个VM的配置信息创建新的VM，将保存在预留内存块中的VM的所有状态重新加载到新的VM中。

本发明与现有技术相比，其显著优点：(1)在VMM实施性能恢复之前，钝化VM的状态信息，尤其是已使用的内存页，能缩短重建VM过程中从文件***读取文件填充内存页的时间，进而也避免了由于频繁的磁盘存取大量占用带宽对其他VMs的影响；(2)采用微重启的方法，既能快速清除VMM的内部状态，又能通过集成旧VMM和VMs的状态的方法迅速恢复***性能，很大程度上减少了空间和时间成本；(3)在***重启后，通过判断不一致的诱发因素，有针对性地使用不同的机制解决一致性问题，使得重启后的***不会因为不一致的数据再次进入崩溃状态，从而保证恢复成功率。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是单服务器虚拟化***场景图；

图2是本发明快速的虚拟机性能恢复方法的流程图；

图3是VM状态钝化过程图；

图4是VMM微重启的流程图；

图5是VMM的内存结构图。

具体实施方式

结合图2，本发明提供一种快速的虚拟机性能恢复方法，步骤如下：

步骤1，基于内存的VM状态钝化，具体为：

在实施VMM性能恢复之前，将VMM中每个VM的所有状态保存到预留的内存块中；

步骤2，VMM微重启，具体为：

保存重启前VMM的堆信息、静态数据段和内存页信息，载入原始内核映像实现***重启，解决重启前后状态的一致性问题；

步骤3，VM激活，具体为：

按照每个VM的配置信息创建新的VM，将保存在预留内存堆中的VM的所有状态重新加载到新的VM中。

结合图3，步骤1的具体过程如下：

步骤1.1，通过VMM提供的VM状态管理接口获取VMM承载的VM的个数n、每个VM的配置信息和每个VM的状态，设VM_LIST表示VMM承载的VM列表，记为VM_LIST＝{VM₁,VM₂,...,VM_n}，对于任意的VM_i(1≤i≤n)，其状态空间为S＝{s₁,s₂,s₃}，其中s₁表示VM处于运行态，s₂表示处于休眠态以及s₃表示关闭状态；VM的配置信息包括虚拟CPU个数、虚拟网络适配器个数、虚拟内存大小和虚拟磁盘空间大小等；若VM_i处于s₁或者s₂，则VMM为VM_i预留对应的内存堆，分配额外的内存单元存储VM_i的配置信息和执行状态；若VM_i处于s₃，记为r∈[1,n]；

步骤1.2，选取运行态的和休眠态的中的任意一个VM_j，其中p,q∈[1,n]， ${\mathrm{VM}}_j\∈\{{\mathrm{VM}}_p^{s_1},{\mathrm{VM}}_q^{s_2}\},$ 初始化j＝1；

步骤1.3，VMM向VM_j发出暂停指令，即suspend指令，一旦VM_j接收到suspend指令，则VM_j的suspend处理程序调用前端驱动程序的detach接口用于卸载VM_j上已经加载所有虚拟设备；每个VM都有一个前端驱动程序，该驱动程序负责管理VM上的所有虚拟设备，如虚拟磁盘，虚拟网络适配器等；一旦所有虚拟设备卸载完成，VM_j的suspend处理程序向VMM发起suspend超级调用；

步骤1.4，VMM为发起suspend超级调用的VM_j预留对应的内存块，用于保存P2M映射表和缓存内存页，其中P2M映射表维护VM内存管理的物理地址到VMM管理的机器地址映射关系，由VMM负责管理P2M映射表；VM管理的每个内存页面被称为物理内存页，每个页面都有唯一的编号，称为PFN(physicalframe number)，而VMM管理的每个内存页面被称为机器内存页，也有唯一的编号，称为MFN(machine frame number)，所以P2M映射表的每一个表项都是PFN到MFN映射。一旦VM_j分配了内存页，则该内存页对应的PFN到MFN映射关系即被存储到P2M映射表；缓存内存页是被VM使用的那些内存页，可以通过查询P2M映射表计算，具体方法是遍历P2M映射表，每个映射表项中的PFN即为缓存内存页的PFN，这些缓存内存页在VMM实施恢复操作过程中，需要保留下来；P2M映射表和缓存内存页对应的机器内存页本身由VMM负责管理，所以这两部分VM状态的保存不需要额外内存空间，直接关闭VM_j；

步骤1.5，再次通过VMM提供的VM状态管理接口获取VM_j的状态，若VM_j未处于关闭状态，则重新执行步骤1.3-1.4；若状态为已关闭，令j←j+1，重复步骤1.3-1.4，直到VMM提供的VM状态管理接口获取每一个VM_j的状态均处于关闭状态，步骤1结束。

结合图4，步骤2的具体过程如下：

步骤2.1，保留VMM的状态；VMM的内存结构如图5所示，在VMM微重启过程中保留的数据包括VMM的静态数据段、VMM堆信息和VMM机器内存页信息，其中静态数据段包含了新的VMM启动过程中所需的关键信息，如中断描述符，指向VMM堆内存结构的指针，指向VM内存结构和VM列表的指针，具体方法为：

步骤2.1.1，修改VMM的链接程序linker，将预留的内存空间分配给bss段实现bss段的扩展，使得该增加的内存空间足以容纳重启前VMM的bss段和静态数据段的数据，将重启前VMM的bss段和静态数据段的数据复制到新的VMM的扩展后bss段；

步骤2.1.2，修改VMM的启动程序bootup，在新VMM的内存堆分配之前，从重启前VMM的内存堆中通过遍历的方式识别未经使用的内存页，将未经使用的内存页被添加到内存堆尾部，这使得原先已经被使用的内存页在重启前后保持不变；通过这种方式，保存在VMM内存堆中的VM的状态信息在重启前后不会丢失；

步骤2.2，为了确保VMM和VM_j状态得以保留，利用Linux内核提供的kexec机制设计了快速的VMM加载方法，该方法可以避免在***重启过程中由于硬件复位导致的内存状态丢失，具体过程如下：在VMM中实现kexec机制的快速的VMM加载方法xexec，该方法负责加载VMM的原始内核映像以及特权虚拟机VM^*的内核，并为特权虚拟机VM^*分配初始内存和磁盘空间；特权虚拟机VM^*和VMM共同管理VMM其他的虚拟机VM₁,VM₂,...,VM_n；

步骤2.3，重启VMM并完成初始化，将扩展的bss段中的静态数据段中数据拷贝至重启后新的静态数据段中，这些数据包括特权虚拟机指针、存储空闲分配表指针、P2M映射表指针、时间事件对象指针、域列表指针、哈希表指针、***时间变量、IRQ描述；

步骤2.4，消除新旧VMM之间、VMM和VM之间、以及VMM和硬件之间的状态不一致，即消除新旧VMM之间、VMM和VM之间、以及VMM和硬件之间的状态不一致：

新旧VMM之间的状态不一致是由VMM失效导致的关键数据结构被部分更新、锁未释放和内存泄露引起的；针对上述三种导致不一致的原因，采取不同的相对措施消除状态不一致，具体方法如下：针对部分更新的数据结构，利用VMM失效前记录的日志信息重建新VMM的数据结构；针对未释放的锁，跟踪所有的锁和信号并重新初始化；针对内存泄露，在恢复VMM后，***回收泄露的存储空间；

VMM和VM之间的状态不一致是由非单调递增的***时间、部分执行的超级调用、未送达的虚拟中断引起；针对上述三种导致不一致的原因，采取不同的相对措施消除状态不一致；具体方法如下：针对非单调递增的***时间问题，在VMM崩溃前保存VMM时间结构，并在VMM重启后在VMs运行前恢复时间结构，保证***时间和VMs的时间一致；针对部分执行的超级调用，通过日志获取超级调用执行信息，重新执行未完整执行的超级调用；针对未送达的虚拟中断，采用超时机制由超时处理程序重新发送虚拟中断请求。

通过重置I/O控制器或响应所有挂起的中断来解决VMM和硬件之间的不一致性。

消除新旧VMM之间、VMM和VM之间、以及VMM和硬件之间的状态不一致的具体方法参见以下几篇文章：

Candea G,Kawamoto S,Fujiki Y,et al.Microreboot-A Technique for CheapRecovery[C]//OSDI.2004,4:31-44.

Chen P M,Ng W T,Chandra S,et al.The Rio file cache:Surviving operatingsystem crashes[M].ACM,1996.

Bailey K,Ceze L,Gribble S D,et al.Operating system implications of fast,cheap,non-volatile memory[C]//Proceedings of the13th USENIX conference on Hottopics in operating systems.USENIX Association,2011:2-2.

Kourai K.Cachemind:Fast performance recovery using a virtual machinemonitor[C]//Dependable Systems and Networks Workshops(DSN-W),2010International Conference on.IEEE,2010:86-92.

Park E,Egger B,Lee J.Fast and space-efficient virtual machinecheckpointing[C]//ACM SIGPLAN Notices.ACM,2011,46(7):75-86.

步骤3的具体过程如下：

步骤3.1，遍历VM_LIST，选取任意VM_l，初始化变量l＝1,1≤l≤n；

步骤3.2，若VM_l处于运行态或休眠态，则按照VM_l的配置信息和P2M映射表为VM_l分配配置信息指定的内存空间，转步骤3.3；若VM_l处于关闭状态，则转步骤3.5；

步骤3.3，根据配置信息加载虚拟设备，并建立与前端驱动程序之间的通信；

步骤3.4，启动VM_l，并由VMM更新P2M映射表，设置VM_l的执行状态；

步骤3.5，l←l+1；若l≤n-1，则转到步骤3.2；否则，结束步骤3。

Claims (4)

1.一种快速的虚拟机监视器性能恢复方法，其特征在于，步骤如下：

步骤1，基于内存的VM状态钝化，具体为，

在实施VMM性能恢复之前，将VMM中每个VM的所有状态保存到预留的内存块中；

步骤2，VMM微重启，具体为，

保存重启前VMM的堆信息、静态数据段和内存页信息，载入原始内核映像实现***重启，解决重启前后状态的一致性问题；

步骤3，VM激活，具体为，

按照每个VM的配置信息创建新的VM，将保存在VMM预留内存堆中的VM的所有状态重新加载到新的VM中。

2.根据权利要求1所述的快速的虚拟机监视器性能恢复方法，其特征在于步骤1的具体过程如下：

步骤1.1，通过VMM提供的VM状态管理接口获取VMM承载的VM的个数n、每个VM的配置信息和每个VM的状态，记为VM_LIST＝{VM₁,VM₂,...,VM_n}，VM_LIST为VMM承载的VM列表，并为每一个处于运行态的和休眠态的预留对应的内存块存储其相应配置信息和执行状态，其中p,q∈[1,n]；

步骤1.2，选取运行态的和休眠态的中的任意一个VM_j， ${\mathrm{VM}}_j\∈\left\{{\mathrm{VM}}_p^{s_1}{,\mathrm{VM}}_q^{s_2}\right\},$ 初始化变量j＝1；

步骤1.3，VMM向VM_j发出suspend指令，每一个VM_j的detach接口卸载已经加载的所有虚拟设备，卸载完成之后每一个VM_j的suspend处理程序向VMM发起suspend超级调用；

步骤1.4，VMM为发起suspend超级调用的VM_j保存P2M映射表和缓存内存页，关闭VM_j；

步骤1.5，再次通过VMM提供的VM状态管理接口获取VM_j的状态，若VM_j未处于关闭状态，则重新执行步骤1.3-1.4；若状态为已关闭，令j←j+1，重复步骤1.3-1.4，直到VMM提供的VM状态管理接口获取每一个VM_j的状态均处于关闭状态。

3.根据权利要求1所述的快速的虚拟机监视器性能恢复方法，步骤2的具体过程如下：

步骤2.1，保存重启前VMM的堆信息、静态数据段和内存页信息，具体方法为：

步骤2.1.1，修改VMM的链接程序linker，扩展VMM的bss段，将重启前VMM的bss段和静态数据段的数据复制到新的VMM的扩展后bss段；

步骤2.1.2，修改VMM的启动程序bootup，识别重启前VMM的内存堆中未经使用的内存页并将其添加到内存堆尾部；

步骤2.2，基于kexec机制的快速VMM加载方法，加载VMM的原始内核映像以及特权虚拟机VM^*的内核，并为特权虚拟机VM^*分配初始内存和磁盘空间；

步骤2.3，重启VMM并完成初始化，将扩展的bss段中的静态数据段中数据拷贝至重启后新的静态数据段中；

步骤2.4，消除新旧VMM之间、VMM和VM之间、以及VMM和硬件之间的状态不一致。

4.根据权利要求1所述的快速的虚拟机监视器性能恢复方法，其特征在于步骤3的具体过程如下：

步骤3.1，遍历VM_LIST，选取任意VM_l，初始化变量l＝1,1≤l≤n；

步骤3.2，若VM_l处于运行态或休眠态，则按照VM_l的配置信息和P2M映射表为VM_l分配配置信息指定的内存空间，转步骤3.3；若VM_l处于关闭状态，则转步骤3.5；

步骤3.3，根据配置信息加载虚拟设备，并建立与前端驱动程序之间的通信；

步骤3.4，启动VM_l，并由VMM更新P2M映射表，设置VM_l的执行状态；

步骤3.5，l←l+1；若l≤n-1，则转到步骤3.2；否则，结束步骤3。