CN104102556B - 一种虚拟机磁盘数据备份及恢复方法 - Google Patents

Abstract

本发明涉及一种虚拟机磁盘数据备份方法，包括：101)获取扇区集合并将其按块级形式进行存储；102)将虚拟机磁盘数据块组成虚拟机磁盘对象；103)将虚拟机磁盘对象组成虚拟机对象；104)生成备份时间点对象；与上述方法相对应的数据恢复方法包括：201)执行一次完全备份和N次增量备份；202)选定恢复时间点；203)恢复数据，记录好已恢复的扇区集合；204)取前一次备份的扇区集合与已恢复的交集，将交集外数据恢复，并更新已恢复的扇区集合；205)：若已恢复的扇区集合是整个扇区，则结束，否则返回步骤204)。与现有技术相比，本发明对备份的虚拟机磁盘数据进行有效的管理和存储，具有提高数据备份和恢复效率等优点。

Description

一种虚拟机磁盘数据备份及恢复方法

技术领域

本发明涉及一种数据备份和恢复的方法，尤其是涉及一种虚拟机磁盘数据备份及恢复方法。

背景技术

在云计算和大数据时代，虚拟化扮演着非常重要的角色，虽然说虚拟化给IT产业带来颠覆性的革命，同样虚拟化给备份容灾的行业也带来颠覆性的革命，以前以物理服务器为备份对象的备份方式已然不适合当前的虚拟化环境，虚拟化环境的数据量增加的速度远远超过了人们的想象，面对如此庞大的数据量如何进行保护成了许多备份厂商新的攻克课题。

Vmware公司提供了一套备份恢复EXS/EXSI上虚拟机的接口VADP(VMwarevStorage API for Data Protection)，利用这些接口可以方便的对EXS/EXSI上的虚拟机进行备份和恢复，这套接口中融合了一种叫做CBT(Changed Block Tracking)技术(数据块修改跟踪)，这种技术可以跟踪到虚拟机磁盘基于上一次备份后可能发生过变化的虚拟机磁盘的扇区数及其位置。而这项技术对备份软件来说关键的两个点是：1、虚拟机必须设置成允许CBT；2、每次备份的时候要记录每个虚拟磁盘的change Id(虚拟机磁盘变化块的标识)。只要满足这两个关键点备份软件就可以对虚拟机进行增量备份，这个对于大数据量的虚拟化环境来说可谓是大好的消息。

虽然说Vmware已经提供了CBT技术对虚拟机进行增量备份，但是很多备份厂商仍然没有很好的利用CBT这项技术。在备份上，很多备份厂商只是利用CBT来做增量备份，并且还是会定时的对虚拟机进行完全备份。在恢复上，很多备份厂商依然停留在物理服务器上数据恢复的思路，从完全备份时间点开始一个一个增量时间点的恢复，直到恢复当前选中的时间点为止。在备份上，用户要为保留多个完全备份时间点的数据浪费很多存储；在恢复上，用户要花费宝贵的恢复时间去恢复很多重复的数据。

出现上面的一系列问题的根本原因是备份软件没有对备份的虚拟机磁盘数据进行有效的组织管理和存储，本发明就是为了解决上面的问题而提出的一种新的存储虚拟机磁盘数据备份及恢复方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种虚拟机磁盘数据备份及恢复方法，可应用于Vmware ESXI/ESX虚拟平台上，对备份的虚拟机磁盘数据进行有效的组织管理和存储，提高数据备份和恢复的效率。

本发明的主要思想就是对虚拟机磁盘的数据进行一个组织和管理，可以方便的计算出虚拟机磁盘的每个扇区的存储位置，再结合CBT技术中的相关信息即可做到本发明的效果。

本发明的目的可以通过以下技术方案来实现：

一种虚拟机磁盘数据备份方法，包括：

101)判断是否进行完全备份，若是，则获取全部的虚拟机磁盘数据扇区集合，若否，则进行增量备份，获取相对上一次备份后发生数据变化的所有虚拟机磁盘数据扇区集合；

102)将获得的虚拟机磁盘数据扇区集合按块级形式进行存储，即按大小a分为多个虚拟机磁盘数据块，每个虚拟机磁盘数据块记录以下信息：当前数据块的起始扇区数、总扇区数和存储位置；

103)将若干个虚拟机磁盘数据块组成一个虚拟机磁盘对象，每个虚拟机磁盘对象记录以下信息：虚拟机磁盘的配置信息、虚拟机磁盘变化块标志change Id、虚拟机磁盘变化块信息和虚拟机磁盘数据块信息；

104)将一个或多个虚拟机磁盘对象组成一个虚拟机对象，每个虚拟机对象对应一个虚拟机，并记录以下信息：虚拟机本身的配置信息和虚拟机磁盘对象信息；

105)生成一个备份时间点对象，保存备份时间点对象信息，包括当前的备份时间点以及该时间点产生的所有虚拟机对象信息。

所述的虚拟机磁盘的配置信息包括虚拟机磁盘的名称、类型、大小和GUID，所述的虚拟机本身的配置信息包括虚拟机的名称和GUID。

所述的虚拟机磁盘变化块信息是一个数组，记录了完全备份或增量备份时每一个虚拟机磁盘数据扇区集合的起始扇区X和扇区大小Y，表示为：{[X，Y]，...}。

所述的a最佳取值为4KB～4MB。

一种虚拟机磁盘数据恢复方法，包括以下步骤：

201)对虚拟机磁盘依次执行一次完全备份和N次增量备份，并获得相应的备份时间点对象信息，设备份时间点为tp_N+1；

202)选定tp_n为要恢复的时间点，其中n≤N+1；

203)读取在备份时间点tp_n产生的虚拟机磁盘变化块对应扇区集合的数据，将其全部恢复到虚拟机磁盘上，记录好已恢复的扇区集合；

204)往前推取前一次备份时间点的虚拟机磁盘变化块信息，将它与已恢复的扇区集合取交集，将交集外的所有数据全部恢复，并更新已恢复的扇区集合；

205)若已恢复的扇区集合是整个虚拟机磁盘的扇区，则虚拟机磁盘数据恢复结束，否则返回步骤204)。

所述的读取在备份时间点tp_n产生的虚拟机磁盘变化块对应扇区集合的数据过程为：

a)确定获取的备份时间点对象；

b)根据备份时间点对象找到正确的虚拟机对象；

c)根据虚拟机对象找到正确的虚拟机磁盘对象；

d)根据虚拟磁盘对象以及要获取的虚拟机磁盘的某个扇区数定位到虚拟机磁盘数据块；

e)通过虚拟机磁盘数据块读取所需的虚拟机磁盘某个扇区的数据。

与现有技术相比，本发明具有以下优点：

1)本发明可以实现对虚拟机一直采用增量备份方式进行数据保护，而不用担心数据无法恢复。由于一直采用增量的备份方式进行备份，那么整个备份窗口就会缩短很多倍，并且可以帮助用户节约大量是存储成本；

2)本发明对备份的虚拟机磁盘数据进行有效的组织管理和存储，可以从各个备份时间点中整合出一份完整虚拟机磁盘数据；

3)本发明实现恢复虚拟机的时候，只需要恢复一次完全备份时间点的数据量，而不需要像普通的数据恢复那样从完全备份时间点开始到一连串增量时间点依次恢复数据的方法，这样相比起传统的恢复方式可以提高恢复的RTO(Recovery Time Objective：恢复时间目标)，帮助用户尽可能大的降低生产机宕机到恢复提供业务之间所带来的损失。

附图说明

图1为本发明的虚拟机磁盘数据备份方法流程图；

图2为本发明的虚拟机磁盘数据恢复方法流程图；

图3为本发明的数据发生变化的虚拟机磁盘数据块分割流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

假定所有负责存储和计算数据块位置的模块统称为数据存储模块。数据存储模块主要维护一系列的时间点对象，每个时间点对象内部会维护一系列的备份虚拟机对象，每个备份虚拟机对象内部会维护它自身的虚拟机磁盘对象，虚拟机磁盘对象内部会维护虚拟机磁盘的每次备份的变化块信息、虚拟机磁盘自身的配置信息和一系列的虚拟机磁盘数据块对象，虚拟机磁盘数据块对象是虚拟机磁盘的一个扇区集合，它的大小可以设置，此处以4KB为一个存储块大小为例子，虚拟机磁盘数据块对象记录了每个数据块的存储位置、数据块扇区数的大小，通过虚拟机磁盘数据块对象可以方便的取出该数据块中的任何扇区的数据。

1、备份时间点对象。

每一次备份成功都会产生一个备份时间点对象，这个备份时间点对像记录着当前的备份时间点的信息，以及该时间点所产生的所有虚拟机对象的列表。

2、虚拟机对象。

每一个虚拟机在每一个备份时间点上都会产生一个虚拟机对象，该对象记录了如下信息：1、虚拟机本身的配置信息，例如虚拟机的名称，GUID(Globally UniqueIdentifier)虚拟机唯一标识符；2、本次备份所有产生的虚拟机磁盘对象。

3、虚拟机磁盘对象

每一个虚拟机对象都会维护者一个或多个虚拟机磁盘对象，而虚拟机磁盘对象会记录如下信息：虚拟机磁盘的配置信息，例如虚拟机磁盘的名称、类型、大小、GUID等；虚拟机磁盘的变化块标志也就是changeId；虚拟机磁盘的变化块信息，这是一个数组，它记录了虚拟机磁盘当前的每一个变化块的起始扇区和变化块的扇区数大小；虚拟机磁盘对象还会记录一系列的虚拟机磁盘数据块的对象。

4、虚拟机磁盘数据块对象

每一个虚拟机磁盘对象下面会有一系列的虚拟机磁盘数据块对象，虚拟机磁盘数据块会记录如下信息：当前数据块的起始扇区数；当前数据块的总扇区数；当前数据块的存储位置。

对于完全备份时间点只要将虚拟机磁盘的数据从第1个扇区开始对数据按照4KB为一块进行切割，然后将每一个4KB的数据块生成一个虚拟机磁盘数据块对象将它存储到存储上。

对于增量备份时间点，由于获取到虚拟机磁盘的变化块信息是一个虚拟机磁盘变化块组的集合。这个集合中每一项有两个信息：变化块的起始扇区和变化的块的扇区数量。所以对增量备份来说，需要一个变化块一个变化块地处理。先判断当前变化块的起始扇区是不是4KB的整数倍加1，如果是则按照完全备份的存储数据的方式，以4KB为单位进行分割。如果不是则第一个虚拟机磁盘数据块对象存放的数据是变化块起始位置除以4KB所取得的整数加1再乘以4KB再减去变化块的起始扇区所得的值为该变化块第一个磁盘数据对象的扇区数，后面按照完全备份那样以4KB为单位进行分割存储。举个例子，假如一个磁盘有一个变化块信息是：起始扇区为4207，变化块的扇区数为8414，也就是从第4027号扇区到12441号扇区都是有数据变化的。那么分割方法为4207÷4096＝1...111，(1+1)×4096-4207＝3985，那么第一个虚拟机磁盘数据块对的内容是，起始扇区为4207，长度为3985个扇区，也就是从4207号扇区～8192号扇区，第二个虚拟机磁盘数据块对象的内容是8193～12288号扇区，正好4KB，第三个虚拟机磁盘数据块对象的内容是1289～12441号磁盘扇区。

假设有一个虚拟机备份任务job1，这个job1上有Q个虚拟机，以其中的第一个虚拟机vm1为例，虚拟机vm1有两个磁盘分别是disk1和disk2，disk1和disk2分别都是8GB。这个job1执行了一次完全备份，N次增量备份，其过程由数据存储模块执行，数据存储模块是所有负责存储和计算数据块位置的模块的统称，本实施例以第一次完全备份和第一次增量备份为例。

如图1所示，本发明虚拟机磁盘数据备份方法，应用于Vmware ESXI/ESX虚拟平台上，采用CBT技术，包括以下步骤：

1)第一次完全备份

A、生成一个完全备份时间点对象objtp1，它记录了备份的时间点tp1，以及一系列虚拟机对象objvm1；

B、虚拟机对象objvm1记录虚拟机本身的配置信息，objvm1还记录两次虚拟机磁盘对象objdisk1和objdisk2；

C、以虚拟机磁盘对象objdisk1为例，objdisk1记录了虚拟机磁盘本身的配置信息，objdisk1还记录着虚拟机磁盘的变化块的信息，此时是磁盘的所有扇区，objdisk1还记录着所有以4KB为一个数据块大小的虚拟机磁盘数据块；

D、虚拟机磁盘数据块objData1...objDataR，它们分别记录了各自的存储位置，以及各自起始扇区号(R-1)×4096+1和各自扇区数量，扇区数量一般都是4096，但最后一个或许不是。

2)第一次增量备份

A、生成一个增量备份时间点对象objtp2，它记录了备份的时间点tp2，以及一系列虚拟机对象objvm1；

B、虚拟机对象objvm1记录虚拟机本身的配置信息，objvm1还记录两次虚拟机磁盘对象objdisk1和objdisk2；

C、以虚拟机磁盘对象objdisk1为例，objdisk1记录了虚拟机磁盘本身的配置信息，objdisk1还记录了虚拟机磁盘的变化块的信息集合，{[4207，8414]，...[95554，122540]}，objdisk1还记录着以4KB为单位的虚拟机磁盘数据块；

D、虚拟机磁盘数据块objData1...objDataR，他们分别记录了各自的存储位置。

如图3所示，以[4207、8414]为例，变化块起始扇区X为4207，扇区数Y为8414，设定的分割块大小Z为4KB，即4096，则4207÷4096＝1...111，(1+1)×4096-4207＝3985，那么第一个磁盘数据块对象objData1的内容是，起始扇区为4207，长度为3985个扇区，也就是从4207号扇区～8192号扇区，第二个虚拟机磁盘数据块对象objData2的内容是8193～12288号扇区，正好4KB，第三个虚拟机磁盘数据块对象objData3的内容是12289～12441号磁盘扇区，后面的各个变化块按照第一个的方式进行分割存储。

如图2所示，对应上述备份后的虚拟机磁盘数据恢复方法，包括：

在步骤201中，对虚拟机磁盘依次执行一次完全备份和N次增量备份，并获得相应的备份时间点对象信息，设备份时间点为tp_N+1；

在步骤202中，选定tp_n为要恢复的时间点，其中n≤N+1；

在步骤203中，读取在备份时间点tp_n产生的虚拟机磁盘变化块对应扇区集合的数据，将其全部恢复到虚拟机磁盘上，记录好已恢复的扇区集合；

具体读取虚拟机磁盘某一个扇区数据的时候，可以通过如下方式进行定位获取：

1)确定获取的备份时间点对象；

2)根据备份时间点对象找到正确的虚拟机对象；

3)根据虚拟机对象找到正确的虚拟机磁盘对象；

4)根据虚拟磁盘对象以及要获取的虚拟机磁盘的某个扇区数定位到虚拟机磁盘数据块；

5)通过虚拟机磁盘数据块可以方便的读取出所要的虚拟机磁盘某个扇区的数据；

在步骤204中，往前推取前一次备份时间点的虚拟机磁盘变化块信息，将它与已恢复的扇区集合取交集，将交集外的所有数据全部恢复回去，并更新已恢复的扇区集合；

在步骤205中，若已恢复的扇区集合是整个虚拟机磁盘的扇区，则虚拟机磁盘数据恢复结束，否则返回步骤204。

本发明提供一种虚拟机磁盘数据备份及恢复方法，以达到基于CBT对虚拟机做永久增量备份；可以实现对任何一次的增量备份在存储内部转化出一份完整的虚拟机数据，犹如做了一次完全备份一样；可以实现永远只恢复一次完全备份时间点的数据量，而不需要像普通的数据恢复那样从完全备份时间点开始到一连串增量时间点依次恢复数据的方法，用来提高虚拟机数据恢复的RTO(Recovery Time Objective：恢复时间目标)。上面提到的三种目的对用户来说价值都是巨大的，不论从备份所需的存储，还是从备份对生产机所产生的影响，还是从IT管理员的工作量，以及在生产虚拟机发生故障后更短的恢复RTO等。

实施例2

本实施例中，以2MB为一个数据块大小将虚拟机磁盘数据扇区集合分为多个虚拟机磁盘数据块，其余同实施例1。

实施例3

本实施例中，以4MB为一个数据块大小将虚拟机磁盘数据扇区集合分为多个虚拟机磁盘数据块，其余同实施例1。

Claims (6)

1.一种虚拟机磁盘数据备份方法，其特征在于，包括以下步骤：

101)判断是否进行完全备份，若是，则获取全部的虚拟机磁盘数据扇区集合，若否，则进行增量备份，获取相对上一次备份后发生数据变化的所有虚拟机磁盘数据扇区集合；

102)将获得的虚拟机磁盘数据扇区集合按块级形式进行存储，即按大小a分为多个虚拟机磁盘数据块，每个虚拟机磁盘数据块记录以下信息：当前数据块的起始扇区数、总扇区数和存储位置；

103)将若干个虚拟机磁盘数据块组成一个虚拟机磁盘对象，每个虚拟机磁盘对象记录以下信息：虚拟机磁盘的配置信息、虚拟机磁盘变化块标志change Id、虚拟机磁盘变化块信息和虚拟机磁盘数据块信息；

104)将一个或多个虚拟机磁盘对象组成一个虚拟机对象，每个虚拟机对象对应一个虚拟机，并记录以下信息：虚拟机本身的配置信息和虚拟机磁盘对象信息；

105)生成一个备份时间点对象，保存备份时间点对象信息，包括当前的备份时间点以及该时间点产生的所有虚拟机对象信息。

2.根据权利要求1所述的一种虚拟机磁盘数据备份方法，其特征在于，所述的虚拟机磁盘的配置信息包括虚拟机磁盘的名称、类型、大小和GUID，所述的虚拟机本身的配置信息包括虚拟机的名称和GUID。

3.根据权利要求1所述的一种虚拟机磁盘数据备份方法，其特征在于，所述的虚拟机磁盘变化块信息是一个数组，记录了完全备份或增量备份时每一个虚拟机磁盘数据扇区集合的起始扇区X和扇区大小Y，表示为：{[X,Y]，...}。

4.根据权利要求1所述的一种虚拟机磁盘数据备份方法，其特征在于，所述的a最佳取值为4KB～4MB。

5.一种与权利要求1-4中任一所述的虚拟机磁盘数据备份方法相对应的虚拟机磁盘数据恢复方法，其特征在于，包括以下步骤：

201)对虚拟机磁盘依次执行一次完全备份和N次增量备份，并获得相应的备份时间点对象信息，设备份时间点为tp_N+1；

202)选定tp_n为要恢复的时间点，其中n≤N+1；

203)读取在备份时间点tp_n产生的虚拟机磁盘变化块对应扇区集合的数据，将其全部恢复到虚拟机磁盘上，记录好已恢复的扇区集合；

204)往前推取前一次备份时间点的虚拟机磁盘变化块信息，将它与已恢复的扇区集合取交集，将交集外的所有数据全部恢复，并更新已恢复的扇区集合；

205)若已恢复的扇区集合是整个虚拟机磁盘的扇区，则虚拟机磁盘数据恢复结束，否则返回步骤204)。

6.根据权利要求5所述的虚拟机磁盘数据恢复方法，其特征在于，所述的读取在备份时间点tp_n产生的虚拟机磁盘变化块对应扇区集合的数据过程为：

a)确定获取的备份时间点对象；

b)根据备份时间点对象找到正确的虚拟机对象；

c)根据虚拟机对象找到正确的虚拟机磁盘对象；

d)根据虚拟机磁盘对象以及要获取的虚拟机磁盘的某个扇区数定位到虚拟机磁盘数据块；

e)通过虚拟机磁盘数据块读取所需的虚拟机磁盘某个扇区的数据。