CN103605588B - 一种虚拟机磁盘备份方法 - Google Patents

一种虚拟机磁盘备份方法 Download PDF

Info

Publication number
CN103605588B
CN103605588B CN201310590840.3A CN201310590840A CN103605588B CN 103605588 B CN103605588 B CN 103605588B CN 201310590840 A CN201310590840 A CN 201310590840A CN 103605588 B CN103605588 B CN 103605588B
Authority
CN
China
Prior art keywords
sector
backup
virtual
virtual machine
disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310590840.3A
Other languages
English (en)
Other versions
CN103605588A (zh
Inventor
刘荣伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eisoo Information Technology Co Ltd
Original Assignee
Shanghai Eisoo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eisoo Information Technology Co Ltd filed Critical Shanghai Eisoo Information Technology Co Ltd
Priority to CN201310590840.3A priority Critical patent/CN103605588B/zh
Publication of CN103605588A publication Critical patent/CN103605588A/zh
Application granted granted Critical
Publication of CN103605588B publication Critical patent/CN103605588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种虚拟机磁盘备份方法,包括:A、备份服务器对虚拟化平台上的虚拟机发起备份;B、备份服务器和虚拟化平台进行通信,通知虚拟化平台对所述虚拟机执行快照操作;C、虚拟化平台对虚拟机执行快照操作后,对所述虚拟机的母盘进行解析得到磁盘实际数据扇区分布,虚拟化平台向备份服务器返回磁盘实际数据扇区分布;D、备份服务器获取到各个磁盘实际数据扇区分布,然后将相应的扇区数据备份到介质服务器中。本申请方案可以使得备份恢复窗口的时长缩短、减少对虚拟平台的资源占用以及为客户节省很多存储空间。

Description

一种虚拟机磁盘备份方法
技术领域
本申请涉及计算机数据存储技术领域,尤其涉及一种虚拟机磁盘备份方法。
背景技术
虚拟化技术是指计算元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量,简化软件的重新配置过程。CPU的虚拟化技术可以单CPU模拟多CPU并行,允许一个平台同时运行多个操作***,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显著提高计算机的工作效率。
随着虚拟化技术的越来越成熟,特别是威睿(vmware)公司做大做强,推出了一系列虚拟化相关的产品,都很好的帮助用户解决了硬件资源浪费、IT管理复杂等一系列难题。此外,虚拟化更可以解决当前设备无法解决的难题,例如动态主机迁移、快捷删除数据、统一桌面管理,甚至是创建永远不会蓝屏的企业集成环境等。
在虚拟化给用户带来不可抵挡诱惑的攻势下,很多企业和其他一些组织机构都开始或者已经将应用迁移到虚拟化平台上。那么如何高效率地保护虚拟化平台上的生产数据,从而使生产数据在受到灾难时不发生毁灭性的丢失,成为了伴随应用虚拟化的又一个热点问题。
Vmware自身也在不断提升虚拟机备份恢复的性能。Vmware引入用于数据保护的虚拟存储应用程序编程接口(VADP,vStorage API for Data Protection),为备份应用程序提供了直接访问虚拟机文件的一个标准的应用程序编程接口(API,ApplicationProgramming Interface)集合。如果备份工具厂商选择使用VADP,那么VADP的变化块追踪技术使虚拟化平台能够追踪上次备份完成后虚拟机文件发生变化的数据块,当然在某些情况下这种变化块追踪技术将会失效,此时再对虚拟机磁盘做增量备份将会执行全盘备份。基于VADP对虚拟机磁盘进行备份,是通过调用虚拟磁盘研发工具包(VDDK,Virtual Disk Development Kit)API来读取虚拟机磁盘的二进制内容,并不存在解析虚拟机磁盘的功能,因此只能选择如下两种操作之一:要么将虚拟机磁盘从头到尾所有扇区都进行备份,要么根据VADP的变化块追踪技术获取到虚拟机磁盘的变化的数据块,然后备份相应的变化块的数据扇区。
因此,基于VADP对虚拟机进行备份的时候就会存在如下问题:在做完全备份和VADP变化块追踪技术失效的情况下,做增量备份会将整个虚拟磁盘的所有扇区的数据都备份下来,哪怕虚拟机磁盘的实际数据量很小,甚至是空磁盘的情况。这样不但会使虚拟机备份的备份时间变长,而且长时间的虚拟机备份会影响虚拟平台本身的性能,最终客户还要为很多无用的数据提供昂贵的存储介质,还影响将来可能发生的恢复时长。
发明内容
本申请提供了一种虚拟机磁盘备份方法,可以使得备份恢复窗口的时长缩短、减少对虚拟平台的资源占用以及为客户节省很多存储空间。
本申请实施例提供的一种虚拟机磁盘备份方法,包括:
A、备份服务器对虚拟化平台上的虚拟机发起备份;
B、备份服务器和虚拟化平台进行通信,通知虚拟化平台对所述虚拟机执行快照操作;
C、虚拟化平台对虚拟机执行快照操作后,对所述虚拟机的母盘进行解析得到磁盘实际数据扇区分布,虚拟化平台向备份服务器返回磁盘实际数据扇区分布;
D、备份服务器获取到各个磁盘实际数据扇区分布,然后将相应的扇区数据备份到介质服务器中。
较佳地,备份服务器对虚拟化平台上的虚拟机发起的备份为完全备份或者VADP变化块追踪失效的增量备份。
较佳地,对所述虚拟机的母盘进行解析得到磁盘实际数据扇区分布包括:
读取所述虚拟机的母盘的第一个扇区数据;
根据所述第一个扇区数据中的魔数判断虚拟机的母盘是否有效,若是,根据所述第一个扇区数据中的***开销字段确定主引导区位置;
根据所述主引导区位置获取虚拟机的母盘的分区列表以及各个分区的文件***;
根据各个分区的信息获取到分区的实际数据扇区分布。
较佳地,所述将相应的扇区数据备份到介质服务器中为:
通过用于数据保护的虚拟存储应用程序编程接口VADP的虚拟磁盘研发工具包VDDK API将相应的扇区数据备份到介质服务器中。
从以上技术方案可以看出,在备份之前解析得到磁盘实际数据扇区分布,并据此对实际数据进行备份,从而提高备份效率,并且减小备份过程中对虚拟化平台的内存、网络、I/O读写资源的消耗以及备份服务器的内存、网络、I/O读写资源消耗,并且节约介质服务器的存储空间。此外,由于备份数据量变小,那么在需要对数据进行恢复的时候,恢复的时长就变短,帮助用户提高恢复的RTO。
附图说明
图1本申请提供的一种虚拟机磁盘备份方法流程示意图;
图2为本申请实施例提供的虚拟机磁盘备份实现流程示意图。
具体实施方式
虽然说虚拟机磁盘的类型有多种,但是有一点是相同的,那就是每一个虚拟机磁盘文件的第一扇区会记录整个磁盘结构相关的信息。表1示出了一种虚拟机磁盘第一个扇区的数据结构体各个字段的描述:
数据名称 长度或类型 描述
MagicNumber 4字节 魔数,表示该虚拟机磁盘是否有效,“KDMV”为有效
Version 4字节 版本号
Flags 4字节 标志位,标志是否有冗余粒度表,是否压缩等信息
Capacity 8字节 虚拟机磁盘文件的容量,以扇区为单位
grainSize 8字节 每个粒度的大小,以扇区为单位
DescriptorOffset 8字节 内嵌磁盘描述信息的起始扇区
DescriptorSize 8字节 描述信息的大小
NumGTEsPerGT 4字节 每个粒度表有多少个粒度实体
RgdOffset 8字节 冗余粒度目录的起始扇区
gdOffset 8字节 粒度目录的起始扇区
overHead 8字节 数据的起始扇区
uncleanShutdown 1字节 用来设置文件上次是否正常退出,正常退出置为false,反之为true
singleEndLineChar 字符 用来验证文件在ftp的传输过程中是否有异常
nonEndLineChar 字符
DoubleEndLineChar1 字符
DoubleEndLineChar2 字符
CompressAlgorithm 2字节 用于判断虚拟机磁盘的每个粒是否进行了压缩
Pad 填充位
其中,第一个扇区开头4个字节表示虚拟机磁盘的魔数(MagicNumber),魔数是用来判断虚拟机磁盘是否有效,一般值为“KMDV”则表示是一个有效的虚拟机磁盘,否则是一个无效的虚拟机磁盘。第一个扇区的第64~72个字节的***开销字段(overHead),记录的是虚拟机磁盘的起始数据扇区的位置,根据这8个字节中的值可以确定虚拟机磁盘起始数据扇区的位置,取到这个值以后就可以像解析普通硬盘文件一样对虚拟机磁盘的内容进行解析。
本申请方案通过解析虚拟机磁盘的格式,可以判断当前虚拟机磁盘是否是一个有效的虚拟磁盘,如果该虚拟磁盘是一个有效的虚拟磁盘。就可以正确地获取到该磁盘的所有分区情况,以及每个分区的文件***类型和该分区实际数据所分布的扇区信息等。
虚拟机磁盘的存储结构与同种文件***在真实硬盘上的结构是一样的。解析真实硬盘上的文件***信息的时候,切入点是主引导记录区(MBR),那么虚拟机磁盘的MBR的位置确定方法是:读取vmdk文件的第一个扇区的第64~72个字节overHead字段,通过overHead字段的值可以定位到虚拟机磁盘的MBR的位置。MBR共512个字节,最后64个字节为硬盘分区表(Disk Partition Table,DPT),偏移0x04的字节是该分区的文件***类型,偏移0x08起的4个字节为本分区已使用的扇区数,最后4个字节是本扇区的总字节数。获取到整个硬盘的分区表信息后,就可以知道每个分区的起始扇区位置和结束扇区位置以及该分区文件***类型(一个分区表项占16个字节,第1个字节的内容是分区的引导标识,表示该分区是否是引导分区;第2~4个字节代表分区的起始磁头、扇区、柱面,根据这三个字节的值可以获取分区的起始扇区位置;第5个字节代表分区类型,例如07代表NTFS分区;第6~8代表分区的结束磁头、扇区、柱面,根据这三个值就可以获取分区的结束扇区位置)。然后根据分区的不同文件***类型对该分区的文件***进行解析,可以解析出该分区文件***里面的所有的文件所在的扇区位置(解析各种文件***的所有文件所在的扇区位置是一个很成熟的技术,不再做详细描述)。这样就可以获取虚拟机磁盘上的描述信息以及所有文件所在的具体扇区位置。
本申请提供的一种虚拟机磁盘备份方法流程如图1所示,包括:
步骤101:备份服务器对虚拟化平台上的某些虚拟机发起备份。
如果此备份类型是完全备份或者是VADP变化块追踪失效的增量备份,继续执行步骤102。若为其他情况,即VADP变化块追踪有效的增量备份,则按照现有技术中的增量备份方法进行后续备份步骤。
步骤102:虚拟化平台对要进行备份的虚拟机执行快照操作。
创建快照时,会为虚拟机的每个磁盘新建一个子盘,而原来的那个磁盘相对于快照盘来说就是母盘。
步骤103:虚拟化平台对虚拟机执行快照操作后,对所述虚拟机的母盘进行解析得到磁盘实际数据扇区分布,虚拟化平台向备份服务器返回磁盘实际数据扇区分布。
较佳地,该步骤具体包括:
读取所述虚拟机的母盘的第一个扇区数据;
根据所述第一个扇区数据中的魔数判断虚拟机的母盘是否有效,若是,根据所述第一个扇区数据中的***开销字段确定主引导区位置;
根据所述主引导区位置获取虚拟机的母盘的分区列表以及各个分区的文件***;
根据各个分区的信息获取到分区的实际数据扇区分布。
步骤104:备份服务器获取到各个磁盘实际数据扇区分布,然后将相应的扇区数据备份到介质服务器中。
VDDK API提供了读取vmdk磁盘扇区的接口,只要告诉该接口要读取vmdk磁盘的那些扇区就可以了,通过该接口就可以直接获取到对应扇区的数据信息。
为使本申请技术方案的技术原理、特点以及技术效果更加清楚,以下结合具体实施例对本申请技术方案进行详细阐述。
图2为本申请实施例提供的虚拟机磁盘备份实现流程,包括如下步骤:
步骤201:选择虚拟化平台上的一台虚拟机A。
该虚拟机A有两个磁盘disk1和disk2,disk1和disk2磁盘配额大小都是100GB,disk1是***盘实际数据量是20GB,disk2是应用数据盘实际数据量是40GB。
步骤202:备份服务器向虚拟化平台发起备份,通知虚拟化平台对虚拟机A执行快照。
步骤203:备份服务器判断当前的备份类型是否是完全备份,或者是VADP变化块跟踪技术失效的增量备份,若是,继续执行步骤204。
步骤204:备份服务器对虚拟机A的母磁盘进行解析,获取到disk1和disk2的实际数据扇区的数量和位置,将结果返回给备份服务器。
步骤205:备份服务器获取到这些磁盘的扇区信息以后,通过VADP的VDDK API将相应的扇区数据读取出来,备份到介质服务器中。
步骤206:备份完成后,备份服务器确认此次备份数据量大小为60GB。
本申请技术方案可以实现如下有益技术效果:
1、虚拟机磁盘备份过程中,只需要备份虚拟机磁盘实际数据量的大小,将会提高备份效率。
2、由于只需要备份虚拟机磁盘的实际数据量的大小,相对整盘备份数据量会减少,那么备份过程中消耗虚拟平台的内存、网络、I/O读写资源就减少。
3、由于备份的数据量变小,那么备份服务器的内存、网络、I/O读写资源消耗也会减少,最明显的是介质服务器存储的数据量减少,为用户节省更多的存储空间。
4、由于备份数据量变小,那么在需要对数据进行恢复的时候,恢复的时长就变短,帮助用户提高恢复的恢复时间目标(RTO,Recovery Time Objective)。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请的保护范围,凡在本申请技术方案的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (3)

1.一种虚拟机磁盘备份方法,其特征在于,包括:
A、备份服务器对虚拟化平台上的虚拟机发起备份;
B、备份服务器和虚拟化平台进行通信,通知虚拟化平台对所述虚拟机执行快照操作;
C、虚拟化平台对虚拟机执行快照操作后,对所述虚拟机的母盘进行解析得到磁盘实际数据扇区分布,虚拟化平台向备份服务器返回磁盘实际数据扇区分布;对所述虚拟机的母盘进行解析得到磁盘实际数据扇区分布包括:
读取所述虚拟机的母盘的第一个扇区数据;
根据所述第一个扇区数据中的魔数判断虚拟机的母盘是否有效,若是,根据所述第一个扇区数据中的***开销字段确定主引导区位置;
根据所述主引导区位置获取虚拟机的母盘的分区列表以及各个分区的文件***;
根据各个分区的信息获取到分区的实际数据扇区分布;
D、备份服务器获取到各个磁盘实际数据扇区分布,然后将相应的扇区数据备份到介质服务器中。
2.根据权利要求1所述的方法,其特征在于,备份服务器对虚拟化平台上的虚拟机发起的备份为完全备份或者VADP变化块追踪失效的增量备份。
3.根据权利要求1所述的方法,其特征在于,所述将相应的扇区数据备份到介质服务器中为:
通过用于数据保护的虚拟存储应用程序编程接口VADP的虚拟磁盘研发工具包VDDK API将相应的扇区数据备份到介质服务器中。
CN201310590840.3A 2013-11-21 2013-11-21 一种虚拟机磁盘备份方法 Active CN103605588B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310590840.3A CN103605588B (zh) 2013-11-21 2013-11-21 一种虚拟机磁盘备份方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310590840.3A CN103605588B (zh) 2013-11-21 2013-11-21 一种虚拟机磁盘备份方法

Publications (2)

Publication Number Publication Date
CN103605588A CN103605588A (zh) 2014-02-26
CN103605588B true CN103605588B (zh) 2016-08-17

Family

ID=50123817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310590840.3A Active CN103605588B (zh) 2013-11-21 2013-11-21 一种虚拟机磁盘备份方法

Country Status (1)

Country Link
CN (1) CN103605588B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133131A (zh) * 2017-05-31 2017-09-05 广州鼎甲计算机科技有限公司 一种基于VMware的虚拟机合成备份方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853635A (zh) * 2014-03-06 2014-06-11 上海爱数软件有限公司 一种不影响备份虚拟机性能的虚拟机备份方法
CN104102556B (zh) * 2014-06-13 2017-03-01 上海爱数信息技术股份有限公司 一种虚拟机磁盘数据备份及恢复方法
CN104133742A (zh) * 2014-08-07 2014-11-05 浪潮(北京)电子信息产业有限公司 一种数据保护的方法及装置
CN105718377B (zh) * 2014-12-05 2019-10-25 华为技术有限公司 虚拟化应用中拷贝磁盘数据的方法及装置
CN104407945B (zh) * 2014-12-26 2018-03-30 北京奇虎科技有限公司 数据备份的方法、装置及***
CN105653352B (zh) * 2015-12-31 2019-03-15 公安部第三研究所 操作***虚拟仿真取证的方法
CN107179934B (zh) * 2016-03-10 2021-03-05 中标软件有限公司 云计算环境中虚拟机自动还原的方法和***
CN106250267A (zh) * 2016-07-22 2016-12-21 浪潮(北京)电子信息产业有限公司 一种虚拟机的数据备份方法及装置
CN106250274B (zh) * 2016-08-16 2019-03-15 浪潮(北京)电子信息产业有限公司 一种虚拟机的备份方法及装置
CN107341072A (zh) * 2016-11-18 2017-11-10 新华三技术有限公司 一种数据备份方法及装置
CN106598787A (zh) * 2016-12-31 2017-04-26 云宏信息科技股份有限公司 基于Xen的无代理备份还原方法和***
CN108304144B (zh) * 2018-01-16 2021-04-30 广州视源电子科技股份有限公司 数据写入、读取方法与***、数据读写***
CN109062510A (zh) * 2018-07-23 2018-12-21 郑州云海信息技术有限公司 一种数据迁移方法和***
CN111930569A (zh) * 2020-08-13 2020-11-13 上海英方软件股份有限公司 一种整机备份和恢复的***及方法
CN112181729A (zh) * 2020-10-15 2021-01-05 上海英方软件股份有限公司 一种虚拟机备份控制装置、***及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609419A (zh) * 2009-06-29 2009-12-23 北京航空航天大学 虚拟机持续在线迁移的数据备份方法及装置
CN103034566A (zh) * 2012-12-06 2013-04-10 华为技术有限公司 虚拟机还原的方法和装置
CN103336728A (zh) * 2013-05-08 2013-10-02 上海爱数软件有限公司 一种磁盘数据恢复方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8438349B2 (en) * 2009-08-21 2013-05-07 Symantec Corporation Proxy backup of virtual disk image files on NAS devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609419A (zh) * 2009-06-29 2009-12-23 北京航空航天大学 虚拟机持续在线迁移的数据备份方法及装置
CN103034566A (zh) * 2012-12-06 2013-04-10 华为技术有限公司 虚拟机还原的方法和装置
CN103336728A (zh) * 2013-05-08 2013-10-02 上海爱数软件有限公司 一种磁盘数据恢复方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133131A (zh) * 2017-05-31 2017-09-05 广州鼎甲计算机科技有限公司 一种基于VMware的虚拟机合成备份方法

Also Published As

Publication number Publication date
CN103605588A (zh) 2014-02-26

Similar Documents

Publication Publication Date Title
CN103605588B (zh) 一种虚拟机磁盘备份方法
EP2558949B1 (en) Express-full backup of a cluster shared virtual machine
EP1907935B1 (en) System and method for virtualizing backup images
US20190339883A1 (en) Method and system for implementing writable snapshots in a virtualized storage environment
US9311375B1 (en) Systems and methods for compacting a virtual machine file
US9256374B1 (en) Metadata for managing I/O and storage for a virtualization environment
US11099938B2 (en) System and method for creating linked clones of storage objects with surface snapshots
US7885938B1 (en) Techniques for granular recovery of data from local and remote storage
US9747287B1 (en) Method and system for managing metadata for a virtualization environment
US9372854B2 (en) Load balancing backup jobs in a virtualized storage system having a plurality of physical nodes
Liguori et al. Experiences with Content Addressable Storage and Virtual Disks.
CN104407938A (zh) 一种虚拟机镜像级备份后的多种粒度恢复方法
CN103970585A (zh) 创建虚拟机的方法及装置
US11003555B2 (en) Tracking and recovering a disk allocation state
US8019953B2 (en) Method for providing atomicity for host write input/outputs (I/Os) in a continuous data protection (CDP)-enabled volume using intent log
Son et al. SSD-assisted backup and recovery for database systems
US9251020B1 (en) Systems and methods for file-level replication
US20220342851A1 (en) File system event monitoring using metadata snapshots
US7716184B1 (en) System and method for performing sparse backups
US11995331B2 (en) Smart de-fragmentation of file systems inside VMs for fast rehydration in the cloud and efficient deduplication to the cloud
RU2005129430A (ru) Способ и система для синтетического резервного копирования и восстановления данных
KR20070069295A (ko) 저널링이 적용된 fat 파일 시스템의 구현 방법
Khan et al. Factors Affecting the Persistence of Deleted Files on Digital Storage Devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201112 Shanghai, Minhang District, United Airlines route 1188, building second layer A-1 unit 8

Applicant after: SHANGHAI EISOO INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 200072 room 3, building 840, No. 101 Middle Luochuan Road, Shanghai, Zhabei District

Applicant before: EISOO SOFTWARE Co.,Ltd.

COR Change of bibliographic data
C14 Grant of patent or utility model
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Virtual Machine Disk Backup Method

Effective date of registration: 20231115

Granted publication date: 20160817

Pledgee: Bank of Shanghai Limited by Share Ltd. Pudong branch

Pledgor: SHANGHAI EISOO INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2023310000743