CN103678036A - 一种基于虚拟机运行信息数据发现的备份方法 - Google Patents
一种基于虚拟机运行信息数据发现的备份方法 Download PDFInfo
- Publication number
- CN103678036A CN103678036A CN201310574430.XA CN201310574430A CN103678036A CN 103678036 A CN103678036 A CN 103678036A CN 201310574430 A CN201310574430 A CN 201310574430A CN 103678036 A CN103678036 A CN 103678036A
- Authority
- CN
- China
- Prior art keywords
- data
- backup
- virtual machine
- rule
- machine operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于虚拟机运行信息数据发现的备份方法，包括以下步骤：数据缓存单元获取虚拟机运行时的进程信息；数据备份处理单元将事先存储的数据发现规则与所述进程信息进行匹配，根据数据发现规则获取需要备份的应用程序生产数据位置并保存；根据所述生产数据位置对相应的虚拟机生产数据进行备份，并映射至数据备份存储单元。与现有技术相比，本发明具有备份效率高、速度快、资源消耗少等优点。
Description
技术领域
本发明涉及一种虚拟机数据备份技术，尤其是涉及一种基于虚拟机运行信息数据发现的备份方法。
背景技术
虚拟化技术经过多年发展已经成熟，虚拟化厂商通过多年宣传和实际生产环境测试已被大量企业接受并投入企业生产环境。VMware公司作为虚拟化解决方案领先厂商占据大部分市场份额，其推出的一系列虚拟化的产品帮助用户解决了硬件资源浪费、IT管理复杂等一系列难题。虚拟化解决方案同时提供硬件平台无法解决的难题，如在线迁移、克隆、快速部署、云计算等。当前已有大量企业和组织机构将虚拟化产品部署于生产环境中。随着越来越多的生产应用部署到虚拟化平台上，如何保护虚拟化平台上的生产***在受到***异常、误操作等损坏后能够快速恢复，成为备份软件厂商关注的热点问题。
VMware公司考虑到虚拟机备份需求，提供一套数据保护接口VADPAPI(vStorage API for Data Protection)为备份应用程序提供了直接访问、操作虚拟机镜像文件。如果备份软件厂商选择使用VADP，那么VADP的变化块追踪技术使虚拟化平台能够追踪上次备份完成后虚拟机文件发生变化的数据块，但是某些情况下这种变化块追踪技术将会失效，此时再对虚拟机做增量备份将会执行全盘备份。VADP对虚拟机磁盘进行备份的时候是通过调用VDDK API(Virtual DiskDevelopment Kit：VMware提供的一套操作vmdk磁盘镜像的应用程序编程接口集)来读取虚拟机磁盘的二进制内容，并不解析虚拟机磁盘的内容；备份磁盘有2种模式：1、读取整个虚拟磁盘逻辑空间并备份所有扇区；2、根据VADP的变化块追踪技术获取到虚拟机磁盘的变化的数据块，备份相应的变化块的数据扇区。
基于VADP对虚拟机进行备份的时候存在性能、空间问题，1、备份虚拟机时是备份镜像逻辑空间大小而非实际使用大小，从而造成备份大量无用数据，导致备份效率低下；2、增量备份时VADP变化快追踪可能失败，此时须执行全备；3.因备份数据庞大，导致恢复也难以快速恢复。
针对以上使用VADP备份VMware虚拟化平台虚拟机方法所存在的缺陷，本专利设计一种数据发现方式，使用该方法可以仅备份虚拟机上安装的应用程序在运行时产生的生产数据(以下简称生产数据)，从而克服使用VADP备份的缺陷，可以使得备份恢复窗口的时长缩短、减少对虚拟平台的资源占用以及为客户节省很多存储空间。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种备份效率高、速度快、资源消耗少的基于虚拟机运行信息数据发现的备份方法。
本发明的目的可以通过以下技术方案来实现：
一种基于虚拟机运行信息数据发现的备份方法，包括以下步骤：
数据缓存单元获取虚拟机运行时的进程信息；
数据备份处理单元将事先存储的数据发现规则与所述进程信息进行匹配，根据数据发现规则获取需要备份的应用程序生产数据位置并保存；
根据所述生产数据位置对相应的虚拟机生产数据进行备份，并映射至数据备份存储单元。
所述的数据发现规则根据虚拟机运行应用程序时的数据信息设计。
所述的数据发现规则为：
name 过滤规则名称
uuid 备份软件自动生成
description 过滤规则描述
process 进程名称，若一组应用有多个进程，使用’；’
分开，支持模糊匹配
processCase 进程名是否区分大小写
suffix 后缀名，多个后缀名使用’；’分开
suffixCase 后缀名是否区分大小写
searchDir 为空，搜寻整个文件***；指定多个目录使用’；’
隔开
eliminateFiles 删除除搜寻结果中的特定名称文件，支持模糊匹
配
preBackupCMD 备份前指令，多条指令使用’；’分开
waitPreBackupCMD 是否等待指令执行结束
postBackupCMD 备份完成后指令，多条指令使用’；’分开
waitPostBackupCMD 是否等待命令执行结束
。
所述的数据发现规则设有多个，形成数据发现规则集。
所述的数据发现规则事先存储于数据备份处理单元中，根据虚拟机运行应用程序时的进程信息设计。
所述的对相应的虚拟机生产数据进行备份具体为：
1)获取生产数据位置信息；
2)执行数据发现规则的备份前指令；
3)读取生产数据位置信息对应的虚拟机生产数据，并映射至数据备份存储单元；
4)执行备份完成后指令；
5)重复步骤2)，直到所有数据都完成备份。
与现有技术相比，本发明根据虚拟机运行信息与数据发现规则集进行匹配，仅需要备份生产数据而无须备份整个虚拟机镜像逻辑空间大小，具有以下有益效果：
一、不受虚拟机磁盘镜像逻辑空间大小影响；
二、仅备份生产数据，避免备份整个虚拟机，也可以像备份普通文件一样提供完全备份、差异备份；
三、仅备份生产数据，可以减少对生产虚拟化平台的内存、网络带宽、I／O读写等资源使用；可以减少备份服务器的内存、网络带宽、I／O读写等资源使用；可以为客户节省很多存储空间，提高介质的利用率；
四、在备份与恢复时可以大量减少备份数据量，进而提高备份效率、减少资源消耗、提高备份／恢复速度，提高恢复的RTO(Recovery Time Objective：恢复时间目标)；
五、无需在虚拟化平台、虚拟机安装软件或设置；
六、支持原虚拟机恢复、异虚拟机恢复、物理机(须安装恢复客户端)。
附图说明
图1为本发明的流程示意图；
图2为本发明的备份流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
一种基于虚拟机运行信息数据发现的备份方法，使用该方法可以仅备份虚拟机上安装的应用程序在运行时产生的生产数据(以下简称生产数据)，从而克服使用现有备份技术的缺陷，可以使得备份恢复窗口的时长缩短、减少对虚拟平台的资源占用以及为客户节省很多存储空间。该备份方法具体包括以下步骤：
数据缓存单元获取虚拟机运行时的进程信息；
数据备份处理单元将事先存储的数据发现规则与所述进程信息进行匹配，根据数据发现规则获取需要备份的应用程序生产数据位置并保存；
根据所述生产数据位置对相应的虚拟机生产数据进行备份，并映射至数据备份存储单元。
该备份方法使用的数据发现规则是用来发现虚拟机内需要备份的生产数据，根据虚拟机运行应用程序时的进程信息设计。数据备份处理单元内置常见应用数据发现规则集可以满足大多数常见应用，用户也可在根据需要增加新的数据发现规则。使用数据发现规则集时无需对每台虚拟机维护或指定数据发现规则集，数据发现规则适用于所有通过该备份方法备份的虚拟机。
该备份方法基于虚拟机动态运行信息数据与数据发现规则集匹配，通过匹配的数据发现规则分析出虚拟机运行的应用类型并发现需要备份的数据，从而达到仅备份生产数据的目的。数据备份处理单元分析全部虚拟机动态运行信息数据并与数据发现规则集匹配，因此可以同时进行多种应用进行数据发现、备份。所述的数据发现规则具体如表1所示。
表1
匹配完成后，对相应的虚拟机生产数据进行备份具体为：
1)获取生产数据位置信息；
2)执行数据发现规则的备份前指令；
3)读取生产数据位置信息对应的虚拟机生产数据，并映射至数据备份存储单元；
4)执行备份完成后指令；
5)重复步骤2)，直到所有数据都完成备份。
以备份一台具有500G镜像逻辑空间的运行mysql应用虚拟机为例，在mysql应用程序运行一周后，产生10G数据，在备份速度为60M／s的情况下，使用传统方法需要耗时约2.4小时，需要占用500G磁盘空间来保存备份数据；使用本发明方法需要备份数据10G，在同等备份速度下需要约3分钟，需要占用10G磁盘空间来保存备份数据；由此可见本发明方法无论在时间、空间方面都有明显提升。
以下以mysql数据库应用发现与备份作为实施例展示本发明方法的使用。
1、mysql数据库应用发现规则如表2所示。
表2
根据上述数据发现规则发现生产数据的流程如图1所示，具体为：
1.1获取虚拟机运行时的进程信息；
1.2根据运行信息匹配数据发现规则；
1.3在虚拟机中定位需备份数据，并保存入数据库。
如图2所示，匹配完成后，执行备份流程，具体为：
2.1获取生产数据位置信息；
2.2执行数据发现规则的备份前指令‘preBackupCMD’，为空忽略；
2.3逐条读取生产数据位置信息对应的虚拟机生产数据，并映射至数据备份存储单元；
2.4执行备份完成后指令‘postBackupCMD’，为空忽略。
Claims (6)
1.一种基于虚拟机运行信息数据发现的备份方法，其特征在于，包括以下步骤：
数据缓存单元获取虚拟机运行时的进程信息；
数据备份处理单元将事先存储的数据发现规则与所述进程信息进行匹配，根据数据发现规则获取需要备份的应用程序生产数据位置并保存；
根据所述生产数据位置对相应的虚拟机生产数据进行备份，并映射至数据备份存储单元。
2.根据权利要求1所述的一种基于虚拟机运行信息数据发现的备份方法，其特征在于，所述的数据发现规则根据虚拟机运行应用程序时的数据信息设计。
3.根据权利要求1所述的一种基于虚拟机运行信息数据发现的备份方法，其特征在于，所述的数据发现规则为：
name 过滤规则名称
uuid 备份软件自动生成
description 过滤规则描述
process 进程名称，若一组应用有多个进程，使用’；’
分开，支持模糊匹配
processCase 进程名是否区分大小写
suffix 后缀名，多个后缀名使用’；’分开
suffixCase 后缀名是否区分大小写
searchDir 为空，搜寻整个文件***；指定多个目录使用’；’
隔开
eliminateFiles 删除除搜寻结果中的特定名称文件，支持模糊匹
配
preBackupCMD 备份前指令，多条指令使用’；’分开
waitPreBackupCMD 是否等待指令执行结束
postBackupCMD 备份完成后指令，多条指令使用’；’分开
waitPostBackupCMD 是否等待命令执行结束。
4.根据权利要求1所述的一种基于虚拟机运行信息数据发现的备份方法，其特征在于，所述的数据发现规则设有多个，形成数据发现规则集。
5.根据权利要求1所述的一种基于虚拟机运行信息数据发现的备份方法，其特征在于，所述的数据发现规则事先存储于数据备份处理单元中，根据虚拟机运行应用程序时的进程信息设计。
6.根据权利要求3所述的一种基于虚拟机运行信息数据发现的备份方法，其特征在于，所述的对相应的虚拟机生产数据进行备份具体为：
1)获取生产数据位置信息；
2)执行数据发现规则的备份前指令；
3)读取生产数据位置信息对应的虚拟机生产数据，并映射至数据备份存储单元；
4)执行备份完成后指令；
5)重复步骤2)，直到所有数据都完成备份。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310574430.XA CN103678036B (zh) | 2013-11-15 | 2013-11-15 | 一种基于虚拟机运行信息数据发现的备份方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310574430.XA CN103678036B (zh) | 2013-11-15 | 2013-11-15 | 一种基于虚拟机运行信息数据发现的备份方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103678036A true CN103678036A (zh) | 2014-03-26 |
| CN103678036B CN103678036B (zh) | 2016-08-17 |
Family
ID=50315681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310574430.XA Active CN103678036B (zh) | 2013-11-15 | 2013-11-15 | 一种基于虚拟机运行信息数据发现的备份方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103678036B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105302662A (zh) * | 2014-07-25 | 2016-02-03 | 腾讯科技（深圳）有限公司 | 一种多机备份的方法和*** |
| CN105653394A (zh) * | 2014-11-14 | 2016-06-08 | 腾讯科技（深圳）有限公司 | 数据备份的方法和装置 |
| CN106407417A (zh) * | 2016-09-23 | 2017-02-15 | 维沃移动通信有限公司 | 一种应用程序数据备份方法及移动终端 |
| CN107003893A (zh) * | 2016-02-03 | 2017-08-01 | 华为技术有限公司 | 虚拟机备份方法、备份装置及宿主机 |
| CN108604162A (zh) * | 2015-09-10 | 2018-09-28 | 华睿泰科技有限责任公司 | 优化对生产数据的访问 |
| CN109726038A (zh) * | 2017-10-27 | 2019-05-07 | 伊姆西Ip控股有限责任公司 | 用于管理虚拟机的方法和设备 |
| CN109992449A (zh) * | 2017-12-31 | 2019-07-09 | ***通信集团四川有限公司 | 备份镜像管理***、方法、设备及介质 |
| CN110618898A (zh) * | 2019-09-11 | 2019-12-27 | 厦门鑫朗软件有限公司 | 一种根据进程强制保存文件到指定目录同步备份的方法 |
| CN111078359A (zh) * | 2019-12-10 | 2020-04-28 | 上海英方软件股份有限公司 | 一种通过目录映射实现虚机即时恢复的方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100083250A1 (en) * | 2008-09-30 | 2010-04-01 | Fujitsu Limited | Virtual machine system, and method for managing thereof |
| JP2011028582A (ja) * | 2009-07-27 | 2011-02-10 | Fujitsu Ltd | スクリーンセーバ制御システム、画像処理装置、画像表示装置、スクリーンセーバ制御方法、及びコンピュータプログラム |
| CN102594849A (zh) * | 2011-01-06 | 2012-07-18 | 阿里巴巴集团控股有限公司 | 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置 |
| CN102662799A (zh) * | 2012-04-13 | 2012-09-12 | 华为技术有限公司 | 数据备份的方法、服务器及热备份*** |
| CN102782656A (zh) * | 2010-02-26 | 2012-11-14 | 赛门铁克公司 | 管理应用程序可用性的***和方法 |
-
2013
- 2013-11-15 CN CN201310574430.XA patent/CN103678036B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100083250A1 (en) * | 2008-09-30 | 2010-04-01 | Fujitsu Limited | Virtual machine system, and method for managing thereof |
| JP2011028582A (ja) * | 2009-07-27 | 2011-02-10 | Fujitsu Ltd | スクリーンセーバ制御システム、画像処理装置、画像表示装置、スクリーンセーバ制御方法、及びコンピュータプログラム |
| CN102782656A (zh) * | 2010-02-26 | 2012-11-14 | 赛门铁克公司 | 管理应用程序可用性的***和方法 |
| CN102594849A (zh) * | 2011-01-06 | 2012-07-18 | 阿里巴巴集团控股有限公司 | 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置 |
| CN102662799A (zh) * | 2012-04-13 | 2012-09-12 | 华为技术有限公司 | 数据备份的方法、服务器及热备份*** |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105302662A (zh) * | 2014-07-25 | 2016-02-03 | 腾讯科技（深圳）有限公司 | 一种多机备份的方法和*** |
| CN105653394A (zh) * | 2014-11-14 | 2016-06-08 | 腾讯科技（深圳）有限公司 | 数据备份的方法和装置 |
| CN105653394B (zh) * | 2014-11-14 | 2019-01-15 | 腾讯科技（深圳）有限公司 | 数据备份的方法和装置 |
| CN108604162A (zh) * | 2015-09-10 | 2018-09-28 | 华睿泰科技有限责任公司 | 优化对生产数据的访问 |
| CN108604162B (zh) * | 2015-09-10 | 2021-07-09 | 华睿泰科技有限责任公司 | 为应用虚拟机提供对生产数据的访问的方法和*** |
| CN107003893B (zh) * | 2016-02-03 | 2019-11-12 | 华为技术有限公司 | 虚拟机备份方法、备份装置及宿主机 |
| CN107003893A (zh) * | 2016-02-03 | 2017-08-01 | 华为技术有限公司 | 虚拟机备份方法、备份装置及宿主机 |
| CN106407417A (zh) * | 2016-09-23 | 2017-02-15 | 维沃移动通信有限公司 | 一种应用程序数据备份方法及移动终端 |
| CN109726038A (zh) * | 2017-10-27 | 2019-05-07 | 伊姆西Ip控股有限责任公司 | 用于管理虚拟机的方法和设备 |
| CN109726038B (zh) * | 2017-10-27 | 2023-12-15 | 伊姆西Ip控股有限责任公司 | 用于管理虚拟机的方法和设备 |
| CN109992449A (zh) * | 2017-12-31 | 2019-07-09 | ***通信集团四川有限公司 | 备份镜像管理***、方法、设备及介质 |
| CN109992449B (zh) * | 2017-12-31 | 2023-04-11 | ***通信集团四川有限公司 | 备份镜像管理***、方法、设备及介质 |
| CN110618898A (zh) * | 2019-09-11 | 2019-12-27 | 厦门鑫朗软件有限公司 | 一种根据进程强制保存文件到指定目录同步备份的方法 |
| CN111078359A (zh) * | 2019-12-10 | 2020-04-28 | 上海英方软件股份有限公司 | 一种通过目录映射实现虚机即时恢复的方法及*** |
| CN111078359B (zh) * | 2019-12-10 | 2023-05-05 | 上海英方软件股份有限公司 | 一种通过目录映射实现虚机即时恢复的方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103678036B (zh) | 2016-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103678036B (zh) | 一种基于虚拟机运行信息数据发现的备份方法 | |
| US11068349B2 (en) | Selective processing of file system objects for image level backups | |
| US20230138736A1 (en) | Cluster file system-based data backup method and apparatus, and readable storage medium | |
| CN103970585B (zh) | 创建虚拟机的方法及装置 | |
| US8738883B2 (en) | Snapshot creation from block lists | |
| DK3008600T3 (en) | Backup of a virtual machine from a storage snapshot | |
| AU2014374256B2 (en) | Systems and methods for improving snapshot performance | |
| AU2012347883B2 (en) | System and method for restoring application data | |
| CN103605588B (zh) | 一种虚拟机磁盘备份方法 | |
| CN102331949B (zh) | 一种虚拟机内存快照生成和恢复方法、装置及*** | |
| JP5547727B2 (ja) | ボリュームへの変更を追跡するシステムおよび方法 | |
| CN111143128B (zh) | 一种openstack云主机数据保护方法及*** | |
| CN105138431A (zh) | 一种Linux***的备份和还原方法 | |
| US9336131B1 (en) | Systems and methods for enabling virtual environments to mount non-native storage disks | |
| CN104461773A (zh) | 一种虚拟机备份去重的方法 | |
| CN103853633B (zh) | 基于虚拟机运行信息应用发现的应用程序注入式备份方法 | |
| CN107273049B (zh) | 一种应用在统一存储管理***上的卷管理方法 | |
| CN105516274A (zh) | 基于云平台实现对san通用管理的方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201112 Shanghai, Minhang District, United Airlines route 1188, building second layer A-1 unit 8 Applicant after: SHANGHAI EISOO INFORMATION TECHNOLOGY CO., LTD. Address before: 200072 room 3, building 840, No. 101 Middle Luochuan Road, Shanghai, Zhabei District Applicant before: Shanghai Eisoo Software Co.,Ltd. |
|
| COR | Change of bibliographic data | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |