CN102819615A - 一种基于应用快照的数据库持续数据保护方法 - Google Patents

一种基于应用快照的数据库持续数据保护方法 Download PDF

Info

Publication number
CN102819615A
CN102819615A CN2012103126604A CN201210312660A CN102819615A CN 102819615 A CN102819615 A CN 102819615A CN 2012103126604 A CN2012103126604 A CN 2012103126604A CN 201210312660 A CN201210312660 A CN 201210312660A CN 102819615 A CN102819615 A CN 102819615A
Authority
CN
China
Prior art keywords
database
snapshot
data
client
server end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012103126604A
Other languages
English (en)
Inventor
黄疆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN MARSTOR TECHNOLOGY Co Ltd
Original Assignee
TIANJIN MARSTOR TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN MARSTOR TECHNOLOGY Co Ltd filed Critical TIANJIN MARSTOR TECHNOLOGY Co Ltd
Priority to CN2012103126604A priority Critical patent/CN102819615A/zh
Publication of CN102819615A publication Critical patent/CN102819615A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于应用快照的数据库持续数据保护方法，其主要技术特点包括以下步骤：包括数据库初始化方法、数据库写入方法和数据库恢复方法三部分，本发明通过客户端的应用快照模块对采用持续数据保护方式写入镜像磁盘分区的I/O进行监测，捕获数据库一致点，以保证数据库一致性，在不影响应用运行的前提下，持续跟踪受保护数据所发生的改变，当数据双写模块监测到受保护的磁盘分区写操作发生时，执行数据复制和记录到服务器上中，通过应用直接加载镜像来进行数据恢复，从而实现对数据库的持续保护功能，具有实时性强、性能可靠、实现方法简单等特点。

Description

一种基于应用快照的数据库持续数据保护方法
技术领域
本发明属于数据备份技术领域，尤其是一种基于应用快照的数据库持续数据保护方法。
背景技术
随着信息技术的飞速发展，需要对计算机数据库进行有效地保护。现有的DBMS关系型数据库由控制文件、日志文件和数据文件组成，他们之间是互相独立的，由不同的数据库实例（INSTANCE）进程控制。一般情况下，控制文件记录数据库整体信息，日志文件记录数据库变化的历史，而数据文件记录具体的数据内容，日志文件写入磁盘与数据文件写入磁盘并不是同步的，数据库在运行时的写首先保存在数据缓冲中，同时在日志缓冲中加入一条记录。如图7所示，LGWR负责将日志缓冲写入对应的磁盘分区1，DBWR负责将数据缓冲写入对应的磁盘分区2。日志缓冲大小为几MB，写入次数频繁，数据缓冲大小为几GB，写入次数较少，例如以9:00-9:10为例，LGWR运行5次，DBWR运行2次；同时LGWR和DBWR写入是不同步的。例如9:00触发LGWR，9:01触发DBWR。这种方式虽然可以提高数据库内容查询和更新的效率，但一旦数据库损坏，由于日志文件和数据文件写入不同步，当数据库损坏时，硬盘上的日志文件和数据文件并不是一个时间点的，当数据库恢复时，这种不一致会带来数据的混乱甚至无法恢复。
发明内容
本发明的目的在于克服现有技术的不足，提供一种设计合理、能够对数据进行实时保护且易于实现的基于应用快照的数据库持续数据保护方法。
本发明解决现有的技术问题是采取以下技术方案实现的：
一种基于应用快照的数据库持续数据保护方法，包括数据库初始化方法、数据库写入方法和数据库恢复方法三部分，
所述的数据库初始化方法包括以下步骤：
(1)将客户端和服务器端连接在一起；
(2)在服务器端上生成与客户端数据库磁盘分区相对应的镜像磁盘分区；
(3)客户端获取服务器端镜像磁盘分区位置；
(4)客户端加载数据双写模块；
(5)客户端同步数据库控制文件、日志文件和数据文件到服务器端镜像磁盘分区；
(6)客户端加载应用快照模块；
(7)服务器端加载数据库接收模块和快照生成模块；
所述的数据库写入方法包括以下步骤：
(1)通过数据双写模块将涉及的控制文件、日志文件和数据文件实时复制到服务器端镜像磁盘分区位置；
(2)应用快照模块实时监测数据双写模块的I/O记录；
(3)应用快照模块判断是否为数据库一致点，是则转到步骤(4)，否则转到步骤(2)；
(4)应用快照模块通知数据双写模块暂停I/O操作；
(5)应用快照模块通知服务器端，由快照生成模块生成数据库一致点快照；
(6)应用快照模块通知数据双写模块恢复I/O操作，转到步骤(2)；
所述的数据库恢复方法包括以下步骤：
(1)客户端应用快照模块查找服务器端对应的最新快照版本；
(2)在客户端加载该最新快照版本；
(3)打开数据库并正常使用。
而且，所述客户端和服务器端通过FC或iSCSI网络相连接。
而且，数据据双写模块被安装在磁盘分区I/O驱动程序的接口上。
而且，所述应用快照模块通过判断数据双写模块写入的数据来确定是否为数据库一致点。
而且，所述应用快照模块通过暂停I/O操作和快照方式，生成数据库一致点。
而且，所述的数据库为以下数据库之一：Oracle、SQL Server、Sybase、MYSQL、DB2、PGSQL、Exchange、Lotus Notes、SharePoint和人大金仓数据库。
本发明的优点和积极效果是：
本发明通过客户端的应用快照模块对采用持续数据保护方式写入镜像磁盘分区的I/O进行监测，捕获数据库一致点，以保证数据库一致性，在不影响应用运行的前提下，持续跟踪受保护数据所发生的改变，当数据双写模块监测到受保护的磁盘分区写操作发生时，执行数据复制和记录到服务器上中；进行数据恢复时，可通过应用直接加载镜像来进行数据恢复，从而实现对数据库的持续保护功能，具有实时性强、性能可靠、实现方法简单等特点。
附图说明
图1是本发明的数据库写入处理示意图；
图2是本发明的数据库恢复处理示意图；
图3是本发明的软件模块关系示意图；
图4是本发明的数据库初始化方法流程图；
图5是本发明的数据库写入方法流程图；
图6是本发明的数据库恢复方法流程图；
图7是现有数据库***处理示意图。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种基于应用快照的数据库持续数据保护方法，是在基于应用快照的数据库持续数据保护***上实现的，如图1至图3所示，该数据库持续数据保护***包括客户端和服务器端，客户端和服务器端通过FC或iSCSI网络相连接，在客户端安装有数据双写模块和应用快照模块，服务器端安装有数据库接收模块和快照生成模块，在服务器端设有与数据库所在磁盘分区相对应的镜像磁盘分区。应用快照模块对采用持续数据保护方式写入镜像磁盘分区的I/O进行监测，捕获数据库一致点，以保证数据库一致性，数据双写模块监测到受保护的磁盘分区写操作发生时，执行数据复制和记录到服务器上中，同时执行原有的磁盘分区I/O驱动程序；服务器端的数据接收模块将数据写入镜像磁盘分区内，并通过快照生成模块生成数据库一致点快照。
本数据库持续数据保护方法能够支持如下数据库：Oracle、SQL Server、Sybase、MYSQL、DB2、PGSQL、Exchange、Lotus Notes、SharePoint和人大金仓数据库。
一种基于应用快照的数据库持续数据保护方法，包括数据库初始化方法、数据库写入方法和数据库恢复方法三个组成部分，下面对三个组成部分分别进行说明：
如图4所示，数据库初始化方法包括以下步骤：
1、将客户端和服务器端通过FC或iSCSI网络相连接；
2、在服务器端上生成与客户端数据库磁盘分区相对应的镜像磁盘分区；
3、客户端获取服务器端镜像磁盘分区位置；
4、客户端加载数据双写模块，该数据双写模块安装在磁盘分区I/O驱动程序的接口上；
5、客户端同步数据库控制文件、日志文件和数据文件到服务器端镜像磁盘分区；
6、客户端加载应用快照模块；
7、服务器端加载数据库接收模块和快照生成模块。
通过上述数据库初始化，可以将客户端和服务器端连接在一起，并进行磁盘分区、程序安装、数据同步等工作，为数据库保护做好必要的准备工作。
如图5所示，数据库写入方法包括以下步骤：
1、通过数据双写模块将涉及的控制文件、日志文件和数据文件实时复制到服务器端镜像磁盘分区位置；
2、应用快照模块实时监测数据双写模块的I/O记录；
3、应用快照模块通过判断数据双写模块写入的数据来确定是否为数据库一致点，是则转到步骤4，否则转到步骤2；。
4、应用快照模块通知数据双写模块暂停I/O操作；
5、应用快照模块通知服务器端，由快照生成模块生成数据库一致点快照；
6、应用快照模块通知数据双写模块恢复I/O操作，转到步骤2。
通过以上步骤，实现了在客户端和服务器端同步处理，在客户端进行数据库写入的同时，在服务器端的镜像磁盘分区进行写入并形成一致性快照，保证了对数据库的日志文件和数据文件的一致性，为数据库恢复提供了必要的条件。
如图6所示，数据库恢复方法包括以下步骤：
1、客户端应用快照模块查找服务器端对应的最新快照版本；
2、在客户端加载该最新快照版本；
3、打开数据库并正常使用。
通过上述步骤可以看出，在进行数据库恢复时，可通过应用直接加载镜像来进行数据恢复，从而实现对数据库的持续保护功能。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (6)

1.一种基于应用快照的数据库持续数据保护方法，其特征在于：包括数据库初始化方法、数据库写入方法和数据库恢复方法三部分，
所述的数据库初始化方法包括以下步骤：
(1)将客户端和服务器端连接在一起；
(2)在服务器端上生成与客户端数据库磁盘分区相对应的镜像磁盘分区；
(3)客户端获取服务器端镜像磁盘分区位置；
(4)客户端加载数据双写模块；
(5)客户端同步数据库控制文件、日志文件和数据文件到服务器端镜像磁盘分区；
(6)客户端加载应用快照模块；
(7)服务器端加载数据库接收模块和快照生成模块；
所述的数据库写入方法包括以下步骤：
(1)通过数据双写模块将涉及的控制文件、日志文件和数据文件实时复制到服务器端镜像磁盘分区位置；
(2)应用快照模块实时监测数据双写模块的I/O记录；
(3)应用快照模块判断是否为数据库一致点，是则转到步骤(4)，否则转到步骤(2)；
(4)应用快照模块通知数据双写模块暂停I/O操作；
(5)应用快照模块通知服务器端，由快照生成模块生成数据库一致点快照；
(6)应用快照模块通知数据双写模块恢复I/O操作，转到步骤(2)；
所述的数据库恢复方法包括以下步骤：
(1)客户端应用快照模块查找服务器端对应的最新快照版本；
(2)在客户端加载该最新快照版本；
(3)打开数据库并正常使用。
2.根据权利要求1所述的一种基于应用快照的数据库持续数据保护方法，其特征在于：所述客户端和服务器端通过FC或iSCSI网络相连接。
3.根据权利要求1所述的一种基于应用快照的数据库持续数据保护方法，其特征在于：所述的数据据双写模块被安装在磁盘分区I/O驱动程序的接口上。
4.根据权利要求1所述的一种基于应用快照的数据库持续数据保护方法，其特征在于：所述应用快照模块通过判断数据双写模块写入的数据来确定是否为数据库一致点。
5.根据权利要求1所述的一种基于应用快照的数据库持续数据保护方法，其特征在于：所述应用快照模块通过暂停I/O操作和快照方式，生成数据库一致点。
6.根据权利要求1所述的一种基于应用快照的数据库持续数据保护方法，其特征在于：所述的数据库为以下数据库之一：Oracle、SQL Server、Sybase、MYSQL、DB2、PGSQL、Exchange、Lotus Notes、SharePoint和人大金仓数据库。
CN2012103126604A 2012-08-30 2012-08-30 一种基于应用快照的数据库持续数据保护方法 Pending CN102819615A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012103126604A CN102819615A (zh) 2012-08-30 2012-08-30 一种基于应用快照的数据库持续数据保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012103126604A CN102819615A (zh) 2012-08-30 2012-08-30 一种基于应用快照的数据库持续数据保护方法

Publications (1)

Publication Number Publication Date
CN102819615A true CN102819615A (zh) 2012-12-12

Family

ID=47303726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012103126604A Pending CN102819615A (zh) 2012-08-30 2012-08-30 一种基于应用快照的数据库持续数据保护方法

Country Status (1)

Country Link
CN (1) CN102819615A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150232A (zh) * 2013-02-01 2013-06-12 浪潮(北京)电子信息产业有限公司 存储快照创建方法和装置
CN103399921A (zh) * 2013-08-01 2013-11-20 天津火星科技有限公司 一种基于Oracle数据库的一致点捕获方法
CN103544286A (zh) * 2013-10-28 2014-01-29 中国软件与技术服务股份有限公司 一种数据库保护方法
CN103842954A (zh) * 2013-12-05 2014-06-04 华为技术有限公司 一种存储***中的数据处理方法、装置和***
CN104239538A (zh) * 2014-09-22 2014-12-24 北京国双科技有限公司 一种快照型日志压缩方法、***及装置
CN105389230A (zh) * 2015-10-21 2016-03-09 上海爱数信息技术股份有限公司 一种结合快照技术的持续数据保护***及方法
CN105988892A (zh) * 2015-02-10 2016-10-05 北京中科同向信息技术有限公司 一种基于实时的数据保护技术
CN107797888A (zh) * 2017-11-06 2018-03-13 长沙曙通信息科技有限公司 一种持续数据保护***数据回滚实现方法
CN108255645A (zh) * 2018-01-08 2018-07-06 长沙曙通信息科技有限公司 一种持续数据保护***数据回滚实现方法
CN108322533A (zh) * 2018-01-31 2018-07-24 广州鼎甲计算机科技有限公司 基于操作日志的分布式集群节点间配置同步方法
CN109313598A (zh) * 2016-06-09 2019-02-05 万事达卡国际公司 用于监视服务器***的改变的方法和***
CN110168514A (zh) * 2017-06-05 2019-08-23 华为技术有限公司 一种事务处理方法、装置及设备
WO2021082675A1 (zh) * 2019-10-31 2021-05-06 上海爱数信息技术股份有限公司 数据库信息的备份方法和恢复方法、电子设备以及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070005914A1 (en) * 2005-06-29 2007-01-04 Thompson Dianne C Backup and restore operations using a single snapshot driven by a server job request
CN101650680A (zh) * 2009-07-27 2010-02-17 浪潮电子信息产业股份有限公司 一种基于连续快照的持续数据保护的方法
CN102012947A (zh) * 2010-12-16 2011-04-13 创新科存储技术有限公司 一种数据库在线备份的方法及***
CN102331955A (zh) * 2011-09-14 2012-01-25 天津火星科技有限公司 一种多时间粒度的数据备份方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070005914A1 (en) * 2005-06-29 2007-01-04 Thompson Dianne C Backup and restore operations using a single snapshot driven by a server job request
CN101650680A (zh) * 2009-07-27 2010-02-17 浪潮电子信息产业股份有限公司 一种基于连续快照的持续数据保护的方法
CN102012947A (zh) * 2010-12-16 2011-04-13 创新科存储技术有限公司 一种数据库在线备份的方法及***
CN102331955A (zh) * 2011-09-14 2012-01-25 天津火星科技有限公司 一种多时间粒度的数据备份方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150232B (zh) * 2013-02-01 2016-06-01 浪潮(北京)电子信息产业有限公司 存储快照创建方法和装置
CN103150232A (zh) * 2013-02-01 2013-06-12 浪潮(北京)电子信息产业有限公司 存储快照创建方法和装置
CN103399921A (zh) * 2013-08-01 2013-11-20 天津火星科技有限公司 一种基于Oracle数据库的一致点捕获方法
CN103399921B (zh) * 2013-08-01 2016-08-10 天津火星科技有限公司 一种基于Oracle数据库的一致点捕获方法
CN103544286B (zh) * 2013-10-28 2017-04-12 中国软件与技术服务股份有限公司 一种数据库保护方法
CN103544286A (zh) * 2013-10-28 2014-01-29 中国软件与技术服务股份有限公司 一种数据库保护方法
CN103842954A (zh) * 2013-12-05 2014-06-04 华为技术有限公司 一种存储***中的数据处理方法、装置和***
CN103842954B (zh) * 2013-12-05 2017-02-15 华为技术有限公司 一种存储***中的数据处理方法、装置、***和服务器
CN104239538A (zh) * 2014-09-22 2014-12-24 北京国双科技有限公司 一种快照型日志压缩方法、***及装置
CN104239538B (zh) * 2014-09-22 2017-10-17 北京国双科技有限公司 一种快照型日志压缩方法、***及装置
CN105988892A (zh) * 2015-02-10 2016-10-05 北京中科同向信息技术有限公司 一种基于实时的数据保护技术
CN105389230A (zh) * 2015-10-21 2016-03-09 上海爱数信息技术股份有限公司 一种结合快照技术的持续数据保护***及方法
CN105389230B (zh) * 2015-10-21 2018-06-22 上海爱数信息技术股份有限公司 一种结合快照技术的持续数据保护***及方法
CN109313598A (zh) * 2016-06-09 2019-02-05 万事达卡国际公司 用于监视服务器***的改变的方法和***
CN110168514A (zh) * 2017-06-05 2019-08-23 华为技术有限公司 一种事务处理方法、装置及设备
CN107797888A (zh) * 2017-11-06 2018-03-13 长沙曙通信息科技有限公司 一种持续数据保护***数据回滚实现方法
CN108255645A (zh) * 2018-01-08 2018-07-06 长沙曙通信息科技有限公司 一种持续数据保护***数据回滚实现方法
CN108322533A (zh) * 2018-01-31 2018-07-24 广州鼎甲计算机科技有限公司 基于操作日志的分布式集群节点间配置同步方法
WO2021082675A1 (zh) * 2019-10-31 2021-05-06 上海爱数信息技术股份有限公司 数据库信息的备份方法和恢复方法、电子设备以及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN102819615A (zh) 一种基于应用快照的数据库持续数据保护方法
US9396244B2 (en) Systems and methods for managing replicated database data
US11188504B2 (en) Managing deletions from a deduplication database
US9785518B2 (en) Multi-threaded transaction log for primary and restore/intelligence
US9389800B1 (en) Synthesizing virtual machine disk backups
US11138156B2 (en) Continuous data management system and operating method thereof
US8805789B2 (en) Using a metadata image of a file system and archive instance to backup data objects in the file system
Tan et al. CABdedupe: A causality-based deduplication performance booster for cloud backup services
US9251008B2 (en) Client object replication between a first backup server and a second backup server
US20140074790A1 (en) Using a metadata image of a file system and archive instance to restore data objects in the file system
CN104615504B (zh) 一种实现数据保护的方法及装置
CN102541691B (zh) 面向内存数据库oltp应用的日志检查点恢复方法
US10484179B1 (en) Data consistency in an encrypted replication environment
CN110109778A (zh) 一种大量小数据文件备份方法及恢复方法
CN105487942A (zh) 一种基于重复数据删除的备份与远程复制方法
CN102033930A (zh) 分布式内存数据库***
CN104239443A (zh) 一种序列化数据操作日志的存储方法
CN103916459A (zh) 一种大数据归档存储***
CN104461773A (zh) 一种虚拟机备份去重的方法
CN105045685A (zh) 缓存数据的备份方法及装置、缓存数据的恢复方法及装置
CN103176867A (zh) 一种快速文件差异备份方法
CN103617099A (zh) 一种实时的用户文件内容审计方法及***
US12045134B2 (en) Copy data management system and method for modern application
CN102831036A (zh) 一种基于磁盘分区的持续数据保护方法
KR102089710B1 (ko) 연속 데이터 관리 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121212