CN104407940A - 一种快速恢复cdp***的方法 - Google Patents
一种快速恢复cdp***的方法 Download PDFInfo
- Publication number
- CN104407940A CN104407940A CN201410692614.0A CN201410692614A CN104407940A CN 104407940 A CN104407940 A CN 104407940A CN 201410692614 A CN201410692614 A CN 201410692614A CN 104407940 A CN104407940 A CN 104407940A
- Authority
- CN
- China
- Prior art keywords
- cdp
- volume
- data
- recovery
- responsible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种快速恢复CDP***的方法,当CDP***临时中断后,CDP内核驱动模块内部维护一个以设定阀值分段的监控卷变化数据位图表,当下次重启CDP***后,根据CDP内核驱动模块维护的变化数据位图表,只需要对监控路径的变化区域进行初始化复制。与现有技术相比,本发明具有大大地减少了初始化复制的区域,去除了大量冗余数据,能快速恢复CDP***。
Description
技术领域
本发明涉及数据备份领域,尤其是涉及一种快速恢复CDP***的方法。
背景技术
随着信息时代的来临,如今的计算机已经深入到我们生活的方方面面,绝大部分企业都依靠计算机***来运行其核心业务,因而,***产生的大量数据也成为企业最宝贵的财富,如何保护这些数据也成了企业关注的焦点。
很多的应用领域对数据的可用性和及时性要求很严格,如果没有很好的方案将这些数据保护好,一旦发生灾难那么对企业的打击将是致命的。
如今我们已经步入了大数据时代,生产***上的数据量已经越来越大。面对大量的数据以及高PTO(Recovery Time Objective)、PRO(Recovery Point Objective)要求的生产***,普通的数据保护方式已经无法满足企业业务***数据保护的需求,CDP技术是当前比较流行,且RTO和RPO都较高的一种实时数据保护方案,其备份原理如下:1)在初始化阶段,通过块级拷贝技术生成一个完全数据副本;2)在增量阶段,通过CDP模块实时捕获I/O数据块生成增量数据副本。
但是,如果在CDP***复制过程中由于任何原因导致CDP任务中断,则在下次启动后还原CDP***需要对整个监控路径重新初始化,这个过程不仅耗时较长,而且会有大量冗余数据的备份,对存储空间和网络带宽资源是一种极大的浪费。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种快速恢复CDP***的方法,在CDP***因为任何原因临时中断后,下次重启CDP***后无需对整个监控路径重新做初始化复制,只需备份上次中断前没有完成传输的增量数据,并对CDP***中断期间监控路径局部变化的区域做初始化复制,即可快速恢复CDP***。
本发明的目的可以通过以下技术方案来实现:
一种快速恢复CDP***的方法,其特征在于,当CDP***临时中断后,CDP内核驱动模块内部维护一个以设定阀值分段的监控卷变化数据位图表,当下次重启CDP***后,根据CDP内核驱动模块维护的变化数据位图表,只需要对监控路径的变化区域进行初始化复制,这样大大地减少了初始化复制的区域,去除了大量冗余数据,能快速恢复CDP***。
所述的卷变化数据位图表,是加载在内存中,负责记录CDP中断期间监控卷变化区域的一个线性表。
所述的线性表大小由监控卷大小S和预定义段阀值B决定,它的一个Bit位标识该监控卷的地址区域A是否发生数据变化,如内核驱动模块监控到一个IRP(I/ORequest Packet)落在监控卷区域内,则根据写偏移Offset,和长度Length,将位图表中对应区域置1。在S=1TB,B=4KB的情况下,位图表的大小BS=S/B=32MB。
所述的CDP内核驱动模块在***启动时被加载,在整个***运行周期内都保持稳定运行;
当CDP***处于正常运行状态时,负责实时捕获监控路径区域的I/O数据块,并将I/O数据块组织成设定数据格式存储在日志卷中,供CDP调度模块提取并传输到存储介质端;
当CDP***处于停止或异常状态时,负责创建并维护以设定阀值分段的监控卷变化数据位图表。
所述的CDP调度模块负责与CDP内核驱动模块进行交互,如发送启动、停止、清除路径监控等相关控制指令,并负责初始化CDP监控路径,读取日志卷中的I/O变化数据块,通过数据通道传输到存储介质端。
与现有技术相比,本发明具有以下优点:
1、通过本发明可以实时对用户业务***数据进行保护。
2、通过本发明,可以在CDP***运行过程由于任何原因导致数据保护中断后,下一次重启能够避免对整个监控路径重新做初始化复制,减少了冗余数据的复制过程,从而快速的恢复CDP***。
附图说明
图1为TCP/IP协议4层模型示意图;
图2为本发明CDP***的结构示意图;
图3为本发明CDP***工作流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
本发明是基于原有CDP备份***上的改进。原备份***结构参考图2,由客户端和控制台组成,两者之间通过以太网连接,采用的传输协议是TCP/IP。TCP/IP协议4层模型如图1所示。为了在该CDP备份***上实现CDP***中断后的快速恢复功能,只需要修改CDP内核驱动模块和CDP调度模块。相互协作的模块都在客户端,整个过程对控制台来说是透明的。
如图3所示,本发明的具体实施过程如下:
1、需要在被保护业务***主机上安装CDP客户端,同时,需要额外提供一台主机,安装CDP控制台,所述客户端,包含CDP内核驱动模块、CDP调度模块、数据传输模块和控制模块,所述CDP控制台,主要包含数据存储模块和管理模块,主要是提供任务管理和存储介质管理等相关功能。
2、CDP***从中断状态恢复到正常状态的流程。
2.1CDP任务创建:通过CDP控制台界面创建基于用户业务主机SM的CDP任务CDPJob1,监控路径为SM上的业务数据卷D,大小为1TB,选择SM上的卷E作为CDP日志卷,大小为100GB。
2.2初始化复制阶段:CDP调度模块发送启动监控消息给CDP内核驱动模块,CDP内核驱动模块开始捕获卷D区域的I/O数据块,并将I/O数据块组织成特定数据形式存储到日志卷E;同时,CDP调度模块根据卷D上的文件***,结合文件***位图表做卷D进行初始化复制,将初始化数据块通过数据通道发送到控制台,交给数据存储模块处理。
2.3增量复制阶段:CDP调度模块根据文件***位图表完成从卷D起始位置到结束位置区域的有效数据的复制,开始从日志卷E提取增量数据块,通过数据通道发送到控制台,交给数据存储模块处理,当前数据块处理成功后,CDP调度模块从日志卷中删除该数据块。
2.4CDP任务中断:某个时刻,CDPJob1由于异常被动停止或用户通过控制台主动要求停止,CDP内核驱动模块检测到CDPJob1已经停止,开始根据约定阀值对CDPJob1的监控卷D进行区域分段,建立位图表BtiMap1,一个Bit位用于标识卷D上一个4KB的区域在CDP***中断后是否发生数据变化,则卷D对应的位图表大小为ITB/4KB/8=32MB,初始化位图表BtiMap1,监控***I/O,若更改区域位于卷D区域,则根据I/O请求包信息,将BtiMap1对应区域置1。
2.5CDP任务恢复:某个时刻,用户通过控制台主动要求执行CDPJob1,客户端收到消息后,通知CDP调度模块,CDP调度模块发送消息给CDP内核驱动模块,CDP内核驱动模块将BtiMap1从内存置换到日志卷对应的BitMapFIle,开始正常的流程:捕获卷D区域的I/O数据块,并将I/O数据块组织成特定数据形式存储到日志卷E。CDP调度模块先查看日志卷是否有上次执行过程中未传输完成的增量数据块,有的话,完成传输。然后读取BitMapFIle文件到内存,对卷D位图表中对应为1的区域地址进行局部复制,完成局部初始化复制操作后,从内存中移除为图标并从删除BitMapFIle文件,然后备份日志卷E中CDPJob1重启后产生的增量数据块,至此,CDPJob1已恢复。
Claims (5)
1.一种快速恢复CDP***的方法,其特征在于,当CDP***临时中断后,CDP内核驱动模块内部维护一个以设定阀值分段的监控卷变化数据位图表,当下次重启CDP***后,根据CDP内核驱动模块维护的变化数据位图表,只需要对监控路径的变化区域进行初始化复制。
2.根据权利要求1所述的一种快速恢复CDP***的方法,其特征在于,所述的卷变化数据位图表,是加载在内存中,负责记录CDP中断期间监控卷变化区域的一个线性表。
3.根据权利要求1所述的一种快速恢复CDP***的方法,其特征在于,所述的线性表大小由监控卷大小S和预定义段阀值B决定,计算如下:
位图表的大小BS=S/B。
4.根据权利要求1所述的一种快速恢复CDP***的方法,其特征在于,所述的CDP内核驱动模块在***启动时被加载,在整个***运行周期内都保持稳定运行;
当CDP***处于正常运行状态时,负责实时捕获监控路径区域的I/O数据块,并将I/O数据块组织成设定数据格式存储在日志卷中,供CDP调度模块提取并传输到存储介质端;
当CDP***处于停止或异常状态时,负责创建并维护以设定阀值分段的监控卷变化数据位图表。
5.根据权利要求4所述的一种快速恢复CDP***的方法,其特征在于,所述的CDP调度模块负责与CDP内核驱动模块进行交互,并负责初始化CDP监控路径,读取日志卷中的I/O变化数据块,通过数据通道传输到存储介质端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410692614.0A CN104407940A (zh) | 2014-11-26 | 2014-11-26 | 一种快速恢复cdp***的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410692614.0A CN104407940A (zh) | 2014-11-26 | 2014-11-26 | 一种快速恢复cdp***的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104407940A true CN104407940A (zh) | 2015-03-11 |
Family
ID=52645573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410692614.0A Pending CN104407940A (zh) | 2014-11-26 | 2014-11-26 | 一种快速恢复cdp***的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104407940A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105302668A (zh) * | 2015-10-21 | 2016-02-03 | 上海爱数信息技术股份有限公司 | 一种优化对象存储***中块设备数据访问性能的方法 |
CN107885616A (zh) * | 2017-09-29 | 2018-04-06 | 上海爱数信息技术股份有限公司 | 一种基于文件***解析的海量小文件备份恢复方法 |
CN109992448A (zh) * | 2017-12-31 | 2019-07-09 | ***通信集团山西有限公司 | 文件变化增量备份方法、装置、设备及介质 |
CN110209530A (zh) * | 2019-05-09 | 2019-09-06 | 上海爱数信息技术股份有限公司 | 一种高效恢复cdp***io数据的方法及*** |
CN112464044A (zh) * | 2020-12-09 | 2021-03-09 | 上海爱数信息技术股份有限公司 | 一种文件数据块变化信息监控管理***及其方法 |
CN114546244A (zh) * | 2020-11-18 | 2022-05-27 | 云坞科技(北京)有限公司 | 一种基于块级别连续数据保护的缓存空间过滤方法 |
CN114625575A (zh) * | 2022-05-16 | 2022-06-14 | 深圳市科力锐科技有限公司 | 业务***同步方法、装置、设备及存储介质 |
CN117591345A (zh) * | 2024-01-18 | 2024-02-23 | 柏科数据技术(深圳)股份有限公司 | 针对Ceph的数据同步方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8051044B1 (en) * | 2008-04-01 | 2011-11-01 | Acronis, Inc. | Method and system for continuous data protection |
CN102508739A (zh) * | 2011-10-20 | 2012-06-20 | 浪潮(北京)电子信息产业有限公司 | 获取灾难后***持续数据保护的性能信息的方法及装置 |
CN103365745A (zh) * | 2013-06-07 | 2013-10-23 | 上海爱数软件有限公司 | 一种基于内容地址存储的块级备份方法及*** |
CN103530204A (zh) * | 2013-10-15 | 2014-01-22 | 上海爱数软件有限公司 | 一种实时数据备份方法及*** |
-
2014
- 2014-11-26 CN CN201410692614.0A patent/CN104407940A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8051044B1 (en) * | 2008-04-01 | 2011-11-01 | Acronis, Inc. | Method and system for continuous data protection |
CN102508739A (zh) * | 2011-10-20 | 2012-06-20 | 浪潮(北京)电子信息产业有限公司 | 获取灾难后***持续数据保护的性能信息的方法及装置 |
CN103365745A (zh) * | 2013-06-07 | 2013-10-23 | 上海爱数软件有限公司 | 一种基于内容地址存储的块级备份方法及*** |
CN103530204A (zh) * | 2013-10-15 | 2014-01-22 | 上海爱数软件有限公司 | 一种实时数据备份方法及*** |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105302668A (zh) * | 2015-10-21 | 2016-02-03 | 上海爱数信息技术股份有限公司 | 一种优化对象存储***中块设备数据访问性能的方法 |
CN105302668B (zh) * | 2015-10-21 | 2018-09-25 | 上海爱数信息技术股份有限公司 | 一种优化对象存储***中块设备数据访问性能的方法 |
CN107885616A (zh) * | 2017-09-29 | 2018-04-06 | 上海爱数信息技术股份有限公司 | 一种基于文件***解析的海量小文件备份恢复方法 |
CN109992448A (zh) * | 2017-12-31 | 2019-07-09 | ***通信集团山西有限公司 | 文件变化增量备份方法、装置、设备及介质 |
CN110209530A (zh) * | 2019-05-09 | 2019-09-06 | 上海爱数信息技术股份有限公司 | 一种高效恢复cdp***io数据的方法及*** |
CN110209530B (zh) * | 2019-05-09 | 2024-02-09 | 上海爱数信息技术股份有限公司 | 一种恢复cdp***io数据的方法及*** |
CN114546244A (zh) * | 2020-11-18 | 2022-05-27 | 云坞科技(北京)有限公司 | 一种基于块级别连续数据保护的缓存空间过滤方法 |
CN114546244B (zh) * | 2020-11-18 | 2023-11-03 | 云坞科技(北京)有限公司 | 一种基于块级别连续数据保护的缓存空间过滤方法 |
CN112464044A (zh) * | 2020-12-09 | 2021-03-09 | 上海爱数信息技术股份有限公司 | 一种文件数据块变化信息监控管理***及其方法 |
CN114625575A (zh) * | 2022-05-16 | 2022-06-14 | 深圳市科力锐科技有限公司 | 业务***同步方法、装置、设备及存储介质 |
CN117591345A (zh) * | 2024-01-18 | 2024-02-23 | 柏科数据技术(深圳)股份有限公司 | 针对Ceph的数据同步方法、装置、设备及存储介质 |
CN117591345B (zh) * | 2024-01-18 | 2024-05-14 | 柏科数据技术(深圳)股份有限公司 | 针对Ceph的数据同步方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104407940A (zh) | 一种快速恢复cdp***的方法 | |
CN105389230B (zh) | 一种结合快照技术的持续数据保护***及方法 | |
CN105550062B (zh) | 基于持续数据保护与时间点浏览恢复的数据回流方法 | |
US8868858B2 (en) | Method and apparatus of continuous data backup and access using virtual machines | |
JP6232427B2 (ja) | メッセージ配信における添付ファイルの重複排除および添付ファイルの自動修復 | |
CN106776130B (zh) | 一种日志恢复方法、存储装置和存储节点 | |
CN110389858B (zh) | 存储设备的故障恢复方法和设备 | |
US11892922B2 (en) | State management methods, methods for switching between master application server and backup application server, and electronic devices | |
CN109582443A (zh) | 基于分布式存储技术的虚拟机备份*** | |
CN105302667B (zh) | 基于集群架构的高可靠性数据备份与恢复方法 | |
CN106919473B (zh) | 一种数据灾备***及业务处理方法 | |
CN102792276A (zh) | 闪速复制级联中的缓冲磁盘 | |
CN104461776A (zh) | 基于CDP和iSCSI虚拟磁盘技术的应用容灾方法 | |
CN111708488B (zh) | 一种基于分布式内存盘的Ceph性能优化的方法和设备 | |
CN104461773A (zh) | 一种虚拟机备份去重的方法 | |
CN102968360A (zh) | 具有n+1冗余功能的存储***及方法 | |
CN110597661A (zh) | 一种虚拟机备份方法与装置 | |
CN111176900A (zh) | 一种分布式存储***及其数据恢复方法、装置和介质 | |
CN111949445B (zh) | 一种增量备份数据存储方法、装置、设备、产品 | |
CN103384266A (zh) | 一种基于文件级实时同步的Parastor200管理节点高可用方法 | |
CN105389231A (zh) | 一种数据库双机备份方法及*** | |
CN103544081B (zh) | 双元数据服务器的管理方法和装置 | |
CN106445746A (zh) | 一种面向应急接替的容灾备份方法及装置 | |
JP2014119851A (ja) | 情報処理装置、バックアッププログラム、リストアプログラム、及び該方法 | |
CN103297264A (zh) | 一种云平台故障恢复方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 201112 Shanghai, Minhang District, United Airlines route 1188, building second layer A-1 unit 8 Applicant after: SHANGHAI EISOO INFORMATION TECHNOLOGY CO., LTD. Address before: 201112 Shanghai, Minhang District, United Airlines route 1188, building second layer A-1 unit 8 Applicant before: Shanghai Eisoo Software Co.,Ltd. |
|
COR | Change of bibliographic data | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150311 |
|
RJ01 | Rejection of invention patent application after publication |