CN105404564A - 一种数据远程容灾方法及装置 - Google Patents
一种数据远程容灾方法及装置 Download PDFInfo
- Publication number
- CN105404564A CN105404564A CN201510945282.7A CN201510945282A CN105404564A CN 105404564 A CN105404564 A CN 105404564A CN 201510945282 A CN201510945282 A CN 201510945282A CN 105404564 A CN105404564 A CN 105404564A
- Authority
- CN
- China
- Prior art keywords
- volume
- data
- site
- addon
- variation information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据远程容灾方法及装置,该方法包括:当主站点的源卷和备份站点的目标卷建立异步复制关系时,在所述主站点中生成第一附加卷,在所述备份站点中生成第二附加卷;所述第一附加卷同步记录所述源卷的数据变化信息;在预设窗口期结束后,所述第一附加卷将记录的所述数据变化信息传输给所述备份站点的目标卷;所述第二附件卷同步记录所述数据变化信息,以完成主备站点的异步复制。本发明所提供的数据远程容灾方法及装置,通过引入附加卷以及设置合适大小的窗口期,可以有效降低异步数据传输的数据量,降低传输网络的拥塞度,从而提高远程灾备技术的效率和稳定性。
Description
技术领域
本发明涉及存储阵列容灾技术领域,特别是涉及一种数据远程容灾方法及装置。
背景技术
数据安全目前已经成为企事业单位的运营核心,很多存储厂商都能够向用户提供稳定性极高的存储设备,但是必须考虑到各种自然灾难对生产***造成毁坏的因素。为了保证数据存取的持续性、可恢复性和高可用性,远程容灾解决方案应运而生,而远程复制技术则是容灾方案中的核心技术。
远程复制(RemoteCopy)又称远程镜像,是数据镜像技术的一种,分为同步远程复制和异步远程复制。它能够在两个或多个站点维护若干个数据副本。由于多个站点距离较远,经常分布在不同的城市,可以有效避免灾难发生时的数据丢失。
当站点距离达到一定距离时,由于传输时延不可避免的增加,两个站点数据读写的时延增大。为了不影响生产端的读写性能,允许生产端主站点首先完成数据写入操作,向上层应用返回写入完成应答,远程容灾站点滞后写入,这就是异步远程复制,即两个站点的数据写入是异步的。
异步远程复制一般应用在远距离跨城域的容灾方案中,站点距离可达数百公里,由于数据传输距离的增长,影响容灾方案的因素主要有:确定站点之间的具体带宽和时延是否达到设计的预期值变得复杂;两端站点之间的主机可能会失去联系;间歇性的数据传输高峰可能会引起网络中断。因此,如何提高远距离容灾方案中异步远程复制技术的效率和稳定性是目前亟待解决的技术问题。
发明内容
本发明的目的是提供一种数据远程容灾方法及装置,目的在于解决现有容灾方案中异步远程复制技术效率和稳定性低的问题。
为解决上述技术问题,本发明提供一种数据远程容灾方法,包括:
当主站点的源卷和备份站点的目标卷建立异步复制关系时,在所述主站点中生成第一附加卷,在所述备份站点中生成第二附加卷;
所述第一附加卷同步记录所述源卷的数据变化信息;
在预设窗口期结束后,所述第一附加卷将记录的所述数据变化信息传输给所述备份站点的目标卷;
所述第二附件卷同步记录所述数据变化信息,以完成主备站点的异步复制。
可选地,所述预设窗口期的范围为60秒至24小时。
可选地,所述第一附加卷将记录的所述数据变化信息传输给所述备份站点的目标卷包括:
所述第一附加卷通过主备站点之间的网络通路将记录的所述数据变化信息传输给所述备份站点的目标卷。
可选地,还包括:
当所述主站点的数据发生毁坏后,通过所述备份站点备份的数据进行数据恢复。
本发明还提供了一种数据远程容灾装置,包括:
生成模块,用于当主站点的源卷和备份站点的目标卷建立异步复制关系时,在所述主站点中生成第一附加卷,在所述备份站点中生成第二附加卷;
第一记录模块,用于所述第一附加卷同步记录所述源卷的数据变化信息;
传输模块,用于在预设窗口期结束后,所述第一附加卷将记录的所述数据变化信息传输给所述备份站点的目标卷;
第二记录模块,用于所述第二附件卷同步记录所述数据变化信息,以完成主备站点的异步复制。
可选地,所述预设窗口期的范围为60秒至24小时。
可选地,所述传输模块具体用于:
所述第一附加卷通过主备站点之间的网络通路将记录的所述数据变化信息传输给所述备份站点的目标卷。
可选地,还包括:
恢复模块,用于当所述主站点的数据发生毁坏后,通过所述备份站点备份的数据进行数据恢复。
本发明所提供的数据远程容灾方法及装置,当主站点的源卷和备份站点的目标卷建立异步复制关系时,在主站点中生成第一附加卷,在备份站点中生成第二附加卷;第一附加卷同步记录源卷的数据变化信息;在预设窗口期结束后,第一附加卷将记录的数据变化信息传输给备份站点的目标卷;第二附件卷同步记录数据变化信息,以完成主备站点的异步复制。本发明所提供的数据远程容灾方法及装置,通过引入附加卷以及设置合适大小的窗口期,可以有效降低异步数据传输的数据量,降低传输网络的拥塞度,从而提高远程灾备技术的效率和稳定性。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的数据远程容灾方法的一种具体实施方式的流程图;
图2为本发明所提供的数据远程容灾方法的另一种具体实施方式的流程图;
图3为本发明实施例提供的数据远程容灾装置的结构框图。
具体实施方式
异步远程复制技术的出现对容灾方案的基础架构提出了很多要求。在一些链路带宽较低,网络通路比较拥挤,主机负载较重的情况下,会出现很多拥挤阻塞的错误信息,主站点、备份站点以及网络中都可能出现类似信息。本发明的核心是提供一种数据远程容灾方法及装置。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明所提供的数据远程容灾方法的一种具体实施方式的流程图如图1所示,该方法包括:
步骤S101:当主站点的源卷和备份站点的目标卷建立异步复制关系时,在所述主站点中生成第一附加卷,在所述备份站点中生成第二附加卷;
步骤S102:所述第一附加卷同步记录所述源卷的数据变化信息;
步骤S103:在预设窗口期结束后,所述第一附加卷将记录的所述数据变化信息传输给所述备份站点的目标卷;
步骤S104:所述第二附件卷同步记录所述数据变化信息,以完成主备站点的异步复制。
本发明所提供的数据远程容灾方法,当主站点的源卷和备份站点的目标卷建立异步复制关系时,在主站点中生成第一附加卷,在备份站点中生成第二附加卷;第一附加卷同步记录源卷的数据变化信息;在预设窗口期结束后,第一附加卷将记录的数据变化信息传输给备份站点的目标卷;第二附件卷同步记录数据变化信息,以完成主备站点的异步复制。本发明所提供的数据远程容灾方法,通过引入附加卷以及设置合适大小的窗口期,可以有效降低异步数据传输的数据量,降低传输网络的拥塞度,从而提高远程灾备技术的效率和稳定性。
具体地,主站点的源卷和备份站点的目标卷建立异步复制关系,关系建立的同时会在主站点中生成第一附加卷A,在备份站点生成生成第二附加卷B。因为存储设备自身都会有本地同步的技术,源卷和第一附加卷A、以及目标卷和第二附加卷B都是本地同步的关系,附加卷A可以记录源卷的数据变化情况。
作为一种具体实施方式,本发明所提供的数据远程容灾方法中的预设窗口期的范围可以为60秒至24小时。窗口期的时间大小可以进行调整,这均不影响本发明的实现。
本发明所提供的数据远程容灾方法的另一种具体实施方式的流程图如图2所示,与上一实施例相比,第一附加卷将记录的所述数据变化信息传输给所述备份站点的目标卷可以具体为:所述第一附加卷通过主备站点之间的网络通路将记录的所述数据变化信息传输给所述备份站点的目标卷。该方法具体包括:
步骤S201:当主站点的源卷和备份站点的目标卷建立异步复制关系时,在所述主站点中生成第一附加卷,在所述备份站点中生成第二附加卷;
步骤S202:所述第一附加卷同步记录所述源卷的数据变化信息;
步骤S203:在预设窗口期结束后,第一附加卷通过主备站点之间的网络通路将记录的所述数据变化信息传输给所述备份站点的目标卷;
步骤S204:所述第二附件卷同步记录所述数据变化信息,以完成主备站点的异步复制。
当一个窗口期结束后,第一附加卷A开始将其记录的数据变化情况通过主备站点的网络通路传输给备份站点的目标卷,与此同时,第二附加卷B也会记录这些变化的数据,最终完成主备站点的异步复制。
优选地,本发明所提供的数据远程容灾方法还可以进一步包括:
当所述主站点的数据发生毁坏后,通过所述备份站点备份的数据进行数据恢复。
传统的异步远程复制技术,主站点在接收了I/O操作后,需要将同样数量的操作传输到备份站点,而这些操作很多都是对同一数据区域的重复更新。而本申请通过窗口期的设置,在一个窗口期内,对同一数据区域的多次操作,只需记录最后一次操作,然后将其传输到备份站点,这样大大减少了传输到远程站点的数据量,提高了该技术的效率。
下面对本发明实施例提供的数据远程容灾装置进行介绍,下文描述的数据远程容灾装置与上文描述的数据远程容灾方法可相互对应参照。
图3为本发明实施例提供的数据远程容灾装置的结构框图,参照图3数据远程容灾装置可以包括:
生成模块100,用于当主站点的源卷和备份站点的目标卷建立异步复制关系时,在所述主站点中生成第一附加卷,在所述备份站点中生成第二附加卷;
第一记录模块200,用于所述第一附加卷同步记录所述源卷的数据变化信息;
传输模块300,用于在预设窗口期结束后,所述第一附加卷将记录的所述数据变化信息传输给所述备份站点的目标卷;
第二记录模块400,用于所述第二附件卷同步记录所述数据变化信息,以完成主备站点的异步复制。
作为一种具体实施方式,本申请中上述预设窗口期的范围可以具体为60秒至24小时。
作为一种具体实施方式,本发明所提供的数据远程容灾装置的传输模块300可以具体用于:
所述第一附加卷通过主备站点之间的网络通路将记录的所述数据变化信息传输给所述备份站点的目标卷。
作为一种具体实施方式,本发明所提供的数据远程容灾装置还可以进一步包括:
恢复模块,用于当所述主站点的数据发生毁坏后,通过所述备份站点备份的数据进行数据恢复。
本发明所提供的数据远程容灾装置,当主站点的源卷和备份站点的目标卷建立异步复制关系时,在主站点中生成第一附加卷,在备份站点中生成第二附加卷;第一附加卷同步记录源卷的数据变化信息;在预设窗口期结束后,第一附加卷将记录的数据变化信息传输给备份站点的目标卷;第二附件卷同步记录数据变化信息,以完成主备站点的异步复制。本发明所提供的数据远程容灾装置,通过引入附加卷以及设置合适大小的窗口期,可以有效降低异步数据传输的数据量,降低传输网络的拥塞度,从而提高远程灾备技术的效率和稳定性。
综上,本发明所提供的数据远程容灾方法及装置,主要针对在硬盘、内存、CPU等硬件一定的情况下,通过优化软件的实现方式以及解决方案提高了数据远程容灾的效率和稳定性,能够满足多种应用场景的需要。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的数据远程容灾方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (8)
1.一种数据远程容灾方法,其特征在于,包括:
当主站点的源卷和备份站点的目标卷建立异步复制关系时,在所述主站点中生成第一附加卷,在所述备份站点中生成第二附加卷;
所述第一附加卷同步记录所述源卷的数据变化信息;
在预设窗口期结束后,所述第一附加卷将记录的所述数据变化信息传输给所述备份站点的目标卷;
所述第二附件卷同步记录所述数据变化信息,以完成主备站点的异步复制。
2.如权利要求1所述的数据远程容灾方法,其特征在于,所述预设窗口期的范围为60秒至24小时。
3.如权利要求2所述的数据远程容灾方法,其特征在于,所述第一附加卷将记录的所述数据变化信息传输给所述备份站点的目标卷包括:
所述第一附加卷通过主备站点之间的网络通路将记录的所述数据变化信息传输给所述备份站点的目标卷。
4.如权利要求1至3任一项所述的数据远程容灾方法,其特征在于,还包括:
当所述主站点的数据发生毁坏后,通过所述备份站点备份的数据进行数据恢复。
5.一种数据远程容灾装置,其特征在于,包括:
生成模块,用于当主站点的源卷和备份站点的目标卷建立异步复制关系时,在所述主站点中生成第一附加卷,在所述备份站点中生成第二附加卷;
第一记录模块,用于所述第一附加卷同步记录所述源卷的数据变化信息;
传输模块,用于在预设窗口期结束后,所述第一附加卷将记录的所述数据变化信息传输给所述备份站点的目标卷;
第二记录模块,用于所述第二附件卷同步记录所述数据变化信息,以完成主备站点的异步复制。
6.如权利要求5所述的数据远程容灾装置,其特征在于,所述预设窗口期的范围为60秒至24小时。
7.如权利要求6所述的数据远程容灾装置,其特征在于,所述传输模块具体用于:
所述第一附加卷通过主备站点之间的网络通路将记录的所述数据变化信息传输给所述备份站点的目标卷。
8.如权利要求5至7任一项所述的数据远程容灾装置,其特征在于,还包括:
恢复模块,用于当所述主站点的数据发生毁坏后,通过所述备份站点备份的数据进行数据恢复。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510945282.7A CN105404564A (zh) | 2015-12-16 | 2015-12-16 | 一种数据远程容灾方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510945282.7A CN105404564A (zh) | 2015-12-16 | 2015-12-16 | 一种数据远程容灾方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105404564A true CN105404564A (zh) | 2016-03-16 |
Family
ID=55470062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510945282.7A Pending CN105404564A (zh) | 2015-12-16 | 2015-12-16 | 一种数据远程容灾方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105404564A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106603635A (zh) * | 2016-11-29 | 2017-04-26 | 北京科技大学 | 一种平台数据异地备份方法 |
CN106598789A (zh) * | 2016-11-30 | 2017-04-26 | 成都华为技术有限公司 | 容器服务容灾的方法、装置、生产站点和灾备站点 |
WO2018076633A1 (zh) * | 2016-10-28 | 2018-05-03 | 华为技术有限公司 | 一种远程数据复制方法、存储设备及存储*** |
CN108228390A (zh) * | 2018-01-19 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 数据回档方法及装置 |
CN109117310A (zh) * | 2018-08-08 | 2019-01-01 | 中国建设银行股份有限公司 | 实现数据备份的容灾***、方法及装置 |
CN109376035A (zh) * | 2018-10-24 | 2019-02-22 | 郑州云海信息技术有限公司 | 一种备份特性测试方法、装置、设备及存储介质 |
CN111030945A (zh) * | 2019-12-06 | 2020-04-17 | 深信服科技股份有限公司 | 容灾方法、容灾网关、存储介质、装置以及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102014152A (zh) * | 2010-10-18 | 2011-04-13 | 浪潮(北京)电子信息产业有限公司 | 一种远程复制***及其方法 |
CN104662521A (zh) * | 2012-07-16 | 2015-05-27 | 康佩伦特科技公司 | 利用delta卷复制数据的***和方法 |
CN104679607A (zh) * | 2015-02-04 | 2015-06-03 | 山东省计算中心(国家超级计算济南中心) | 一种异构存储的容灾***及方法 |
-
2015
- 2015-12-16 CN CN201510945282.7A patent/CN105404564A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102014152A (zh) * | 2010-10-18 | 2011-04-13 | 浪潮(北京)电子信息产业有限公司 | 一种远程复制***及其方法 |
CN104662521A (zh) * | 2012-07-16 | 2015-05-27 | 康佩伦特科技公司 | 利用delta卷复制数据的***和方法 |
CN104679607A (zh) * | 2015-02-04 | 2015-06-03 | 山东省计算中心(国家超级计算济南中心) | 一种异构存储的容灾***及方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018076633A1 (zh) * | 2016-10-28 | 2018-05-03 | 华为技术有限公司 | 一种远程数据复制方法、存储设备及存储*** |
CN106603635A (zh) * | 2016-11-29 | 2017-04-26 | 北京科技大学 | 一种平台数据异地备份方法 |
CN106603635B (zh) * | 2016-11-29 | 2019-05-24 | 北京科技大学 | 一种平台数据异地备份方法 |
CN106598789A (zh) * | 2016-11-30 | 2017-04-26 | 成都华为技术有限公司 | 容器服务容灾的方法、装置、生产站点和灾备站点 |
CN106598789B (zh) * | 2016-11-30 | 2020-02-21 | 成都华为技术有限公司 | 容器服务容灾的方法、装置、生产站点和灾备站点 |
CN108228390A (zh) * | 2018-01-19 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 数据回档方法及装置 |
CN108228390B (zh) * | 2018-01-19 | 2024-04-09 | 腾讯科技(深圳)有限公司 | 数据回档方法及装置 |
CN109117310A (zh) * | 2018-08-08 | 2019-01-01 | 中国建设银行股份有限公司 | 实现数据备份的容灾***、方法及装置 |
CN109376035A (zh) * | 2018-10-24 | 2019-02-22 | 郑州云海信息技术有限公司 | 一种备份特性测试方法、装置、设备及存储介质 |
CN111030945A (zh) * | 2019-12-06 | 2020-04-17 | 深信服科技股份有限公司 | 容灾方法、容灾网关、存储介质、装置以及*** |
CN111030945B (zh) * | 2019-12-06 | 2023-05-16 | 深信服科技股份有限公司 | 容灾方法、容灾网关、存储介质、装置以及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105404564A (zh) | 一种数据远程容灾方法及装置 | |
US10706072B2 (en) | Data replication method and storage system | |
US8554737B2 (en) | Dynamic consistency group formation and systems using the same | |
US9600553B1 (en) | Distributed replication in cluster environments | |
CN102098342B (zh) | 一种基于事务级的数据同步方法、装置及*** | |
CN103268318B (zh) | 一种强一致性的分布式键值数据库***及其读写方法 | |
EP2820531B1 (en) | Interval-controlled replication | |
WO2018098972A1 (zh) | 一种日志恢复方法、存储装置和存储节点 | |
US7308545B1 (en) | Method and system of providing replication | |
KR101670343B1 (ko) | 피어투피어 데이터 복제를 위한 방법, 장치, 및 시스템 및 마스터 노드 전환을 위한 방법, 장치, 및 시스템 | |
CN102890716B (zh) | 分布式文件***和分布式文件***的数据备份方法 | |
US7979651B1 (en) | Method, system, and computer readable medium for asynchronously processing write operations for a data storage volume having a copy-on-write snapshot | |
CN105187464A (zh) | 一种分布式存储***中的数据同步方法、装置及*** | |
CN101441582A (zh) | 计算机数据对象的备份和恢复方法及实现该方法的***和程序产品 | |
CN102981927A (zh) | 分布式独立冗余磁盘阵列存储方法及分布式集群存储*** | |
CN108351821A (zh) | 数据恢复方法及存储设备 | |
CN103186554A (zh) | 分布式数据镜像方法及存储数据节点 | |
CN102184079B (zh) | 一种raid5级别磁盘阵列的写性能优化方法 | |
CN104182297A (zh) | 用于从主存储卷的故障中恢复的方法和*** | |
US7979396B1 (en) | System and method for performing consistent resynchronization between synchronized copies | |
CN109597718A (zh) | 一种容灾平台及一种容灾方法 | |
US10540103B1 (en) | Storage device group split technique for extent pool with hybrid capacity storage devices system and method | |
US9015433B2 (en) | Resiliency with a destination volume in a replication environment | |
CN103842954A (zh) | 一种存储***中的数据处理方法、装置和*** | |
CN103843309A (zh) | 数据同步方法和数据同步*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160316 |
|
RJ01 | Rejection of invention patent application after publication |