CN104391926B - 一种同步数据复制方法及装置 - Google Patents

Abstract

本发明提供了一种同步数据复制方法及装置；方法应用于包括主存储设备和备存储设备的***中，包括：所述主存储设备收到写请求后，如果网络正常则复制所述写请求后，按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备，提交另一份写请求到本主存储设备；当主存储设备写完成，且收到备存储设备的写完成确认后，完成所述写请求。本发明的同步数据复制方案在包括主、备存储设备的***中能保证数据完整性。

Description

一种同步数据复制方法及装置

技术领域

本发明涉及存储的灾备领域，具体涉及一种同步数据复制方法及装置。

背景技术

在计算机技术高速发展的今天，纸媒数据逐渐转化成电子信息，海量的数据催生了云计算、大数据和大存储***，相对个人***对存储的容量、***工作的连续性和安全性相对较小的要求，银行***、电力企业等对数据的安全性和***工作连续性要求要高的多，如果银行***的安全性和业务连续性出现问题，银行的损失是巨大的，有时损失难以弥补的。

数据的安全性应包括物理的安装行和逻辑的安全性，逻辑的安全性是要对整个银行***的数据进行数据加密、设置管理权限等等。物理的安全性指当有灾难发生或者突然停电等情况下，业务可能在最短的时间内恢复，数据是完整不会丢失的。

发明内容

本发明要解决的技术问题是提供一种在包括主、备存储设备的***中能保证数据完整性的同步数据复制方案。

为了解决上述问题，本发明提供了一种同步数据复制方法，应用于包括主存储设备和备存储设备的***中，包括：

所述主存储设备收到写请求后，如果网络正常则复制所述写请求后，按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备，提交另一份写请求到本主存储设备；

当主存储设备写完成，且收到备存储设备的写完成确认后，完成所述写请求。

可选地，还包括：

当网络出现异常时，先在位图元数据中置位，标识块被写过，然后提交所述写请求到主存储设备；当网络恢复后，根据位图中记录，查找更改过的块，并同步数据到所述备存储设备。

可选地，所述链路策略包括：

链路所使用的传输介质及传输策略；

所述传输介质包括IP网卡传输介质和光纤传输介质；所述传输策略包括指定网卡或光纤卡的传输，失效切换和负载均衡策略。

可选地，所述按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备的步骤包括：

在创建同步远程复制时所添加的多个逻辑链路中，按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备；如果设置的传输策略为失效切换，则在所选的逻辑链路失效后，使用所述多个逻辑链路中的其它逻辑链路作为后备链路进行数据的传输；如果设置的传输策略为负载均衡策略，则遍历所述多个逻辑链路，查找最空闲逻辑链路进行数据传输。

可选地，所述的方法还包括：

所述主存储设备发送写请求及提交写请求后均将该写请求对应的引用计数加1；

所述当主存储设备写完成，且收到备存储设备的写完成确认后，完成所述写请求的步骤包括：

当所述主存储设备写完成后，将相应写请求对应的所述引用计数减1；当收到所述备存储设备的写完成确认后，将相应写请求对应的所述引用计数减1；当一个写请求对应的所述引用计数为0时，确认该写请求完成。

本发明提供了一种同步数据复制装置，应用于包括主存储设备和备存储设备的***中，包括：

复制模块，用于当所述主存储设备收到写请求后，如果网络正常则复制所述写请求后，按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备，提交另一份写请求到本主存储设备；

确认模块，用于当所述主存储设备写完成，且收到备存储设备的写完成确认后，完成所述写请求。

可选地，所述复制模块还用于当网络出现异常时，先在位图元数据中置位，标识块被写过，然后提交所述写请求到主存储设备；当网络恢复后，根据位图中记录，查找更改过的块，并同步数据到所述备存储设备。

可选地，所述链路策略包括：

链路所使用的传输介质及传输策略；

所述传输介质包括IP网卡传输介质和光纤传输介质；所述传输策略包括指定网卡或光纤卡的传输，失效切换和负载均衡策略。

可选地，所述复制模块按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备是指：

所述复制模块在创建同步远程复制时所添加的多个逻辑链路中，按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备；如果设置的传输策略为失效切换，则在所选的逻辑链路失效后，使用所述多个逻辑链路中的其它逻辑链路作为后备链路进行数据的传输；如果设置的传输策略为负载均衡策略，则遍历所述多个逻辑链路，查找最空闲逻辑链路进行数据传输。

可选地，所述的装置还包括：

计数模块，用于当所述主存储设备发送写请求及提交写请求后均将该写请求对应的引用计数加1；

所述确认模块当主存储设备写完成，且收到备存储设备的写完成确认后，完成所述写请求是指：

所述确认模块当所述主存储设备写完成后，将相应写请求对应的所述引用计数减1；当收到所述备存储设备的写完成确认后，将相应写请求对应的所述引用计数减1；当一个写请求对应的所述引用计数为0时，确认该写请求完成。

本发明的方案对提交到主存储设备的写请求进行复制，使主、备存储设备可以同步处理写请求，保证同步数据的完整；本发明的优化方案还提供了网络不佳时的处理方案，能进一步确保同步数据的完整；本发明的又一个优化方案可以支持多种传输介质的多种传输策略，支持指定网卡或光线卡的传输；支持失效切换，在指定传输链路出现问题是可以切换到后备链路进行数据传输；支持负载均衡的传输方式，在多个逻辑链路中间传输数据，充分利用通信宽带。

附图说明

图1是实施例一的例子中的处理流程图。

具体实施方式

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一、一种同步数据复制方法，应用于包括主存储设备和备存储设备的***中，包括：

所述主存储设备收到写请求后，如果网络正常则复制所述写请求后，按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备，提交另一份写请求到本主存储设备；

当主存储设备写完成，且收到备存储设备的写完成确认后，完成所述写请求。

本实施例主要涉及两个存储设备，主存储设备和备存储设备。当有数据读请求时，由于主存储设备存储了最新的数据，可以直接从主存储设备读取数据，不需要发送请求到备存储设备获取数据，在数据读回调函数中完成读请求即可。

本实施例中，可以将原写请求发送给备存储设备，提交给主存储设备复制出的备份写请求；也可以提交给主存储设备原写请求，将复制出的备份写请求发送给备存储设备。

本实施例的一种实施方式中，所述方法还可以包括：

当网络出现异常时，先在位图元数据中置位，标识块被写过，然后提交所述写请求到主存储设备；当网络恢复后，根据位图中记录，查找更改过的块，并同步数据到所述备存储设备。

本实施例的一种实施方式中，所述链路策略可以包括：

链路所使用的传输介质及传输策略；

所述传输介质可以包括IP网卡传输介质和FC(光纤传输)介质；所述传输策略可以包括指定网卡或光纤卡的传输，失效切换和负载均衡策略。

本实施方式在同步数据复制机制下提供多传输介质，多传输策略的选择。

在主存储设备和备存储设备之间可以有多个逻辑链路(逻辑链路是主存储设备和备存储设备间的逻辑连接，一个物理链路可以有多个逻辑链路)，本实施方式设计逻辑链路的多种策略，包含指定网卡或光纤卡的传输、失效切换和负载均衡。所述失效切换是指在指定传输链路出现问题是可以切换到后备链路进行数据传输；所述负载均衡策略是指在多个逻辑链路中间传输数据，充分利用通信宽带。

在创建同步远程复制时可以添加逻辑链路，主存储端和备份存储端在网络连接成功前在网络层面是平等的，没有客户和服务端的区别，通常的处理情况下两端都向对端发送连接请求并接受对端的请求，这样会形成两个逻辑链路，两个c/s架构，但在本实施方式中当有一个逻辑链路连接成功形成一个c/s架构时，就中断另一个逻辑链路的连接请求，这样每次添加逻辑链路时会只添加一个逻辑链路通道，而不是添加2个，形成两个c/s连接，一旦连接成功就会确定了连接的客户端和服务端，但主存储设备不一定就为客户端，备存储设备也不一定就是服务端；每个逻辑链路的两端都各包含一个发送线程和一个接收线程，这样每个逻辑链路可以并行发送和接收请求，可以最大化多个链路效率。多个逻辑链路组织到一个链表中，可以根据策略从链表中选择逻辑链路进行数据的发送和接收；当一个逻辑链路中断时，可以检测到错误并设置逻辑链路为不可用。

本实施方式中，所述按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备的步骤具体可以包括：

在创建同步远程复制时所添加的多个逻辑链路中，按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备；如果设置的传输策略为失效切换，则在所选的逻辑链路失效后，使用所述多个逻辑链路中的其它逻辑链路作为后备链路进行数据的传输；如果设置的传输策略为负载均衡策略，则遍历所述多个逻辑链路，查找最空闲逻辑链路进行数据传输；这样多个逻辑链路负载比较均衡，这种策略可以最大限度的提高网络利用率。

本实施例的一种实施方式中，所述方法还可以包括：

所述主存储设备发送写请求及提交写请求后均将该写请求对应的引用计数加1；

所述当主存储设备写完成，且收到备存储设备的写完成确认后，完成所述写请求的步骤包括：

当所述主存储设备写完成后，将相应写请求对应的所述引用计数减1；当收到所述备存储设备的写完成确认后，将相应写请求对应的所述引用计数减1；当一个写请求对应的所述引用计数为0时，确认该写请求完成。

本实施方式中，网络正常情况下，当有数据写请求时，将原写请求复制一份，称为备份写请求；主存储设备端将原写请求(或备份写请求)通过网络根据预定的链路策略发送到备存储设备，并增加所述写请求对应的引用计数，不等待备存储端返回写完成确认即提交备份写请求(或原写请求)到主存储设备，同样需要增加所述写请求对应的引用计数；备存储设备接收到原写请求(或备份写请求)后，提交到备存储设备，完成数据写入后，备存储设备返回写完成确认到主存储设备；主存储设备收到写完成确认后通过引用计数方式查看本地写是否完成，如果本地写完成则完成所述写请求，如果本地写没有完成则将所述写请求对应的引用计数减1；本地提交的写请求回调函数同样会检查引用计数，如果引用计数为0则完成所述写请求，如果引用计数不为0，则只进行减引用计数的动作，当主存储设备端接收到备存储设备端的写完成确认会完成主请求。

本实施例的一个例子中，可以预先指定主存储设备和备存储设备之间的逻辑链路，还可以指定需要远程复制的裸盘；启动主存储设备中的同步数据复制模块，在写数据时，同步数据复制模块会备份数据到备存储设备，具体过程如图1所示，包括以下步骤S101～S108：

S101、主存储设备收到写请求并进行复制；

S102、将原写请求或复制出的写请求通过预定的链路策略发送给备存储设备；

S103、主存储设备进行写调用；

S104、备份存储设备进行写调用；

步骤S103、S104之间不分先后，可以并行。

S105、主存储设备进行写完成回调；

S106、备份存储设备进行写完成回调；

步骤S105、S106之间不分先后，可以并行。

S107、备份存储设备向主存储设备返回写完成确认；

S108、主存储设备反馈写请求完成。

实施例二、一种同步数据复制装置，应用于包括主存储设备和备存储设备的***中，包括：

复制模块，用于当所述主存储设备收到写请求后，如果网络正常则复制所述写请求后，按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备，提交另一份写请求到本主存储设备；

确认模块，用于当所述主存储设备写完成，且收到备存储设备的写完成确认后，完成所述写请求。

本实施例的处理装置可以是一个独立设备，也可以集成在所述主存储设备中，作为主存储设备中的一个模块。

本实施例的一种实施方式中，所述复制模块还可以用于当网络出现异常时，先在位图元数据中置位，标识块被写过，然后提交所述写请求到主存储设备；当网络恢复后，根据位图中记录，查找更改过的块，并同步数据到所述备存储设备。

本实施例的一种实施方式中，所述链路策略具体可以包括：

链路所使用的传输介质及传输策略；

所述传输介质包括IP网卡传输介质和光纤传输介质；所述传输策略包括指定网卡或光纤卡的传输，失效切换和负载均衡策略。

本实施例的一种实施方式中，所述复制模块按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备具体可以是指：

所述复制模块在创建同步远程复制时所添加的多个逻辑链路中，按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备；如果设置的传输策略为失效切换，则在所选的逻辑链路失效后，使用所述多个逻辑链路中的其它逻辑链路作为后备链路进行数据的传输；如果设置的传输策略为负载均衡策略，则遍历所述多个逻辑链路，查找最空闲逻辑链路进行数据传输。

本实施例的一种实施方式中，所述的装置还可以包括：

计数模块，用于当所述主存储设备发送写请求及提交写请求后均将该写请求对应的引用计数加1；

所述确认模块当主存储设备写完成，且收到备存储设备的写完成确认后，完成所述写请求是指：

所述确认模块当所述主存储设备写完成后，将相应写请求对应的所述引用计数减1；当收到所述备存储设备的写完成确认后，将相应写请求对应的所述引用计数减1；当一个写请求对应的所述引用计数为0时，确认该写请求完成。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。

Claims (6)

1.一种同步数据复制方法，应用于包括主存储设备和备存储设备的***中，包括：

所述主存储设备收到写请求后，进行写操作之前，如果网络正常则复制所述写请求后，按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备，提交另一份写请求到本主存储设备；

当主存储设备写完成，且收到备存储设备发送的写完成确认后，完成所述写请求；

所述链路策略包括：链路所使用的传输介质及传输策略；所述传输介质包括IP网卡传输介质和光纤传输介质；所述传输策略包括指定网卡或光纤卡的传输，失效切换和负载均衡策略；

所述按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备的步骤包括：

在创建同步远程复制时所添加的多个逻辑链路中，按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备；如果设置的传输策略为失效切换，则在所选的逻辑链路失效后，使用所述多个逻辑链路中的其它逻辑链路作为后备链路进行数据的传输；如果设置的传输策略为负载均衡策略，则遍历所述多个逻辑链路，查找最空闲逻辑链路进行数据传输。

2.如权利要求1所述的方法，其特征在于，还包括：

当网络出现异常时，先在位图元数据中置位，标识块被写过，然后提交所述写请求到主存储设备；当网络恢复后，根据位图中记录，查找更改过的块，并同步数据到所述备存储设备。

3.如权利要求1或2所述的方法，其特征在于，还包括：

所述主存储设备发送写请求及提交写请求后均将该写请求对应的引用计数加1；

所述当主存储设备写完成，且收到备存储设备的写完成确认后，完成所述写请求的步骤包括：

当所述主存储设备写完成后，将相应写请求对应的所述引用计数减1；当收到所述备存储设备的写完成确认后，将相应写请求对应的所述引用计数减1；当一个写请求对应的所述引用计数为0时，确认该写请求完成。

4.一种同步数据复制装置，应用于包括主存储设备和备存储设备的***中，其特征在于，包括：

复制模块，用于当所述主存储设备收到写请求后，进行写操作之前，如果网络正常则复制所述写请求后，按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备，提交另一份写请求到本主存储设备；

确认模块，用于当所述主存储设备写完成，且收到备存储设备发送的写完成确认后，完成所述写请求；

所述链路策略包括：链路所使用的传输介质及传输策略；所述传输介质包括IP网卡传输介质和光纤传输介质；所述传输策略包括指定网卡或光纤卡的传输，失效切换和负载均衡策略；

所述复制模块按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备是指：

所述复制模块在创建同步远程复制时所添加的多个逻辑链路中，按照预定的链路策略选择逻辑链路发送一份写请求给所述备存储设备；如果设置的传输策略为失效切换，则在所选的逻辑链路失效后，使用所述多个逻辑链路中的其它逻辑链路作为后备链路进行数据的传输；如果设置的传输策略为负载均衡策略，则遍历所述多个逻辑链路，查找最空闲逻辑链路进行数据传输。

5.如权利要求4所述的装置，其特征在于：

所述复制模块还用于当网络出现异常时，先在位图元数据中置位，标识块被写过，然后提交所述写请求到主存储设备；当网络恢复后，根据位图中记录，查找更改过的块，并同步数据到所述备存储设备。

6.如权利要求4或5所述的装置，其特征在于，还包括：

计数模块，用于当所述主存储设备发送写请求及提交写请求后均将该写请求对应的引用计数加1；

所述确认模块当主存储设备写完成，且收到备存储设备的写完成确认后，完成所述写请求是指：

所述确认模块当所述主存储设备写完成后，将相应写请求对应的所述引用计数减1；当收到所述备存储设备的写完成确认后，将相应写请求对应的所述引用计数减1；当一个写请求对应的所述引用计数为0时，确认该写请求完成。