CN105306585A - 一种多数据中心的数据同步方法 - Google Patents

Abstract

一种多数据中心的数据同步方法，包括如下步骤：步骤1：变更数据的获取：各应用***以消息的方式向本***数据中心的客户端发送数据变更请求，客户端接收到经序列化的请求后，对所接收的消息在当前数据中心内进行持久化；步骤2：变更数据的分发：根据当前业务事务严格性要求，当前数据中心选择处理或转发变更数据；步骤3：变更数据的同步执行：数据到达目的各自数据中心之后的同步执行操作；步骤4：变更发回到数据的执行情况汇总：将数据执行情况以消息的形式发回到数据产生的数据中心；步骤5：失败数据的定向重发；步骤6：多数据中心的同步数据运转监控与异常报警：变更数据被重新发送到目的数据中心后的处理。

Description

一种多数据中心的数据同步方法

技术领域

本发明涉及数据同步领域，特别涉及一种多数据中心的数据同步方法。

背景技术

为存储海量数据，各互联网公司在世界各地建立了庞大的数据中心，存储其全球用户每天产生的海量数据，单个数据中心的终端的主机数量在几百万至数万的数量级不等。对这些数据的管理和使用都是巨大的挑战：包括数据的读取和存储、索引和寻址、配置和管理的接口、数据中心之间的数据复制等。为保持这些数据的一致性，在不同地理位置的数据中心之间进行数据同步和复制成为越来越迫切的需求。

对于电子商务领域来说，以多数据中心部署的方式来提高访问速度，从而提高用户的体验，是一种通常的做法。但是跨公网网络，尤其是跨国际公网网络常常会出现一些不稳定情况，如网络丢包，网络中断等。常规做法是采用专线连接各个数据中心，但这种做法成本大，对于中小企业而言，投入产出比极低。

相比较而言，依靠软件方法，采用消息队列技术作为数据传输的载体，通过消息机制保证数据的及时性、准确性和可恢复性，这是一种比较实际和相对可靠做法。

CN104539663A一种跨数据中心的数据同步方法和装置公开一种跨数据中心的数据同步方法和***，具体包括：收集待同步数据中心的键值对数据；以及利用分布式计算框架进行所述待同步数据中心的键值对数据的一致性检测，得到一致或不一致的检测结果。本发明重点在于主、备数据中心之间的传输方法，并未过多涉及到多数据中心间的数据传输。

CN103763368A一种跨数据中心的数据同步方法公开一种跨数据库同步的方法，其具体实现过程为：完成数据的写入与日志的记录；同步调度与推送；日志回放，完成数据同步；进行跨数据中心的数据访问，实现异步数据同步操作。该发明能够实现跨数据中心的异步数据同步操作，提高数据的安全性；有效地利用数据中心内部的IO资源和数据中心之间的网络资源，但该方法主要通过日志回放的方式来实现，这与本发明通过传输少量数据，实时返回同步状态的做法存在很大不同；

CN104572921A一种跨数据中心的数据同步方法和装置公布了一种跨数据中心的数据同步和装置，具体包括：收集待同步数据中心的键值对数据；以及利用分布式计算框架进行所述待同步数据中心的键值对数据的一致性检测，得到一致或不一致的检测结果。本发明通过减少对各数据中心的访问次数减轻对各数据中心的线上访问压力，其着重在对各分布式计算环境中的数据在各数据中心进行比较，并未提及将数据分发至各数据中心进行同步的方式。

发明内容

为解决现有技术存在的局限性，本发明目的是，提供一种跨数据中心的数据同步方法，目的是在复杂网络中完成数据传输，保证数据有序、且不被丢失。

本发明的技术方案是，一种多数据中心的数据同步方法，具体包括：

步骤1：变更数据的获取：各应用***以消息的方式向本***数据中心的客户端发送数据变更请求，客户端接收到经序列化的请求后，对所接收的消息在当前数据中心内进行持久化；

所述客户端，是部署在服务器端的应用，用于接收服务器端发出的数据，并按照业务需求执行数据同步操作；所述服务器端运行时，一方面用于获取应用***需要在多数据中心同步执行的数据，一方面用于将数据分发给各个需数据同步的数据中心的客户端

所述持久化，是客户端将消息存储到硬件上，可以是数据库、缓存及分布式缓存；

步骤2：变更数据的分发：根据当前业务事务严格性要求，当前数据中心选择处理或转发变更数据；如若数据中心选择处理变更数据，应用***先执行数据，待确认执行成功后，再将变更数据分发至各数据中心；如若选择转发变更数据，当前数据中心在保存变更数据的同时，将变更数据分发至其他需要数据同步的数据中心；

所谓事务严格性要求，指是否需要保证所有数据中心的数据变更一致性；

步骤3：变更数据的同步执行：数据到达目的各自数据中心之后的同步执行操作；

步骤4：变更发回到数据的执行情况汇总：将数据执行情况以消息的形式发回到数据产生的数据中心；

步骤5：失败数据的定向重发：定时分析各数据中心发出的数据同步执行情况，针对不超过预设重发次数N的失败同步或无返回状态的同步，数据产生的数据中心将重发送变更数据至未成功执行数据同步的数据中心，同时更新重新发送的次数；

步骤6：多数据中心的同步数据运转监控与异常报警：变更数据被重新发送到目的数据中心后的处理；

步骤2中如若数据中心选择处理变更数据，具体步骤包括：

步骤2-1：数据由请求同步方执行完成后，将变更数据以消息的方式发送给当前数据中心的客户端，客户端对变更数据进行持久化，同时记录数据中心接收该消息的时间；

特别地，请求同步方是指发出数据变更请求的应用***；

步骤2-2：客户端查找并统计除当前数据中心以外的其他数据中心，并将消息复制成相应的份数，提交至数据中心的服务端；

步骤2-3：服务端遵照TCP协议将变更数据分发给各数据中心；

如若数据中心选择转发变更数据，当前数据中心在保存变更数据的同时，将变更数据分发至其他需要数据同步的数据中心，具体步骤包括：

步骤2-4：请求同步方将变更数据提交至当前数据中心的客户端，客户端对消息进行持久化，并记录接收消息的时间；

请求同步方是指发出数据变更请求的应用***；

步骤2-5：客户端查找并统计所有需要数据同步的数据中心，并将变更数据以消息形式发送给数据中心服务端；

步骤2-6：数据中心服务端按照TCP协议将变更数据分发至包括当前数据中心在内的各数据中心；

请求同步方是指发出数据变更请求的应用***。

针对步骤2中采用的方法不同，相应地，步骤3的变更数据同步执行具体步骤为：步骤3：变更数据的同步执行：数据到达目的各自数据中心之后的同步执行操作；

针对步骤2中的第一种变更数据分发情况，变更数据的同步执行具体包括：

步骤3-1：数据中心服务端接收到变更数据的消息后，将消息分发给各自数据中心的客户端；

步骤3-2：各数据中心客户端接收到消息后，将变更数据的消息序列化至各数据中心的数据库中进行持久化，同时记录消息已到达状态；

步骤3-3：客户端执行数据同步，执行完成后，更新数据状态，即更新成功、失败等；

针对步骤2中的第二种变更数据分发情况，变更数据的同步执行前不做持久化处理，具体步骤没有上述的步骤3-1和3-2，直接执行步骤3-3；

步骤4：变更数据的执行情况汇总：将数据执行的情况，以消息的形式发回到数据产生的数据中心；收集不同数据中心返回的数据执行情况；

各数据中心将数据执行情况以消息的形式发回至产生数据的数据中心的服务端；执行情况包括分为执行成功、执行失败和未返回执行情况三种；

服务端的消息队列获取到执行情况的消息后，将各数据中心的数据同步执行结果更新到持久化过的数据库条目中，并在条目中标记已成功实现同步的数据中心，同时记录数据条目更新时间；

所谓数据条目，指数据库记录各数据中心执行数据同步结果的数据格式；一个数据条目中包括数据变更消息ID号、各个数据中心的名称、数据同步执行失败原因；

步骤5：失败数据的定向重发：定时分析各数据中心发出的数据同步执行情况，针对不超过N次的失败同步或无返回状态的同步，数据产生的数据中心将重新发送变更数据至为未成功执行数据同步的数据中心，同时更新重新发送的次数；

具体涉及的步骤有：

步骤5-1：设定对各数据中心进行数据检查任务的时间周期；检查条件为：最近一条所有数据中心均返回同步成功的记录之前，存在返回状态为失败或没有返回状态的数据条目；

步骤5-2：判断重发次数是否超过预设的重发次数N，如果超过预设重发次数N，执行步骤5-4，如果没有超过，则执行步骤5-3；

步骤5-3：重新发送变更数据至同步执行未成功的数据中心的服务端，同时更新重发次数；

步骤5-4：邮件告警，提醒数据中心之间存在数据不一致；

步骤6：多数据中心的同步数据运转监控与异常报警：变更数据被重新发送到目的数据中心后的数据处理；

因当前业务事务严格性要求不同，会有不同的数据同步执行方式，因而针对数据同步的监控与异常报警也存在差异；

针对步骤3中第一种数据同步执行方式，后续的数据检查任务中需要重发数据时，目的数据中心接收到重发数据，首先进行数据同步执行情况的记录查询，如果查询结果是“执行成功”，则不再重新执行数据同步，直接将“执行成功”的查询结果发送至数据产生的数据中心进行汇总和保存；

针对步骤3中第二种数据同步执行方式，后续的数据检查任务中需要重发数据时，由于第二种数据同步执行方式没对执行结果进行持久化，因而目的数据中心接收到重发数据后，先执行数据同步，即步骤3，再将执行结果发送至数据产生的数据中心进行汇总和保存，即步骤4；

本发明与现有技术相比，其有益效果：

(1)本发明提供针对不同业务场景下多数据中心的数据分发方法，实时记录和汇总多数据中心的同步执行完成情况，并对执行失败原因同步记录，最大程度地保证数据同步的及时性和正确性，降低多数据中心带来的业务复杂度，解决稳定网络的多运营商数据中心之间的同步问题。

(2)本发明通过定期检查各个数据中心的同步执行情况，对数据一致性及时校验，保证在不稳定网络情况下也能根据对执行情况的分析做出适当的处理，规避因数据不一致而引发的业务风险。

附图说明

图1为本发明多数据中心的数据同步方法中服务端的工作流程图；

图2为本发明多数据中心的数据同步方法中数据监控流程图；

图3为本发明实施例的一种多数据中心的数据同步方法中的重发数据客户端流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面对本发明的一种多数据中心的数据同步方法中所涉及的一些术语做简单解释：

服务端：一方面用于获取应用***需要在多数据中心同步执行的数据，一方面用于将数据分发给各个需同步的数据中心；

客户端：用于接收服务端发出的数据，并按照业务需求执行数据同步操作；

每一个数据中心都有配套的服务端和客户端；

如中国制造网***涉及数据同步的数据中心有4个，依次是电信数据中心、网通数据中心、美国数据中心、本地数据中心，对应的客户端有电信客户端、网通客户端、美国客户端和本地客户端，现对中国制造网***的一个数据“prodId＝21，status＝3”进行同步。参阅图1所示，为本发明实施例中一种多数据中心的数据同步方法服务端的工作流程图，步骤包括：

步骤1：电信数据中心的服务端从电信客户端获取需要传输的变更数据：prodId＝21，status＝3；

步骤2：根据电信数据中心配置的一致性要求，电信服务端判断变更数据分发策略，即处理后再分发和直接分发；

如若电信数据中心选择先处理后分发变更数据，则应用***会先执行数据，待确认执行成功后，再将变更数据分发至其它各数据中心，具体步骤包括：

步骤2-1：数据“prodId＝21，status＝3”由中国制造网***执行完成，封装成json字符串，以消息的方式发送给电信数据中心的客户端，电信客户端对变更数据存储入数据库中，同时记录电信数据中心接收该消息的时间；

步骤2-2：电信客户端查找并统计除电信数据中心以外的其他数据中心，即网通数据中心、美国数据中心、本地数据中心，并将消息复制成3份，提交至电信服务端；

步骤2-3：电信服务端遵照TCP协议将变更数据同时分发至各数据中心；

如若数据中心选择转发变更数据，当前数据中心在保存变更数据的同时，将变更数据分发至其他需要数据同步的数据中心，具体步骤包括：

步骤2-1：数据“prodId＝21，status＝3”由中国制造网***执行完成，封装成json字符串，以消息的方式发送给电信客户端，电信客户端对变更数据进行持久化，同时记录电信数据中心接收该消息的时间；

步骤2-2：电信客户端查找并统计所有需要数据同步的数据中心，即信数据中心、网通数据中心、美国数据中心、本地数据中心，并将变更数据以消息形式发送至服务端；

步骤2-3：服务端遵照TCP协议将变更数据同时分发至各数据中心；

步骤3：各个数据中心(即网通数据中心、美国数据中心、本地数据中心)接收到来自于服务端的变更数据后，将数据再以消息的形式分发至各自对应的客户端，即网通数据中心客户端、美国数据中心客户端和本地数据中心客户端；

步骤4：服务端获取网通数据中心、美国数据中心和本地数据中心的数据变更结果，即网通数据中心客户端、美国数据中心客户端和本地数据中心客户端在执行完成数据变更后，将执行情况以消息的形式发至服务端；

步骤5：服务端转发各个数据中心的同步执行情况给电信数据中心，并由电信数据中心对网通数据中心、美国数据中心和本地数据中心的执行情况进行汇总和持久化入数据库条目中；

特别地，数据库条目是指数据库记录各数据中心执行数据同步结果的数据格式；一个数据条目中包括数据变更消息ID号、各数据中心的名称、数据同步执行失败的原因

在多数据中心的数据同步过程中，需要定期对各数据中心的同步情况进行异常检测，实时监控同步异常并及时报警，参阅图2所示，为本发明实施例中一种多数据中心的数据同步方法中数据监控流程图，具体步骤包括：

步骤1：设定对各数据中心进行数据检查任务的时间周期；

步骤2：按照时间周期，检查数据中心持久化记录，判断最近一条所有数据中心均返回同步成功的记录之前，是否存在返回状态为失败或没有返回状态的数据条目；

步骤3：针对存在同步异常的数据中心，确认实际的变更数据重发次数；

步骤4：比较变更数据重发次数与预设的重发次数，判断是否需要向该数据中心再次发送变更数据；

例如限定变更数据重发次数不能超过3次，则：

(1)若实际的变更数据重发次数小于3时，重新发送变更数据给返回执行错误或无返回记录的数据中心，同时更新实际重复发送次数；

(2)若实际的变更数据重发次数等于3时，发送预警邮件，提醒多数据中心已存在数据不一致现象，同时增加实际重复发送次数；

(3)若实际的变更数据重发次数大于3，不做任何处理；

由于不同业务事务严格性要求不同，数据中心在接收到重发的变更数据后，其对应的客户端进行不同的业务处理。参阅图3所示，为本发明实施例中一种多数据中心的数据同步方法中的重发数据客户端流程图，具体包括如下步骤：

根据上述例子，

步骤1：数据中心接收服务端发来的重发数据；

步骤2：判断变更数据的同步执行结果是否在当前数据中心已进行持久化，若已经持久化，转入步骤3，否则转入步骤4；

步骤3：查找持久化的同步执行情况，包括：

(1)执行成功：执行成功直接传回数据成功信息；

(2)执行失败：返回执行失败原因；

(3)未返回执行情况：不返回成功或失败消息

步骤4：执行数据同步，再将执行结果经服务端发送至数据中心1进行汇总和保存；

所属领域的普通技术人员应当理解：以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多数据中心的数据同步方法，其特征在于，包括如下步骤：

步骤1：变更数据的获取：各应用***以消息的方式向本***数据中心的客户端发送数据变更请求，客户端接收到经序列化的请求后，对所接收的消息在当前数据中心内进行持久化；

步骤2：变更数据的分发：根据当前业务事务严格性要求，当前数据中心选择处理或转发变更数据；如若数据中心选择处理变更数据，应用***先执行数据，待确认执行成功后，再将变更数据分发至各数据中心；如若选择转发变更数据，当前数据中心在保存变更数据的同时，将变更数据分发至其他需要数据同步的数据中心；

步骤3：变更数据的同步执行：数据到达目的各自数据中心之后的同步执行操作；

步骤4：变更发回到数据的执行情况汇总：将数据执行情况以消息的形式发回到数据产生的数据中心；

步骤5：失败数据的定向重发：定时分析各数据中心发出的数据同步执行情况，针对不超过预设重发次数N的失败同步或无返回状态的同步，数据产生的数据中心将重发送变更数据至未成功执行数据同步的数据中心，同时更新重新发送的次数；

步骤6：多数据中心的同步数据运转监控与异常报警：变更数据被重新发送到目的数据中心后的处理。

2.根据权利要求1所述的多数据中心的数据同步方法，其特征在于，所述客户端，是部署在服务器端的应用，用于接收服务器端发出的数据，并按照业务需求执行数据同步操作；所述服务器端在运行时，一方面用于获取应用***需要在多数据中心同步执行的数据，一方面用于将数据分发给各个需数据同步的数据中心的客户端；

步骤1中所述持久化，是指客户端将消息存储到硬件上，硬件是数据库、缓存数据库、或分布式缓存数据库；所述事务严格性要求，指由数据中心客户端判断是否保证所有数据中心的数据变更一致性。

3.根据权利要求1所述的多数据中心的数据同步方法，其特征在于，在步骤2中，如若数据中心选择处理变更数据，具体步骤包括：

步骤2-1：数据由请求同步方执行完成后，将变更数据以消息的方式发送给当前数据中心的客户端，客户端对变更数据进行持久化，同时记录数据中心接收该消息的时间；

步骤2-2：客户端查找并统计除当前数据中心以外的其他数据中心，并将消息复制成相应的份数，提交至数据中心的服务端；

步骤2-3：服务端遵照TCP协议将变更数据分发给各数据中心；

如若数据中心选择转发变更数据，当前数据中心在保存变更数据的同时，将变更数据分发至其他需要数据同步的数据中心，具体步骤包括：

步骤2-4：请求同步方将变更数据提交至当前数据中心的客户端，客户端对消息进行持久化，并记录接收消息的时间；

步骤2-5：客户端查找并统计所有需要数据同步的数据中心，并将变更数据以消息形式发送给数据中心服务端；

步骤2-6：数据中心服务端按照TCP协议将变更数据分发至包括当前数据中心在内的各数据中心。

4.根据权利要求1所述的多数据中心的数据同步方法，其特征在于，在步骤3变更数据的同步执行过程中，因所述步骤2中变更数据分发的差异性，所述步骤3变更数据的同步执行也存在差异，具体为：

针对步骤2中的第一种变更数据分发情况，变更数据的同步执行具体包括：

步骤3-1：数据中心服务端接收到变更数据的消息后，将消息分发给各自数据中心的客户端；

步骤3-2：各数据中心客户端接收到消息后，将变更数据的消息序列化至各数据中心的数据库中进行持久化，同时记录消息已到达状态；

步骤3-3：客户端执行数据同步，执行完成后，更新数据状态，即更新成功、失败等；

针对步骤2中的第二种变更数据分发情况，变更数据的同步执行前不做持久化处理，具体步骤没有上述的步骤3-1和3-2，直接执行步骤3-3。

5.根据权利要求4和5所述的多数据中心的数据同步方法，其特征在于，所述请求同步方是指发出数据变更请求的应用***，应用***包括所有基于web大型网站。

6.根据权利要求1所述的多数据中心的数据同步方法，其特征在于，在所述步骤3变更数据的同步执行过程中，具体包括如下步骤：

针对步骤2中的第一种变更数据分发情况，变更数据的同步执行具体包括：

步骤3-1：数据中心服务端接收到变更数据的消息后，将消息分发给各自数据中心的客户端；

步骤3-2：各数据中心客户端接收到消息后，将变更数据的消息序列化至各数据中心的数据库中进行持久化，同时记录消息已到达状态；

步骤3-3：客户端执行数据同步，执行完成后，更新数据状态，即更新成功、失败等；

针对步骤2中的第二种变更数据分发情况，变更数据的同步执行前不做持久化处理，具体步骤没有上述的步骤3-1和3-2，直接执行步骤3-3。

7.根据权利要求1所述的多数据中心的数据同步方法，其特征在于，在所述步骤4变更数据的执行情况汇总中，各数据中心将数据执行情况以消息的形式发回至产生数据的数据中心的服务端；执行情况包括分为执行成功、执行失败和未返回执行情况三种；服务端的消息队列获取到执行情况的消息后，将各数据中心的数据同步执行结果更新到持久化过的数据库条目中，并在条目中标记已成功实现同步的数据中心，同时记录数据条目更新时间。

8.权利要求7所述的多数据中心的数据同步方法，其特征在于，所述数据条目，指数据库记录各数据中心执行数据同步结果的数据格式；一个数据条目中包括数据变更消息ID号、各个数据中心的名称、数据同步执行失败原因。

9.根据权利要求1所述的所数据中心的数据同步方法，其特征在于，在所述步骤5失败数据的定向重发过程中，具体涉及的步骤有：

步骤5-1：设定对各数据中心进行数据检查任务的时间周期；检查条件为：最近一条所有数据中心均返回同步成功的记录之前，存在返回状态为失败或没有返回状态的数据条目；

步骤5-2：判断重发次数是否超过预设的重发次数N，如果超过预设重发次数N，执行步骤5-4，如果没有超过，则执行步骤5-3；

步骤5-3：重新发送变更数据至同步执行未成功的数据中心的服务端，同时更新重发次数；

步骤5-4：邮件告警，提醒数据中心之间存在数据不一致。

10.根据权利要求1所述的多数据中心的数据同步方法，其特征在于，因事务严格性要求不同，会有不同的数据同步执行方式，因而针对数据同步的监控与异常报警也存在差异；

针对步骤3中第一种数据同步执行方式，后续的数据检查任务中需要重发数据时，目的数据中心接收到重发数据，首先进行数据同步执行情况的记录查询，如果查询结果是“执行成功”，则不再重新执行数据同步，直接将“执行成功”的查询结果发送至数据产生的数据中心进行汇总和保存；

针对步骤3中第二种数据同步执行方式，后续的数据检查任务中需要重发数据时，由于第二种数据同步执行方式没对执行结果进行持久化，因而目的数据中心接收到重发数据后，先执行数据同步，即步骤3，再将执行结果发送至数据产生的数据中心进行汇总和保存，即步骤4。