CN103973727A - 数据同步方法及装置 - Google Patents

Abstract

本发明公开了一种数据同步方法及装置，属于计算机领域。所述方法包括：将源数据中的一数据块同步至副本数据；检测所述数据块是否同步失败；若检测出所述数据块同步失败，则将所述数据块对应的数据标识添加入同步失败流水中；继续将所述源数据中的下一未同步的数据块同步至所述副本数据；在后续的一预定时间点根据所述同步失败流水对所述数据块进行重新同步。本发明通过在检测到当前同步的数据块同步失败时，将该数据块对应标识添加入同步失败流水，同时继续同步下一未同步的数据块，解决了现有技术中，在检测到数据块同步失败后立刻进行重试时造成的重试请求大量堆积的问题，达到了减轻***压力，避免数据丢失风险加剧的目的。

Description

数据同步方法及装置

技术领域

本发明涉及计算机领域，特别涉及一种数据同步方法及装置。

背景技术

随着网络应用的不断发展，为了解决用户数据意外丢失的问题，可以将用户数据在不同的设备或***中进行同步。在进行大批量数据同步时，由于故障或网络波动等原因，经常会有一定比例的数据同步失败。

现有的数据同步方法，在对一数据块进行同步时，检测该数据块是否同步失败，当检测到该数据块同步失败时，立刻重试该数据块的同步进程，直至该数据块同步成功。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

现有技术所采用的数据同步方法，在故障或网络波动问题不能及时得到解决的情况下，会造成重试请求大量堆积，***压力增加，进一步加剧数据丢失风险。

发明内容

为了解决现有技术中数据同步失败时，重试请求大量堆积，增加***压力，数据丢失风险加剧的问题，本发明实施例提供了一种数据同步方法及装置。所述技术方案如下：

一方面，提供了一种数据同步方法，所述方法包括：

将源数据中的一数据块同步至副本数据；

检测所述数据块是否同步失败；

若检测出所述数据块同步失败，则将所述数据块对应的数据标识添加入同步失败流水中；

继续将所述源数据中的下一未同步的数据块同步至所述副本数据；

在后续的一预定时间点根据所述同步失败流水对所述数据块进行重新同步。

另一方面，提供了一种数据同步装置，所述装置包括：

第一同步模块，用于将源数据中的一数据块同步至副本数据；

检测模块，用于检测所述数据块是否同步失败；

流水记录模块，用于若所述检测模块检测出所述第一同步模块同步的数据块同步失败，则将所述数据块对应的数据标识添加入同步失败流水中；

所述第一同步模块，用于在将源数据中的一数据块同步至副本数据之后，继续将所述源数据中的下一未同步的数据块同步至所述副本数据；

第二同步模块，用于在后续的一预定时间点根据所述同步失败流水对所述数据块进行重新同步。

本发明实施例提供的技术方案带来的有益效果是：

通过在检测到当前同步的数据块同步失败时，将该数据块对应标识添加入同步失败流水，同时继续同步下一未同步的数据块，解决了现有技术中，在检测到数据块同步失败后立刻进行重试时造成的重试请求大量堆积的问题，达到了减轻***压力，避免数据丢失风险加剧的目的；还通过在后续的一预定时间点根据该同步失败流水对该数据块进行重新同步，解决了因没有立刻对同步失败的数据块进行重试而导致的数据不一致的问题，达到了最终正确同步所有数据，使副本数据与源数据保持一致的目的。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的数据同步方法的方法流程图；

图2是本发明实施例二提供的数据同步方法的方法流程图；

图3是本发明实施例二提供的数据同步方法的处理流程图；

图4是本发明实施例三提供的数据同步装置的装置结构示意图；

图5是本发明实施例四提供的数据同步装置的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

请参考图1，其示出了本发明实施例一提供的数据同步方法的方法流程图。该数据同步方法可以包括：

步骤102，将源数据中的一数据块同步至副本数据；

步骤104，检测该数据块是否同步失败；

步骤106，若检测出该数据块同步失败，则将该数据块对应的数据标识添加入同步失败流水中；

步骤108，继续将该源数据中的下一未同步的数据块同步至该副本数据；

步骤110，在后续的一预定时间点根据该同步失败流水对该数据块进行重新同步。

综上所述，本发明实施例一提供的数据同步方法，通过在检测到当前同步的数据块同步失败时，将该数据块对应标识添加入同步失败流水，同时继续同步下一未同步的数据块，解决了现有技术中，在检测到数据块同步失败后立刻进行重试时造成的重试请求大量堆积的问题，达到了减轻***压力，避免数据丢失风险加剧的目的；本发明实施例一提供的数据同步方法，还通过在后续的一预定时间点根据该同步失败流水对该数据块进行重新同步，解决了因没有立刻对同步失败的数据块进行重试而导致的数据不一致的问题，达到了最终正确同步所有数据，使副本数据与源数据保持一致的目的。

实施例二

请参考图2，其示出了本发明实施例二提供的数据同步方法的方法流程图。作为基于实施例一提供的更为优选的实施例，该数据同步方法可以包括：

步骤202，数据同步装置将源数据中的一数据块同步至副本数据；

具体的，数据同步装置可以获取源数据中的数据块的副本，并将获取到的数据块的副本更新副本数据中对应的数据块。

步骤204，数据同步装置检测该数据块是否同步失败；

具体的，数据同步装置在将一数据块同步至副本数据后，可以等待接收该副本数据所在设备或装置返回的对应于该数据块的同步成功响应或同步失败响应；若接收到对应于该数据块的同步失败响应，或者在预定时间段内没有接收到对应于该数据块的同步成功响应或同步失败响应中的任何一个，则确认检测出该数据块同步失败。

步骤206，若检测出该数据块同步失败，则数据同步装置将该数据块对应的数据标识添加入同步失败流水中；

具体的，该同步失败流水由一系列的失败记录组成。失败记录至少包含有该失败记录的记录时间和同步失败的数据块的数据标识，比如该数据块的数据ID（Identity，序列号），另外，该失败记录中还可以包括与该数据块相对应的用户信息、操作类型以及数据内容等信息。

若检测出该数据块同步失败，则数据同步装置根据该数据块对应的数据标识生成一条失败记录，并将生成的该失败记录添加至同步失败流水中。

步骤208，数据同步装置继续将该源数据中的下一未同步的数据块同步至该副本数据；

数据同步装置在检测出有数据块同步失败时，不会立刻对同步失败的数据块进行重试，而是先将该同步失败的数据块的数据标识记录到同步失败流水，并继续同步下一个未同步的数据块。

步骤210，数据同步装置在后续的一预定时间点根据该同步失败流水对该数据块进行重新同步。

具体的，为了避免因故障或网络波动问题不能及时得到解决而导致的重试过程继续失败的问题，数据同步装置在本次同步之后，不需要立刻提取同步失败流水进行重新同步，而是在后续的一预定时间点提取该同步失败流水，并根据提取的同步失败流水中的数据标识，对同步失败的数据块进行重新同步。

其中，该预定时间点为预先设定的具体时间点、根据预定周期确定的时间点或者根据网络条件确定的时间点；具体的，数据同步装置可以按照预定的时间点来提取同步失败流水，比如，预定在每天凌晨0点提取同步失败流水来对同步失败的数据块进行重新同步；或者，数据同步装置可以每隔一定的周期提取一次同步失败流水，比如，每隔4小时提取一次同步失败流水来对同步失败的数据块进行重新同步；亦或者，数据同步装置还可以在检测到当前网络条件较好时提取同步失败流水来对同步失败的数据块进行重新同步。

另外，数据同步装置在对同步失败的数据块进行重新同步之前，还可以对同步失败流水中数据标识相同的失败记录进行合并，以避免对同一数据块进行多次重新同步。其中，对同步失败流水中数据标识相同的失败记录进行合并的方法可以有很多，具体比如，数据同步装置可以提取数据标识相同的失败记录中，记录时间与当前时间最接近的一条失败记录，并将提取的失败记录中的数据标识添加入失败数据标识列表；数据同步装置根据该失败数据标识列表中的数据标识，对该同步失败的数据块进行重新同步。

具体的，数据同步装置根据该失败数据标识列表中的数据标识，对该同步失败的数据块进行重新同步的具体步骤可以如下：

数据同步装置根据失败数据标识列表中的数据标识判断同步失败的数据块在源数据中是否存在。若判断出同步失败的数据块在源数据中存在，则数据同步装置将该源数据中存在的同步失败的数据块重新同步至副本数据，及将该源数据中存在的同步失败的数据块覆盖写入副本数据。若判断出同步失败的数据块在源数据中不存在，则数据同步装置将副本数据中的同步失败的数据块删除。

作为上述步骤的优选，数据同步装置在根据提取的同步失败流水中的数据标识，对同步失败的数据块进行重新同步后，可以将本次提取的同步失败流水清空或者删除，以避免下一次提取同步失败流水时，对已经提取过的同步失败流水进行重复提取。

另外，需要说明的是，由于数据同步往往需要在不同的设备之间进行，因此，本发明实施例二提供的数据同步装置所在的设备并不是固定的。数据同步装置可以部署于源数据所在设备，也可以部署于副本数据所在设备，或者，数据同步装置有也可以部署于第三方中转设备，甚至，该数据同步装置中的不同模块可以分别部署于不同的设备中，对此，本发明实施例二不作具体限定。

进一步的，与源数据进行同步的副本数据的用途可以分为两种：一种是做为源数据的备份，在源数据丢失时，可以根据副本数据进行恢复；另一种是做为与源数据等同的数据源，以便在数据读取或加载时，提高读取或加载的速度。但是，不管哪种用途，都需要副本数据与源数据完全一致才可用，因此，数据同步装置可以为每个副本数据设置一个唯一的状态标记，当一个副本数据的状态标记被设置为可用时，该副本数据才可以作为源数据的备份或与源数据同等的数据源。

为了对上述数据同步方法做进一步描述，请参考图3，其示出了上述数据同步方法在实际应用中的处理流程图。在时刻1，数据同步装置将源数据中的数据块1-5同步至副本数据，其中，数据块1、3、5同步成功，而数据块2和4同步失败；数据同步装置根据同步失败的数据块2和4的数据标识生成同步失败流水。在后续的某一时刻2，数据同步装置提取同步失败流水，并根据同步失败流水对同步失败的数据块2和4进行重新同步，假若此时刻数据块2在源数据中存在，则将源数据中的数据块2重新同步至副本数据，假若此时刻数据块4在源数据不存在，则将副本数据中的数据块4删除。另外，若重新同步过程中，又发生同步失败的情形，则继续生成同步失败流水。

当数据同步装置开始对一个副本数据进行同步时，首先将该副本数据的状态标记设置为不可用，当同步完成，且检测到源数据中所有数据块都与该副本数据同步成功时，再将该副本数据的状态标记设置为可用。

综上所述，本发明实施例二提供的数据同步方法，通过在检测到当前同步的数据块同步失败时，将该数据块对应标识添加入同步失败流水，同时继续同步下一未同步的数据块，解决了现有技术中，在检测到数据块同步失败后立刻进行重试时造成的重试请求大量堆积的问题，达到了减轻***压力，避免数据丢失风险加剧的目的；本发明实施例二提供的数据同步方法，还通过在后续的一预定时间点根据该同步失败流水对该数据块进行重新同步，解决了因没有立刻对同步失败的数据块进行重试而导致的数据不一致的问题，达到了最终正确同步所有数据，使副本数据与源数据保持一致的目的；另外，本发明实施例二提供的数据同步方法，还通过在根据提取的同步失败流水中的数据标识，对同步失败的数据块进行重新同步之前，对同步失败流水中数据标识相同的失败记录进行合并，解决了在同步失败流水中存在多条数据标识相同的失败记录的情况下，对同一数据块进行多次重新同步的问题，达到了减少同步过程中的读写步骤的目的。

实施例三

请参考图4，其示出了本发明实施例三提供的数据同步装置的装置结构图，该装置可以包括：

第一同步模块301，用于将源数据中的一数据块同步至副本数据；

检测模块302，用于检测第一同步模块301同步的数据块是否同步失败；

流水记录模块303，用于若检测模块302检测出该数据块同步失败，则将该数据块对应的数据标识添加入同步失败流水中；

第一同步模块301，用于在将源数据中的一数据块同步至副本数据之后，继续将源数据中的下一未同步的数据块同步至副本数据；

第二同步模块304，用于在后续的一预定时间点根据该同步失败流水对该数据块进行重新同步。

综上所述，本发明实施例三提供的数据同步装置，通过在检测到当前同步的数据块同步失败时，将该数据块对应标识添加入同步失败流水，同时继续同步下一未同步的数据块，解决了现有技术中，在检测到数据块同步失败后立刻进行重试时造成的重试请求大量堆积的问题，达到了减轻***压力，避免数据丢失风险加剧的目的；另外，本发明实施例三提供的数据同步装置，还通过在后续的一预定时间点根据该同步失败流水对该数据块进行重新同步，解决了因没有立刻对同步失败的数据块进行重试而导致的数据不一致的问题，达到了最终正确同步所有数据，使副本数据与源数据保持一致的目的。

实施例四

请参考图5，其示出了本发明实施例四提供的数据同步装置的装置结构图。作为基于实施例三提供的更为优选的实施例，该装置可以包括：

第一同步模块301，用于将源数据中的一数据块同步至副本数据；

检测模块302，用于检测第一同步模块301同步的数据块是否同步失败；

流水记录模块303，用于若检测模块302检测出数据块同步失败，则将数据块对应的数据标识添加入同步失败流水中；

第一同步模块301，用于在将源数据中的一数据块同步至副本数据之后，继续将源数据中的下一未同步的数据块同步至副本数据；

第二同步模块304，用于在后续的一预定时间点根据该同步失败流水对该数据块进行重新同步。

另外，第二同步模块304包括：

流水提取单元3041，用于在后续的一预定时间点提取流水记录模块303记录的同步失败流水，该预定时间点为预先设定的具体时间点、根据预定周期确定的时间点或者根据网络条件确定的时间点；

同步单元3042，用于根据流水提取单元3041提取的同步失败流水中的数据标识，对同步失败的数据块进行重新同步。

其中，同步单元3042包括：

判断子单元3042a，用于根据流水提取单元3041提取的同步失败流水中的数据标识判断同步失败的数据块在源数据中是否存在；

同步子单元3042b，用于若判断子单元3042a判断出同步失败的数据块在源数据中存在，则将源数据中存在的同步失败的数据块重新同步至副本数据；

删除子单元3042c，用于若判断子单元3042a判断出同步失败的数据块在源数据中不存在，则将副本数据中的同步失败的数据块删除。

其中，流水记录模块303，包括：

记录生成单元3031，用于根据数据块对应的数据标识生成一条失败记录；

记录添加单元3032，用于将记录生成单元3031生成的失败记录添加至同步失败流水。

该失败记录中还包含有记录时间；第二同步模块304还包括：

记录提取单元3043，用于在判断子单元3042a根据流水提取单元3041提取的同步失败流水中的数据标识判断同步失败的数据块在源数据中是否存在之前，提取数据标识相同的失败记录中，记录时间与当前时间最接近的一条失败记录；

其中，数据同步装置在对同步失败的数据块进行重新同步之前，记录提取单元3043可以对同步失败流水中数据标识相同的失败记录进行合并，以避免对同一数据块进行多次重新同步。

列表添加单元3044，用于将记录提取单元3043提取的失败记录中的数据标识添加入失败数据标识列表；

判断子单元3042a，用于根据失败数据标识列表中的数据标识判断同步失败的数据块在源数据中是否存在。

需要说明的是，本发明实施例四提供的数据同步装置，可以部署于源数据所在的设备，也可以部署于副本数据所在设备，或者，该数据同步装置有也可以部署于第三方中转设备，对此，本发明实施例三不作具体限定。

综上所述，本发明实施例四提供的数据同步装置，通过在检测到当前同步的数据块同步失败时，将该数据块对应标识添加入同步失败流水，同时继续同步下一未同步的数据块，解决了现有技术中，在检测到数据块同步失败后立刻进行重试时造成的重试请求大量堆积的问题，达到了减轻***压力，避免数据丢失风险加剧的目的；本发明实施例四提供的数据同步装置，还通过在后续的一预定时间点根据该同步失败流水对该数据块进行重新同步，解决了因没有立刻对同步失败的数据块进行重试而导致的数据不一致的问题，达到了最终正确同步所有数据，使副本数据与源数据保持一致的目的；另外，本发明实施例四提供的数据同步装置，还通过在根据提取的同步失败流水中的数据标识，对同步失败的数据块进行重新同步之前，对同步失败流水中数据标识相同的失败记录进行合并，解决了在同步失败流水中存在多条数据标识相同的失败记录的情况下，对同一数据块进行多次重新同步的问题，达到了减少同步过程中的读写步骤的目的。

需要说明的是：上述实施例提供的数据同步装置在进行数据同步时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据同步装置与数据同步方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据同步方法，其特征在于，所述方法包括：

将源数据中的一数据块同步至副本数据；

检测所述数据块是否同步失败；

若检测出所述数据块同步失败，则将所述数据块对应的数据标识添加入同步失败流水中；

继续将所述源数据中的下一未同步的数据块同步至所述副本数据；

在后续的一预定时间点根据所述同步失败流水对所述数据块进行重新同步。

2.根据权利要求1所述的方法，其特征在于，所述在后续的一预定时间点根据所述同步失败流水对所述数据块进行重新同步，包括：

在后续的一预定时间点提取所述同步失败流水，所述预定时间点为预先设定的具体时间点、根据预定周期确定的时间点或者根据网络条件确定的时间点；

根据提取的所述同步失败流水中的数据标识，对所述同步失败的数据块进行重新同步。

3.根据权利要求2所述的方法，其特征在于，所述根据提取的所述同步失败流水中的数据标识，对所述同步失败的数据块进行重新同步，包括：

根据提取的所述同步失败流水中的数据标识判断所述同步失败的数据块在所述源数据中是否存在；

若判断出所述同步失败的数据块在所述源数据中存在，则将所述源数据中存在的所述同步失败的数据块重新同步至所述副本数据；

若判断出所述同步失败的数据块在所述源数据中不存在，则将所述副本数据中的所述同步失败的数据块删除。

4.根据权利要求3所述的方法，其特征在于，所述将所述数据块对应的数据标识添加入同步失败流水中，包括：

根据所述数据块对应的数据标识生成一条失败记录；

将生成的所述失败记录添加至所述同步失败流水。

5.根据权利要求4所述的方法，其特征在于，所述失败记录中还包含有记录时间；所述根据提取的所述同步失败流水中的数据标识判断所述同步失败的数据块在所述源数据中是否存在之前，还包括：

提取数据标识相同的失败记录中，所述记录时间与当前时间最接近的一条失败记录；

将提取的所述失败记录中的数据标识添加入失败数据标识列表；

所述根据提取的所述同步失败流水中的数据标识判断所述同步失败的数据块在所述源数据中是否存在，包括：

根据所述失败数据标识列表中的数据标识判断所述同步失败的数据块在所述源数据中是否存在。

6.一种数据同步装置，其特征在于，所述装置包括：

第一同步模块，用于将源数据中的一数据块同步至副本数据；

检测模块，用于检测所述第一同步模块同步的数据块是否同步失败；

流水记录模块，用于若所述检测模块检测出所述数据块同步失败，则将所述数据块对应的数据标识添加入同步失败流水中；

所述第一同步模块，用于在将源数据中的一数据块同步至副本数据之后，继续将所述源数据中的下一未同步的数据块同步至所述副本数据；

第二同步模块，用于在后续的一预定时间点根据所述同步失败流水对所述数据块进行重新同步。

7.根据权利要求6所述的装置，其特征在于，所述第二同步模块包括：

流水提取单元，用于在后续的一预定时间点提取所述流水记录模块记录的同步失败流水，所述预定时间点为预先设定的具体时间点、根据预定周期确定的时间点或者根据网络条件确定的时间点；

同步单元，用于根据所述流水提取单元提取的所述同步失败流水中的数据标识，对所述同步失败的数据块进行重新同步。

8.根据权利要求7所述的装置，其特征在于，所述同步单元包括：

判断子单元，用于根据所述流水提取单元提取的所述同步失败流水中的数据标识判断所述同步失败的数据块在所述源数据中是否存在；

同步子单元，用于若所述判断子单元判断出所述同步失败的数据块在所述源数据中存在，则将所述源数据中存在的所述同步失败的数据块重新同步至所述副本数据；

删除子单元，用于若所述判断子单元判断出所述同步失败的数据块在所述源数据中不存在，则将所述副本数据中的所述同步失败的数据块删除。

9.根据权利要求8所述的装置，其特征在于，所述流水记录模块，包括：

记录生成单元，用于根据所述数据块对应的数据标识生成一条失败记录；

记录添加单元，用于将所述记录生成单元生成的失败记录添加至所述同步失败流水。

10.根据权利要求9所述的装置，其特征在于，所述失败记录中还包含有记录时间；所述第二同步模块还包括：

记录提取单元，用于在所述判断子单元根据所述流水提取单元提取的所述同步失败流水中的数据标识判断所述同步失败的数据块在所述源数据中是否存在之前，提取数据标识相同的失败记录中，所述记录时间与当前时间最接近的一条失败记录；

列表添加单元，用于将所述记录提取单元提取的所述失败记录中的数据标识添加入失败数据标识列表；

所述判断子单元，用于根据所述失败数据标识列表中的数据标识判断所述同步失败的数据块在所述源数据中是否存在。