CN107908481A - 一种数据同步方法、装置和*** - Google Patents

Abstract

本发明实施例提供了一种数据同步方法、装置和***，所述方法包括：实时获取各数据提供方在发生数据变更时生成的对应的事件通知；将获取的事件通知添加到事件任务表中；启动事件消费进程读取所述事件任务表中的事件通知，并将读取的事件通知发送给数据需求方，以供数据需求方根据所述事件通知从所述数据提供方获取变更后的数据。通过本发明实施例提供的方案，在实现数据的实时同步同时，降低数据提供方和数据需求方的资源压力。

Description

一种数据同步方法、装置和***

技术领域

本发明实施例涉及数据同步技术领域，尤其涉及一种数据同步方法、装置和***。

背景技术

现有的企业内部或者企业间的数据同步大多采用两种方式。

第一种方式是通过数据导入导出，即数据提供方根据需求格式导出数据，通过通讯工具传送给数据需求方，数据需求方根据自己的需求加工数据然后导入自己的存储。

第二种方式是通过HTTP(Hyper Text Transfer Protocol)，超文本传输协议)接口调用，数据提供方调用数据需求方的HTTP接口，将数据推送过去，或者数据需求方调用数据提供方的HTTP接口拉取数据。

然而，数据导入导出的方式实时性太低，很难满足现有互联网公司的数据实时同步需求，比如某一应用需要实时显示不同的相关物流公司的物流信息，造成用户体验差。

对于基于接口调用的一种数据同步方式，即数据提供方推送数据给数据需求方的方式，当数据量大以及接口推送失败的时候，数据提供方不仅需要耗费资源进行数据的推送，还需要耗费资源去考虑意外情况及意外情况的处理，比如数据需求方是否成功接收数据完成数据同步，数据需求方接收失败后是否需要重发，何时进行重发等等，造成数据提供方的资源压力大。

对于基于接口调用的另一种数据同步方式，即数据需求方调用数据提供方的接口实时拉取数据的方式，数据需求方并不知道数据提供方何时发生数据变更，若一直不停的从数据提供方拉取数据，不仅会造成数据需求方的资源浪费，也会造成数据提供方的资源压力大。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种数据同步方法、装置和***，能够在实现数据的实时同步的同时，降低数据提供方和数据需求方的资源压力。

第一方面，本发明实施例提供了一种数据同步方法，包括：

实时获取各数据提供方在发生数据变更时生成的对应的事件通知；

将获取的事件通知添加到事件任务表中；

启动事件消费进程读取所述事件任务表中的事件通知，并将读取的事件通知发送给数据需求方，以供数据需求方根据所述事件通知从所述数据提供方获取变更后的数据。

第二方面，本发明实施例提供了一种数据同步装置，包括：

事件通知获取模块，用于实时获取各数据提供方在发生数据变更时生成的对应的事件通知；

事件通知添加模块，用于将获取的事件通知添加到事件任务表中；

数据同步模块，用于启动事件消费进程读取所述事件任务表中的事件通知，并将读取的事件通知发送给数据需求方，以供数据需求方根据所述事件通知从所述数据提供方获取变更后的数据。

第三方面，本发明实施例还提供了一种数据同步***，包括：第二方面实施例提供的数据同步装置，以及与所述数据同步装置连接的数据提供方和数据需求方。

第四方面，本发明实施例还提供了一种电子设备，包括处理器、存储器和总线，其中：

所述处理器、所述存储器通过总线完成相互间的通信；

所述处理器可以调用存储器中的计算机程序，以执行第一方面实施例提供的所述数据同步方法。

第五方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面实施例提供的所述数据同步方法。

本发明实施例提供的数据同步方案中，可以实时获取各数据提供方在发生数据变更时生成的对应的事件通知；将获取的事件通知添加到事件任务表中；启动事件消费进程读取事件任务表中的事件通知，并将读取的事件通知发送给数据需求方，以供数据需求方根据事件通知从数据提供方获取变更后的数据。这样，数据需求方可以在接收到事件通知后及时地向数据提供方获取变更后的数据，无需耗费资源在数据提供方没有发生数据变更时进行无效拉取，降低数据需求方和数据提供方的资源压力。而且，数据提供方也无需耗费资源去关注数据需求方是否成功根据事件通知完成数据同步以及同步失败后的处理，降低了数据提供方的资源压力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明一个实施例的数据同步***的结构示意图；

图2示出了根据本发明一个实施例的数据同步方法的示例性流程图。

图3示出了根据本发明一个实施例的数据同步装置的示例性结构框图；

图4示出了根据本发明一个实施例的电子设备的实体结构示意图。

具体实施方式

以下将结合附图对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

本申请使用的“模块”、“装置”等术语旨在包括与计算机相关的实体，例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如，模块可以是，但并不仅限于：处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说，计算设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内，一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。

下面结合附图详细说明本发明的技术方案。

参考图1，其示出了根据本发明一个实施例的数据同步***的结构示意图。

如图1所示，本发明一个实施例的数据同步***100可以包括：数据同步装置101、数据提供方102和数据需求方103。

其中，数据提供方102和数据需求方103均与数据同步装置101连接。数据提供方102为一个或多个。实际应用中，数据同步装置101可以独立设置，或设置于数据需求方103中。

本发明实施例中，每个数据提供方102在发生数据变更时可以生成对应的事件通知，并通过数据同步装置101将事件通知传输给数据需求方103，其中，事件通知中可以包括数据变更通知、数据提供方标识、数据类型等。这样，数据提供方102并不需耗费资源去考虑意外情况及意外情况的处理，比如数据需求方是否成功接收数据完成数据同步，数据需求方接收失败后是否需要重发，何时进行重发等等。

数据同步装置101可以从多个数据提供方102获取事件通知，并将事件通知传输给数据需求方103。

数据需求方103从数据同步装置101获取事件通知后，可根据事件通知从数据提供方获取变更后的数据，避免耗费资源在数据提供方没有发生数据变更时进行无效拉取，降低数据需求方和数据提供方的资源压力。

基于上述数据同步***100，参考图2，其示出了根据本发明一个实施例的数据同步方法的示例性流程图。

如图2所示，本发明实施例提供的数据同步方法，可以包括如下步骤：

S210：实时获取各数据提供方在发生数据变更时生成的对应的事件通知。

本发明实施例中，数据同步装置101可以实时获取各数据提供方102在发生数据变更时生成的对应的事件通知。

其中，事件通知可以包括：数据变更通知、数据提供方标识、数据类型等。

本发明实施例中，数据同步装置101可以通过如下两种方式来获取数据提供方的事件通知。

方式一

针对每个数据提供方，数据同步装置101可以启动事件拉取进程实时从该数据提供方提供的输出接口，拉取数据提供方在发生数据变更时生成的对应的事件通知。

方式二

针对每个数据提供方，数据同步装置101可以通过预设的接收接口实时接收该数据提供方推送的该数据提供方在发生数据变更时生成的对应的事件通知。

本发明实施例中，数据提供方提供的输出接口和数据同步装置101中预设的接收接口可以具体为HTTP接口。

实际应用中，数据同步装置101可以同时采取方式一和方式二来获取数据提供方的事件通知，也可以采用方式一和方式二中的任意一种来获取数据提供方的事件通知。

本发明实施例中，数据同步装置101中可以设有配置中心，配置中心中可以存储数据需求方所需同步的数据提供方的数据提供方标识。这样，数据同步装置101可以根据配置中心中的数据提供方标识，从对应的数据提供方获取事件通知。

进一步地，本发明实施例中，配置中心中还可以存储储数据需求方103所需的待同步的数据类型，比如，房产类型、物流类型等。这样，数据同步装置101可以从各数据提供方102实时获取具有预设的待同步的数据类型的事件通知。

S220：将获取的事件通知添加到事件任务表中。

本发明实施例中，数据同步装置101中可以预先设置事件任务表，用于存储待消费的事件通知，即通过步骤S210实时获取的事件通知。

实际应用中，事件任务表以数据库的形式来存储获取的事件通知以便对事件任务表中的事件通知进行操作，比如查询、统计、监控等。

本发明实施例中，若步骤S210实时获取的事件通知既包括数据需求方所需的待同步的数据类型的事件通知，也包括其他数据类型的事件通知，则数据同步装置101可以确定步骤S210实时获取的各事件通知的数据类型，并将具有预设的待同步的数据类型的事件通知添加到事件任务表中。

S230：启动事件消费进程读取事件任务表中的事件通知，并将读取的事件通知发送给数据需求方，以供数据需求方根据事件通知从数据提供方获取变更后的数据。

本发明实施例中，数据同步装置101在事件任务表中存储待消费的事件通知后，即可启动事件消费进程，启动的事件消费进程可以从事件任务表中读取事件通知，并将读取的事件通知发送给数据需求方103。

实际应用中，数据提供方可以是多个，每个数据提供方在同一时刻可以生成多个事件通知，导致事件任务表中的待消费的事件通知的数量也是动态变化的。因此，为了保障数据同步的实时性，可以根据事件任务表中的事件通知数量，启动一个或多个事件消费进程从事件任务表中读取事件通知。

具体地，可以根据事件通知数量与启动的事件消费进程的数量的配置比例，以及当前事件任务表中的事件通知数量，来确定启动的事件消费进程的数量。

其中，事件通知数量与启动的事件消费进程的数量的配置比例可以预先根据实际需求来设置。例如，可以将事件通知数量与启动的事件消费进程的数量的配置比例可以设置为1：1，或2：1等等。

可选地，可以根据设定的事件通知阈值和当前事件任务表中的事件通知数量来确定启动的事件消费进程的数量。

例如，当事件任务表中的事件通知数量低于设定的事件通知阈值时，可以启动第一指定数量的事件消费进程；当事件任务表中的事件通知数量高于或等于设定的事件通知阈值时，可以启动第二指定数量的事件消费进程。

考虑对于同一个事件通知，只要被消费即可，即数据同步装置101只需将该事件通知及时发送给数据需求方103即可，并不需要被多次消费。

因此，本发明实施例中，对于事件任务表中的每个事件通知，该事件通知被一个事件消费进程读取后，将从事件任务表中剔除。

可选地，本发明实施例中，对于事件任务表中的每个事件通知，该事件通知被一个事件消费进程读取后，可以在事件任务表中设置该事件通知处于被消费状态或已消费状态，避免其他事件消费进程对该事件通知进行二次读取造成资源浪费。

本发明实施例中，若事件任务表中既包括数据需求方所需的待同步的数据类型的事件通知，也包括其他数据类型的事件通知，则数据同步装置101在启动事件消费进程读取事件任务表中的事件通知的过程中，可以启动事件消费进程读取事件任务表中具有预设的待同步的数据类型的事件通知，而无需读取其他数据类型的事件通知。

本发明实施例中，数据同步装置101将事件通知发送给数据需求方之后，若数据需求方103根据接收的事件通知从数据提供方成功获取变更后的数据，则可以向数据同步装置101返回针对该事件通知的消费成功信息。

若数据需求方103根据接收的事件通知从数据提供方未成功获取变更后的数据，则数据需求方103可以向数据同步装置101返回针对该事件通知的消费失败信息。

相应地，数据同步装置101接收数据需求方返回的消费失败信息，并将接收的消费失败信息所针对的事件通知添加到预设的事件消费失败表中。

接着，数据同步装置101可以启动失败任务处理进程将事件消费失败表中的事件通知重新添加到事件任务表中，以供后续通过事件消费进程重新读取该事件通知，直至接收到数据需求方返回该事件通知的消费成功信息，以此保障数据需求方与数据提供方之间的数据同步。

进一步地，本发明实施例中，数据同步装置101中还可以预先设置管理进程，用于管理事件消费进程、事件拉取进程和失败任务处理进程等数据同步进程。

具体地，数据同步装置101可以通过预设的管理进程对启动的数据同步进程进行监控；监控到异常的数据同步进程时，停止异常的数据同步进程，并启动新的数据同步进程。其中，数据同步进程可以包括；事件消费进程、事件拉取进程和失败任务处理进程。

从上面描述可以看出，本发明实施例提供的数据同步方法中，可以实时获取各数据提供方在发生数据变更时生成的对应的事件通知；将获取的事件通知添加到事件任务表中；启动事件消费进程读取事件任务表中的事件通知，并将读取的事件通知发送给数据需求方，以供数据需求方根据事件通知从数据提供方获取变更后的数据。这样，数据需求方可以在接收到事件通知后及时地向数据提供方获取变更后的数据，无需耗费资源在数据提供方没有发生数据变更时进行无效拉取，降低数据需求方和数据提供方的资源压力。而且，数据提供方也无需耗费资源去关注数据需求方是否成功根据事件通知完成数据同步以及同步失败后的处理，降低了数据提供方的资源压力。

在上述实施例的基础上，参考图3，其示出了根据本发明一个实施例的数据同步装置的示例性结构框图。

如图3所示，本发明实施例提供的数据同步装置101可以包括：事件通知获取模块301、事件通知添加模块302和数据同步模块303。

其中，事件通知获取模块301用于实时获取各数据提供方在发生数据变更时生成的对应的事件通知。

事件通知添加模块302用于将获取的事件通知添加到事件任务表中。

数据同步模块303用于启动事件消费进程读取事件任务表中的事件通知，并将读取的事件通知发送给数据需求方，以供数据需求方根据事件通知从数据提供方获取变更后的数据。

可选地，事件通知获取模块301可以通过如下两种方式获取各数据提供方在发生数据变更时生成的对应的事件通知。

具体地，事件通知获取模块301可以针对每个数据提供方，启动事件拉取进程实时从该数据提供方提供的输出接口，拉取数据提供方在发生数据变更时生成的对应的事件通知。

或者，事件通知获取模块301可以针对每个数据提供方，通过预设的接收接口实时接收该数据提供方推送的该数据提供方在发生数据变更时生成的对应的事件通知。

可选地，数据同步模块303可以根据事件任务表中的事件通知数量，启动一个或多个事件消费进程读取事件任务表中的事件通知。

其中，对于事件任务表中的每个事件通知，该事件通知被一个事件消费进程读取后，将从事件任务表中剔除。

本发明实施例中，事件通知可以包括：发生数据变更的数据的数据类型。

相应地，数据同步模块303可以启动事件消费进程读取所述事件任务表中具有预设的待同步的数据类型的事件通知。

进一步地，数据同步模块303还用于在数据需求方未成功获取变更后的数据时，接收数据需求方返回的消费失败信息；将接收的消费失败信息所针对的事件通知添加到预设的事件消费失败表中；启动失败任务处理进程将事件消费失败表中的事件通知重新添加到事件任务表中。

进一步地，本发明实施例中，数据同步装置101中还可以进一步包括：进程管理模块(图中未标明)。

进程管理模块用于通过预设的管理进程对启动的数据同步进程进行监控；监控到异常的数据同步进程时，停止异常的数据同步进程，并启动新的数据同步进程。其中，数据同步进程包括；事件消费进程、事件拉取进程和失败任务处理进程。

应当理解，数据同步装置101中记载的诸模块与图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于数据同步装置101、及其中包含的模块，在此不再赘述。

参考图4，其示出了根据本发明一个实施例的电子设备的实体结构示意图。如图4所示，该电子设备400可以包括：处理器(processor)401、存储器(memory)402和总线403，其中，处理器401，存储器402通过总线403完成相互间的通信。处理器401可以调用存储器402中的计算机程序，以执行上述图2所示实施例所提供的方法，例如包括：

实时获取各数据提供方在发生数据变更时生成的对应的事件通知；将获取的事件通知添加到事件任务表中；启动事件消费进程读取事件任务表中的事件通知，并将读取的事件通知发送给数据需求方，以供数据需求方根据事件通知从数据提供方获取变更后的数据。

本发明实施例提供另一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机程序，计算机程序使计算机执行上述图2所示实施例所提供的方法，例如包括：

实时获取各数据提供方在发生数据变更时生成的对应的事件通知；将获取的事件通知添加到事件任务表中；启动事件消费进程读取事件任务表中的事件通知，并将读取的事件通知发送给数据需求方，以供数据需求方根据事件通知从数据提供方获取变更后的数据。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的基站的实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据同步方法，其特征在于，包括：

实时获取各数据提供方在发生数据变更时生成的对应的事件通知；

将获取的事件通知添加到事件任务表中；

启动事件消费进程读取所述事件任务表中的事件通知，并将读取的事件通知发送给数据需求方，以供数据需求方根据所述事件通知从所述数据提供方获取变更后的数据。

2.根据权利要求1所述的方法，其特征在于，实时获取各数据提供方在发生数据变更时生成的对应的事件通知，包括：

针对每个数据提供方，启动事件拉取进程实时从该数据提供方提供的输出接口，拉取数据提供方在发生数据变更时生成的对应的事件通知；和/或

针对每个数据提供方，通过预设的接收接口实时接收该数据提供方推送的该数据提供方在发生数据变更时生成的对应的事件通知。

3.根据权利要求1所述的方法，其特征在于，所述启动事件消费进程读取所述事件任务表中的事件通知，包括：

根据所述事件任务表中的事件通知数量，启动一个或多个事件消费进程读取所述事件任务表中的事件通知；

其中，对于事件任务表中的每个事件通知，该事件通知被一个事件消费进程读取后，将从所述事件任务表中剔除。

4.根据权利要求3所述的方法，其特征在于，所述事件通知包括：发生数据变更的数据的数据类型；

所述启动事件消费进程读取所述事件任务表中的事件通知，包括：

启动事件消费进程读取所述事件任务表中具有预设的待同步的数据类型的事件通知。

5.根据权利要求2所述的方法，其特征在于，还包括：

在所述数据需求方未成功获取变更后的数据时，接收所述数据需求方返回的消费失败信息；

将接收的消费失败信息所针对的事件通知添加到预设的事件消费失败表中；

启动失败任务处理进程将所述事件消费失败表中的事件通知重新添加到所述事件任务表中。

6.根据权利要求5所述的方法，其特征在于，还包括：

通过预设的管理进程对启动的数据同步进程进行监控；监控到异常的数据同步进程时，停止异常的数据同步进程，并启动新的数据同步进程；

其中，所述数据同步进程包括；事件消费进程、事件拉取进程和失败任务处理进程。

7.一种数据同步装置，其特征在于，包括：

事件通知获取模块，用于实时获取各数据提供方在发生数据变更时生成的对应的事件通知；

事件通知添加模块，用于将获取的事件通知添加到事件任务表中；

数据同步模块，用于启动事件消费进程读取所述事件任务表中的事件通知，并将读取的事件通知发送给数据需求方，以供数据需求方根据所述事件通知从所述数据提供方获取变更后的数据。

8.一种数据同步***，其特征在于，包括：如权利要求7所述的数据同步装置，以及与所述数据同步装置连接的数据提供方和数据需求方。

9.一种电子设备，其特征在于，包括处理器、存储器和总线，其中：

所述处理器，所述存储器通过总线完成相互间的通信；

所述处理器可以调用存储器中的计算机程序，以执行如权利要求1-7任意一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任意一项所述方法的步骤。