CN110321387A - 数据同步方法、设备及终端设备 - Google Patents

Abstract

本发明实施例提供一种数据同步方法、设备及终端设备，该方法包括：获取待同步数据库的数据库操作日志，根据数据库操作日志确定待同步数据表，获取待同步数据表对应的同步配置信息，并对待同步数据表进行解析得到待同步数据，其中同步配置信息包括消息主题和数据操作类型，根据同步配置信息，将待同步数据发送至第二终端的队列中，以使第二终端获取订阅待同步数据对应的消息主题的客户端，根据数据操作类型确定广播传输模式，并根据广播传输模式，将待同步数据发送至客户端，无需按照固定长度传输待同步数据，提高数据传输的速度，从而提高数据同步的效率。

Description

数据同步方法、设备及终端设备

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据同步方法、设备及终端设备。

背景技术

随着互联网技术的发展，业务***对应的数据库的规模也越来越大，数据库需要保存的数据也越来越多。由于版本更新等原因，需要对数据库中的数据进行备份，即将数据库中的数据同步到其它数据库。

现有技术中，在对数据库中的数据进行同步时，一般基于web(World Wide Web，全球广域网)服务，将数据库中的数据同步到其它数据库中，在基于web服务同步数据时，只能传输固定长度的数据到其它数据库中。

然而，发明人发现现有技术中至少存在如下问题，在基于web服务同步数据时，若需进行同步的数据量较大，由于只能传输固定长度的数据，需要的数据同步时间较长，同步效率低。

发明内容

本发明实施例提供一种数据同步方法、设备及终端设备，以解决现有技术中数据同步效率低的问题。

第一方面，本发明实施例提供一种数据同步方法，所述方法应用于第一终端，所述方法包括：

获取待同步数据库的数据库操作日志；

根据所述数据库操作日志确定待同步数据表；

获取所述待同步数据表对应的同步配置信息，并对所述待同步数据表进行解析得到待同步数据，其中所述同步配置信息包括消息主题和数据操作类型；

根据所述同步配置信息，将所述待同步数据发送至第二终端的队列中，以使第二终端获取订阅所述待同步数据对应的消息主题的客户端，根据所述数据操作类型确定广播传输模式，并根据所述广播传输模式，将所述待同步数据发送至所述客户端。

在一种可能的设计中，所述待同步数据库包括多个数据表；

所述根据所述数据库操作日志确定待同步数据表，包括：

检测所述数据库操作日志是否存在预设的数据库操作对应的操作字符；

若所述数据库操作日志存在所述操作字符，则获取执行所述操作字符对应的数据库操作的操作数据表，并将所述操作数据表作为所述待同步数据表，其中所述数据库操作包括添加操作、删除操作和/或更新操作。

在一种可能的设计中，所述同步配置信息还包括第二终端的网络地址和传输端口。

第二方面，本发明实施例提供一种数据同步方法，所述方法应用于第二终端，所述方法包括：

接收第一终端发送的待同步数据，其中所述待同步数据是由所述第一终端在获取待同步数据库的数据库操作日志，根据所述数据库操作日志确定待同步数据表，获取所述待同步数据表对应的同步配置信息，并对所述待同步数据表进行解析得到待同步数据后，根据所述同步配置信息发送的，其中所述同步配置信息包括消息主题和数据操作类型；

获取订阅所述待同步数据对应的消息主题的客户端；

根据所述数据操作类型确定广播传输模式，并根据所述广播传输模式，将所述待同步数据发送至所述客户端。

在一种可能的设计中，所述数据操作类型包括添加类型、删除类型和/或更新类型；所述广播传输模式包括有序广播模式或无序广播模式；

所述根据所述数据操作类型确定广播传输模式，包括：

若所述数据操作类型为所述添加类型，则确定所述广播传输模式为无序广播模式；

若所述数据操作类型为所述删除类型或更新类型，则确定所述广播传输模式为有序广播模式。

在一种可能的设计中，所述待同步数据为多条；

所述根据有序广播模式，将所述待同步数据发送至所述客户端，包括：

记录接收各个待同步数据的接收时间；

根据各个待同步数据的接收时间的先后顺序对各个待同步数据进行排序，并根据排序后的各个待同步数据的次序将各个待同步数据发送至所述客户端。

在一种可能的设计中，所述将所述待同步数据发送至所述客户端，包括：

获取第一客户端所需的目标数据类型以及所述第一客户端对应的第一数据库类型，其中所述第一客户端为所述客户端中任意一个客户端；

从所述待同步数据中查找所述目标数据类型对应的目标同步数据；

对所述目标同步数据进行格式转换，生成数据同步脚本，并将所述数据同步脚本发送至所述第一客户端，以使所述第一客户端根据所述数据同步脚本进行数据同步，其中所述数据同步脚本对应的数据库类型为所述第一数据库类型。

第三方面，本发明实施例提供一种数据同步设备，所述设备应用于第一终端，所述设备包括：

操作日志获取模块，用于获取待同步数据库的数据库操作日志；

数据表获取模块，用于根据所述数据库操作日志确定待同步数据表；

同步数据获取模块，用于获取所述待同步数据表对应的同步配置信息，并对所述待同步数据表进行解析得到待同步数据，其中所述同步配置信息包括消息主题和数据操作类型；

同步数据发送模块，用于根据所述同步配置信息，将所述待同步数据发送至第二终端的队列中，以使第二终端获取订阅所述待同步数据对应的消息主题的客户端，根据所述数据操作类型确定广播传输模式，并根据所述广播传输模式，将所述待同步数据发送至所述客户端。

在一种可能的设计中，所述待同步数据库包括多个数据表；

所述数据表获取模块具体用于：检测所述数据库操作日志是否存在预设的数据库操作对应的操作字符；若所述数据库操作日志存在所述操作字符，则获取执行所述操作字符对应的数据库操作的操作数据表，并将所述操作数据表作为所述待同步数据表，其中所述数据库操作包括添加操作、删除操作和/或更新操作。

在一种可能的设计中，所述同步配置信息还包括第二终端的网络地址和传输端口。

第四方面，本发明实施例提供一种数据同步设备，所述设备应用于第二终端，所述设备包括：

同步数据接收模块，用于接收第一终端发送的待同步数据，其中所述待同步数据是由所述第一终端在获取待同步数据库的数据库操作日志，根据所述数据库操作日志确定待同步数据表，获取所述待同步数据表对应的同步配置信息，并对所述待同步数据表进行解析得到待同步数据后，根据所述同步配置信息发送的，其中所述同步配置信息包括消息主题和数据操作类型；

客户端信息获取模块，用于获取订阅所述待同步数据对应的消息主题的客户端；

数据传输模块，用于根据所述数据操作类型确定广播传输模式，并根据所述广播传输模式，将所述待同步数据发送至所述客户端。

在一种可能的设计中，所述数据操作类型包括添加类型、删除类型和/或更新类型；所述广播传输模式包括有序广播模式或无序广播模式；

所述数据传输模块具体用于：若所述数据操作类型为所述添加类型，则确定所述广播传输模式为无序广播模式；若所述数据操作类型为所述删除类型或更新类型，则确定所述广播传输模式为有序广播模式。

在一种可能的设计中，所述待同步数据为多条；

所述数据传输模块还具体用于：记录接收各个待同步数据的接收时间；根据各个待同步数据的接收时间的先后顺序对各个待同步数据进行排序，并根据排序后的各个待同步数据的次序将各个待同步数据发送至所述客户端。

在一种可能的设计中，所述数据传输模块还具体用于：获取第一客户端所需的目标数据类型以及所述第一客户端对应的第一数据库类型，其中所述第一客户端为所述客户端中任意一个客户端；

从所述待同步数据中查找所述目标数据类型对应的目标同步数据；

对所述目标同步数据进行格式转换，生成数据同步脚本，并将所述数据同步脚本发送至所述第一客户端，以使所述第一客户端根据所述数据同步脚本进行数据同步，其中所述数据同步脚本对应的数据库类型为所述第一数据库类型。

第五方面，本发明实施例提供一种终端设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的数据同步方法。

第六方面，本发明实施例提供一种终端设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第二方面任一项所述的数据同步方法。

第七方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的数据同步方法。

第八方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第二方面任一项所述的数据同步方法。

本发明实施例提供的数据同步方法、设备及终端设备，该方法通过根据待同步数据库的数据库操作日志确定存在数据更新的待同步数据表，获取待同步数据表对应的消息主题和数据操作类型，将待同步数据发送至第二终端的队列中，第二终端获取订阅该消息主题的客户端，并根据数据操作类型确定广播传输模式，按照确定的广播传输模式，将待同步数据发送至客户端，以使客户端可以根据待同步数据进行数据同步，无需限制传输数据的长度，可以以表级维度同步数据，提高数据同步的速度，从而提高数据同步的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数据同步***的场景示意图；

图2为本发明实施例提供的数据同步方法的流程图一；

图3为本发明实施例提供的数据同步方法的流程图二；

图4为本发明实施例提供的数据同步方法的流程图三；

图5为本发明实施例提供的数据同步方法的流程图四；

图6为本发明实施例提供的数据同步设备的结构示意图一；

图7为本发明实施例提供的数据同步设备的结构示意图二；

图8为本发明实施例提供的终端设备的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

现有技术中，在对数据库中的数据进行同步时，一般是基于web服务，将数据库中的数据同步到其它数据库中，由于web服务比较消耗***资源且对传输数据的长度有着严格的限制，因此在传输待同步数据时，会大量占用***性能，可能会导致数据传输速度慢，在同步数据时，对数据有着时效性的要求，当数据传输速度慢时，无需满足同步数据的时效性要求，导致数据的不一致性，且只能传输固定长度的数据，当待同步数据量较大时，需要的同步时间较长，同步效率低。

本申请针对现有技术存在的问题，提出一种数据同步***，如图1所示，数据同步***包括前端触点101、源数据库102、第一终端103、第二终端104和客户端105。用户可以在前端触点101上，例如，订单中心，办理相关业务，当用户在前端触点上办理相关业务时，需要在前端触点上进行相关业务操作，例如，进行注册，可能会需要对源数据库102进行相应的数据库操作，因此，源数据库102中的数据可能会发生更新，因此，需要将源数据库中的更新的数据同步到客户端105。

需要说明的是，上述的源数据库102可以安装在第一终端，也可以安装在其它终端上，图1中的第一终端的位置仅为一种示例，本发明实施例并不以此为限。

数据是以数据表的形式保存在源数据库102中的，为了可以准确地同步更新的数据，在进行数据同步时，以表级数据维度进行准实时的数据传输，即当需要进行数据同步时，第一终端查找发生更新的数据表，并对该数据表进行相关处理，得到待同步数据，获取该数据表对应的消息主题，即获取该待同步数据对应的消息主题，根据待同步数据对应的消息主题，将待同步数据以及该待同步数据对应的消息主题，发布到第二终端的消息队列中，第二终端获取订阅该消息主题的客户端，即获取需要进行数据同步的客户端，将待同步数据传输至客户端，以使客户端根据待同步数据，对自身的数据库中的相关数据进行更新，在将待同步数据传输到客户端时，可以以数据表的形式进行数据同步，按照固定长度传输待同步数据，可以提高数据同步的速度，且在数据同步的过程，无需使用web服务传输数据，可以满足数据的时效性要求，从而可以保证数据的一致性。

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图2为本发明实施例提供的数据同步方法的流程图一，本实施例的方法的执行主体可以为图1中的第一终端。如图2所示，本实施例的方法，可以包括：

S201：获取待同步数据库的数据库操作日志。

在本实施例中，当用户在前端触点办理业务时，可能会需要对数据库进行相应的数据库操作，当对数据库进行数据库操作时，会将对数据库进行的数据库操作所对应的SQL(Structured Query Language，结构化查询语言)语句记录在数据库操作日志。数据库中需同步的数据包括数据库已保存的原始数据和进行数据库操作后得到的更新数据，因此，在对更新数据进行同步时，需要利用到数据库操作日志。

当需要对待同步数据库进行同步时，需要先获取该待同步数据库的数据库操作日志，例如，binlog日志。

S202：根据数据库操作日志确定待同步数据表。

由于数据库中的数据是以数据表的形式保存在待同步数据库中的，因此，待同步数据库包括多个数据表。当对数据库进行数据库操作时，实际上是对数据库中的数据表进行相应的数据库操作。

在本实施例中，当进行数据同步时，第一终端需要利用数据库操作日志捕捉变化的数据表，即捕捉进行了数据库操作的数据表，将变化的数据表作为待同步数据表，变化的数据表中包括进行数据库操作后得到的更新数据，例如，在数据表A中添加了一条新的记录后，该数据表A便发生变化，该数据表A便为待同步数据表。

S203：获取待同步数据表对应的同步配置信息，并对待同步数据表进行解析得到待同步数据，其中同步配置信息包括消息主题和数据操作类型。

在本实施例中，当确定待同步数据表后，需要对待同步数据表进行解析，即从待同步数据表中提取出数据库名称、数据表名称、数据表中的字段名称以及字段名称对应的具体值，例如，字段名称包括编号，年龄对应的具体值为001，将提取出的数据作为待同步数据。

其中，一个数据表对应一个消息主题，消息主题为将要发布到第二终端的队列中的数据所属的类别。

其中，同步配置信息包括待同步数据表对应的消息主题和待同步数据表进行的数据库操作所对应的数据操作类型，其中该数据操作类型包括包括添加操作类型、删除操作类型和/或更新操作类型。

可选的，同步配置信息还包括第二终端的网络地址和传输端口。

在本实施例中，对待同步数据表进行解析，得到该待同步数据表对应的待同步数据，待同步数据包括该待同步数据表中的字段名称以及字段名称对应的具体值，因此，待同步数据中不仅包括待同步数据表中的更新数据，还包括原始数据，实现以表级纬度进行数据同步，在提高数据传输速度的同时，也可保证同步数据的一致性，实现将数据表中的数据准确地同步到客户端。

可以理解的是，在实际数据同步过程中，可能同时需要同步多个数据表，由于每个数据表对应一个消息主题，因此，发送给第二终端的待同步数据可能对应多个消息主题，为了方便描述以及理解，将发送给第二终端的待同步数据认为是一个数据表对应的待同步数据，即发送给第二终端的待同步数据所对应的消息主题为一个。

S204：根据同步配置信息，将待同步数据发送至第二终端的队列中，以使第二终端获取订阅待同步数据对应的消息主题的客户端，根据数据操作类型确定广播传输模式，并根据广播传输模式，将待同步数据发送至客户端。

在本实施例中，第一终端获取待同步数据对应的同步配置信息，通过同步配置信息中的传输端口，将待同步数据发送至同步配置信息中的网络地址所对应的第二终端的消息队列中。第二终端中的消息队列(Message Queue，MQ)获取到订阅待同步数据对应的消息主题的客户端后，便将待同步数据发送给该客户端，实现数据的同步。

在将待同步数据发送到第二终端的队列中时，第一终端可以将属于同一个消息主题的待同步数据发布到消息队列的一个分区时，具体过程为：将待同步数据发布到队列中该待同步数据对应的消息主题所对应的分区中，从而方便对待同步数据进行维护。

其中，分区是指消息队列机制中对数据进行维护的最小单位。

在上述第一终端利用数据库操作日志确定待同步数据表以及根据待同步数据表得到待同步数据的过程中，可利用数据传输服务(Data Transmission Service，DTS)实现，可以提高数据传输的速度，且在传输过程中，无需占用大量***资源。

从上述描述可知，通过根据待同步数据库的数据库操作日志确定存在数据更新的待同步数据表，获取待同步数据表对应的消息主题和数据操作类型，将待同步数据发送至第二终端的队列中，第二终端获取订阅该消息主题的客户端，并根据数据操作类型确定广播传输模式，按照确定的广播传输模式，将待同步数据发送至客户端，以使客户端可以根据待同步数据进行数据同步，无需限制传输数据的长度，可以以表级维度同步数据，提高数据同步的速度，满足同步的数据时效性要求，从而提高数据同步的效率。

在对数据进行同步时，可以根据数据库操作日志确定需进行同步的数据，即需确定待同步数据，下面结合一个具体的实施例对确定待同步数据的过程进行详细描述。

图3为本发明实施例提供的数据同步方法的流程图二，如图3所示，在上述实施例的基础上，对确定待同步数据的具体实现过程进行了详细说明。待同步数据库包括多个数据表。如图3所示，该方法包括：

S301：获取待同步数据库的数据库操作日志。

本实施例的S301的具体实施方式，与上述实施例中的S201类似，此处不再赘述。

S302：检测数据库操作日志是否存在预设的数据库操作对应的操作字符，其中数据库操作包括添加操作、删除操作和/或更新操作。

在本实施例中，由于数据库操作日志中包含进行的数据库操作所对应的SQL语句信息，因此，可以通过检测数据库操作日志中是否存在预设的数据库操作对应的SQL字符，即操作字符，确定是否存在数据表发生变化，即发生数据更新。

其中，预设的数据库操作包括添加操作、删除操作和/或更新操作。

其中，添加操作对应的操作字符为insert，删除操作对应的操作字符为delete，更新操作对应的操作字符为update。

当检测到数据操作日志中存在预设的数据库操作所对应的操作字符时，表示有数据表存在更新，需要进行同步，以保证数据一致性。

S303：若数据库操作日志存在操作字符，则获取执行操作字符对应的数据库操作的操作数据表，并将操作数据表作为待同步数据表。

在本实例中，当检测到数据库操作日志中存在预设的数据库操作所对应的操作字符，按照该预设的数据库操作所对应的SQL语句格式，从数据库操作日志中提取进行该数据库操作的数据表，并将其作为待同步数据表。例如，预设的数据库操作包括添加操作，添加操作对应的操作字符为insert，添加操作所对应的SQL语句格式为insert into数据表名称，从而可以提取出进行了添加操作的数据表名称，将该数据表名称对应的数据表作为待同步数据表。

S304：获取待同步数据表对应的同步配置信息，并对待同步数据表进行解析得到待同步数据，其中同步配置信息包括消息主题和数据操作类型。

S305：根据同步配置信息，将待同步数据发送至第二终端的队列中，以使第二终端获取订阅待同步数据对应的消息主题的客户端，根据数据操作类型确定广播传输模式，并根据广播传输模式，将待同步数据发送至客户端。

本实施例的S304至S305的具体实施方式，与上述实施例中的S203和S204类似，此处不再赘述。

在本实施例中，第一终端通过检测数据库操作日志中是否存在预设的数据库操作所对应的操作字符，确定是否有数据表进行了预设的数据库操作，即确定是否有更新的数据表，当确定有更新的数据表后，将更新的数据表作为待同步数据表，实现快速准确地确定需进行同步的数据表，从而实现准确确定待同步数据，以使后续在利用待同步数据进行数据同步时，由于待同步数据是正确的，可以保证数据一致性，避免出现由于数据不一致出现业务出错的情况。

图4为本发明实施例提供的数据同步方法的流程图三，本实施例的方法的执行主体可以为图1中的第二终端。如图4所示，本实施例的方法，可以包括：

S401：接收第一终端发送的待同步数据，其中待同步数据是由第一终端在获取待同步数据库的数据库操作日志，根据数据库操作日志确定待同步数据表，获取待同步数据表对应的同步配置信息，并对待同步数据表进行解析得到待同步数据后，根据同步配置信息发送的，其中同步配置信息包括消息主题和数据操作类型。

为了方便描述以及理解，将第二终端接收到的待同步数据认为是一个数据表对应的待同步数据，即第二终端接收到的待同步数据所对应的消息主题为一个。

在本实施例中，第二终端接收第一终端发送的待同步数据表对应的待同步数据，由于每个待同步数据表对应的一个消息主题，因此每个待同步数据表的待同步数据所对应的消息主题相同。第二终端将接收到的待同步数据保存至消息队列中。

S402：获取订阅待同步数据对应的消息主题的客户端。

在本实施例中，第一终端相当于生产者，将待同步数据发布到第二终端的消息队列，客户端相当于消费者，其可以订阅自身所需要的消息主题，当消息主题发布后，表示数据存在更新，客户端需要从队列中获取更新的数据，即需要进行数据同步。因此，在将待同步数据发布到第二终端的消息队列后，第二终端需获取订阅待同步数据所对应的消息主题的客户端，即获取需要进行数据同步的客户端，从而保证客户端可以及时进行数据同步。

S403：根据数据操作类型确定广播传输模式，并根据广播传输模式，将待同步数据发送至客户端。

其中，数据操作类型包括添加类型、删除类型和/或更新类型。

其中，广播传输模式包括有序广播模式或无序广播模式。

高并发的用户业务办理会带来高并发的操作数据，业务高峰时期，同一条数据表中的数据可能在一秒钟之内操作100次以上，数据库操作日志中的数据每秒钟可能是新增100000条以上，业务低谷时数据会下降到高峰业务量的10％以内，业务高峰时期有可能会在一天内多次反复出现，业务峰值的数据同步量会对客户端的应用性能、数据库性能要求很高。

在本实施例中，当将待同步数据传输给客户端时，可采用广播传输模式，从而可以保证无论是在业务高峰期还是业务低谷期，可以以一个稳定的速度传输给消费者。消息队列机制包括两种传输方式，分别为有序模式和无序模式，相应地，广播传输模式包括有序广播传输模式和无序广播模式。

当待同步数据对应的数据操作类型不同时，采用的广播传输模式可能不同，根据数据操作类型确定广播传输模式的过程包括：若数据操作类型为添加类型，则确定广播传输模式为无序广播模式。若数据操作类型为删除类型或更新类型，则确定广播传输模式为有序广播模式。

在本实施例中，当待同步数据对应的数据操作类型为添加类型时，表示该待同步数据为增量数据，可按照无序广播模式，即无需按照先进先出的顺序将待同步数据传输客户端，可以提高数据同步的效率。当待同步数据对应的数据操作类型为有序广播模式时，需要按照先进先出得顺序，将待同步数据传输至客户端。

当将待同步数据传输至客户端时，第二终端可以根据客户端的需求从待同步数据中挑选客户端所需的数据类型对应的数据，仅将客户端需要的数据传输给客户端，具体过程包括：获取第一客户端所需的目标数据类型以及第一客户端对应的第一数据库类型，其中第一客户端为客户端中任意一个客户端。从待同步数据中查找目标数据类型对应的目标同步数据。对目标同步数据进行格式转换，生成数据同步脚本，并将数据同步脚本发送至第一客户端，以使第一客户端根据数据同步脚本进行数据同步，其中数据同步脚本对应的数据库类型为第一数据库类型。

在本实施例中，第二终端获取第一客户端所需的目标数据类型，该目标数据类型为第一客户端中的数据表对应的所需的目标字段，从待同步数据中查找目标字段对应的具体字段值，将目标字段以及对应的具体字段值作为目标同步数据。获取该第一客户端对应的第一数据库类型，获取第一数据库类型对应的第一格式转换脚本，利用该第一格式转换脚本，对目标同步数据进行格式转换，以得到第一客户端中的数据库所支持的SQL脚本，即数据同步脚本，将该数据同步脚本发送至第一客户端，第一客户端将该数据同步脚本保存至自身的数据库，实现目标同步数据入库，实现数据的同步。

其中，数据库类型包括ORACLE数据库类型、MYSQL数据库类型和SQL Server数据库类型等。

以一个具体应用场景为例，第一客户端中的数据库为ORACLE数据库，则第一客户端对应的数据库类型为ORACLE数据库类型，ORACLE数据库中存在用户信息表(如表1所示)，则第一客户端所需的目标数据类型为ID字段和NAME字段，当第二终端确定第一客户端订阅订阅待同步数据对应的消息主题时，从待同步数据中获取ID字段和NAME字段对应的具体值，并将ID字段和ID字段对应的具体值以及NAME字段以及NAME字段对应的具体值作为目标同步数据，获取ORACLE数据库类型对应的格式转换脚本，利用该格式转换脚本，将目标同步数据转换为ORACLE数据库支持的数据同步脚本，并将该数据同步脚本发送至第一客户端，第一客户端将该数据同步脚本保存至ORACLE数据库，ORACLE数据库对数据同步脚本进行解析，得到ID字段和NAME字段对应的具体值，并将其保存至用户信息表中，实现用户信息表的更新，即实现数据的同步。

表1用户信息表的示例

ID	NAME
		具体值	具体值
具体值	具体值

为了减少第二终端的工作量，提高第二终端的运行速度，当将待同步数据传输时，可以直接将待同步数据发送至客户端，由客户端根据自身的需求从待同步数据中挑选自身所需的数据类型对应的数据，并利用自身数据库对应的格式转换脚本，对挑选的数据进行格式转换，得到该数据库对应的数据同步脚本。

在本实施例中，第二终端的队列在接收到第一终端发送的待同步数据时，获取订阅该待同步数据对应的消息主题的客户端，即确定需进行数据更新的客户端，然后根据待同步数据对应的数据操作类型确定广播传输模式，按照确定的广播传输模式，将待同步数据发送至客户端，以使客户端可以及时进行数据更新，实现数据的同步，且按照固定长度传输至客户端，可以提高数据传输的速度，保证数据的一致性，提高数据同步的效率。

从上述描述可知，第一终端通过数据传输服务可以及时准确地确定待同步数据，并将待同步数据发布到第二终端的消息队列中，实现消息的发布，第二终端的消息队列获取订阅待同步数据对应的消息主题的客户端，及时将待同步数据传输到客户端，提高数据的传输速度，可以满足数据的时效性要求，且由于在实现数据同步时，是以表级为纬度进行同步数据的，减少源数据库与客户端保存的数据的差异性，保证两者数据的一致性。

在将待同步数据传输至客户端时，可以根据有序广播模式传输，下面结合一个具体的实施例对根据有序广播模式传输待同步数据的过程进行详细描述。

图5为本发明实施例提供的数据同步方法的流程图四，如图5所示，在上述实施例的基础上，对根据有序广播模式，发送待同步数据的具体实现过程进行了详细说明。待同步数据库包括多个数据表。如图5所示，该方法包括：

S501：接收第一终端发送的待同步数据，其中待同步数据是由第一终端在获取待同步数据库的数据库操作日志，根据数据库操作日志确定待同步数据表，获取待同步数据表对应的同步配置信息，并对待同步数据表进行解析得到待同步数据后，根据同步配置信息发送的，其中同步配置信息包括消息主题和数据操作类型。

S502：获取订阅待同步数据对应的消息主题的客户端。

本实施例的S501至S502的具体实施方式，与上述实施例中的S401和S402类似，此处不再赘述。

S503：记录接收各个待同步数据的接收时间。

在本实施例中，针对各个消息主题，当该消息主题的各个待同步数据所对应的数据操作类型为更新操作或者删除操作时，需要按照有序广播模式，传输该待同步数据，即需要按照先进先出的顺序，传输该待同步数据，从而保证数据的一致性。

当按照先进先出的顺序传输待同步数据时，第二终端需要记录接收待同步数据的时间。

S504：根据各个待同步数据的接收时间的先后顺序对各个待同步数据进行排序，并根据排序后的各个待同步数据的次序将各个待同步数据发送至客户端。

在本实施例中，按照同一消息主题对应的各个待同步数据的接收时间的先后顺序，对该各个待同步数据进行排序，并按照排序后的待同步数据的次序，将各个待同步数据发送至客户端，例如，消息主题A对应的待同步数据包括待同步数据1和待同步数据2，待同步数据1的接收时间为11点15分10秒，待同步数据2的接收时间为11点15分11秒，则先将待同步数据1发送至客户端，然后再将待同步数据2发送至客户端，从而实现在传输待同步数据时，可以保证待同步数据的状态与目前真实的状态一致，保证数据的一致性。

在本实施例中，在数据操作类型为更新操作或删除操作时，需要按照有序传输模式，以先进先出的顺序，依次将待同步数据发送至客户端，从而保证数据的一致性以及准确性。

图6为本发明实施例提供的数据同步设备的结构示意图一，该设备应用于第一终端。如图6所示，本实施例提供的数据同步设备600，可以包括：操作日志获取模块601、数据表获取模块602、同步数据获取模块603和同步数据发送模块604。

其中，操作日志获取模块601，用于获取待同步数据库的数据库操作日志。

数据表获取模块602，用于根据数据库操作日志确定待同步数据表。

同步数据获取模块603，用于获取待同步数据表对应的同步配置信息，并对待同步数据表进行解析得到待同步数据，其中同步配置信息包括消息主题和数据操作类型。

同步数据发送模块604，用于根据同步配置信息，将待同步数据发送至第二终端的队列中，以使第二终端获取订阅待同步数据对应的消息主题的客户端，根据数据操作类型确定广播传输模式，并根据广播传输模式，将待同步数据发送至客户端。

在一种可能的设计中，待同步数据库包括多个数据表。

数据表获取模块具体用于：检测数据库操作日志是否存在预设的数据库操作对应的操作字符。若数据库操作日志存在操作字符，则获取执行操作字符对应的数据库操作的操作数据表，并将操作数据表作为待同步数据表，其中数据库操作包括添加操作、删除操作和/或更新操作。

在一种可能的设计中，同步配置信息还包括第二终端的网络地址和传输端口。

本发明实施例提供的数据同步设备，可以实现上述如图2和图3所示的实施例的数据同步方法，其实现原理和技术效果类似，此处不再赘述。

图7为本发明实施例提供的数据同步设备的结构示意图二，该设备应用于第二终端。如图7所示，本实施例提供的数据同步设备700，可以包括：同步数据接收模块701、客户端信息获取模块702和数据传输模块703。

其中，同步数据接收模块701，用于接收第一终端发送的待同步数据，其中待同步数据是由第一终端在获取待同步数据库的数据库操作日志，根据数据库操作日志确定待同步数据表，获取待同步数据表对应的同步配置信息，并对待同步数据表进行解析得到待同步数据后，根据同步配置信息发送的，其中同步配置信息包括消息主题和数据操作类型。

客户端信息获取模块702，用于获取订阅待同步数据对应的消息主题的客户端。

数据传输模块703，用于根据数据操作类型确定广播传输模式，并根据广播传输模式，将待同步数据发送至客户端。

在一种可能的设计中，数据操作类型包括添加类型、删除类型和/或更新类型。广播传输模式包括有序广播模式或无序广播模式。

数据传输模块具体用于：若数据操作类型为添加类型，则确定广播传输模式为无序广播模式。若数据操作类型为删除类型或更新类型，则确定广播传输模式为有序广播模式。

在一种可能的设计中，待同步数据为多条。

数据传输模块还具体用于：记录接收各个待同步数据的接收时间。根据各个待同步数据的接收时间的先后顺序对各个待同步数据进行排序，并根据排序后的各个待同步数据的次序将各个待同步数据发送至客户端。

在一种可能的设计中，数据传输模块还具体用于：获取第一客户端所需的目标数据类型以及第一客户端对应的第一数据库类型，其中第一客户端为客户端中任意一个客户端。

从待同步数据中查找目标数据类型对应的目标同步数据。

对目标同步数据进行格式转换，生成数据同步脚本，并将数据同步脚本发送至第一客户端，以使第一客户端根据数据同步脚本进行数据同步，其中数据同步脚本对应的数据库类型为第一数据库类型。

本发明实施例提供的数据同步设备，可以实现上述如图4和图5所示的实施例的数据同步方法，其实现原理和技术效果类似，此处不再赘述。

图8为本发明实施例提供的终端设备的硬件结构示意图。如图8所示，本实施例提供的终端设备800包括：至少一个处理器801和存储器802。其中，处理器801、存储器802通过总线803连接。

在具体实现过程中，至少一个处理器801执行存储器802存储的计算机执行指令，使得至少一个处理器801执行上述方法实施例中的数据同步方法。

处理器801的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

在上述的图8所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现上述方法实施例的数据同步方法。

上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种数据同步方法，其特征在于，所述方法应用于第一终端，所述方法包括：

获取待同步数据库的数据库操作日志；

根据所述数据库操作日志确定待同步数据表；

获取所述待同步数据表对应的同步配置信息，并对所述待同步数据表进行解析得到待同步数据，其中所述同步配置信息包括消息主题和数据操作类型；

根据所述同步配置信息，将所述待同步数据发送至第二终端的队列中，以使第二终端获取订阅所述待同步数据对应的消息主题的客户端，根据所述数据操作类型确定广播传输模式，并根据所述广播传输模式，将所述待同步数据发送至所述客户端。

2.根据权利要求1所述的方法，其特征在于，所述待同步数据库包括多个数据表；

所述根据所述数据库操作日志确定待同步数据表，包括：

检测所述数据库操作日志是否存在预设的数据库操作对应的操作字符；

若所述数据库操作日志存在所述操作字符，则获取执行所述操作字符对应的数据库操作的操作数据表，并将所述操作数据表作为所述待同步数据表，其中所述数据库操作包括添加操作、删除操作和/或更新操作。

3.根据权利要求1所述的方法，其特征在于，所述同步配置信息还包括第二终端的网络地址和传输端口。

4.一种数据同步方法，其特征在于，所述方法应用于第二终端，所述方法包括：

接收第一终端发送的待同步数据，其中所述待同步数据是由所述第一终端在获取待同步数据库的数据库操作日志，根据所述数据库操作日志确定待同步数据表，获取所述待同步数据表对应的同步配置信息，并对所述待同步数据表进行解析得到待同步数据后，根据所述同步配置信息发送的，其中所述同步配置信息包括消息主题和数据操作类型；

获取订阅所述待同步数据对应的消息主题的客户端；

根据所述数据操作类型确定广播传输模式，并根据所述广播传输模式，将所述待同步数据发送至所述客户端。

5.根据权利要求4所述的方法，其特征在于，所述数据操作类型包括添加类型、删除类型和/或更新类型；所述广播传输模式包括有序广播模式或无序广播模式；

所述根据所述数据操作类型确定广播传输模式，包括：

若所述数据操作类型为所述添加类型，则确定所述广播传输模式为无序广播模式；

若所述数据操作类型为所述删除类型或更新类型，则确定所述广播传输模式为有序广播模式。

6.根据权利要求5所述的方法，其特征在于，所述待同步数据为多条；

所述根据有序广播模式，将所述待同步数据发送至所述客户端，包括：

记录接收各个待同步数据的接收时间；

根据各个待同步数据的接收时间的先后顺序对各个待同步数据进行排序，并根据排序后的各个待同步数据的次序将各个待同步数据发送至所述客户端。

7.根据权利要求4所述的方法，其特征在于，所述将所述待同步数据发送至所述客户端，包括：

获取第一客户端所需的目标数据类型以及所述第一客户端对应的第一数据库类型，其中所述第一客户端为所述客户端中任意一个客户端；

从所述待同步数据中查找所述目标数据类型对应的目标同步数据；

对所述目标同步数据进行格式转换，生成数据同步脚本，并将所述数据同步脚本发送至所述第一客户端，以使所述第一客户端根据所述数据同步脚本进行数据同步，其中所述数据同步脚本对应的数据库类型为所述第一数据库类型。

8.一种数据同步设备，其特征在于，所述设备应用于第一终端，所述设备包括：

操作日志获取模块，用于获取待同步数据库的数据库操作日志；

数据表获取模块，用于根据所述数据库操作日志确定待同步数据表；

同步数据获取模块，用于获取所述待同步数据表对应的同步配置信息，并对所述待同步数据表进行解析得到待同步数据，其中所述同步配置信息包括消息主题和数据操作类型；

同步数据发送模块，用于根据所述同步配置信息，将所述待同步数据发送至第二终端的队列中，以使第二终端获取订阅所述待同步数据对应的消息主题的客户端，根据所述数据操作类型确定广播传输模式，并根据所述广播传输模式，将所述待同步数据发送至所述客户端。

9.根据权利要求8所述的设备，其特征在于，所述待同步数据库包括多个数据表；

所述数据表获取模块具体用于：检测所述数据库操作日志是否存在预设的数据库操作对应的操作字符；若所述数据库操作日志存在所述操作字符，则获取执行所述操作字符对应的数据库操作的操作数据表，并将所述操作数据表作为所述待同步数据表，其中所述数据库操作包括添加操作、删除操作和/或更新操作。

10.一种数据同步设备，其特征在于，所述设备应用于第二终端，所述设备包括：

同步数据接收模块，用于接收第一终端发送的待同步数据，其中所述待同步数据是由所述第一终端在获取待同步数据库的数据库操作日志，根据所述数据库操作日志确定待同步数据表，获取所述待同步数据表对应的同步配置信息，并对所述待同步数据表进行解析得到待同步数据后，根据所述同步配置信息发送的，其中所述同步配置信息包括消息主题和数据操作类型；

客户端信息获取模块，用于获取订阅所述待同步数据对应的消息主题的客户端；

数据传输模块，用于根据所述数据操作类型确定广播传输模式，并根据所述广播传输模式，将所述待同步数据发送至所述客户端。

11.根据权利要求10所述的设备，其特征在于，所述数据操作类型包括添加类型、删除类型和/或更新类型；所述广播传输模式包括有序广播模式或无序广播模式；

所述数据传输模块具体用于：若所述数据操作类型为所述添加类型，则确定所述广播传输模式为无序广播模式；若所述数据操作类型为所述删除类型或更新类型，则确定所述广播传输模式为有序广播模式。

12.根据权利要求11所述的设备，其特征在于，所述待同步数据为多条；

所述数据传输模块还具体用于：记录接收各个待同步数据的接收时间；根据各个待同步数据的接收时间的先后顺序对各个待同步数据进行排序，并根据排序后的各个待同步数据的次序将各个待同步数据发送至所述客户端。

13.一种终端设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至3任一项所述的数据同步方法。

14.一种终端设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求4至7任一项所述的数据同步方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至3任一项所述的数据同步方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求4至7任一项所述的数据同步方法。