CN115757629A - 多源异构数据增量同步方法、***、存储介质和电子设备 - Google Patents

Abstract

本发明提供一种多源异构数据增量同步方法、***、存储介质和电子设备，涉及数据处理技术领域。本发明通过对比源数据库和目标数据库中的字段的主键值和哈希值，对数据进行新增、更新、删除标记，根据根据新增、更新、删除标记，对目标表分别进行新增、更新、删除操作，该方法无需考虑日志记录，无论源数据库的日志记录是否开启，均能实现多源异构数据增量同步。同时，本发明不需要全量数据的同步，只需要源数据库中发生变化的数据同步到目标数据库中，以减少数据库的读写，提升性能。

Description

多源异构数据增量同步方法、***、存储介质和电子设备

技术领域

本发明涉及数据处理技术领域，具体涉及一种多源异构数据增量同步方法、***、存储介质和电子设备。

背景技术

随着大数据的发展，数据抽取归集已然成为大数据平台中不可缺少的一环，而数据抽取归集的过程中会将不同地方的数据源的数据合并到一起，因不同地方的数据源使用的数据库的类型不同，导致数据同步不能仅仅通过数据库的日志进行同步数据。例如：MySQL的数据库的日志不能用于Oracle，Oracle的数据库的日志不能用于KingBase。

现有的增量同步技术中，一般都是依据数据库中日志记录来进行的增量同步，这种同步方法必须开启源数据库的日志记录才能进行下去，导致数据库在增量同步时受限较多，不利于多源异构数据增量同步的发展。

通过上述描述可知，现有的增量同步技术存在必须开启日志记录才能进行增量同步的技术问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种多源异构数据增量同步方法、***、存储介质和电子设备，解决了现有的增量同步技术存在必须开启日志记录才能进行增量同步的技术问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，本发明提供一种多源异构数据增量同步方法，包括：

S1、获取并选择源数据库、源数据库中的源表以及源表中作为源数据的字段；获取并选择目标数据库、目标数据库中的目标表以及目标表中需要同步的目标字段；

S2、分别从作为源数据的字段和目标字段中选择作为主键比较字段，并获取主键比较字段的主键值；

S3、分别查询源表与目标表中的全部数据，并读取目标表中每条数据的哈希值；

S4、计算源表每条数据的哈希值；

S5、将源表中每条数据的分别与目标表每条数据的主键值、哈希值进行比较，得到不同的比较结果，根据比较结果数据进行新增、更新、删除标记；

S6、根据新增、更新、删除标记，对目标表分别进行新增、更新、删除操作。

优选的，所述源数据库和目标数据库为同类库，或者，所述所述源数据库和目标数据库为不同类库。

优选的，所述S3具体包括：

对选择的源数据库、表、字段进行读取数据，并加载到内存中，当数据量大，进行分批次的读取；

对选择的目标数据库、表、字段进行数据读取，并且读取目标表中每条数据的哈希值。

优选的，所述S4具体包括：

将源表中加载到内存的每条数据根据不同的字段类型进行转化成字符串类型的值，并将整条数据拼接成大字符串，对大字符串进行计算哈希值。

优选的，所述S5具体包括：

将源表中每条数据分别与目标表每条数据的主键值比较，判断源表中每条数据的主键值是否存在于目标表的数据中；若否，则将该条数据进行标记为新增；若是，则进一步判断该条数据的哈希值是否与目标表中的哈希值相等，若相等，则将该条数据标记为无变化，否则，将该条数据标记为更新；

源表中所有数据通过以上条件检查完成后，如果目标表中有多余的数据没有匹配上，则将多余的数据标记为删除。

优选的，所述S6具体包括：

等待源数据库加载到内存中的数据标记完成，分别将源表加载到内存中的数据***到目标表、更新到目标表、删除目标表中多余的数据。

优选的，将源表加载到内存中的数据***到目标表时，并***哈希值；将源表加载到内存中的数据更新到目标表时，并修改哈希字段。

第二方面，本发明提供一种多源异构数据增量同步***，包括：

获取与选择模块，用于获取并选择源数据库、源数据库中的源表以及源表中作为源数据的字段；获取并选择目标数据库、目标数据库中的目标表以及目标表中需要同步的目标字段；

主键选择模块，用于分别从作为源数据的字段和目标字段中选择作为主键比较字段，并获取主键比较字段的主键值；

查询模块，用于分别查询源表与目标表中的全部数据，并读取目标表中每条数据的哈希值；

哈希值计算模块，用于计算源表每条数据的哈希值；

比较与标记模块，用于将源表中每条数据的分别与目标表每条数据的主键值、哈希值进行比较，得到不同的比较结果，根据比较结果数据进行新增、更新、删除标记；

操作模块，用于根据新增、更新、删除标记，对目标表分别进行新增、更新、删除操作。

第三方面，本发明提供一种存储介质，其存储有用于多源异构数据增量同步的计算机程序，其中，所述计算机程序使得计算机执行如上述所述的多源异构数据增量同步方法。

第四方面，本发明提供一种电子设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上述所述的多源异构数据增量同步方法。

(三)有益效果

本发明提供了一种多源异构数据增量同步方法、***、存储介质和电子设备。与现有技术相比，具备以下有益效果：

本发明通过对比源数据库和目标数据库中的字段的主键值和哈希值，对数据进行新增、更新、删除标记，根据根据新增、更新、删除标记，对目标表分别进行新增、更新、删除操作，该方法无需考虑日志记录，无论源数据库的日志记录是否开启，均能实现多源异构数据增量同步。同时，本发明不需要全量数据的同步，只需要源数据库中发生变化的数据同步到目标数据库中，以减少数据库的读写，提升性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种多源异构数据增量同步方法的框图；

图2为本发明实施例一种多源异构数据增量同步方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例通过提供一种多源异构数据增量同步方法、***、存储介质和电子设备，现有的增量同步技术存在必须开启日志记录才能进行增量同步的技术问题，实现不论源数据库是否开启了日志记录都可以进行增量抽取，同时，实现垮数据类型的增量同步。

本申请实施例中的技术方案为解决上述技术问题，总体思路如下：

现有的增量同步技术中，一般都是依据数据库中日志记录来进行的增量同步，这种同步方法必须开启源数据库的日志记录才能进行下去。同时，这种通过日志同步的数据库，目标数据库必须与源数据库类型相同或相近，这样一来，如果源数据库种类特别多，那么目标数据库就要跟数据库类型一致。并且，这种通过日志记录数据操作的数据库类型有一定的局限性，并不全面，不是所有类型的数据库都有日志记录的功能。

通过本发明实施例，解决了不论源数据库是否开启了日志记录都可以进行增量抽取，另一方面解决的是不论数据库类型，只要能算出MD5哈希值，都可以进行同类型数据库，甚至跨数据库类型的增量同步。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例：

如图1所示，本发明实施例提供一种多源异构数据增量同步方法，包括：

S1、获取并选择源数据库、源数据库中的源表以及源表中作为源数据的字段；获取并选择目标数据库、目标数据库中的目标表以及目标表中需要同步的目标字段；

S2、分别从作为源数据的字段和目标字段中选择作为主键比较字段，并获取主键比较字段的主键值；

S3、分别查询源表与目标表中的全部数据，并读取目标表中每条数据的哈希值；

S4、计算源表每条数据的哈希值；

S5、将源表中每条数据的分别与目标表每条数据的主键值、哈希值进行比较，得到不同的比较结果，根据比较结果数据进行新增、更新、删除标记；

S6、根据新增、更新、删除标记，对目标表分别进行新增、更新、删除操作。

下面对各个步骤进行详细说明：

本发明实施例的一种多源异构数据增量同步方法的流程图如图2所示。

在步骤S1中，获取并选择源数据库、源数据库中的源表以及源表中作为源数据的字段；获取并选择目标数据库、目标数据库中的目标表以及目标表中需要同步的目标字段。具体实施过程如下：

获取并选择作为源数据的源数据库，并选择该源数据库的表，选择该表中的具体的字段。

选择需要同步数据的目标数据库，选择该库中的表，选择该表中的具体的字段。

在具体实施例过程中，选择不同类型的数据库，使得用户灵活选择，广泛选择不同类型的数据库，如Oracle、MySql、KingBase、DaMeng等，同类库同步或者不同类库同步。同时，不限制源表的数量中，在保证选择源表的字段总数量与目标表的字段总数量(除扩展字段：哈希值、批次、操作方式、创建时间、更新时间、数据源信息等)相等的前提下，可以从多张源表中选择字段。

可以只选择表中的部分字段，在选择了源表与目标表的情况下，可以只选择表的部分字段进行同步，源表与目标表的字段数量相等即可(除去扩展字段：哈希值、批次、操作方式、创建时间、更新时间、数据源信息等)。

在步骤S2中，分别从作为源数据的字段和目标字段中选择作为主键比较字段，并获取主键比较字段的主键值。具体实施过程如下：

依次从源表中的具体的字段与目标表中的目标字段中选择部分字段作为主键比较字段，并获取这两个主键比较字段的主键值。

在本发明实施例中确定了主键比较字段作为主键时，其值的确定方式一般有三种：

1、完全由数据库端确定。2、部分依赖于数据库端。3、完全在客户端生成主键值。

在具体实施过程中，以上三种方式均可确定主键比较字段的主键值，处理两个作为主键比较字段时，采用的确定方式保持一致即可。以上三种方式均为现有技术，此处不再赘述。

在步骤S3中，分别查询源表与目标表中的全部数据，并读取目标表中每条数据的哈希值。具体实施过程如下：

对选择的源数据库、表、字段进行读取数据，并加载到内存中，如果数据量大，可以选择分批次的读取。对选择的目标数据库、表、字段进行数据读取，并且需要读取目标表中每条数据的哈希值。

在步骤S4中，计算源表每条数据的哈希值。具体实施过程如下：

将源表中加载到内存的每条数据根据不同的字段类型进行转化成字符串类型的值，并将整条数据拼接成大字符串，然后对大字符串进行计算哈希值。

在步骤S5中，将源表中每条数据的分别与目标表每条数据的主键值、哈希值进行比较，得到不同的比较结果，根据比较结果对数据进行新增、更新、删除标记。具体实施过程如下：

将源表中每条数据分别与目标表每条数据的主键值比较，判断源表中每条数据的主键值是否存在于目标表的数据中；若否，则将该条数据进行标记为新增；若是，则进一步判断该条数据的哈希值是否与目标表中的哈希值相等，若相等，则将该条数据标记为无变化，否则，将该条数据标记为更新。

源表中所有数据通过以上条件检查完成后，如果目标表中有多余的数据没有匹配上，则将多余的数据标记为删除。

在步骤S6中，根据S5中完成的标记，对目标表分别进行新增、更新、删除操作。具体实施过程如下：

具体实施时，等待源数据库加载到内存中的数据标记完成，分别将源表加载到内存中的数据***到目标表、更新到目标表、删除目标表中多余的数据。

其中，***到目标表时，同步***哈希值；更新到目标表时，同步修改哈希字段。

需要说明的是，本发明实施例还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，例如，通过该方式，进行分类标记目标数据，也可以扩充除了哈希值的字段值(批次、操作方式、创建时间、更新时间、数据源信息等)，以追溯来源信息；也可以将源表中的数据全字段值以及扩充的字段(批次、操作方式、创建时间、更新时间、数据源信息等)保存到大数据中，以记录每次数据操作信息日志。

本发明实施例还提供一种多源异构数据增量同步***，该***包括：

获取与选择模块，用于获取并选择源数据库、源数据库中的源表以及源表中作为源数据的字段；获取并选择目标数据库、目标数据库中的目标表以及目标表中需要同步的目标字段；

主键选择模块，用于分别从作为源数据的字段和目标字段中选择作为主键比较字段，并获取主键比较字段的主键值；

查询模块，用于分别查询源表与目标表中的全部数据，并读取目标表中每条数据的哈希值；

哈希值计算模块，用于计算源表每条数据的哈希值；

比较与标记模块，用于将源表中每条数据的分别与目标表每条数据的主键值、哈希值进行比较，得到不同的比较结果，根据比较结果数据进行新增、更新、删除标记；

操作模块，用于根据新增、更新、删除标记，对目标表分别进行新增、更新、删除操作。

可理解的是，本发明实施例提供的异构数据增量同步的***与上述多源异构数据增量同步方法相对应，其有关内容的解释、举例、有益效果等部分可以参考多源异构数据增量同步方法中的相应内容，此处不再赘述。

本发明实施例还提供一种计算机可读存储介质，其存储用于异构数据增量同步的的计算机程序，其中，所述计算机程序使得计算机执行如上述所述的多源异构数据增量同步方法。

本发明实施例还提供一种电子设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上述所述的多源异构数据增量同步方法。

综上所述，与现有技术相比，具备以下有益效果：

1、本发明实施例通过对比源数据库和目标数据库中的字段的主键值和哈希值，对数据进行新增、更新、删除标记，根据根据新增、更新、删除标记，对目标表分别进行新增、更新、删除操作，该方法无需考虑日志记录，无论源数据库的日志记录是否开启，均能实现多源异构数据增量同步。同时，本发明实施例不需要全量数据的同步，只需要源数据库中发生变化的数据同步到目标数据库中，以减少数据库的读写，提升性能。

2、本发明实施例在比对主键的过程中，优先比对主键值，主键值不存在则可以认为是新增的数据，主键值存在再比对哈希值，哈希值相等则认为没有变化，哈希值不相等则认为是数据发生了变化，标记为更新的数据，目标表里多余出来的数据则认为是需要删除的数据。比对逻辑简单，在内存即可操作，不需要多次频繁读取数据库，数据也是以增量的形式进行入库。

3、本发明实施例可以选择不同类型的数据库，使得用户灵活选择，广泛选择不同类型的数据库，如Oracle、MySql、KingBase、DaMeng等，同类库同步或者不同类库同步。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多源异构数据增量同步方法，其特征在于，包括：

S1、获取并选择源数据库、源数据库中的源表以及源表中作为源数据的字段；获取并选择目标数据库、目标数据库中的目标表以及目标表中需要同步的目标字段；

S2、分别从作为源数据的字段和目标字段中选择作为主键比较字段，并获取主键比较字段的主键值；

S3、分别查询源表与目标表中的全部数据，并读取目标表中每条数据的哈希值；

S4、计算源表每条数据的哈希值；

S5、将源表中每条数据的分别与目标表每条数据的主键值、哈希值进行比较，得到不同的比较结果，根据比较结果数据进行新增、更新、删除标记；

S6、根据新增、更新、删除标记，对目标表分别进行新增、更新、删除操作。

2.如权利要求1所述的多源异构数据增量同步方法，其特征在于，所述源数据库和目标数据库为同类库，或者，所述所述源数据库和目标数据库为不同类库。

3.如权利要求1所述的多源异构数据增量同步方法，其特征在于，所述S3具体包括：

对选择的源数据库、表、字段进行读取数据，并加载到内存中，当数据量大，进行分批次的读取；

对选择的目标数据库、表、字段进行数据读取，并且读取目标表中每条数据的哈希值。

4.如权利要求1所述的多源异构数据增量同步方法，其特征在于，所述S4具体包括：

将源表中加载到内存的每条数据根据不同的字段类型进行转化成字符串类型的值，并将整条数据拼接成大字符串，对大字符串进行计算哈希值。

5.如权利要求1～4任一所述的多源异构数据增量同步方法，其特征在于，所述S5具体包括：

将源表中每条数据分别与目标表每条数据的主键值比较，判断源表中每条数据的主键值是否存在于目标表的数据中；若否，则将该条数据进行标记为新增；若是，则进一步判断该条数据的哈希值是否与目标表中的哈希值相等，若相等，则将该条数据标记为无变化，否则，将该条数据标记为更新；

源表中所有数据通过以上条件检查完成后，如果目标表中有多余的数据没有匹配上，则将多余的数据标记为删除。

6.如权利要求1～4任一所述的多源异构数据增量同步方法，其特征在于，所述S6具体包括：

等待源数据库加载到内存中的数据标记完成，分别将源表加载到内存中的数据***到目标表、更新到目标表、删除目标表中多余的数据。

7.如权利要求6所述的多源异构数据增量同步方法，其特征在于，

将源表加载到内存中的数据***到目标表时，并***哈希值；将源表加载到内存中的数据更新到目标表时，并修改哈希字段。

8.一种多源异构数据增量同步***，其特征在于，包括：

获取与选择模块，用于获取并选择源数据库、源数据库中的源表以及源表中作为源数据的字段；获取并选择目标数据库、目标数据库中的目标表以及目标表中需要同步的目标字段；

主键选择模块，用于分别从作为源数据的字段和目标字段中选择作为主键比较字段，并获取主键比较字段的主键值；

查询模块，用于分别查询源表与目标表中的全部数据，并读取目标表中每条数据的哈希值；

哈希值计算模块，用于计算源表每条数据的哈希值；

比较与标记模块，用于将源表中每条数据的分别与目标表每条数据的主键值、哈希值进行比较，得到不同的比较结果，根据比较结果数据进行新增、更新、删除标记；

操作模块，用于根据新增、更新、删除标记，对目标表分别进行新增、更新、删除操作。

9.一种存储介质，其特征在于，其存储有用于多源异构数据增量同步的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1～7任一项所述的多源异构数据增量同步方法。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1～7任一项所述的多源异构数据增量同步方法。

Images