CN114647699A - 一种数据同步方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种数据同步方法、装置、电子设备及存储介质，涉及数据处理技术领域，尤其涉及大数据、数据同步技术领域。具体实现方案为：通过人机交互界面，展示数据源端中各个数据库的标识、各个数据库中各个数据表的标识以及各个数据表中各个字段的标识；基于人机交互界面展示的信息，确定同步逻辑的配置信息，配置信息包括目标数据库的标识、目标数据库中目标数据表的标识和目标数据表中的目标字段的标识；将配置信息翻译为程序执行所需的配置文件；执行配置文件，以将目标数据库中目标数据表的目标字段的数据同步至数据目的端。这样，可以有效降低数据同步逻辑配置的学习成本，提高数据同步配置的接入效率。

Description

一种数据同步方法、装置、电子设备及存储介质

技术领域

本公开涉及数据处理技术领域，尤其涉及数据同步技术领域。

背景技术

数据同步产品主要解决异构数据源以及异构***服务之间的数据传输解耦，数据同步产品中涉及大量的数据传输(ETL，Extract-Transform-Load)逻辑，也称为同步逻辑。同步逻辑包括但不局限于：数据库对象的集合schema的转换、数据库的查询连接join、以及数据过滤等。

在数据同步的过程中，用户的开发成本和接入成本取决于同步逻辑的表达方式是否简单易用，因此，使用简单易用甚至0学习成本的同步逻辑便是数据同步的核心诉求。

发明内容

本公开提供了一种数据同步方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种数据同步方法，包括：

通过人机交互界面，展示数据源端中各个数据库的标识、所述各个数据库中各个数据表的标识以及所述各个数据表中各个字段的标识；

基于所述人机交互界面展示的信息，确定同步逻辑的配置信息，所述配置信息包括目标数据库的标识、所述目标数据库中目标数据表的标识和所述目标数据表中的目标字段的标识；

将所述配置信息翻译为程序执行所需的配置文件；

执行所述配置文件，以将所述目标数据库中所述目标数据表的目标字段的数据同步至数据目的端。

根据本公开的另一方面，提供了一种数据同步装置，包括：

展示单元，用于通过人机交互界面，展示数据源端中各个数据库的标识、所述各个数据库中各个数据表的标识以及所述各个数据表中各个字段的标识；

确定单元，用于基于所述人机交互界面展示的信息，确定同步逻辑的配置信息，所述配置信息包括目标数据库的标识、所述目标数据库中目标数据表的标识和所述目标数据表中的目标字段的标识；

翻译单元，用于将所述配置信息翻译为程序执行所需的配置文件；

执行单元，用于执行所述配置文件，以将所述目标数据库中所述目标数据表的目标字段的数据同步至数据目的端。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一数据同步方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述任一数据同步方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一数据同步方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开实施例提供的数据同步方法的第一种流程示意图；

图2是本公开实施例提供的一种配置文件和模块bin的示意图；

图3是本公开实施例提供的数据同步方法的第二种流程示意图；

图4是本公开实施例提供的一种展现数据源端信息的人机交互界面的示意图；

图5是本公开实施例提供的数据同步方法的第三种流程示意图；

图6是本公开实施例提供的一种目标数据表相连的人机交互界面的示意图；

图7是本公开实施例提供的数据同步方法的第四种流程示意图；

图8是本公开实施例提供的数据同步方法的第五种流程示意图；

图9是本公开实施例提供的一种预输出字段展示区域的人机交互界面示意图；

图10是本公开实施例提供的一种最终输出字段展示区域的人机交互界面的示意图；

图11是本公开实施例提供的数据同步方法的第六种流程示意图；

图12是本公开实施例提供的一种触发逻辑配置区域的人机交互界面的示意图；

图13是用来实现本公开实施例的数据同步装置的一种结构示意图；

图14是用来实现本公开实施例的数据同步方法的电子设备的第一种框图；

图15是用来实现本公开实施例的数据同步方法的电子设备的第二种框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

数据同步产品主要解决异构数据源以及异构***服务之间的数据传输解耦，数据同步产品中涉及大量的数据传输逻辑，也称为同步逻辑。同步逻辑包括但不局限于：数据库对象的集合schema的转换、数据库的查询连接join、以及数据过滤等。

在数据同步的过程中，用户的开发成本和接入成本取决于同步逻辑的表达方式是否简单易用，因此，使用简单易用甚至0学习成本的同步逻辑便是数据同步的核心诉求。

传统的数据同步方法中，主要采用如下3种方案，对同步逻辑进行配置。

方案一，API(Application Programming Interface，应用程序编程接口)参数配置：常见的DTS(Data Transmission Service，数据传输服务)类功能通过API方式来进行逻辑配置，这种方式下，用户可以使用Http(HyperText Transfer Protocol，超文本传输协议)参数来配置数据源、传输逻辑、数据目的地等信息。

该方案一中，Http参数比较复杂，Http参数的设置需要用户查看大量的开发文档并进行学习，这使得用户进行同步逻辑的配置时容易出错，为保证逻辑配置的正确性，用户需要进行大量的测试验证，这也进一步增加了开发以及测试成本。

方案二，配置文件配置：利用常见的XML、Json等config(配置)文件来描述kv(key-value，键值)对，以此对数据同步的同步逻辑进行配置。

然而，kv键值对需要用户查看开发文档来完成，配置文件的参数的设置需要用户查看大量的开发文档并进行学习，这使得用户进行同步逻辑的配置时容易出错，为保证逻辑配置的正确性，用户需要进行大量的测试验证，这也进一步增加了开发以及测试成本。另外，配置文件方式的格式相对固定，并不具备普适性。

方案三，伪SQL(StructuredQueryLanguage，结构化查询语言)配置：与hive SQL类似，伪SQL中存在特殊的语法规则以及函数功能，用户通过伪SQL参数来对数据同步的同步逻辑进行配置。

该方案三中，伪SQL与标准SQL有所差异，用户需要掌握整个配置的组成以及每个参数的含义和取值，并且需要学习大量具体的伪SQL语法规则，用户的参数学习成本高，大大增加了新手的上手难度。另外，SQL本身能描述的信息对复杂的功能不支持，具有一定的局限性。

另外，现有的一些DTS产品仅支持库名表名映射和数据过滤等简单的同步逻辑配置，而不支持数据库对象的集合schema的转换和数据库的查询连接join等更高阶、更复杂的同步逻辑配置。

为解决上述问题，本公开实施例提供了一种数据同步方法，如图1所示，该方法可以应用于能够对数据源端进行解析的电子设备，该电子设备可以位于数据源端，也可以为一***立的物理设备，对此不进行限定。为方便理解，下面以电子设备为执行主体进行说明，并不起限定作用。该数据同步方法包括如下步骤：

步骤S11，通过人机交互界面，展示数据源端中各个数据库的标识、各个数据库中各个数据表的标识以及各个数据表中各个字段的标识。

本公开实施例中，人机交互界面可以是一个web界面或其他类型的人机交互界面，授权用户可以通过该人机交互界面对同步逻辑进行配置。

电子设备通过人机交互界面，展示数据源端中各个数据库的标识、各个数据库中各个数据表的标识以及各个数据表中各个字段的标识，这些标识也可以称作数据源端信息。

其中，数据源端中各个数据库的标识可以包括各个数据库的库名，各个数据库中各个数据表的标识可以包括各个数据表的表名，各个数据表中各个字段的标识可以包括各个字段的字段名以及字段的类型。也就是，电子设备可以在人机交互界面中展示数据源端中各个数据库的库名、各个数据库中各个数据表的表名、以及各个数据表中各个字段的字段名和字段的类型。

步骤S12，基于人机交互界面展示的信息，确定同步逻辑的配置信息，配置信息包括目标数据库的标识、目标数据库中目标数据表的标识和目标数据表中的目标字段的标识。

电子设备在人机交互界面展示的信息可以包括数据源端信息，也就是包括数据源端中各个数据库的标识、各个数据库中各个数据表的标识以及各个数据表中各个字段的标识。电子设备在人机交互界面展示的信息还可以包括人机交互界面的视图配置信息和数据目的端信息等。

本公开实施例中，配置信息可以采用Json参数进行描述，也可以采用其他参数进行描述。以配置信息采用Json参数进行描述为例进行说明，基于电子设备的人机交互界面展示的信息，用户可以对同步逻辑进行图形化的配置，如选择目标数据库的标识、目标数据库中目标数据表的标识以及目标数据表中的目标字段的标识等，选择这些标识的过程可以称为订阅数据。本公开实施例中，用户对同步逻辑进行图形化的配置时，还可以配置join和计算逻辑等，对此不进行限定。在图形化配置结束后，电子设备的前端模块可以将图形化的配置格式化为Json参数，并基于格式化得到Json参数，生成同步逻辑的配置信息。

可选的，电子设备在确定同步逻辑的配置信息之后，可以将配置信息存储到数据库中，这样，用户可以随时从数据库中提取出配置信息，并对同步逻辑继续进行配置或实时修改，提高了同步逻辑配置的效率。

步骤S13，将配置信息翻译为程序执行所需的配置文件。

本公开实施例中，电子设备在获取到配置信息后，将配置信息翻译为配置文件，该配置文件能够被ETL程序执行的文件。

可选的，电子设备的后端模块设置自动配置生成服务，该自动配置生成服务根据数据流模块的配置特点，定制语义和语法规则，并使用语法分析器(如bison)生成配置文件。其中，数据流模块表示数据源端中用来将数据同步传输给数据目的端的模块。基于此，电子设备在确定同步逻辑的配置信息之后，电子设备的前端模块可以通过http请求调用后端模块中的自动配置生成服务，以基于订阅的数据表以及配置复杂的join、以及计算逻辑，生成配置文件。

步骤S14，执行配置文件，以将目标数据库中目标数据表的目标字段的数据同步至数据目的端。

本公开实施例中，为保证配置文件的正常运行，电子设备可以将程序执行所需的配置文件和二进制的模块bin组成程序包，并上传至产品库供部署时使用。其中，模块bin包括数据捕获、数据合并、数据抽取、和数据转换等。电子设备执行配置文件，如运行产品库中的程序包，这样，数据源端就可以将目标数据库中目标数据表的目标字段的数据同步至数据目的端。

本公开实施例提供的技术方案中，电子设备通过人机交互界面展示数据源端信息，并基于人机交互界面展示的信息确定同步逻辑的配置信息，这种界面化的数据同步方法大大降低了同步逻辑配置的学习成本，减少了出错率，从而降低了开发以及测试成本，提高了同步逻辑配置的接入效率。

另外，电子设备将配置信息翻译为程序执行所需的配置文件，可以保证同步逻辑的正确性并为程序的加载提供便利。同时，配置文件可以存储在产品库，电子设备随时可以从产品库中获取程序包并运行程序包，使得数据同步方法更加方便简洁。

下面结合图2所示的一种配置文件和bin模块，对上述数据同步方法进行描述。

图2中左边方框中的内容均为由配置信息翻译所得的配置文件，右边方框的内容为模块bin，电子设备利用配置文件和模块bin生成电子设备可运行的程序包。其中，图2中的配置文件的内容仅作为示例，并不进行具体限定。

在本公开的一个实施例中，还提供了一种数据同步方法，如图3所示，该方法可以包括步骤S31-S37，步骤S35-S37与上述步骤S12-S15相同，此处不再赘述。步骤S31-S34为步骤S11的一种可实现方式。

步骤S31，解析数据源中各个数据库以及各个数据库中的各个数据表，获得各个数据库的标识、各个数据表的标识以及各个数据表中各个字段的标识。

本公开实施例中，电子设备对数据源端进行解析，可以得到数据源端中各个数据库的标识、各个数据表的标识以及各个数据表中各个字段的标识，也就是，电子设备可以解析出数据源端中各个数据库的库名、各个数据库中各个数据表的表名、以及各个数据表中各个字段的字段名和字段的类型。

步骤S32，在人机交互界面中，展示各个数据库的标识。

数据源端存有多个数据库，每个数据库具有相应的标识。用户可以点击在人机交互界面中数据源端对应的展开按钮。电子设备在检测到用户点击展开按钮的操作的情况下，展示数据源端中各个数据库的标识。

本公开实施例中，电子设备可以支持分表的自动聚合以及按表名搜索，以下拉选择列表方式支持表的快速选取。这种情况下，在人机交互界面中，电子设备可以采用下拉选择列表方式展示各个数据库的标识，具体的，用户可以点击在人机交互界面中数据源端对应的下拉选择列表(如第一下拉选择列表)的展开按钮；电子设备在检测到用户点击第一下拉选择列表的展开按钮的操作的情况下，展开第一下拉选择列表，并在第一下拉选择列表中展示数据源端中各个数据库的标识。

本公开实施例中，电子设备也可以支持弹窗功能，这种情况下，在检测到用户点击数据源端对应的弹窗的展开按钮的操作的情况下，在人机交互界面上，展示弹窗，该弹窗内平铺展示数据源端中各个数据库的标识。

本公开实施例中，电子设备还可以以其他方式展示数据源端中各个数据库的标识，对此并不进行限定。

步骤S33，响应于接收到针对展示的目标数据库的标识的第一选择指令，在人机交互界面中，展示目标数据库中各个数据表的标识。

电子设备支持用户对展示的数据库的标识进行选择，其中，电子设备检测到用户选择展示的目标数据库的标识的操作，可以理解为，接收到针对展示的目标数据库的标识的第一选择指令。

电子设备还支持用户直接输入目标数据库的标识，其中，电子设备检测到用户在选择列表中输入目标数据库的标识的操作，可以理解为，接收到针对展示的目标数据库的标识的第一选择指令。

电子设备响应于接收到的第一选择指令，在人机交互界面中，展示目标数据库中各个数据表的标识。

电子设备可以以下拉选择列表、弹窗、或者其他方式展示目标数据库中各个数据表的标识，对此并不进行限定。

步骤S34，响应于接收到针对展示的目标数据表的标识的第二选择指令，在人机交互界面中，在目标数据表对应的图表中，展示目标数据表中各个字段的标识。

电子设备支持用户对展示的目标数据表的标识进行选择，其中，电子设备检测到用户选择展示的目标数据表的标识的操作，可以理解为，接收到针对展示的目标数据表的标识的第二选择指令。

电子设备还支持用户直接输入目标数据表的标识，其中，电子设备检测到用户输入目标数据表的标识的操作，可以理解为，接收到针对展示的目标数据表的标识的第二选择指令。

电子设备响应于接收到的第二选择指令，在人机交互界面中，展现目标数据表对应的图表，在该图表中展示该目标数据表中各个字段的标识。

电子设备可以以平铺的方式展示目标数据表中各个字段的标识，也可以以其他方式展示目标数据表中各个字段的标识，对此并不进行限定。

本公开实施例中，数据源端的目标数据表可以分为主表和副表，主表的数量为一个，副表的数量可以为一个或多个。主表为数据同步的基础，副表为与主表建立join和/或计算逻辑，构建同步逻辑。为进一步提高同步逻辑配置的接入效率，在目标数据表对应的图表中还可以展现主表勾选框，当用户勾选该主表勾选框时，电子设备将该目标数据表确定为主表，否则，将该目标数据表确定为副表。

本公开实施例提供的技术方案中，电子设备对数据源端进行解析，并展现各个数据库的标识、目标数据库中各个数据表的标识、以及目标数据表中各个字段的标识。这样，能够清楚直观地展现数据源端的信息，并且方便用户对数据源端中目标数据库、目标数据表、以及目标字段的快速选取，提高了同步逻辑的配置效率，进而提升了数据同步的效率。

另外，电子设备根据针对数据源端信息的选择指令展示数据源端信息，能够减少无用的数据源端信息的展示，提高了空间资源的利用率，进而减少了用户因过多的无用数据源端信息而造成的同步逻辑配置错误的情况，提高了用户的友好度。

下面结合图4所示的展现数据源端信息的人机交互界面的示意图，对上述数据同步方法进行具体描述。

图4中人机交互界面的左表有两个搜索框，分别为“选择数据库”和“选择数据表”。用户点击“选择数据库”右边的小三角后，左表将展现第一下拉选择列表，以展示各个数据库的标识。用户可以在第一下拉选择列表中对展示的目标数据库的标识(如图4中的FC_Feed)进行选择，也可以直接在搜索框“选择数据库”中输入目标数据库的标识，以向电子设备输入第一选择指令。

电子设备响应于第一选择指令，在左表中弹出第二下拉选择列表，该列表展示目标数据库中各个数据表的标识。用户可以在第二下拉选择列表中对展示的目标数据表的标识(如图4中的wordinfo)进行选择，也可以直接在搜索框“选择数据表”中输入目标数据表的标识，以向电子设备输入第二选择指令。

电子设备响应于第二选择指令，在人机交互界面的预设区域(如图4中的选择字段并设置过滤条件的区域)中弹出wordinfo对应的图表，在该图表中，分别展示了该目标数据表wordinfo所在的目标数据源源名feed、目标数据库库名FC_Feed、该目标数据表表名wordinfo、以及该目标数据表是否为主表的勾选框。该wordinfo对应的图表中还平铺展示了该目标数据表中各个字段的标识，在每个字段的标识之前有个小方框(即勾选框)，用以勾选字段作为目标字段，如图4中勾选的目标字段包括userid、rstat、astat、expmask和attribute字段。

在本公开的一个实施例中，还提供了一种数据同步方法，如图5所示，该方法可以包括步骤S51-S59，步骤S51-S54、步骤S58和步骤S59与上述步骤S31-S34、步骤S36和步骤S37相同，此处不再赘述。步骤S55-S57为步骤S35的一种可实现方式。

步骤S55，响应于接收到连线建立指令，在人机交互界面上，在两个目标数据表的字段的标识间建立连线，连线用于指示连接的两个字段间存在指定同步逻辑。

本公开实施例中，连接建立指令可以是用户直接输入电子设备的，也可以是电子设备从其他设备获取到的，对此不进行限定。连接的两个字段的标识可以相同，也可以不同，指定同步逻辑可以为同步两个字段的值相同的一列数据，或同步两个字段的值不同的一列数据等，具体可以实际需求进行设定。

例如，如图6所示的目标数据表相连的人机交互界面的示意图，图6中的两个目标数据表分别为主表FC_Feed_wordinfo和副表FC_AO_watt_table1。用户在人机交互界面上主表中rstat字段和副表中rstat字段间绘制带箭头的线段，如图6所示的线段，电子设备基于该带箭头的线段，在主表中rstat字段和副表中rstat字段间建立连线。

主表还可以与一个或多个副表间建立连接，主表还可以与一个副表间建立多条连接，对此不进行限定。

步骤S56，响应于接收到针对图表中字段的标识的第三选择指令，将所选择的字段的标识作为目标字段的标识。

同样以图6中的主表和副表为例，在图6中，各个字段的标识之前都有勾选框，用户可以勾选各个字段的标识前的勾选框，以向电子设备输入针对图表中字段的标识的第三选择指令。电子设备可以响应于接收到的第三选择指令，将所选择的字段的标识作为目标字段的标识，也就是，电子设备将用户勾选中的字段作为目标字段。

本公开实施例中，不限定步骤S55和S56的执行顺序。

步骤S57，基于目标数据库的标识、目标数据库中目标数据表的标识、目标数据表中的目标字段的标识以及人机交互界面上的字段间的连线，生成同步逻辑的配置信息。

本公开实施例中，电子设备可以将目标数据库的标识、目标数据库中目标数据表的标识、目标数据表中的目标字段的标识以及人机交互界面上的字段间的连线格式化为Json参数，并将Json参数确定为同步逻辑的配置信息。

步骤S57与步骤S12相似，在此不再赘述。

本公开实施例提供的技术方案中，用户在人机交互界面上进行图形化的配置，即可实现对两个字段进行指定同步逻辑配置，这样可以简单明了的表现两个字段间的同步逻辑关系。另外，对目标数据表中的字段进行勾选，也可以简单快速地确定目标数据表中的目标字段，提高了同步逻辑配置的效率，进而提升了数据同步方法的效率。

在本公开的一个实施例中，还提供了一种数据同步方法，如图7所示，该方法可以包括步骤S71-S710，步骤S71-S74、步骤S76-S710与上述步骤S51-S59相同，此处不再赘述。

步骤S75，响应于接收到针对人机交互界面展示的目标图表的拖动指令，控制目标图表移动至拖动指令指示的目标位置。

本公开实施例中，电子设备的人机交互界面展示一个或多个图表，用户可以选中人机交互界面中的一个图表(即目标图表)，并拖动目标图表在人机交互界面中移动。电子设备检测到用户拖动目标图表移动的操作后，确定用户向电子设备输入针对目标图表的拖动指令，进而基于拖动指令，控制目标图表移动至目标位置。该目标位置可以理解为用户释放目标图表的位置。

结合图6中的主表和副表为例进行说明，电子设备接收到主表的图表的拖动指令后，可以控制主表的图表移动至拖动指令指示的目标位置；电子设备接收到副表的图表的拖动指令后，可以控制副表的图表移动至拖动指令指示的目标位置。

本公开实施例中，不限定步骤S75、步骤S76和S77的执行顺序。

本公开实施例提供的技术方案中，电子设备拖动目标图表，可以有效避免人机交互界面中展示的图表之间出现重叠，从而更为准确的建立不同图表间的连接，提高同步逻辑配置的准确性。

另外，电子设备拖动目标图表，可以使得图表间的连线更为清晰，便于用户更为清晰的了解图表间的同步逻辑关系，进而及时调整错误的同步逻辑。

在本公开的一个实施例中，还提供了一种数据同步方法，如图8所示，该方法可以包括步骤S81-S812，步骤S81-S86、步骤S811和步骤S812与上述步骤S51-S56、步骤S58和步骤S59相同，此处不再赘述。步骤S87-S810为步骤S57的一种可实现方式。

步骤S87，在人机交互界面上的预输出字段展示区域中，展示各个目标字段的标识。

电子设备的人机交互界面上设置了预输出字段展示区域。在确定目标字段的标识之后，电子设备将目标字段的标识展示在人机交互界面上的预输出字段展示区域中。

如图9所示，预输出字段展示区域中包括目标字段名称、目标字段来源、目标字段类型、分隔符、function(功能)、默认值以及触发同步传输字段，在目标字段名称之前还有一列勾选框，用以支持用户对该目标字段进行勾选，触发同步传输字段为一列勾选框，用于确定触发同步传输字段的目标字段。

步骤S88，响应于针对预输出字段展示区域中各个目标字段的标识的编辑指令，取消无需同步的目标字段的标识，并确定触发同步的目标字段的标识。

本公开实施例中，用户可以在预输出字段展示区域中，勾选最终需要同步的目标字段的标识，以及确定触发同步的目标字段的标识，用户在预输出字段展示区域的界面上操作，即为向电子设备输入针对预输出字段展示区域中各个目标字段的标识的编辑指令。

仍以图9为例，用户勾选预输出字段展示区域中目标字段的名称之前的勾选框，如图9中勾选了除“pattern”外的所有字段前的勾选框，此时，电子设备可以确定取消无需“pattern”字段的标识，数据源端不需要向数据目的端同步“pattern”字段的数据。另外，用户勾选预输出字段展示区域中触发字段的勾选框，如图9中勾选了“modtime”和“sourc”的触发字段的勾选框，则电子设备可确定触发同步的目标字段的标识为“modtime”和“sourc”

另外，各个目标字段的标识的编辑指令还可以指示电子设备新建自定义目标字段的标识、以及对各个目标字段的标识进行顺序调整，实现字段函数的添加以及字段顺序的灵活调整。

步骤S89，在人机交互界面上的最终输出字段展示区域中，展示剩余的各个目标字段的标识。

电子设备的人机交互界面上还可以设置了最终输出字段展示区域。在对编辑指令进行响应之后，电子设备将剩余的各个目标字段的标识展示在人机交互界面上的最终输出字段展示区域中。

如图10所示，最终输出字段展示区域中包括目标字段名称、目标字段来源、目标字段类型、分隔符、function、默认值、以及操作，在操作列表展示了各个目标字段的标识所对应的编辑和删除按钮等。

步骤S810，基于目标数据库的标识、目标数据库中目标数据表的标识、最终输出字段展示区域展示的信息、触发同步的目标字段的标识以及人机交互界面上的字段间的连线，生成同步逻辑的配置信息。

本公开实施例中，电子设备可以将目标数据库的标识、目标数据库中目标数据表的标识、最终输出字段展示区域展示的信息、触发同步的目标字段的标识以及人机交互界面上的字段间的连线格式化为Json参数，并将Json参数确定为同步逻辑的配置信息。

步骤S810与步骤S12相似，在此不再赘述。

本公开实施例提供的技术方案中，电子设备支持用户对各个预输出字段展示区域中的目标字段的标识进行编辑，编辑指令指示电子设备取消无需同步的目标字段的标识，并确定触发同步的目标字段的标识。这样对字段的标识进行进一步的筛选，可以提高数据同步方法的准确性，同时也可以提升用户的友好度。

在本公开的一个实施例中，还提供了一种数据同步方法，如图11所示，该方法可以包括步骤S111-S115，步骤S111、步骤S114和步骤S115与上述步骤S11、步骤S13和步骤S14相同，此处不再赘述。步骤S112和步骤S113为步骤S12的一种可实现方式。

步骤S112，响应于接收到触发逻辑配置指令，在人机交互界面上触发逻辑配置区域展示触发逻辑配置指令包括的触发逻辑描述。

本公开实施例中，触发逻辑配置指令可以是用户直接输入电子设备的，也可以是电子设备从其他设备获取到的，对此不进行限定。

本公开实施例中，触发逻辑配置指令包括触发逻辑描述，触发逻辑描述用于满足触发、过滤等逻辑的描述，触发逻辑描述可以用简单的表达式来表示。如图12所示，图12为一种触发逻辑配置区域的人机交互界面示意图，图12中trigger表示触发逻辑，“is del＝＝0”表示触发逻辑描述。电子设备在接收到触发逻辑配置指令之后，从触发逻辑配置指令中提取触发逻辑描述，并将触发逻辑描述展示在人机交互界面的触发逻辑配置区域中。

触发逻辑配置指令可以包括但不限于增量触发指令和删除触发指令。增量触发指令可以指示电子设备在触发逻辑描述所关注的目标字段的值有所增加时，触发数据同步处理；删除触发指令可以指示电子设备在触发逻辑描述所关注的目标字段的值被删除时，触发数据同步处理。

步骤S113，基于人机交互界面展示的目标数据库的标识、目标数据库中目标数据表的标识、目标数据表中的目标字段的标识以及触发逻辑描述，生成同步逻辑的配置信息。

本公开实施例中，电子设备可以将目标数据库的标识、目标数据库中目标数据表的标识、目标数据表中的目标字段的标识以及触发逻辑描述格式化为Json参数，并将Json参数确定为同步逻辑的配置信息。

步骤S113与步骤S12相似，在此不再赘述。

本公开实施例提供的技术方案中，电子设备根据接收到的触发逻辑配置指令，在人机交互界面上展示该触发逻辑配置指令包括的触发逻辑描述，这样电子设备只利用简单的表达式便可以清晰直观地展现出触发同步的逻辑。这种表达方式大大降低了同步逻辑配置的学习成本，并且方便用户对触发逻辑进行修改，增强了数据同步方法的便利性。

与上述数据同步方法对应，本公开实施例还提供了一种数据同步装置，如图13所示，可以包括：

展示单元131，用于通过人机交互界面，展示数据源端中各个数据库的标识、各个数据库中各个数据表的标识以及各个数据表中各个字段的标识；

确定单元132，用于基于人机交互界面展示的信息，确定同步逻辑的配置信息，配置信息包括目标数据库的标识、目标数据库中目标数据表的标识和目标数据表中的目标字段的标识；

翻译单元133，用于将配置信息翻译为程序执行所需的配置文件；

执行单元134，用于执行配置文件，以将目标数据库中目标数据表的目标字段的数据同步至数据目的端。

可选的，上述展示单元131，可以包括：

解析数据源中各个数据库以及各个数据库中的各个数据表，获得各个数据库的标识、各个数据表的标识以及各个数据表中各个字段的标识；

在人机交互界面中，展示各个数据库的标识；

响应于接收到针对展示的目标数据库的标识的第一选择指令，在人机交互界面中，展示目标数据库中各个数据表的标识；

响应于接收到针对展示的目标数据表的标识的第二选择指令，在人机交互界面中，在目标数据表对应的图表中，展示目标数据表中各个字段的标识。

可选的，上述确定单元132，可以包括：

建立子单元，用于响应于接收到连线建立指令，在人机交互界面上，在两个目标数据表的字段的标识间建立连线，连线用于指示连接的两个字段间存在指定同步逻辑；

响应子单元，用于响应于接收到针对图表中字段的标识的第三选择指令，将所选择的字段的标识作为目标字段的标识；

生成子单元，用于基于目标数据库的标识、目标数据库中目标数据表的标识、目标数据表中的目标字段的标识以及人机交互界面上的字段间的连线，生成同步逻辑的配置信息。

可选的，上述数据同步装置还可以包括：

控制单元，用于响应于接收到针对人机交互界面展示的目标图表的拖动指令，控制目标图表移动至拖动指令指示的目标位置。

可选的，上述生成子单元，可以包括：

在人机交互界面上的预输出字段展示区域中，展示各个目标字段的标识；

响应于针对预输出字段展示区域中各个目标字段的标识的编辑指令，取消无需同步的目标字段的标识，并确定触发同步的目标字段的标识；

在人机交互界面上的最终输出字段展示区域中，展示剩余的各个目标字段的标识；

基于目标数据库的标识、目标数据库中目标数据表的标识、最终输出字段展示区域展示的信息、触发同步的目标字段的标识以及人机交互界面上的字段间的连线，生成同步逻辑的配置信息。

可选的，上述确定单元132，包括：

响应于接收到触发逻辑配置指令，在人机交互界面上触发逻辑配置区域展示触发逻辑配置指令包括的触发逻辑描述；

基于人机交互界面展示的目标数据库的标识、目标数据库中目标数据表的标识、目标数据表中的目标字段的标识以及触发逻辑描述，生成同步逻辑的配置信息。

本公开实施例提供的技术方案中，电子设备通过人机交互界面展示数据源端信息，并基于人机交互界面展示的信息确定同步逻辑的配置信息，这种界面化的数据同步方法大大降低了同步逻辑配置的学习成本，减少了出错率，从而降低了开发以及测试成本，提高了同步逻辑配置的接入效率。

另外，电子设备将配置信息翻译为程序执行所需的配置文件，可以保证同步逻辑的正确性并为程序的加载提供便利。同时，配置文件可以存储在产品库，电子设备随时可以从产品库中获取程序包并运行程序包，使得数据同步方法更加方便简洁。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图14示出了可以用来实施本公开的实施例的示例电子设备1400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图14所示，设备1400包括计算单元1401，其可以根据存储在只读存储器(ROM)1402中的计算机程序或者从存储单元1408加载到随机访问存储器(RAM)1403中的计算机程序，来执行各种适当的动作和处理。在RAM 1403中，还可存储设备1400操作所需的各种程序和数据。计算单元1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。

设备1400中的多个部件连接至I/O接口1405，包括：输入单元1406，例如键盘、鼠标等；输出单元1407，例如各种类型的显示器、扬声器等；存储单元1408，例如磁盘、光盘等；以及通信单元1409，例如网卡、调制解调器、无线通信收发机等。通信单元1409允许设备1400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1401执行上文所描述的各个方法和处理，例如数据同步方法。例如，在一些实施例中，数据同步方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1402和/或通信单元1409而被载入和/或安装到设备1400上。当计算机程序加载到RAM 1403并由计算单元1401执行时，可以执行上文描述的数据同步方法的一个或多个步骤。备选地，在其他实施例中，计算单元1401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据同步方法。

图15示出了用来实施本公开实施例的数据同步方法的电子设备的框图，包括：

至少一个处理器1501；以及

与所述至少一个处理器1501通信连接的存储器1502；其中，

所述存储器1502存储有可被所述至少一个处理器1501执行的指令，所述指令被所述至少一个处理器1501执行，以使所述至少一个处理器1501能够执行任一所述的数据同步方法。

本公开实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行根据上述任一所述的数据同步方法。

本公开实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一所述的数据同步展示方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种数据同步方法，包括：

通过人机交互界面，展示数据源端中各个数据库的标识、所述各个数据库中各个数据表的标识以及所述各个数据表中各个字段的标识；

基于所述人机交互界面展示的信息，确定同步逻辑的配置信息，所述配置信息包括目标数据库的标识、所述目标数据库中目标数据表的标识和所述目标数据表中的目标字段的标识；

将所述配置信息翻译为程序执行所需的配置文件；

执行所述配置文件，以将所述目标数据库中所述目标数据表的目标字段的数据同步至数据目的端。

2.根据权利要求1所述的方法，其中，所述通过人机交互界面，展示数据源端中各个数据库的标识、所述各个数据库中各个数据表的标识以及所述各个数据表中各个字段的标识的步骤，包括：

解析数据源中各个数据库以及所述各个数据库中的各个数据表，获得所述各个数据库的标识、所述各个数据表的标识以及所述各个数据表中各个字段的标识；

在人机交互界面中，展示所述各个数据库的标识；

响应于接收到针对展示的目标数据库的标识的第一选择指令，在所述人机交互界面中，展示所述目标数据库中各个数据表的标识；

响应于接收到针对展示的目标数据表的标识的第二选择指令，在所述人机交互界面中，在所述目标数据表对应的图表中，展示所述目标数据表中各个字段的标识。

3.根据权利要求2所述的方法，其中，所述基于所述人机交互界面展示的信息，确定同步逻辑的配置信息的步骤，包括：

响应于接收到连线建立指令，在所述人机交互界面上，在两个目标数据表的字段的标识间建立连线，所述连线用于指示连接的两个字段间存在指定同步逻辑；

响应于接收到针对所述图表中字段的标识的第三选择指令，将所选择的字段的标识作为目标字段的标识；

基于所述目标数据库的标识、所述目标数据库中目标数据表的标识、所述目标数据表中的目标字段的标识以及所述人机交互界面上的字段间的连线，生成同步逻辑的配置信息。

4.根据权利要求2或3所述的方法，还包括：

响应于接收到针对所述人机交互界面展示的目标图表的拖动指令，控制所述目标图表移动至所述拖动指令指示的目标位置。

5.根据权利要求3所述的方法，其中，所述基于所述目标数据库的标识、所述目标数据库中目标数据表的标识、所述目标数据表中的目标字段的标识以及所述人机交互界面上的字段间的连线，生成同步逻辑的配置信息的步骤，包括：

在所述人机交互界面上的预输出字段展示区域中，展示各个目标字段的标识；

响应于针对所述预输出字段展示区域中各个目标字段的标识的编辑指令，取消无需同步的目标字段的标识，并确定触发同步的目标字段的标识；

在所述人机交互界面上的最终输出字段展示区域中，展示剩余的各个目标字段的标识；

基于所述目标数据库的标识、所述目标数据库中目标数据表的标识、所述最终输出字段展示区域展示的信息、触发同步的目标字段的标识以及所述人机交互界面上的字段间的连线，生成同步逻辑的配置信息。

6.根据权利要求1所述的方法，其中，所述基于所述人机交互界面展示的信息，确定同步逻辑的配置信息的步骤，包括：

响应于接收到触发逻辑配置指令，在所述人机交互界面上触发逻辑配置区域展示所述触发逻辑配置指令包括的触发逻辑描述；

基于所述人机交互界面展示的目标数据库的标识、所述目标数据库中目标数据表的标识、所述目标数据表中的目标字段的标识以及所述触发逻辑描述，生成同步逻辑的配置信息。

7.一种数据同步装置，包括：

展示单元，用于通过人机交互界面，展示数据源端中各个数据库的标识、所述各个数据库中各个数据表的标识以及所述各个数据表中各个字段的标识；

确定单元，用于基于所述人机交互界面展示的信息，确定同步逻辑的配置信息，所述配置信息包括目标数据库的标识、所述目标数据库中目标数据表的标识和所述目标数据表中的目标字段的标识；

翻译单元，用于将所述配置信息翻译为程序执行所需的配置文件；

执行单元，用于执行所述配置文件，以将所述目标数据库中所述目标数据表的目标字段的数据同步至数据目的端。

8.根据权利要求7所述的装置，其中，所述展示单元，包括：

解析数据源中各个数据库以及所述各个数据库中的各个数据表，获得所述各个数据库的标识、所述各个数据表的标识以及所述各个数据表中各个字段的标识；

在人机交互界面中，展示所述各个数据库的标识；

响应于接收到针对展示的目标数据库的标识的第一选择指令，在所述人机交互界面中，展示所述目标数据库中各个数据表的标识；

响应于接收到针对展示的目标数据表的标识的第二选择指令，在所述人机交互界面中，在所述目标数据表对应的图表中，展示所述目标数据表中各个字段的标识。

9.根据权利要求8所述的装置，其中，所述确定单元，包括：

建立子单元，用于响应于接收到连线建立指令，在所述人机交互界面上，在两个目标数据表的字段的标识间建立连线，所述连线用于指示连接的两个字段间存在指定同步逻辑；

响应子单元，用于响应于接收到针对所述图表中字段的标识的第三选择指令，将所选择的字段的标识作为目标字段的标识；

生成子单元，用于基于所述目标数据库的标识、所述目标数据库中目标数据表的标识、所述目标数据表中的目标字段的标识以及所述人机交互界面上的字段间的连线，生成同步逻辑的配置信息。

10.根据权利要求8或9所述的装置，所述装置还包括：

控制单元，用于响应于接收到针对所述人机交互界面展示的目标图表的拖动指令，控制所述目标图表移动至所述拖动指令指示的目标位置。

11.根据权利要求9所述的装置，其中，所述生成子单元，包括：

在所述人机交互界面上的预输出字段展示区域中，展示各个目标字段的标识；

响应于针对所述预输出字段展示区域中各个目标字段的标识的编辑指令，取消无需同步的目标字段的标识，并确定触发同步的目标字段的标识；

在所述人机交互界面上的最终输出字段展示区域中，展示剩余的各个目标字段的标识；

基于所述目标数据库的标识、所述目标数据库中目标数据表的标识、所述最终输出字段展示区域展示的信息、触发同步的目标字段的标识以及所述人机交互界面上的字段间的连线，生成同步逻辑的配置信息。

12.根据权利要求7所述的装置，其中，所述确定单元，包括：

响应于接收到触发逻辑配置指令，在所述人机交互界面上触发逻辑配置区域展示所述触发逻辑配置指令包括的触发逻辑描述；

基于所述人机交互界面展示的目标数据库的标识、所述目标数据库中目标数据表的标识、所述目标数据表中的目标字段的标识以及所述触发逻辑描述，生成同步逻辑的配置信息。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images