CN109657004A - 一种数据同步方法及装置 - Google Patents

Abstract

本发明实施例提供了一种数据同步方法及装置。所述方法包括：获取输入数据源和输出数据源；对输入数据源和输出数据源进行规则配置，确定输入数据源的至少一个输入数据表，及输出数据源的至少一个输出数据表；依据各输入数据表和各输出数据表，确定各输入数据表的至少一个输入字段，及各输出数据表的至少一个输出字段；配置与输入数据源和输出数据源对应的同步触发条件；其中，同步触发条件包括时间戳条件、触发器条件、数据比对条件、日志识别增量条件中的任一种；在满足同步触发条件时，对各输入字段和各输出字段进行同步处理，以将各输出字段同步至输入数据源。本发明可以使得整个交换过程直观易懂、通俗简易。

Description

一种数据同步方法及装置

技术领域

本发明涉及数据同步处理技术领域，特别是涉及一种数据同步方法及装置。

背景技术

目前，市场是已经出现了一些关系型数据库之间的数据交换软件：

1、基于CS(Client/Server)架构的ETL(Extraction-Transformation-Loading，数据抽取、同步和加载)配置方式，基于CS架构的ETL配置方式往往是由ETL厂商提供，这种配置方式功能强大，使用灵活。但是该方式配置方法较为复杂，甚至要求配置人员具有相关的专业知识和编程能力，给用户的使用带来不便。

2、基于BS(Browser/Server)架构的配置方式，市面上此种配置方式由于基于不同ETL厂商开发，实现方式也是千差万别，但大多都秉承了ETL厂商的配置方式，配置环节多样、复杂，数据结构混乱，通常配置人员须具有专业能力水平才能完成配置，用户使用不方便。

发明内容

本发明提供了一种数据同步方法及装置，以解决现有技术中数据同步方式比较复杂，需要配置人员具有相关的专业知识和编程能力，给用户使用带来不便，且基于BS架构的配置方式，市场上的实现不能摆脱信息项繁多，功能庞杂等缺点，一定程度上影响了它的使用和拓展，用户体验不好的问题。

为了解决上述问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种数据同步方法，包括：获取输入数据源和输出数据源；对所述输入数据源和所述输出数据源进行规则配置，确定所述输入数据源的至少一个输入数据表，及所述输出数据源的至少一个输出数据表；依据各所述输入数据表和各所述输出数据表，确定各所述输入数据表的至少一个输入字段，及各所述输出数据表的至少一个输出字段；配置与所述输入数据源和所述输出数据源对应的同步触发条件；其中，所述同步触发条件包括时间戳条件、触发器条件、数据比对条件、日志识别增量条件中的任一种；在满足所述同步触发条件时，对各所述输入字段和各所述输出字段进行同步处理，以将各所述输出字段同步至所述输入数据源。

优选地，在所述获取输入数据源和输出数据源的步骤之后，还包括：对所述输入数据源和所述输出数据源进行配置，确定所述输入数据源和所述输出数据源分别对应的配置项；其中，所述配置项包括数据源ID、数据源待替换位置和数据源密码中的至少一项。

优选地，在所述依据各所述输入数据表和各所述输出数据表，确定各所述输入数据表的至少一个输入字段，及各所述输出数据表的至少一个输出字段的步骤之后，还包括：对各所述输出字段进行过滤处理；依据各过滤处理后的输出字段，确定所述输出数据表对应的替换关键字；依据所述替换关键字及各所述输入字段，对各所述过滤处理后的输出字段进行格式转换及合并处理，生成一目标输出数据表。

优选地，所述对各所述输入字段和各所述输出字段进行同步处理，以将各所述输出字段同步至所述输入数据源的步骤，包括：将所述目标输出数据表同步至所述输入数据源；对所述目标输出数据表进行数据拆分处理，以得到至少一个替换字段；将各所述替换字段，添加至各所述输入数据表。

优选地，在所述对各所述输入字段和各所述输出字段进行同步处理的步骤之后，还包括：对各所述替换字段进行去重处理，生成同步处理后的输入数据源。

第二方面，本发明实施例提供了一种数据同步装置，包括：数据源获取模块，用于获取输入数据源和输出数据源；数据表确定模块，用于对所述输入数据源和所述输出数据源进行规则配置，确定所述输入数据源的至少一个输入数据表，及所述输出数据源的至少一个输出数据表；输入输出字段确定模块，用于依据各所述输入数据表和各所述输出数据表，确定各所述输入数据表的至少一个输入字段，及各所述输出数据表的至少一个输出字段；触发条件配置模块，用于配置与所述输入数据源和所述输出数据源对应的同步触发条件；其中，所述同步触发条件包括时间戳条件、触发器条件、数据比对条件、日志识别增量条件中的任一种；字段同步处理模块，用于在满足所述同步触发条件时，对各所述输入字段和各所述输出字段进行同步处理，以将各所述输出字段同步至所述输入数据源。

优选地，还包括：配置项确定模块，用于对所述输入数据源和所述输出数据源进行配置，确定所述输入数据源和所述输出数据源分别对应的配置项；其中，所述配置项包括数据源ID、数据源待替换位置和数据源密码中的至少一项。

优选地，还包括：过滤处理模块，用于对各所述输出字段进行过滤处理；替换关键字确定模块，用于依据各过滤处理后的输出字段，确定所述输出数据表对应的替换关键字；目标输出数据表生成模块，用于依据所述替换关键字及各所述输入字段，对各所述过滤处理后的输出字段进行格式转换及合并处理，生成一目标输出数据表。

优选地，所述字段同步处理模块包括：数据表同步子模块，用于将所述目标输出数据表同步至所述输入数据源；替换字段获取子模块，用于对所述目标输出数据表进行数据拆分处理，获取至少一个替换字段；替换字段添加子模块，用于将各所述替换字段，添加至各所述输入数据表。

优选地，还包括：数据去重模块，用于对各所述替换字段进行去重处理，生成同步处理后的输入数据源。

第三方面，本发明实施例提供了一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一项所述的数据同步方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的数据同步方法中的步骤。

与现有技术相比，本发明包括以下优点：

在本发明实施例中，通过获取输入数据源和输出数据源，对输入数据源和输出数据源进行规则配置，确定输入数据源的至少一个输入数据表，及输出数据源的至少一个输出数据表，依据各输入数据表和各输出数据表，确定各输入数据表的至少一个输入字段，及各输出数据表的至少一个输出字段，配置与输入数据源和输出数据源对应的同步触发条件，其中，同步触发条件包括时间戳条件、触发器条件、数据比对条件、日志识别增量条件中的任一种，在满足同步触发条件时，对各输入字段和各输出字段进行同步处理，以将各输出字段同步至输入数据源。本发明实施例通过以输入数据源为开始，以输出数据源为目标，以数据输入表、数据输出表为载体，建立起输入数据源表到输出数据源表的结构的直接对应关系。此为，把ETL中同步、处理、验证等过程直接绑定到表结构字段上，避免了现有技术流水线式的设计，使得整个交换过程直观易懂、通俗简易。提高了***的可操作性。

附图说明

图1示出了本发明实施例提供的一种数据同步方法的步骤流程图；

图2示出了本发明实施例提供的一种数据同步装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例可以应用于关系型数据库之间的数据交换。

ETL是指用于描述将数据从来源端经过抽取(extract)、同步(transform)、加载(load)至目的端的过程。

本发明实施例的定制ETL的过程总体上划分为四个层次：交互层、应用层、数据层、部署层。这四层相互组合共同构成了一个灵活的可制订的ETL过程，为ETL的数据交互的稳定运行承担着不可替代的作用。

交互层，是整个ETL管理***的界面层，采用html和JavaScript技术实现用户界面的特色呈现，结合通俗易懂的命名方式(比如：数据去重、数据脱敏)，给用户的使用提供了便利。

应用层，包括任务管理、规则管理、作业管理、数据源管理、映射管理、ETL工具管理、以及部署管理。任务管理，作为一个ETL运行程序的代理，一个任务对应一个ETL采集过程，包含规则管理、作业管理、部署管理。

ETL工具集，是指ETL交互过程中的所有处理，包括数据验证、数据去重、数据过滤，数据替换，数据合并，数据拆分、数据排序等等过程。工具集中的工具采用插件式的安装方式，为后续扩展提供可能。工具配置时，用户只需完成点选的简易操作，便能完成整个ETL工具功能的订制。

数据源管理，***提供了ORACLE、MYSQL、达梦、文件等多种数据接入形式和配置方式。

数据映射管理，映射管理以数据库表为单位，进行数据库表结构字段项的对应映射，数据类型的映射配置，数据长度的设置等。实现输入信息项到输出信息项的指定配置。

作业管理，通过配置运行时间、运行周期，运行频率等方式，控制ETL任务的运行时间，人为调度ETL的任务运行。

规则管理，通过指定数据源、数据源的数据表、数据表的字段映射关系、数据表的标识字段、增量字段、以及数据库表特殊字段的同步格式等等，保证ETL顺畅运行的必要条件。

部署管理，通过SSH方式，实现远程执行自定义脚本，实现采集端容器的自动安装和采集端程序的自动部署。同时，对已部署应用进行动态监控和远程管理。

任务管理，包括ETL工具集指定、已配置规则指定、已配置作业设置，以及部署目录配置，交互方式的设置，部署方式的配置等。

数据访问层，通过java JDBC Api和java Persistence Api的方式实现程序跨Oracle、mysql、达梦等多种数据库运行，***提供了数据统一访问接口实现数据访问和传输的标准化、规范化建设。

数据层，实现数据格式和类型的自动加载和识别，数据项和数据类型映射，以及不同类型数据的格式同步，类型同步等过程。数据项映射实现源数据项到目标数据项的一对一匹配，按照类型分为字段自主适配和自定义映射配置，最大化的适应同步需求。

部署层，通过本专利***的运行，***和部署服务器或者部署采集程序建立起管理和被管理者的管理。同时，远程部署服务充当本专利***的部署层。

实施例一

参照图1，示出了本发明实施例提供的一种数据同步方法的步骤流程图，该数据同步方法具体可以包括如下步骤：

步骤101：获取输入数据源和输出数据源。

在本发明实施例中，输入数据源是指待输入数据的目的端，输出数据源是指待输出数据的来源端，输入数据源和输出数据源可以为具有关联关系的数据库，也可以为其它数据源，本发明实施例对此不加以限制。

本发明实施例可以应用终端，如个人计算机等等，在终端侧预先设置有同步程序，在程序启动后，可以获取输入数据源和输出数据源，并对数据源进行配置，对于具体地配置过程以下述优选实施例进行详细描述。

在本发明实施例的一种优选实施例中，在上述步骤101之后，还可以包括：

步骤A1：对所述输入数据源和所述输出数据源进行配置，确定所述输入数据源和所述输出数据源分别对应的配置项。

在本发明实施例中，配置项可以包括数据源ID、数据源待替换位置和数据源密码等配置项中的一种或多种。

其中，每个数据源都对应有唯一的数据源ID，例如，输入数据源ID为1，输出数据源则为除1以外的任何一个数字。当然数据源ID除了可以为数字以外，还可以为其它形式的ID，如大小写字母等等，本发明实施例对此不加以限制。

当然，配置项除了可以包括上述三种的一种或多种外，还可以包括数据源IP地址等等，本发明实施例对此也不加以限制。

在对输入数据源和输出数据源进行配置之后，执行步骤102。

步骤102：对所述输入数据源和所述输出数据源进行规则配置，确定所述输入数据源的至少一个输入数据表，及所述输出数据源的至少一个输出数据表。

在本发明实施例中，输入数据表是指输入数据源中需要添加数据的数据表，输出数据表是指输出数据源中需要进行同步的数据表。

输入数据表可以为输入数据源中的一个数据表，也可以为输入数据源中的多个数据表，本发明实施例对此不加以限制。

输出数据表可以为输出数据源中的一个数据表，也可以为输出数据源中的多个数据表，本发明实施例对此也不加以限制。

在对输入数据源和输出数据源进行配置之后，则可以对输入数据源和输出数据源进行规则配置，从而确定出输入数据源中的至少一个输入数据表，以及输出数据源中的至少一个输出数据表。

具体地，配置规则可以为映射规则，即输入数据源与输出数据源间各数据表的映射，例如，输入数据源A和输出数据源B，在需要将数据源B的输出数据表b中的数据同步至数据源A的输入数据表a中时，则可以建立数据表a和数据表b的映射关系，从而根据该映射关系确定出需要同步数据的数据表a和b。

当然，在具体实现中，还可以按照其它规则确定输入数据源中的至少一个输入数据表，以及输出数据源中的至少一个输出数据表，本发明实施例对此不加以限制。

在确定至少一个输入数据表和至少一个输出数据表之后，执行步骤103。

步骤103：依据各所述输入数据表和各所述输出数据表，确定各所述输入数据表的至少一个输入字段，及各所述输出数据表的至少一个输出字段。

在本发明实施例中，输入字段是指需要在各输入数据表中同步的字段，即需要在各输入数据表中添加的字段。

输出字段是指需要从各输出数据表中同步至各输入数据表中的字段，即需要将输出数据表中的字段同步至输入数据表中的字段。

在确定至少一个输入数据表和至少一个输出数据表之后，从各输入数据表确定的至少一个输入字段，从各输出数据表中查询与各输入字段对应的输出字段，也即在确定需要在各输入数据表添加的字段之后，从预先保存于各输出数据表中查询相同的字段。

在确定至少一个输出字段之后，还可以对输出字段进行过滤、关键字提取等步骤，具体地，以下述优选实施例进行详细描述。

在本发明实施例的一种优选实施例中，在上述步骤103之后，还可以包括：

步骤B1：对各所述输出字段进行过滤处理；

步骤B2：依据各过滤处理后的输出字段，确定所述输出数据表对应的替换关键字；

步骤B3：依据所述替换关键字及各所述输入字段，对各所述过滤处理后的输出字段进行格式转换及合并处理，生成一目标输出数据表。

在本发明实施例中，在获取至少一个输出字段之后，还可以对各输出字段进行过滤处理，可以理解地，对数据进行过滤的方式已经是本领域较为成熟的技术，现有技术中任何一种对数据过滤的方法均可以应用于本发明，本发明实施例在此不再加以赘述。

替换关键字可以是指各输出数据表中需要替换的字段的关键字，替换关键字可以为各字段的数据ID，在同一数据表中，各条数据的ID是互不相同的，即同一数据表中每条数据均具有唯一的数据ID。当然，替换关键字还可以为各输出字段的其它关键字，具体地，可以根据实际情况而定，本发明实施例对此不加以限制。

在确定输出数据表对应的替换关键字之后，可以替换关键字及各输入字段对各过滤处理后的输出字段进行格式转换及合并处理，从而生成一目标输出数据表。

可以理解地，将在输出数据源中的多个数据表中的数据同步至输入数据源时，是通过一个数据表的形式进行同步，在获取输出数据源的一个或多个数据表中的各输出字段之后，可以各输出字段进行格式转换，具体地，可以根据各输出字段对应的输入字段的格式，对各输出字段的格式进行转换，以使各输出字段的格式与对应的各输入字段的格式保持一致。

在对各输出字段的格式进行转换处理之后，可以在输出数据源中为各输出字段创建一个目标数据表，并将格式转换处理后的各输出字段添加至目标数据表，以生成目标输出数据表，以供后续的同步过程使用。

在依据各输入数据表和各输出数据表，确定各输入数据表的至少一个输入字段，及各输出数据表的至少一个输出字段之后，执行步骤104。

步骤104：配置与所述输入数据源和所述输出数据源对应的同步触发条件；其中，所述同步触发条件包括时间戳条件、触发器条件、数据比对条件、日志识别增量条件中的任一种。

同步触发条件可以包括时间戳条件、触发器条件、数据比对条件和日志识别增量条件等条件中的任意一种。

时间戳条件是指在当前时间满足预设的时间戳的条件。如，时间戳条件设置为上午10:00，则在当前时间达到上午10:00时，则表示满足时间戳条件。

触发器(Trigger)是SQL server提供给程序员和数据分析员来保证数据完整性的一种方法，它是与表事件相关的特殊的存储过程，它的执行不是有程序调用，也不是手工启动，而是通过事件来触发，比如，当对一个表进行操作(insert、delete、update等操作)时可以激活触发器执行，触发器经常用于加强数据的完整性约束和业务规则等等。

本发明实施例中，触发器条件是指输入数据源中的输入数据表执行的表操作，如insert、delete、update等操作，即在接收到对输入数据表的表操作时触发的操作。

数据比对条件是指各输出字段与各输入字段相对应的条件，即在各输出字段与各输入字段相匹配的条件。

日志识别增量条件是指依据日志识别确定出数据源中数据增量变化通过时间字段标识的条件，也即依据时间标识确定添加各字段的时间的条件。

当然，同步触发条件不仅限于上述四种，还可以包括其它条件，本发明实施例对此不加以限制。

在配置与输入数据源和输出数据源对应的同步触发条件之后，执行步骤105。

步骤105：在满足所述同步触发条件时，对各所述输入字段和各所述输出字段进行同步处理，以将各所述输出字段同步至所述输入数据源。

满足同步触发条件可以包括当前时间满足时间戳条件，或满足数据比对条件等等，具体地，可以根据实际情况而定。

在满足同步触发条件时，则可以对各输入字段和各输出字段进行同步处理，从而将各输出字段同步至输入数据源，以完成数据同步过程。

具体地，对于数据同步过程以下述优选实施例进行详细描述。

在本发明实施例的一种优选实施例中，上述步骤105可以包括：

子步骤C1：将所述目标输出数据表同步至所述输入数据源；

子步骤C2：对所述目标输出数据表进行数据拆分处理，以得到至少一个替换字段；

子步骤C2：将各所述替换字段，添加至各所述输入数据表。

在本发明实施例中，在获取目标输出数据表之后，可以将目标数据表同步至输入数据源，并对目标输出数据表进行数据拆分处理，以得到各个替换字段，并将待替换字段添加至对应的各输入数据表，从而完成数据的同步过程。

在将数据同步至输入数据源之后，还要对数据源进行去重处理，具体地，以下述优选实施例进行详细描述。

在本发明实施例的一种优选实施例中，在上述步骤105之后，还可以包括：

步骤D1：对各所述替换字段进行去重处理，生成同步处理后的输入数据源。

在本发明实施例中，在将替换字段添加至对应的各数据表中之后，可以将各数据表中添加的替换字段的字段标识，与对应的数据表中的预先保存的各字段的标识进行匹配，在出现重复字段时，则将该字段从数据表中删除，以避免出现字段重复的现象。

本发明实施例提供的漏洞检测数据同步方法，可以通过获取输入数据源和输出数据源，对输入数据源和输出数据源进行规则配置，确定输入数据源的至少一个输入数据表，及输出数据源的至少一个输出数据表，依据各输入数据表和各输出数据表，确定各输入数据表的至少一个输入字段，及各输出数据表的至少一个输出字段，配置与输入数据源和输出数据源对应的同步触发条件，其中，同步触发条件包括时间戳条件、触发器条件、数据比对条件、日志识别增量条件中的任一种，在满足同步触发条件时，对各输入字段和各输出字段进行同步处理，以将各输出字段同步至输入数据源。本发明实施例通过以输入数据源为开始，以输出数据源为目标，以数据输入表、数据输出表为载体，建立起输入数据源表到输出数据源表的结构的直接对应关系。此为，把ETL中同步、处理、验证等过程直接绑定到表结构字段上，避免了现有技术流水线式的设计，使得整个交换过程直观易懂、通俗简易。提高了***的可操作性。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

实施例二

参照图2，示出了本发明实施例提供的一种数据同步装置的结构示意图，具体可以包括：

数据源获取模块210，用于获取输入数据源和输出数据源；数据表确定模块220，用于对所述输入数据源和所述输出数据源进行规则配置，确定所述输入数据源的至少一个输入数据表，及所述输出数据源的至少一个输出数据表；输入输出字段确定模块230，用于依据各所述输入数据表和各所述输出数据表，确定各所述输入数据表的至少一个输入字段，及各所述输出数据表的至少一个输出字段；触发条件配置模块240，用于配置与所述输入数据源和所述输出数据源对应的同步触发条件；其中，所述同步触发条件包括时间戳条件、触发器条件、数据比对条件、日志识别增量条件中的任一种；字段同步处理模块250，用于在满足所述同步触发条件时，对各所述输入字段和各所述输出字段进行同步处理，以将各所述输出字段同步至所述输入数据源。

优选地，还包括：配置项确定模块，用于对所述输入数据源和所述输出数据源进行配置，确定所述输入数据源和所述输出数据源分别对应的配置项；其中，所述配置项包括数据源ID、数据源待替换位置和数据源密码中的至少一项。

优选地，还包括：过滤处理模块，用于对各所述输出字段进行过滤处理；替换关键字确定模块，用于依据各过滤处理后的输出字段，确定所述输出数据表对应的替换关键字；目标输出数据表生成模块，用于依据所述替换关键字及各所述输入字段，对各所述过滤处理后的输出字段进行格式转换及合并处理，生成一目标输出数据表。

优选地，所述字段同步处理模块250包括：数据表同步子模块，用于将所述目标输出数据表同步至所述输入数据源；替换字段获取子模块，用于对所述目标输出数据表进行数据拆分处理，获取至少一个替换字段；替换字段添加子模块，用于将各所述替换字段，添加至各所述输入数据表。

优选地，还包括：数据去重模块，用于对各所述替换字段进行去重处理，生成同步处理后的输入数据源。

本发明实施例提供的数据同步装置，可以通过获取输入数据源和输出数据源，对输入数据源和输出数据源进行规则配置，确定输入数据源的至少一个输入数据表，及输出数据源的至少一个输出数据表，依据各输入数据表和各输出数据表，确定各输入数据表的至少一个输入字段，及各输出数据表的至少一个输出字段，配置与输入数据源和输出数据源对应的同步触发条件，其中，同步触发条件包括时间戳条件、触发器条件、数据比对条件、日志识别增量条件中的任一种，在满足同步触发条件时，对各输入字段和各输出字段进行同步处理，以将各输出字段同步至输入数据源。本发明实施例通过以输入数据源为开始，以输出数据源为目标，以数据输入表、数据输出表为载体，建立起输入数据源表到输出数据源表的结构的直接对应关系。此为，把ETL中同步、处理、验证等过程直接绑定到表结构字段上，避免了现有技术流水线式的设计，使得整个交换过程直观易懂、通俗简易。提高了***的可操作性。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

优选的，本发明实施例还提供一种终端，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述数据同步方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述数据同步方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、***、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的***。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令***的制造品，该指令***实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端上，使得在计算机或其他可编程终端上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端中还存在另外的相同要素。

以上对本发明所提供的一种数据同步方法和一种数据同步装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种数据同步方法，其特征在于，包括：

获取输入数据源和输出数据源；

对所述输入数据源和所述输出数据源进行规则配置，确定所述输入数据源的至少一个输入数据表，及所述输出数据源的至少一个输出数据表；

依据各所述输入数据表和各所述输出数据表，确定各所述输入数据表的至少一个输入字段，及各所述输出数据表的至少一个输出字段；

配置与所述输入数据源和所述输出数据源对应的同步触发条件；其中，所述同步触发条件包括时间戳条件、触发器条件、数据比对条件、日志识别增量条件中的任一种；

在满足所述同步触发条件时，对各所述输入字段和各所述输出字段进行同步处理，以将各所述输出字段同步至所述输入数据源。

2.根据权利要求1所述的方法，其特征在于，在所述获取输入数据源和输出数据源的步骤之后，还包括：

对所述输入数据源和所述输出数据源进行配置，确定所述输入数据源和所述输出数据源分别对应的配置项；

其中，所述配置项包括数据源ID、数据源待替换位置和数据源密码中的至少一项。

3.根据权利要求1所述的方法，其特征在于，在所述依据各所述输入数据表和各所述输出数据表，确定各所述输入数据表的至少一个输入字段，及各所述输出数据表的至少一个输出字段的步骤之后，还包括：

对各所述输出字段进行过滤处理；

依据各过滤处理后的输出字段，确定所述输出数据表对应的替换关键字；

依据所述替换关键字及各所述输入字段，对各所述过滤处理后的输出字段进行格式转换及合并处理，生成一目标输出数据表。

4.根据权利要求3所述的方法，其特征在于，所述对各所述输入字段和各所述输出字段进行同步处理，以将各所述输出字段同步至所述输入数据源的步骤，包括：

将所述目标输出数据表同步至所述输入数据源；

对所述目标输出数据表进行数据拆分处理，以得到至少一个替换字段；

将各所述替换字段，添加至各所述输入数据表。

5.根据权利要求4所述的方法，其特征在于，在所述对各所述输入字段和各所述输出字段进行同步处理的步骤之后，还包括：

对各所述替换字段进行去重处理，生成同步处理后的输入数据源。

6.一种数据同步装置，其特征在于，包括：

数据源获取模块，用于获取输入数据源和输出数据源；

数据表确定模块，用于对所述输入数据源和所述输出数据源进行规则配置，确定所述输入数据源的至少一个输入数据表，及所述输出数据源的至少一个输出数据表；

输入输出字段确定模块，用于依据各所述输入数据表和各所述输出数据表，确定各所述输入数据表的至少一个输入字段，及各所述输出数据表的至少一个输出字段；

触发条件配置模块，用于配置与所述输入数据源和所述输出数据源对应的同步触发条件；其中，所述同步触发条件包括时间戳条件、触发器条件、数据比对条件、日志识别增量条件中的任一种；

字段同步处理模块，用于在满足所述同步触发条件时，对各所述输入字段和各所述输出字段进行同步处理，以将各所述输出字段同步至所述输入数据源。

7.根据权利要求6所述的装置，其特征在于，还包括：

配置项确定模块，用于对所述输入数据源和所述输出数据源进行配置，确定所述输入数据源和所述输出数据源分别对应的配置项；

其中，所述配置项包括数据源ID、数据源待替换位置和数据源密码中的至少一项。

8.根据权利要求6所述的装置，其特征在于，还包括：

过滤处理模块，用于对各所述输出字段进行过滤处理；

替换关键字确定模块，用于依据各过滤处理后的输出字段，确定所述输出数据表对应的替换关键字；

目标输出数据表生成模块，用于依据所述替换关键字及各所述输入字段，对各所述过滤处理后的输出字段进行格式转换及合并处理，生成一目标输出数据表。

9.根据权利要求8所述的装置，其特征在于，所述字段同步处理模块包括：

数据表同步子模块，用于将所述目标输出数据表同步至所述输入数据源；

替换字段获取子模块，用于对所述目标输出数据表进行数据拆分处理，获取至少一个替换字段；

替换字段添加子模块，用于将各所述替换字段，添加至各所述输入数据表。

10.根据权利要求9所述的装置，其特征在于，还包括：

数据去重模块，用于对各所述替换字段进行去重处理，生成同步处理后的输入数据源。

11.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的数据同步方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的数据同步方法中的步骤。