CN107967316A - 一种数据同步方法、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种数据同步方法、设备及计算机可读存储介质，方法包括：获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构；根据源表结构生成用于在目标库中建立临时存储数据的第一目标库表、和在目标库中建立存储与源库相同数据的第二目标库表的建表脚本；获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本。通过配置有限的条目，自动生成建表脚本和同步脚本，使数据同步操作简单化，提升开发效率，并减少人为错误。

Description

一种数据同步方法、设备及计算机可读存储介质

技术领域

本发明涉及数据同步技术领域，具体涉及一种数据同步方法、设备及计算机可读存储介质。

背景技术

目前，对企业级数据库的数据进行同步操作（即将数据通过同步工具由源库同步至目标库）时，需要进行如下的开发：

1、根据源库表结构信息，建立目标hive数据库中对应的表；

2、根据使用的同步工具开发同步脚本程序；

上述过程中的建表脚本、以及同步脚本都是开发人员通过人工开发，开发过程复杂，效率低下，错误率高，极大的降低了数据同步的效率。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供数据同步方法、设备及计算机可读存储介质，旨在解决现有技术中在数据同步过程中建表脚本、以及同步脚本都是开发人员通过人工开发，开发过程复杂，效率低下，错误率高，极大的降低了数据同步的效率的缺陷。

为了达到上述目的，本发明采取了以下技术方案：

一种数据同步方法，其中，包括如下步骤：

获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构；

根据源表结构生成用于在目标库中建立临时存储数据的第一目标库表、和在目标库中建立存储与源库相同数据的第二目标库表的建表脚本；

获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本。

所述数据同步方法，其中，所述第一目标库表的表类型为增量表、流水表或全量表中的一种；所述第二目标库表的表类型为增量表、流水表或全量表中的一种。

所述数据同步方法，其中，所述获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构的步骤包括：

获取所录入包括源库名称、源库表名、源库表类型、源表更新字段、源表除重字段及目标库名称的源库信息；

从与源库信息中源库名称对应的源库获取元数据；

解析获取元数据的元数据信息表，并根据元数据信息表对应得到源表结构。

所述数据同步方法，其中，所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤包括；

获取第一目标库表的表类型，判断第一目标库表的表类型是增量表、流水表或是全量表；

当第一目标库表的表类型是增量表时，则对应生成第一sqoop同步脚本及hive程序；所述第一sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表的指定分区中，再将第一目标库表中的元数据根据源表除重字段进行除重后存入第二目标库表。

所述数据同步方法，其中，所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤中还包括：

当第一目标库表的表类型是流水表时，则对应生成第二sqoop同步脚本及hive程序；所述第二sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表的指定分区中，再将第一目标库表中的元数据存入第二目标库表。

所述数据同步方法，其中，所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤中还包括：

当第一目标库表的表类型是全量表时，则对应生成第三sqoop同步脚本及hive程序；所述第三sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表，再将第一目标库表中的元数据存入第二目标库表。

所述数据同步方法，其中，所述第一sqoop同步脚本及hive程序、第二sqoop同步脚本及hive程序、第三sqoop同步脚本及hive程序的执行周期均为24h。

所述数据同步方法，其中，所述元数据对应的元数据信息表至少包括表属主，表名称，表注释，列名称，列注释及列顺序。

一种数据同步设备，其中，包括：处理器、存储器、通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现所述的数据同步方法中的步骤。

一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的数据同步方法中的步骤。

相较于现有技术，本发明提供的数据同步方法、设备及计算机可读存储介质，分别在源库和目标库中建立对应的表，再根据用户录入源库名称，源库表名称、源库表类型及目标hive库名称等条目和既定的规则，由程序自动生成建表脚本及同步脚本，根据自动生成的建表脚本和同步脚本，将源库中的数据同步到目标库中。通过配置有限的条目，自动生成建表脚本和同步脚本，使数据同步操作简单化，提升开发效率，并减少人为错误。

附图说明

图1为本发明提供的数据同步方法的流程图。

图2为本发明提供的数据同步方法中步骤S100的流程图。

图3为本发明提供的数据同步方法中步骤S300的流程图。

图4为本发明提供的数据同步设备的较佳实施例的运行环境示意图。

图5为本发明所述的数据同步程序的较佳实施例的功能模块图。

图6为本发明提供的数据同步***的结构框图。

具体实施方式

鉴于现有技术中数据同步过程中建表脚本、以及同步脚本都是开发人员通过人工开发，开发过程复杂，效率低下，错误率高，极大的降低了数据同步的效率的缺点，本发明的目的在于提供一种数据同步方法、设备及计算机可读存储介质，通过配置有限的条目，自动生成建表脚本和同步脚本，使数据同步操作简单化，提升开发效率，并减少人为错误。

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明提供的数据同步方法，包括以下步骤：

步骤S100、获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构。

本实施例中，当需要将元数据从源库同步至目标库中时，只需在由所述数据同步方法对应设计的同步工具（同步工具即是一个应用程序）的界面中，录入包括源库名称、源库表名、源库表类型、源表更新字段、源表除重字段及目标库名称的源库信息即可。在完成了源库信息录入后，后续自动生成建表脚本和同步脚本，使数据同步操作简单化。

其中，元数据所初始存储的源库为oracle数据库（oracle数据库又名OracleRDBMS，或简称Oracle，是甲骨文公司的一款关系数据库管理***），MySQL（MySQL是一个开放源码的小型关联式数据库管理***）数据库或PostgreSQL（PostgreSQL 是一个自由的对象-关系数据库服务器）数据库，所述目标库为hive（hive是基于Hadoop的一个数据仓库工具）数据库。这些数据库均为常见且易于操作的数据库管理***及工具，便于在本实施例中对数据进行分析及处理。

步骤S200，根据源表结构生成用于在目标库中建立临时存储数据的第一目标库表、和在目标库中建立存储与源库相同数据的第二目标库表的建表脚本。

本实施例中，当录入源库信息后，则需根据录入的源库信息自动解析源表结构，根据源表结构即及预设的建表规则来自动生成建表脚本。为了更清楚的理解自动生成建表脚本的过程，下面具体对预设的建表规则进行说明。

源库的建表规则如下，源库中的源表分为三种类型，分别为源表增量表（也可称为源库表增量表）、源表流水表（也可称为源库表流水表）及源表全量表（也可称为源库表全量表）三种。其中，源表增量表中数据不断有更新和新增，且当天会更新当天之前的历史数据；源表流水表中数据不断有新增，且当天不更新当天之前的历史数据；源表全量表中数据量较小，保存例如一些配置表或者维度表。

目标库的建表规则如下，在目标库中建立与源表相对应的第一目标库表（即src表，也即源文件表、source表）和第二目标库表（即ods表，也即Operational Data Store表、操作数据存储表）。其中，src表作为临时表，其分为src增量表（按日分区）、src流水表（按日分区）、src全量表（不需分区）。ods表与源表数据一致，其分为ods增量表（不需分区、ods增量表将src增量表中全部数据除重后即可使用）、ods流水表（按日分区、不除重）、ods全量表（不需分区、不除重）。

当预设了上述的建表规则后，在同步工具的界面中，录入包括源库名称、源库表名、源库表类型、源表更新字段、源表除重字段及目标库名称的源库信息即可，这样简化了操作。

步骤S300、获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本。

本实施例中，由于所述第一目标库表的表类型为增量表、流水表或全量表中的一种；所述第二目标库表的表类型为增量表、流水表或全量表中的一种；且所述第一目标库表的表类型与源库表类型相同，且所述第二目标库表的表类型与源库表类型相同。这样，根据所录入源库信息的源库表类型，即可得到所述第一目标库表的表类型，并得到所述第二目标库表的表类型。

在一个实施例中，如图2所示，所述步骤S100具体包括：

步骤S101、获取所录入包括源库名称、源库表名、源库表类型、源表更新字段、源表除重字段及目标库名称的源库信息。

具体的，例如，当需要将元数据从nesop数据库（nesop是源库名称）中同步一张表n_bas_pc_sop（n_bas_pc_sop也仅仅是一个源数据库中一张源库表名，其中包括的数据为元数据）至hive数据库pa_nesop（pa_nesop是hive类型的目标库名称），则可在同步工具的界面上需录入如下信息：

源库名称：nesop

源库表名：n_bas_pc_sop

源库表类型：增量表

源表更新字段：update_date

源表除重字段：id

目标库名称:pa_nesop。

在整个的配置过程中，只需完成上述源库信息的录入即可，极大地方便了用户。

步骤S102、从与源库信息中源库名称对应的源库获取元数据。

元数据信息主要为前端业务***的各种信息，如银行业务***的客户的各种身份及存款信息等，元数据信息体现在由表属主、表名称、表注释、列名称，列注释和列顺序等部分组成的元数据信息表中。

步骤S103、解析获取元数据的元数据信息表，并根据元数据信息表对应得到源表结构。

表结构定义一个表的字段、类型、主键、外键、索引，这些基本的属性组成了数据库的表结构。源表结构，也即源库中源库表对应表结构。在业务***中，其表结构改变主要体现在列名称的变化上，如增加或修改了如客户的性别信息栏、收入状况信息栏等等，故本实施例中主要针对元数据信息的各个表属主的列名称进行对比。

在一个实施例中，如图3所示，所述步骤S300包括：

步骤S301、获取第一目标库表的表类型，判断第一目标库表的表类型是增量表、流水表或是全量表；

步骤S302、当第一目标库表的表类型是增量表时，则对应生成第一sqoop同步脚本及hive程序；所述第一sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表的指定分区中，再将第一目标库表中的元数据根据源表除重字段进行除重后存入第二目标库表。

根据建表脚本，即可自动生成第一目标库表（n_bas_pc_sop_src）和第二目标库表（n_bas_pc_sop_ods）。此时，判断第一目标库表（n_bas_pc_sop_src）是增量表（即该增量表为分区表，按天分区）时，则程序会自动生成第一sqoop同步脚本及hive程序，每天将数据从源库同步至第一目标库表（n_bas_pc_sop_src）的一个新分区中，之后将第一目标库表（n_bas_pc_sop_src）中所有数据根据源表除重字段（id）除重，存入第二目标库表（n_bas_pc_sop_ods）。其中，所述第一sqoop同步脚本及hive程序的执行周期为24h（即每天执行一次）。

为了更清楚的了解sqoop同步脚本，下面通过一具体实施例来说明。例如执行sqoop指令将数据从mysql导入到hive中，指令为如下：

Sqoop import--connect jdbc:mysql://10.1.11.78:3306/video --table base_event --username root --password 123456 --m 1 --hive-import --hive-databasevideo --hive-table base_event --hive-overwrite --fields-terminated --by "\t"–lines –terminated --by “\n”---as-textfile；

其中，sqoop import --执行sqoop导入指令；

--connect jdbc:mysql://hostname:port/database--要连接的数据库地址、端口号、数据库database；

--table base_app-----要操作的数据库表；

--username root-----连接数据库的用户名；

--password 123456---连接数据库的密码；

-m 1 ------要启动的map数量；

--hive-import--- 采用hive方式导入；

[--create-hive-table] --- 如果导入的表在hive中不存在的话，sqoop自动在hive中创建该表。但是当表存在的情况下，添加该选项会导致指令报错。

--hive-database XXX --- 要将数据库表导入到hive的那个database中；

--hive-table base_ XXX --- 要将数据库表导入到hive的表中；

--hive-overwrite ---如果hive的表中已经存在数据，添加该项操作后，会将原有的数据覆盖掉；

--fields-terminated-by “\t” --- hive存储到hdfs中的文件中字段间的分隔符；

--lines-terminated-by “\n”– hive存储到hdfs中的文件中每行间的分隔符；

--as-textfile ---hive存储到hdfs中的文件格式，采用文本存储。

也即根据所录入的源库信息，及预设的建表规则就能自动生成同步脚本。

在一个实施例中，如图3所示，所述步骤S300还包括：

步骤S303、当第一目标库表的表类型是流水表时，则对应生成第二sqoop同步脚本及hive程序；所述第二sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表的指定分区中，再将第一目标库表中的元数据存入第二目标库表。

判断第一目标库表（n_bas_pc_sop_src）是流水表（即该流水表为分区表，按天分区）时，则程序会自动生成第二sqoop同步脚本及hive程序，每天将数据从源库同步至第一目标库表（n_bas_pc_sop_src）的一个新分区中，之后将第一目标库表（n_bas_pc_sop_src）中所有数据根据源表无需除重，直接存入第二目标库表（n_bas_pc_sop_ods）。其中，所述第二sqoop同步脚本及hive程序的执行周期为24h（即每天执行一次）。

在一个实施例中，如图3所示，所述步骤S300还包括：

步骤S304、当第一目标库表的表类型是全量表时，则对应生成第三sqoop同步脚本及hive程序；所述第三sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表，再将第一目标库表中的元数据存入第二目标库表。

判断第一目标库表（n_bas_pc_sop_src）是全量表（即该全量表为非分区表）时，则程序会自动生成第三sqoop同步脚本及hive程序，每天将数据从源库的全表不进行除重直接同步至第一目标库表（n_bas_pc_sop_src），之后将第一目标库表（n_bas_pc_sop_src）中所有数据，直接存入第二目标库表（n_bas_pc_sop_ods）。其中，所述第三sqoop同步脚本及hive程序的执行周期为24h（即每天执行一次）。

请继续参阅图4，图4为一个实施例中计算机设备的内部结构示意图。该计算机设备可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。参照图4，该计算机设备包括通过***总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中，该计算机设备的非易失性存储介质可存储操作***和计算机可读程序，该计算机可读程序被执行时，可使得处理器执行一种核保难度预测的方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该内存储器中可储存有计算机可读程序，该计算机可读程序被处理器执行时，可使得处理器执行一种数据同步方法。计算机设备的网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本发明还提供一种数据同步设备，其包括处理器10、存储器20及显示器30。图4仅示出了数据同步设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

所述存储器20在一些实施例中可以是所述数据同步设备的各组件的内部存储单元，例如数据同步设备的硬盘或内存。所述存储器20在另一些实施例中也可以是所述数据同步设备的各组件的外部存储设备，例如数据同步设备的各组件上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）等。进一步地，所述存储器20还可以既包括所述数据同步设备的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述数据同步设备的应用软件及各类数据，例如所述安装数据同步设备的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有数据同步程序40，该数据同步程序40可被处理器10所执行，从而实现本申请各实施例的修改源数据库表结构方法。

所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述权限认证方法等。

所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。所述显示器30用于显示在所述微信客户行为反馈设备中处理的信息以及用于显示可视化的用户界面，例如指派信息界面、认证报告界面等。所述微信客户行为反馈设备的部件10-30通过***总线相互通信。

在一实施例中，当处理器10执行所述存储器20中数据同步程序40时实现以下步骤：

获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构；

根据源表结构生成用于在目标库中建立临时存储数据的第一目标库表、和在目标库中建立存储与源库相同数据的第二目标库表的建表脚本；

获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本。

请参阅图5，其为本发明安装数据同步程序的设备的较佳实施例的功能模块图。在本实施例中，安装数据同步程序可以被分割成一个或多个模块，所述一个或者多个模块被存储于所述存储器中，并由一个或多个处理器（本实施例为所述处理器）所执行，以完成本发明。例如，在图5中，安装数据同步程序的数据同步设备可以被分割成录入解析模块31、建表脚本生成模块32和同步脚本生成模块33。本发明所称的模块是指能够完成特定功能的一系列计算机程序段，比程序更适合于描述所述数据同步程序在所述数据同步设备中的执行过程。以下描述将具体介绍所述模块31-33的功能。

录入解析模块31，用于获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构；

建表脚本生成模块32，用于根据源表结构生成用于在目标库中建立临时存储数据的第一目标库表、和在目标库中建立存储与源库相同数据的第二目标库表的建表脚本；

同步脚本生成模块33，用于获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本。

在一个实施例中，在所述的数据同步设备中，所述第一目标库表的表类型为增量表、流水表或全量表中的一种；所述第二目标库表的表类型为增量表、流水表或全量表中的一种。

在一个实施例中，在所述的数据同步设备中，所述获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构的步骤包括：

获取所录入包括源库名称、源库表名、源库表类型、源表更新字段、源表除重字段及目标库名称的源库信息；

从与源库信息中源库名称对应的源库获取元数据；

解析获取元数据的元数据信息表，并根据元数据信息表对应得到源表结构。

在一个实施例中，在所述的数据同步设备中，所述所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤包括：

获取第一目标库表的表类型，判断第一目标库表的表类型是增量表、流水表或是全量表；

当第一目标库表的表类型是增量表时，则对应生成第一sqoop同步脚本及hive程序；所述第一sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表的指定分区中，再将第一目标库表中的元数据根据源表除重字段进行除重后存入第二目标库表。

在一个实施例中，在所述的数据同步设备中，所述所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤还包括：

当第一目标库表的表类型是流水表时，则对应生成第二sqoop同步脚本及hive程序；所述第二sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表的指定分区中，再将第一目标库表中的元数据存入第二目标库表。

在一个实施例中，在所述的数据同步设备中，所述所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤还包括：

当第一目标库表的表类型是全量表时，则对应生成第三sqoop同步脚本及hive程序；所述第三sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表，再将第一目标库表中的元数据存入第二目标库表。

在一个实施例中，在所述的数据同步设备中，所述第一sqoop同步脚本及hive程序、第二sqoop同步脚本及hive程序、第三sqoop同步脚本及hive程序的执行周期均为24h。

在一个实施例中，在所述的数据同步设备中，所述元数据对应的元数据信息表至少包括表属主，表名称，表注释，列名称，列注释及列顺序。

基于上述数据同步方法和数据同步设备，本发明还相应提供了一种数据同步***，请参阅图6，其包括若干个源数据库110、一目标数据库120和一数据同步设备130。

其中，若干个源数据库110的元数据，均通过数据同步设备130中处理后由自动生成的建表脚本和同步脚本上传至目标数据库120。

基于上述数据同步方法和数据同步设备，本发明还相应提供了一种储介质。所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的数据同步方法的步骤：

获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构；

根据源表结构生成用于在目标库中建立临时存储数据的第一目标库表、和在目标库中建立存储与源库相同数据的第二目标库表的建表脚本；

获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本。

在一个实施例中，计算机在执行所述计算机可读存储介质中存储的数据同步程序时，所述第一目标库表的表类型为增量表、流水表或全量表中的一种；所述第二目标库表的表类型为增量表、流水表或全量表中的一种。

在一个实施例中，计算机在执行所述计算机可读存储介质中存储的数据同步程序时，所述获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构的步骤包括：

获取所录入包括源库名称、源库表名、源库表类型、源表更新字段、源表除重字段及目标库名称的源库信息；

从与源库信息中源库名称对应的源库获取元数据；

解析获取元数据的元数据信息表，并根据元数据信息表对应得到源表结构。

在一个实施例中，计算机在执行所述计算机可读存储介质中存储的数据同步程序时，所述所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤包括：

获取第一目标库表的表类型，判断第一目标库表的表类型是增量表、流水表或是全量表；

当第一目标库表的表类型是增量表时，则对应生成第一sqoop同步脚本及hive程序；所述第一sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表的指定分区中，再将第一目标库表中的元数据根据源表除重字段进行除重后存入第二目标库表。

在一个实施例中，计算机在执行所述计算机可读存储介质中存储的数据同步程序时，所述所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤还包括：

当第一目标库表的表类型是流水表时，则对应生成第二sqoop同步脚本及hive程序；所述第二sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表的指定分区中，再将第一目标库表中的元数据存入第二目标库表。

在一个实施例中，计算机在执行所述计算机可读存储介质中存储的数据同步程序时，所述所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤还包括：

当第一目标库表的表类型是全量表时，则对应生成第三sqoop同步脚本及hive程序；所述第三sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表，再将第一目标库表中的元数据存入第二目标库表。

在一个实施例中，计算机在执行所述计算机可读存储介质中存储的数据同步程序时，所述第一sqoop同步脚本及hive程序、第二sqoop同步脚本及hive程序、第三sqoop同步脚本及hive程序的执行周期均为24h。

在一个实施例中，计算机在执行所述计算机可读存储介质中存储的数据同步程序时，所述元数据对应的元数据信息表至少包括表属主，表名称，表注释，列名称，列注释及列顺序。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，前述计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，前述计算机可读取存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）等非易失性存储介质。

综上所述，本发明提供的数据同步方法、设备及计算机可读存储介质，方法包括：获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构；根据源表结构生成用于在目标库中建立临时存储数据的第一目标库表、和在目标库中建立存储与源库相同数据的第二目标库表的建表脚本；获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本。通过配置有限的条目，自动生成建表脚本和同步脚本，使数据同步操作简单化，提升开发效率，并减少人为错误。

当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种数据同步方法，其特征在于，包括如下步骤：

获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构；

根据源表结构生成用于在目标库中建立临时存储数据的第一目标库表、和在目标库中建立存储与源库相同数据的第二目标库表的建表脚本；

获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本。

2.根据权利要求1所述数据同步方法，其特征在于，所述第一目标库表的表类型为增量表、流水表或全量表中的一种；所述第二目标库表的表类型为增量表、流水表或全量表中的一种。

3.根据权利要求2所述数据同步方法，其特征在于，所述获取所录入至少包括源库名称、源库表名称、源库表类型的源库信息，解析源库信息对应源库中所包括元数据得到源表结构的步骤包括：

获取所录入包括源库名称、源库表名、源库表类型、源表更新字段、源表除重字段及目标库名称的源库信息；

从与源库信息中源库名称对应的源库获取元数据；

解析获取元数据的元数据信息表，并根据元数据信息表对应得到源表结构。

4.根据权利要求3所述数据同步方法，其特征在于，所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤包括：

获取第一目标库表的表类型，判断第一目标库表的表类型是增量表、流水表或是全量表；

当第一目标库表的表类型是增量表时，则对应生成第一sqoop同步脚本及hive程序；所述第一sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表的指定分区中，再将第一目标库表中的元数据根据源表除重字段进行除重后存入第二目标库表。

5.根据权利要求4所述数据同步方法，其特征在于，所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤中还包括：

当第一目标库表的表类型是流水表时，则对应生成第二sqoop同步脚本及hive程序；所述第二sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表的指定分区中，再将第一目标库表中的元数据存入第二目标库表。

6.根据权利要求5所述数据同步方法，其特征在于，所述获取第一目标库表的表类型，并对应生成用于将元数据从源库依次经过第一目标库表、第二目标库表同步至目标库的同步脚本的步骤中还包括：

当第一目标库表的表类型是全量表时，则对应生成第三sqoop同步脚本及hive程序；所述第三sqoop同步脚本及hive程序用于将元数据从源库同步至第一目标库表，再将第一目标库表中的元数据存入第二目标库表。

7.根据权利要求6所述数据同步方法，其特征在于，所述第一sqoop同步脚本及hive程序、第二sqoop同步脚本及hive程序、第三sqoop同步脚本及hive程序的执行周期均为24h。

8.根据权利要求1-7任一项所述数据同步方法，其特征在于，所述元数据对应的元数据信息表至少包括表属主，表名称，表注释，列名称，列注释及列顺序。

9.一种数据同步设备，其特征在于，包括：处理器、存储器、通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如权利要求1-8任意一项所述的数据同步方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-8任意一项所述的数据同步方法中的步骤。