CN110209732A - 关系型数据库到Hadoop数据库的数据同步方法和装置 - Google Patents

Abstract

本申请涉及一种关系型数据库到Hadoop数据库的数据同步方法、装置、计算机设备和存储介质，方法包括：根据针对待同步的业务方预先存储的不变参数及其配置数据，识别出业务方的关系型数据库的每一张表中的不变参数，并对识别出的不变参数进行配置；针对关系型数据库的每一张表中的可变参数，提供相应的配置数据修改界面，以供用户对可变参数进行配置；并根据对配置数据修改界面中可变参数的配置操作，确定可变参数的配置数据；确定业务方的关系型数据库到Hadoop数据库的数据同步等级；确定对应的同步方案，并根据同步方案执行关系型数据库到Hadoop数据库的数据同步。本申请可减少工作量，提高同步效率。

Description

关系型数据库到Hadoop数据库的数据同步方法和装置

技术领域

本发明涉及大数据处理技术领域，特别是涉及一种关系型数据库到Hadoop数据库的数据同步方法、装置、计算机设备和存储介质。

背景技术

在关系型数据库到Hadoop数据库(即HadoopDatabase，简称Hbase)的同步过程中，无论采用哪种工具，普遍都是针对单表做掺杂业务逻辑的同步设计。针对单表做掺杂业务逻辑的同步设计是指：针对每一张表设计一个同步方案。因为不同的数据表，存储的内容不一样，设计的字段等信息也都不一样，比如，订单表有订单ID、订单名称、订单金额、发货时间等字段，用户表有用户名称、用户ID、用户手机号等字段信息。举例来说，关系型数据库中有100张表，需要做100个同步方案。这种数据同步方式工作量大，而且不具备通用性。

发明内容

本申请实施例提供一种关系型数据库到Hadoop数据库的数据同步方法、装置、计算机设备和存储介质，可以提供通用的同步方案，大大减少工作量。

本申请实施例提供一种关系型数据库到Hadoop数据库的数据同步方法，所述方法包括：

根据针对待同步的业务方预先存储的不变参数及其配置数据，识别出所述业务方的关系型数据库的每一张表中的不变参数，并对识别出的不变参数进行配置；

针对所述关系型数据库的每一张表中的可变参数，提供相应的配置数据修改界面，以供用户对所述可变参数进行配置；并根据对所述配置数据修改界面中所述可变参数的配置操作，确定所述可变参数的配置数据；

确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级；

根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。

在一些实施例中，所述方法还包括：将所述业务方的关系型数据库的所述不变参数的配置数据和所述数据同步等级存储至预设中间库中，以供下一次数据同步过程中获取所述不变参数的配置数据和数据同步等级。

在一些实施例中，所述配置数据修改界面中设置有所述可变参数的默认配置参数；对应的，所述提供相应的配置数据修改界面，以供用户对所述可变参数进行配置，包括：提供相应的配置数据修改界面，以供用户对所述可变参数的默配置数据进行修改。

在一些实施例中，所述确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级，包括：根据所述业务方的类型、所述业务方的业务场景和同步方式中的至少一项，确定所述数据同步等级。

在一些实施例中，所述根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步包括：根据所述业务方的关系型数据库的元数据信息、所述Hadoop数据库的预设标准表结构、所述业务方的关系型数据库与所述Hadoop数据库的字段映射关系、所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，采用数据库复制同步数据软件确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。

在一些实施例中，所述不变参数包括元数据表名、表字段和字段类型中的至少一项。

在一些实施例中，所述可变参数包括数据有效期、同步范围、主键、自增字段和同步方式中的至少一项。

本申请实施例还提供一种关系型数据库到Hadoop数据库的数据同步装置，所述装置包括：

第一配置模块，用于根据针对待同步的业务方预先存储的不变参数及其配置数据，识别出所述业务方的关系型数据库的每一张表中的不变参数，并对识别出的不变参数进行配置；

第二配置模块，用于针对所述关系型数据库的每一张表中的可变参数，提供相应的配置数据修改界面，以供用户对所述可变参数进行配置；并根据对所述配置数据修改界面中所述可变参数的配置操作，确定所述可变参数的配置数据；

等级确定模块，用于确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级；

数据同步模块，用于根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。

本申请实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述数据同步方法的步骤。

本申请实施例还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述数据同步方法的步骤。

本申请实施例提供的关系型数据库到Hadoop数据库的数据同步方法、装置、计算机设备和存储介质，通过对不变参数预先存储的方式识别出关系型数据库中的不变参数，并依据预先存储的配置数据对识别出的不变参数进行配置，针对可变参数通过提供配置数据修改界面的方式以供用户进行手动配置，这种数据配置方式可以大大提高数据同步效率。基于灵活的参数配置方式，可以设计出针对关系型数据库的所有数据表的通用同步方案，不必针对每一张表设计一个同步方案，大大减少工作量，也大大提高数据同步效率。

附图说明

图1为一个实施例中计算机设备的内部结构框图；

图2为一个实施例中关系型数据库到Hadoop数据库的数据同步方法的流程图；

图3为一个实施例中关系型数据库到Hadoop数据库的数据同步装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。

图1为本申请一个实施例中计算机设备的结构示意图。如图1所示，该计算机设备包括通过***总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作***、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种关系型数据库到Hadoop数据库的数据同步方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种关系型数据库到Hadoop数据库的数据同步方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本申请实施例提供一种关系型数据库到Hadoop数据库的数据同步方法，该关系型数据库到Hadoop数据库的数据同步方法可以应用于图1所示出的计算机设备中，该计算机设备的具体硬件形式有很多，例如，数据管控平台，数据管控平台是一个大数据平台，可以对接入的多个业务方进行数据管控。

如图2所示，本申请实施例提供的数据同步方法包括：

S21、根据针对待同步的业务方预先存储的不变参数及其配置数据，识别出所述业务方的关系型数据库的每一张表中的不变参数，并对识别出的不变参数进行配置；

可理解的是，关系型数据库有多种，即关系型数据库的种类有多个，例如，Oracle数据库、MySql数据库、PostgreSQL数据库、Hive数据库等。每一个业务方都有一个对应的关系型数据库，不同的业务方，关系型数据库的种类可能不同。

可理解的是，Hadoop数据库，即HadoopDatabase，简称hbase，hbase是一个分布式的、面向列的开源数据库，hbase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。

可理解的是，待同步的业务方的关系型数据库的参数有多种，例如，元数据表名、表字段、字段类型、数据有效期、同步范围、主键、自增字段、同步方式等参数。在对关系型数据库进行数据同步之前，需要对这些参数进行配置。由于关系型数据库中不同的表，其参数可能不同，故在现有技术中，是针对关系型数据库中的每一张表设计一个同步方案，工作量巨大。然而，在本申请中采取了不同的处理方式：将不变参数预先配置好，针对可变参数提供相应的配置数据修改界面，可供用户手动配置。

可理解的是，不变参数和可变参数并不是一成不变的，业务方不同、业务方的应用场景不同等，其不变参数和可变参数可能不同。所谓的不变参数是指对于每一个表来说，有些参数的配置数据是固定的，这些参数为不变参数，而有些参数的配置数据是可能会发生变化的，这些参数为可变参数。在某应用场景下，关系型数据库的不变参数可以包括所述不变参数包括元数据表名、表字段和字段类型中的至少一项，可变参数可以包括数据有效期、同步范围、主键、自增字段和同步方式中的至少一项。

在进行数据同步之前，首先确定哪些参数是不变参数，哪些参数是可变参数，将不变参数及其配置数据存储在数据管控平台中，实现预先存储。在进行数据同步时，对关系型数据库的每一张表进行识别，当识别到与预先存储的任意一个不变参数相同的参数时，则将该参数作为不变参数，并按照预先存储的对应的配置数据，对该参数进行配置。

例如，关系型数据库中包括订单表和用户表，订单表和用户表的元数据表名、表字段和字段类型不会发生变化，因此这些参数为不变参数，预先在数据管控平台中存储好这些参数。在进行数据同步时，对关系型数据库中的订单表和用户表进行识别，当识别到元数据表名这一参数时，根据预先存储的元数据表名对识别到的元数据表名进行配置。针对其他的不变参数，配置过程也是如此，从而实现对关系型数据库的不变参数的配置。

S22、针对所述关系型数据库的每一张表中的可变参数，提供相应的配置数据修改界面，以供用户对所述可变参数进行配置；并根据对所述配置数据修改界面中所述可变参数的配置操作，确定所述可变参数的配置数据；

在实际应用中，可以在配置数据修改界面中设置有所述可变参数的默认配置参数；这样，当展示所述配置数据修改界面后，用户可以在所述配置数据修改界面上修改可变参数的默认配置数据。也就是说，上述提供相应的配置数据修改界面，以供用户对所述可变参数进行配置，可以为：提供相应的配置数据修改界面，以供用户对所述可变参数的默配置数据进行修改。

例如，待同步的业务方的关系型数据库的可变参数包括：数据有效期、同步范围、主键、自增字段和同步方式，通过用户在配置数据修改界面上的配置操作，将数据有效期配置为2个月，同步范围配置为近48小时以内的数据，主键配置为订单ID，自增可配置为订单时间字段，同步方式可配置为增量更新或全量更新。其中，每一个可变参数在配置数据修改界面上有默认参数，默认参数可以根据经验设置，也可以自动识别，例如，其中的自增和主键均可以通过自动识别的方式确定默认配置，以供用户选择默认配置或者根据情况进行修改。

S23、确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级；

可理解的是，在一个数据库中，有的表需要每隔1小时更新一次，有的表需要每隔一天更新一次，有的表只需要同步一次，因此一个数据库可能对应多个同步等级。

在实际应用中，不同级别的同步任务对应不同的数据同步等级，除了数据表的更新频率，确定数据同步等级时可考虑的因素还有多种，例如，不同的业务方、业务方不同的业务场景、不同的同步方式等，因此确定所述数据同步等级的过程还可以包括：根据所述业务方的类型、所述业务方的业务场景和同步方式中的至少一项，确定所述数据同步等级。

当需要对多个业务方进行数据同步时，可以依据数据同步等级对各个业务方的处理顺序进行安排，能够提高同步效率，减少不同任务之间的相互影响，而且在设计同步方案时可以依据数据同步等级确定何时进行数据同步等。

可理解的是，上述步骤S21、S22、S23之间没有先后顺序，例如，三个步骤同时执行，这样可以提高同步效率。

S24、根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。

在实际应用中，可以采用数据库复制同步数据软件确定同步方案，例如，Kettle软件。利用Kettle软件，基于之前配置的各个参数、确定的数据同步等级，确定同步方案，进而执行数据同步。

在实际应用时，Kettle软件具体可以根据所述业务方的关系型数据库的元数据信息、所述Hadoop数据库的预设标准表结构、所述业务方的关系型数据库与所述Hadoop数据库的字段映射关系、所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，采用数据库复制同步数据软件确定对应的同步方案。

举例来说：查询不同数据同步等级分别对应的表配置信息，使用kettle数据库组件配置数据源信息、元数据信息等；根据数据源信息使用kettle表读取组件；读取表数据，表数据即数据库中各张表的同步等级信息，例如，数据库有十张表，三张表为等级A，三张表为等级B，四张表为等级C这种配置信息；根据预设的逻辑流程处理上述组件，包括判断条件、数据流向等；将读取到的表数据进行筛选处理；根据元数据信息使用Hbase操作组件将筛选得到的数据写入Hbase表，进而配置好Hbase表及匹配字段等，进而依据配置好Hbase表及匹配字段确定同步方案。在读取组件、读取表数据、处理组件等过程中均涉及到不变参数、可变参数等。

在一些实施例中，所述数据同步方法还可以包括：

将所述业务方的关系型数据库的所述不变参数的配置数据和所述数据同步等级存储至预设中间库中，以供下一次数据同步过程中获取所述不变参数的配置数据和数据同步等级。

这里，将不变参数及其配置数据、数据同步等级存储至预设中间库中，当以后再次对该业务方的关系型数据库进行数据同步时直接从中间库中提取即可，无需再次对不变参数进行配置，也无需再对数据同步等级进行确定。也就是说，并不是每一次数据同步都要对不变参数进行配置和确定同步等级，存储到中间库可以反复使用，这样可以提高以后数据同步的效率。

当然，当关系型数据库的业务场景发生变化导致其不变参数改变时，需要重新进行参数配置以及确定数据同步等级。

本申请实施例提供的数据同步方法，通过对不变参数预先存储的方式识别出关系型数据库中的不变参数，并依据预先存储的配置数据对识别出的不变参数进行配置，针对可变参数通过提供配置数据修改界面的方式以供用户进行手动配置，这种数据配置方式可以大大提高数据同步效率。基于灵活的参数配置方式，可以设计出针对关系型数据库的所有数据表的通用同步方案，不必针对每一张表设计一个同步方案，大大减少工作量，也大大提高数据同步效率。

目前，一数据管控平台接入几十个业务方，表的数量有10000多张，如果按照传统的方式进行数据同步，至少需要1～2个月才能完成，而通过本申请实施例提供的数据同步方法只需要几天就可以完成，大大提高了同步效率。

如图3所示，在一个实施例中，提供了一种关系型数据库到Hadoop数据库的数据同步装置30，该数据同步装置30可以集成于上述的计算机设备(例如，数据管控平台)中，具体可以包括：

第一配置模块，用于根据针对待同步的业务方预先存储的不变参数及其配置数据，识别出所述业务方的关系型数据库的每一张表中的不变参数，并对识别出的不变参数进行配置；

第二配置模块，用于针对所述关系型数据库的每一张表中的可变参数，提供相应的配置数据修改界面，以供用户对所述可变参数进行配置；并根据对所述配置数据修改界面中所述可变参数的配置操作，确定所述可变参数的配置数据；

等级确定模块，用于确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级；

数据同步模块，用于根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。

在一些实施例中，所述装置还包括：

数据存储模块，用于将所述业务方的关系型数据库的所述不变参数的配置数据和所述数据同步等级存储至预设中间库中，以供下一次数据同步过程中获取所述不变参数的配置数据和数据同步等级。

在一些实施例中，所述配置数据修改界面中设置有所述可变参数的默认配置参数；第二配置模块具体用于：提供相应的配置数据修改界面，以供用户对所述可变参数的默配置数据进行修改。

在一些实施例中，等级确定模块具体用于：根据所述业务方的类型、所述业务方的业务场景和同步方式中的至少一项，确定所述数据同步等级。

在一些实施例中，数据同步模块具体用于：根据所述业务方的关系型数据库的元数据信息、所述Hadoop数据库的预设标准表结构、所述业务方的关系型数据库与所述Hadoop数据库的字段映射关系、所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，采用数据库复制同步数据软件确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。

在一些实施例中，所述不变参数包括元数据表名、表字段和字段类型中的至少一项。

在一些实施例中，所述可变参数包括数据有效期、同步范围、主键、自增字段和同步方式中的至少一项。

本申请提供的数据同步装置，第一配置模块通过对不变参数预先存储的方式识别出关系型数据库中的不变参数，并依据预先存储的配置数据对识别出的不变参数进行配置，第二配置模块针对可变参数通过提供配置数据修改界面的方式以供用户进行手动配置，这种数据配置方式可以大大提高数据同步效率。基于灵活的参数配置方式，数据同步模块可以设计出针对关系型数据库的所有数据表的通用同步方案，不必针对每一张表设计一个同步方案，大大减少工作量，也大大提高数据同步效率。

在一些实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：根据针对待同步的业务方预先存储的不变参数及其配置数据，识别出所述业务方的关系型数据库的每一张表中的不变参数，并对识别出的不变参数进行配置；针对所述关系型数据库的每一张表中的可变参数，提供相应的配置数据修改界面，以供用户对所述可变参数进行配置；并根据对所述配置数据修改界面中所述可变参数的配置操作，确定所述可变参数的配置数据；确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级；根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。

在一些实施例中，所述处理器执行所述计算机程序时还实现以下步骤：将所述业务方的关系型数据库的所述不变参数的配置数据和所述数据同步等级存储至预设中间库中，以供下一次数据同步过程中获取所述不变参数的配置数据和数据同步等级。

在一些实施例中，所述配置数据修改界面中设置有所述可变参数的默认配置参数；所述处理器执行的所述提供相应的配置数据修改界面，以供用户对所述可变参数进行配置，包括：提供相应的配置数据修改界面，以供用户对所述可变参数的默配置数据进行修改。

在一些实施例中，所述处理器执行的所述确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级，包括：根据所述业务方的类型、所述业务方的业务场景和同步方式中的至少一项，确定所述数据同步等级。

在一些实施例中，所述处理器执行的所述根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步，包括：根据所述业务方的关系型数据库的元数据信息、所述Hadoop数据库的预设标准表结构、所述业务方的关系型数据库与所述Hadoop数据库的字段映射关系、所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，采用数据库复制同步数据软件确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。

在一些实施例中，所述不变参数包括元数据表名、表字段和字段类型中的至少一项。

在一些实施例中，所述可变参数包括数据有效期、同步范围、主键、自增字段和同步方式中的至少一项。

本申请提供的计算机设备的有益效果与上述关系型数据库到Hadoop数据库的数据同步方法和装置相同，这里不再赘述。

在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：根据针对待同步的业务方预先存储的不变参数及其配置数据，识别出所述业务方的关系型数据库的每一张表中的不变参数，并对识别出的不变参数进行配置；针对所述关系型数据库的每一张表中的可变参数，提供相应的配置数据修改界面，以供用户对所述可变参数进行配置；并根据对所述配置数据修改界面中所述可变参数的配置操作，确定所述可变参数的配置数据；确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级；根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。

在一些实施例中，计算机可读指令被一个或多个处理器执行时，还使得一个或多个处理器执行以下步骤：将所述业务方的关系型数据库的所述不变参数的配置数据和所述数据同步等级存储至预设中间库中，以供下一次数据同步过程中获取所述不变参数的配置数据和数据同步等级。

在一些实施例中，所述配置数据修改界面中设置有所述可变参数的默认配置参数；所述一个或多个处理器执行的所述提供相应的配置数据修改界面，以供用户对所述可变参数进行配置，包括：提供相应的配置数据修改界面，以供用户对所述可变参数的默配置数据进行修改。

在一些实施例中，所述一个或多个处理器执行的所述确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级，包括：根据所述业务方的类型、所述业务方的业务场景和同步方式中的至少一项，确定所述数据同步等级。

在一些实施例中，所述一个或多个处理器执行的根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步，包括：根据所述业务方的关系型数据库的元数据信息、所述Hadoop数据库的预设标准表结构、所述业务方的关系型数据库与所述Hadoop数据库的字段映射关系、所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，采用数据库复制同步数据软件确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。

在一些实施例中，所述不变参数包括元数据表名、表字段和字段类型中的至少一项。

在一些实施例中，所述可变参数包括数据有效期、同步范围、主键、自增字段和同步方式中的至少一项。

本申请提供的存储介质的有益效果与上述关系型数据库到Hadoop数据库的数据同步方法和装置相同，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种关系型数据库到Hadoop数据库的数据同步方法，其特征在于，所述方法包括：

根据针对待同步的业务方预先存储的不变参数及其配置数据，识别出所述业务方的关系型数据库的每一张表中的不变参数，并对识别出的不变参数进行配置；

针对所述关系型数据库的每一张表中的可变参数，提供相应的配置数据修改界面，以供用户对所述可变参数进行配置；并根据对所述配置数据修改界面中所述可变参数的配置操作，确定所述可变参数的配置数据；

确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级；

根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。

2.根据权利要求1所述的方法，其特征在于，还包括：

将所述业务方的关系型数据库的所述不变参数的配置数据和所述数据同步等级存储至预设中间库中，以供下一次数据同步过程中获取所述不变参数的配置数据和数据同步等级。

3.根据权利要求1所述的方法，其特征在于，所述配置数据修改界面中设置有所述可变参数的默认配置参数；对应的，所述提供相应的配置数据修改界面，以供用户对所述可变参数进行配置，包括：提供相应的配置数据修改界面，以供用户对所述可变参数的默配置数据进行修改。

4.根据权利要求1所述的方法，其特征在于，所述确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级，包括：

根据所述业务方的类型、所述业务方的业务场景和同步方式中的至少一项，确定所述数据同步等级。

5.根据权利要求1所述的方法，其特征在于，所述根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步包括：

根据所述业务方的关系型数据库的元数据信息、所述Hadoop数据库的预设标准表结构、所述业务方的关系型数据库与所述Hadoop数据库的字段映射关系、所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，采用数据库复制同步数据软件确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。

6.根据权利要求1～5任一项所述的方法，其特征在于，所述不变参数包括元数据表名、表字段和字段类型中的至少一项。

7.根据权利要求1～5任一项所述的方法，其特征在于，所述可变参数包括数据有效期、同步范围、主键、自增字段和同步方式中的至少一项。

8.一种关系型数据库到Hadoop数据库的数据同步装置，其特征在于，所述装置包括：

第一配置模块，用于根据针对待同步的业务方预先存储的不变参数及其配置数据，识别出所述业务方的关系型数据库的每一张表中的不变参数，并对识别出的不变参数进行配置；

第二配置模块，用于针对所述关系型数据库的每一张表中的可变参数，提供相应的配置数据修改界面，以供用户对所述可变参数进行配置；并根据对所述配置数据修改界面中所述可变参数的配置操作，确定所述可变参数的配置数据；

等级确定模块，用于确定所述业务方的关系型数据库到Hadoop数据库的数据同步等级；

数据同步模块，用于根据所述业务方的关系型数据库的所述不变参数的配置数据、所述可变参数的配置数据和所述数据同步等级，确定对应的同步方案，并根据所述同步方案执行关系型数据库到Hadoop数据库的数据同步。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述数据同步方法的步骤。

10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述数据同步方法的步骤。