CN101183387A - 一种增量数据捕获方法和*** - Google Patents

Abstract

本发明提供了一种增量数据捕获方法，包括：根据目标表的结构信息创建与目标表对应的关系数据库快照表；利用所述创建的快照表完成指定时间点目标表的快照抽取；根据所述不同时间点的快照进行快照比对，捕获增量数据。采用快照表存储快照，不需要维护增量数据的元数据信息，增强了通用性。进一步，本发明通过创建快照表的聚集索引，降低了快照记录比对的时间，减少了计算机***的运算量，节省了计算机***资源，提高了捕获增量数据的效率。本发明还公开了一种增量数据捕获***。

Description

一种增量数据捕获方法和***

技术领域

本发明涉及数据库技术领域，特别是涉及数据库数据集成技术领域中的一种增量数据捕获方法和***。

背景技术

增量数据捕获(Change Data Capture，CDC)是指捕获数据源中产生的增量数据，并提供给其他企业应用软件的过程。CDC是数据集成中ETL(ExtractTransform Load)过程所要解决的主要问题之一。CDC用于捕获业务数据库中数据***、删除、更新操作，为OLAP数据库、报表数据库、数据仓库、商业智能数据库等企业应用数据库数据的同步提供增量数据捕获服务。

快照(Snapshot)比对方式是现有技术中增量数据捕获主要方式之一，通过比对两个时间点的快照来获取增量数据。这种方式通用性强，在获得数据源数据读取权限条件下即可完成增量数据捕获过程。但现有技术中的快照比对方法是以文件为基础存储快照，并通过设计快照比对算法比对两张快照文件得到增量数据。这种方式存在的问题主要有：

1、基于文件的快照比对算法的时间和空间复杂度较高。

基于文件的快照比对算法不可避免地需要遍历两张快照文件内的所有记录，当快照数据量较大的情况下这种算法将很耗时。假设有两张快照A和B，快照A中存在n1条记录，快照B中存在n2条记录，两条记录比对时间为t(ms)，则完成所有快照记录比对的时间就需要：n1*n2*t(ms)。算法中还包含大量的IO操作，使耗时更为严重；而如果降低IO操作次数减少耗时的话，就需要占用大量内存空间。在内存有限、快照数据量较大的情况下，算法执行效率会受到很大影响。

2、需要维护数据库元数据信息，一定程度上限制了算法的通用性。

将关系数据库内结构化格式的数据抽取到文件这种非结构或半结构化格式的数据必将造成描述数据的数据也就是元数据(数据类型、主外键等)的丢失。因此，以文件为快照的增量数据捕获必定需要额外维护这部分丢失的元数据，增加了快照比对增量抽取的复杂度。并且，不同类型数据库之间对元数据的定义存在偏差，对不同类型的数据库提供支持就需要扩展算法，因此在一定程度上限制了算法的通用性。

3、不提供对目的数据库增量更新后的恢复功能。

在对目的数据库增量更新后，不提供将数据库恢复到指定增量更新时间点的功能。这种功能将对目的数据库中数据的增量更新历史查询和数据恢复提供帮助。

发明内容

本发明所要解决的技术问题是提供一种增量数据捕获方法和***，不需要维护元数据信息，并且提高基于快照方式增量数据捕获的效率，以及提供增量数据的恢复功能。

为了解决上述问题，本发明公开了一种增量数据捕获方法，包括：

根据目标表的结构信息创建与目标表对应的关系数据库快照表；

利用所述创建的快照表完成指定时间点目标表的快照抽取；

根据所述不同时间点的快照进行快照比对，捕获增量数据。

进一步，还包括：

创建历史快照的聚集索引。

并且，利用所述历史快照的聚集索引与当前快照进行比对，捕获增量数据。

进一步，还包括：

发送所述捕获的增量数据至目标数据库，增量更新目标数据库。

进一步，还包括：

创建CDC队列和CDC表，所述CDC队列用于记录当前捕获的增量数据集，所述CDC表用于记录所有时间点捕获的增量数据集；

根据CDC队列的数据生成CDC表的数据。

进一步，还包括：

从CDC表中获取指定时间段内的增量恢复数据；

发送所述获取的增量恢复数据至目标数据库；

根据所述增量恢复数据生成相应的SQL语句；

执行所述SQL语句，完成对目标数据库指定时间点的增量数据恢复。

其中，利用关系数据库内全连接和条件查询的方式实现数据库快照比对和增量数据的捕获。

其中，所述快照表是与目标表相同或能够完全兼容目标表中所有数据的关系数据库表结构。

其中，所述增量更新目标数据库的步骤包括：

目标数据库接收所述增量捕获数据；

根据增量捕获数据的操作类型生成相应的SQL语句；

执行所述SQL语句更新目标数据库。

本发明还公开了一种增量数据捕获***，包括：

快照表创建单元，用于根据目标表的结构信息创建与目标表对应的关系数据库快照表；

快照抽取单元，用于利用快照表完成指定时间点目标表的快照抽取；

捕获单元，用于根据不同时间点的快照进行快照比对，捕获增量数据。

进一步，还包括：

索引创建单元，用于创建快照的聚集索引。

所述捕获单元根据历史快照的聚集索引与当前快照进行比对，捕获增量数据。

进一步，还包括：

第一发送单元，用于发送所述捕获的增量数据至目标数据库；

更新单元，用于增量更新目标数据库。

进一步，还包括：

队列创建单元，用于创建CDC队列，所述CDC队列用于记录当前捕获的增量数据集；

CDC表生成单元，用于生成CDC表，所述CDC表用于记录所有时间点捕获的增量数据集。

进一步，还包括：

获取单元，用于从CDC表中获取指定时间段内的增量恢复数据；

第二发送单元，用于发送所述获取的增量恢复数据至目标数据库；

语句生成单元，用于根据所述增量恢复数据生成相应的SQL语句；

恢复单元，用于执行所述SQL语句，完成对目标数据库指定时间点的增量数据恢复。

与现有技术相比，本发明具有以下优点：

由于本发明没有采用文件存储快照，而是采用快照表存储快照，所述快照表是与目标表相同或能够完全兼容目标表中所有数据的关系数据库表结构，因此不存在元数据信息丢失的问题，不需要维护增量数据的元数据信息。并且由于采用了关系数据库表结构的快照表存储快照，因此可以通过关系数据库内的全连接方式避免定义高效快照比对算法的过程，增强了所述方法的通用性。采用关系数据库表结构存储快照，降低了时间和空间复杂度。

进一步，本发明通过创建快照表的聚集索引，降低了快照记录比对的时间，减少了计算机***的运算量，节省了计算机***资源，提高了捕获增量数据的效率。

进一步，本发明通过CDC表获取增量恢复数据，并将增量恢复数据发送至目标数据库执行的方式，实现了增量数据的维护和对目标数据库的增量恢复功能。

附图说明

图1是本发明一种增量数据捕获方法第一实施例的流程图；

图2是本发明一种增量数据捕获方法第二实施例的流程图；

图3是本发明第二实施例中增量更新目标数据库步骤的流程图；

图4是本发明一种增量数据捕获方法第三实施例增量数据恢复的流程图；

图5是本发明一种增量数据捕获***第一实施例的结构框图；

图6是本发明一种增量数据捕获***第二实施例的结构框图；

图7是本发明一种增量数据捕获***第三实施例增量数据恢复的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明一种增量数据捕获方法第一实施例的流程图，包括步骤：

步骤101、根据目标表的结构信息创建与目标表对应的关系数据库快照表。

所述快照表是与目标表相同或能够完全兼容目标表中所有数据的关系数据库表结构。

创建所述快照表的具体过程为：首先获取增量捕获目标表的结构信息，然后根据所述结构信息构造关系数据库表的SQL CREATE TABLE语句，最后在数据库中执行所述SQL语句，完成所述关系数据库快照表的创建。

步骤102、利用所述创建的快照表完成指定时间点目标表的快照抽取。

为了完成对不同时间点的快照比对，需要对目标表多个不同时间点的数据进行快照抽取，将所述不同时间点抽取的数据分别存储于快照表中，形成不同时间点的多个快照记录。

进一步，为了减少快照比对的时间，在抽取生成目标表数据生成快照后，本发明优选的方式是创建历史快照的聚集索引。索引是对数据库表中一列或多列的值进行排序的一种结构。在聚集索引中，表中行的物理顺序与键值的逻辑(索引)顺序相同。如果某索引不是聚集索引，则表中行的物理顺序与键值的逻辑顺序不匹配。与非聚集索引相比，聚集索引提供更快的数据访问查询速度。

在没有使用聚集索引的情况下，如果快照中包含n1条记录，则查询到该记录的次数最多需要查询n1次，而使用聚集索引，则不论快照中记录有多少条都只需要查询1次。

步骤103、根据所述不同时间点的快照进行快照比对，捕获增量数据。

利用关系数据库内的全连接和条件查询的方式实现快照比对和对***，删除，更新操作增量数据的计算和捕获。

全连接是连接运算的一种，它是为避免自然连接时因失配而发生信息丢失。假定参与连接的一方表中某行未与连接的另一方表中的任何一行匹配，此行将匹配一个取值全为空值的行。

本发明所述实施例中的全连接运算是对两个时刻做的两张结构相同的快照以主键字段相等为条件进行全连接，这样当两张表中存在未匹配的主键时，该主键所在的行会与一个取值全为空值的行相匹配。

主键是确保关系数据库表中记录唯一的字段列。外键是为了关联其他表中数据而设定记录其他表主键值的列。数据库表中的主键与其他非主键的关系靠范式约束。下面介绍一下范式：设计范式(范式，数据库设计范式，数据库的设计范式)是符合某一种级别的关系模式的集合。构造数据库必须遵循一定的规则。在关系数据库中，这种规则就是范式。关系数据库中的关系必须满足一定的要求，即满足不同的范式。目前关系数据库有六种范式：第一范式(1NF)、第二范式(2NF)、第三范式(3NF)、第四范式(4NF)、第五范式(5NF)和第六范式(6NF)。满足最低要求的范式是第一范式(1NF)。在第一范式的基础上进一步满足更多要求的称为第二范式(2NF)，其余范式以次类推。一般说来，数据库只需满足第三范式(3NF)就行了。

本发明所述实施例由于采用聚集索引并使用全连接方式捕获增量数据，计算速度相比现有技术中的算法有较大的提高。

下面以一个实施说明采用聚集索引后计算速度的提高。

假设两张快照表A和表B，表A中包含n1条记录，表B中包含n2条记录，比对一条记录的时间是t(ms)。现有技术中的文件方式快照比对需要分别查询表A中的每一条记录和表B中的所有n2条记录并进行比较，因此快照比对的总时间就是n1*n2*t(ms)。本发明实施例中利用了聚集索引，通过创建历史快照表A的聚集索引，把从B表中查询的单条记录与A表的记录查询比较时间从n1*t降低到了t，因此快照比对的总时间就是(n1+n2)*t(ms)，速度提高明显。

参照图2，示出了本发明一种增量数据捕获方法第二实施例的流程图。

在本发明一种增量数据捕获方法的第二实施例中，除了包括第一实施例中的步骤101、步骤102、步骤103外，还包括步骤104、发送所述捕获的增量数据至目标数据库，增量更新目标数据库。

本发明所述实施例中可以通过两种方式将增量数据发送至目标数据库，一种是捕获新的增量数据后立即发送至目标数据库，另一种方式是创建CDC队列，所述CDC队列用于记录当前捕获的增量数据集，并通过所述队列将增量数据发送至目标数据库。在本发明实施例中，优选采用的是第二种，因为通过队列发送增量数据，安全性高，不会造成增量数据的丢失。

在创建CDC队列后，还包括步骤：根据目标数据库表结构生成CDC表，所述CDC表用于记录所有时间点捕获的增量数据集。所述CDC表用来维护增量数据。CDC表由增量捕获目标表结构信息的基础上添加时间戳字段、操作类型字段和更新标志位字段构成。

CDC表的创建过程与快照表的创建过程相似，即：首先获取增量捕获目标表的结构信息，然后根据所述结构信息构造关系数据库表的SQL CREATETABLE语句，最后在数据库中执行所述SQL语句，完成所述关系数据库CDC表的创建。CDC表与快照表的不同之处在于CDC表还包括时间戳字段、操作类型字段和更新标志位字段。

参照图3，示出了本发明第二实施例中增量更新目标数据库步骤的流程图，包括步骤：

步骤301、目标数据库接收所述增量捕获数据。

步骤302、根据增量捕获数据的操作类型生成相应的SQL语句。

步骤303、执行所述SQL语句更新目标数据库。

下面对本发明所述实施例的技术方案进行更为详细的介绍。首先在时间点A做T表(目标表)快照并将快照存储到A表(历史快照)，创建快照表A的聚集索引。然后再在时间点B做T表快照并将快照存储到B表。

所述增量数据捕获流程具体为：做T表A时间点和B时间点之间时刻的删除，***，更新操作增量数据的捕获过程中，首先创建维护此次捕获增量数据集的CDC队列，而后在A表主键和B表主键相等条件下全连接数据快照A和B，并按照：1)B表主键字段为空；2)A表主键字段为空；3)A、B两表主键字段相等但其他非主键字段不等三个条件分别查询出删除，***和更新三种操作增量数据集。然后按照：1)从快照A捕获删除操作数据集，并添加DELETE操作类型字段和时间戳字段值；2)从快照B捕获***操作数据集，并添加INSERT操作类型字段和时间戳字段值；3)从A、B两表捕获更新操作数据集，添加UPDATE操作类型字段值和时间戳字段，并且来源于A表的更新数据及添加OLD操作字段值，来源于B表的更新数据及添加NEW操作字段值；将所述捕获的增量数据集***CDC表中，将删除、***和操作字段值为NEW的更新操作增量数据压入CDC队列。

增量更新目标数据库的数据更新流程为：首先清空当前A快照表并指定A表为下次快照存储表，这样避免了计算机存储资源的浪费，并为最新的B快照表创建聚束索引，使其成为历史快照。然后，将包含此增量捕获数据集的CDC队列发送至目标数据库，目标数据库接收所述队列后按先进先出的原则顺序读取队列中的数据集，并根据数据集中操作类型字段的DELETE、INSERT、UPDATE三种类型分别生成相应SQL语句，而后目标数据库按DELETE操作在先的顺序依次执行所述SQL语句，增量更新目标数据库。

本发明所述实施例的快照表采用与目标表相同或能够完全兼容目标表中所有数据的关系数据库表结构，因此不存在元数据信息丢失的问题，不需要维护增量数据的元数据信息，提高了此增量数据捕获方法的通用性。

并且由于采用了关系数据库表结构的快照表存储快照，因此可以通过关系数据库内的全连接方式避免定义高效快照比对算法的过程，增强了所述方法的通用性。采用关系数据库表结构存储快照，时间和空间复杂度都降低了。

进一步，本发明通过创建快照表的聚集索引，降低了快照记录比对的时间，减少了计算机***的运算量，节省了计算机***资源，提高了捕获增量数据的效率。

参照图4，示出了本发明一种增量数据捕获方法第三实施例增量数据恢复的流程图，包括步骤：

步骤401、从CDC表中获取指定时间内的增量恢复数据。

步骤402、发送所述获取的增量恢复数据至目标数据库。

步骤403、根据所述增量恢复数据的类型生成相应的SQL语句。

步骤404、执行所述SQL语句，完成对目标数据库指定时间点的增量数据恢复。

增量数据恢复是通过查询CDC表构建数据恢复队列并将队列发送至目标数据库执行的方式，增量更新目标数据库恢复至指定增量更新时间点的状态。

下面对所述技术方案进行更为详细的描述：

首先在历次增量捕获生成的CDC时间点中选取需要将目标数据库状态恢复到的某时间点，然后查询CDC表中晚于该指定恢复时间点之后的所有时间点，并按照时间点的先后顺序的逆序遍历结果集并创建恢复队列，之后按照：1)操作为***的数据集修改操作为删除；2)取出操作为删除的数据集并修改操作为***；3)取出操作为更新且更新标志位字段为OLD的数据集并将数据压入恢复队列，最后将恢复队列发送至目标数据库执行增量恢复。恢复队列发送至目标数据库后，按照先进先出的原则访问队列中的数据集，根据数据集中的操作类型字段值判断删除，***，更新三种操作并生成相应的SQL语句，在目标数据库执行所述SQL语句，完成对目标数据库指定时间点的增量数据恢复。

本发明所述实施例通过CDC表获取增量恢复数据，并将增量恢复数据发送至目标数据库执行的方式，实现了增量数据的维护和对目标数据库的增量恢复功能。

参照图5，示出了本发明一种增量数据捕获***第一实施例的结构框图，包括：

快照表创建单元501、用于根据目标表的结构信息创建与目标表对应的关系数据库快照表。

快照抽取单元502、用于利用快照表完成指定时间点目标表的快照抽取。

捕获单元503、用于根据不同时间点的快照进行快照比对，捕获增量数据。

下面对所述***的工作过程及工作原理进行详细的描述：

快照表创建单元501根据目标表的结构信息创建与目标表对应的关系数据库快照表。所述快照表是与目标表相同或能够完全兼容目标表中所有数据的关系数据库表结构。快照抽取单元502根据快照表完成指定时间点目标表的快照抽取，形成不同时间点的多个快照记录。捕获单元503利用关系数据库内的全连接和条件查询的方式实现快照比对和对***，删除，更新操作增量数据的计算和捕获。

进一步，还包括索引创建单元504、用于创建快照的聚集索引。增加所述索引创建单元504后，利用所述索引创建单元创建历史快照的聚集索引，从而所述捕获单元503可以根据历史快照的聚焦索引与当前快照进行比对，捕获增量数据。利用采用了聚集索引查询访问快照，从而大大减少快照比对的时间，提高了增量数据捕获的效率。

参照图6，示出了本发明一种增量数据捕获***第二实施例的结构框图，除了包括第一实施例中的快照表创建单元501、快照抽取单元502、捕获单元503以及索引创建单元504外，还包括：

第一发送单元601、用于发送所述捕获的增量数据至目标数据库。

更新单元602、用于增量更新目标数据库。

所述更新单元602接收增量数据，根据所述增量数据生成相应的SQL语句，执行所述SQL语句增量更新目标数据库。

进一步，还包括队列创建单元603、用于创建CDC队列，所述CDC队列用于记录捕获的增量数据集。所述捕获的增量数据用CDC队列发至目标数据库，安全性更高。

CDC表生成单元604、用于根据所述CDC队列生成CDC表。所述CDC表除了包括数据字段外，还包括时间戳字段、操作类型字段以及更新标志字段。

参照图7，示出了本发明一种增量数据捕获***第三实施例增量数据恢复的结构框图，包括：

获取单元701、用于从CDC表中获取指定时间内的增量恢复数据。

第二发送单元702、用于发送所述获取的增量恢复数据至目标数据库。

语句生成单元703、用于根据所述增量恢复数据的类型生成相应的SQL语句；

恢复单元704、用于执行所述SQL语句，完成对目标数据库指定时间点的增量数据恢复。

本发明所述各***实施例是与各方法实施例对应的，因此，在各***实施例中未详细描述的部分参见各方法实施例中的相应部分即可。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上对本发明所提供的一种增量数据捕获方法和***，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (17)

1.一种增量数据捕获方法，其特征在于，包括：

根据目标表的结构信息创建与目标表对应的关系数据库快照表；

利用所述创建的快照表完成指定时间点目标表的快照抽取；

根据所述不同时间点的快照进行快照比对，捕获增量数据。

2.如权利要求1所述的增量数据捕获方法，其特征在于，还包括：

创建历史快照的聚集索引。

3.如权利要求2所述的增量数据捕获方法，其特征在于：

利用所述历史快照的聚集索引与当前快照进行比对，捕获增量数据。

4.如权利要求3所述的增量数据捕获方法，其特征在于，还包括：

发送所述捕获的增量数据至目标数据库，增量更新目标数据库。

5.如权利要求4所述的增量数据捕获方法，其特征在于，还包括：

创建CDC队列和CDC表，所述CDC队列用于记录当前捕获的增量数据集，所述CDC表用于记录所有时间点捕获的增量数据集；

根据CDC队列的数据生成CDC表的数据。

6.如权利要求5所述的增量数据捕获方法，其特征在于，还包括：

从CDC表中获取指定时间段内的增量恢复数据；

发送所述获取的增量恢复数据至目标数据库；

根据所述增量恢复数据生成相应的SQL语句；

执行所述SQL语句，完成对目标数据库指定时间点的增量数据恢复。

7.如权利要求1至6任一所述的增量数据捕获方法，其特征在于：

利用关系数据库内全连接和条件查询的方式实现数据库快照比对和增量数据的捕获。

8.如权利要求1至6任一所述的增量数据捕获方法，其特征在于：

所述快照表是与目标表相同或能够完全兼容目标表中所有数据的关系数据库表结构。

9.如权利要求4所述的增量数据捕获方法，其特征在于，所述增量更新目标数据库的步骤包括：

目标数据库接收所述增量捕获数据；

根据增量捕获数据的操作类型生成相应的SQL语句；

执行所述SQL语句更新目标数据库。

10.一种增量数据捕获***，其特征在于，包括：

快照表创建单元，用于根据目标表的结构信息创建与目标表对应的关系数据库快照表；

快照抽取单元，用于利用快照表完成指定时间点目标表的快照抽取；

捕获单元，用于根据不同时间点的快照进行快照比对，捕获增量数据。

11.如权利要求10所述的增量数据捕获***，其特征在于，还包括：

索引创建单元，用于创建快照的聚集索引。

12.如权利要求11所述的增量数据捕获***，其特征在于：

所述捕获单元根据历史快照的聚集索引与当前快照进行比对，捕获增量数据。

13.如权利要求12所述的增量数据捕获***，其特征在于，还包括：

第一发送单元，用于发送所述捕获的增量数据至目标数据库；

更新单元，用于增量更新目标数据库。

14.如权利要求13所述的增量数据捕获***，其特征在于，还包括：

队列创建单元，用于创建CDC队列，所述CDC队列用于记录当前捕获的增量数据集；

CDC表生成单元，用于生成CDC表，所述CDC表用于记录所有时间点捕获的增量数据集。

15.如权利要求14所述的增量数据捕获***，其特征在于，还包括：

获取单元，用于从CDC表中获取指定时间段内的增量恢复数据；

第二发送单元，用于发送所述获取的增量恢复数据至目标数据库；

语句生成单元，用于根据所述增量恢复数据生成相应的SQL语句；

恢复单元，用于执行所述SQL语句，完成对目标数据库指定时间点的增量数据恢复。

16.如权利要求10至15任一权利要求所述的增量数据捕获***，其特征在于：

所述快照表是与目标表相同或能够完全兼容目标表中所有数据的关系数据库表结构。

17.如权利要求10至15任一权利要求所述的增量数据捕获***，其特征在于：

所述捕获单元利用关系数据库内全连接和条件查询的方式实现数据库快照比对和增量数据的捕获。

Images