CN108536774B - 一种结构化数据的同步方法及*** - Google Patents

Abstract

本申请公开了一种结构化数据的同步方法，包括当源***的数据发生变化时，基于变化数据包括的数据批次外键查询变化数据的批次信息，查询到批次信息时，基于批次信息及其对应的变化数据生成同步数据视图，基于同步数据视图将变化数据卸载至公共目录并更新批次信息，从公共目录中加载变化数据至目标***的临时数据表，从临时数据表中查询变化数据的数据批次外键，基于数据批次外键处理目标***中的待处理数据，将变化数据加载至目标***的正式数据表中并反馈数据批次外键至源***，基于反馈的数据批次外键更新源***中的批次信息。与现有技术相比本申请可以满足两个***间大数据量的数据同步需求，并且可以在同步过程中及时反馈同步信息。

Description

一种结构化数据的同步方法及***

技术领域

本申请涉及数据存储技术领域，尤其涉及一种结构化数据的同步方法及***。

背景技术

随着金融***对IT技术应用的不断深入，***间数据往来的关系越来越复杂。有些***间需要传输较大规模的数据,同时还有较高的时效性要求。比如，在利率市场化的大背景下，银行针对存贷款业务开始使用精细化的定价策略，针对不同地域、产品、客户等信息，由专业的定价***批量生成对应的利率信息。这些利率值需要发送给办理存贷款业务的***，作为与客户谈判的上限或下限利率值。以一个全国性银行的存款为例，针对不同机构(通常细化到支行)、期限、存款金额、客户类型等条件组合生成的存款利率上限信息可以达到百万条的规模。这些利率授权信息的发送需要非常准确和及时，因为如果利率信息更新不及时，针对业务规模大的客户，利率每偏差一个基点，会给银行的收益带来上万甚至上十万的变化；或者因为利率优惠不到位，而流失掉一些重要的客户。

从一个***往另一个***同步结构化数据时，目前通常有web服务接口调用、消息队列和后台作业链处理三种解决思路。web服务接口调用只适合小规模的数据更新,当数据容量较大或并发访问量剧增时,都容易造成接口调用超时而失败。消息队列通过***间的解耦和异步处理，提高了***间的并发处理能力，但如果传递的数据容量过大，需要消耗大量内存，并且增加了服务器在发生故障时持久化消息的时间和难度，适合并发访问量峰值大但单次数据容量不大的数据同步，而不太适合单次大容量的数据同步。后台作业链处理可以解决大容量数据的同步问题，但当目标***的网络传输或者作业链程序出现故障时，源***无法及时获得相关信息，通常适合实效性要求不高的数据传递

因此，如何在两个***间需要同步的数据量较大时满足数据的同步需求且及时获得反馈成为了本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本申请提供了一种结构化数据的同步方法，与现有技术相比本申请可以满足两个***间大数据量的数据同步需求，并且可以在同步过程中及时反馈同步信息。

本申请提供了一种结构化数据的同步方法，包括：

当源***的数据发生变化时，基于所述变化数据包括的数据批次外键查询变化数据的批次信息；

查询到所述批次信息时，基于所述批次信息及其对应的变化数据生成同步数据视图；

基于所述同步数据视图将所述变化数据卸载至公共目录并更新所述批次信息；

从所述公共目录中加载所述变化数据至所述目标***的临时数据表；

从所述临时数据表中查询所述变化数据的数据批次外键，基于所述数据批次外键处理所述目标***中的待处理数据；

将所述变化数据加载至所述目标***的正式数据表中并反馈所述数据批次外键至源***；

基于反馈的数据批次外键更新所述源***中的批次信息。

优选地，所述批次信息包括所述变化数据的批次ID及收发状态，还包括所述变化数据的发送批次、发送结束时间及接收反馈时间中的任意一项或多项。

优选地，还包括：

当查询不到所述变化数据的批次信息时，生成所述变化数据的批次信息；

设置所述批次信息中的收发状态为未发送。

优选地，基于所述同步数据视图将所述变化数据卸载至公共目录并更新所述批次信息时，所述批次信息中的收发状态更新为已发送；

基于反馈的数据批次外键更新所述源***中的批次信息时，所述批次信息中的收发状态更新为已接收。

优选地，所述基于所述同步数据视图将所述变化数据卸载至公共目录包括：

基于所述同步数据视图锁定所述变化数据；

将所述变化数据卸载至公共目录并更新所述批次信息。

一种结构化数据的同步***，包括第一查询模块、视图生成模块、卸载模块、更新模块、第一加载模块、第二查询模块、旧数据处理模块、第二加载模块及反馈模块，其中：

所述第一查询模块用于在源***的数据发生变化时，基于所述变化数据包括的数据批次外键查询变化数据的批次信息；

所述视图生成模块用于在查询到所述批次信息时，基于所述批次信息及其对应的变化数据生成同步数据视图；

所述卸载模块用于基于所述同步数据视图将所述变化数据卸载至公共目录，所述更新模块用于更新所述批次信息；

所述第一加载模块用于从所述公共目录中加载所述变化数据至所述目标***的临时数据表；

所述第二查询模块用于从所述临时数据表中查询所述变化数据的数据批次外键，所述旧数据处理模块用于基于所述数据批次外键处理所述目标***中的待处理数据；

所述第二加载模块用于将所述变化数据加载至所述目标***的正式数据表中，所述反馈模块用于反馈所述数据批次外键至源***；

所述更新模块还用于基于反馈的数据批次外键更新所述源***中的批次信息。

优选地，所述批次信息包括所述变化数据的批次ID及收发状态，还包括所述变化数据的发送批次、发送结束时间及接收反馈时间中的任意一项或多项。

优选地，还包括批次信息生成模块，其中：

所述批次信息生成模块用于当查询不到所述变化数据的批次信息时，生成所述变化数据的批次信息；

所述批次信息生成模块还用于设置所述批次信息中的收发状态为未发送。

优选地，基于所述同步数据视图将所述变化数据卸载至公共目录并更新所述批次信息时，所述批次信息中的收发状态更新为已发送；

基于反馈的数据批次外键更新所述源***中的批次信息时，所述批次信息中的收发状态更新为已接收。

优选地，所述卸载模块包括锁定单元及卸载单元，其中：

所述锁定单元用于基于所述同步数据视图锁定所述变化数据；

所述卸载单元用于将所述变化数据卸载至公共目录。

综上所述，本申请公开了一种结构化数据的同步方法，包括当源***的数据发生变化时，基于变化数据包括的数据批次外键查询变化数据的批次信息，查询到批次信息时，基于批次信息及其对应的变化数据生成同步数据视图，基于同步数据视图将变化数据卸载至公共目录并更新批次信息，从公共目录中加载变化数据至目标***的临时数据表，从临时数据表中查询变化数据的数据批次外键，基于数据批次外键处理目标***中的待处理数据，将变化数据加载至目标***的正式数据表中并反馈数据批次外键至源***，基于反馈的数据批次外键更新源***中的批次信息。与现有技术相比本申请可以满足两个***间大数据量的数据同步需求，并且可以在同步过程中及时反馈同步信息。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请公开的一种结构化数据的同步方法的实施例1的流程图；

图2为本申请公开的一种结构化数据的同步方法的实施例2的流程图；

图3为本申请公开的一种结构化数据的同步方法的实施例2的流程图；

图4为本申请公开的一种结构化数据的同步***的实施例1的结构示意图；

图5为本申请公开的一种结构化数据的同步***的实施例2的结构示意图；

图6为本申请公开的一种结构化数据的同步***的实施例3的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，为本申请公开的一种结构化数据的同步方法的实施例1的流程图，本方法包括：

S101、当源***的数据发生变化时，基于变化数据包括的数据批次外键查询变化数据的批次信息；

在源***中，对需要同步的数据找到一个合适的外键进行批次划分。这个外键通常是源***变更数据时需要进行查询的某个条件，比如数据所属机构代码、最后修改日期、所属模型代码等，或者多个条件的组合。通过这个外键查询，可以覆盖到所有有变化的数据，并减少需要同步的数据范围。此外键即是数据批次外键。当源***的数据发生变化时，***根据变化数据对应的“数据批次外键”信息，查询批次信息，批次信息为源***中的数据表，主要字段如下：

其中，“批次ID”字段的类型与“数据批次外键”字段类型相同，可以是单一字段做主键，也可以是多个字段的联合主键。

“发送批次”字段的长度根据两个***同步数据的最高频度来确定。比如，如果是按日同步，发送批次的格式为YYYYMMDD，长度8位即可；如果是按小时同步，发送批次的格式为YYYYMMDDHH，长度10位即可。

“收发状态”字段用来记录该批次数据的同步状态，可以划分成3种状态：0—未发送；1—已发送；2—已接收。

“发送结束时间”和“接收反馈时间”两个字段分别用来记录源***完成数据发送和收到目标***反馈信息的时间点，用于分析数据同步***的时间性能。

S102、查询到批次信息时，基于批次信息及其对应的变化数据生成同步数据视图；

源***基于“同步数据”表和“批次信息”表创建一个数据库视图“同步数据视图”。该视图的定义如下：

该视图的数据结构同“同步数据”表，但通过“批次信息”表对该表的数据进行了筛选，使每次仅同步发生过变化的数据，而非全部数据。

S103、基于同步数据视图将变化数据卸载至公共目录并更新批次信息；

在确定了每次需要同步的数据(即变化数据)，将同步数据视图对应的的数据卸载到目标***也能访问的公共目录下。

最后更新批次信息，将批次信息表中发送批次等于当前时间对应批次的收发状态字段值改为1(已发送)。

S104、从公共目录中加载变化数据至目标***的临时数据表；

目标***的数据加载程序由后台调度程序按特定的频度调用，其触发的时间点比源***的数据卸载程序的时间点晚，主要给源***的数据卸载程序预留时间。首先将需要同步的数据文件(变化数据)加载到数据库的临时数据表中。

S105、从临时数据表中查询变化数据的数据批次外键，基于数据批次外键处理目标***中的待处理数据；

然后从临时数据表中查询这些数据的数据批次外键信息，查询操作为：

select distinct数据批次外键from临时数据表。

拿到数据批次外键信息后，目标***根据这些外键信息删除目标***已有的数据或者将已有的时间拉链数据进行闭链处理。

S106、将变化数据加载至目标***的正式数据表中并反馈数据批次外键至源***；

执行完上一步后，目标***再将临时数据表中的数据正式加载到正式数据表中并清空临时表中的记录。

S107、基于反馈的数据批次外键更新源***中的批次信息；

目标***给源***反馈上一步得到的数据批次外键信息，通过消息队列的方式进行准实时发送。

源***收到目标***发送的数据批次外键信息后，根据这些值将批次信息表对应的记录的收发状态字段值改为2(已接收)。

由于本申请的技术方案，在文件的同步过程中会对批次文件的收发状态进行更新，因此可以及时知晓同步过程是否出现异常。并可进行人工干预。

如果以上流程都能正常执行，源***中的“批次信息”中的“收发状态”能正常变更成2(已接收)。源***管理可以在源***上查看“批次信息”。如果源***管理发现某个或某几个“批次信息”的状态没有及时更新过来，通过分析“批次信息”的“收发状态”值，他可以作出相应的处理。

如果“批次信息”的“收发状态”值是1(未发送)，则需要分析和解决源***数据卸载程序执行遇到的问题，然后手工调用源***的数据卸载程序。

如果“批次信息”的“收发状态”值是2(已发送)并且消息服务器没有收到“数据批次外键”信息，这说明是目标***数据加载程序或反馈程序出现了问题，源***管理员可以通知目标***管理员排查、解决并进行相应的人工调度操作。

如果批次信息”的“收发状态”值是2(已发送)并且消息服务器中存在或者接收过“数据批次外键”信息，这说明是源***的更新批次状态程序出现了问题，源***管理则需要进行相应的排查和解决，并重新进行人工调度。

综上所述，本申请公开了一种结构化数据的同步方法，包括当源***的数据发生变化时，基于变化数据包括的数据批次外键查询变化数据的批次信息，查询到批次信息时，基于批次信息及其对应的变化数据生成同步数据视图，基于同步数据视图将变化数据卸载至公共目录并更新批次信息，从公共目录中加载变化数据至目标***的临时数据表，从临时数据表中查询变化数据的数据批次外键，基于数据批次外键处理目标***中的待处理数据，将变化数据加载至目标***的正式数据表中并反馈数据批次外键至源***，基于反馈的数据批次外键更新源***中的批次信息。与现有技术相比本申请可以满足两个***间大数据量的数据同步需求，并且可以在同步过程中及时反馈同步信息。

如图2所示，为本申请公开的一种结构化数据的同步方法的实施例2的流程图，本方法包括：

S201、当源***的数据发生变化时，基于变化数据包括的数据批次外键查询变化数据的批次信息；

在源***中，对需要同步的数据找到一个合适的外键进行批次划分。这个外键通常是源***变更数据时需要进行查询的某个条件，比如数据所属机构代码、最后修改日期、所属模型代码等，或者多个条件的组合。通过这个外键查询，可以覆盖到所有有变化的数据，并减少需要同步的数据范围。此外键即是数据批次外键。当源***的数据发生变化时，***根据变化数据对应的“数据批次外键”信息，查询批次信息，批次信息为源***中的数据表，主要字段如下：

其中，“批次ID”字段的类型与“数据批次外键”字段类型相同，可以是单一字段做主键，也可以是多个字段的联合主键。

“发送批次”字段的长度根据两个***同步数据的最高频度来确定。比如，如果是按日同步，发送批次的格式为YYYYMMDD，长度8位即可；如果是按小时同步，发送批次的格式为YYYYMMDDHH，长度10位即可。

“收发状态”字段用来记录该批次数据的同步状态，可以划分成3种状态：0—未发送；1—已发送；2—已接收。

“发送结束时间”和“接收反馈时间”两个字段分别用来记录源***完成数据发送和收到目标***反馈信息的时间点，用于分析数据同步***的时间性能。

S202、查询到批次信息时，基于批次信息及其对应的变化数据生成同步数据视图；

S203、当查询不到变化数据的批次信息时，生成变化数据的批次信息，设置批次信息中的收发状态为未发送，基于批次信息及其对应的变化数据生成同步数据视图；

源***基于“同步数据”表和“批次信息”表创建一个数据库视图“同步数据视图”。该视图的定义如下：

该视图的数据结构同“同步数据”表，但通过“批次信息”表对该表的数据进行了筛选，使每次仅同步发生过变化的数据，而非全部数据。

S204、基于同步数据视图将变化数据卸载至公共目录并更新批次信息；

在确定了每次需要同步的数据(即变化数据)，将同步数据视图对应的的数据卸载到目标***也能访问的公共目录下。

最后更新批次信息，将批次信息表中发送批次等于当前时间对应批次的收发状态字段值改为1(已发送)。

S205、从公共目录中加载变化数据至目标***的临时数据表；

目标***的数据加载程序由后台调度程序按特定的频度调用，其触发的时间点比源***的数据卸载程序的时间点晚，主要给源***的数据卸载程序预留时间。首先将需要同步的数据文件(变化数据)加载到数据库的临时数据表中。

S206、从临时数据表中查询变化数据的数据批次外键，基于数据批次外键处理目标***中的待处理数据；

然后从临时数据表中查询这些数据的数据批次外键信息，查询操作为：

select distinct数据批次外键from临时数据表。

拿到数据批次外键信息后，目标***根据这些外键信息删除目标***已有的数据或者将已有的时间拉链数据进行闭链处理。

S207、将变化数据加载至目标***的正式数据表中并反馈数据批次外键至源***；

执行完上一步后，目标***再将临时数据表中的数据正式加载到正式数据表中并清空临时表中的记录。

S208、基于反馈的数据批次外键更新源***中的批次信息；

目标***给源***反馈上一步得到的数据批次外键信息，通过消息队列的方式进行准实时发送。

源***收到目标***发送的数据批次外键信息后，根据这些值将批次信息表对应的记录的收发状态字段值改为2(已接收)。

由于本申请的技术方案，在文件的同步过程中会对批次文件的收发状态进行更新，因此可以及时知晓同步过程是否出现异常。并可进行人工干预。

如果以上流程都能正常执行，源***中的“批次信息”中的“收发状态”能正常变更成2(已接收)。源***管理可以在源***上查看“批次信息”。如果源***管理发现某个或某几个“批次信息”的状态没有及时更新过来，通过分析“批次信息”的“收发状态”值，他可以作出相应的处理。

如果“批次信息”的“收发状态”值是1(未发送)，则需要分析和解决源***数据卸载程序执行遇到的问题，然后手工调用源***的数据卸载程序。

如果“批次信息”的“收发状态”值是2(已发送)并且消息服务器没有收到“数据批次外键”信息，这说明是目标***数据加载程序或反馈程序出现了问题，源***管理员可以通知目标***管理员排查、解决并进行相应的人工调度操作。

如果批次信息”的“收发状态”值是2(已发送)并且消息服务器中存在或者接收过“数据批次外键”信息，这说明是源***的更新批次状态程序出现了问题，源***管理则需要进行相应的排查和解决，并重新进行人工调度。

如图3所示，为本申请公开的一种结构化数据的同步方法的实施例3的流程图，本方法包括：

S301、当源***的数据发生变化时，基于变化数据包括的数据批次外键查询变化数据的批次信息；

在源***中，对需要同步的数据找到一个合适的外键进行批次划分。这个外键通常是源***变更数据时需要进行查询的某个条件，比如数据所属机构代码、最后修改日期、所属模型代码等，或者多个条件的组合。通过这个外键查询，可以覆盖到所有有变化的数据，并减少需要同步的数据范围。此外键即是数据批次外键。当源***的数据发生变化时，***根据变化数据对应的“数据批次外键”信息，查询批次信息，批次信息为源***中的数据表，主要字段如下：

其中，“批次ID”字段的类型与“数据批次外键”字段类型相同，可以是单一字段做主键，也可以是多个字段的联合主键。

“发送批次”字段的长度根据两个***同步数据的最高频度来确定。比如，如果是按日同步，发送批次的格式为YYYYMMDD，长度8位即可；如果是按小时同步，发送批次的格式为YYYYMMDDHH，长度10位即可。

“收发状态”字段用来记录该批次数据的同步状态，可以划分成3种状态：0—未发送；1—已发送；2—已接收。

“发送结束时间”和“接收反馈时间”两个字段分别用来记录源***完成数据发送和收到目标***反馈信息的时间点，用于分析数据同步***的时间性能。

S302、查询到批次信息时，基于批次信息及其对应的变化数据生成同步数据视图；

源***基于“同步数据”表和“批次信息”表创建一个数据库视图“同步数据视图”。该视图的定义如下：

该视图的数据结构同“同步数据”表，但通过“批次信息”表对该表的数据进行了筛选，使每次仅同步发生过变化的数据，而非全部数据。

S303、基于同步数据视图锁定变化数据；

锁定要发送的数据，将“批次信息”表中“收发状态”字段值不是2(已接收)的记录的“发送批次”字段值设置为当前时间对应的批次，即执行以下SQL操作：

该操作执行的意义在于源***先锁定需要当前批次发送的数据，再进行发送，在锁定时间之后新产生或变化的数据被纳入到下一个发送批次中。

S304、将变化数据卸载至公共目录并更新批次信息；

在确定了每次需要同步的数据(即变化数据)，将同步数据视图对应的的数据卸载到目标***也能访问的公共目录下。

最后更新批次信息，将批次信息表中发送批次等于当前时间对应批次的收发状态字段值改为1(已发送)。

S305、从公共目录中加载变化数据至目标***的临时数据表；

目标***的数据加载程序由后台调度程序按特定的频度调用，其触发的时间点比源***的数据卸载程序的时间点晚，主要给源***的数据卸载程序预留时间。首先将需要同步的数据文件(变化数据)加载到数据库的临时数据表中。

S306、从临时数据表中查询变化数据的数据批次外键，基于数据批次外键处理目标***中的待处理数据；

然后从临时数据表中查询这些数据的数据批次外键信息，查询操作为：

select distinct数据批次外键from临时数据表。

拿到数据批次外键信息后，目标***根据这些外键信息删除目标***已有的数据或者将已有的时间拉链数据进行闭链处理。

S307、将变化数据加载至目标***的正式数据表中并反馈数据批次外键至源***；

执行完上一步后，目标***再将临时数据表中的数据正式加载到正式数据表中并清空临时表中的记录。

S308、基于反馈的数据批次外键更新源***中的批次信息；

目标***给源***反馈上一步得到的数据批次外键信息，通过消息队列的方式进行准实时发送。

源***收到目标***发送的数据批次外键信息后，根据这些值将批次信息表对应的记录的收发状态字段值改为2(已接收)。

由于本申请的技术方案，在文件的同步过程中会对批次文件的收发状态进行更新，因此可以及时知晓同步过程是否出现异常。并可进行人工干预。

如果以上流程都能正常执行，源***中的“批次信息”中的“收发状态”能正常变更成2(已接收)。源***管理可以在源***上查看“批次信息”。如果源***管理发现某个或某几个“批次信息”的状态没有及时更新过来，通过分析“批次信息”的“收发状态”值，他可以作出相应的处理。

如果“批次信息”的“收发状态”值是1(未发送)，则需要分析和解决源***数据卸载程序执行遇到的问题，然后手工调用源***的数据卸载程序。

如果“批次信息”的“收发状态”值是2(已发送)并且消息服务器没有收到“数据批次外键”信息，这说明是目标***数据加载程序或反馈程序出现了问题，源***管理员可以通知目标***管理员排查、解决并进行相应的人工调度操作。

如果批次信息”的“收发状态”值是2(已发送)并且消息服务器中存在或者接收过“数据批次外键”信息，这说明是源***的更新批次状态程序出现了问题，源***管理则需要进行相应的排查和解决，并重新进行人工调度。

如图4所示，为本申请公开的一种结构化数据的同步***的实施例1的结构示意图，本***包括包括第一查询模块101、视图生成模块102、卸载模块103、更新模块104、第一加载模块105、第二查询模块106、旧数据处理模块107、第二加载模块108及反馈模块109，其中：

第一查询模块101用于在源***的数据发生变化时，基于变化数据包括的数据批次外键查询变化数据的批次信息；

在源***中，对需要同步的数据找到一个合适的外键进行批次划分。这个外键通常是源***变更数据时需要进行查询的某个条件，比如数据所属机构代码、最后修改日期、所属模型代码等，或者多个条件的组合。通过这个外键查询，可以覆盖到所有有变化的数据，并减少需要同步的数据范围。此外键即是数据批次外键。当源***的数据发生变化时，***根据变化数据对应的“数据批次外键”信息，查询批次信息，批次信息为源***中的数据表，主要字段如下：

其中，“批次ID”字段的类型与“数据批次外键”字段类型相同，可以是单一字段做主键，也可以是多个字段的联合主键。

“发送批次”字段的长度根据两个***同步数据的最高频度来确定。比如，如果是按日同步，发送批次的格式为YYYYMMDD，长度8位即可；如果是按小时同步，发送批次的格式为YYYYMMDDHH，长度10位即可。

“收发状态”字段用来记录该批次数据的同步状态，可以划分成3种状态：0—未发送；1—已发送；2—已接收。

“发送结束时间”和“接收反馈时间”两个字段分别用来记录源***完成数据发送和收到目标***反馈信息的时间点，用于分析数据同步***的时间性能。

视图生成模块102用于在查询到批次信息时，基于批次信息及其对应的变化数据生成同步数据视图；

源***基于“同步数据”表和“批次信息”表创建一个数据库视图“同步数据视图”。该视图的定义如下：

该视图的数据结构同“同步数据”表，但通过“批次信息”表对该表的数据进行了筛选，使每次仅同步发生过变化的数据，而非全部数据。

卸载模块103用于基于同步数据视图将变化数据卸载至公共目录，更新模块104用于更新批次信息；

在确定了每次需要同步的数据(即变化数据)，将同步数据视图对应的的数据卸载到目标***也能访问的公共目录下。

最后更新批次信息，将批次信息表中发送批次等于当前时间对应批次的收发状态字段值改为1(已发送)。

第一加载模块105用于从公共目录中加载变化数据至目标***的临时数据表；

目标***的数据加载程序由后台调度程序按特定的频度调用，其触发的时间点比源***的数据卸载程序的时间点晚，主要给源***的数据卸载程序预留时间。首先将需要同步的数据文件(变化数据)加载到数据库的临时数据表中。

第二查询模块106用于从临时数据表中查询变化数据的数据批次外键，旧数据处理模块107用于基于数据批次外键处理目标***中的待处理数据；

然后从临时数据表中查询这些数据的数据批次外键信息，查询操作为：

select distinct数据批次外键from临时数据表。

拿到数据批次外键信息后，目标***根据这些外键信息删除目标***已有的数据或者将已有的时间拉链数据进行闭链处理。

第二加载模块108用于将变化数据加载至目标***的正式数据表中，反馈模块109用于反馈数据批次外键至源***；

执行完上一步后，目标***再将临时数据表中的数据正式加载到正式数据表中并清空临时表中的记录。

更新模块104还用于基于反馈的数据批次外键更新源***中的批次信息；

目标***给源***反馈上一步得到的数据批次外键信息，通过消息队列的方式进行准实时发送。

源***收到目标***发送的数据批次外键信息后，根据这些值将批次信息表对应的记录的收发状态字段值改为2(已接收)。

由于本申请的技术方案，在文件的同步过程中会对批次文件的收发状态进行更新，因此可以及时知晓同步过程是否出现异常。并可进行人工干预。

如果以上流程都能正常执行，源***中的“批次信息”中的“收发状态”能正常变更成2(已接收)。源***管理可以在源***上查看“批次信息”。如果源***管理发现某个或某几个“批次信息”的状态没有及时更新过来，通过分析“批次信息”的“收发状态”值，他可以作出相应的处理。

如果“批次信息”的“收发状态”值是1(未发送)，则需要分析和解决源***数据卸载程序执行遇到的问题，然后手工调用源***的数据卸载程序。

如果“批次信息”的“收发状态”值是2(已发送)并且消息服务器没有收到“数据批次外键”信息，这说明是目标***数据加载程序或反馈程序出现了问题，源***管理员可以通知目标***管理员排查、解决并进行相应的人工调度操作。

如果批次信息”的“收发状态”值是2(已发送)并且消息服务器中存在或者接收过“数据批次外键”信息，这说明是源***的更新批次状态程序出现了问题，源***管理则需要进行相应的排查和解决，并重新进行人工调度。

综上所述，本申请公开了一种结构化数据的同步***，本***的工作原理为，当源***的数据发生变化时，基于变化数据包括的数据批次外键查询变化数据的批次信息，查询到批次信息时，基于批次信息及其对应的变化数据生成同步数据视图，基于同步数据视图将变化数据卸载至公共目录并更新批次信息，从公共目录中加载变化数据至目标***的临时数据表，从临时数据表中查询变化数据的数据批次外键，基于数据批次外键处理目标***中的待处理数据，将变化数据加载至目标***的正式数据表中并反馈数据批次外键至源***，基于反馈的数据批次外键更新源***中的批次信息。与现有技术相比本申请可以满足两个***间大数据量的数据同步需求，并且可以在同步过程中及时反馈同步信息。

如图5所示，为本申请公开的一种结构化数据的同步***的实施例2的结构示意图，本***包括第一查询模块201、视图生成模块202、卸载模块203、更新模块204、第一加载模块205、第二查询模块206、旧数据处理模块207、第二加载模块208、反馈模块209及批次信息生成模块210：

第一查询模块201用于在源***的数据发生变化时，基于变化数据包括的数据批次外键查询变化数据的批次信息；

在源***中，对需要同步的数据找到一个合适的外键进行批次划分。这个外键通常是源***变更数据时需要进行查询的某个条件，比如数据所属机构代码、最后修改日期、所属模型代码等，或者多个条件的组合。通过这个外键查询，可以覆盖到所有有变化的数据，并减少需要同步的数据范围。此外键即是数据批次外键。当源***的数据发生变化时，***根据变化数据对应的“数据批次外键”信息，查询批次信息，批次信息为源***中的数据表，主要字段如下：

其中，“批次ID”字段的类型与“数据批次外键”字段类型相同，可以是单一字段做主键，也可以是多个字段的联合主键。

“发送批次”字段的长度根据两个***同步数据的最高频度来确定。比如，如果是按日同步，发送批次的格式为YYYYMMDD，长度8位即可；如果是按小时同步，发送批次的格式为YYYYMMDDHH，长度10位即可。

“收发状态”字段用来记录该批次数据的同步状态，可以划分成3种状态：0—未发送；1—已发送；2—已接收。

“发送结束时间”和“接收反馈时间”两个字段分别用来记录源***完成数据发送和收到目标***反馈信息的时间点，用于分析数据同步***的时间性能。

视图生成模块202用于在查询到批次信息时，基于批次信息及其对应的变化数据生成同步数据视图

批次信息生成模块210用于当查询不到变化数据的批次信息时，生成变化数据的批次信息；

批次信息生成模块210还用于设置批次信息中的收发状态为未发送；

源***基于“同步数据”表和“批次信息”表创建一个数据库视图“同步数据视图”。该视图的定义如下：

该视图的数据结构同“同步数据”表，但通过“批次信息”表对该表的数据进行了筛选，使每次仅同步发生过变化的数据，而非全部数据。

卸载模块203用于基于同步数据视图将变化数据卸载至公共目录，更新模块204用于更新批次信息；

在确定了每次需要同步的数据(即变化数据)，将同步数据视图对应的的数据卸载到目标***也能访问的公共目录下。

最后更新批次信息，将批次信息表中发送批次等于当前时间对应批次的收发状态字段值改为1(已发送)。

第一加载模块205用于从公共目录中加载变化数据至目标***的临时数据表；

目标***的数据加载程序由后台调度程序按特定的频度调用，其触发的时间点比源***的数据卸载程序的时间点晚，主要给源***的数据卸载程序预留时间。首先将需要同步的数据文件(变化数据)加载到数据库的临时数据表中。

第二查询模块206用于从临时数据表中查询变化数据的数据批次外键，旧数据处理模块207用于基于数据批次外键处理目标***中的待处理数据；

然后从临时数据表中查询这些数据的数据批次外键信息，查询操作为：

select distinct数据批次外键from临时数据表。

拿到数据批次外键信息后，目标***根据这些外键信息删除目标***已有的数据或者将已有的时间拉链数据进行闭链处理。

第二加载模块208用于将变化数据加载至目标***的正式数据表中，反馈模块209用于反馈数据批次外键至源***；

执行完上一步后，目标***再将临时数据表中的数据正式加载到正式数据表中并清空临时表中的记录。

更新模块204还用于基于反馈的数据批次外键更新源***中的批次信息；

目标***给源***反馈上一步得到的数据批次外键信息，通过消息队列的方式进行准实时发送。

源***收到目标***发送的数据批次外键信息后，根据这些值将批次信息表对应的记录的收发状态字段值改为2(已接收)。

由于本申请的技术方案，在文件的同步过程中会对批次文件的收发状态进行更新，因此可以及时知晓同步过程是否出现异常。并可进行人工干预。

如果以上流程都能正常执行，源***中的“批次信息”中的“收发状态”能正常变更成2(已接收)。源***管理可以在源***上查看“批次信息”。如果源***管理发现某个或某几个“批次信息”的状态没有及时更新过来，通过分析“批次信息”的“收发状态”值，他可以作出相应的处理。

如果“批次信息”的“收发状态”值是1(未发送)，则需要分析和解决源***数据卸载程序执行遇到的问题，然后手工调用源***的数据卸载程序。

如果“批次信息”的“收发状态”值是2(已发送)并且消息服务器没有收到“数据批次外键”信息，这说明是目标***数据加载程序或反馈程序出现了问题，源***管理员可以通知目标***管理员排查、解决并进行相应的人工调度操作。

如果批次信息”的“收发状态”值是2(已发送)并且消息服务器中存在或者接收过“数据批次外键”信息，这说明是源***的更新批次状态程序出现了问题，源***管理则需要进行相应的排查和解决，并重新进行人工调度。

如图6所示，为本申请公开的一种结构化数据的同步***的实施例3的结构示意图，本***包括第一查询模块301、视图生成模块302、卸载模块303、更新模块304、第一加载模块305、第二查询模块306、旧数据处理模块307、第二加载模块308及反馈模块309，卸载模块303包括锁定单元311及卸载单元312，其中：

第一查询模块301用于在源***的数据发生变化时，基于变化数据包括的数据批次外键查询变化数据的批次信息；

在源***中，对需要同步的数据找到一个合适的外键进行批次划分。这个外键通常是源***变更数据时需要进行查询的某个条件，比如数据所属机构代码、最后修改日期、所属模型代码等，或者多个条件的组合。通过这个外键查询，可以覆盖到所有有变化的数据，并减少需要同步的数据范围。此外键即是数据批次外键。当源***的数据发生变化时，***根据变化数据对应的“数据批次外键”信息，查询批次信息，批次信息为源***中的数据表，主要字段如下：

其中，“批次ID”字段的类型与“数据批次外键”字段类型相同，可以是单一字段做主键，也可以是多个字段的联合主键。

“发送批次”字段的长度根据两个***同步数据的最高频度来确定。比如，如果是按日同步，发送批次的格式为YYYYMMDD，长度8位即可；如果是按小时同步，发送批次的格式为YYYYMMDDHH，长度10位即可。

“收发状态”字段用来记录该批次数据的同步状态，可以划分成3种状态：0—未发送；1—已发送；2—已接收。

“发送结束时间”和“接收反馈时间”两个字段分别用来记录源***完成数据发送和收到目标***反馈信息的时间点，用于分析数据同步***的时间性能。

视图生成模块302用于在查询到批次信息时，基于批次信息及其对应的变化数据生成同步数据视图；

源***基于“同步数据”表和“批次信息”表创建一个数据库视图“同步数据视图”。该视图的定义如下：

该视图的数据结构同“同步数据”表，但通过“批次信息”表对该表的数据进行了筛选，使每次仅同步发生过变化的数据，而非全部数据。

锁定单元311用于基于同步数据视图锁定变化数据；

锁定要发送的数据，将“批次信息”表中“收发状态”字段值不是2(已接收)的记录的“发送批次”字段值设置为当前时间对应的批次，即执行以下SQL操作：

该操作执行的意义在于源***先锁定需要当前批次发送的数据，再进行发送，在锁定时间之后新产生或变化的数据被纳入到下一个发送批次中。

卸载单元312用于将变化数据卸载至公共目录；

在确定了每次需要同步的数据(即变化数据)，将同步数据视图对应的的数据卸载到目标***也能访问的公共目录下。

最后更新批次信息，将批次信息表中发送批次等于当前时间对应批次的收发状态字段值改为1(已发送)。

第一加载模块305用于从公共目录中加载变化数据至目标***的临时数据表；

目标***的数据加载程序由后台调度程序按特定的频度调用，其触发的时间点比源***的数据卸载程序的时间点晚，主要给源***的数据卸载程序预留时间。首先将需要同步的数据文件(变化数据)加载到数据库的临时数据表中。

第二查询模块306用于从临时数据表中查询变化数据的数据批次外键，旧数据处理模块307用于基于数据批次外键处理目标***中的待处理数据；

然后从临时数据表中查询这些数据的数据批次外键信息，查询操作为：

select distinct数据批次外键from临时数据表。

拿到数据批次外键信息后，目标***根据这些外键信息删除目标***已有的数据或者将已有的时间拉链数据进行闭链处理。

第二加载模块308用于将变化数据加载至目标***的正式数据表中，反馈模块309用于反馈数据批次外键至源***；

执行完上一步后，目标***再将临时数据表中的数据正式加载到正式数据表中并清空临时表中的记录。

更新模块304还用于基于反馈的数据批次外键更新源***中的批次信息；

目标***给源***反馈上一步得到的数据批次外键信息，通过消息队列的方式进行准实时发送。

源***收到目标***发送的数据批次外键信息后，根据这些值将批次信息表对应的记录的收发状态字段值改为2(已接收)。

由于本申请的技术方案，在文件的同步过程中会对批次文件的收发状态进行更新，因此可以及时知晓同步过程是否出现异常。并可进行人工干预。

如果以上流程都能正常执行，源***中的“批次信息”中的“收发状态”能正常变更成2(已接收)。源***管理可以在源***上查看“批次信息”。如果源***管理发现某个或某几个“批次信息”的状态没有及时更新过来，通过分析“批次信息”的“收发状态”值，他可以作出相应的处理。

如果“批次信息”的“收发状态”值是1(未发送)，则需要分析和解决源***数据卸载程序执行遇到的问题，然后手工调用源***的数据卸载程序。

如果“批次信息”的“收发状态”值是2(已发送)并且消息服务器没有收到“数据批次外键”信息，这说明是目标***数据加载程序或反馈程序出现了问题，源***管理员可以通知目标***管理员排查、解决并进行相应的人工调度操作。

如果批次信息”的“收发状态”值是2(已发送)并且消息服务器中存在或者接收过“数据批次外键”信息，这说明是源***的更新批次状态程序出现了问题，源***管理则需要进行相应的排查和解决，并重新进行人工调度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，

而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种结构化数据的同步方法，其特征在于，包括：

当源***的数据发生变化时，基于所述变化数据包括的数据批次外键查询变化数据的批次信息；所述批次信息至少包括所述变化数据的批次ID和收发状态；

查询到所述批次信息时，基于所述批次信息及其对应的变化数据生成同步数据视图；

基于所述同步数据视图将所述变化数据卸载至公共目录并更新所述批次信息；

从所述公共目录中加载所述变化数据至目标***的临时数据表；

从所述临时数据表中查询所述变化数据的数据批次外键，基于所述数据批次外键处理所述目标***中的待处理数据；

将所述变化数据加载至所述目标***的正式数据表中并反馈所述数据批次外键至源***；

基于反馈的数据批次外键更新所述源***中的批次信息。

2.如权利要求1所述的方法，其特征在于，所述批次信息包括所述变化数据的批次ID及收发状态，还包括所述变化数据的发送批次、发送结束时间及接收反馈时间中的任意一项或多项。

3.如权利要求2所述的方法，其特征在于，还包括：

当查询不到所述变化数据的批次信息时，生成所述变化数据的批次信息；

设置所述批次信息中的收发状态为未发送。

4.如权利要求2所述的方法，其特征在于，基于所述同步数据视图将所述变化数据卸载至公共目录并更新所述批次信息时，所述批次信息中的收发状态更新为已发送；

基于反馈的数据批次外键更新所述源***中的批次信息时，所述批次信息中的收发状态更新为已接收。

5.如权利要求1所述的方法，其特征在于，所述基于所述同步数据视图将所述变化数据卸载至公共目录包括：

基于所述同步数据视图锁定所述变化数据；

将所述变化数据卸载至公共目录并更新所述批次信息。

6.一种结构化数据的同步***，其特征在于，包括第一查询模块、视图生成模块、卸载模块、更新模块、第一加载模块、第二查询模块、旧数据处理模块、第二加载模块及反馈模块，其中：

所述第一查询模块用于在源***的数据发生变化时，基于所述变化数据包括的数据批次外键查询变化数据的批次信息；所述批次信息至少包括所述变化数据的批次ID和收发状态；

所述视图生成模块用于在查询到所述批次信息时，基于所述批次信息及其对应的变化数据生成同步数据视图；

所述卸载模块用于基于所述同步数据视图将所述变化数据卸载至公共目录，所述更新模块用于更新所述批次信息；

所述第一加载模块用于从所述公共目录中加载所述变化数据至目标***的临时数据表；

所述第二查询模块用于从所述临时数据表中查询所述变化数据的数据批次外键，所述旧数据处理模块用于基于所述数据批次外键处理所述目标***中的待处理数据；

所述第二加载模块用于将所述变化数据加载至所述目标***的正式数据表中，所述反馈模块用于反馈所述数据批次外键至源***；

所述更新模块还用于基于反馈的数据批次外键更新所述源***中的批次信息。

7.如权利要求6所述的***，其特征在于，所述批次信息包括所述变化数据的批次ID及收发状态，还包括所述变化数据的发送批次、发送结束时间及接收反馈时间中的任意一项或多项。

8.如权利要求7所述的***，其特征在于，还包括批次信息生成模块，其中：

所述批次信息生成模块用于当查询不到所述变化数据的批次信息时，生成所述变化数据的批次信息；

所述批次信息生成模块还用于设置所述批次信息中的收发状态为未发送。

9.如权利要求7所述的***，其特征在于，基于所述同步数据视图将所述变化数据卸载至公共目录并更新所述批次信息时，所述批次信息中的收发状态更新为已发送。

10.如权利要求6所述的***，其特征在于，所述卸载模块包括锁定单元及卸载单元，其中：

所述锁定单元用于基于所述同步数据视图锁定所述变化数据；

所述卸载单元用于将所述变化数据卸载至公共目录。

Images