CN112783910A - 一种基于消息中间件的数据分发方法及*** - Google Patents

Abstract

本申请公开了一种基于消息中间件的数据分发方法及***，用以解决现有数据的分发不够安全，且效率不高的技术问题。方法包括：数据分发方确定数据变更集，并将数据变更集发送给消息中间件；消息中间件将数据变更集转换为变更数据流，并将变更数据流分发给数据订阅方；数据订阅方将接收到的来自消息中间件的变更数据流中包含的数据，更新到数据订阅方的数据库中。本申请通过引入消息中间件，避免了数据分发方直接访问数据订阅方数据库进行对数据订阅方数据库的更新，从而提高了安全性；通过消息中间件进行数据的分发，无需对所有数据订阅方进行访问，降低了数据分发方在分发数据变更集时流量的瞬时高峰，提高了数据的分发的效率。

Description

一种基于消息中间件的数据分发方法及***

技术领域

本申请涉及数据交换技术领域，尤其涉及一种基于消息中间件的数据分发方法及***。

背景技术

随着企事业单位信息化和数字化的推进，企事业单位所使用的业务应用***越来越多也越来越复杂，在不同的业务***之间或者在分布式***内的不同业务应用之间，均需要确保互联互通，以方便不同的业务***或者分布式***内的不同业务应用进行数据的分发和交换。

目前，大多数企事业单位进行数据的分发时，直接采用访问数据库的方式来对数据文件进行传输，但采用这种方式进行数据的分发不够安全，且效率不高。

发明内容

本申请实施例提供了一种基于消息中间件的数据分发方法及***，用以解决现有数据的分发不够安全，且效率不高的技术问题。

一方面，本申请实施例提供了一种基于消息中间件的数据分发方法，包括：数据分发方确定数据变更集，并将数据变更集发送给消息中间件；消息中间件将数据变更集转换为变更数据流，并将变更数据流分发给数据订阅方；数据订阅方将接收到的来自消息中间件的变更数据流中包含的数据，更新到数据订阅方的数据库中。

本申请实施例提供的一种基于消息中间件的数据分发方法，首先数据分发方通过确定数据变更集将需要分发的数据进行组织并进行描述，确定数据的信息及数据的结构形式；然后将数据变更集发送到消息中间件，通过消息中间件将数据分发给数据订阅方，通过采用消息中间件能够确保数据的安全，并且能够提升数据分发的效率；最后，数据订阅方在接收到消息中间件发送的数据后，将其数据库中的数据进行更新。本申请通过引入消息中间件对使得数据分发方在对数据订阅方数据库进行更新时，避免了数据分发方直接访问数据订阅方数据库进行对数据订阅方数据库的更新，从而提高了安全性，并且通过消息中间件进行数据的分发，数据分发方只需将数据变更集发送给消息中间件，无需对所有数据订阅方进行访问，降低了数据分发方在分发数据变更集时流量的瞬时高峰，提高了数据的分发的效率。

在本申请的一种实现方式中，数据分发方在将所述数据变更集发送给消息中间件之前，方法还包括：数据分发方判断数据变更集是否含有不合法信息；在确定数据变更集含有不合法信息的情况下，终止数据变更集的分发。

在本申请的一种实现方式中，消息中间件在将变更数据流发送给数据订阅方之后，方法还包括：消息中间件判断变更数据流是否分发成功；在变更数据流没有分发成功的情况下，执行第一重试方案，进行重新发送。

在本申请的一种实现方式中，在变更数据流没有分发成功的情况下，执行第一重试方案，进行重新发送，具体包括：消息中间件将变更数据流重新发送给数据订阅方，直至将数据变更集分发成功；消息中间件在将变更数据流重新发送的过程中，记录重新发送的次数。

在本申请的一种实现方式中，消息中间件在重新发送的次数大于等于第一预设阈值的情况下，停止重新发送过程，并将分发失败警告发送给数据分发方。

在本申请的一种实现方式中，数据订阅方将接收到的来自消息中间件的变更数据流中包含的数据，更新到数据订阅方的数据库中，具体包括：数据订阅方将变更数据流转换为数据变更集；解析数据变更集，并将解析完成后的数据变更集转换为可执行的结构化查询语言脚本SQL脚本；执行SQL脚本，以使数据订阅方的数据库完成更新。

在本申请的一种实现方式中，在执行SQL脚本之后，方法还包括：数据订阅方判断SQL脚本是否执行成功；在SQL脚本没有执行成功的情况下，执行第二重试方案，进行重新执行。

在本申请的一种实现方式中，在SQL脚本没有执行成功的情况下，执行第二重试方案，进行重新执行，具体包括：数据订阅方重新执行SQL脚本，直至SQL脚本执行成功；数据订阅方在重新执行SQL脚本的过程中，记录执行失败的次数。

在本申请的一种实现方式中，数据订阅方在执行失败的次数大于等于第二预设阈值的情况下，停止重新执行过程，并发出更新失败警告。

另一方面，本申请实施例还提供了一种基于消息中间件的数据分发***，其特征在于，***包括：数据分发方，用于确定数据变更集，并将数据变更集发送给消息中间件；消息中间件，用于将数据变更集转换为变更数据流，并将变更数据流分发给数据订阅方；数据订阅方，用于将接收到的来自消息中间件的变更数据流中包含的数据，更新到数据订阅方的数据库中。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种基于消息中间件的数据分发方法流程图；

图2为本申请实施例提供的一种基于消息中间件的数据分发***结构图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，大多数企事业单位进行数据的分发时，数据分发方直接采用访问数据订阅方数据库的方式来对数据文件进行传输，从而实现对数据订阅方数据数据的修改，采用这种方式，对数据订阅方数据库的修改，不利于数据订阅方数据库其他数据的保密，并且可能造成数据订阅方数据库其他数据的丢失；另外，现有企事业单位所使用的业务应用***，在数据分发方分发数据时，可能由于数据分发方需要同时分发多个数据订阅方，使得数据分发方的发出的瞬时数据流量巨大，从导致数据的拥堵，影响数据的分发效率。

本申请实施例提供了一种基于消息中间件的数据分发方法及***，用以解决现有数据的分发不够安全，且效率不高的技术问题。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

图1为本申请实施例提供的一种基于消息中间件的数据分发方法流程图。

如图1所示，本申请实施例提供的一种基于消息中间件的数据分发方法具体包括以下步骤：

步骤101、数据分发方确定数据变更集，并将数据变更集发送给消息中间件。

在本申请的一个实施例中，数据分发方对数据订阅方数据库中的数据更新，包括，在数据订阅方数据库中的增加数据，对数据订阅方数据库中的数据进行删除以及对数据订阅方数据库中的数据进行修改。因此，数据分发方确定的数据变更集，应当包括所需要的更新的数据，以及该数据的更新方式；其中，所述更新方式包括：增加、删除、修改。

具体的，数据变更集应当包含数据分发者的信息，即数据变更集所属的***或业务应用的信息，用以描述数据的来源；数据变更集还应当包含数据变更集的结构，用以描述数据的表现形式，或者存储形式；需要说明的是，数据变更集的结构包括数据表、字段以及数据行范围条件或者多个数据表之间的关系描述信息；数据变更集还应当包含数据订阅方信息，即数据变更集所需配置的***或业务应用信息，用以描述数据的去向；需要说明的是，数据变更集中可配置有多个数据订阅方的信息，从而使该数据变更集更新多个需要同样操作的数据订阅方的数据库；最后，数据变更集应当包含所需要的更新的数据内容信息，以及该数据内容信息的更新方式，用以确定需要更新的数据订阅方数据库中的具体数据，以及对该具体数据所需要执行的更新操作。在本申请实施例中，数据分发方通过组织上述数据变更集所应当包含的信息，确定数据变更集。

另外，数据变更集还可以包含数据的类型，用以描述更新到数据订阅方数据中的是何种类型的数据；以及数据变更集还可以包含时间戳信息，用以描述数据分发方在何时将数据变更集组织完成。需要说明的是，数据的类型和时间戳信息可以根据需求选择性的加入到数据变更集，本申请在此不做限定。可以理解的是，根据需求还可以在数据变更集中添加其他的信息。

进一步地，数据分发方在确定数据变更集后，将数据变更集发送给消息中间件。可以理解的是，将数据变更集发送给消息中间件是为了通过消息中间件将数据变更集分发给数据订阅方。

在本身请的一个实施例中，在数据分发方将数据变更集上传至消息中间件之前，数据订阅方还会解析确定的数据变更集，判断数据变更集是否含有不合法的信息，在确定数据变更集含有不合法信息的情况下，数据订阅方将终止本次数据变更集的分发。

需要说明的是，本申请实施例所说的不合法的信息是在数据变更集存在错误的来源信息、去向信息或者数据信息，以及不符合数据变更集格式的数据变更集的结构信息；另外，根据需求还可以设置特定的敏感词汇、语句作为不合法的信息，在消息中间件确定数据变更集含有这些特定敏感词汇、语句的情况下，终止数据变更集的分发。

步骤102、消息中间件将数据变更集转换为变更数据流，并将变更数据流分发给数据订阅方。

在本身请的一个实施例中，消息中间件在接收到数据分发方发送的数据变更集之后，首先会将数据变更集转换为变更数据流，并将转换的变更数据流存储在其消息队列中。可以理解的是，由于***或业务应用之间，数据的分发实际上是数据流的传递，因此，消息中间件需要将数据变更集转换为变更数据流。

进一步地，在消息中间件将数据变更集转换为变更数据流并存储在其消息队列中之后，消息中间件会调用其中预设的发布方法，根据变更数据流中含有的去向信息，将存储在消息队列中的变更数据流分发给去向信息中包含的各个数据订阅方。

进一步地，在消息中间件将变更数据流分发后，消息中间件的输出接口会发出返回值；其中，返回值可以进行判断变更数据流是否分发成功。例如，在消息中间件的输出接口发出的返回值为1的情况下，确定变更数据流分发成功；在消息中间件的输出接口发出的返回值为0的情况下，确定变更数据流分发失败。

在变更数据流没有分发成功的情况下，消息中间件会执行第一重试方案，将变更数据流进行重新发送。

具体地，当变更数据流没有分发成功时，变更数据流会重新存储在消息队里中，然后消息中间件会再次调用其中预设的发布方法，将变更数据流重新发送给去向信息中包含的各个数据订阅方。在变更数据流重新发送依然没有分发成功的情况下，会循环重新发送，直至将数据变更集分发给各个数据订阅方。在循环重新发送的同时，消息中间件会记录重新发送的次数，当重新发送的次数大于等于第一预设阈值时，停止重新发送过程，并将分发失败警告发送给数据分发方。例如，设置第一预设阈值为5，在消息中间件将变更数据流分发给数据订阅方时，如果分发不成功，消息中间件就会持续不断的将变更数据流重复分发给数据订阅方，直到分发成功或者重复分发的次数达到5才停止重发；在重复分发的次数达到5次之后，消息中间件会将分发失败的变更数据流重新存储在消息对列中，并将分发失败的警告发送给数据分发方，以等待人工干预处理。

本身请实施例通过引入消息中间件变更数据流进行分发，避免了数据分发方直接访问数据订阅方数据库进行对数据订阅方数据库的更新，从而提高了安全性，并且通过消息中间件进行数据的分发，数据分发方只需将数据变更集发送给消息中间件，无需对所有数据订阅方进行访问，降低了数据分发方在分发数据变更集时流量的瞬时高峰，提高了数据的分发的效率。

步骤103、数据订阅方将接收到的来自消息中间件的变更数据流中包含的数据，更新到数据订阅方的数据库中。

在本身请的一个实施例中，在消息中间件将变更数据流分发给各个数据订阅方之后，各个数据订阅方首先会将变更数据流转换为数据变更集。由于***或业务应用能够识别的是数据变更集的格式，而不是变更数据流的格式，因此，数据订阅方需要将变更数据流转换为数据变更集。

进一步地，在数据订阅方将变更数据流转换为数据变更集之后，数据订阅方会解析数据变更集，并将解析完成后的数据变更集转换为可执行的SQL脚本且存储在数据订阅方的存储介质中。需要说明是，由于增加、删除、修改，都是具体的更新操作，因此需要再将数据变更集转换为可执行的SQL脚本。在转换完成后，数据订阅方会调用其中的更新模块，对转换后的SQL脚本进行执行，在执行完成后即可对数据订阅方的数据库实现增加、删除或者修改的更新操作。

在对SQL脚本执行结束时，数据订阅方的更新模块会返回可以判断是否执行成功的返回值。在SQL脚本没有执行成功的情况下，数据订阅方会执行第二重试方案，将变更数据流进行重新执行。

具体地，当SQL脚本没有执行成功时，SQL脚本会重新存储在数据订阅方的存储介质中，然后数据订阅方的更新模块会再次对SQL脚本进行执行。在SQL脚本重新执行依然没有执行成功的情况下，会循环重新执行，直至将SQL脚本执行成功，完成数据订阅方数据库的更新。在循环重新执行的同时，数据订阅方会记录重新执行的次数，当重新执行的次数大于等于第一预设阈值时，停止重新执行过程，并将发出更新失败警告，以等待数据订阅方进行人工干预处理。

基于同样的发明构思，本申请实施例还提供了一种基于消息中间件的数据分发***，其结构如图2所示。

图2为本申请实施例提供的一种基于消息中间件的数据分发***。如图2所示，本申请实施例提供的一种基于消息中间件的数据分发***包括：数据分发方201、消息中间件202、数据订阅方203。

本领域技术人员可以理解的是，图2显示出的基于消息中间件的数据分发***结构并不构成对基于消息中间件的数据分发***的限定，实际上，基于消息中间件的数据分发***可以包括比图2所示更多或更少的模块，或者组合某些模块。

在本申请的一个实施例中，数据分发方201，用于确定数据变更集，并将数据变更集发送给消息中间件；消息中间件202，用于将数据变更集转换为变更数据流，并将变更数据流分发给数据订阅方；数据订阅方203，用于将接收到的来自所述消息中间件的所述变更数据流中包含的数据，更新到所述数据订阅方的数据库中。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于消息中间件的数据分发方法，其特征在于，所述方法包括：

数据分发方确定数据变更集，并将所述数据变更集发送给消息中间件；

所述消息中间件将所述数据变更集转换为变更数据流，并将所述变更数据流分发给数据订阅方；

所述数据订阅方将接收到的来自所述消息中间件的所述变更数据流中包含的数据，更新到所述数据订阅方的数据库中。

2.根据权利要求1所述的一种基于消息中间件的数据分发方法，其特征在于，数据分发方在将所述数据变更集发送给消息中间件之前，所述方法还包括：

所述数据分发方判断所述数据变更集是否含有不合法信息；

在确定所述数据变更集含有不合法信息的情况下，终止所述数据变更集的分发。

3.根据权利要求1所述的一种基于消息中间件的数据分发方法，其特征在于，所述消息中间件在将所述变更数据流分发给数据订阅方之后，所述方法还包括：

所述消息中间件判断所述变更数据流是否分发成功；

在所述变更数据流没有分发成功的情况下，执行第一重试方案，进行重新发送。

4.根据权利要求3所述的一种基于消息中间件的数据分发方法，其特征在于，所述在所述变更数据流没有分发成功的情况下，执行第一重试方案，进行重新发送，具体包括：

所述消息中间件将所述变更数据流重新发送给所述数据订阅方，直至将所述数据变更集分发成功；

所述消息中间件在将所述变更数据流重新发送的过程中，记录重新发送的次数。

5.根据权利要求4所述的一种基于消息中间件的数据分发方法，其特征在于，

所述消息中间件在所述重新发送的次数大于等于第一预设阈值的情况下，停止重新发送过程，并将分发失败警告发送给所述数据分发方。

6.根据权利要求1所述的一种基于消息中间件的数据分发方法，其特征在于，所述数据订阅方将接收到的来自所述消息中间件的所述变更数据流中包含的数据，更新到所述数据订阅方的数据库中，具体包括：

所述数据订阅方将所述变更数据流转换为所述数据变更集；

解析所述数据变更集，以将所述数据变更集转换为可执行的结构化查询语言脚本SQL脚本；

执行所述SQL脚本，以使所述SQL脚本中包含的数据更新到所述数据订阅方的数据库中。

7.根据权利要求6所述的一种基于消息中间件的数据分发方法，其特征在于，在执行所述SQL脚本之后，所述方法还包括：

所述数据订阅方判断所述SQL脚本是否执行成功；

在所述SQL脚本没有执行成功的情况下，执行第二重试方案，进行重新执行。

8.根据权利要求7所述的一种基于消息中间件的数据分发方法，其特征在于，在所述SQL脚本没有执行成功的情况下，执行第二重试方案，进行重新执行，具体包括：

所述数据订阅方重新执行所述SQL脚本，直至所述SQL脚本执行成功；

所述数据订阅方在重新执行所述SQL脚本的过程中，记录执行失败的次数。

9.根据权利要求8所述的一种基于消息中间件的数据分发方法，其特征在于，

所述数据订阅方在所述执行失败的次数大于等于第二预设阈值的情况下，停止重新执行过程，并发出更新失败警告。

10.一种基于消息中间件的数据分发***，其特征在于，所述***包括：

数据分发方，用于确定数据变更集，并将所述数据变更集发送给消息中间件；

消息中间件，用于将所述数据变更集转换为变更数据流，并将所述变更数据流分发给数据订阅方；

数据订阅方，用于将接收到的来自所述消息中间件的所述变更数据流中包含的数据，更新到所述数据订阅方的数据库中。

Images