CN109710688A - 一种数据实时比对校验方法及消息中间件 - Google Patents

Abstract

本发明提供了一种数据实时比对校验方法及消息中间件，其方法包括以下步骤：S1：当服务器写入第一数据至第一数据库表时，控制服务器发送与所述第一数据对应的结构体msg1；S2：根据所述msg1中的第一唯一标识，查询缓存中是否存在所述第一唯一标识，若存在则删除缓存中的所述第一唯一标识；若不存在，则写入所述第一唯一标识至缓存中，并执行S3；S3：等待预设时间后，判断缓存中是否存在唯一标识，若存在，则输出第一数据库表与预设的第二数据库表中的数据不相同，并通过服务器同步第一数据库表与第二数据库表中的数据。本发明通过上述方法，解决了现有的两个数据库表数据比对更新不及时的问题。

Description

一种数据实时比对校验方法及消息中间件

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据实时比对校验方法及消息中间件。

背景技术

随着社会的越来越进步，智能手机的普及与发展迅速，进而带动了移动互联网功能的进一步发展。随着用户量以及数据量的大量增长，给予了移动互联网的服务端巨大的压力，不仅是技术上的，***上的，还有是数据上的。因为存在大量的数据，就存在了很多数据库分库分表的存在。而使用数据库分库分表的时候，就存在需要根据某些特定条件进行的分库分表，而业务上有存在多种业务查询条件，当某种分库分表的业务条件不满足业务的查询要求时，就会要求***进行不同库表数据的双写，即业务接口写满足A条件的分库分表，又写满足B条件的分库分表。此时，写两个库表数据就会可能导致数据不一致。为了防止数据不一致，需要进行数据对比比较。现在的***中，一般需要实现该功能基本上就是全量数据对比扫描，以及增量数据对比扫描两种情况。全量数据对比扫描，会针对全量数据进行对比，查询出不同数据后修复另一个库中的数据，存在对比时间较长，而且占用资源多的问题。而增量对比数据扫描，则是针对一段时间之内的数据进行扫描对比，但是，这个时间是一天或者一小时等，也是存在一段时间的。

发明内容

本发明所要解决的技术问题是：本发明提供了一种数据实时比对校验方法及消息中间件，解决了现有的两个数据库表数据比对更新不及时的问题。

为了解决上述技术问题，本发明提供了一种数据实时比对校验方法，包括以下步骤：

S1：当服务器写入第一数据至第一数据库表时，控制服务器发送与所述第一数据对应的结构体msg1；

S2：根据所述msg1中的第一唯一标识，查询缓存中是否存在所述第一唯一标识，若存在则删除缓存中的所述第一唯一标识；若不存在，则写入所述第一唯一标识至缓存中，并执行S3；

S3：等待预设时间后，判断缓存中是否存在唯一标识，若存在，则输出第一数据库表与预设的第二数据库表中的数据不相同，并通过服务器同步第一数据库表与第二数据库表中的数据。

本发明提供了一种数据实时比对校验的消息中间件，包括服务器和消息中间件，所述消息中间件包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1：当服务器写入第一数据至第一数据库表时，控制服务器发送与所述第一数据对应的结构体msg1；

S2：根据所述msg1中的第一唯一标识，查询缓存中是否存在所述第一唯一标识，若存在则删除缓存中的所述第一唯一标识；若不存在，则写入所述第一唯一标识至缓存中，并执行S3；

S3：等待预设时间后，判断缓存中是否存在唯一标识，若存在，则输出第一数据库表与预设的第二数据库表中的数据不相同，并通过服务器同步第一数据库表与第二数据库表中的数据。

本发明的有益效果为：

本发明提供的一种数据实时比对校验方法及消息中间件，当服务器写入数据至一数据库表中时，控制服务器发送与写入数据对应的结构体msg，所述结构体为程序的结构体，根据msg查询缓存中是否存在msg中的唯一标识，若存在则删除缓存中的唯一标识，表示两个数据库表均写入相同的数据；若不存在，则写入所述唯一标识至缓存中，且若预设时间后，缓存中仍存在该唯一标识，则表示另一数据库表未写入相同的数据，则进行数据同步，本发明通过上述方法，在写入数据至数据库表的同时，发送对应的msg，以使能够根据接收的msg，及时判断服务器是否将相同的数据及时写入至两个数据库表中，提高了数据比对检验及数据同步的效率。

附图说明

图1的为根据本发明实施例的一种数据实时比对校验方法的主要步骤示意图；

图2为根据本发明实施例的消息中间件的结构示意图；

标号说明：

1、存储器；2、处理器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明最关键的构思为：当服务器写入数据至一数据库表中时，控制服务器发送对应的结构体msg至消息中间件，查询缓存中是否存在msg中的唯一标识，若存在，则删除该唯一标识；若不存在，则写入所述唯一标识至缓存中，且预设时间后，缓存仍存在该唯一标识，则输出另一数据库表的数据未同步。

请参照图1，本发明提供了一种数据实时比对校验方法，包括以下步骤：

S1：当服务器写入第一数据至第一数据库表时，控制服务器发送与所述第一数据对应的结构体msg1；

S2：根据所述msg1中的第一唯一标识，查询缓存中是否存在所述第一唯一标识，若存在则删除缓存中的所述第一唯一标识；若不存在，则写入所述第一唯一标识至缓存中，并执行S3；

S3：等待预设时间后，判断缓存中是否存在唯一标识，若存在，则输出第一数据库表与预设的第二数据库表中的数据不相同，并通过服务器同步第一数据库表与第二数据库表中的数据。

从上述描述可知，本发明提供的一种数据实时比对校验方法，当服务器写入数据至一数据库表中时，控制服务器发送与写入数据对应的结构体msg，所述结构体为程序的结构体，根据msg查询缓存中是否存在msg中的唯一标识，若存在则删除缓存中的唯一标识，表示两个数据库表均写入相同的数据；若不存在，则写入所述唯一标识至缓存中，且若预设时间后，缓存中仍存在该唯一标识，则表示另一数据库表未写入相同的数据，则进行数据同步，本发明通过上述方法，在写入数据至数据库表的同时，发送对应的msg，以使能够根据接收的msg，及时判断服务器是否将相同的数据及时写入至两个数据库表中，提高了数据比对检验及数据同步的效率。

进一步的，所述S1和S2之间还包括：

接收所述msg1；

解析所述msg1，得到第一唯一标识。

从上述描述可知，通过上述方法能够得msg1中的第一唯一标识。

进一步的，所述一种数据实时比对校验方法，所述S3之前还包括：

当服务器写入第二数据至第二数据库表时，控制服务器发送与所述第二数据对应的结构体msg2；

接收所述msg2；

解析所述msg2，得到第二唯一标识；

判断缓存中是否存在所述第二唯一标识，若存在，则删除缓存中的第二唯一标识；若不存在，则写入第二唯一标识至缓存中，并执行S3。

从上述描述可知，当服务器写入数据至第二数据库时，通过上述方法，能够判断第一数据库表中是否写入了相同的数据，若服务器由于故障未能及时写入第一数据库表，通过上述方法，能够实现数据的及时同步。

进一步的，通过服务器同步第一数据库表与第二数据库表中的数据，具体为：

获取缓存中存在的唯一标识，若所述唯一标识为所述第一唯一标识，则更新与第一唯一标识对应的第一数据至第二数据库表中，并删除缓存中的第一唯一标识；

若所述唯一标识为第二唯一标识，则更新与第二唯一标识对应的第二数据至第二数据库表中，并删除缓存中的第二唯一标识。

从上述描述可知，通过上述方法，能够快速地实现第一数据库表和第二数据库表数据的同步。

进一步的，所述S1之前还包括：

控制服务器接收客户端发送的数据，并将该数据分别写入第一数据库表和第二数据库表中。

本发明还提供了一种数据实时比对校验的消息中间件，包括服务器和消息中间件，如图2所示，所述消息中间件包括存储器1、处理器2及存储在存储器1上并可在处理器2上运行的计算机程序，所述处理器2执行所述计算机程序时实现以下步骤：

S1：当服务器写入第一数据至第一数据库表时，控制服务器发送与所述第一数据对应的结构体msg1；

S2：根据所述msg1中的第一唯一标识，查询缓存中是否存在所述第一唯一标识，若存在则删除缓存中的所述第一唯一标识；若不存在，则写入所述第一唯一标识至缓存中，并执行S3；

S3：等待预设时间后，判断缓存中是否存在唯一标识，若存在，则输出第一数据库表与预设的第二数据库表中的数据不相同，并通过服务器同步第一数据库表与第二数据库表中的数据。

进一步的，所述一种数据实时比对校验的消息中间件，所述S1和S2之间还包括：

接收所述msg1；

解析所述msg1，得到第一唯一标识。

进一步的，所述一种数据实时比对校验的消息中间件，所述S3之前还包括：

当服务器写入第二数据至第二数据库表时，控制服务器发送与所述第二数据对应的结构体msg2；

接收所述msg2；

解析所述msg2，得到第二唯一标识；

判断缓存中是否存在所述第二唯一标识，若存在，则删除缓存中的第二唯一标识；若不存在，则写入第二唯一标识至缓存中，并执行S3。

进一步的，所述一种数据实时比对校验的消息中间件，通过服务器同步第一数据库表与第二数据库表中的数据，具体为：

获取缓存中存在的唯一标识，若所述唯一标识为所述第一唯一标识，则更新与第一唯一标识对应的第一数据至第二数据库表中，并删除缓存中的第一唯一标识；

若所述唯一标识为第二唯一标识，则更新与第二唯一标识对应的第二数据至第二数据库表中，并删除缓存中的第二唯一标识。

进一步的，所述一种数据实时比对校验的消息中间件，所述S1之前还包括：

控制服务器接收客户端发送的数据，并将该数据分别写入第一数据库表和第二数据库表中。

本发明的实施例一为：

本发明提供了一种数据实时比对校验方法，包括以下步骤：

S0：控制服务器接收客户端发送的数据，并将该数据分别写入第一数据库表和第二数据库表中；

其中，服务器写入数据至第一数据库表和第二数据库中正常是同时写入，但由于故障或其他原因，可能会造成只写入其中一个数据库表中，故通过后续步骤可及时对两个数据库表中的数据快速进行比对；

S1：当服务器写入第一数据至第一数据库表时，控制服务器发送与所述第一数据对应的结构体msg1；接收所述msg1；解析所述msg1，得到第一唯一标识；根据所述msg1中的第一唯一标识，查询缓存中是否存在所述第一唯一标识，若存在则删除缓存中的所述第一唯一标识；若不存在，则写入所述第一唯一标识至缓存中，并执行S3；

S2：当服务器写入第二数据至第二数据库表时，控制服务器发送与所述第二数据对应的结构体msg2；接收所述msg2；解析所述msg2，得到第二唯一标识；判断缓存中是否存在所述第二唯一标识，若存在，则删除缓存中的第二唯一标识；若不存在，则写入第二唯一标识至缓存中，并执行S3；

其中，执行步骤S1和S2同时执行，上述的结构体为window程序的结构体。

S3：等待预设时间后，判断缓存中是否存在唯一标识，若存在，则输出第一数据库表与预设的第二数据库表中的数据不相同，并通过服务器同步第一数据库表与第二数据库表中的数据；

其中，所述预设时间为程序的结构体传输至消息中间件所需要的时间，优选的，所述预设时间为3-8s；

其中，通过服务器同步第一数据库表与第二数据库表中的数据，具体为：

获取缓存中存在的唯一标识，若所述唯一标识为所述第一唯一标识，则更新与第一唯一标识对应的第一数据至第二数据库表中，并删除缓存中的第一唯一标识；

若所述唯一标识为第二唯一标识，则更新与第二唯一标识对应的第二数据至第二数据库表中，并删除缓存中的第二唯一标识。

本发明的实施例二为：

本发明提供了一种数据实时比对校验的消息中间件，包括服务器和消息中间件，所述消息中间件包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S0：控制服务器接收客户端发送的数据，并将该数据分别写入第一数据库表和第二数据库表中；

其中，服务器写入数据至第一数据库表和第二数据库中正常是同时写入，但由于故障或其他原因，可能会造成只写入其中一个数据库表中，故通过后续步骤可及时对两个数据库表中的数据快速进行比对；

S1：当服务器写入第一数据至第一数据库表时，控制服务器发送与所述第一数据对应的结构体msg1；接收所述msg1；解析所述msg1，得到第一唯一标识；根据所述msg1中的第一唯一标识，查询缓存中是否存在所述第一唯一标识，若存在则删除缓存中的所述第一唯一标识；若不存在，则写入所述第一唯一标识至缓存中，并执行S3；

S2：当服务器写入第二数据至第二数据库表时，控制服务器发送与所述第二数据对应的结构体msg2；接收所述msg2；解析所述msg2，得到第二唯一标识；判断缓存中是否存在所述第二唯一标识，若存在，则删除缓存中的第二唯一标识；若不存在，则写入第二唯一标识至缓存中，并执行S3；

其中，执行步骤S1和S2同时执行，上述的结构体为window程序的结构体；同时上述的唯一标识与写入的数据相对应，若写入的数据相同，则对应的唯一标识也相同，即若写入第一数据库表和第二数据库表中的数据相同时，第一唯一标识和第二唯一标识是相同的。

S3：等待预设时间后，判断缓存中是否存在唯一标识，若存在，则输出第一数据库表与预设的第二数据库表中的数据不相同，并通过服务器同步第一数据库表与第二数据库表中的数据；

其中，所述预设时间为程序的结构体传输至消息中间件所需要的时间，优选的，所述预设时间为3-8s；

其中，通过服务器同步第一数据库表与第二数据库表中的数据，具体为：

获取缓存中存在的唯一标识，若所述唯一标识为所述第一唯一标识，则更新与第一唯一标识对应的第一数据至第二数据库表中，并删除缓存中的第一唯一标识；

若所述唯一标识为第二唯一标识，则更新与第二唯一标识对应的第二数据至第二数据库表中，并删除缓存中的第二唯一标识。

本发明的实施例三为：

1.服务器通过服务接口中获取客户端传递过来的相关数据，进行业务处理，并生成最终的结果数据进行入库操作。

2.先执行第一数据库表DB1的数据写入操作，当写入成功后，向消息中间件MQ中进行msg1的消息发送。其中msg1中需要带上一个唯一标识，需要能根据该唯一标识查询出刚才写入DB1中的数据信息。

3.当DB1写入成功，同时msg1发送成后，执行第二数据库表DB2数据的写入，写入成功后，发送msg2消息至MQ中。同时，msg2也需要带上msg1中的唯一标识(由于此时写入的数据相同，则所携带的唯一标识相同)，方便后续跟踪对比。

4.此时，数据对比模块只需要实时订阅MQ中的消息即可。假设正常情况下，msg1和msg2中的接收时间应该在3秒以内，如果检测服务在收到msg1之后没有收到msg2,就需要尝试检测数据下，根据msg1中的唯一标识去查询相关信息，进行数据不一致的补偿修复工作。

5.使用以上方式，能够更高效，更实时的进行数据不一致的修复工作。

综上所述，本发明提供的一种数据实时比对校验方法及消息中间件，当服务器写入数据至一数据库表中时，控制服务器发送与写入数据对应的结构体msg至消息中间件，所述结构体为程序的结构体，消息中间件根据msg，查询缓存中是否存在msg中的唯一标识，若存在则删除缓存中的唯一标识，表示两个数据库表均写入相同的数据；若不存在，则写入所述唯一标识至缓存中，且若预设时间后，缓存中仍存在该唯一标识，则表示另一数据库表未写入相同的数据，则进行数据同步，本发明通过上述方法，在写入数据至数据库表的同时，发送对应的msg至消息中间件，以使消息中间件能够根据接收的msg，及时判断服务器是否将相同的数据及时写入至两个数据库表中，提高了数据比对检验及数据同步的效率。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据实时比对校验方法，其特征在于，包括以下步骤：

S1：当服务器写入第一数据至第一数据库表时，控制服务器发送与所述第一数据对应的结构体msg1；

S2：根据所述msg1中的第一唯一标识，查询缓存中是否存在所述第一唯一标识，若存在则删除缓存中的所述第一唯一标识；若不存在，则写入所述第一唯一标识至缓存中，并执行S3；

S3：等待预设时间后，判断缓存中是否存在唯一标识，若存在，则输出第一数据库表与预设的第二数据库表中的数据不相同，并通过服务器同步第一数据库表与第二数据库表中的数据。

2.根据权利要求1所述一种数据实时比对校验方法，其特征在于，所述S1和S2之间还包括：

接收所述msg1；

解析所述msg1，得到第一唯一标识。

3.根据权利要求1所述一种数据实时比对校验方法，其特征在于，所述S3之前还包括：

当服务器写入第二数据至第二数据库表时，控制服务器发送与所述第二数据对应的结构体msg2；

接收所述msg2；

解析所述msg2，得到第二唯一标识；

判断缓存中是否存在所述第二唯一标识，若存在，则删除缓存中的第二唯一标识；若不存在，则写入第二唯一标识至缓存中，并执行S3。

4.根据权利要求3所述的一种数据实时比对校验方法，其特征在于，通过服务器同步第一数据库表与第二数据库表中的数据，具体为：

获取缓存中存在的唯一标识，若所述唯一标识为所述第一唯一标识，则更新与第一唯一标识对应的第一数据至第二数据库表中，并删除缓存中的第一唯一标识；

若所述唯一标识为第二唯一标识，则更新与第二唯一标识对应的第二数据至第二数据库表中，并删除缓存中的第二唯一标识。

5.根据权利要求1所述一种数据实时比对校验方法，其特征在于，所述S1之前还包括：

控制服务器接收客户端发送的数据，并将该数据分别写入第一数据库表和第二数据库表中。

6.一种数据实时比对校验的消息中间件，所述消息中间件包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

S1：当服务器写入第一数据至第一数据库表时，控制服务器发送与所述第一数据对应的结构体msg1；

S2：根据所述msg1中的第一唯一标识，查询缓存中是否存在所述第一唯一标识，若存在则删除缓存中的所述第一唯一标识；若不存在，则写入所述第一唯一标识至缓存中，并执行S3；

S3：等待预设时间后，判断缓存中是否存在唯一标识，若存在，则输出第一数据库表与预设的第二数据库表中的数据不相同，并通过服务器同步第一数据库表与第二数据库表中的数据。

7.根据权利要求6所述一种数据实时比对校验的消息中间件，其特征在于，所述S1和S2之间还包括：

接收所述msg1；

解析所述msg1，得到第一唯一标识。

8.根据权利要求6所述一种数据实时比对校验的消息中间件，其特征在于，所述S3之前还包括：

当服务器写入第二数据至第二数据库表时，控制服务器发送与所述第二数据对应的结构体msg2；

接收所述msg2；

解析所述msg2，得到第二唯一标识；

判断缓存中是否存在所述第二唯一标识，若存在，则删除缓存中的第二唯一标识；若不存在，则写入第二唯一标识至缓存中，并执行S3。

9.根据权利要求8所述的一种数据实时比对校验的消息中间件，其特征在于，通过服务器同步第一数据库表与第二数据库表中的数据，具体为：

获取缓存中存在的唯一标识，若所述唯一标识为所述第一唯一标识，则更新与第一唯一标识对应的第一数据至第二数据库表中，并删除缓存中的第一唯一标识；

若所述唯一标识为第二唯一标识，则更新与第二唯一标识对应的第二数据至第二数据库表中，并删除缓存中的第二唯一标识。

10.根据权利要求6所述一种数据实时比对校验的消息中间件，其特征在于，所述S1之前还包括：

控制服务器接收客户端发送的数据，并将该数据分别写入第一数据库表和第二数据库表中。