CN110032569A - 变更数据检查方法、装置、设备及*** - Google Patents
变更数据检查方法、装置、设备及*** Download PDFInfo
- Publication number
- CN110032569A CN110032569A CN201910044207.1A CN201910044207A CN110032569A CN 110032569 A CN110032569 A CN 110032569A CN 201910044207 A CN201910044207 A CN 201910044207A CN 110032569 A CN110032569 A CN 110032569A
- Authority
- CN
- China
- Prior art keywords
- data
- source
- task
- change
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本说明书实施例提供一种变更数据检查方法、装置、设备及***，本实施例在接收源数据端发送的数据检查请求时，由于数据检查请求包括源数据端发送给目标数据端的源变更数据，因此，可以确定指示任务执行客户端依据源变更数据校验目标数据端中实际获得的变更数据是否有效的检查任务，并将检查任务发送至配置在***标识所指示的目标数据端内的任务执行客户端，以供任务执行客户端依据源变更数据校验目标数据端中实际获得的变更数据是否有效，从而实现在数据变更流程中引入检查流程，实现数据变更的同时，也能进行数据检查，提高检查效率，同时降低人力成本。
Description
技术领域
本说明书涉及数据处理领域，尤其涉及变更数据检查方法、装置、设备及***。
背景技术
随着互联网时代的到来，互联网在人们日常的学习、工作和生活中得到广泛的应用。人们日常的各种事务都可以通过网络进行处理。因此，可以通过业务应用***为用户提供服务。目前，往往由源数据端触发目标数据端发生数据变更，可能是内存中数据变更导致数据库中数据变更，也可能是数据库中数据变更导致内存中数据变更，而数据库中数据变更可能是外部***触发导致等。例如，发生一笔交易后，业务应用***会将内存中的交易数据发送到相应数据库进行数据变更，该例子中，业务应用***可以作为源数据端，数据库可以作为目标数据端。又如，配置发布端将配置数据发送到与业务应用***对应的数据库中，业务应用***从数据库中加载配置数据到内存，以便利用配置数据新增或更新业务。该例子中，配置发布端可以作为源数据端，业务应用***可以作为目标数据端。
实际应用中，为了保证变更数据有效性，往往需要检查目标数据端中实际获得的变更数据是否为期望的变更数据。目前，需要人工检查。以检查内存中变更数据为例，假设线上有1000台机器，检查人员需要登录到1000台机器上，通过检查日志的方式判断内存中实际获得的变更数据是否为期望的变更数据，才能保证变更数据100％正确。由于机器非常多，检查工作量巨大，耗时长。
发明内容
为克服相关技术中存在的问题，本说明书提供了变更数据检查方法、装置、设备及***。
根据本说明书实施例的第一方面，提供一种变更数据检查***，所述***包括任务发布服务端以及配置在目标数据端中的任务执行客户端；
所述任务发布服务端用于：
接收源数据端发送的数据检查请求，所述数据检查请求包括源数据端发送给目标数据端的源变更数据、以及所述目标数据端的***标识；
确定检查任务，并将所述检查任务发送至配置在所述***标识所指示的目标数据端内的任务执行客户端，所述检查任务指示任务执行客户端依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效；
所述任务执行客户端用于执行所述检查任务。
根据本说明书实施例的第二方面，提供一种变更数据检查方法，所述方法应用于任务发布服务端，所述方法包括：
接收源数据端发送的数据检查请求，所述数据检查请求包括源数据端发送给目标数据端的源变更数据、以及所述目标数据端的***标识；
确定检查任务，并将所述检查任务发送至配置在所述***标识所指示的目标数据端内的任务执行客户端，所述检查任务指示任务执行客户端依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效。
在一个实施例中，所述依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效，包括：
检查目标数据端中实际获得的变更数据与所述源变更数据是否匹配；或，
检查目标数据端中实际获得的变更数据与利用转换策略将所述源变更数据进行转换后的数据是否匹配，所述转换策略包括从源数据端到目标数据端期间对源变更数据执行的转换操作。
在一个实施例中，所述实际获得的变更数据从目标数据端的日志文件中获得，所述日志文件是目标数据端的内存中数据变更时采用打印日志的方式生成。
在一个实施例中，所述检查任务中携带有源数据端向目标数据端发送源变更数据的发送时间，所述日志文件是在所述发送时间之后生成的日志文件。
在一个实施例中，所述源数据端将源变更数据发送至目标数据端对应的数据库中，目标数据端从所述数据库中加载源变更数据至内存，所述数据检查请求是源数据端在向目标数据端发送所述源变更数据后间隔预设延迟时间发送至任务发布服务端的数据检查请求；所述预设延迟时间基于目标数据端从数据库中加载数据到内存的间隔时间确定。
在一个实施例中，所述源数据端将源变更数据发送至目标数据端对应的数据库中，目标数据端从所述数据库中加载源变更数据至内存，所述检查任务中携带有延迟处理时间，所述延迟处理时间是任务执行客户端接收到检查任务的接收时间与执行所述检查任务的开始时间的间隔时间，所述延迟处理时间基于目标数据端从数据库中加载数据到内存的间隔时间确定。
根据本说明书实施例的第三方面，提供一种变更数据检查方法，所述方法应用于设置在目标数据端中的任务执行客户端，所述方法包括：
接收任务发布服务端发送的检查任务；
执行所述检查任务，以依据源变更数据校验目标数据端中实际获得的变更数据是否有效，所述源变更数据是源数据端发送给目标数据端的源变更数据；
将检查结果反馈至所述任务发布服务端。
在一个实施例中，所述依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效，包括：
检查目标数据端中实际获得的变更数据与所述源变更数据是否匹配；或，
检查目标数据端中实际获得的变更数据与利用转换策略将所述源变更数据进行转换后的数据是否匹配，所述转换策略包括从源数据端到目标数据端期间对源变更数据执行的转换操作。
根据本说明书实施例的第四方面，提供一种变更数据检查装置，所述装置设于任务发布服务端，所述装置包括：
请求接收模块，用于：接收源数据端发送的数据检查请求，所述数据检查请求包括源数据端发送给目标数据端的源变更数据、以及所述目标数据端的***标识；
任务确定模块，用于：确定检查任务，所述检查任务指示任务执行客户端依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效；
任务发布模块，用于：将所述检查任务发送至配置在所述***标识所指示的目标数据端内的任务执行客户端。
在一个实施例中，所述检查任务包括：
检查目标数据端中实际获得的变更数据与所述源变更数据是否匹配；或，
检查目标数据端中实际获得的变更数据与利用转换策略将所述源变更数据进行转换后的数据是否匹配，所述转换策略包括从源数据端到目标数据端期间对源变更数据执行的转换操作。
在一个实施例中，所述实际获得的变更数据从目标数据端的日志文件中获得，所述日志文件是目标数据端的内存中数据变更时采用打印日志的方式生成。
在一个实施例中，所述检查任务中携带有源数据端向目标数据端发送源变更数据的发送时间，所述日志文件是在所述发送时间之后生成的日志文件。
在一个实施例中，所述源数据端将源变更数据发送至目标数据端对应的数据库中，目标数据端从所述数据库中加载源变更数据至内存，所述数据检查请求是源数据端在向目标数据端发送所述源变更数据后间隔预设延迟时间发送至任务发布服务端的数据检查请求；所述预设延迟时间基于目标数据端从数据库中加载数据到内存的间隔时间确定。
在一个实施例中，所述源数据端将源变更数据发送至目标数据端对应的数据库中，目标数据端从所述数据库中加载源变更数据至内存，所述检查任务中携带有延迟处理时间，所述延迟处理时间是任务执行客户端接收到检查任务的接收时间与执行所述检查任务的开始时间的间隔时间，所述延迟处理时间基于目标数据端从数据库中加载数据到内存的间隔时间确定。
根据本说明书实施例的第五方面，提供一种变更数据检查装置，所述装置设于目标数据端中的任务执行客户端，所述装置包括：
任务接收模块，用于：接收任务发布服务端发送的检查任务；
任务执行模块，用于：执行所述检查任务，以依据源变更数据校验目标数据端中实际获得的变更数据是否有效，所述源变更数据是源数据端发送给目标数据端的源变更数据；
结果反馈模块，用于：将检查结果反馈至所述任务发布服务端。
在一个实施例中，所述任务执行模块具体用于：
检查目标数据端中实际获得的变更数据与所述源变更数据是否匹配；或，
检查目标数据端中实际获得的变更数据与利用转换策略将所述源变更数据进行转换后的数据是否匹配，所述转换策略包括从源数据端到目标数据端期间对源变更数据执行的转换操作。
根据本说明书实施例的第六方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述任一项所述方法。
本说明书的实施例提供的技术方案可以包括以下有益效果：
本说明书实施例在接收源数据端发送的数据检查请求时，由于数据检查请求包括源数据端发送给目标数据端的源变更数据，因此，可以确定指示任务执行客户端依据源变更数据校验目标数据端中实际获得的变更数据是否有效的检查任务，并将检查任务发送至配置在***标识所指示的目标数据端内的任务执行客户端，以供任务执行客户端依据源变更数据校验目标数据端中实际获得的变更数据是否有效，从而实现在数据变更流程中引入检查流程，实现变更的同时，进行数据检查，提高检查效率，同时降低人力成本。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
图1是本说明书根据一示例性实施例示出的一种变更数据检查***的结构示意图。
图2是本说明书根据一示例性实施例示出的一种变更数据检查方法的流程图。
图3是本说明书根据一示例性实施例示出的另一种变更数据检查方法的流程图。
图4是本说明书根据一示例性实施例示出的另一种变更数据检查方法的流程图。
图5是本说明书变更数据检查装置所在计算机设备的一种硬件结构图。
图6是本说明书根据一示例性实施例示出的一种变更数据检查装置的框图。
图7是本说明书根据一示例性实施例示出的另一种变更数据检查装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
目前，往往由源数据端触发目标数据端发生数据变更。例如，业务应用***内存变化需要外部***触发，外部***可以是配置管理类平台。业务应用***内存中数据变更由这些外部***触发。由于源数据端发送的数据会导致目标数据端内数据发生变更，因此，可以将发送的数据称为变更数据。源变更数据可以由源数据端发送至目标数据端对应的数据库(DB)中，并由目标数据端从所述数据库中加载源变更数据至内存；源变更数据也可以由源数据端直接发送至目标数据端。而在整个链路中，需要依据源变更数据检查目标数据端实际获得的变更数据是否符合预期。目前采用非实时的检查方案，业务应用***内存数据变化后，通常将变化后的信息全部打印到服务器日志上。由于业务应用***日志量巨大，只能采用异步方式将服务器上日志同步到ODPS(离线日志存储***)进行存储。配置管理类平台向业务应用***发起变更数据，之后人工通过对接ODPS获取日志，然后基于日志检查目标数据端中实际获得的变更数据是否为期望的变更数据。然而，由于机器非常多，检查工作量巨大，耗时长。而采用抽样检查的方式，又会出现漏查的风险。
鉴于此，本实施例提供一种自动检查方案。
如图1所示，是本说明书根据一示例性实施例示出的一种变更数据检查***的结构示意图。所述***包括任务发布服务端12以及配置在目标数据端中的任务执行客户端14；
所述任务发布服务端12用于：
接收源数据端发送的数据检查请求，所述数据检查请求包括源数据端发送给目标数据端的源变更数据、以及所述目标数据端的***标识；
确定检查任务，并将所述检查任务发送至配置在所述***标识所指示的目标数据端内的任务执行客户端，所述检查任务指示任务执行客户端依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效。
所述任务执行客户端14用于执行所述检查任务。
相应的，本说明书还从任务发布服务端的角度对变更数据检查方案进行介绍，如图2所示，是本说明书根据一示例性实施例示出的一种变更数据检查方法的流程图。所述方法应用于任务发布服务端，所述方法包括：
在步骤202中，接收源数据端发送的数据检查请求，所述数据检查请求包括源数据端发送给目标数据端的源变更数据、以及所述目标数据端的***标识；
在步骤204中，确定检查任务，并将所述检查任务发送至配置在所述***标识所指示的目标数据端内的任务执行客户端，所述检查任务指示任务执行客户端依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效。
相应的，本说明书还从任务执行客户端的角度对变更数据检查方案进行介绍，如图3所示，是本说明书根据一示例性实施例示出的另一种变更数据检查方法的流程图。所述方法应用于设置在业务应用***中的任务执行客户端，所述方法包括：
在步骤302中，接收任务发布服务端发送的检查任务；
在步骤304中，执行所述检查任务，以依据源变更数据校验目标数据端中实际获得的变更数据是否有效，所述源变更数据是源数据端发送给目标数据端的源变更数据。
在步骤306中，将检查结果反馈至所述任务发布服务端。
为了节约篇幅，本说明书结合图1、图2和图3进行介绍，其中不同附图中相关技术相同，在此不重复介绍。
实际应用中，目标数据端实际获得的变更数据可能与源数据端发送的变更数据不一致，因此，将源数据端发送的变更数据称为源变更数据，以区分于目标数据端实际获得的变更数据。为了保证变更数据有效性，往往需要检查目标数据端中实际获得的变更数据是否为期望的变更数据。
本实施例为了能实现自动化检查，在目标数据端配置有任务执行客户端，同时提供与任务执行客户端对接的任务发布服务端。任务发布服务端用于发布检查任务，任务执行客户端用于执行检查任务。
其中，源数据端是触发目标数据端发生数据变更的一端，也可以称为数据变更触发端，或者数据源端。源变更数据可以由源数据端发送至目标数据端对应的数据库中，并由目标数据端从所述数据库中加载源变更数据至内存；也可以由源数据端直接发送至目标数据端。
例如，业务应用***内存中数据变更可以由外部***触发导致，源数据端发送的源变更数据是可引起目标数据端内存中数据发生变化的数据。如，源数据端可以是配置发布端，目标数据端可以是业务应用***。配置发布端可以将源变更数据发布到业务应用***对应的数据库中，以便业务应用***从相应数据库中读取源变更数据。源变更数据可以是业务的配置数据或***的配置参数，如，可以是新增业务所需的业务配置数据、变更业务所需的业务配置数据、变更***运行状态所需的***运行参数等。其中，针对新增/变更业务所需的业务配置数据，可以是业务规则。例如，假设业务场景为扫码支付，业务规则(支付工具)可以为：允许余额支付、允许银行卡支付、允许余额宝支付、不允许花呗支付。针对***运行参数，例如，可以通过向业务应用***发送***运行参数，由***消费该***运行参数，从而实现动态改变***运行时的业务逻辑。
又如，可能由于业务应用***内存中业务数据变更导致数据库中数据变更。例如，发生一笔交易后，业务应用***会将内存中的交易数据发送到相应数据库进行数据变更，如，变更日额度、月额度等。
源数据端可以向任务发布服务端发送数据检查请求。数据检查请求可以是源数据端发送源变更数据给目标数据端同时或之后，发送给任务发布服务端的数据检查请求。所述数据检查请求包括源数据端发送给目标数据端的源变更数据、以及所述目标数据端的***标识。其中，目标数据端是需要进行检查的***，因此，也可以称为待检查的目标数据端。***标识可以是能唯一标识目标数据端的标识，以便任务发布服务端能根据***标识找到待检查的目标数据端。在一个例子中，目标数据端可以是业务应用***，***标识可以是业务应用***的IP地址。由于源数据端可能将源变更数据发送给多个业务应用***，因此，数据检查请求中所携带的***标识可以是IP集(IP地址集合)。
在任务发布服务端接收到数据检查请求后，可以确定用于依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效(生效)的检查任务。任务发布服务端可以用于维护检查任务。
在一个实施例中，在任务发布服务端中，可以预存源变更数据与检查任务的映射关系。为了减少映射关系的数量，可以将能使用同种检查任务进行检查的源变更数据划分为一类，以存储每类源变更数据与检查任务的映射关系。检查任务用于依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效。针对不同类源变更数据，所配置的检查任务不同。
在另一个实施例中，检查任务也可以是在获得源变更数据后生成的任务。例如，在任务发布服务端获得包括源变更数据和***标识的数据检查请求后，通过源变更数据构建检查命令脚本，例如脚本命令：execute(data)。该脚本命令是用于校验目标数据端中实际获得的变更数据是否有效的命令。
在某些应用场景中，目标数据端期望获得的变更数据与源数据端发送的源变更数据相同，因此，检查任务可以是检查目标数据端中实际获得的变更数据与所述源变更数据是否匹配。而某些情况下，目标数据端期望获得的变更数据可能是由源数据端变换后的数据。例如，在数据变更链路中，源数据端可以向多个业务应用***提供源变更数据，而不同业务应用***基于业务运营需求不同，所需求的数据是对源变更数据进行转换后的数据。针对不同业务应用***配置有相应的辅助运营***(或称为中间***)，源数据端通过调用辅助运营***将源变更数据发送至业务应用***的数据库中。具体的，源数据端将源变更数据发给辅助运营***，辅助运营***对源变更数据进行转换，将转换后的数据发送至业务应用***的数据库中，业务应用***可以从数据库中将转换后的数据加载到缓存中。可见，目标数据端期望获得的变更数据与源数据端发送的源变更数据不同。
例如，源变更数据——运营非技术同学配置数据：
条件：业务场景：外部交易
销售产品码：当面付
动作：花呗，余额、余额宝
实际获得的变更数据：
expression:bizIdentity＝xxx&&salseproductcode＝当面付
actionexpression：#{payalis＝花呗code}#{payalis＝余额code}#{payalis＝余额宝code}
可以理解的是，对源变更数据进行转换的操作可以参考相关技术，在此不一一赘述。
而本申请在数据变更流程中同时引入检查流程。以一个例子为例，A***通过调用辅助运营***将数据a发给B***的数据库中，在数据库中表现为a`，B***加载B***的数据库a`，在B***内存中表现为a``，则需要利用a对a``进行校验，以判断a``是否有效。a``有效，可以包括：是否存在a``，以及a``是否与a对应的数据。
鉴于此，检查目标数据端中实际获得的变更数据与利用转换策略将所述源变更数据进行转换后的数据是否匹配。其中，所述转换策略包括从源数据端到目标数据端期间对源变更数据执行的转换操作。如，目标数据端所对应的中间***对源变更数据执行的转换操作。
在一个例子中，转换操作可以由任务发布服务端触发执行。如，可以由任务发布服务端直接依据转换策略将源变更数据进行转换，也可以在任务发布服务端获得数据检查请求后，通过调用中间***对源变更数据进行转换，再基于转换后的数据生成检查任务，发布到相应的业务应用***的数据库中。
在另一个例子中，转换操作可以由任务执行客户端触发执行，例如，检查任务中还包括转换策略，任务执行客户端直接依据转换策略将源变更数据进行转换，再从日志文件中获取数据与转换后的数据进行比较，判断是否有效地从数据库中将数据加载到内存中。又如，任务执行客户端通过调用中间***对源变更数据进行转换，再从日志文件中获取数据与转换后的数据进行比较，判断是否有效地从数据库中将数据加载到内存中。
可见，可以通过直接将获得的变更数据与源变更数据进行匹配，来判断获得的变更数据是否有效，也可以将实际获得的变更数据与利用转换策略将源变更数据进行转换后的数据进行匹配，来判断获得的变更数据是否有效，具体根据需求进行配置。
在源变更数据由源数据端通过目标数据端对应的数据库发送给目标数据端的场景中，检查任务还可以包括检查数据库中所存储的变更数据是否与源变更数据一致的任务。
特别的，本说明书实施例能自动化检查变更的内存数据。如，目标数据端可以是业务应用***，由于并不能直接获得内存中的变化数据，为了能检查业务应用***内存中的变化数据，因此，可以利用业务应用***的日志文件来实现自动化检查。相应的，所述实际获得的变更数据从目标数据端的日志文件中获得，所述日志文件是目标数据端的内存中数据变更时采用打印日志的方式生成。
可见，通过从日志文件中获取实际获得的变更数据，从而利用检查任务实现对实际获得的变更数据的检查。
实际应用中，由于业务应用***的日志文件往往是按时间段生成，而每段时间生成的日志文件可能数据量比较大，为了提高检查效率，所述检查任务中携带有源数据端向目标数据端发送源变更数据的发送时间，所述日志文件是在所述发送时间之后生成的日志文件。
可见，仅从所述发送时间后业务应用***生成的日志文件中，判断是否有与源变更数据相对应的数据，可以提高检查效率。
在任务发布服务端获得变更任务后，可以将检查任务发送至配置在***标识所指示的目标数据端内的任务执行客户端。设置在目标数据端内的任务执行客户端可以执行检查任务，以依据源变更数据校验目标数据端中实际获得的变更数据是否有效，并且可以将检查结果反馈至任务发布服务端。
在所述源数据端将源变更数据发送至目标数据端对应的数据库中，目标数据端从所述数据库中加载源变更数据至内存的应用场景中，由于目标数据端从数据库中加载数据到缓存区中需要一定间隔时间，为了避免该间隔时间导致还未加载到变更数据却执行检查任务的情况，相应还设置延迟时间。
在一个实施例中，所述数据检查请求是源数据端在向目标数据端发送所述源变更数据后间隔预设延迟时间发送至任务发布服务端的数据检查请求；所述预设延迟时间基于目标数据端从数据库中加载数据到内存的间隔时间确定。例如，假设每间隔t1时间目标数据端执行一次加载操作。则，预设延迟时间可以等于t1，甚至可以大于t1。
可见，该实施例是通过延迟发送数据检查请求的方式，达到延迟执行检查任务的目的，从而避免目标数据端还未加载到变更数据却执行检查任务的情况，提高检查准确率。
在另一个实施例中，所述检查任务中携带有延迟处理时间，所述延迟处理时间是任务执行客户端接收到检查任务的接收时间与执行所述检查任务的开始时间的间隔时间，即，任务执行客户端在接收到检查任务后，延迟所述延迟处理时间，再执行所述检查任务。所述延迟处理时间基于目标数据端从数据库中加载数据到内存的间隔时间确定。例如，假设每间隔t1时间目标数据端执行一次加载操作。则，延迟处理时间可以等于t1，甚至可以大于t1。
可见，该实施例由任务执行客户端依据延迟处理时间延迟执行检查任务，从而避免目标数据端还未加载到变更数据却执行检查任务的情况，提高检查准确率。
可以理解的是，还可以通过其他手段确定检查任务的执行时机，以避免目标数据端还未加载到变更数据却执行检查任务的情况，在此不一一赘述。
以上实施方式中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。
以下以其中一种组合进行示例说明。
如图4所示，是本说明书根据一示例性实施例示出的另一种变更数据检查方法的流程图。该实施例以检查内存变更数据进行介绍，所述目标数据端为业务应用***，所述方法包括：
在步骤402中，任务发布服务端接收源数据端发送的数据检查请求，所述数据检查请求包括源数据端发送给业务应用***的源变更数据、所述目标数据端的***标识、以及源数据端向业务应用***发送源变更数据的发送时间；
在步骤404中，任务发布服务端确定用于依据所述源变更数据校验业务应用***中实际获得的变更数据是否有效的检查任务。
其中，检查任务还可以携带有延迟处理时间，所述延迟处理时间基于目标数据端从数据库中加载数据到内存的间隔时间确定。
在步骤406中，任务发布服务端将所述检查任务发送至配置在所述***标识所指示的业务应用***内的任务执行客户端。
在步骤408中，任务执行客户端接收到检查任务、且间隔所述延迟处理时间后，执行所述检查任务。具体的，从所述发送时间之后生成的日志文件中，判断是否有与源变更数据匹配的数据，或者与利用转换策略将所述源变更数据进行转换后的数据匹配的数据，以判断业务应用***内存中实际获得的变更数据是否有效。
相应的，还以一个具体例子进行介绍。在该实施例中，可以将源数据端称为外部***(OUTAPP)，待变更的业务应用***内的任务执行客户端也可以称为BIZAPP。在外部***需要将变更数据发送到业务应用***的内存时，确定变更数据以及待变更的业务应用***(服务器)，并触发任务发布服务端发起检查任务。如，外部***可以向任务发布服务端发送携带有变更数据和***标识的数据检查请求。由于数据检查请求里面有当次变更数据data和待变更的业务应用***的IP集。任务发布服务端在拿到data和IP集后，通过data构建检查命令脚本，形如脚本命令：execute(data)。IP集是任务分发到具体服务器的IP的集合。服务器的任务执行客户端(client)在接收到脚本命令：execute(data)后，便可执行具体的收集数据、检查数据、统计结果等一系列检查操作。可见，在一个变更流程中同时引入检查流程，做到变更后，立即同步检查。
与前述变更数据检查方法的实施例相对应，本说明书还提供了变更数据检查装置及其所应用的电子设备的实施例。
本说明书变更数据检查装置的实施例可以应用在计算机设备。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在计算机设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本说明书变更数据检查装置所在计算机设备的一种硬件结构图，除了图5所示的处理器510、网络接口520、内存530、以及非易失性存储器540之外，实施例中变更数据检查装置531所在的计算机设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。
如图6所示，是本说明书根据一示例性实施例示出的一种变更数据检查装置的框图，所述装置设于任务发布服务端，所述装置包括：
请求接收模块62，用于：接收源数据端发送的数据检查请求，所述数据检查请求包括源数据端发送给目标数据端的源变更数据、以及所述目标数据端的***标识；
任务确定模块64，用于：确定检查任务，所述检查任务指示任务执行客户端依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效；
任务发布模块66，用于：将所述检查任务发送至配置在所述***标识所指示的目标数据端内的任务执行客户端。
在一个实施例中，所述检查任务包括：
检查目标数据端中实际获得的变更数据与所述源变更数据是否匹配；或，
检查目标数据端中实际获得的变更数据与利用转换策略将所述源变更数据进行转换后的数据是否匹配，所述转换策略包括从源数据端到目标数据端期间对源变更数据执行的转换操作。
在一个实施例中，所述实际获得的变更数据从目标数据端的日志文件中获得，所述日志文件是目标数据端的内存中数据变更时采用打印日志的方式生成。
在一个实施例中，所述检查任务中携带有源数据端向目标数据端发送源变更数据的发送时间，所述日志文件是在所述发送时间之后生成的日志文件。
在一个实施例中，所述源数据端将源变更数据发送至目标数据端对应的数据库中，目标数据端从所述数据库中加载源变更数据至内存，所述数据检查请求是源数据端在向目标数据端发送所述源变更数据后间隔预设延迟时间发送至任务发布服务端的数据检查请求；所述预设延迟时间基于目标数据端从数据库中加载数据到内存的间隔时间确定。
在一个实施例中，所述源数据端将源变更数据发送至目标数据端对应的数据库中，目标数据端从所述数据库中加载源变更数据至内存，所述检查任务中携带有延迟处理时间，所述延迟处理时间是任务执行客户端接收到检查任务的接收时间与执行所述检查任务的开始时间的间隔时间，所述延迟处理时间基于目标数据端从数据库中加载数据到内存的间隔时间确定。
如图7所示，是本说明书根据一示例性实施例示出的另一种变更数据检查装置的框图，所述装置设于目标数据端中的任务执行客户端，所述装置包括：
任务接收模块72，用于：接收任务发布服务端发送的检查任务；
任务执行模块74，用于：执行所述检查任务，以依据源变更数据校验目标数据端中实际获得的变更数据是否有效，所述源变更数据是源数据端发送给目标数据端的源变更数据；
结果反馈模块76，用于：将检查结果反馈至所述任务发布服务端。
在一个实施例中，所述任务执行模块74具体用于：
检查目标数据端中实际获得的变更数据与所述源变更数据是否匹配；或，
检查目标数据端中实际获得的变更数据与利用转换策略将所述源变更数据进行转换后的数据是否匹配，所述转换策略包括从源数据端到目标数据端期间对源变更数据执行的转换操作。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本说明书实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述任一项变更数据检查方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
相应的，本说明书实施例还提供一种计算机存储介质，所述存储介质中存储有程序指令，所述程序指令包括：
接收源数据端发送的数据检查请求，所述数据检查请求包括源数据端发送给目标数据端的源变更数据、以及所述目标数据端的***标识；
确定检查任务，并将所述检查任务发送至配置在所述***标识所指示的目标数据端内的任务执行客户端，所述检查任务指示任务执行客户端依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效。
相应的，本说明书实施例还提供另一种计算机存储介质，所述存储介质中存储有程序指令，所述程序指令包括：
接收任务发布服务端发送的检查任务；
执行所述检查任务，以依据源变更数据校验目标数据端中实际获得的变更数据是否有效，并将检查结果反馈至所述任务发布服务端，所述源变更数据是源数据端发送给目标数据端的源变更数据。
本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
Claims (18)
1.一种变更数据检查***，所述***包括任务发布服务端以及配置在目标数据端中的任务执行客户端；
所述任务发布服务端用于：
接收源数据端发送的数据检查请求，所述数据检查请求包括源数据端发送给目标数据端的源变更数据、以及所述目标数据端的***标识；
确定检查任务，并将所述检查任务发送至配置在所述***标识所指示的目标数据端内的任务执行客户端，所述检查任务指示任务执行客户端依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效；
所述任务执行客户端用于执行所述检查任务。
2.一种变更数据检查方法，所述方法应用于任务发布服务端，所述方法包括：
接收源数据端发送的数据检查请求，所述数据检查请求包括源数据端发送给目标数据端的源变更数据、以及所述目标数据端的***标识；
确定检查任务，并将所述检查任务发送至配置在所述***标识所指示的目标数据端内的任务执行客户端，所述检查任务指示任务执行客户端依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效。
3.根据权利要求2所述的方法，所述依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效，包括：
检查目标数据端中实际获得的变更数据与所述源变更数据是否匹配；或，
检查目标数据端中实际获得的变更数据与利用转换策略将所述源变更数据进行转换后的数据是否匹配，所述转换策略包括从源数据端到目标数据端期间对源变更数据执行的转换操作。
4.根据权利要求2所述的方法，所述实际获得的变更数据从目标数据端的日志文件中获得，所述日志文件是目标数据端的内存中数据变更时采用打印日志的方式生成。
5.根据权利要求4所述的方法，所述检查任务中携带有源数据端向目标数据端发送源变更数据的发送时间，所述日志文件是在所述发送时间之后生成的日志文件。
6.根据权利要求2至5任一项所述的方法，所述源数据端将源变更数据发送至目标数据端对应的数据库中，目标数据端从所述数据库中加载源变更数据至内存，所述数据检查请求是源数据端在向目标数据端发送所述源变更数据后间隔预设延迟时间发送至任务发布服务端的数据检查请求；所述预设延迟时间基于目标数据端从数据库中加载数据到内存的间隔时间确定。
7.根据权利要求2至5任一项所述的方法，所述源数据端将源变更数据发送至目标数据端对应的数据库中，目标数据端从所述数据库中加载源变更数据至内存，所述检查任务中携带有延迟处理时间，所述延迟处理时间是任务执行客户端接收到检查任务的接收时间与执行所述检查任务的开始时间的间隔时间，所述延迟处理时间基于目标数据端从数据库中加载数据到内存的间隔时间确定。
8.一种变更数据检查方法，所述方法应用于设置在目标数据端中的任务执行客户端，所述方法包括：
接收任务发布服务端发送的检查任务；
执行所述检查任务，以依据源变更数据校验目标数据端中实际获得的变更数据是否有效，所述源变更数据是源数据端发送给目标数据端的源变更数据；
将检查结果反馈至所述任务发布服务端。
9.根据权利要求8所述的方法，所述依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效，包括：
检查目标数据端中实际获得的变更数据与所述源变更数据是否匹配；或，
检查目标数据端中实际获得的变更数据与利用转换策略将所述源变更数据进行转换后的数据是否匹配，所述转换策略包括从源数据端到目标数据端期间对源变更数据执行的转换操作。
10.一种变更数据检查装置，所述装置设于任务发布服务端，所述装置包括：
请求接收模块，用于：接收源数据端发送的数据检查请求，所述数据检查请求包括源数据端发送给目标数据端的源变更数据、以及所述目标数据端的***标识；
任务确定模块，用于：确定检查任务，所述检查任务指示任务执行客户端依据所述源变更数据校验目标数据端中实际获得的变更数据是否有效；
任务发布模块，用于：将所述检查任务发送至配置在所述***标识所指示的目标数据端内的任务执行客户端。
11.根据权利要求10所述的装置，所述检查任务包括：
检查目标数据端中实际获得的变更数据与所述源变更数据是否匹配；或，
检查目标数据端中实际获得的变更数据与利用转换策略将所述源变更数据进行转换后的数据是否匹配，所述转换策略包括从源数据端到目标数据端期间对源变更数据执行的转换操作。
12.根据权利要求10所述的装置，所述实际获得的变更数据从目标数据端的日志文件中获得，所述日志文件是目标数据端的内存中数据变更时采用打印日志的方式生成。
13.根据权利要求12所述的装置，所述检查任务中携带有源数据端向目标数据端发送源变更数据的发送时间，所述日志文件是在所述发送时间之后生成的日志文件。
14.根据权利要求10至13任一项所述的装置，所述源数据端将源变更数据发送至目标数据端对应的数据库中，目标数据端从所述数据库中加载源变更数据至内存，所述数据检查请求是源数据端在向目标数据端发送所述源变更数据后间隔预设延迟时间发送至任务发布服务端的数据检查请求；所述预设延迟时间基于目标数据端从数据库中加载数据到内存的间隔时间确定。
15.根据权利要求10至13任一项所述的装置，所述源数据端将源变更数据发送至目标数据端对应的数据库中，目标数据端从所述数据库中加载源变更数据至内存，所述检查任务中携带有延迟处理时间，所述延迟处理时间是任务执行客户端接收到检查任务的接收时间与执行所述检查任务的开始时间的间隔时间，所述延迟处理时间基于目标数据端从数据库中加载数据到内存的间隔时间确定。
16.一种变更数据检查装置，所述装置设于目标数据端中的任务执行客户端，所述装置包括：
任务接收模块，用于：接收任务发布服务端发送的检查任务；
任务执行模块，用于：执行所述检查任务，以依据源变更数据校验目标数据端中实际获得的变更数据是否有效，所述源变更数据是源数据端发送给目标数据端的源变更数据；
结果反馈模块，用于：将检查结果反馈至所述任务发布服务端。
17.根据权利要求16所述的装置，所述任务执行模块具体用于：
检查目标数据端中实际获得的变更数据与所述源变更数据是否匹配；或，
检查目标数据端中实际获得的变更数据与利用转换策略将所述源变更数据进行转换后的数据是否匹配，所述转换策略包括从源数据端到目标数据端期间对源变更数据执行的转换操作。
18.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求2至9任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910044207.1A CN110032569B (zh) | 2019-01-17 | 2019-01-17 | 变更数据检查方法、装置、设备及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910044207.1A CN110032569B (zh) | 2019-01-17 | 2019-01-17 | 变更数据检查方法、装置、设备及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110032569A true CN110032569A (zh) | 2019-07-19 |
| CN110032569B CN110032569B (zh) | 2023-06-27 |
Family
ID=67235575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910044207.1A Active CN110032569B (zh) | 2019-01-17 | 2019-01-17 | 变更数据检查方法、装置、设备及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110032569B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201418665D0 (en) * | 2014-10-21 | 2014-12-03 | Ibm | Database Management system and method of operation |
| CN106095571A (zh) * | 2016-06-07 | 2016-11-09 | 中国建设银行股份有限公司 | 多rac集群***、数据访问方法及装置 |
| CN106294357A (zh) * | 2015-05-14 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 数据处理方法和流计算*** |
| US20180253483A1 (en) * | 2017-03-06 | 2018-09-06 | Datastreams Corp. | Apparatus and method for replicating changed-data in source database management system to target database management system in real time |
-
2019
- 2019-01-17 CN CN201910044207.1A patent/CN110032569B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201418665D0 (en) * | 2014-10-21 | 2014-12-03 | Ibm | Database Management system and method of operation |
| CN106294357A (zh) * | 2015-05-14 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 数据处理方法和流计算*** |
| CN106095571A (zh) * | 2016-06-07 | 2016-11-09 | 中国建设银行股份有限公司 | 多rac集群***、数据访问方法及装置 |
| US20180253483A1 (en) * | 2017-03-06 | 2018-09-06 | Datastreams Corp. | Apparatus and method for replicating changed-data in source database management system to target database management system in real time |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110032569B (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mühlberger et al. | Foundational oracle patterns: Connecting blockchain to the off-chain world | |
| US10025839B2 (en) | Database virtualization | |
| CN106878045B (zh) | 业务调用方法及装置 | |
| US20090313639A1 (en) | Service oriented architecture infrastructure for business process verification and systems integrated testing | |
| US8141151B2 (en) | Non-intrusive monitoring of services in a service-oriented architecture | |
| CN107168844B (zh) | 一种性能监控的方法及装置 | |
| CN112035363A (zh) | 接口自动化测试方法及装置 | |
| CN103577251A (zh) | 基于事件的互联网计算处理***及方法 | |
| CN100520732C (zh) | 性能测试脚本生成方法 | |
| US8423620B2 (en) | Apparatus and method for testing web service interoperability | |
| US9823999B2 (en) | Program lifecycle testing | |
| CN112910995A (zh) | 基于多云环境的资源分配的方法、装置、电子设备及介质 | |
| CN106874371A (zh) | 一种数据处理方法及装置 | |
| Abbaspour Asadollah et al. | Web service response time monitoring: architecture and validation | |
| CN117234916A (zh) | 一种工作流应用的测试方法、装置、电子设备及存储介质 | |
| CN110032569A (zh) | 变更数据检查方法、装置、设备及*** | |
| CN116383055A (zh) | 金融场景的测试方法和装置、处理器及电子设备 | |
| EP3062228A1 (en) | Lightweight functional testing | |
| Neeraj et al. | Service Level Agreement Violation Detection in Multi-cloud Environment using Ethereum Blockchain | |
| Eismann et al. | Teastore: A micro-service reference application for cloud researchers | |
| CN113778709A (zh) | 接口调用方法、装置、服务器及存储介质 | |
| CN114428723A (zh) | 测试***、***测试方法、相关设备及存储介质 | |
| Anderson | Performance modelling of reactive web applications using trace data from automated testing | |
| CN113360363A (zh) | 微服务***的测试方法、装置、设备和计算机存储介质 | |
| Kaushik et al. | Micro Frontend Based Performance Improvement and Prediction for Microservices Using Machine Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200923 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20200923 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |