CN112052136A - 数据校验方法及装置、设备、存储介质 - Google Patents

Abstract

本申请实施例公开了一种数据校验方法，包括：响应于应用程序中数据的更新，从数据库中读取预设的数据加载记录表；其中，所述数据加载记录表包括至少两个节点执行同一加载任务时每一所述节点的数据加载记录；根据每一所述节点的数据加载记录，确定每一所述节点的数据加载参数；通过对所述至少两个节点各自的数据加载参数进行逻辑校验，确定加载异常的节点；向所述加载异常的节点发送告警通知。本申请实施例还同时提供了一种数据校验装置、设备及存储介质。

Description

数据校验方法及装置、设备、存储介质

技术领域

本申请涉及电子设备技术领域，涉及但不限定于数据校验方法及装置、设备、存储介质。

背景技术

业务工程中数据加载通常为多机房多实例从多数据源加载，往往存在以下问题：线上遇到多个机房，多个节点数据不一致的潜在情况，但是直到线上出故障才发现；没有一个全局视角来查看多机房、多个节点的数据加载时间、耗时以及其他的加载信息，不容易排查定位。因此，业务工程需要查看同时执行同一加载任务的不同节点的数据加载情况，进而保证业务数据加载的正常。

发明内容

本申请实施例提供一种数据校验方法及装置、设备、存储介质。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种数据校验方法，所述方法包括：

响应于应用程序中数据的更新，从数据库中读取预设的数据加载记录表；其中，所述数据加载记录表包括至少两个节点执行同一加载任务时每一所述节点的数据加载记录；

根据每一所述节点的数据加载记录，确定每一所述节点的数据加载参数；

通过对所述至少两个节点各自的数据加载参数进行逻辑校验，确定加载异常的节点；

向所述加载异常的节点发送告警通知。

第二方面，本申请实施例提供一种数据校验装置，包括：

读取模块，用于响应于应用程序中数据的更新，从数据库中读取预设的数据加载记录表；其中，所述数据加载记录表包括至少两个节点执行同一加载任务时每一所述节点的数据加载记录；

确定模块，用于根据每一所述节点的数据加载记录，确定每一所述节点的数据加载参数；

校验模块，用于通过对所述至少两个节点各自的数据加载参数进行逻辑校验，确定加载异常的节点；

第一通知模块，用于向所述加载异常的节点发送告警通知。

第三方面，本申请实施例提供一种数据校验设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据校验方法中的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述数据校验方法中的步骤。

本申请实施例提供的技术方案带来的有益效果至少包括：

在本申请实施例中，首先，响应于应用程序中数据的更新，从数据库中读取预设的数据加载记录表；其次，根据每一所述节点的数据加载记录，确定每一所述节点的数据加载参数；然后，通过对所述至少两个节点各自的数据加载参数进行逻辑校验，确定加载异常的节点；最后，向所述加载异常的节点发送告警通知；如此，通过对多个节点执行同一加载任务时的加载情况进行校验分析，确定加载不一致的节点；并接入监控报警，能够及时通知相应节点，避免线上留坑。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1为本申请实施例提供的一种数据校验方法的流程示意图；

图2为本申请实施例提供的另一种数据校验方法的流程示意图；

图3为本申请实施例提供的又一种数据校验方法的流程示意图；

图4为本申请实施例提供的再一种数据校验方法的流程示意图；

图5为本申请实施例提供的数据校验方法的逻辑流程图；

图6A为本申请实施例提供的一种数据校验装置的组成结构示意图；

图6B为本申请实施例提供的另一种数据校验装置的组成结构示意图；

图7为本申请实施例提供的一种数据校验设备的硬件实体示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。以下实施例用于说明本申请，但不用来限制本申请的范围。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请实施例所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本申请实施例提供一种数据校验方法，应用于终端。所述终端包括但不限于手机、笔记本电脑、平板电脑和掌上上网设备、多媒体设备、流媒体设备、移动互联网设备、可穿戴设备或其他类型的终端设备。该方法所实现的功能可以通过终端中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该终端至少包括处理器和存储介质。处理器可以用于进行数据校验的过程的处理，存储器可以用于存储进行数据校验的过程中需要的数据以及产生的数据。

图1为本申请实施例提供的一种数据校验方法的流程示意图，如图1所示，所述方法至少包括以下步骤：

步骤S110，响应于应用程序中数据的更新，从数据库中读取预设的数据加载记录表。

这里，所述数据加载记录表包括至少两个节点执行同一加载任务时每一所述节点的数据加载记录。其中，所述数据加载记录为根据特定的数据上报方法，将每个节点的数据加载信息写入到数据库中形成的。

值得注意的是，数据加载记录表是预先根据获取的多个节点的数据加载信息创建的，反映了多机房不同节点对同一加载任务的执行情况。

需要说明的是，应用程序中数据的更新可以理解为应用程序加载了新的数据，可以包括以下场景：当应用程序出现异常关闭或闪退等情况需要重新启动时，需要进行数据加载；当应用程序涉及页面跳转，可能是原生跳转原生页面，也能是原生跳转到超文本标记语言(HyperText Markup Language，html)页面；既然都有页面跳转，加载新数据是必然的；在特定时间内，应用程序的页面会进行刷新和数据加载，例如运营活动的排行榜每天23：59更新，亦或是某些限时活动，以及即时消息的推送等。在实施过程中可根据实际情况进行确定，本申请实施例对此不作限定。

步骤S120，根据每一所述节点的数据加载记录，确定每一所述节点的数据加载参数。

这里，对从数据库中读取的数据加载记录进行信息筛选，确定出待校验的数据加载参数。

这里，数据加载参数为表征数据加载是否异常的信息，例如加载数据个数、加载起始时间、加载周期等。在实施过程中可根据实际情况进行确定，本申请实施例对此不作限定。

步骤S130，通过对所述至少两个节点各自的数据加载参数进行逻辑校验，确定加载异常的节点。

这里，通过在特定的数据校验服务中自定义校验逻辑，对多个节点执行加载任务时的数据加载参数进行校验，以确定加载异常的节点即判断是否存在加载不一致的节点。

步骤S140，向所述加载异常的节点发送告警通知。

这里，所述告警通知表征对应节点的加载数据个数与正确加载数据个数不一致。

在本申请实施例中，首先，响应于应用程序中数据的更新，从数据库中读取预设的数据加载记录表；其次，根据每一所述节点的数据加载记录，确定每一所述节点的数据加载参数；然后，通过对所述至少两个节点各自的数据加载参数进行逻辑校验，确定加载异常的节点；最后，向所述加载异常的节点发送告警通知；如此，通过对多个节点执行同一加载任务时的加载情况进行校验分析，确定加载不一致的节点；并接入监控报警，能够及时通知相应节点，避免线上留坑。

图2为本申请实施例提供的另一种数据校验方法的流程示意图，如图2所述，所述方法至少包括以下步骤：

步骤S210，在应用程序触发加载任务的情况下，获取每一所述节点的数据加载信息。

这里，所述加载任务可以为用户手动触发，也就是常见的下拉刷新和上滑加载，也包含点击按钮重新加载；所述加载任务也可以为***自动加载触发，即当前内容展示完毕，预加载下一页内容。在实施过程中可根据实际情况进行确定，本申请实施例对此不作限定。

步骤S220，通过特定的JAR文件中的数据上报方法，异步调用特定的数据校验服务，将每一所述数据加载信息***到所述数据加载记录表。

这里，所述特定的JAR文件为是其他人或组织已经写好的一些类，然后将这些类进行打包。用户可以将这些Jar包引入对应的项目中，然后就可以直接使用这些Jar包中的类和属性以及方法。

这里，所述数据上报方法包含数据加载信息相关的参数，从而通过调用数据上报方法，将数据加载信息上报到数据库中。其中，数据上报方法通过Http异步调用特定的数据校验服务，进而通过数据校验服务对数据库的数据加载记录表进行操作。

需要说明的是，这里异步调用指的是应用程序在刷新页面即加载数据的过程中，应用程序同时通过数据校验服务对数据库进行操作并进行逻辑校验，数据校验服务将校验后的结果返回给应用程序。

步骤S230，响应于应用程序中数据的更新，通过异步调用特定的数据校验服务，从所述数据库中读取所述至少两个节点对应的数据加载记录。

这里，从所述数据库中存储的数据加载记录表中读取所述至少两个节点对同一加载任务的数据加载记录。

需要说明的是，数据加载记录表中可以包含多个节点执行所有加载任务的数据加载记录，这里进行数据校验时，需要同时读取多个节点针对同一加载任务的数据加载记录。

步骤S240，根据每一所述节点的数据加载记录，确定每一所述节点的数据加载参数。

步骤S250，通过对所述至少两个节点各自的数据加载参数进行逻辑校验，确定加载异常的节点。

步骤S260，向所述加载异常的节点发送告警通知。

这里需要指出的是，上述步骤S230至步骤S260的过程与步骤S110至步骤S140是类似的。为避免重复，本申请实施例在此不再赘述。

在本申请实施例中，首先，在应用程序触发加载任务的情况下，获取每一所述节点的数据加载信息；其次，通过特定的JAR文件中的数据上报方法，异步调用特定的数据校验服务，将每一所述数据加载信息***到所述数据加载记录表；然后，响应于应用程序中数据的更新，通过异步调用特定的数据校验服务，从所述数据库中读取所述至少两个节点对应的数据加载记录，以进行逻辑校验；如此，通过预先将多节点的数据加载情况上报到数据加载记录表中汇总，从而以一个全局视角查看同一工程的多机房、多节点的加载情况，同时进一步进行数据校验，使得可以及时对加载不一致的情况进行告警通知，确保业务数据加载的正常。

在一些可能的实施例中，所述加载任务的加载类型为全量加载类型，所述数据加载参数为加载数据个数、起始加载时刻和加载周期，图3为本申请实施例提供的另一种数据校验方法的流程示意图，如图3所示，上述步骤S130或步骤S250“通过对所述至少两个节点各自的数据加载参数进行逻辑校验，确定加载异常的节点”可以通过以下步骤实现：

步骤S310，从所述至少两个节点各自的加载数据个数中，将出现次数最多的加载数据个数作为第一候选加载个数。

这里，所述至少两个节点中每一节点对应一个加载数据个数，例如N个节点就会有N个加载数据个数，这些加载数据个数可以相同，也可以不相同。

步骤S320，确定所述第一候选加载个数的出现次数与所有节点的总数目之间的第一比例。

步骤S330，在所述第一比例大于第一阈值的情况下，将所述第一候选加载个数作为第一目标加载个数。

这里，所述第一阈值为预设的大于0且小于1的百分比，例如可以为80％。

这里，所述第一目标加载个数为加载正常的节点对应的加载数据个数。

可以理解的是，如果针对同一加载任务，不同节点对应的加载数据个数应一致。所以筛选出加载数据个数相同出现次数最多且占所述节点总数大于一定百分比的加载数据个数作为第一目标加载个数即正确加载数据个数。

示例地，如果对于同一加载任务，节点1至节点8均加载数据90个，节点9加载数据80个，节点10加载数据85个，可以判断加载数据个数90出现次数最多为8次，占总数80％(所有节点总数10)，所以加载数据个数90为目标加载个数。也就是对于同一加载任务，加载数据为90个的节点1至节点8均加载正确，且正确加载数据个数为90个。

在一些可能的实施例中，在不存在所述第一目标加载个数的情况下，向执行所述加载任务的所有节点发送告警通知。

步骤S340，根据所述第一目标加载个数对应的起始加载时刻和所述加载周期，确定所述加载异常的节点。

这里，在实施过程中，可以通过以下步骤确定加载异常的节点：

步骤S3401，将所述至少两个节点中的加载数据个数不为所述第一目标加载个数对应的节点，作为第一候选节点。

这里，所述第一候选节点为加载数据个数与正确定加载数据个数不同的节点，也就是加载异常的节点。

步骤S3402，确定所述第一目标加载个数对应的起始加载时刻和所述第一候选节点对应的起始加载时刻之间的第一间隔。

这里，首先确定第一目标加载个数对应的各个节点，然后从这些节点对应的数据加载记录中确定每一节点的起始加载时刻，再与加载数据个数不一致的节点对应的起始加载时刻作时间差，确定所述第一间隔。

步骤S3403，在所述第一间隔小于所述加载周期的情况下，将所述第一候选节点确定为所述加载异常的节点。

这里，比较第一间隔是否小于加载周期，也就是加载个数不一致的节点对应的起始加载时刻距第一目标加载个数对应的起始加载时刻之间的时间差，在所述加载任务的加载周期内的情况下，说明该加载个数不一致的节点为加载异常的节点。

示例地，第一目标加载个数即加载数据为90个的节点1至节点8中最早的加载时刻为上午10点05分，其余少于总数20％的节点有节点9和节点10；其中节点9的加载时刻为10点08分，节点10的加载时刻为10点07分，那么节点9与加载正常的节点的时间差为2分钟(小于加载周期3分钟)，即加载个数与第一目标加载个数不一致的节点9为加载异常的节点。

在一些可能的实施例中，所述加载任务的加载类型为增量加载类型，所述数据加载参数为加载数据个数、起始加载时刻、增量容错个数和加载周期。图4为本申请实施例提供的再一种数据校验方法的流程示意图，如图4所示，上述步骤S130或步骤S250“通过对所述至少两个节点各自的数据加载参数进行逻辑校验，确定加载异常的节点”可以通过以下步骤实现：

步骤S410，从所述至少两个节点各自的加载数据个数中，确定出最小值和最大值。

这里，所述最小值为加载数据个数最少的数目，所述最大值为加载数据个数最多的数据。所述至少两个节点中每一节点对应一个加载数据个数，例如N个节点就会有N个加载数据个数，在这些加载数据个数不相同的情况下，确定出加载数据个数最少的数目L和加载数据个数最多的数目H。

步骤S420，在所述最小值和最大值之间的差值大于所述增量容错个数的情况下，将出现次数最多的加载数据个数作为第二候选加载个数。

这里，所述增量容错个数表征不同节点针对同一增量加载任务加载数据个数不一致的误差范围。

这里，如果加载个数最少的数目L和加载数据个数最多的数目H之间的差值大于增量容错个数的话，说明存在加载异常的节点，需要进行下一步筛选；反之，则循环下一加载任务进行判断。

步骤S430，确定所述第一候选加载个数的出现次数与所有节点的总数目之间的第一比例。

步骤S440，在所述第二比例大于第二阈值的情况下，将所述第二候选加载个数作为第二目标加载个数。

这里，所述第二阈值为预设的大于0且小于1的百分比，例如可以为60％。

这里，所述第二目标加载个数为加载正常的节点对应的加载数据个数。

可以理解的是，如果针对同一加载任务，不同节点对应的加载数据个数应一致。所以筛选出加载数据个数相同出现次数最多且占所述节点总数大于一定百分比的加载数据个数作为第二目标加载个数即正确加载数据个数。

示例地，如果对于同一加载任务，节点1至节点6均加载数据90个，节点7、8和9分别加载数据80个，节点10加载数据88个，可以判断出加载数据个数最多的为90个，与加载数据个数最小值(80个)之间差距为10个，大于增量容错个数(5个)。同时，加载数据个数90出现次数最多为6次，占总数60％(所有节点总数10)，所以加载数据个数90为目标加载个数。也就是对于同一加载任务，加载数据为90个的节点1至节点6均加载正确，且正确加载数据个数为90个。

在一些可能的实施例中，在所述最小值和最大值之间的差值小于所述增量容错个数的情况下，可以理解为所有节点的加载数据个数在误差范围内一致，也就是不同节点对同一加载任务加载正常，无需作后续操作。

步骤S450，根据所述第二目标加载个数对应的起始加载时刻和所述加载周期，确定所述加载异常的节点。

这里，在实施过程中，确定所述加载异常的节点的过程可以通过以下步骤实现：

步骤S4501，将所述至少两个节点中的加载数据个数不为所述第二目标加载个数对应的节点，作为第二候选节点。

这里，所述第一候选节点为加载数据个数与正确定加载数据个数不同的节点，也就是加载异常的节点。

步骤S4502，确定所述第二目标加载个数对应的起始加载时刻和所述第二候选节点对应的起始加载时刻之间的第二间隔。

这里，首先确定第二目标加载个数对应的各个节点，然后从这些节点对应的数据加载记录中确定每一节点的起始加载时刻，再与加载数据个数不一致的节点对应的起始加载时刻作时间差，确定所述第二间隔。

步骤S4503，在所述第二间隔小于所述加载周期的情况下，将所述第二候选节点确定为所述加载异常的节点。

这里，比较第一间隔是否小于加载周期，也就是加载个数不一致的节点对应的起始加载时刻距第一目标加载个数对应的起始加载时刻之间的时间差，在所述加载任务的加载周期内的情况下，说明该加载个数不一致的节点为加载异常的节点。

下面结合一个具体实施例对上述数据校验方法进行说明，然而值得注意的是，该具体实施例仅是为了更好地说明本申请，并不构成对本申请的不当限定。

多机房多实例从多数据源加载数据，偶有不一致的情况，排查起来较为繁琐，需要一个全局视角。鉴于此，需要将多机房、多节点的数据加载情况“可视化”，同时进行监控报警，如有加载不一致的情况会及时通知到相应的人员。

图5为本申请实施例提供的数据校验方法的逻辑流程图。如图5所示，包括以下步骤：

步骤S501，在业务工程中引入JAR文件的依赖。

示例地，JAR文件的名称为flab-check-core，第三方引用引入时，只需要引入如下依赖即可。

步骤S502，调用JAR文件中的数据上报方法，将多个节点的数据加载信息***到数据库中的数据加载记录表中。

这里，预先在数据库中创建数据加载记录表(record)，只要调用JAR文件中的数据上报方法，就向数据加载记录表中***一条数据加载记录，该记录的内容即为数据加载信息，如应用ID、应用名、节点、数据加载类的全路径、加载数据个数、加载类型、加载时间、耗时、加载间隔、增量容错个数等信息。

这里，所述数据上报方法为JAR文件中的工具类方法。示例地，如下为数据上报方法(reportDatawithMethodDesc)的函数实现，其中包含参数加载类型(loadType)、加载起始时刻(begin)、耗时(costTime)、数据加载类的全路径(classPath)、加载方法(methodName)、加载目的地(loadDesc)public static void reportDatawithMethodDesc(LoadTypeEnum loadType,long begin,int size,float costTime,String classPath,String methodName,string loadDesc)

需要说明的是，在该数据上报方法中，首先判断数据校验服务是否为开启状态，在打开数据校验服务的情况下，直接可以通过异步Http的方式上报数据加载情况。其中，可以通过分布式配置中心(如阿波罗apollo)对数据校验服务的网址(Http Url)、应用名、应用ID以及是否进行数据校验的开关进行配置。

步骤S503，通过数据校验服务从数据库中读取数据加载记录，进行逻辑校验处理。

这里，在所述数据校验服务中自定义校验逻辑，通过同一任务不同节点的加载数据个数以及加载时间，判断出异常数据加载情况并发出通知警告。

步骤S504，将读取数据加载记录显示在前端页面。

下面分别详细说明上述步骤S503中针对全量加载类型的任务和增量加载类型的任务的校验逻辑。

全量加载类型的任务一般都发生在工程刚启动的时候，或者周期性的固定时间，例如每天凌晨两点。对于这种应用场景，采取如下的校验步骤：

步骤S1，根据分组汇总(group by)组合索引，从数据库中查询出所有全量加载类型的任务。

步骤S2，根据每个任务的索引字段，查询出每个任务在所有节点IP的任务加载详情。

这里，所述索引字段可以为数据表中的主键、外键。其中，索引为对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息。

这里，所述任务加载详情即为上述数据加载记录，表征任务加载的情况。

步骤S3，记录加载每个任务的所有节点IP以及分别在每个节点下的加载数据个数。

示例地，加载同一任务的节点IP分别为10.17.16.245和10.17.16.245，对应的加载数据个数分别为9630和9832，表明这两个节点IP加载数据不一致。

步骤S4，筛选出所有节点IP中出现次数最多的且超过所有节点IP总数80％的加载数据个数作为正确加载个数。

步骤S5，确定正确加载个数对应的正确记录中最早加载的时刻，与其余少于总数20％的记录的加载时刻进行对比得到时间差，对时间差小于加载周期且加载个数不一致的节点发出加载异常通知。

步骤S6，如果步骤S4中未出现正确加载个数，则通知执行该任务的所有节点。

这里，如果对于同一加载任务，分析所有节点的加载数据个数，不能找出按照步骤S4的规则选出的正确加载个数，说明这些节点都加载异常，需要向所有节点通知告警。

增量加载类型的任务一般都发生在工程启动后，每间隔15分钟或者数小时加载一次。对于这种应用场景，采取如下的校验步骤：

步骤S1，根据分组汇总组合索引，从数据库中查询出所有增量加载类型的任务。

步骤S2，根据每个任务的索引字段，查询出每个任务在所有节点IP的任务加载详情。

这里，所述任务加载详情即为上述数据加载记录，表征任务加载的情况。

步骤S3，记录加载每个任务的所有节点IP以及分别在每个节点下的加载数据个数。

示例地，加载同一任务的节点IP分别为10.17.16.245和10.17.16.245，对应的加载数据个数分别为9630和9832，表明这两个节点IP加载数据不一致。

步骤S4，计算出最小加载数据个数与最大加载数据个数的加载个数差，若加载个数差小于增量容错个数。则循环下一个任务继续处理，跳到步骤S2。否则进行步骤S5。

步骤S5，筛选出所有节点IP中出现次数最多的且超过所有节点IP总数60％的加载数据个数作为正确加载个数。

步骤S6，确定正确加载个数对应的记录中最早加载的时刻，与其余少于总数40％的记录的加载时刻进行对比得到时间差，对时间差小于加载周期的节点发出加载异常通知。

步骤S7，如果步骤S5中未出现正确加载个数，则通知执行该任务的所有节点。

这里，如果对于同一加载任务，分析所有节点的加载数据个数，不能找出按照步骤S5的规则选出的正确加载个数，说明这些节点都加载异常，需要向所有节点通知告警。

通过本申请实施例提供的数据校验方法，可以获取多个节点如大族机房、首鸣机房和起云机房的数据告警信息。通过查询该数据告警信息汇总发现，在工程中点击反馈数据在大族机房比首鸣机房和起云机房都少一条记录。因为加载的数据均来自同一张表，经核查三个机房的表数据都一样，数目也一样。排除数据库数据不同、机房不同导致数据同步异常的情况。

因此，排查原因是由于大族机房的定时任务(cron)还没来得急触发那条增量数据。通过分布式调度框架(Elastic Job Lite)控制台，重新触发大族机房的这个任务后再次查看数据恢复一致。可以看出，利用本申请实施例提供的基于数据上报，进行数据汇总，对同一个工程提供多机房，多节点数据加载的全局预览视图，能够有效核查出现加载异常的情况。

在某次统计有哪些任务频繁上报的时候，发现对同一工程，每次统计会有30至40条记录在加载并上报。因此，随机选择一个节点IP的数据加载记录查看对应的上报时间，根据该上报时间既可以很快找到工程的源码位置。在相应的源码位置处，分析计划表(schedule)并没有那么快的加载频率。同时排查分布式定时任务管理(elasticjob)控制台无修改操作，可以分析得出对应的功能代码某处频繁调用，进一步分析代码逻辑，可以追踪到程序中的漏洞(bug)。可以看出，通过本申请实施例提供的数据校验方法，对多个机房多个节点的数据加载情况进行汇总并校验，能够第一时间获取加载异常情况，并进一步分析异常原因。

在本申请实施例中，基于数据上报，进行数据汇总，对同一个工程提供多机房，多节点数据加载的全局预览视图；同时.通过自定义校验逻辑，对异常数据加载情况进行告警，有加载异常情况，第一时间获取通知，避免线上留坑。

基于前述的实施例，本申请实施例再提供一种数据校验装置，所述控制装置包括所包括的各模块、以及各模块所包括的各单元，可以通过终端中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CentralProcessing Unit，CPU)、微处理器(Micro Processing Unit，MPU)、数字信号处理器(Digital Signal Processor，DSP)或现场可编程门阵列(Field Programmable GateArray，FPGA)等。

图6A为本申请实施例提供的一种数据校验装置的组成结构示意图，如图6A所示，所述校验装置600包括读取模块610、确定模块620、校验模块630和第一通知模块640，其中：

所述读取模块610，用于响应于应用程序中数据的更新，从数据库中读取预设的数据加载记录表；其中，所述数据加载记录表包括至少两个节点执行同一加载任务时每一所述节点的数据加载记录；

所述确定模块620，用于根据每一所述节点的数据加载记录，确定每一所述节点的数据加载参数；

所述校验模块630，用于通过对所述至少两个节点各自的数据加载参数进行逻辑校验，确定加载异常的节点；

所述第一通知模块640，用于向所述加载异常的节点发送告警通知。

在一些可能的实施例中，如图6B所示，所述校验装置600还包括获取模块650和上报模块660，其中：所述获取模块650，用于在所述应用程序触发加载任务的情况下，获取每一所述节点的数据加载信息；其中，所述数据加载信息用于表征所述加载任务的执行情况；所述上报模块660，用于将每一所述数据加载信息上报到所述数据库中。

在一些可能的实施例中，所述上报模块660，还用于通过特定的JAR文件中的数据上报方法，异步调用特定的数据校验服务，将每一所述数据加载信息***到所述数据加载记录表。

在一些可能的实施例中，所述读取模块610，还用于响应于应用程序中数据的更新，通过异步调用特定的数据校验服务，从所述数据库中读取所述至少两个节点对应的数据加载记录。

在一些可能的实施例中，所述加载任务的加载类型为全量加载类型，所述数据加载参数为加载数据个数、起始加载时刻和加载周期，所述校验模块630包括第一确定子模块、第二确定子模块、第三确定子模块和第四确定子模块，其中：所述第一确定子模块，用于从所述至少两个节点各自的加载数据个数中，将出现次数最多的加载数据个数作为第一候选加载个数；所述第二确定子模块，用于确定所述第一候选加载个数的出现次数与所有节点的总数目之间的第一比例；所述第三确定子模块，用于在所述第一比例大于第一阈值的情况下，将所述第一候选加载个数作为第一目标加载个数；所述第四确定子模块，用于根据所述第一目标加载个数对应的起始加载时刻和所述加载周期，确定所述加载异常的节点。

在一些可能的实施例中，所述第四确定子模块包括第一确定单元、第二确定单元和第三确定单元，其中：所述第一确定单元，用于将所述至少两个节点中的加载数据个数不为所述第一目标加载个数对应的节点，作为第一候选节点；所述第二确定单元，用于确定所述第一目标加载个数对应的起始加载时刻和所述第一候选节点对应的起始加载时刻之间的第一间隔；所述第三确定单元，用于在所述第一间隔小于所述加载周期的情况下，将所述第一候选节点确定为所述加载异常的节点。

在一些可能的实施例中，所述加载任务的加载类型为增量加载类型，所述数据加载参数为加载数据个数、起始加载时刻、增量容错个数和加载周期，所述校验模块630包括第五确定子模块、第六确定子模块、第七确定子模块、第八确定子模块和第九确定子模块，其中：所述第五确定子模块，用于从所述至少两个节点各自的加载数据个数中，确定出最小值和最大值；所述第六确定子模块，用于在所述最小值和最大值之间的差值大于所述增量容错个数的情况下，将出现次数最多的加载数据个数作为第二候选加载个数；所述第七确定子模块，用于确定所述第一候选加载个数的出现次数与所有节点的总数目之间的第一比例；所述第八确定子模块，用于在所述第二比例大于第二阈值的情况下，将所述第二候选加载个数作为第二目标加载个数；所述第九确定子模块，用于根据所述第二目标加载个数对应的起始加载时刻和所述加载周期，确定所述加载异常的节点。

在一些可能的实施例中，所述第九确定子模块包括第四确定单元、第五确定单元和第六确定单元，其中：所述第四确定单元，用于将所述至少两个节点中的加载数据个数不为所述第二目标加载个数对应的节点，作为第二候选节点；所述第五确定单元，用于确定所述第二目标加载个数对应的起始加载时刻和所述第二候选节点对应的起始加载时刻之间的第二间隔；所述第六确定单元，用于在所述第二间隔小于所述加载周期的情况下，将所述第二候选节点确定为所述加载异常的节点。

在一些可能的实施例中，所述校验装置600还包括第二通知模块，用于在不存在所述第一目标加载个数的情况下，向执行所述加载任务的所有节点发送告警通知；或者在不存在所述第二目标加载个数的情况下，向执行所述加载任务的所有节点发送告警通知。

这里需要指出的是：以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述数据校验方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得终端(可以是具有摄像头的智能手机、平板电脑等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中任一所述数据校验方法中的步骤。

对应地，本申请实施例中，还提供了一种芯片，所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片运行时，用于实现上述实施例中任一所述数据校验方法中的步骤。

对应地，本申请实施例中，还提供了一种计算机程序产品，当该计算机程序产品被终端的处理器执行时，其用于实现上述实施例中任一所述数据校验方法中的步骤。

基于同一技术构思，本申请实施例提供一种数据校验设备，用于实施上述方法实施例记载的数据校验方法。该数据校验设备包括但不限于手机、笔记本电脑、平板电脑和掌上上网设备、多媒体设备、流媒体设备、移动互联网设备、可穿戴设备或其他类型的终端设备。图7为本申请实施例提供的一种数据校验设备的硬件实体示意图，如图7所示，所述设备700包括存储器710和处理器720，所述存储器710存储有可在处理器720上运行的计算机程序，所述处理器720执行所述程序时实现本申请实施例任一所述数据校验方法中的步骤。

存储器710配置为存储由处理器720可执行的指令和应用，还可以缓存待处理器720以及终端中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random Access Memory，RAM)实现。

处理器720执行程序时实现上述任一项的数据校验方法的步骤。处理器720通常控制设备700的总体操作。

上述处理器可以为特定用途集成电路(Application Specific IntegratedCircuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable LogicDevice，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。

上述计算机存储介质/存储器可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本申请实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得设备自动测试线执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种数据校验方法，其特征在于，所述方法包括：

响应于应用程序中数据的更新，从数据库中读取预设的数据加载记录表；其中，所述数据加载记录表包括至少两个节点执行同一加载任务时每一所述节点的数据加载记录；

根据每一所述节点的数据加载记录，确定每一所述节点的数据加载参数；

通过对所述至少两个节点各自的数据加载参数进行逻辑校验，确定加载异常的节点；

向所述加载异常的节点发送告警通知。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

在所述应用程序触发加载任务的情况下，获取每一所述节点的数据加载信息；其中，所述数据加载信息用于表征所述加载任务的执行情况；

将每一所述数据加载信息上报到所述数据库中。

3.如权利要求2所述的方法，其特征在于，所述将每一所述数据加载信息上报到所述数据库中，包括：

通过特定的JAR文件中的数据上报方法，异步调用特定的数据校验服务，将每一所述数据加载信息***到所述数据加载记录表。

4.如权利要求1所述的方法，其特征在于，所述响应于应用程序中数据的更新，从数据库中读取预设的数据加载记录表，包括：

响应于应用程序中数据的更新，通过异步调用特定的数据校验服务，从所述数据库中读取所述至少两个节点对应的数据加载记录。

5.如权利要求1所述的方法，其特征在于，所述加载任务的加载类型为全量加载类型，所述数据加载参数为加载数据个数、起始加载时刻和加载周期，

所述通过对所述至少两个节点各自的数据加载参数进行逻辑校验，确定加载异常的节点，包括：

从所述至少两个节点各自的加载数据个数中，将出现次数最多的加载数据个数作为第一候选加载个数；

确定所述第一候选加载个数的出现次数与所有节点的总数目之间的第一比例；

在所述第一比例大于第一阈值的情况下，将所述第一候选加载个数作为第一目标加载个数；

根据所述第一目标加载个数对应的起始加载时刻和所述加载周期，确定所述加载异常的节点。

6.如权利要求5所述的方法，其特征在于，所述根据所述第一目标加载个数对应的起始加载时刻和所述加载周期，确定所述加载异常的节点，包括：

将所述至少两个节点中的加载数据个数不为所述第一目标加载个数对应的节点，作为第一候选节点；

确定所述第一目标加载个数对应的起始加载时刻和所述第一候选节点对应的起始加载时刻之间的第一间隔；

在所述第一间隔小于所述加载周期的情况下，将所述第一候选节点确定为所述加载异常的节点。

7.如权利要求1所述的方法，其特征在于，所述加载任务的加载类型为增量加载类型，所述数据加载参数为加载数据个数、起始加载时刻、增量容错个数和加载周期，

所述通过对所述至少两个节点各自的数据加载参数进行逻辑校验，确定加载异常的节点，包括：

从所述至少两个节点各自的加载数据个数中，确定出最小值和最大值；

在所述最小值和最大值之间的差值大于所述增量容错个数的情况下，将出现次数最多的加载数据个数作为第二候选加载个数；

确定所述第一候选加载个数的出现次数与所有节点的总数目之间的第一比例；

在所述第二比例大于第二阈值的情况下，将所述第二候选加载个数作为第二目标加载个数；

根据所述第二目标加载个数对应的起始加载时刻和所述加载周期，确定所述加载异常的节点。

8.如权利要求7所述的方法，其特征在于，所述根据所述第二目标加载个数对应的起始加载时刻和所述加载周期，确定所述加载异常的节点，包括：

将所述至少两个节点中的加载数据个数不为所述第二目标加载个数对应的节点，作为第二候选节点；

确定所述第二目标加载个数对应的起始加载时刻和所述第二候选节点对应的起始加载时刻之间的第二间隔；

在所述第二间隔小于所述加载周期的情况下，将所述第二候选节点确定为所述加载异常的节点。

9.如权利要求7所述的方法，其特征在于，所述方法还包括：

在不存在所述第一目标加载个数的情况下，向执行所述加载任务的所有节点发送告警通知；或者

在不存在所述第二目标加载个数的情况下，向执行所述加载任务的所有节点发送告警通知。

10.一种数据校验装置，其特征在于，所述校验装置包括读取模块、确定模块、校验模块和第一通知模块，其中：

所述读取模块，用于响应于应用程序中数据的更新，从数据库中读取预设的数据加载记录表；其中，所述数据加载记录表包括至少两个节点执行同一加载任务时每一所述节点的数据加载记录；

所述确定模块，用于根据每一所述节点的数据加载记录，确定每一所述节点的数据加载参数；

所述校验模块，用于通过对所述至少两个节点各自的数据加载参数进行逻辑校验，确定加载异常的节点；

所述第一通知模块，用于向所述加载异常的节点发送告警通知。

11.一种数据校验设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至9任一项所述方法中的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述方法中的步骤。

Images