CN112148721A - 数据检核方法、装置、电子设备及存储介质 - Google Patents

数据检核方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112148721A
CN112148721A CN202011021590.8A CN202011021590A CN112148721A CN 112148721 A CN112148721 A CN 112148721A CN 202011021590 A CN202011021590 A CN 202011021590A CN 112148721 A CN112148721 A CN 112148721A
Authority
CN
China
Prior art keywords
data
check
rule
checking
table corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011021590.8A
Other languages
English (en)
Other versions
CN112148721B (zh
Inventor
元立本
石超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN202011021590.8A priority Critical patent/CN112148721B/zh
Publication of CN112148721A publication Critical patent/CN112148721A/zh
Application granted granted Critical
Publication of CN112148721B publication Critical patent/CN112148721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种数据检核方法、装置、电子设备及存储介质，利用预设***记录各检核规则对应的检核表及参照表的数据变化情况；在非首次执行第一检核规则的数据检核的过程中，获取第一检核规则对应的检核表及参照表的数据变化情况、以及第一检核规则上次的检核结果；根据第一检核规则对应的检核表及参照表的数据变化情况、以及第一检核规则上次的检核结果，得到第一检核规则当前的检核结果。利用第一检核规则对应的检核表及参照表的数据变化情况、以及第一检核规则上次的检核结果，得到第一检核规则当前的检核结果，不用每次检核时均从数据源中获取检核表及参照表中的全部数据，能够减少数据源服务器的读写压力，增加数据检核效率。

Description

数据检核方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及数据检核方法、装置、电子设备及存储介质。
背景技术
在信息化应用不断发展的今天，数据是已经成为最具价值的资产之一。企业的数据质量与业务绩效之间存在着直接联系，高质量的数据可以提高公司的竞争力。如何对海量数据进行处理，获取高质量的数据，已经成为各行业关注的焦点。数据质量分析，支持对业务指标和数据质量进行监控，可以从完整性、有效性、及时性、准确性、唯一性六个维度对数据进行分析，数据质量检验可以帮助用户及时发现数据质量问题，及时纠正问题，减少损失。然而在信息大***的今天，数据的种类和数据的量变得越大越庞大，数据质量分析面临着从海量数据中检核出有效数据的执行效率低下的问题。
现有技术中，通过JDBC(Java Database Connectivity，Java数据库连接)的方式，从数据源的检核表中获取数据，然后以检核表中的数据为条件，通过JDBC的方式，遍历参照表中查找是否有相同的数据，如果没有查到的话，就把检核表中的该数据作为错误数据返回给监控端，从而实现数据检核。
但是采用上述数据检核方法，每次执行检核任务时，都需要重复执行从数据源中获取检核表及参照表中的全部数据，数据源服务器的读写压力大，数据检核效率低。
发明内容
本申请实施例的目的在于提供一种数据检核方法、装置、电子设备及存储介质，以实现减少数据源服务器的读写压力，增加数据检核效率。具体技术方案如下：
第一方面，本申请实施例提供了一种数据检核方法，所述方法包括：
利用预设***记录各检核规则对应的检核表及参照表的数据变化情况，其中，一所述检核规则对应至少一检核表及至少一参照表；
在非首次执行第一检核规则的数据检核的过程中，获取所述第一检核规则对应的检核表及参照表的数据变化情况、以及所述第一检核规则上次的检核结果，其中，所述第一检测规则为任一检核规则；
根据所述第一检核规则对应的检核表及参照表的数据变化情况、以及所述第一检核规则上次的检核结果，得到所述第一检核规则当前的检核结果。
在一种可能的实施方式中，在所述利用预设***记录各检核规则对应的检核表及参照表的数据变化情况之前，所述方法还包括：
在首次执行所述第一检核规则的数据检核的过程中，获取所述第一检核规则对应的检核表中的全量数据及参照表中的全量数据并进行比较，得到所述第一检核规则首次的检核结果，其中，所述第一检核规则首次的检核结果包括所述第一检核规则对应的检核表中的错误数据；
将所述第一检核规则的对应的检核表中的错误数据存储到指定存储中；
所述利用预设***记录各检核规则对应的检核表及参照表的数据变化情况，包括：
利用预设***记录所述第一检核规则对应的检核表及参照表的数据变化情况。
在一种可能的实施方式中，所述根据所述第一检核规则对应的检核表及参照表的数据变化情况、以及所述第一检核规则上次的检核结果，得到所述第一检核规则当前的检核结果，包括：
根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据；
根据所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，得到所述第一检核规则当前的检核结果。
在一种可能的实施方式中，所述根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，包括：
在所述数据变化情况表示所述第一检核规则对应的参照表中的数据增加的情况下，将所述指定存储中的目标错误数据与所述第一检核规则对应的参照表中增加的数据进行比对，得到相同的数据作为第一待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，删除所述第一待删除数据。
在一种可能的实施方式中，所述根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，包括：
在所述数据变化情况表示所述第一检核规则对应的参照表中的数据减少的情况下，将所述第一检核规则对应的参照表中减少的数据与第一检核规则对应的检核表中的全量数据进行比对，得到相同的数据作为第一待更新数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第一待更新数据。
在一种可能的实施方式中，所述根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，包括：
在所述数据变化情况表示所述第一检核规则对应的参照表中的数据修改的情况下，将所述第一检核规则对应的参照表中修改前的数据与第一检核规则对应的检核表中的全量数据进行比对，得到相同的数据作为第二待更新数据；
将所述第一检核规则对应的参照表中修改后的数据与所述指定存储中的目标错误数据进行比对，得到相同的数据作为第二待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第二待更新数据，删除所述第二待删除数据。
在一种可能的实施方式中，所述根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，包括：
在所述数据变化情况表示所述第一检核规则对应的检核表中的数据减少的情况下，将所述指定存储中的目标错误数据与所述第一检核规则对应的检核表中减少的数据进行比对，得到相同的数据作为第三待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，删除所述第三待删除数据。
在一种可能的实施方式中，所述根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，包括：
在所述数据变化情况表示所述第一检核规则对应的检核表中的数据增加的情况下，将所述第一检核规则对应的检核表中增加的数据与第一检核规则对应的参照表中的全量数据进行比对，得到错误的数据作为第三待更新数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第三待更新数据。
在一种可能的实施方式中，所述根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，包括：
在所述数据变化情况表示所述第一检核规则对应的检核表中的数据修改的情况下，将所述第一检核规则对应的检核表中修改后的数据与第一检核规则对应的参照表中的全量数据进行比对，得到错误的数据作为第四待更新数据；
将所述第一检核规则对应的检核表中修改前的数据与所述指定存储中的目标错误数据进行比对，得到相同的数据作为第四待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第四待更新数据，删除所述第四待删除数据。
第二方面，本申请实施例提供了一种数据检核装置，所述装置包括：
数据变化记录模块，用于利用预设***记录各检核规则对应的检核表及参照表的数据变化情况，其中，一所述检核规则对应至少一检核表及至少一参照表；
数据变化获取模块，用于在非首次执行第一检核规则的数据检核的过程中，获取所述第一检核规则对应的检核表及参照表的数据变化情况、以及所述第一检核规则上次的检核结果；
检核结果确定模块，用于根据所述第一检核规则对应的检核表及参照表的数据变化情况、以及所述第一检核规则上次的检核结果，得到所述第一检核规则当前的检核结果。
在一种可能的实施方式中，所述装置还包括：
全量数据比较模块，用于在首次执行所述第一检核规则的数据检核的过程中，获取所述第一检核规则对应的检核表中的全量数据及参照表中的全量数据并进行比较，得到所述第一检核规则首次的检核结果，其中，所述第一检核规则首次的检核结果包括所述第一检核规则对应的检核表中的错误数据；
错误数据存储模块，用于将所述第一检核规则的对应的检核表中的错误数据存储到指定存储中；
所述数据变化记录模块，具体用于：利用预设***记录所述第一检核规则对应的检核表及参照表的数据变化情况。
在一种可能的实施方式中，所述检核结果确定模块，包括：
错误数据更新子模块，用于根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据；
检核结果获取子模块，用于根据所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，得到所述第一检核规则当前的检核结果。
在一种可能的实施方式中，所述错误数据更新子模块，具体用于：
在所述数据变化情况表示所述第一检核规则对应的参照表中的数据增加的情况下，将所述指定存储中的目标错误数据与所述第一检核规则对应的参照表中增加的数据进行比对，得到相同的数据作为第一待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，删除所述第一待删除数据。
在一种可能的实施方式中，所述错误数据更新子模块，具体用于：
在所述数据变化情况表示所述第一检核规则对应的参照表中的数据减少的情况下，将所述第一检核规则对应的参照表中减少的数据与第一检核规则对应的检核表中的全量数据进行比对，得到相同的数据作为第一待更新数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第一待更新数据。
在一种可能的实施方式中，所述错误数据更新子模块，具体用于：
在所述数据变化情况表示所述第一检核规则对应的参照表中的数据修改的情况下，将所述第一检核规则对应的参照表中修改前的数据与第一检核规则对应的检核表中的全量数据进行比对，得到相同的数据作为第二待更新数据；
将所述第一检核规则对应的参照表中修改后的数据与所述指定存储中的目标错误数据进行比对，得到相同的数据作为第二待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第二待更新数据，删除所述第二待删除数据。
在一种可能的实施方式中，所述错误数据更新子模块，具体用于：
在所述数据变化情况表示所述第一检核规则对应的检核表中的数据减少的情况下，将所述指定存储中的目标错误数据与所述第一检核规则对应的检核表中减少的数据进行比对，得到相同的数据作为第三待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，删除所述第三待删除数据。
在一种可能的实施方式中，所述错误数据更新子模块，具体用于：
在所述数据变化情况表示所述第一检核规则对应的检核表中的数据增加的情况下，将所述第一检核规则对应的检核表中增加的数据与第一检核规则对应的参照表中的全量数据进行比对，得到错误的数据作为第三待更新数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第三待更新数据。
在一种可能的实施方式中，所述错误数据更新子模块，具体用于：
在所述数据变化情况表示所述第一检核规则对应的检核表中的数据修改的情况下，将所述第一检核规则对应的检核表中修改后的数据与第一检核规则对应的参照表中的全量数据进行比对，得到错误的数据作为第四待更新数据；
将所述第一检核规则对应的检核表中修改前的数据与所述指定存储中的目标错误数据进行比对，得到相同的数据作为第四待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第四待更新数据，删除所述第四待删除数据。
第三方面，本申请实施例提供了一种电子设备，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现任一所述的数据检核方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的数据检核方法。
本申请实施例提供的数据检核方法、装置、电子设备及存储介质，利用预设***记录各检核规则对应的检核表及参照表的数据变化情况，其中，一检核规则对应至少一检核表及至少一参照表；在非首次执行第一检核规则的数据检核的过程中，获取第一检核规则对应的检核表及参照表的数据变化情况、以及第一检核规则上次的检核结果；根据第一检核规则对应的检核表及参照表的数据变化情况、以及第一检核规则上次的检核结果，得到第一检核规则当前的检核结果。利用第一检核规则对应的检核表及参照表的数据变化情况、以及第一检核规则上次的检核结果，得到第一检核规则当前的检核结果，不用每次检核时均从数据源中获取检核表及参照表中的全部数据，能够减少数据源服务器的读写压力，也不必每次检核时均将检核表中的全量数据与参照表中的全量数据进行比对，能够增加数据检核效率。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的数据检核方法的第一种示意图；
图2为本申请实施例的数据检核方法的第二种示意图；
图3为本申请实施例步骤S13实现方式的一种示意图；
图4为本申请实施例步骤S131实现方式的第一种示意图；
图5为本申请实施例步骤S131实现方式的第二种示意图；
图6为本申请实施例步骤S131实现方式的第三种示意图；
图7为本申请实施例步骤S131实现方式的第四种示意图；
图8为本申请实施例步骤S131实现方式的第五种示意图；
图9为本申请实施例步骤S131实现方式的第六种示意图；
图10为本申请实施例的数据检核装置的一种示意图；
图11为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先，对本申请中的术语进行介绍：
检核表：需要对海量数据进行分析的表。
参照表：在实际应用中制定的作为标准数据的表。
Redis：开源的、可基于内存亦可持久化的日志型、key-Value数据库。
Spark：专为大规模数据处理而设计的快速通用的计算引擎。
为了减少数据源服务器的读写压力，增加数据检核效率，本申请实施例提供了一种数据校验方法，参见图1，该方法包括：
S11，利用预设***记录各检核规则对应的检核表及参照表的数据变化情况，其中，一上述检核规则对应至少一检核表及至少一参照表。
本申请实施例的数据校验方法可以通过服务器实现，此处的服务器可以为单台服务器也可以为多台服务器组成的服务器集群，均值本申请的保护范围内。
检核规则可以根据实际情况自定义创建，检核规则与检核任务相对应，一个检核任务包括至少一个检核规则，检核任务可以检核规则为基本执行单元。一检核规则对应至少一检核表及至少一参照表。预设***可以为基于Redis的监听线程，利用预设***监听各检核规则对应的检核表及参照表的数据变化情况，并记录各检核规则对应的检核表及参照表的数据变化情况。
S12，在非首次执行第一检核规则的数据检核的过程中，获取上述第一检核规则对应的检核表及参照表的数据变化情况、以及上述第一检核规则上次的检核结果。
第一检核规则为任一检核规则；针对每个检核规则，均可以执行与第一检核规则相同的操作。在非首次(即不是第一次)执行第一检核规则的过程中，调用预设***获取第一检核规则对应的检核表及参照表的数据变化情况，该数据变化情况中记录了上次检核之后，第一检核规则对应的检核表及参照表的数据变化情况，包括数据的增加、删除及修改。
S13，根据上述第一检核规则对应的检核表及参照表的数据变化情况、以及上述第一检核规则上次的检核结果，得到上述第一检核规则当前的检核结果。
根据第一检核规则对应的检核表及参照表的数据变化情况，确定上次检核后第一检核规则对应的检核表中错误的数据，结合最近一次(上次)第一检核规则的检核结果，得到本次的第一检核规则的检核结果。
在本申请实施例中，利用第一检核规则对应的检核表及参照表的数据变化情况、以及第一检核规则上次的检核结果，得到第一检核规则的检核结果，不用每次检核时均从数据源中获取检核表及参照表中的全部数据，能够减少数据源服务器的读写压力，也不必每次检核时均将检核表中的全量数据与参照表中的全量数据进行比对，能够增加数据检核效率。
在一种可能的实施方式中，参见图2，在上述利用预设***记录各检核规则对应的检核表及参照表的数据变化情况之前，上述方法还包括：
S14，在首次执行上述第一检核规则的数据检核的过程中，获取上述第一检核规则对应的检核表中的全量数据及参照表中的全量数据并进行比较，得到上述第一检核规则首次的检核结果，其中，上述第一检核规则首次的检核结果包括上述第一检核规则对应的检核表中的错误数据。
可以通过预先创建的Spark计算引擎，批量查询第一检核规则对应的检核表中的全量数据及参照表中的全量数据，并将第一检核规则对应的检核表中的全量数据及第一检核规则对应的参照表中的全量数据进行比较，从而得到第一检核规则的对应的检核表中的错误数据。可选的，第一检核规则的对应的检核表中的错误数据可以为：第一检核规则的对应的检核表中存在但是第一检核规则的对应的对照表中不存在的数据。
S15，将上述第一检核规则的对应的检核表中的错误数据存储到指定存储中。
指定存储为预先设置的数据块或文件夹等。例如，在预设***为基于Redis的监听线程的情况下，指定存储可以为Redis数据库。
上述利用预设***记录各检核规则对应的检核表及参照表的数据变化情况，包括：
S111，利用预设***记录上述第一检核规则对应的检核表及参照表的数据变化情况。
在第一检核规则首次执行完成后，便可以利用预设***监听并记录第一检核规则对应的检核表及参照表的数据变化情况。例如，可以维护一待监控检核规则表，将首次执行后的检核规则添加到该待监控检核规则表中，预设***针对监听并记录该待监控检核规则表中的各检核规则对应的检核表及参照表的数据变化情况。
在本申请实施例中，首次执行第一检核规则的数据检核时，采用全量数据比对的方式，得到第一检核规则的检核结果，并利用预设***记录首次数据检核之后的第一检核规则对应的检核表及参照表的数据变化情况，从而利用数据变化情况及最近一次的检核结果，得到本次第一检核规则的检核结果，不用每次检核时均从数据源中获取检核表及参照表中的全部数据，能够减少数据源服务器的读写压力，增加数据检核效率。
在一种可能的实施方式中，参见图3，上述根据上述第一检核规则对应的检核表及参照表的数据变化情况、以及上述第一检核规则上次的检核结果，得到上述第一检核规则当前的检核结果，包括：
S131，根据上述第一检核规则对应的检核表及参照表的数据变化情况，更新上述指定存储中记录的上述第一检核规则对应的检核表的错误数据。
根据第一检核规则对应的检核表及参照表的数据变化情况，得到第一检核规则对应的检核表中增加或减少的错误数据，从而对指定存储中记录的第一检核规则对应的检核表的错误数据进行更新。
S132，根据上述指定存储中记录的上述第一检核规则对应的检核表的错误数据，得到上述第一检核规则当前的检核结果。
在指定存储中记录的第一检核规则对应的检核表中的错误数据更新完成后，获取存储中记录的第一检核规则对应的检核表的错误数据，即为第一检核规则当前的检核结果中的错误数据。
在本申请实施例中，通过更新指定存储中记录的检核表的错误数据，可以增加数据检核效率。
数据变化包括数据增加、修改及减少(删除)三种情况。下面对指定存储中记录的第一检核规则对应的检核表中的错误数据更新情况进行说明。
在一种可能的实施方式中，参见图4，上述根据上述第一检核规则对应的检核表及参照表的数据变化情况，更新上述指定存储中记录的上述第一检核规则对应的检核表的错误数据，包括：
S131a1，在上述数据变化情况表示上述第一检核规则对应的参照表中的数据增加的情况下，将上述指定存储中的目标错误数据与上述第一检核规则对应的参照表中增加的数据进行比对，得到相同的数据作为第一待删除数据，其中，上述指定存储中的目标错误数据为上述指定存储中记录的上述第一检核规则对应的检核表中的错误数据。
目标错误数据为指定存储，例如Redis数据库中，记录的第一核规则对应的检核表中的错误数据。若指定存储的目标错误数据与第一检核规则对应的参照表中增加的数据相比，不存在相同的数据，则不必执行步骤S131a2。
S131a2，在上述指定存储记录的上述第一检核规则对应的检核表的错误数据中，删除上述第一待删除数据。
若指定存储记录的第一检核规则对应的检核表的错误数据中，不存在第一待删除数据，则不必执行步骤S131a2。
在本申请实施例中，公开了利用参照表中增加的数据更新指定存储中记录的错误数据的方式，能够在参照表中的数据增加时实现对指定存储中记录的错误数据的更新。
在一种可能的实施方式中，参见图5，上述根据上述第一检核规则对应的检核表及参照表的数据变化情况，更新上述指定存储中记录的上述第一检核规则对应的检核表的错误数据，包括：
S131b1，在上述数据变化情况表示上述第一检核规则对应的参照表中的数据减少的情况下，将上述第一检核规则对应的参照表中减少的数据与第一检核规则对应的检核表中的全量数据进行比对，得到相同的数据作为第一待更新数据。
可选的，将第一检核规则对应的参照表中减少的数据与第一检核规则对应的检核表中的全量数据进行比对，其中，在第一检核规则对应的检核表的全量数据中，与第一检核规则对应的参照表中减少的数据相同的数据，即为错误的数据。例如，第一检核规则对应的参照表中减少的数据为AAA，第一检核规则对应的检核表中的全量数据为BBB、ABA、AAA、BAA、BAB，则将第一检核规则对应的检核表中的AAA作为第一待更新数据。
若第一检核规则对应的参照表中减少的数据与第一检核规则对应的检核表中的全量数据相比，不存在相同的数据，则不必执行步骤S131b2。
S131b2，在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第一待更新数据。
在本申请实施例中，公开了利用参照表中减少的数据更新指定存储中记录的错误数据的方式，能够在参照表中的数据减少时实现对指定存储中记录的错误数据的更新。
在一种可能的实施方式中，参见图6，上述根据上述第一检核规则对应的检核表及参照表的数据变化情况，更新上述指定存储中记录的上述第一检核规则对应的检核表的错误数据，包括：
S131c1，在上述数据变化情况表示上述第一检核规则对应的参照表中的数据修改的情况下，将上述第一检核规则对应的参照表中修改前的数据与第一检核规则对应的检核表中的全量数据进行比对，得到相同的数据作为第二待更新数据。
可选的，将第一检核规则对应的参照表中修改前的数据与第一检核规则对应的检核表中的全量数据进行比对，其中，在第一检核规则对应的检核表的全量数据中，与第一检核规则对应的参照表中修改前的数据相同的数据，即为第二待更新数据。例如，第一检核规则对应的参照表中修改的数据为将AAA修改为了ABA，则AAA为修改前的数据；第一检核规则对应的检核表中的全量数据为BBB、ABA、AAA、BAA、BAB，则将第一检核规则对应的检核表中的AAA作为第二待更新数据。
S131c2，将上述第一检核规则对应的参照表中修改后的数据与上述指定存储中的目标错误数据进行比对，得到相同的数据作为第二待删除数据，其中，上述指定存储中的目标错误数据为上述指定存储中记录的上述第一检核规则对应的检核表中的错误数据。
可选的，将第一检核规则对应的参照表中修改后的数据与指定存储中的目标错误数据进行比对，其中，在指定存储中的目标错误数据中，与第一检核规则对应的参照表中修改后的数据相同的数据，即为第二待删除数据。例如，第一检核规则对应的参照表中修改的数据为将AAA修改为了ABA，则ABA为修改后的数据；指定存储中记录的目标错误数据为BBB、ABA、AAA、BAA、BAB，则将指定存储记录的目标错误数据中的ABA作为第二待删除数据。
S131c3，在上述指定存储记录的上述第一检核规则对应的检核表的错误数据中，增加上述第二待更新数据，删除上述第二待删除数据。
在本申请实施例中，公开了利用参照表中修改的数据更新指定存储中记录的错误数据的方式，能够在参照表中的数据修改时实现对指定存储中记录的错误数据的更新。
在一种可能的实施方式中，参见图7，上述根据上述第一检核规则对应的检核表及参照表的数据变化情况，更新上述指定存储中记录的上述第一检核规则对应的检核表的错误数据，包括：
S131d1，在上述数据变化情况表示上述第一检核规则对应的检核表中的数据减少的情况下，将上述指定存储中的目标错误数据与上述第一检核规则对应的检核表中减少的数据进行比对，得到相同的数据作为第三待删除数据，其中，上述指定存储中的目标错误数据为上述指定存储中记录的上述第一检核规则对应的检核表中的错误数据。
若指定存储中的目标错误数据与第一检核规则对应的检核表中减少的数据相比，不存在相同的数据，则不必执行步骤S131d2。
S131d2，在上述指定存储记录的上述第一检核规则对应的检核表的错误数据中，删除上述第三待删除数据。
若指定存储记录的第一检核规则对应的检核表的错误数据中，不存在第三待删除数据，则不必执行步骤S131d2。
在本申请实施例中，公开了利用检核表中减少的数据更新指定存储中记录的错误数据的方式，能够在检核表中的数据减少时实现对指定存储中记录的错误数据的更新。
在一种可能的实施方式中，参见图8，上述根据上述第一检核规则对应的检核表及参照表的数据变化情况，更新上述指定存储中记录的上述第一检核规则对应的检核表的错误数据，包括：
S131e1，在上述数据变化情况表示上述第一检核规则对应的检核表中的数据增加的情况下，将上述第一检核规则对应的检核表中增加的数据与第一检核规则对应的参照表中的全量数据进行比对，得到错误的数据作为第三待更新数据。
可选的，将第一检核规则对应的检核表中增加的数据与第一检核规则对应的参照表中的全量数据进行比对，其中，若在第一检核规则对应的参照表的全量数据中，不存在与第一检核规则对应的检核表中增加的数据相同的数据，则该第一检核规则对应的检核表中增加的数据为错误数据。例如，第一检核规则对应的检核表中增加的数据为AAC，第一检核规则对应的参照表中的全量数据为BBB、ABA、AAA、BAA、BAB，不存在AAC，则第一检核规则对应的检核表中增加的数据AAC为错误数据，即第三待更新数据。
若第一检核规则对应的检核表中增加的数据与第一检核规则对应的参照表中的全量数据相比，不存在相同的数据，则不必执行步骤S131e2。
S131e2，在上述指定存储记录的上述第一检核规则对应的检核表的错误数据中，增加上述第三待更新数据。
在本申请实施例中，公开了利用检核表中增加的数据更新指定存储中记录的错误数据的方式，能够在检核表中的数据增加时实现对指定存储中记录的错误数据的更新。
在一种可能的实施方式中，参见图9，上述根据上述第一检核规则对应的检核表及参照表的数据变化情况，更新上述指定存储中记录的上述第一检核规则对应的检核表的错误数据，包括：
S131f1，在上述数据变化情况表示上述第一检核规则对应的检核表中的数据修改的情况下，将上述第一检核规则对应的检核表中修改后的数据与第一检核规则对应的参照表中的全量数据进行比对，得到错误的数据作为第四待更新数据。
可选的，将第一检核规则对应的检核表中修改后的数据与第一检核规则对应的参照表中的全量数据进行比对，其中，若在第一检核规则对应的参照表的全量数据中，不存在与第一检核规则对应的检核表中修改后的数据相同的数据，则该第一检核规则对应的检核表中修改后的数据为错误数据，即第四待更新数据。例如，第一检核规则对应的检核表中修改的数据为将AAA修改为了AAC，则AAC为修改后的数据；第一检核规则对应的参照表中的全量数据为BBB、ABA、AAA、BAA、BAB，不存在AAC，则第一检核规则对应的检核表中修改后的数据AAC为错误数据。
S131f2，将上述第一检核规则对应的检核表中修改前的数据与上述指定存储中的目标错误数据进行比对，得到相同的数据作为第四待删除数据，其中，上述指定存储中的目标错误数据为上述指定存储中记录的上述第一检核规则对应的检核表中的错误数据。
可选的，将第一检核规则对应的检核表中修改前的数据与指定存储中的目标错误数据进行比对，其中，在指定存储中的目标错误数据中，与第一检核规则对应的检核表中修改前的数据相同的数据，即为第四待删除数据。例如，第一检核规则对应的检核表中修改的数据为将AAA修改为了AAC，则AAA为修改前的数据；指定存储中记录的目标错误数据为BBB、ABA、AAA、BAA、BAB，则将指定存储记录的目标错误数据中的AAA作为第四待删除数据。
S131f3，在上述指定存储记录的上述第一检核规则对应的检核表的错误数据中，增加上述第四待更新数据，删除上述第四待删除数据。
在本申请实施例中，公开了利用检核表中修改的数据更新指定存储中记录的错误数据的方式，能够在检核表中的数据修改时实现对指定存储中记录的错误数据的更新。
可以理解的是，当数据变化情况表示存在多种变化和/或检核表参照表同时存在变化时，可以根据实际变化情况对图4-9所示的实施例进行组合，从而实现指定存储中记录的第一检核规则对应的检核表中的错误数据更新。
例如，在第一检核规则对应的检核表中的数据减少、且第一检核规则对应的参照表中的数据修改的情况下，可以结合图7及图6所示的实施例对指定存储中记录的第一检核规则对应的检核表中的错误数据更新。
例如，在第一检核规则对应的检核表中减少了部分数据、且第一检核规则对应的检核表中增加了另一部分数据的情况下，针对减少的数据采用图7所示的实施例对指定存储中记录的第一检核规则对应的检核表中的错误数据更新；针对增加的数据采用图8所示的实施例对指定存储中记录的第一检核规则对应的检核表中的错误数据更新。
本申请实施例还提供了一种数据检核装置，参见图10，该装置包括：
数据变化记录模块101，用于利用预设***记录各检核规则对应的检核表及参照表的数据变化情况，其中，一上述检核规则对应至少一检核表及至少一参照表；
数据变化获取模块102，用于在非首次执行第一检核规则的数据检核的过程中，获取上述第一检核规则对应的检核表及参照表的数据变化情况、以及上述第一检核规则上次的检核结果；
检核结果确定模块103，用于根据上述第一检核规则对应的检核表及参照表的数据变化情况、以及上述第一检核规则上次的检核结果，得到上述第一检核规则当前的检核结果。
在一种可能的实施方式中，上述装置还包括：
全量数据比较模块，用于在首次执行上述第一检核规则的数据检核的过程中，获取上述第一检核规则对应的检核表中的全量数据及参照表中的全量数据并进行比较，得到上述第一检核规则首次的检核结果，其中，上述第一检核规则首次的检核结果包括上述第一检核规则对应的检核表中的错误数据；
错误数据存储模块，用于将上述第一检核规则的对应的检核表中的错误数据存储到指定存储中；
上述数据变化记录模块，具体用于：利用预设***记录上述第一检核规则对应的检核表及参照表的数据变化情况。
在一种可能的实施方式中，上述检核结果确定模块，包括：
错误数据更新子模块，用于根据上述第一检核规则对应的检核表及参照表的数据变化情况，更新上述指定存储中记录的上述第一检核规则对应的检核表的错误数据；
检核结果获取子模块，用于根据上述指定存储中记录的上述第一检核规则对应的检核表的错误数据，得到上述第一检核规则当前的检核结果。
在一种可能的实施方式中，上述错误数据更新子模块，具体用于：
在上述数据变化情况表示上述第一检核规则对应的参照表中的数据增加的情况下，将上述指定存储中的目标错误数据与上述第一检核规则对应的参照表中增加的数据进行比对，得到相同的数据作为第一待删除数据，其中，上述指定存储中的目标错误数据为上述指定存储中记录的上述第一检核规则对应的检核表中的错误数据；
在上述指定存储记录的上述第一检核规则对应的检核表的错误数据中，删除上述第一待删除数据。
在一种可能的实施方式中，上述错误数据更新子模块，具体用于：
在上述数据变化情况表示上述第一检核规则对应的参照表中的数据减少的情况下，将上述第一检核规则对应的参照表中减少的数据与第一检核规则对应的检核表中的全量数据进行比对，得到相同的数据作为第一待更新数据；
在上述指定存储记录的上述第一检核规则对应的检核表的错误数据中，增加上述第一待更新数据。
在一种可能的实施方式中，上述错误数据更新子模块，具体用于：
在上述数据变化情况表示上述第一检核规则对应的参照表中的数据修改的情况下，将上述第一检核规则对应的参照表中修改前的数据与第一检核规则对应的检核表中的全量数据进行比对，得到相同的数据作为第二待更新数据；
将上述第一检核规则对应的参照表中修改后的数据与上述指定存储中的目标错误数据进行比对，得到相同的数据作为第二待删除数据，其中，上述指定存储中的目标错误数据为上述指定存储中记录的上述第一检核规则对应的检核表中的错误数据；
在上述指定存储记录的上述第一检核规则对应的检核表的错误数据中，增加上述第二待更新数据，删除上述第二待删除数据。
在一种可能的实施方式中，上述错误数据更新子模块，具体用于：
在上述数据变化情况表示上述第一检核规则对应的检核表中的数据减少的情况下，将上述指定存储中的目标错误数据与上述第一检核规则对应的检核表中减少的数据进行比对，得到相同的数据作为第三待删除数据，其中，上述指定存储中的目标错误数据为上述指定存储中记录的上述第一检核规则对应的检核表中的错误数据；
在上述指定存储记录的上述第一检核规则对应的检核表的错误数据中，删除上述第三待删除数据。
在一种可能的实施方式中，上述错误数据更新子模块，具体用于：
在上述数据变化情况表示上述第一检核规则对应的检核表中的数据增加的情况下，将上述第一检核规则对应的检核表中增加的数据与第一检核规则对应的参照表中的全量数据进行比对，得到错误的数据作为第三待更新数据；
在上述指定存储记录的上述第一检核规则对应的检核表的错误数据中，增加上述第三待更新数据。
在一种可能的实施方式中，上述错误数据更新子模块，具体用于：
在上述数据变化情况表示上述第一检核规则对应的检核表中的数据修改的情况下，将上述第一检核规则对应的检核表中修改后的数据与第一检核规则对应的参照表中的全量数据进行比对，得到错误的数据作为第四待更新数据；
将上述第一检核规则对应的检核表中修改前的数据与上述指定存储中的目标错误数据进行比对，得到相同的数据作为第四待删除数据，其中，上述指定存储中的目标错误数据为上述指定存储中记录的上述第一检核规则对应的检核表中的错误数据；
在上述指定存储记录的上述第一检核规则对应的检核表的错误数据中，增加上述第四待更新数据，删除上述第四待删除数据。
本申请实施例还提供了一种电子设备，包括：处理器及存储器；
上述存储器，用于存放计算机程序；
上述处理器用于执行上述存储器存放的计算机程序时，实现上述任一数据检核方法。
可选的，参见图11，本申请实施例的电子设备还包括通信接口202和通信总线204，其中，处理器201，通信接口202，存储器203通过通信总线204完成相互间的通信。
上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一数据检核方法：
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一数据检核方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (18)

1.一种数据检核方法，其特征在于，所述方法包括：
利用预设***记录各检核规则对应的检核表及参照表的数据变化情况，其中，一所述检核规则对应至少一检核表及至少一参照表；
在非首次执行第一检核规则的数据检核的过程中，获取所述第一检核规则对应的检核表及参照表的数据变化情况、以及所述第一检核规则上次的检核结果；
根据所述第一检核规则对应的检核表及参照表的数据变化情况、以及所述第一检核规则上次的检核结果，得到所述第一检核规则当前的检核结果。
2.根据权利要求1所述的方法，其特征在于，在所述利用预设***记录各检核规则对应的检核表及参照表的数据变化情况之前，所述方法还包括：
在首次执行所述第一检核规则的数据检核的过程中，获取所述第一检核规则对应的检核表中的全量数据及参照表中的全量数据并进行比较，得到所述第一检核规则首次的检核结果，其中，所述第一检核规则首次的检核结果包括所述第一检核规则对应的检核表中的错误数据；
将所述第一检核规则的对应的检核表中的错误数据存储到指定存储中；
所述利用预设***记录各检核规则对应的检核表及参照表的数据变化情况，包括：
利用预设***记录所述第一检核规则对应的检核表及参照表的数据变化情况；
所述根据所述第一检核规则对应的检核表及参照表的数据变化情况、以及所述第一检核规则上次的检核结果，得到所述第一检核规则当前的检核结果，包括：
根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据；
根据所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，得到所述第一检核规则当前的检核结果。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，包括：
在所述数据变化情况表示所述第一检核规则对应的参照表中的数据增加的情况下，将所述指定存储中的目标错误数据与所述第一检核规则对应的参照表中增加的数据进行比对，得到相同的数据作为第一待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，删除所述第一待删除数据。
4.根据权利要求2所述的方法，其特征在于，所述根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，包括：
在所述数据变化情况表示所述第一检核规则对应的参照表中的数据减少的情况下，将所述第一检核规则对应的参照表中减少的数据与第一检核规则对应的检核表中的全量数据进行比对，得到相同的数据作为第一待更新数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第一待更新数据。
5.根据权利要求2所述的方法，其特征在于，所述根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，包括：
在所述数据变化情况表示所述第一检核规则对应的参照表中的数据修改的情况下，将所述第一检核规则对应的参照表中修改前的数据与第一检核规则对应的检核表中的全量数据进行比对，得到相同的数据作为第二待更新数据；
将所述第一检核规则对应的参照表中修改后的数据与所述指定存储中的目标错误数据进行比对，得到相同的数据作为第二待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第二待更新数据，删除所述第二待删除数据。
6.根据权利要求2所述的方法，其特征在于，所述根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，包括：
在所述数据变化情况表示所述第一检核规则对应的检核表中的数据减少的情况下，将所述指定存储中的目标错误数据与所述第一检核规则对应的检核表中减少的数据进行比对，得到相同的数据作为第三待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，删除所述第三待删除数据。
7.根据权利要求2所述的方法，其特征在于，所述根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，包括：
在所述数据变化情况表示所述第一检核规则对应的检核表中的数据增加的情况下，将所述第一检核规则对应的检核表中增加的数据与第一检核规则对应的参照表中的全量数据进行比对，得到错误的数据作为第三待更新数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第三待更新数据。
8.根据权利要求2所述的方法，其特征在于，所述根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，包括：
在所述数据变化情况表示所述第一检核规则对应的检核表中的数据修改的情况下，将所述第一检核规则对应的检核表中修改后的数据与第一检核规则对应的参照表中的全量数据进行比对，得到错误的数据作为第四待更新数据；
将所述第一检核规则对应的检核表中修改前的数据与所述指定存储中的目标错误数据进行比对，得到相同的数据作为第四待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第四待更新数据，删除所述第四待删除数据。
9.一种数据检核装置，其特征在于，所述装置包括：
数据变化记录模块，用于利用预设***记录各检核规则对应的检核表及参照表的数据变化情况，其中，一所述检核规则对应至少一检核表及至少一参照表；
数据变化获取模块，用于在非首次执行第一检核规则的数据检核的过程中，获取所述第一检核规则对应的检核表及参照表的数据变化情况、以及所述第一检核规则上次的检核结果；
检核结果确定模块，用于根据所述第一检核规则对应的检核表及参照表的数据变化情况、以及所述第一检核规则上次的检核结果，得到所述第一检核规则当前的检核结果。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
全量数据比较模块，用于在首次执行所述第一检核规则的数据检核的过程中，获取所述第一检核规则对应的检核表中的全量数据及参照表中的全量数据并进行比较，得到所述第一检核规则首次的检核结果，其中，所述第一检核规则首次的检核结果包括所述第一检核规则对应的检核表中的错误数据；
错误数据存储模块，用于将所述第一检核规则的对应的检核表中的错误数据存储到指定存储中；
所述数据变化记录模块，具体用于：利用预设***记录所述第一检核规则对应的检核表及参照表的数据变化情况；
所述检核结果确定模块，包括：
错误数据更新子模块，用于根据所述第一检核规则对应的检核表及参照表的数据变化情况，更新所述指定存储中记录的所述第一检核规则对应的检核表的错误数据；
检核结果获取子模块，用于根据所述指定存储中记录的所述第一检核规则对应的检核表的错误数据，得到所述第一检核规则当前的检核结果。
11.根据权利要求10所述的装置，其特征在于，所述错误数据更新子模块，具体用于：
在所述数据变化情况表示所述第一检核规则对应的参照表中的数据增加的情况下，将所述指定存储中的目标错误数据与所述第一检核规则对应的参照表中增加的数据进行比对，得到相同的数据作为第一待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，删除所述第一待删除数据。
12.根据权利要求10所述的装置，其特征在于，所述错误数据更新子模块，具体用于：
在所述数据变化情况表示所述第一检核规则对应的参照表中的数据减少的情况下，将所述第一检核规则对应的参照表中减少的数据与第一检核规则对应的检核表中的全量数据进行比对，得到相同的数据作为第一待更新数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第一待更新数据。
13.根据权利要求10所述的装置，其特征在于，所述错误数据更新子模块，具体用于：
在所述数据变化情况表示所述第一检核规则对应的参照表中的数据修改的情况下，将所述第一检核规则对应的参照表中修改前的数据与第一检核规则对应的检核表中的全量数据进行比对，得到相同的数据作为第二待更新数据；
将所述第一检核规则对应的参照表中修改后的数据与所述指定存储中的目标错误数据进行比对，得到相同的数据作为第二待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第二待更新数据，删除所述第二待删除数据。
14.根据权利要求10所述的装置，其特征在于，所述错误数据更新子模块，具体用于：
在所述数据变化情况表示所述第一检核规则对应的检核表中的数据减少的情况下，将所述指定存储中的目标错误数据与所述第一检核规则对应的检核表中减少的数据进行比对，得到相同的数据作为第三待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，删除所述第三待删除数据。
15.根据权利要求10所述的装置，其特征在于，所述错误数据更新子模块，具体用于：
在所述数据变化情况表示所述第一检核规则对应的检核表中的数据增加的情况下，将所述第一检核规则对应的检核表中增加的数据与第一检核规则对应的参照表中的全量数据进行比对，得到错误的数据作为第三待更新数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第三待更新数据。
16.根据权利要求10所述的装置，其特征在于，所述错误数据更新子模块，具体用于：
在所述数据变化情况表示所述第一检核规则对应的检核表中的数据修改的情况下，将所述第一检核规则对应的检核表中修改后的数据与第一检核规则对应的参照表中的全量数据进行比对，得到错误的数据作为第四待更新数据；
将所述第一检核规则对应的检核表中修改前的数据与所述指定存储中的目标错误数据进行比对，得到相同的数据作为第四待删除数据，其中，所述指定存储中的目标错误数据为所述指定存储中记录的所述第一检核规则对应的检核表中的错误数据；
在所述指定存储记录的所述第一检核规则对应的检核表的错误数据中，增加所述第四待更新数据，删除所述第四待删除数据。
17.一种电子设备，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-8任一所述的数据检核方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的数据检核方法。
CN202011021590.8A 2020-09-25 2020-09-25 数据检核方法、装置、电子设备及存储介质 Active CN112148721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011021590.8A CN112148721B (zh) 2020-09-25 2020-09-25 数据检核方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011021590.8A CN112148721B (zh) 2020-09-25 2020-09-25 数据检核方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112148721A true CN112148721A (zh) 2020-12-29
CN112148721B CN112148721B (zh) 2022-08-19

Family

ID=73897023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011021590.8A Active CN112148721B (zh) 2020-09-25 2020-09-25 数据检核方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112148721B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988736A (zh) * 2021-05-20 2021-06-18 睿至科技集团有限公司 一种海量数据质量检核方法及其***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001337846A (ja) * 2000-03-23 2001-12-07 Mitsubishi Electric Corp ソフトウエア品質検査支援システム及び方法
JP2006190058A (ja) * 2005-01-06 2006-07-20 Fujitsu Ten Ltd 異常検出装置及び方法
CN101079749A (zh) * 2007-06-27 2007-11-28 ***通信集团四川有限公司 数据一致性检测方法
CN107870827A (zh) * 2017-11-07 2018-04-03 中国银行股份有限公司 基于校验的数据质量控制方法和装置
CN110020550A (zh) * 2019-02-21 2019-07-16 阿里巴巴集团控股有限公司 核对平台的评估方法、装置及设备
CN110704404A (zh) * 2019-08-29 2020-01-17 苏宁云计算有限公司 一种数据质量校验方法、装置、***
CN110837496A (zh) * 2019-11-08 2020-02-25 浪潮云信息技术有限公司 一种基于动态sql实现的数据质量管理方法及***
CN111008241A (zh) * 2019-11-14 2020-04-14 微民保险代理有限公司 数据同步方法、装置、存储介质和计算机设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001337846A (ja) * 2000-03-23 2001-12-07 Mitsubishi Electric Corp ソフトウエア品質検査支援システム及び方法
JP2006190058A (ja) * 2005-01-06 2006-07-20 Fujitsu Ten Ltd 異常検出装置及び方法
CN101079749A (zh) * 2007-06-27 2007-11-28 ***通信集团四川有限公司 数据一致性检测方法
CN107870827A (zh) * 2017-11-07 2018-04-03 中国银行股份有限公司 基于校验的数据质量控制方法和装置
CN110020550A (zh) * 2019-02-21 2019-07-16 阿里巴巴集团控股有限公司 核对平台的评估方法、装置及设备
CN110704404A (zh) * 2019-08-29 2020-01-17 苏宁云计算有限公司 一种数据质量校验方法、装置、***
CN110837496A (zh) * 2019-11-08 2020-02-25 浪潮云信息技术有限公司 一种基于动态sql实现的数据质量管理方法及***
CN111008241A (zh) * 2019-11-14 2020-04-14 微民保险代理有限公司 数据同步方法、装置、存储介质和计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IKBAL TALEB ET AL.: "Big Data Quality:A Quality Dimensions Evaluation", 《IEEE XPLORE》 *
杨勇等: "生化检验结果自动审核规则的制定及其应用", 《临床检验杂志》 *
高权 等: "基于增量式FP-Growth算法的关联规则挖掘模型设计", 《信息技术与信息化》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988736A (zh) * 2021-05-20 2021-06-18 睿至科技集团有限公司 一种海量数据质量检核方法及其***
CN112988736B (zh) * 2021-05-20 2021-08-03 睿至科技集团有限公司 一种海量数据质量检核方法及其***

Also Published As

Publication number Publication date
CN112148721B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN107798047B (zh) 重复工单检测方法、装置、服务器和介质
US11093461B2 (en) Method for computing distinct values in analytical databases
CN111352902A (zh) 日志处理方法、装置、终端设备及存储介质
CN109783346B (zh) 基于关键字驱动的自动化测试方法、装置及终端设备
US11036701B2 (en) Data sampling in a storage system
CN112148721B (zh) 数据检核方法、装置、电子设备及存储介质
CN111046073A (zh) 测试用例的查询方法、装置和可读存储介质
CN117171030A (zh) 软件运行环境检测方法、装置、设备及存储介质
CN112416417A (zh) 一种代码量统计方法、装置、电子设备及存储介质
CN111435327B (zh) 一种日志记录的处理方法、装置及***
CN111782661B (zh) 一种数据存储方法、数据查询方法和装置
CN114996240A (zh) 数据表校验方法、装置、设备、存储介质及程序
CN112363944A (zh) 一种用于多环境接口返回值对比的方法及设备
CN112559331A (zh) 测试方法和装置
CN113760237A (zh) 编译地址的更新方法、装置、终端设备及可读存储介质
CN111736848A (zh) 包冲突定位方法、装置、电子设备及可读存储介质
CN113392022B (zh) 测试需求分析方法、设备、计算机可读介质和程序产品
US20050234918A1 (en) Correction server for large database systems
CN114942927A (zh) 一种数据库数据对比方法及装置
TWM640987U (zh) 影像調閱系統
CN117667882A (zh) sql代码检查方法及装置
CN117290227A (zh) 非标软件制品的校验方法、装置、设备、介质及程序产品
CN117591431A (zh) 测试方法、装置、计算机设备和存储介质
CN115827478A (zh) 代码检视方法、装置、计算机设备和存储介质
CN117093875A (zh) 筛选项的搜索质量验证方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant