CN112711598A

CN112711598A - 一种数据校验方法及装置

Info

Publication number: CN112711598A
Application number: CN202011577245.2A
Authority: CN
Inventors: 陈亮
Original assignee: Yidu Cloud Beijing Technology Co Ltd
Current assignee: Nanjing Yiji Cloud Medical Data Research Institute Co ltd
Priority date: 2020-12-28
Filing date: 2020-12-28
Publication date: 2021-04-27
Anticipated expiration: 2040-12-28

Abstract

本发明公开一种数据校验方法及装置，包括：根据预设的校验规则，确定第一平台中目标数据的第一校验信息；将所述目标数据和所述校验规则传输至第二平台，以使所述第二平台根据所述目标数据和所述校验规则确定第二校验信息；根据所述第一校验信息和所述第二校验信息进行数据校验，以确定所述目标数据对应的校验结果；根据所述第一校验信息和所述第二校验信息进行数据校验，以确定所述目标数据对应的校验结果，实现了基于目标数据中的部分数据进行一致性校验，且无需对目标数据进行压缩和解压缩，在校验失败时可以直接进行重新同步，从而提高了数据校验的效率。

Description

一种数据校验方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据校验方法及装置。

背景技术

公有云/私有云均为当前常见的云环境。将二者相结合，也可构建称为“混合云”的云环境。在混合云环境当中，公有云可能会以特定的方式向私有云同步数据。而为了确保混合云环境整体的正常运行，需在数据同步后进一步确认公有云和私有云之间是否具有数据一致性，也就是进行数据校验。

现有的数据校验，可通过全面对比公有云和私有云中的全部数据内容，以判断二者是否具有数据一致性。但是对数据进行全面对比的方式需要消耗大量的时间与计算力，校验效率低下。

发明内容

本发明提供一种数据校验方法及装置，以至少解决现有技术中存在的以上技术问题。

第一方面，本发明提供一种数据校验方法，包括：

根据预设的校验规则，确定第一平台中目标数据的第一校验信息；

将所述目标数据和所述校验规则传输至第二平台，以使所述第二平台根据所述目标数据和所述校验规则确定第二校验信息；

根据所述第一校验信息和所述第二校验信息进行数据校验，以确定所述目标数据对应的校验结果。

优选的，所述校验规则包括，版本规则和加密规则；所述根据预设的校验规则，确定第一平台中目标数据的第一校验信息包括：

根据所述版本规则确定所述目标数据的第一版本号；

根据所述第一版本号和所述目标数据的数据索引，确定所述目标数据的第一配置信息；

根据所述加密规则对所述目标数据进行加密计算，以确定所述目标数据的第一加密信息；

根据所述第一配置信息和所述第一加密信息，确定所述第一校验信息。

优选的，当所述目标数据对应的校验结果为校验成功，还包括：

向所述第二平台发送所述校验结果，以使所述第二平台将所述目标数据确定为当前版本数据。

优选的，当所述目标数据对应的校验结果为校验失败，还包括：

将所述目标数据传输至第二平台，以使所述第二平台根据所述目标数据和所述校验规则确定第三校验信息。

第二方面，本发明提供一种数据校验方法，包括：

接收第一平台发送的目标数据和校验规则，根据所述目标数据和所述校验规则确定第二校验信息；

将所述第二校验规则发送至所述第一平台，以使所述第一平台根据所述第一校验信息和所述第二校验信息进行数据校验，以确定所述目标数据对应的校验结果。

优选的，所述校验规则包括，版本规则和加密规则；所述根据所述目标数据和所述校验规则确定第二校验信息包括：

根据所述版本规则确定所述目标数据的第二版本号；

根据所述第二版本号和所述目标数据的数据索引，确定所述目标数据的第二配置信息；

根据所述加密规则对所述目标数据进行加密计算，以确定所述目标数据的第二加密信息；

根据所述第二配置信息和所述第二加密信息，确定所述第二校验信息。

接收第一平台发送的目标数据，根据所述目标数据和所述校验规则确定第三校验信息；

将所述第三校验规则发送至所述第一平台。

第三方面，本发明提供一种数据校验装置，包括：

第一校验信息确定模块，用于根据预设的校验规则，确定第一平台中目标数据的第一校验信息；

传输模块，用于将所述目标数据和所述校验规则传输至第二平台，以使所述第二平台根据所述目标数据和所述校验规则确定第二校验信息；

校验模块，用于根据所述第一校验信息和所述第二校验信息进行数据校验，以确定所述目标数据对应的校验结果。

第四方面，本发明提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本发明所述的数据校验方法。

第五方面，本发明提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本发明所述的数据校验方法。

与现有技术相比，本发明提供的一种数据校验方法及装置，根据所述第一校验信息和所述第二校验信息进行数据校验，以确定所述目标数据对应的校验结果，实现了基于目标数据中的部分数据进行一致性校验，且无需对目标数据进行压缩和解压缩，在校验失败时可以直接进行重新同步，从而提高了数据校验的效率。

附图说明

图1为本发明一实施例提供的一种数据校验方法的流程示意图；

图2为本发明一实施例提供的另一种数据校验方法的流程示意图；

图3为本发明一实施例提供的一种数据校验装置的结构示意图。

具体实施方式

为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

申请概述

为了确保混合云环境整体的正常运行，需在数据同步后进一步确认公有云和私有云之间是否具有数据一致性，也就是进行数据校验。

现有的数据校验，一种方式是可通过全面对比公有云和私有云中的全部数据内容，以判断二者是否具有数据一致性。但是对数据进行全面对比的方式需要消耗大量的时间与计算力，校验效率低下。

数据校验的另一种方式是，将公有云中的完整数据进行压缩。使公有云利用加密算法针对压缩后的数据进行计算，得到相应的加密信息。压缩后的数据同步到私有云之后，使私有云利用同样的加密算法针对压缩后的数据进行计算，再次得到相应的加密信息。然后根据两次计算得到的加密信息进行校验，从而确定数据一致性。但是在上述验证方式中，一旦校验未通过，则说明数据压缩过程中可能出现错误，所以必须重新进行数据压缩和数据同步。而上述数据压缩的过程同样消耗大量的时间和计算力。如果由于校验失败而反复的进行重新压缩，亦会使数据校验的效率低下。

也就是说在现有技术中，缺少一种可高效率实现数据校验的方法。

示例性方法

因此，本发明实施例将提供一种数据校验方法，以至少解决现有技术中存在的以上技术问题。

本实施例中方法将应用于第一平台。第一平台即是在上述云环境中，执行数据同步的云平台。通常情况下第一平台为公有云，即由公有云向私有云进行数据同步。在另外一些情况下，亦不排除第一平台为私有云，即由私有云向公有云进行数据同步。与之相对的，本实施例中将接受数据同步的云平台称为第二平台。如图1所示，本实施例中方法包括以下步骤：

步骤101、根据预设的校验规则，确定第一平台中目标数据的第一校验信息。

在本实施例中，目标数据即为需要由第一平台向第二平台进行同步的完整数据。利用校验规则可从目标数据中确定出校验信息，以用于进行后续的数据校验。本步骤中，将由第一平台利用校验规则确定第一校验信息。

具体的，校验规则中可以包括，版本规则和加密规则。则第一平台确定第一校验信息的过程具体为：

根据版本规则确定目标数据的第一版本号。具体的，版本号可采用时间戳的形式，即以目标数据的创建时间作为其版本号。例如版本号为20201204123000，意味着2020年12月04日12点30分00秒创建了目标数据。

根据第一版本号和目标数据的数据索引，可以确定目标数据的第一配置信息。数据索引性质类似于目标数据的“目录”，即体现了目标数据中具体包括哪些数据内容(但并非是目标数据的数据内容本身)。根据第一版本号和数据索引构建第一配置信息，则第一配置信息中能够体现出该版本的目标数据对应的数据内容。在第一配置信息中，第一版本号和数据索引可采用key-value数据格式。其中第一版本号作为key值，数据索引作为value值。

根据加密规则对目标数据进行加密计算，以确定目标数据的第一加密信息。加密规则可基于现有技术中常用的加密算法建立，本实施例中对此不做限定。

优选的，本实施例中加密规则可以采用MD5加密算法。利用MD5加密算法可以抽取目标数据中前N条和后N条数据进行运算，得到第一加密信息。其中，N为根据需求设定的数量。

也就是说不同于现有技术的是，本实施例中采用类似于“抽样”的方式针对目标数据中的部分数据进行加密运算，可减少对于计算力的消耗，提高校验效率。确定了第一配置信息和第一加密信息，即可将二者共同作为第一校验信息。

步骤102、将目标数据和校验规则传输至第二平台，以使第二平台根据目标数据和校验规则确定第二校验信息。

目标数据将由第一平台同步至第二平台，具体的同步过程可利用现有的openAPI接口实现，在此不赘述。与其同时，校验规则可将由第一平台发送至第二平台。第二平台获得了目标数据和校验规则后，可同理的利用校验规则可从目标数据中确定出校验信息，即确定第二校验信息。第二校验信息的计算方式与第一校验信息相同，在此不重复叙述。

步骤103、根据第一校验信息和第二校验信息进行数据校验，以确定目标数据对应的校验结果。

理论上，第一校验信息和第二校验信息在运算的过程中，是基于同样的目标数据和校验规则，所以二者的实际内容应当相同。也就是说如果同步前后的数据具有一致性，则第一校验信息和第二校验信息必然是相同的。反之若同步前后的数据不具有一致性，则第一校验信息和第二校验信息是相同的。

本实施例中即以此规律实现数据校验，即对比第一校验信息和第二校验信息是否一致，从而判断第一平台和第二平台之间同步的目标数据是否具有一致性，从而得到校验结果。

当目标数据对应的校验结果为校验成功，可向第二平台发送校验结果，以使第二平台将目标数据确定为当前版本数据，也就是判定数据同步成功。第二平台后续可正常使用该当前版本数据。

当目标数据对应的校验结果为校验失败，第一平台可将目标数据再一次传输至第二平台，即重新进行同步。第二平台可以根据再次同步得到的目标数据，和先前得到的校验规则重新进行运算，确定第三校验信息，并利用第三校验信息重新进行校验。换言之，即重复上述步骤102～103中内容，直到校验通过。当然若连续校验失败达到特定的次数，也可停止同步并根据实际情况采取其他处理方式。

本实施例中基于目标数据中的部分数据进行一致性校验，避免了全面校验消耗大量时间与计算力的问题。同时无需对目标数据进行压缩和解压缩，在校验失败时可以直接进行重新同步，避免了在校验失败时进行反复的进行重新压缩。

通过以上技术方案可知，本实施例存在的有益效果是：根据第一校验信息和第二校验信息进行数据校验，以确定目标数据对应的校验结果，实现了基于目标数据中的部分数据进行一致性校验，且无需对目标数据进行压缩和解压缩，在校验失败时可以直接进行重新同步，从而提高了数据校验的效率。

如图2所示，为本发明所述数据校验方法的另一个具体实施例。本实施例中方法将应用于第二平台，即接受数据同步的云平台。也就是说，本实施例中方法，相当于图1所示实施例中方法在实施过程中，相对的第二平台上的流程。本实施例中，所述方法包括以下步骤：

步骤201、接收第一平台发送的目标数据和校验规则，根据目标数据和校验规则确定第二校验信息。

类似于步骤101中所描述的第一校验信息的确定方式，在本实施例中，校验规则包括，版本规则和加密规则；根据目标数据和校验规则确定第二校验信息包括：根据版本规则确定目标数据的第二版本号；根据第二版本号和目标数据的数据索引，确定目标数据的第二配置信息；根据加密规则对目标数据进行加密计算，以确定目标数据的第二加密信息；根据第二配置信息和第二加密信息，确定第二校验信息。

步骤202、将第二校验规则发送至第一平台，以使第一平台根据第一校验信息和第二校验信息进行数据校验，以确定目标数据对应的校验结果。

在确定了第二校验信息之后，第二平台将第二校验信息发送至第一平台，以使第一平台中执行的数据校验方法进入到步骤103中。

另外如果第一平台的校验结果为校验失败，则还将重新进行数据同步。此实第二平台将再次接收第一平台发送的目标数据，根据目标数据和校验规则确定第三校验信息；将第三校验规则发送至第一平台，以便于进行再次校验。

示例性装置

如图3所示，为本发明所述数据校验装置的一个具体实施例。本实施例装置，即用于执行图1所述方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中装置包括：

第一校验信息确定模块301，用于根据预设的校验规则，确定第一平台中目标数据的第一校验信息。

传输模块302，用于将目标数据和校验规则传输至第二平台，以使第二平台根据目标数据和校验规则确定第二校验信息。

校验模块303，用于根据第一校验信息和第二校验信息进行数据校验，以确定目标数据对应的校验结果。

另外在图3所示实施例的基础上，优选的，还包括：

第一校验信息确定模块301包括：

版本号确定单元311，用于根据版本规则确定目标数据的第一版本号。

配置信息确定单元312，用于根据第一版本号和目标数据的数据索引，确定目标数据的第一配置信息。

加密信息确定单元313，用于根据加密规则对目标数据进行加密计算，以确定目标数据的第一加密信息。

校验信息确定单元314，用于根据第一配置信息和第一加密信息，确定第一校验信息。

还包括：反馈模块304，用于向第二平台发送校验结果，以使第二平台将目标数据确定为当前版本数据。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种实施例的方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种实施例的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本发明中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。

还需要指出的是，在本发明的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims

1.一种数据校验方法，其特征在于，包括：

2.根据权利要求1所述方法，其特征在于，所述校验规则包括，版本规则和加密规则；所述根据预设的校验规则，确定第一平台中目标数据的第一校验信息包括：

根据所述版本规则确定所述目标数据的第一版本号；

3.根据权利要求1或2所述方法，其特征在于，当所述目标数据对应的校验结果为校验成功，还包括：

4.根据权利要求1或2所述方法，其特征在于，当所述目标数据对应的校验结果为校验失败，还包括：

5.一种数据校验方法，其特征在于，包括：

6.根据权利要求5所述方法，其特征在于，所述校验规则包括，版本规则和加密规则；所述根据所述目标数据和所述校验规则确定第二校验信息包括：

根据所述版本规则确定所述目标数据的第二版本号；

7.根据权利要求5或6所述方法，其特征在于，当所述目标数据对应的校验结果为校验失败，还包括：

将所述第三校验规则发送至所述第一平台。

8.一种数据校验装置，其特征在于，包括：

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一项所述的数据校验方法。

10.一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7任一项所述的数据校验方法。