CN112800055A

CN112800055A - 基于布隆过滤器的数据验真方法及***及装置及介质

Info

Publication number: CN112800055A
Application number: CN202110063100.9A
Authority: CN
Inventors: 洪薇; 洪健; 李京昆; 刘文思
Original assignee: Hubei Chenweixi Chain Information Technology Co ltd
Current assignee: Hubei Chenweixi Chain Information Technology Co ltd
Priority date: 2021-01-18
Filing date: 2021-01-18
Publication date: 2021-05-14

Abstract

本发明公开了基于布隆过滤器的数据验真方法及***及装置及介质，涉及数据验真领域，包括：将源数据的数据记录上传至区块链存储；获取待验真的第一数据记录，从区块链上获取对应的第二数据记录；基于第一数据记录生成第一布隆过滤器数组；基于第二数据记录生成第二布隆过滤器数组；比较第一布隆过滤器数组和第二布隆过滤器数组，若第一布隆过滤器数组与第二布隆过滤器数组中相同下标位置上的元素全部相同，则数据验真通过；否则数据验真失败，并基于第一布隆过滤器数组与第二布隆过滤器数组中元素不同的下标位置定位出第一数据记录中数据不一致的字段；本发明能够在数据记录中多个字段不一致的情况下，提高数据验真的效率，减小字段比对的开销。

Description

基于布隆过滤器的数据验真方法及***及装置及介质

技术领域

本发明涉及数据验真领域，具体地，涉及基于布隆过滤器的数据验真方法及***及装置及介质。

背景技术

数据验真是区块链的一项基础功能，它对原始数据的记录进行哈希摘要计算，然后将其同存储在链上的原始数据记录的哈希摘要值进行字符串对比，利用区块链不可篡改的特性，如果对比结果一致，则验真通过，否则即说明原始数据的值发生了变化。通常验真的粒度是记录级别，也即判断一条记录的结果是否发生了变化，但对于某些场景和应用，需要细化到数据项或字段级的验真，也即要精确定位到记录中具体是某一项或某几项数据发生了变化。业界常规的做法是将对应记录的哈希拆分成一个个数据项或字段的哈希，然后上链存证，在验真比对时，首先进行记录级哈希比对，如果不一致，则继续逐个数据项或字段进行比对，直至找出不一致的数据项或字段。这种方法在数据项或字段数较多的情况下，在最坏情况下其计算复杂度是记录级验真的N倍(N为记录中包含的数据项或字段数)，对于大数据量下的密集验真任务，这种方法的性能是无法满足应用要求的。基于这种方法的改进型版本，二叉哈希树的方法，在单字段不一致的情况下，可以显著降低验真的计算开销，但存在多个字段不一致的情况下，则需要的时间会成倍上升，并且会趋近于所有字段的比对开销。

发明内容

本发明目的是解决在数据记录中多个字段不一致的情况下，提高数据验真的效率，减小字段比对的开销。

为实现上述发明目的，本发明提供了基于布隆过滤器的数据验真方法，所述方法包括：

将源数据的数据记录上传至区块链存储；

获取待验真的第一数据记录，并从区块链上获取与第一数据记录对应的第二数据记录；

基于第一数据记录生成第一布隆过滤器数组；

基于第二数据记录生成第二布隆过滤器数组；

比较第一布隆过滤器数组和第二布隆过滤器数组，若第一布隆过滤器数组与第二布隆过滤器数组中相同下标位置上的元素全部相同，则数据验真通过；否则数据验真失败，并基于第一布隆过滤器数组与第二布隆过滤器数组中元素不同的下标位置定位出第一数据记录中数据不一致的字段。

其中，本发明提供了一种区块数据验真时快速定位一个或多个字段不一致的方法。本发明的核心思路和创新是将原始的线性顺序的数据项比对，以及适用于单个字段的基于二叉哈希树的快速定位比对，优化为基于bloom filter的快速比较和定位，即使在所有字段都不一致的情况下，其计算开销也仅仅只是bloom filter数组的长度，能够满足大数据量下的一到多个字段的密集验真任务的需要。

优选的，本方法在生成第一布隆过滤器数组和第二布隆过滤器数组之前还包括以下步骤：

设置布隆过滤器数组，布隆过滤器数组中元素的初始值为0，布隆过滤器数组中字段数量为第一数据记录中字段数量的两倍。

优选的，本方法中基于数据记录生成相应的布隆过滤器数组的方式为：

基于哈希函数计算数据记录中每个字段的哈希值获得第一计算结果；

针对每个字段对应的第一计算结果取模计算得到第二计算结果，第二计算结果为0到N-1之间的数值，N为布隆过滤器数组的大小；

针对每个字段，第二计算结果为该字段在布隆过滤器数组中的位置下标值；

将布隆过滤器数组中下标值为第二计算结果的对应元素由初始值0修改为1。

优选的，本方法中获取第一数据的数据标识，基于该数据标识从区块链上获取对应的第二数据记录。

优选的，本方法中哈希函数为HASH_INT，其输出值为正整数，字段a的第一计算结果为Value＝HASH_INT(字段a)，字段a的第二计算结果Value_mod＝Value MOD N，Value_mod∈[0,N-1]，Value_mod为字段a在布隆过滤器数组中的位置下标值。

与本发明中的方法对应，本发明还提供了基于布隆过滤器的数据验真***，所述***包括：

上链单元，用于将源数据的数据记录上传至区块链存储；

数据记录获取单元，用于获取待验真的第一数据记录，并从区块链上获取与第一数据记录对应的第二数据记录；

布隆过滤器数组生成单元，用于基于第一数据记录生成第一布隆过滤器数组；以及用于基于第二数据记录生成第二布隆过滤器数组；

比较单元，用于比较第一布隆过滤器数组和第二布隆过滤器数组，若第一布隆过滤器数组与第二布隆过滤器数组中相同下标位置上的元素全部相同，则数据验真通过；否则数据验真失败，并基于第一布隆过滤器数组与第二布隆过滤器数组中元素不同的下标位置定位出第一数据记录中数据不一致的字段。

进一步的，所述***还包括设置单元，用于设置布隆过滤器数组，布隆过滤器数组中元素的初始值为0，布隆过滤器数组中字段数量为第一数据记录中字段数量的两倍。

进一步的，本***中的布隆过滤器数组生成单元具体包括：

获得模块，用于基于哈希函数计算数据记录中每个字段的哈希值获得第一计算结果；

计算模块，用于针对每个字段对应的第一计算结果取模计算得到第二计算结果，第二计算结果为0到N-1之间的数值，N为布隆过滤器数组的大小；

位置下标值确定模块，用于针对每个字段，第二计算结果为该字段在布隆过滤器数组中的位置下标值；

修改模块，用于将布隆过滤器数组中下标值为第二计算结果的对应元素由初始值0修改为1。

本发明还提供了一种基于布隆过滤器的数据验真装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于布隆过滤器的数据验真方法的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述基于布隆过滤器的数据验真方法的步骤。

本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

本发明通过引入bloom filter，能够快速检测和定位到字段级的数据差异，并且能够克服单个字段逐一比较带来的大量时间开销，以及哈希二叉树仅适用小量字段集不一致的情况。

基于Bloom_filter的区块链字段级验真的方法，即使在所有字段都不一致的情况下，其计算开销也仅仅只是bloom filter数组的长度，能够满足大数据量下的一到多个字段的密集验真任务的需要。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；

图1为基于布隆过滤器的数据验真方法的流程示意图；

图2为基于布隆过滤器的数据验真***的组成示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

实施例一

请参考图1，图1为基于布隆过滤器的数据验真方法的流程示意图，本发明提供了基于布隆过滤器的数据验真方法，所述方法包括：

将源数据的数据记录上传至区块链存储；

基于第一数据记录生成第一布隆过滤器数组；

基于第二数据记录生成第二布隆过滤器数组；

其中，在本发明实施例中，本方法在生成第一布隆过滤器数组和第二布隆过滤器数组之前还包括以下步骤：

其中，在本发明实施例中，哈希字段的长度不确定，在映射的过程中会可能会产生碰撞，在碰撞时会使得字段映射的位置产生偏移，通过将布隆过滤器数组设计为第一记录字段数量的两倍，能够给字段映射留有碰撞空间，保证字段映射中位置的准确性。

其中，在本发明实施例中，本方法中基于数据记录生成相应的布隆过滤器数组的方式为：

其中，在本发明实施例中，本方法中获取第一数据的数据标识，基于该数据标识从区块链上获取对应的第二数据记录。

其中，通过数据标识能够在区块链中快速准确的找到对应的数据记录。

其中，在本发明实施例中，本方法中哈希函数为HASH_INT，其输出值为正整数，字段a的第一计算结果为Value＝HASH_INT(字段a)，字段a的第二计算结果Value_mod＝ValueMOD N，Value_mod∈[0,N-1]，Value_mod为字段a在布隆过滤器数组中的位置下标值。

下面举例对本发明进行详细介绍，本实施例中的方法包括：

1.生成bloom filter数组；

1.1数组大小预置为验真数据集记录字段数的2倍，比如字段数为50，bloomfilter数组大小为100；

1.2将bloom filter的全部元素的初始值置为0；

S1.生成初始元素值均为0的bloom filter数组，所述bloom filter数组字段数量为验真数据集记录字段数的2倍；

2.选取1个哈希函数，设该哈希函数为HASH_INT,其输出值为正整数，将每个字段值进行哈希计算，将计算结果再取模，得到值为0到N-1之间的任意数值，N为bloom filter数组的大小，形式化表示为：

Value＝HASH_INT(字段1)；Value_mod＝Value MOD N；Value_mod∈[0,N-1]；

Value为哈希函数HASH_INT针对某个验真字段值的输出结果；Value_mod为Value和N取模后的计算结果，其值为0到N-1之间的任意数值。

S2：通过哈希函数HASH_INT计算出的字段1的值Value_mod，即为该验真字段在bloom filter数组中的位置下标值；

S3:将bloom filter数组，设为Array_bloom_filter，将其下标值为Value_mod的元素由初始0修改为1，形式化表示为：

Array_bloom_filter[Value_mod]＝1；

S3：重复步骤S1-S2，直至所有字段计算和填充数组完毕；

S4:设数据记录的字段数为10个，字段分别为F0,F1,F2,F3,F4。

Bloom filter数组Array_bloom_filter的初始值如表1所示：

表1

经过上述步骤后，对字段F0,F1,F2,F3,F4计算出的值分别为：1、3、4、7、9，则Bloomfilter数组Array_bloom_filter的值变为如表2所示：

表2

4检测不一致的字段集；

4.1将待验真的记录生成bloom filter数组，设数组名为Dst_bloom_filter；

4.2仿照步骤3的计算方法填充Dst_bloom_filter；

假设待验真的记录与源数据的记录一致，则生成的Dst_bloom_filter如表3所示：

表3

对数组Array_bloom_filter和Dst_bloom_filter的所有元素逐一比较，所有相同位置的元素值完全一样，验真成功；

假设待验真的记录与源数据的记录存在不一致的情况，设不一致的字段为F0和F2，经过计算获得F0和F2的值分别为0、5；F1,F3,F4的值与源数据记录值一致，分别为3、7、9，则生成的Dst_bloom_filter如表4所示：

表4

对数组Array_bloom_filter和Dst_bloom_filter的所有元素逐一比较，以Array_bloom_filter参照，可以得出在下标位置1和4的元素不同，这二个下标所对应的字段分别为F0和F2，则F0和F2为验真不一致的字段。

实施例二

请参考图2，图2为基于布隆过滤器的数据验真***的组成示意图，本发明实施例二提供了基于布隆过滤器的数据验真***，所述***包括：

上链单元，用于将源数据的数据记录上传至区块链存储；

其中，在本发明实施例二中，所述***还包括设置单元，用于设置布隆过滤器数组，布隆过滤器数组中元素的初始值为0，布隆过滤器数组中字段数量为第一数据记录中字段数量的两倍。

其中，在本发明实施例二中，本***中的布隆过滤器数组生成单元具体包括：

实施例三

其中，所述处理器可以是中央处理器(CPU，Central Processing Unit)，还可以是其他通用处理器、数字信号处理器(digital signal processor)、专用集成电路(Application Specific Integrated Circuit)、现成可编程门阵列(Fieldprogrammablegate array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中基于布隆过滤器的数据验真装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

实施例四

所述基于基于布隆过滤器的数据验真装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序可存储于一计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.基于布隆过滤器的数据验真方法，其特征在于，所述方法包括：

将源数据的数据记录上传至区块链存储；

基于第一数据记录生成第一布隆过滤器数组；

基于第二数据记录生成第二布隆过滤器数组；

2.根据权利要求1所述的基于布隆过滤器的数据验真方法，其特征在于，本方法在生成第一布隆过滤器数组和第二布隆过滤器数组之前还包括以下步骤：

3.根据权利要求1所述的基于布隆过滤器的数据验真方法，其特征在于，本方法中基于数据记录生成相应的布隆过滤器数组的方式为：

4.根据权利要求1所述的基于布隆过滤器的数据验真方法，其特征在于，获取第一数据的数据标识，基于该数据标识从区块链上获取对应的第二数据记录。

5.根据权利要求3所述的基于布隆过滤器的数据验真方法，其特征在于，哈希函数为HASH_INT，其输出值为正整数，字段a的第一计算结果为Value＝HASH_INT(字段a)，字段a的第二计算结果Value_mod＝Value MOD N，Value_mod∈[0,N-1]，Value_mod为字段a在布隆过滤器数组中的位置下标值。

6.基于布隆过滤器的数据验真***，其特征在于，所述***包括：

上链单元，用于将源数据的数据记录上传至区块链存储；

7.根据权利要求6所述的基于布隆过滤器的数据验真***，其特征在于，所述***还包括设置单元，用于设置布隆过滤器数组，布隆过滤器数组中元素的初始值为0，布隆过滤器数组中字段数量为第一数据记录中字段数量的两倍。

8.根据权利要求6所述的基于布隆过滤器的数据验真***，其特征在于，布隆过滤器数组生成单元具体包括：

9.一种基于布隆过滤器的数据验真装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任意一个所述基于布隆过滤器的数据验真方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任意一个所述基于布隆过滤器的数据验真方法的步骤。