CN111858771A - 分布式数据存储方法、设备和存储介质 - Google Patents

Abstract

本发明提供一种分布式数据存储方法、设备和存储介质，涉及区块链等技术领域，该方法包括：根据待存储的第一数量个连续区块生成第一数据集合；根据预配置的逻辑距离计算规则确定将要存储第一数据集合的第一区块链分片；将第一数据集合发送至第一区块链分片中的若干节点以供存储第一数据集合。本申请减少区块链网络消耗带宽。

Description

分布式数据存储方法、设备和存储介质

技术领域

本申请涉及区块链技术领域，具体涉及一种分布式数据存储方法、设备和存储介质。

背景技术

现有的区块链领域的分布式数据存储技术中，每隔一段时间，存储有第一数据集合的节点需要向若干个逻辑距离较小的节点广播第一数据集合以保证动态平衡，即，保证区块链网络中总有若干个节点存储有第一归档数据。

由于第一数据集合较大，上述机制占用了区块链网络大量带宽。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种减少区块链网络消耗带宽的分布式数据存储方法、设备和存储介质。

第一方面，本发明提供一种适用于区块链的分布式数据存储方法，上述方法包括：

根据待存储的第一数量个连续区块生成第一数据集合；

根据预配置的逻辑距离计算规则确定将要接收第一数据集合的第一区块链分片；

将第一数据集合发送至第一区块链分片中的若干节点以供存储第一数据集合。

第二方面，本发明还提供一种设备，包括一个或多个处理器和存储器，其中存储器包含可由该一个或多个处理器执行的指令以使得该一个或多个处理器执行根据本发明各实施例提供的分布式数据存储方法。

第三方面，本发明还提供一种存储有计算机程序的存储介质，该计算机程序使计算机执行根据本发明各实施例提供的分布式数据存储方法。

本发明诸多实施例提供的分布式数据存储方法、设备和存储介质通过根据待存储的第一数量个连续区块生成第一数据集合；根据预配置的逻辑距离计算规则确定将要存储第一数据集合的第一区块链分片；将第一数据集合发送至第一区块链分片中的若干节点以供存储第一数据集合的方法，减少区块链网络消耗带宽。

本发明一些实施例提供的分布式数据存储方法、设备和存储介质进一步通过在所在区块链分片的节点总量与区块链网络中各区块链分片的节点总数的平均数的比值超过第一数值时，根据预配置的区块链分片调整规则将所在区块链分片分成若干新区块链分片，并更新当前节点所在的区块链分片；对所存储的各归档数据执行如下操作：根据第二归档数据生成第二数据；以及，根据逻辑距离计算规则确定与第二数据的逻辑距离最小的第二节点，并判断第二节点是否为所在区块链分片中的节点：否，则删除第二归档数据的方法，在所在区块链分片的节点数量过多时，调整区块链网络中的区块链分片数，以使得各归档数据能均匀的分布式存储。

本发明一些实施例提供的分布式数据存储方法、设备和存储介质进一步通过在所在区块链分片的节点总量与区块链网络中各区块链分片的节点总数的平均数的比值低于第二数值时，根据预配置的区块链分片调整规则将所在区块链分片与第一区块链分片融合，并更新当前节点所在的区块链分片；对所存储的各归档数据执行如下操作：根据第三归档数据生成第三数据，根据第三数据、第三归档数据生成第二数据集合；以及，将第二数据集合发送给所在区块链分片的若干节点以供在本地未存储有第三归档数据时，根据第二数据集合存储第三归档数据的方法，在所在区块链分片的节点数量过少时，调整区块链网络中的区块链分片数，以使得各归档数据能均匀的分布式存储。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例提供的一种分布式数据存储方法的流程图。

图2为图1所示方法的一种优选实施方式的流程图。

图3为图1所示方法的另一种优选实施方式的流程图。

图4为本发明一实施例提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1为本发明一实施例提供的一种分布式数据存储方法的流程图。如图1所示，在本实施例中，本发明提供一种适用于区块链的分布式数据存储方法，上述方法包括：

S11：根据待存储的第一数量个连续区块生成第一数据集合；

S12：根据预配置的逻辑距离计算规则确定将要存储第一数据集合的第一区块链分片；

S13：将第一数据集合发送至第一区块链分片中的若干节点以供存储第一数据集合。

具体地，以S11包括“根据待存储的第一数量个连续区块生成第一数据和第一归档数据，并根据第一数据、第一归档数据生成第一数据集合”，S12包括“根据预配置的逻辑距离计算规则确定与第一数据的逻辑距离最小的第一节点，将第一节点所在的区块链分片确定为将要存储第一数据集合的第一区块链分片”，S13包括“将第一数据集合发送给第一区块链分片的若干节点，以供根据第一数据集合存储第一归档数据”，逻辑距离计算规则为将第一数据与节点的节点ID进行异或以计算逻辑距离，将第一数据集合发送给第一区块链分片的若干节点包括“将第一数据集合发送给第一区块链分片的各节点”为例；假设待存储的第一数量个连续区块为block(1)～block(1000)，区块链网络有10个分片，每个分片有10个节点，区块链分片1中的节点为N1～N10，区块链分片2中的节点为N11～N20……，区块链分片10中的节点为N91～N100；

节点执行步骤S11，根据block(1)～block(1000)生成chunkhash和归档数据(假设归档数据也为block(1)～block(1000))，并根据chunkhash、block(1)～block(1000)生成数据集合{chunkhash,block(1)～block(1000)}；

节点执行步骤S12，根据将chunkhash与节点的节点ID进行异或以计算逻辑距离，确定与chunkhash的逻辑距离最小的节点(假设为N91，)，将N91所在的区块链分片，即区块链分片10，确定为将要接收{chunkhash,block(1)～block(1000)}的区块链分片；

节点执行步骤S13，将{chunkhash,block(1)～block(1000)}发送给区块链分片10的各节点，即N91～N100；

N91～N100根据{chunkhash,block(1)～block(1000)}存储block(1)～block(1000)。

上述实施例以S11包括“根据待存储的第一数量个连续区块生成第一数据和第一归档数据，并根据第一数据、第一归档数据生成第一数据集合”，S12包括“根据预配置的逻辑距离计算规则确定与第一数据的逻辑距离最小的第一节点，将第一节点所在的区块链分片确定为将要存储第一数据集合的第一区块链分片”，S13包括“将第一数据集合发送给第一区块链分片的若干节点，以供根据第一数据集合存储第一归档数据”，逻辑距离计算规则为将第一数据与节点的节点ID进行异或以计算逻辑距离，将第一数据集合发送给第一区块链分片的若干节点包括“将第一数据集合发送给第一区块链分片的各节点”为例对本实施例所示的分布式数据存储原理作了示例性的阐述。

在更多实施例中，逻辑距离计算规则还可以根据实际需求进行配置，例如可以配置为，将第一数据与节点的节点ID的哈希值进行异或以计算逻辑距离，可实现相同的技术效果。

在更多实施例中，将第一数据集合发送给第一区块链分片的若干节点还可以根据实际需求进行配置，例如配置为，将第一数据集合发送给第一区块链分片中的按逻辑距离从小到大的顺序的5个节点，可实现相同的技术效果。

在更多实施例中，S11还可以根据实际需求进行配置，例如配置为，根据待存储的第一数量个连续区块生成第一数据和可解压的第一压缩数据，并根据第一数据、可解压的第一压缩数据生成第一数据集合，可解压的第一压缩数据为将第一归档数进行压缩所获得，可实现相同的技术效果。相应的，S13配置为，将第一数据集合发送给第一区块链分片的若干节点，以供根据第一数据集合存储第一压缩数据。

在更多实施例中，上述实施例所示的方法可根据实际需求配置触发条件，例如配置为，当区块高度增长到第一区块高度时，生成第一区块高度的第一区块的该节点执行执行上述实施例所示的方法，其中，第一区块高度为待存储的第一数量个连续区块中区块高度最大的区块与安全回滚深度之和。

需要说明的是，各区块链节点一开始都在blockchain模块存储block(1)～block(1000)，在实施上述实施例所阐述的方法后，N91～N100会在本地P2P模块存储归档数据block(1)～block(1000)。在一段时间后，区块链中所有节点的blockchain模块都会删除block(1)～block(1000)；此时只有N91～N100分布式存储有归档数据block(1)～block(1000)。

上述实施例减少区块链网络消耗带宽。

优选地，根据待存储的第一数量个连续区块生成第一数据集合包括：

根据待存储的第一数量个连续区块生成第一数据和第一归档数据，并根据第一数据、第一归档数据生成第一数据集合；

根据预配置的逻辑距离计算规则确定将要接收第一数据集合的第一区块链分片包括：

根据预配置的逻辑距离计算规则确定与第一数据的逻辑距离最小的第一节点，将第一节点所在的区块链分片确定为将要接收第一数据集合的第一区块链分片；

将第一数据集合发送至第一区块链分片中的若干节点以供存储第一数据集合包括：

将第一数据集合发送给第一区块链分片的若干节点，以供根据第一数据集合存储第一归档数据。

上述实施例的分布式数据存储原理可参考图1所示的方法，此处不再赘述。

优选地，逻辑距离计算规则为将第一数据与节点的节点ID进行异或以计算逻辑距离。

上述实施例的分布式数据存储原理可参考图1所示的方法，此处不再赘述。

图2为图1所示方法的一种优选实施方式的流程图。如图2所示，在一优选实施例中，上述方法还包括：

S14：在所在区块链分片的节点总量与区块链网络中各区块链分片的节点总数的平均数的比值超过第一数值时，根据预配置的区块链分片调整规则将所在区块链分片分成若干新区块链分片，并更新当前节点所在的区块链分片；

S15：对所存储的各归档数据执行如下操作：

根据第二归档数据生成第二数据；

根据逻辑距离计算规则确定与第二数据的逻辑距离最小的第二节点，并判断第二节点是否为所在区块链分片中的节点：

否，则删除第二归档数据。

具体地，假设第一数值为1.35，预配置的区块链分片调整规则为将原区块链分片中的原有节点保留，将其它的节点划分到一个新的区块链分片中；其它区块链分片中的节点不变，区块链分片10中的节点为N91～N103，现在N104、N105也先后加入区块链分片10；

N104加入区块链分片10，N91～N104执行步骤S14，区块链分片10的节点总量为14，区块链网络中各区块链分片的节点总数的平均数为10.4，上述比值为1.346，不大于1.35；

N105加入区块链分片10，N91～N105执行步骤S14，区块链分片10的节点总量为15，区块链网络中各区块链分片的节点总数的平均数为10.5，上述比值为1.429，大于1.35，则将N91～N100留在区块链分片10中，并创建区块链分片11，将N101～N105划分到区块链分片11中。

N91～N105执行步骤S15，对所存储的各归档数据执行如下操作：

以归档数据为block(1)～block(1000)为例，N91～N105根据block(1)～block(1000)生成chunkhash；

根据逻辑距离计算规则确定与chunkhash的逻辑距离最小的节点，该节点为N91，并判断N91是否为所在区块链分片中的节点：

由于N91不在区块链分片11中，则N101～N105删除block(1)～block(1000)。

在更多实施例中，第一数值为还可以根据实际需求进行配置，例如配置为1.7，可实现相同的技术效果。

在更多实施例中，预配置的区块链分片调整规则还可以根据实际需求进行配置，例如配置为，将roundup(M/2)的节点留在原区块链分片，将其它的节点划分到一个新的区块链分片中，其中roundup是向上取整函数，M为所在区块链分片的节点总量，可实现相同的技术效果。

上述实施例在所在区块链分片的节点数量过多时，调整区块链网络中的区块链分片数，以使得各归档数据能均匀的分布式存储。

图3为图1所示方法的另一种优选实施方式的流程图。如图3所示，在一优选实施例中，上述方法还包括：

S16：在所在区块链分片的节点总量与区块链网络中各区块链分片的节点总数的平均数的比值低于第二数值时，根据预配置的区块链分片调整规则将所在区块链分片与第一区块链分片融合，并更新当前节点所在的区块链分片；

S17：对所存储的各归档数据执行如下操作：

根据第三归档数据生成第三数据，根据第三数据、第三归档数据生成第二数据集合；

将第二数据集合发送给所在区块链分片的若干节点以供在本地未存储有第三归档数据时，根据第二数据集合存储第三归档数据。

具体地，假设第二数值为0.5，预配置的区块链分片调整规则为将所在分片与上一个分片相融合；其它区块链分片中的节点不变，区块链分片10中的节点为N91～N96，现在N96、N95也先后离开区块链分片10；

N96离开区块链分片10，N91～N95执行步骤S16，区块链分片10的节点总量为5，区块链网络中各区块链分片的节点总数的平均数为9.5，上述比值为0.526，不低于0.5；

N95离开区块链分片10，N91～N94执行步骤S16，区块链分片10的节点总量为4，区块链网络中各区块链分片的节点总数的平均数为9.4，上述比值为0.426，低于0.5，与区块链分片9融合，并更新当前节点所在的区块链分片为区块链分片9；

N81～N94执行步骤S17，对所存储的各归档数据执行如下操作：

以归档数据为block(1)～block(1000)为例，N91～N94根据block(1)～block(1000)生成chunkhash，根据chunkhash、block(1)～block(1000)生成数据集合{chunkhash,block(1)～block(1000)}；

N91～N94将{chunkhash,block(1)～block(1000)}发送给所在区块链分片的若干节点以供在本地未存储有block(1)～block(1000)时，根据{chunkhash,block(1)～block(1000)}存储block(1)～block(1000)。

在更多实施例中，第二数值为还可以根据实际需求进行配置，例如配置为0.6，可实现相同的技术效果。

在更多实施例中，预配置的区块链分片调整规则还可以根据实际需求进行配置，例如配置为，将所在区块链分片与区块链网络中节点数量次少的区块链分片相融合，可实现相同的技术效果。

上述实施例在所在区块链分片的节点数量过少时，调整区块链网络中的区块链分片数，以使得各归档数据能均匀的分布式存储。

需要说明的是，上述各实施例可相互结合。

图4为本发明一实施例提供的一种设备的结构示意图。

如图4所示，作为另一方面，本申请还提供了一种设备400，包括一个或多个中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM403中，还存储有设备400操作所需的各种程序和数据。CPU401、ROM402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本公开的实施例，上述任一实施例描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行上述任一方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。

作为又一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例的装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，该程序被一个或者一个以上的处理器用来执行描述于本申请提供的方法。

附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的***来实现，或者可以通过专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，各所述单元可以是设置在计算机或移动智能设备中的软件程序，也可以是单独配置的硬件装置。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离本申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (7)

1.一种分布式数据存储方法，其特征在于，适用于区块链节点，所述方法包括：

根据待存储的第一数量个连续区块生成第一数据集合；

根据预配置的逻辑距离计算规则确定将要接收所述第一数据集合的第一区块链分片；

将所述第一数据集合发送至所述第一区块链分片中的若干节点以供存储所述第一数据集合。

2.根据权利要求1所述的方法，其特征在于，所述根据待存储的第一数量个连续区块生成第一数据集合包括：

根据待存储的第一数量个连续区块生成第一数据和第一归档数据，并根据所述第一数据、所述第一归档数据生成第一数据集合；

所述根据预配置的逻辑距离计算规则确定将要接收所述第一数据集合的第一区块链分片包括：

根据预配置的逻辑距离计算规则确定与所述第一数据的逻辑距离最小的第一节点，将所述第一节点所在的区块链分片确定为将要接收所述第一数据集合的第一区块链分片；

所述将所述第一数据集合发送至所述第一区块链分片中的若干节点以供存储所述第一数据集合包括：

将所述第一数据集合发送给所述第一区块链分片的若干节点，以供根据所述第一数据集合存储所述第一归档数据。

3.根据权利要求2所述的方法，其特征在于，所述逻辑距离计算规则为将所述第一数据与节点的节点ID进行异或以计算逻辑距离。

4.根据权利要求2或3所述的方法，其特征在于，还包括：

在所在区块链分片的节点总量与区块链网络中各区块链分片的节点总数的平均数的比值超过第一数值时，根据预配置的区块链分片调整规则将所在区块链分片分成若干新区块链分片，并更新当前节点所在的区块链分片；

对所存储的各归档数据执行如下操作：

根据第二归档数据生成第二数据；

根据所述逻辑距离计算规则确定与所述第二数据的逻辑距离最小的第二节点，并判断所述第二节点是否为所在区块链分片中的节点：

否，则删除所述第二归档数据。

5.根据权利要求2或3所述的方法，其特征在于，还包括：

在所在区块链分片的节点总量与区块链网络中各区块链分片的节点总数的平均数的比值低于第二数值时，根据预配置的区块链分片调整规则将所在区块链分片与第一区块链分片融合，并更新当前节点所在的区块链分片；

对所存储的各归档数据执行如下操作：

根据第三归档数据生成第三数据，根据所述第三数据、所述第三归档数据生成第二数据集合；

将所述第二数据集合发送给所在区块链分片的若干节点以供在本地未存储有所述第三归档数据时，根据所述第二数据集合存储所述第三归档数据。

6.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-5中任一项所述的方法。

7.一种存储有计算机程序的存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。

Images