CN104767822A - 一种基于版本的数据存储方法 - Google Patents

Abstract

本发明提供了一种基于版本的数据存储方法，该方法包括：以定长数据块划分用户的数据资源，并存储于分布式存储***的数据节点中；用户通过访问分布式存储***的主节点获得数据节点的存储信息，所述主节点存储数据备份版本保持最后更新一致性情况下的属性信息，并设置多个备用主节点进行属性信息的备份；利用与所述主节点分别相通信的一致性节点来保持***内数据备份版本的一致性，并将已完成同步的备份版本的属性信息提交给主节点，使用户访问到最后更新的数据。本发明提出了一种备份方法，不仅提高用户的使用体验，同时保证存储***的健壮性和保持各数据节点负载的均衡。

Description

一种基于版本的数据存储方法

技术领域

本发明涉及分布式存储，特别涉及一种基于版本的数据存储方法。

背景技术

数据多版本的备份可以显著提高***的运行效率，保证存储服务的可靠性以及整个存储***的负载均衡。传统的基于版本的数据存储方法都是针对存储特性为频繁读的网络应用，而交互性的网络应用的用户数量众多，位置分布广泛，且单次上传数据量小，但上传次数频繁。传统的云存储基于版本的数据存储方法在支持这一类网络应用时，衡量数据节点的标准单一，而且处理海量数据传输请求的同时会频繁进行备份版本的调整，这会导致用户使用体验的降低及服务器端有限计算资源的浪费。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种基于版本的数据存储方法，包括：

以定长数据块划分用户的数据资源，并存储于分布式存储***的数据节点中；

用户通过访问分布式存储***的主节点获得数据节点的存储信息，所述主节点存储数据备份版本保持最后更新一致性情况下的属性信息，并设置多个备用主节点进行属性信息的备份；

利用与所述主节点分别相通信的一致性节点来保持***内数据备份版本的一致性，并将已完成同步的备份版本的属性信息提交给主节点，使用户访问到最后更新的数据。

优选地，当用户对已有数据资源进行写操作时，用户连接到主节点，发送写数据请求，主节点返回匹配的属性信息，用户根据主节点返回的信息访问距离用户位置最近且可用的数据节点并发送写数据请求，数据节点传输用户请求的数据并更新属性信息到一致性节点，一致性节点协调各数据节点保持备份版本数据一致性，一致性节点将更新的属性信息传输到主节点，主节点返回更新结果，每次用户写资源后，由一致性节点维护所有备份版本资源的数据一致性，主节点只保存已确定更新一致性后的属性信息；当用户上传数据资源时，用户连接到主节点，发送上传数据资源的请求信息，主节点返回距离用户位置最近且可用的数据节点信息，并将最新的属性信息发送到一致性节点，用户根据主节点返回的信息上传资源到数据节点，数据节点向用户返回处理的结果，并将属性信息更新到分布式存储***的多个一致性节点，一致性节点根据版本策略备份数据到适当的数据节点，并更新备份版本信息到主节点。

优选地，当需要调整已备份的版本的位置时，该方法包括以下步骤：：

步骤1，在侦测到数据节点存储负载率达到预设最高阈值的情况下，一致性节点开始动态调整备份版本的位置；

步骤2，获取存储***内所有数据节点的集合A：{A₁，A₂，A₃，…A_n}，计算需要调整版本的数据节点要减少的存储量Tca：Tca＝Dca·(μ-ω)，

其中μ为版本调整前节点的存储负载率，ω为版本调整后该节点的存储负载率，Dca为该数据节点的存储总量；若存在集合A_t：{A_t1，A_t2，A_t3，…A_tn}，A_t为A的子集，使得下式成立：

A_{t1_}ca+Tca·η₁≤A_{t1_}ca·μ

A_{t2_}ca+Tca·η₂≤A_{t2_}ca·μ

A_{t3_}ca+Tca·η₃≤A_{t3_}ca·μ

···

A_{tn_}ca+Tca·η_n≤A_{tn_}ca·μ

则返回含有最多元素的集合A_t，并对备份数据进行调整，否则结束备份版本调整；

其中A_{i_}ca为节点A_i的存储量，η₁，η₂，η₃…，η_n为小于或等于1的系数，且η₁+η₂+η₃…+η_n＝1；

步骤3，将存储负载率到达预设最高阈值的数据节点上所有备份版本资源依据完整度建立由小到大的链表，所述完整度的加权计算方式如下：

I＝Count-R

I代表备份版本的完整度，R为数据节点的完整度，Count为相应备份版本被访问的次数；

步骤4，基于步骤3建立的链表，对链表首部的资源依据如下策略进行调整，直到待调整数据节点的存储负载率处于可容许范围内：

以步骤2确定的集合A_t{A_t1，A_t2，A_t3，…A_tn}作为节点集合，以集合中数据节点存储负载率达到预设最高阈值作为终结条件，首先在与待调整数据具有同类型且对于该文件用户价值度最高的节点创建新的备份版本，同时删除原有版本；若没有与待调整数据同类型的数据节点，则选择任意有空余空间的节点，当调整备份版本节点的负载率处于可容许范围时，停止版本调整；

步骤5，数据节点返回更新操作的信息到一致性节点，一致性节点传输已保持一致性数据节点信息到主节点，更新主节点的属性信息。

本发明相比现有技术，具有以下优点：

本发明提出了一种备份方法，不仅提高用户的使用体验，同时保证存储***的健壮性和保持各数据节点负载的均衡。

附图说明

图1是根据本发明实施例的基于版本的数据存储方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种基于版本的数据存储方法。图1是根据本发明实施例的基于版本的数据存储方法流程图。

该方法基于三层架构的分布式存储***。该***模型由一个逻辑主节点，多个一致性节点及大量的数据节点组成。主节点是属性信息服务器，用户通过访问主节点来获得数据节点的存储信息。为了防止主节点单点失效的情况，***内可以有多个备用主节点进行属性信息的备份。主节点只存储数据备份版本保持最后更新一致性情况下的属性信息，为用户访问数据一致性提供高可靠的保证。一致性节点负责保持***内数据备份版本的一致性，它将已完成同步的备份版本的属性信息提交给主节点，使用户只可以访问到最后更新的数据。数据节点是数据存储服务器，存储用户的数据资源，理论上可以分布在世界上任何适宜的地点。考虑到读写型网络应用数据资源的特点多为小文件，用户经常使用的数据一般不大于30M，本***以32M的定长数据块来划分用户的数据资源。

当用户上传数据资源时，用户连接到主节点，发送上传数据资源的请求信息，主节点返回距离用户位置最近且可用的数据节点信息，并将最新的属性信息发送到一致性节点，用户根据主节点返回的信息上传资源到数据节点，数据节点向用户返回处理的结果，并将属性信息更新到一致性节点，一致性节点根据版本策略备份数据到适当的数据节点，并更新备份版本信息到主节点。

当用户对已有数据资源进行读操作时，用户连接到主节点，发送读数据请求，主节点返回匹配的属性信息，用户根据主节点返回的信息访问数据节点并发送读数据请求，数据节点传输用户请求的数据。

当用户对已有数据资源进行写操作时，用户连接到主节点，发送写数据请求，主节点返回匹配的属性信息，用户根据主节点返回的信息访问数据节点并发送写数据请求，数据节点传输用户请求的数据并更新属性信息到一致性节点，一致性节点协调各数据节点保持备份版本数据一致性，一致性节点将更新的属性信息传输到主节点，主节点返回更新结果。每次用户写资源后，由一致性节点维护所有备份版本资源的数据一致性，主节点只保存已确定更新一致性后的属性信息。

在建立的存储***体系结构的基础上，本发明优选的备份版本创建机制包含的步骤如下：

步骤1，用户向主节点发送传输数据的请求，主节点将属性信息与读取到的用户位置信息发送到一致性节点。

步骤2，一致性节点计算各个数据节点相对于用户的节点价值度，数据节点价值度的加权计算公式如下：

R＝1/(UDD×α-BW×β)

R代表数据节点的价值度，UDD代表用户与数据节点之间的位置距离，α代表用户与数据节点之间距离的加权比，BW代表数据节点接入网络的带宽，β代表数据节点网络带宽的加权比。

其中UDD的计算公式如下：

$\mathrm{UDD}=\sqrt{{(D.x-U.x)}^2+{(D.y-U.y)}^2}$

D.x代表数据节点位置横坐标，U.x代表用户位置横坐标，D.y代表数据节点位置纵坐标，U.y代表用户位置纵坐标。

考虑到用户与数据节点之间网络中路由转发数据或网络阻塞带来的开销不确定，用户端的接收能力也不固定，设定β＝30％。考虑到数据节点与用户之间直线距离越近，数据传输的网络延迟往往越小，设定α＝70％。数据节点的价值度越大，数据节点对于用户的使用价值越大。

步骤3，备份版本的创建，一致性节点维护多个上传相同类型数据资源用户位置的数据集合S{S₁，S₂，S₃…S_n}，***内所有数据节点信息的数据集合D{D₁，D₂，D₃…D_m}。

当用户上传资源时，若该资源类型的用户位置数据集合为空，新加入数据元素S_t，则依次扫描数据节点位置的数据集合，选取价值度最高的数据节点作为备份版本设置待选节点；若该数据节点存储有备份版本的原始数据，则选择价值度最低的数据节点作为备份版本设置待选节点；若价值度最低的数据节点与价值度最高的数据节点为同一节点，则随机选择一个数据节点作为备份版本设置待选节点。

当该资源类型的用户位置数据集合非空时，且只有一个数据节点D_ω作为该集合的备份版本设置节点，D_ω上不存在S_t的原始数据，则选择D_ω为新加入数据元素S_t的备份版本设置待选节点；若该数据节点存储有S_t的原始数据，则从D不包括D_ω的集合中选择价值度最高的数据节点作为备份版本设置待选节点。

当该资源类型的用户位置数据集合非空时，且有多个数据节点{D_a，D_b，D_c…}作为该集合的备份版本设置节点，依次扫描{D_a，D_b，D_c…}并做如下处理，选择对于新加入数据元素S_t的价值度最高的D_t1作为备份版本设置待选节点，选择对于新加入数据元素S_t的价值度最低的D_t2作为备份版本设置待选节点；若D_t1与D_t2为相同节点，且不存储有S_t的原始数据，则只存储一份备份版本；若D_t1与D_t2为相同节点，且存储有S_t的原始数据，则在不包含D_t1与D_t2的集合中随机选择一个节点作为备份版本设置待选节点；若D_t1与D_t2为不同节点，D_t1存储有S_t的原始数据，则只选D_t2为备份版本设置待选节点；若D_t1与D_t2为不同节点，D_t1存储有S_t的原始数据，则只选D_t1为备份版本设置待选节点。

步骤4，检查备份版本设置待选节点的存储负载率是否未满，若未满则选择该待选节点为备份版本设置节点，在该节点设置备份版本；否则对S_t屏蔽该待选节点重新返回步骤3，继续寻找满足条件的数据节点作为备份版本设置节点；返回两个备份版本设置待选节点时，若存在至少一个待选节点的存储负载率未满则结束搜索，在符合条件的数据节点上设置备份版本。

步骤5，备份版本属性信息更新，数据节点返回操作结果到一致性节点，一致性节点将集合的数据信息更新，返回最新的属性信息到主节点。

另一方面，备份版本调整机制包含的步骤如下：

步骤1，在侦测到数据节点存储负载率达到90％的情况下一致性节点开始动态调整备份版本的位置。

步骤2，使用以下方法预测将节点存储负载率由90％降到80％的可能性：

设存储***内所有数据节点的集合为A{A₁，A₂，A₃，…A_n}，μ为版本调整前某一节点的存储负载率，ω为版本调整后该节点的存储负载率。

计算需要调整备份版本数据节点要减少的存储量：Tca＝Dca·(μ-ω)

Dca为该数据节点的存储总量。若存在集合A_t：{A_t1，A_t2，A_t3，…A_tn}，A_t为A的子集，使得下式成立：

A_{t1_}ca+Tca·η₁≤A_{t1_}ca·μ

A_{t2_}ca+Tca·η₂≤A_{t2_}ca·μ

A_{t3_}ca+Tca·η₃≤A_{t3_}ca·μ

···

A_{tn_}ca+Tca·η_n≤A_{tn_}ca·μ

其中A_{i_}ca为节点A_i的存储量，系数η₁+η₂+η₃…+η_n＝1；

则认为***内经过备份数据的调整可以达到存储负载率的平衡，否则不进行备份数据调整。

η₁，η₂，η₃…，η_n为小于或等于1的数。该算法返回含有最多元素的集合A_t。

若备份版本调整策略可行则返回接收数据节点的集合A_t{A_t1，A_t2，A_t3，…A_tn}。若不可行则结束备份版本调整。

步骤3，在备份版本调整策略可行的情况下，将存储负载率到达90％的数据节点上所有备份版本资源依据完整度建立由小到大的链表。

备份版本完整度的加权计算公式如下：

I＝Count-R

I代表备份版本的完整度，R为数据节点的完整度，Count为相应备份版本被访问的次数。I越大，备份版本在数据节点存在的价值越大，反之越小。

步骤4，基于步骤3建立的链表，对链表首部的资源依据如下策略进行调整，直到待调整数据节点的存储负载率低于80％：

以步骤2确定的集合A_t{A_t1，A_t2，A_t3，…A_tn}作为节点集合，以集合中数据节点存储负载率达到90％作为终结条件，首先在与待调整数据具有同类型且对于该文件用户价值度最高的节点创建新的备份版本，同时删除原有版本。若没有与待调整数据同类型的数据节点，则选择任意有空余空间的节点。当调整备份版本节点的负载率低于或等于80％时停止版本调整。

步骤5，数据节点返回更新操作的信息到一致性节点，一致性节点传输已保持一致性数据节点信息到主节点，更新主节点的属性信息。

综上所述，本发明提出了一种备份方法，不仅提高用户的使用体验，同时保证存储***的健壮性和保持各数据节点负载的均衡。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算***来实现，它们可以集中在单个的计算***上，或者分布在多个计算***所组成的网络上，可选地，它们可以用计算***可执行的程序代码来实现，从而，可以将它们存储在存储***中由计算***来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (3)

1.一种基于版本的数据存储方法，其特征在于，包括：

以定长数据块划分用户的数据资源，并存储于分布式存储***的数据节点中；

用户通过访问分布式存储***的主节点获得数据节点的存储信息，所述主节点存储数据备份版本保持最后更新一致性情况下的属性信息，并设置多个备用主节点进行属性信息的备份；

利用与所述主节点分别相通信的一致性节点来保持***内数据备份版本的一致性，并将已完成同步的备份版本的属性信息提交给主节点，使用户访问到最后更新的数据。

2.根据权利要求1所述的方法，其特征在于，还包括：

当用户对已有数据资源进行写操作时，用户连接到主节点，发送写数据请求，主节点返回匹配的属性信息，用户根据主节点返回的信息访问距离用户位置最近且可用的数据节点并发送写数据请求，数据节点传输用户请求的数据并更新属性信息到一致性节点，一致性节点协调各数据节点保持备份版本数据一致性，一致性节点将更新的属性信息传输到主节点，主节点返回更新结果，每次用户写资源后，由一致性节点维护所有备份版本资源的数据一致性，主节点只保存已确定更新一致性后的属性信息；当用户上传数据资源时，用户连接到主节点，发送上传数据资源的请求信息，主节点返回距离用户位置最近且可用的数据节点信息，并将最新的属性信息发送到一致性节点，用户根据主节点返回的信息上传资源到数据节点，数据节点向用户返回处理的结果，并将属性信息更新到分布式存储***的多个一致性节点，一致性节点根据版本策略备份数据到适当的数据节点，并更新备份版本信息到主节点。

3.根据权利要求2所述的方法，其特征在于，当需要调整已备份的版本的 位置时，该方法包括以下步骤：

步骤1，在侦测到数据节点存储负载率达到预设最高阈值的情况下，一致性节点开始动态调整备份版本的位置；

步骤2，获取存储***内所有数据节点的集合A：{A₁，A₂，A₃，…A_n}，计算需要调整版本的数据节点要减少的存储量Tca：Tca＝Dca·(μ-ω)，

其中μ为版本调整前节点的存储负载率，ω为版本调整后该节点的存储负载率，Dca为该数据节点的存储总量；若存在集合A_t：{A_t1，A_t2，A_t3，…A_tn}，A_t为A的子集，使得下式成立：

A_t1_ca+Tca·η₁≤A_t1_ca·μ

A_t2_ca+Tca·η₂≤A_t2_ca·μ

A_t3_ca+Tca·η₃≤A_t3_ca·μ

···

A_tn_ca+Tca·η_n≤A_tn_ca·μ

则返回含有最多元素的集合A_t，并对备份数据进行调整，否则结束备份版本调整；

其中A_{i_}ca为节点A_i的存储量，η₁，η₂，η₃…，η_n为小于或等于1的系数，且η₁+η₂+η₃…+η_n＝1；

步骤3，将存储负载率到达预设最高阈值的数据节点上所有备份版本资源依据完整度建立由小到大的链表，所述完整度的加权计算方式如下：

I＝Count-R

I代表备份版本的完整度，R为数据节点的完整度，Count为相应备份版本被访问的次数；

步骤4，基于步骤3建立的链表，对链表首部的资源依据如下策略进行调 整，直到待调整数据节点的存储负载率处于可容许范围内：

以步骤2确定的集合A_t{A_t1，A_t2，A_t3，…A_tn}作为节点集合，以集合中数据节点存储负载率达到预设最高阈值作为终结条件，首先在与待调整数据具有同类型且对于该文件用户价值度最高的节点创建新的备份版本，同时删除原有版本；若没有与待调整数据同类型的数据节点，则选择任意有空余空间的节点，当调整备份版本节点的负载率处于可容许范围时，停止版本调整；

步骤5，数据节点返回更新操作的信息到一致性节点，一致性节点传输已保持一致性数据节点信息到主节点，更新主节点的属性信息。