CN104639570A - 资源对象存储处理方法及装置 - Google Patents

Abstract

本发明提供了一种资源对象存储处理方法及装置，该方法包括：基于关键字-值Key-Value的存储方式，其中，该资源对象以桶为单位进行存储，包括：接收到要进行存储的资源对象；依据动态哈希算法确定资源对象存储的桶的位置；依据确定的桶的位置存储资源对象，通过本发明，解决了相关技术中存在如何进行大容量存储处理，以及耗费空间大，查询不便的问题，进而达到了提高存储效率，节省存储空间，以及提高查询效率的效果。

Description

资源对象存储处理方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种资源对象存储处理方法及装置。

背景技术

中国电信云存储***区别于传统的文件***存储，采用了基于一致性HASH键值对的对象存储方式，管理资源和对象属性等存储内容都以key-value的方式分布于存储***中，每个管理资源（或对象属性）在***中都拥有一个key，而资源本身（或属性）都以value的形式存储于***中，这种存储方式，相较于传统的存储方式而言，在性能提升上占有一定优势，另一方面，用这种方式存储资源，也在一定程度上解决了不同用户间安全性和物理隔离的问题。

对于key-value的存储模式，如果value值较大，例如，是一个含有几千、几万个数据的列表，这无疑会增加数据的查找难度，需要为value寻找一种较优的存储方法。在目前的云存储***中，一个对象的上传或下载流程，首先要对该对象的所属的租户、子租户、用户进行访问，鉴权，获取属性等，如果频繁地访问这些资源，将对对象的上传下载速率造成一定影响，从而影响整个***的性能，再者，如果用户过多，对存储空间的合理利用也是需要好好思量的，因此，在相关技术中存在如何进行大容量存储处理，以及耗费空间大，查询不便的问题。

发明内容

本发明提供了一种资源对象存储处理方法及装置，以至少解决相关技术中存在如何进行大容量存储处理，以及耗费空间大，查询不便的问题。

根据本发明的一个方面，提供了一种资源对象存储处理方法，基于关键字-值Key-Value的存储方式，其中，所述资源对象以桶为单位进行存储，包括：接收到要进行存储的资源对象；依据动态哈希算法确定所述资源对象存储的所述桶的位置；依据确定的所述桶的位置存储所述资源对象。

优选地，依据所述动态哈希算法确定所述资源对象存储的所述桶的位置包括：确定各个桶对应的哈希算法，其中，所述桶通过关键字Key来定位，对每个桶采用预定规则进行命名；依据桶对应的所述哈希算法对所述资源对象进行哈希处理确定存储所述资源对象的桶，其中，存储的所述资源对象对应于值Value。

优选地，依据所述动态哈希算法确定所述资源对象存储的所述桶的位置包括：依据第一哈希算法确定所述资源对象存储的初始桶的位置；判断所述初始桶是否已满；在判断结果为是的情况下，触发所述初始桶***；根据第二哈希算法对***的桶和***之前的桶存放现有资源对象进行重新分配，其中，所述现有资源对象包括所述资源对象和***之前所存在的桶中所存储的资源对象。

优选地，在判断初始桶已满，触发桶***包括：判断是否存在预先指向***桶的***指针；在判断结果为是的情况下，优先触发对所述***指针指向的桶进行***。

优选地，在依据确定的所述桶的位置存储所述资源对象之后，还包括：接收资源访问请求；依据所述资源访问请求上传请求的所述资源对象。

优选地，依据所述资源访问请求上传请求的所述资源包括：判断所述资源访问请求是否合法，在判断结果为是的情况下，依据所述资源访问请求上传请求的所述资源对象。

根据本发明的另一方面，提供了一种资源对象存储处理装置，基于关键字-值Key-Value的存储方式，其中，所述资源对象以桶为单位进行存储，包括：第一接收模块，用于接收到要进行存储的资源对象；确定模块，用于依据动态哈希算法确定所述资源对象存储的所述桶的位置；存储模块，用于依据确定的所述桶的位置存储所述资源对象。

优选地，所述确定模块包括：第一确定单元，用于确定各个桶对应的哈希算法，其中，所述桶通过关键字Key来定位，对每个桶采用预定规则进行命名；第二确定单元，用于依据桶对应的所述哈希算法对所述资源对象进行哈希处理确定存储所述资源对象的桶，其中，存储的所述资源对象对应于值Value。

优选地，所述确定模块包括：第三确定单元，用于依据第一哈希算法确定所述资源对象存储的初始桶的位置；第一判断单元，用于判断所述初始桶是否已满；触发单元，用于在所述判断单元的判断结果为是的情况下，触发所述初始桶***；分配单元，用于根据第二哈希算法对***的桶和***之前的桶存放现有资源对象进行重新分配，其中，所述现有资源对象包括所述资源对象和***之前所存在的桶中所存储的资源对象。

优选地，所述触发单元包括：判断子单元，用于判断是否存在预先指向***桶的***指针；触发子单元，用于在所述判断子单元的判断结果为是的情况下，优先触发对所述***指针指向的桶进行***。

优选地，该装置还包括：第二接收模块，用于接收资源访问请求；上传模块，用于依据所述资源访问请求上传请求的所述资源对象。

优选地，所述上传模块包括：第二判断单元，用于判断所述资源访问请求是否合法，在判断结果为是的情况下，依据所述资源访问请求上传请求的所述资源对象。

通过本发明，采用基于关键字-值Key-Value的存储方式，其中，所述资源对象以桶为单位进行存储，包括：接收到要进行存储的资源对象；依据动态哈希算法确定所述资源对象存储的所述桶的位置；依据确定的所述桶的位置存储所述资源对象，解决了相关技术中存在如何进行大容量存储处理，以及耗费空间大，查询不便的问题，进而达到了提高存储效率，节省存储空间，以及提高查询效率的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的资源对象存储处理方法的流程图；

图2是根据本发明实施例的资源对象存储处理装置的结构框图；

图3是根据本发明实施例的资源对象存储处理装置中确定模块24的优选结构框图一；

图4是根据本发明实施例的资源对象存储处理装置中确定模块24的优选结构框图二；

图5是根据本发明实施例的资源对象存储处理装置中确定模块24中触发单元46的优选结构框图；

图6是根据本发明实施例的资源对象存储处理装置的结构框图；

图7是根据本发明实施例的资源对象存储处理装置中上传模块64的优选结构框图；

图8是根据本发明优选实施方式的中国电信云存储***架构示意图；

图9是根据本发明优选实施方式的存储处理的流程示意图；

图10是根据本发明优选实施方式的云存储***对象上传流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本实施例中提供了一种资源对象存储处理方法，图1是根据本发明实施例的资源对象存储处理方法的流程图，该方法基于关键字-值Key-Value的存储方式，其中，资源对象以桶为单位进行存储，如图1所示，该流程包括如下步骤：

步骤S102，接收到要进行存储的资源对象；

步骤S104，依据动态哈希算法确定资源对象存储的桶的位置；

步骤S106，依据确定的桶的位置存储资源对象。

通过上述步骤，基于Key-Value的存储方式，采用动态哈希算法实现资源对象的动态存储，相对于相关技术中仅仅依据Key-Value模式进行存储，或是仅仅依据哈希算法进行存储，不能将两者进行有效地结合，不仅解决了相关技术中存在如何进行大容量存储处理，以及耗费空间大，查询不便的问题，进而达到了提高存储效率，节省存储空间，以及提高查询效率的效果。

下面对基于关键字-值Key-Value的存储方式，依据动态哈希算法确定资源对象存储的桶的位置进行说明，首先，确定各个桶对应的哈希算法，其中，桶通过关键字Key来定位，对每个桶采用预定规则进行命名；之后，依据桶对应的哈希算法对资源对象进行哈希处理确定存储资源对象的桶，其中，存储的资源对象对应于值Value。即，首先，动态哈希表，包括N个哈希桶（N%2=0），每个哈希桶用一个key值来定位，桶的命名规则可以有多种，例如，可以采用以下命名规则“列表名_0,列表名_1,列表名_2……”，当然，也可以采用其它的命名规则。其次，桶中的每个元素存入之前有自己的KEY，通过对这个唯一的KEY值进行哈希，放入各自桶中。

优选地，依据动态哈希算法确定资源对象存储的桶的位置可以采用以下处理：依据第一哈希算法确定资源对象存储的初始桶的位置；判断初始桶是否已满；在判断结果为是的情况下，触发初始桶***；根据第二哈希算法对***的桶和***之前的桶存放现有资源对象进行重新分配，其中，现有资源对象包括资源对象和***之前所存在的桶中所存储的资源对象，即在对一个新的资源对象进行存储时，依据动态哈希算法分别进行相应的计算，之后存储到计算后获得的桶中。

其中，需要说明的是，在通过***指针对***桶进行相应的指示时，判断初始桶已满，触发桶***时可以采用以下方式来解决：先判断是否存在预先指向***桶的***指针；在判断结果为是的情况下，优先触发对***指针指向的桶进行***。

在依据确定的桶的位置存储资源对象之后，还可以：接收资源访问请求；依据资源访问请求上传请求的资源对象。另外，依据资源访问请求上传请求的资源对象包括，可以先判断资源访问请求是否合法，在判断结果为是的情况下，依据资源访问请求上传请求的资源对象，即对资源访问请求进行鉴权，有利地保证了资源对象的安全。

在本实施例中还提供了一种资源对象存储处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例的资源对象存储处理装置的结构框图，该装置基于关键字-值Key-Value的存储方式，其中，资源对象以桶为单位进行存储，如图2所示，该装置包括第一接收模块22、确定模块24和存储模块26，下面对该装置进行说明。

第一接收模块22，用于接收到要进行存储的资源对象；确定模块24，连接至上述第一接收模块22，用于依据动态哈希算法确定资源对象存储的桶的位置；存储模块26，连接至上述确定模块24，用于依据确定的桶的位置存储资源对象。

图3是根据本发明实施例的资源对象存储处理装置中确定模块24的优选结构框图一，该确定模块24包括第一确定单元32和第二确定单元34，下面对该确定模块24进行说明。

第一确定单元32，用于确定各个桶对应的哈希算法，其中，桶通过关键字Key来定位，对每个桶采用预定规则进行命名；第二确定单元34，连接至上述第一确定单元32，用于依据桶对应的哈希算法对资源对象进行哈希处理确定存储资源对象的桶，其中，存储的该资源对象对应于值Value。

图4是根据本发明实施例的资源对象存储处理装置中确定模块24的优选结构框图二，该确定模块24包括第三确定单元42、第一判断单元44、触发单元46和分配单元48，下面对该确定模块24进行说明。

第三确定单元42，用于依据第一哈希算法确定资源对象存储的初始桶的位置；第一判断单元44，连接至上述确定单元42，用于判断初始桶是否已满；触发单元46，连接至上述第一判断单元44，用于在判断单元的判断结果为是的情况下，触发初始桶***；分配单元48，连接至上述触发单元46，用于根据第二哈希算法对***的桶和***之前的桶存放现有资源对象进行重新分配，其中，现有资源对象包括资源对象和***之前所存在的桶中所存储的资源对象。

图5是根据本发明实施例的资源对象存储处理装置中确定模块24中触发单元46的优选结构框图，如图5所示，该触发单元46包括判断子单元52和触发子单元54，下面对该触发单元46进行说明。

判断子单元52，用于判断是否存在预先指向***桶的***指针；触发子单元54，连接至上述判断子单元52，用于在判断子单元52的判断结果为是的情况下，优先触发对***指针指向的桶进行***。

图6是根据本发明实施例的资源对象存储处理装置的结构框图，如图6所示，该装置除包括图2所示的所有模块外，还包括第二接收模块62和上传模块64，下面对该装置进行说明。

第二接收模块62，连接至上述存储模块26，用于接收资源访问请求；上传模块64，连接至上述第二接收模块62，用于依据资源访问请求上传请求的资源对象。

图7是根据本发明实施例的资源对象存储处理装置中上传模块64的优选结构框图，如图7所示，该上传模块64包括第二判断单元72，下面对该第二判断单元72进行说明。

第二判断单元72，用于判断资源访问请求是否合法，在判断结果为是的情况下，依据资源访问请求上传请求的资源对象。

基于相关技术中的上述问题，为了更好地实现云存储***中子租户、用户等管理资源的统一管理、提高管理效率，在本实施例中，提出了一种基于key-value的存储方法。

该基于key-value的资源管理方法，包括：基于key-value键值对存储管理资源（租户、子租户、用户等）；借鉴动态哈希处理方法实现管理资源的动态存储，以及，云存储***中子租户、用户的资源管理（新增、删除、***、修改等操作）；其中，基于key-value键值对存储管理资源（租户、子租户、用户等），包括：首先，key-value存储可以支持海量数据的存储，它的分布式架构决定了只要有足够的机器，就能保证存储更多的数据；其次，key-value架构可以轻松支持上万的并发请求，使***具备高并发性。

借鉴动态哈希的处理方法实现管理资源的动态存储包括：首先，基于key-value的存储架构，当value值较大（比如是一个列表）时，为了节省空间，提高查找性能，需要借鉴动态哈希算法思想来解决这一问题；其次，动态哈希算法能够在一定程度上很好地避免静态哈希算法所产生的冲突问题，更好地解决问题。

实现云存储***中子租户、用户的列表管理的方式包括：首先，子租户、用户创建时有各自的KEY值，然后，通过哈希函数计算将子租户、用户分别存入各自的子租户列表、用记列表；其次，编写管理资源存储接口API，管理资源列表创建、管理资源列表删除、管理资源列表修改、管理资源查找等，方便上层应用。

基于中国电信云存储***的这种KEY-VALUE的存储模式，摒弃了传统的列表存储方式，借鉴了动态哈希算法的思想来实现的，对空间按需分配，节省存储空间，通过HASH函数直接定位，缩短平均查找长度，提高性能。

动态哈希算法能很好地解决空间的扩充和收缩问题，它的基本思想同传统哈希一样，首先设计从关键字域U到存储空间（哈希文件）的映射函数，通过两个HASH映射函数，用于在桶***时重新计算HASH值。一个哈希文件是关键字域U的一个子域所确定的记录集合，哈希文件中的一个记录是由关键字域U中的一个关键字确定，文件含有若干个用于存放记录的桶，对文件操作的基本单位是桶，每个桶可存放b个记录，当有超过b个记录通过哈希函数映射到同一个桶时，该桶溢出，此时将桶进行***（新增一个桶空间），采用新的HASH算法，对当前桶中数值重新进行计算，重新排布桶中数据。

下面结合附图对本发明优选实施方式进行说明。

基于key-value的存储模式，采用动态哈希的思想，对子租户、用户等管理资源的统一管理，实现子租户、用户等资源的快速查询、定位。

图8是根据本发明优选实施方式的中国电信云存储***架构示意图，如图8所示，该***主要包括四个部分，物理存储层、存储接口层、业务封装层、***管理层，下面结合该结构对本发明优选实施方式进行说明。

物理存储层向云存储***提供物理存储空间，***中的管理资源和对象存储在其中，存储接口层主要根据上层业务***的需求，提供***中对象的增删改查、随机更新、存储策略设置、管理资源存储等接口，业务封装层，是对相关业务接口的适配，对外提供符合客户要求的业务接口，***管理层，是对***的维护、管理和配置，实现***中的***配置，性能统计、运维数据采集和网管相关功能。

在本实施例中，所涉及的内容是在存储接口层，是对原存储接口中关于管理资源存储接口API的一个改进和重新封装。其中，封装的API包括管理资源列表的创建，管理资源的查询、***，删除等，对上方便业务统一应用，对下方便存储，节省物理空间。

图9是根据本发明优选实施方式的存储处理的流程示意图，如图9所示，以对子租户的存储为例进行说明，假设子租户资源列表对应的key为STL_租户名称，初始化列表为2×4，该流程包括如下步骤：

步骤S902，资源列表中已***subt1～subt7这7个子租户，***指针splitptr指向桶STL_tenant_0，桶STL_tenant_1已满，两个HASH算法分别为H0=Hash(key)%2，H1=Hash(key)%4，此时要***子租户subt8，用H0计算subt8应***的桶的位置，所得postion为STL_tenant_1，由于STL_tenant_1已满，此时触发桶***，但是，因为此时***指针splitptr指向STL_tenant_0，所以先将subt8放入溢出页，然后对桶STL_tenant_0进行***，以新的算法H1来重新计算STL_tenant_0内的数据，以决定原STL_tenant_0中的数据sub1，sub4，sub6是放入STL_tenant_0还是STL_tenant_2中。

步骤S904，桶STL_tenant_0按新的HASH算法***后，subt4存入STL_tenant_2中，subt1和subt6仍留在桶STL_tenant_0中，并且subt6存储位置前移，此时***指针指向桶STL_tenant_1，同样按H1算法，对STL_tenant_1进行***，新生成桶STL_tenant_3，subt5，sub7按新的算法存入STL_tenant_3中，sub2，sub8留在原STL_tenant_1中，并按新的顺序排放。

步骤S906，STL_tenant_1***后，此时桶的个数为4，***指针重新指向STL_tenant_0桶，并且H0=Hash(key)%4，H1=Hash(key)%8，开始新的一轮的***和***，当桶的个数为8时，***指针又重新指向STL_tenant_0，H0=Hash(key)%8，H1=Hash(key)%16，依次类推，如此循环。

图10是根据本发明优选实施方式的云存储***对象上传流程图，如图10所示，该流程包括如下步骤：鉴权步骤，资源访问处理，以及对象上传处理，下面基于图10对上述流程进行说明。

步骤S1002，鉴权处理：主要实现应用与***之间的鉴权；

步骤S1004，资源访问处理，主要用于访问管理资源，根据属性判断请求的合法性，操作时可以采用以下处理方式：读取用户状态，判断用户状态是否可用以及用户是否有权访问，读取用户所属子租户属性，判断子租户状态是否可用等处理，通过对所封装的API的调用（管理资源的查找等）来实现管理资源的访问，获取所需资源的属性（例如，管理资源的状态等基本属性）；

步骤S1006，主要用于根据请求来实现对象的上传。

采用上述实施例及优选实施方式的存储方法，大大提高了查找效率，从而提升了对象上传的速率。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种资源对象存储处理方法，其特征在于，基于关键字-值Key-Value的存储方式，其中，所述资源对象以桶为单位进行存储，包括：

接收到要进行存储的资源对象；

依据动态哈希算法确定所述资源对象存储的所述桶的位置；

依据确定的所述桶的位置存储所述资源对象。

2.根据权利要求1所述的方法，其特征在于，依据所述动态哈希算法确定所述资源对象存储的所述桶的位置包括：

确定各个桶对应的哈希算法，其中，所述桶通过关键字Key来定位，对每个桶采用预定规则进行命名；

依据桶对应的所述哈希算法对所述资源对象进行哈希处理确定存储所述资源对象的桶，其中，存储的所述资源对象对应于值Value。

3.根据权利要求1所述的方法，其特征在于，依据所述动态哈希算法确定所述资源对象存储的所述桶的位置包括：

依据第一哈希算法确定所述资源对象存储的初始桶的位置；

判断所述初始桶是否已满；

在判断结果为是的情况下，触发所述初始桶***；

根据第二哈希算法对***的桶和***之前的桶存放现有资源对象进行重新分配，其中，所述现有资源对象包括所述资源对象和***之前所存在的桶中所存储的资源对象。

4.根据权利要求3所述的方法，其特征在于，在判断初始桶已满，触发桶***包括：

判断是否存在预先指向***桶的***指针；

在判断结果为是的情况下，优先触发对所述***指针指向的桶进行***。

5.根据权利要求1至4中任一项所述的方法，其特征在于，在依据确定的所述桶的位置存储所述资源对象之后，还包括：

接收资源访问请求；

依据所述资源访问请求上传请求的所述资源对象。

6.根据权利要求5所述的方法，其特征在于，依据所述资源访问请求上传请求的所述资源对象包括：

判断所述资源访问请求是否合法，在判断结果为是的情况下，依据所述资源访问请求上传请求的所述资源对象。

7.一种资源对象存储处理装置，其特征在于，基于关键字-值Key-Value的存储方式，其中，所述资源对象以桶为单位进行存储，包括：

第一接收模块，用于接收到要进行存储的资源对象；

确定模块，用于依据动态哈希算法确定所述资源对象存储的所述桶的位置；

存储模块，用于依据确定的所述桶的位置存储所述资源对象。

8.根据权利要求7所述的装置，其特征在于，所述确定模块包括：

第一确定单元，用于确定各个桶对应的哈希算法，其中，所述桶通过关键字Key来定位，对每个桶采用预定规则进行命名；

第二确定单元，用于依据桶对应的所述哈希算法对所述资源对象进行哈希处理确定存储所述资源对象的桶，其中，存储的所述资源对象对应于值Value。

9.根据权利要求7所述的装置，其特征在于，所述确定模块包括：

第三确定单元，用于依据第一哈希算法确定所述资源对象存储的初始桶的位置；

第一判断单元，用于判断所述初始桶是否已满；

触发单元，用于在所述判断单元的判断结果为是的情况下，触发所述初始桶***；

分配单元，用于根据第二哈希算法对***的桶和***之前的桶存放现有资源对象进行重新分配，其中，所述现有资源对象包括所述资源对象和***之前所存在的桶中所存储的资源对象。

10.根据权利要求9所述的装置，其特征在于，所述触发单元包括：

判断子单元，用于判断是否存在预先指向***桶的***指针；

触发子单元，用于在所述判断子单元的判断结果为是的情况下，优先触发对所述***指针指向的桶进行***。

11.根据权利要求7至10中任一项所述的装置，其特征在于，还包括：

第二接收模块，用于接收资源访问请求；

上传模块，用于依据所述资源访问请求上传请求的所述资源对象。

12.根据权利要求11所述的装置，其特征在于，所述上传模块包括：

第二判断单元，用于判断所述资源访问请求是否合法，在判断结果为是的情况下，依据所述资源访问请求上传请求的所述资源对象。