CN107667363B - 具有多种可选数据处理策略的基于对象的存储集群 - Google Patents

Abstract

使用多个可选数据处理策略配置基于对象的存储集群的方法和***，包括基于与对象相关联的策略将对象映射到集群的存储设备/节点。在实施例中，每个策略与多个环中的相应一个相关联，环的分区映射到同一集群的存储设备，对象与桶/容器相关联，并且每个桶/容器在用户可选择的一个策略内相关联，例如与基于元数据的策略索引，并且基于与对象的容器的策略索引相关联的环，将对象映射到集群的存储设备/节点。

Description

具有多种可选数据处理策略的基于对象的存储集群

背景技术

基于对象的存储或对象存储是指用于访问、寻址和/或操纵被称为对象的离散数据单元的技术。对象可以包括文本、图像、视频、音频和/或其他计算机可访问/可操纵的数据。

基于对象的存储处理层级或平面地址空间上的对象，这里称为存储池，而不是例如分层目录/子目录/文件结构。

可以将多个存储设备作为基于统一对象的存储***或集群来配置/访问。

传统的基于对象的存储集群利用一致散列环(环)将对象映射到集群的存储设备。环表示一系列散列索引。环被分成多个分区，每个分区表示散列索引范围的一部分，并且分区被映射或分配给集群的存储设备。部分基于对象的名称为对象计算散列索引。散列索引与对象存储环的分区相关，并且对象被映射到与分区相关联的存储设备。

可以将分区的数量定义为超过存储设备的数量，使得每个存储设备与多个分区相关联。以这种方式，如果将附加的存储设备添加到集群中，则可以将与每个现有存储设备相关联的分区的子集重新分配给新的存储设备。相反，如果存储设备要从集群中删除，则与存储设备相关联的分区可能会重新分配给集群的其他设备。

基于对象的存储集群可以包括基于集群的复制策略(例如，3x复制)来复制数据(例如，在分区的基础上)的复制器。对象及其副本可能分配给不同的分区。

复制器可以被配置为提供最终的一致性(即，确保对象的所有实例在一段时间内彼此一致)。相对于立即一致性，最终一致性有利于分区容错和可用性。最终一致性在基于集群的对象存储中非常有用，部分原因是由于设备和/或电源故障而可能不时地变得不可用的潜在的大量分区。

常规的基于对象的存储集群在整个集群中应用相同(即，单一)复制策略。附加的数据复制策略可以由附加的相应的集群提供，每个附加的相应的集群包括对应的一组资源(例如，存储设备，代理层资源，负载均衡器，网络基础设施和管理/监控框架)。多个集群可能相对低效，因为一个或多个集群的资源可能利用不足，和/或一个或多个其他集群的资源可能被过度利用。

附图说明

为了说明的目的，本文公开的一个或多个特征可以通过示例和/或参考下面列出的一个或多个附图来呈现和/或描述。然而，本文公开的方法和***不限于这些示例或说明。

图1是基于与对象的容器相关联的可选数据处理策略将对象映射到基于对象的存储集群的方法的流程图。

图2是基于对象的存储集群的框图，包括多个存储设备以及基于与对象的容器相关联的数据处理策略将对象映射到存储设备的***。

图3是基于多个对象存储环将对象映射到存储设备的方法的流程图，每个对象存储环可以与多个数据处理策略中的相应一个相关联。

图4是分区对象存储环的概念图。

图5是基于对象的存储集群的框图，其包括基于多个对象存储环将对象映射到存储设备的***，每个对象存储环可以与多个可选数据处理策略中的相应一个相关联。

图6是被配置为基于多个对象存储环和/或多个数据处理策略将对象映射到存储设备的计算机***的框图。

图7是对象存储环的分区和存储设备之间的映射或关联的概念图。

图8是分区到设备映射的另一概念图。

在附图中，附图标记的最左边的数字标识附图标记首次出现的图。

具体实施方式

图1是基于可选择的数据处理策略将对象映射到基于对象的存储集群的方法100的流程图，其中每个对象与分层存储结构(这里称为桶，仓，容器对象或容器)相关联，并且每个容器与多个数据处理策略中的可选择的一个相关联。以下参考图2描述方法100。然而，方法100不限于图2的示例。

图2是基于对象的存储集群200的框图，其包括多个存储设备204和基于与对象的容器相关联的数据处理策略将对象映射到存储设备204的***202。基于对象的存储集群200可以被配置为分布式最终一致的基于对象的存储集群。

方法100和/或***202可能是有用的，例如，用于提供多个用户可选择的数据处理策略，而不会复制资源，资源例如为但不限于存储设备、代理层资源、负载均衡器，网络基础设施和管理/监视框架。

在104处，每个容器与多个可选数据处理策略中的一个相关联。

数据处理策略可以涉及数据/对象分布、布置、复制、保留、删除、压缩/去重、延迟/吞吐量和/或其他因素。数据处理策略可以包括但不限于数据复制参数(例如，复制次数和/或复制技术/算法(例如擦除代码))，保留时间参数，存储位置参数(例如，设备，节点，区和/或地理参数)和/或其他数据处理参数。下面进一步提供示例数据处理策略。然而，数据处理策略不限于本文提供的示例。

容器可以与基于用户输入的数据处理策略相关联。

每个容器可以被表示为容器对象或构造，诸如数据库，并且容器的对象可以被记录在相应的容器对象或构造中。

容器与数据处理策略的关联可以包括用多个策略索引中的一个填充容器数据库的元数据字段，其中每个策略索引对应于相应的一个数据处理策略。

在图2中，***202包括与用户和/或其他***/设备接合的接口216。接口216可以包括和/或表示代理层资源。接口216可以通过输入/输出(I/O)218接收访问请求。访问请求可以包括但不限于写入/存储对象、读取/取回、复制对象和/或删除对象的请求。接口216可以被配置为通过I/O 218提供所请求的对象。

接口216可以被配置为调用***202的其他资源以创建容器，将容器与账户相关联，将数据处理策略与容器相关联，将对象与容器相关联，将对象映射到存储设备205，和/或基于相应的映射来访问对象。

与容器相关的信息(这里示为容器信息205)可以存储在一个或多个存储设备204和/或其他存储设备中。在图2的示例中，容器信息205包括容器/对象关联206和容器/数据处理策略ID关联208。

在图1中的106，至少部分地基于与相应对象的容器相关联的数据处理策略将对象映射到存储设备(例如，与存储设备相关联)。

在图2中，***202包括容器策略查找引擎210，用于从接口216接收容器/对象ID214，并且基于容器/对象ID 214的容器ID 215部分来取回数据处理策略索引或标识符(策略ID)212。

容器/对象ID 214可以是路径名的形式，其可以表示为/{容器名称}/{对象名称}。在容器与账户相关联的情况下，账户/容器/对象ID可以表示为/{账户名称}/{容器名称}/{对象名称}。

在容器与账户相关联的情况下，容器/对象ID 214可以包括账户ID(例如，/{账户名称}/{容器名称}/{对象名称})，并且容器策略查找引擎210可以被配置为进一步基于账户ID取回保留策略ID 212。

***202还包括对象映射引擎220，用于基于针对相应容器/对象ID 214取回的策略ID 212将容器/对象ID 214映射到存储设备204。对于每个容器/对象ID 214和对应的策略ID 212，对象映射引擎220将设备ID 222返回到接口216。设备ID 222可以对应于存储设备202，存储节点(例如，与一个或多个存储设备204相关联的存储服务器)、存储区和/或存储设备204的其他指定特征/方面。

***202还可以包括对象映射配置引擎226，以向对象映射引擎220提供对象映射参数228，在下面关于对象存储环进一步提供了其示例。

在图1中的108处，基于在106确定的相应映射，在存储设备204内访问对象。当对象要存储在存储设备204中时，108处的访问包括基于与对象的容器相关联的数据处理策略来存储对象。

在图2中，接口216被配置为基于设备ID 222向存储设备202发送访问指令或访问请求219。当要写入/存储对象时，接口216将此处图示为对象224的对象提供给存储设备。

***202还包括用于执行与容器相关联的数据处理策略的策略执行引擎230。策略执行引擎230可以包括基于与该容器相关联的数据处理策略来复制容器的对象232的复制引擎。策略执行引擎230可以被配置为根据相应容器的数据处理策略，在对象232和对象的副本之间提供最终一致性。

***202还可以包括其他配置和管理***和基础设施232，其可以包括但不限于代理层资源、负载均衡器、网络基础设施、维护资源和/或监视资源。

方法100可以如下面参照图3所述执行。然而，方法100不限于图3的示例。

***200可以如下面参考图5所述配置。然而，***202不限于图5的示例。

图3是基于多个对象存储环将对象映射到存储设备的方法300的流程图。如上所述，每个对象存储环可以与多个可选数据处理策略中的相应一个相关联。以下参考图4描述方法300。然而，方法300不限于图4的示例。

图4是对象存储环(环)400的概念图。环400可以表示静态数据结构。环400表示散列值或索引的范围(散列范围)，这里示为0到2ⁿ，其中n是正整数，环400可以表示一致散列环。

每个对象存储环可以表示相对于彼此唯一或不同的散列范围。

在图3中的302处，每个环划分成多个分区，其中每个分区表示相应环的散列范围的一部分。环可以被划分成2个或更多个分区。

在图4中，为了说明的目的，环400被划分成32个分区402-0至402-31。

环可以划分成相同数量的分区，或者一个或多个环可以被划分成与一个或多个其它环的多个分区不同的多个分区。

在图3的304处，环的分区映射到存储设备(即，分配给存储设备或与存储设备相关联)。分区可以映射到一个或多个物理存储设备的列表或集合。存储设备可以与一个或多个对象存储环相关联，其示例在下面参照图7进一步提供。

在图4中，环400的每个分区402用四种类型的阴影中的一种示出，并且提供密钥404，以示出相应分区到四组存储设备或节点中的一个的映射。数量四个在这里用于说明的目的。分区402可以被映射(或重新映射)到一个或多个存储设备/节点。

在图4的示例中，分区402以循环模式通过设备/节点3映射到设备/节点0。分区402和/或多个对象存储环中的其他对象存储环的分区可以基于另一种模式和/或以随机或伪随机的方式映射到存储设备/节点。

在图3中的306处，每个对象存储环与多个数据处理策略中的相应的一个相关联。

在308处，对象与容器相关联，例如上面关于图1中的104所描述的。

在310处，每个容器与多个数据处理策略中的一个相关联，例如上面关于图1中的106所述的。

在312处，当对象要映射到存储设备/节点时，基于与对象的容器相关联的数据处理策略，在314处选择多个对象存储环中的一个。

在316处，基于为对象计算的散列索引来确定所选择的对象存储环的分区。

在318处，确定与在316处确定的分区相关联的存储设备。在318处确定的存储设备或对应的设备ID表示可以用于访问对象(即，写入/存储和/或读取/取回对象)的对象的映射。

图5是基于对象的存储集群500的框图，其包括基于多个对象存储环将对象映射到存储设备504的***502。每个对象存储环可以与多个可选数据处理策略中的相应一个相关联。基于对象的存储集群500可以被配置为分布式最终一致的基于对象的存储集群。

***502包括通过I/O 518与用户和/或其他***/设备进行接合的接口516，诸如上面关于图2中的接口216所描述的。

***502还包括容器策略查找引擎510，用于基于容器ID 515和/或账户ID取回策略ID 512，诸如上面关于图2中的容器策略查找引擎210所描述的。

***502还包括对象映射引擎520，用于基于针对相应容器/对象ID 514取回的策略ID 512将容器/对象ID 514映射到存储设备504。对于每个容器/对象ID 514和对应的策略ID 512，对象映射引擎520返回设备ID 522。

对象映射引擎520包括多个对象存储环546。对象存储环546可以如上面关于图3中的302所述进行分区，并且分区可以映射到存储设备504，如上面关于图3中的304所描述的。每个对象存储环546可以与多个数据处理策略中的相应一个相关联，例如上面关于图3中的306所描述的。

对象映射引擎520还包括散列引擎540，用于基于容器/对象ID 514来计算散列索引542，以及环选择器544，用于基于策略ID 512选择对象存储环546中的一个。对象映射引擎520被配置为基于散列索引542确定所选择的对象存储环的分区，并且确定与分区相关联的存储设备504的设备ID522。

对象映射引擎520可以被配置为基于散列索引542和一个或多个其他值和/或参数的组合来确定所选对象存储环的分区。对象映射引擎520可以例如被配置为基于散列索引542的一部分和可配置偏移量529的组合来确定所选择的对象存储环的分区。可以基于所选的对象存储环的多个分区来确定可配置偏移量529，并且可配置偏移量529可以对应于分区功率或分区计数。

***502还包括配置和管理***和基础设施548。

在图5的示例中，配置和管理***和基础设施548包括环配置引擎550，用于向对象映射引擎520提供分区和设备映射信息或参数528以及可配置偏移量529。

配置和管理***和基础设施548还可以包括策略执行引擎530，以执行与容器和/或对象存储环546相关联的策略。

***502还可以包括容器服务器，用于基于容器ID 515和容器环将容器数据库映射到存储设备504。

***502还可以包括账户服务器，用于基于账户ID和帐号环将账户数据库映射到存储设备504。

本文公开的一个或多个特征可以以电路、机器、计算机***、处理器和存储器、在计算机可读介质内编码的计算机程序和/或其组合来实现。电路可以包括分立和/或集成电路、专用集成电路(ASIC)、片上***(SOC)及其组合。可以通过使用硬件资源来具体实现软件的信息处理。

本文描述的一个或多个特征可以集成在计算机程序和/或计算机程序套件中，所述计算机程序和/或计算机程序套件被配置为使处理器访问作为基于对象的存储集群的多个存储设备，例如但不限于：可从OpenStack.org获取的称为OpenStack的计算机程序套件。

图6是计算机***600的框图，其被配置为基于多个对象存储环和/或多个数据处理策略将对象映射到存储设备650。

计算机***600可以表示图2中的***202和/或图5的***502的示例性实施例或实现方式。

计算机***600包括一个或多个处理器，这里示出为处理器602，以执行在计算机可读介质604内编码的计算机程序606的指令。计算机可读介质604可以包括暂时性或非暂时性的计算机可读介质。

处理器602可以包括一个或多个指令处理器和/或处理器核心，以及用于在指令处理器/核心和计算机可读介质604之间进行接合的控制单元。处理器602可以包括但不限于微处理器、图形处理器、物理处理器、数字信号处理器、网络处理器、前端通信处理器、协处理器、管理引擎(ME)、控制器或微控制器、中央处理单元(CPU)、通用指令处理器和/或专用处理器。

在图6中，计算机可读介质604还包括数据608，其可在计算机程序606的执行期间由处理器602使用和/或在计算机程序606的执行期间由处理器602产生。

在图6的示例中，计算机程序606包括使得处理器602与用户和/或其他***/设备进行接合的接口指令610，例如本文一个或多个示例中所描述的。

计算机程序606进一步包括容器策略查找指令，以使处理器602确定策略，诸如在这里的一个或多个示例中描述的。容器策略查找指令612可以包括使处理器602引用容器数据库环和/或账户数据库环(这里统称为容器/账户环614)的指令。

计算机程序606还包括对象映射指令616，以使处理器602将对象映射到存储设备650。对象映射指令616可以包括使处理器602基于多个对象环618将对象映射到存储设备650的指令，诸如本文中的一个或多个示例中所描述的。

计算机程序606还包括配置和管理指令620。

在图6的示例中，配置和管理指令620包括环配置指令622，以使处理器602定义、划分和映射环613，诸如本文中的一个或多个示例中所描述的。

配置和管理指令620还包括策略执行指令624，使得处理器602执行数据处理策略626，诸如在这里的一个或多个示例中描述的。

计算机***600还包括在计算机***600的设备和/或资源之间通信的通信基础设施640。

计算机***600还包括用于接合存储设备650和/或用户设备/应用编程接口(API)652的一个或多个输入/输出(I/O)设备和/或控制器(I/O控制器)642。

存储设备可以与一个或多个对象存储环和/或与一个或多个数据处理策略相关联，诸如下面参照图7所描述的。

图7是对象存储环702的分区和存储设备704之间的映射或关联的概念图。环702-0的分区706,708和710分别映射到存储设备704-0,704-1和704-1。这通过相应的映射或关联712,714和716来说明。环702-1的分区718和720分别映射到存储设备704-1和704-1。环702-2的分区722被映射到存储设备704-1。

可以基于环的数据处理策略将环的分区映射到存储设备的部分、区或区域。这可能有助于允许多个对象存储环共享存储设备(即，将多个对象存储环的分区映射到同一存储设备)。换句话说，这可能有助于允许存储设备支持多种数据处理策略。

该区或区域可以被概念化为存储设备的目录和/或可以对应于存储设备的目录。该区域可以基于分区的标识符(例如，分区号)和与环相关联的数据处理策略的标识符(例如，策略索引)来命名。例如，分区号可以附加策略索引。

在图7中，环702-0与数据处理策略724(策略A)相关联。环702-1与数据处理策略726(策略B)相关联。环702-2与数据处理策略728(策略C)相关联。

此外，在图7中，环702-0的分区706被映射到存储设备704-0的区域706-A。区域706的名称可以通过将分区706的分区号附加与策略A相关联的索引来分配/确定。

此外，在图7中，环702-0的分区708被映射到存储设备704-1的区域708-A。环702-0的分区710被映射到存储设备704-i的区域710-A。环702-1的分区718被映射到存储设备704-1的区域718-B。环702-1的分区720被映射到存储设备704-i的区域720-B。环702-2的分区722被映射到存储设备704-i的区域722-C。

在图7的示例中，存储设备704-0因此支持策略A。存储设备704-1支持策略A和B。存储设备704-i支持策略A，B和C。

基于分区标识符和策略标识符的组合，将分区映射到存储设备为每个分区提供唯一的标识符。因此，多个环的甚至相同的分区号可以被映射到相同的存储设备。下面参照图8提供一个示例。

图8是图7的分区到设备映射的概念图，其中环702-1和702-2各自包括相同的分区号，在此表示为824，其被映射到存储设备704-i。具体地，环702-1的分区824被映射到存储设备704-i的区域824-B，而环702-2的分区824被映射到存储设备704-i的区域824-C。在该示例中，“824-B”表示附加策略B的标识符或索引的分区号，“824-C”表示附加策略C的标识符或索引的分区号。

为了说明的目的，提供了图7和图8的示例。本文公开的方法和***不限于图7或图8的示例。

基于对象的存储集群可以配置有多个数据处理策略，其可以包括以下中的一个或多个：

用于存储和复制容器对象的策略；

用于存储容器的对象而不进行复制的策略；

维护容器的对象的第一数量副本的第一策略以及维护容器的对象的第二数量的副本的第二策略，其中所述第一数量和第二数量彼此不同；

以压缩格式存储容器的对象的策略；

用于将容器的对象存储在满足地理位置参数的存储设备中的策略；

用于将容器的对象存储在满足地理位置参数的存储设备中而不复制对象的策略；

用于存储和复制容器的对象并且在所述基于对象的存储集群的多个相应区中分布所存储的对象和所述对象的副本的策略，其中所述区相对于存储设备标识符、存储设备类型、服务器标识符、电网标识符和地理位置中的一个或多个来定义；

用于存储和复制容器的对象，在一段时间之后对容器的对象进行归档，并且在归档各个对象之后丢弃所存储的对象和所存储的对象的副本的策略；

用于存储和复制容器的对象，在一段时间之后基于擦除代码归档所述容器的对象，并且在各个对象的归档之后丢弃所存储的对象和所存储的对象的副本的策略；和/或

通过外部存储***的应用编程接口将容器的对象映射到基于对象的存储集群外部的存储***的策略。

可以定义一个或多个其他数据处理策略。

可以基于法律要求来定义和/或选择数据处理策略。

可以基于灾难恢复考虑来定义和/或选择数据处理策略。

创建容器时，策略可以分配给容器。

可以向每个容器提供被称为存储策略索引(例如，阿尔法和/或数字标识符)的不可变元数据元素。创建容器时，可以提供报头来指定多个策略索引中的一个。如果没有为何时创建新容器指定策略索引，则可以将默认策略分配给容器。可以将人类可读的策略名称呈现给用户，可以将其转换为策略索引(例如，由代理服务器)。可以将多个数据复制策略中的任何数据复制策略设置为默认策略。

策略索引可以被保留和/或用于复制策略以外的目的。这可能是有用的，例如，其中旧有集群(即，具有跨集群应用的单个对象环和单个复制策略)被修改为包括多个对象存储环(例如，以支持多个数据处理策略)。在该示例中，可以保留唯一策略索引以访问与数据处理策略不相关联的旧有容器的对象。

容器可能与策略具有多对一关系，这意味着多个容器可以使用相同的策略。

配置有多个可选数据处理策略的基于对象的存储集群可以进一步被配置为基于应用发现和理解(ADU)技术将多个数据处理策略公开到接口应用(例如，用户接口和/或应用编程接口)。例如，在计算机程序包括执行图1中的方法100和/或图3中的方法300的指令(或其一部分)的情况下，并且ADU应用可以用于分析计算机程序的伪影(artifact)以确定与计算机程序相关联的元数据结构(例如，数据元素和/或业务规则的列表)。在计算机程序和中央元数据注册表之间发现的关系可以存储在元数据注册表中以供接口应用使用。

如本文所公开的，基于对象的存储***可以被配置为允许不同的存储设备与不同的对象环相关联或属于不同的对象环，例如提供多个相应级别的数据复制。

配置有多个对象存储环的基于对象的存储***可能对于为了各种目的而对存储设备集群进行分割是有用的，其示例在此提供。

多个数据处理策略和/或多个对象存储环可能对于允许应用和/或部署者基本上将单个集群内的对象存储分离是有用的。

多个数据处理策略和/或多个对象存储环可能有助于在单个集群内提供多级复制。如果提供商希望提供例如2x复制和3x复制，但不想维护2个单独的集群，则可以使用2x策略和3x策略配置单个集群。

多个数据处理策略和/或多个对象存储环对于性能目的可能是有用的。例如，虽然常规固态盘(SSD)可以用作账户或数据库环的排他成员，但是仅SSD对象环可以被创建并用于提供低延迟/高性能策略。

多个数据处理策略和/或多个对象存储环对于将节点的一个集合收集到一组中可能是有用的。不同的对象环可以具有不同的物理服务器，使得与特定策略相关联的对象被放置在特定的数据中心或地理位置中。

多个数据处理策略和/或多个对象存储环对于支持多种存储技术可能是有用的。例如，一组节点可以使用可能与基于对象的存储技术不同的特定数据存储技术或磁盘文件(即，后端对象存储插件架构)。在该示例中，可以为该组节点配置策略以将流量仅引导到那些节点。

多个数据处理策略和/或多个对象存储环可以相对于多个单策略集群提供更好的效率。

在这里的示例中，数据处理策略被描述为在容器级应用。可替代地或另外，多个数据处理策略可以在另一个级(诸如在对象级)应用。

在容器级应用数据处理策略可能有助于允许接口应用程序相对轻松地利用策略。

在容器级应用策略可能有助于允许最小化应用感知，因为一旦容器已经创建并与策略相关联，与容器相关联的所有对象将根据策略而被保留。

在现有单策略存储集群被重新配置为包含多个可选存储策略的情况下，在容器级应用策略可能有助于避免对当前使用的授权***进行更改。

示例

以下示例涉及另外的实施例。

示例1是一种在作为基于对象的存储集群管理的存储设备集群内提供多个数据处理策略的方法，包括：将数据对象分配给容器对象；将每个所述容器对象与多个可选数据处理策略中的一个关联；以及部分地基于与相应数据对象的容器对象相关联的数据处理策略，将每个数据对象分配给所述存储设备集群内的存储设备的区域。

在示例2中，该方法还包括基于相应容器对象的数据处理策略来管理存储设备集群内的数据对象。

在示例3中，分配每个数据对象包括将与数据处理策略中的第一数据处理策略相关联的容器对象的数据对象分配给存储设备中的第一存储设备的第一区域，并且将与数据处理策略中的第二数据处理策略相关联的容器的数据对象分配给第一存储设备的第二区域。

在示例4中，分配每个数据对象包括基于与数据对象的容器相关联的数据处理策略来选择多个一致散列环中的一个，并且基于所选择的一致散列环将数据对象分配给存储设备的区域。

在示例5中，该方法还包括：将多个一致散列环中的每一个划分成多个分区，其中每个分区表示相应散列环的散列索引的范围，将每个一致散列环与相应的一个数据处理策略的策略标识符关联，并且基于相应分区的分区标识符和相应的一致散列环的策略标识符将每个一致散列环的每个分区与存储设备中的一个的区域关联；并且分配每个数据对象包括：基于与数据对象的容器相关联的数据处理策略为数据对象选择一致散列环中的一个，计算数据对象的散列索引，基于散列索引确定所选一致散列环的分区，并将数据对象分配给与分区相关联的存储设备的区域。

在示例6中，一致散列环中的第一一致散列环的分区的分区标识符与一致散列环中的第二一致散列环的分区的分区标识符相同，并且将每个分区关联包括基于所述第一一致散列环的所述分区标识符和策略标识符将第一一致散列环的分区与所述存储设备中的第一存储设备的第一区域关联，并且基于第二一致散列环的分区标识符和策略标识符将所述第二一致散列环的分区与所述第一存储设备的第二区域关联。

在示例7中，将每个容器对象关联包括将多个数据处理策略标识符中的一个作为元数据与每个容器对象关联，其中每个数据处理策略标识符对应于相应的一个数据处理策略。

示例8是包括根据示例1-7中任一项的芯片组的计算设备。

示例9是被配置成执行示例1-7中任一项的方法的装置。

示例10是一种装置，包括用于执行示例1-7中任一项的方法的单元。

示例11是执行示例1-7中任一项的方法的机器。

示例12是至少一个机器可读介质，包括多个指令，当多个指令在计算设备上执行时，使得计算设备执行根据示例1-7中任一项的方法。

示例13是设置为执行示例1-7中任一项的方法的通信设备。

示例14是执行示例1-7中任一项的方法的计算机***。

示例15是一种装置，包括：处理器和存储器，被配置为在作为基于对象的存储集群管理的存储设备集群内提供多个数据处理策略，包括：将数据对象分配给容器对象；将每个所述容器对象与多个可选数据处理策略中的一个关联；以及部分地基于与相应数据对象的容器对象相关联的数据处理策略，将每个数据对象分配给存储设备集群内的存储设备的区域。

在示例16中，处理器和存储器还被配置为基于相应容器对象的数据处理策略来管理存储设备集群内的数据对象。

在示例17中，处理器和存储器还被配置为将与数据处理策略中的第一数据处理策略相关联的容器对象的数据对象分配给存储设备中的第一存储设备的第一区域，并且将与数据处理策略中的第二数据处理策略相关联的容器的数据对象分配给第一存储设备的第二区域。

在示例18中，处理器和存储器还被配置为基于与数据对象的容器相关联的数据处理策略选择多个一致散列环中的一个，并且基于所选择的一致散列环将数据对象分配给存储设备的区域。

在示例19中，处理器和存储器还被配置为将多个一致散列环中的每一个划分成多个分区，其中每个分区表示相应散列环的散列索引的范围，将每个一致散列环与相应的一个数据处理策略的策略标识符关联，基于相应分区的分区标识符和相应的一致散列环的策略标识符将每个一致散列环的每个分区与存储设备中的一个的区域关联，基于与数据对象的容器相关联的数据处理策略来选择数据对象的一致散列环中的一个，计算数据对象的散列索引，基于散列索引确定所选一致散列环的分区，并且将数据对象分配到与分区相关联的存储设备的区域。

在示例20中，一致散列环中的第一一致散列环的分区的分区标识符与一致散列环中的第二一致散列环的分区的分区标识符相同，并且处理器和存储器还被配置为：基于所述第一一致散列环的分区标识符和策略标识符，将所述第一一致散列环的分区与所述存储设备中的第一存储设备的第一区域关联，并且基于第二一致散列环的分区标识符和策略标识符将所述第二一致散列环的分区与第一存储设备的第二区域关联。

在示例21中，处理器和存储器还被配置为将多个数据处理策略标识符中的一个作为元数据与每个容器对象关联，其中每个数据处理策略标识符对应于相应的一个数据处理策略。

示例22是用计算机程序编码的非暂时性计算机可读介质，包括使处理器在作为基于对象的存储集群管理的存储设备集群内提供多个数据处理策略的指令，包括：将数据对象分配给容器对象，将每个容器对象与多个可选数据处理策略中的一个关联，并且部分地基于与相应数据对象的容器对象相关联的数据处理策略将每个数据对象分配给存储设备集群内的存储设备的区域。

示例23包括使处理器基于相应容器对象的数据处理策略来管理存储设备集群内的数据对象的指令。

示例24包括使处理器将与数据处理策略中的第一数据处理策略相关联的容器对象的数据对象分配给存储设备中的第一存储设备的第一区域，并且将与数据处理策略中的第二数据处理策略相关联的容器的数据对象分配给第一存储设备的第二区域的指令。

示例25包括使处理器基于与数据对象的容器相关联的数据处理策略来选择多个一致散列环中的一个并且基于所选择的一致散列环将数据对象分配给存储设备的区域的指令。

示例26包括使处理器进行以下操作的指令：将多个一致散列环中的每一个划分成多个分区，其中每个分区表示相应散列环的散列索引的范围，将每个一致散列环与相应的一个数据处理策略的策略标识符关联，基于相应分区的分区标识符和相应一致散列环的策略标识符将每个一致散列环的每个分区与存储设备中的一个的区域关联，基于与数据对象的容器相关联的数据处理策略选择数据对象的一致散列环中的一个，计算数据对象的散列索引，基于散列索引确定所选择的一致散列环的分区，并将数据对象分配给与分区相关联的存储设备的区域。

在示例27中，一致散列环中的第一一致散列环的分区的分区标识符与一致散列环中的第二一致散列环的分区的分区标识符相同，并且该指令包括使处理器进行以下操作的指令：基于第一一致散列环的分区标识符和策略标识符将所述第一一致散列环的分区与所述存储设备中的第一存储设备的第一区域关联，并基于所述第二一致散列环的所述分区标识符和策略标识符将所述第二一致散列环的分区与第一存储设备的第二区域关联。

示例28包括使处理器将多个数据处理策略标识符中的一个作为元数据与每个容器对象相关联的指令，其中每个数据处理策略标识符对应于数据处理策略中的相应一个。

在示例29中，示例1-28中的任一项的数据处理策略包括以下中的一个或多个：

用于存储和复制容器对象的数据对象的策略和用于存储容器对象的数据对象而不进行复制的策略；

维护容器对象的数据对象的第一数量副本的策略，以及维护容器对象的数据对象的第二数量副本的策略，其中第一数量和第二数量彼此不同；

以压缩格式存储容器对象的数据对象的策略；

用于将容器对象的数据对象存储在满足地理位置参数的存储设备中的策略；

用于将容器对象的数据对象存储在满足地理位置参数的存储设备中而不复制数据对象的策略；

存储和复制容器对象的数据对象并将所存储的数据对象和数据对象的副本分布在存储设备集群的多个相应区中的策略，其中区相对于存储设备标识符、存储设备类型、服务器标识符、电网标识符和地理位置中的一个或多个来定义；

将容器对象的数据对象映射到存储设备集群外部的存储***的策略；

用于存储和复制容器对象的数据对象，在一段时间之后对容器对象的数据对象进行归档，并且在归档相应数据对象之后丢弃所存储的数据对象和所存储的数据对象的副本的策略；以及

用于存储和复制容器对象的数据对象，在一段时间之后基于擦除代码对容器对象的数据对象进行归档，并且在归档相应数据对象之后丢弃所存储的数据对象和所存储数据对象的副本的策略。

借助于说明其功能、特征及其关系的功能构建块，本文公开了方法和***。为了方便描述，这些功能构建块的至少一些边界已经被在本文中任意定义。可以定义替代边界，只要适当地执行指定的功能及其关系。虽然本文公开了各种实施例，但是应当理解，它们作为示例呈现。权利要求的范围不应受本文公开的任何示例实施例的限制。

Claims (25)

1.一种用于在作为基于对象的存储集群管理的存储设备集群内提供多个数据处理策略的机器实现的方法，包括：

将数据对象分配给容器对象；

将所述容器对象中的每个与多个可选数据处理策略中的一个关联；以及

部分地基于与相应数据对象的容器对象相关联的数据处理策略，将每个数据对象分配给所述存储设备集群内的存储设备的区域，

其中，容器对象是分层存储结构，并且基于对象的存储集群不是分层的，并且

其中，所述存储设备的至少两个区域与不同的数据处理策略相关联，并且所述存储设备能够支持多种数据处理策略，

其中，所述方法还包括：

将多个一致散列环中的每个划分成多个分区，其中每个分区表示相应散列环的散列索引的范围；以及

将每个一致散列环的分区与所述存储设备中的一个的区域关联。

2.根据权利要求1所述的方法，还包括：

基于相应容器对象的数据处理策略来管理所述存储设备集群内的数据对象。

3.根据权利要求1所述的方法，其中分配每个数据对象包括：

将与所述数据处理策略中的第一数据处理策略相关联的容器对象的数据对象分配给所述存储设备中的第一存储设备的第一区域；以及

将与所述数据处理策略中的第二数据处理策略相关联的容器的数据对象分配给所述第一存储设备的第二区域。

4.根据权利要求1所述的方法，其中，分配每个数据对象包括：

基于与数据对象的容器相关联的所述数据处理策略选择多个一致散列环中的一个；以及

基于所选择的一致散列环，将所述数据对象分配给存储设备的区域。

5.根据权利要求1所述的方法，还包括：

将所述一致散列环中的每个与所述数据处理策略中的相应一个的策略标识符关联；以及

基于相应分区的分区标识符和相应一致散列环的策略标识符，将每个一致散列环的每个分区与所述存储设备中的一个的区域关联；

其中，分配每个数据对象包括：基于与数据对象的容器相关联的数据处理策略为所述数据对象选择所述一致散列环中的一个，计算所述数据对象的散列索引，基于所述散列索引确定所选择的一致散列环的分区，并将所述数据对象分配给与所述分区相关联的所述存储设备的区域。

6.根据权利要求5所述的方法，其中，所述一致散列环中的第一一致散列环的分区的分区标识符与所述一致散列环中的第二一致散列环的分区的分区标识符相同，并且其中关联每个分区包括：

基于所述第一一致散列环的所述分区标识符和所述策略标识符，将所述第一一致散列环的分区与所述存储设备中的第一存储设备的第一区域关联；以及

基于所述第二一致散列环的所述分区标识符和所述策略标识符，将所述第二一致散列环的分区与所述第一存储设备的第二区域关联。

7.根据权利要求1所述的方法，其中，关联所述容器对象中的每个包括：

将多个数据处理策略标识符中的一个作为元数据与每个容器对象关联，其中每个数据处理策略标识符对应于所述数据处理策略中的相应一个。

8.根据任何前述权利要求所述的方法，其中所述数据处理策略包括以下中的一个或多个：

存储和复制容器对象的数据对象的策略和存储容器对象的数据对象而不进行复制的策略；

维护容器对象的数据对象的第一数量副本的策略，以及维护容器对象的数据对象的第二数量副本的策略，其中第一数量和第二数量彼此不同；

以压缩格式存储容器对象的数据对象的策略；

将容器对象的数据对象存储在满足地理位置参数的存储设备中的策略；

将容器对象的数据对象存储在满足地理位置参数的存储设备中而不复制所述数据对象的策略；

存储和复制容器对象的数据对象并且将所存储的数据对象和数据对象的副本分布在所述存储设备集群的多个相应区中的策略，其中相对于存储设备标识符、存储设备类型、服务器标识符、电网标识符和地理位置中的一个或多个来定义所述区；

将容器对象的数据对象映射到所述存储设备集群外部的存储***的策略；

存储和复制容器对象的数据对象，在一段时间之后对所述容器对象的数据对象进行归档，并且在归档相应数据对象之后丢弃所存储的数据对象和所存储的数据对象的副本的策略；以及

存储和复制容器对象的数据对象，在一段时间之后基于擦除代码对所述容器对象的数据对象进行归档，并且在归档相应数据对象之后丢弃所存储的数据对象和所存储的数据对象的副本的策略。

9.一种被配置为在作为基于对象的存储集群管理的存储设备集群内提供多个数据处理策略的设备，包括处理器和耦合到所述处理器的存储器，所述处理器和所述存储器被配置为：

将数据对象分配给容器对象；

将所述容器对象中的每个与多个可选数据处理策略中的一个关联；以及

部分地基于与相应数据对象的容器对象相关联的数据处理策略，将每个数据对象分配给所述存储设备集群内的存储设备的区域，

其中，容器对象是分层存储结构，并且基于对象的存储集群不是分层的，并且

其中，所述存储设备的至少两个区域与不同的数据处理策略相关联，并且所述存储设备能够支持多种数据处理策略，

其中，所述处理器和所述存储器还被配置为：

将多个一致散列环中的每个划分成多个分区，其中每个分区表示相应散列环的散列索引的范围；以及

将每个一致散列环的分区与所述存储设备中的一个的区域关联。

10.根据权利要求9所述的设备，其中所述处理器和存储器还被配置为基于相应容器对象的数据处理策略来管理所述存储设备集群内的数据对象。

11.根据权利要求9所述的设备，其中所述处理器和存储器还被配置为：

将与所述数据处理策略中的第一数据处理策略相关联的容器对象的数据对象分配给所述存储设备中的第一存储设备的第一区域；以及

将与所述数据处理策略中的第二数据处理策略相关联的容器的数据对象分配给所述第一存储设备的第二区域。

12.根据权利要求9所述的设备，其中所述处理器和存储器还被配置为：

基于与数据对象的容器相关联的所述数据处理策略选择多个一致散列环中的一个；以及

基于所选择的一致散列环，将所述数据对象分配给存储设备的区域。

13.根据权利要求9所述的设备，其中所述处理器和存储器还被配置为：

将所述一致散列环中的每个与所述数据处理策略中的相应一个的策略标识符关联；

基于相应分区的分区标识符和相应一致散列环的策略标识符，将每个一致散列环的每个分区与所述存储设备中的一个的区域关联；

基于与所述数据对象的容器相关联的数据处理策略为数据对象选择所述一致散列环中的一个；

计算所述数据对象的散列索引；

基于所述散列索引确定所选择的一致散列环的分区；以及

将所述数据对象分配给与所述分区相关联的所述存储设备的区域。

14.根据权利要求13所述的设备，其中，所述一致散列环中的第一一致散列环的分区的分区标识符与所述一致散列环中的第二一致散列环的分区的分区标识符相同，并且其中所述处理器和存储器还被配置为：

基于所述第一一致散列环的所述分区标识符和所述策略标识符，将所述第一一致散列环的分区与所述存储设备中的第一存储设备的第一区域关联；以及

基于所述第二一致散列环的所述分区标识符和所述策略标识符，将所述第二一致散列环的分区与所述第一存储设备的第二区域关联。

15.根据权利要求9所述的设备，其中，所述处理器和存储器还被配置为将多个数据处理策略标识符中的一个作为元数据与每个容器对象关联，其中每个数据处理策略标识符对应于所述数据处理策略中的相应一个。

16.根据权利要求9-15中任一项所述的设备，其中所述数据处理策略包括以下中的一个或多个：

存储和复制容器对象的数据对象的策略和存储容器对象的数据对象而不进行复制的策略；

维护容器对象的数据对象的第一数量副本的策略，以及维护容器对象的数据对象的第二数量副本的策略，其中第一数量和第二数量彼此不同；

以压缩格式存储容器对象的数据对象的策略；

将容器对象的数据对象存储在满足地理位置参数的存储设备中的策略；

将容器对象的数据对象存储在满足地理位置参数的存储设备中而不复制所述数据对象的策略；

存储和复制容器对象的数据对象并且将所存储的数据对象和数据对象的副本分布在所述存储设备集群的多个相应区中的策略，其中相对于存储设备标识符、存储设备类型、服务器标识符、电网标识符和地理位置中的一个或多个来定义所述区；

将容器对象的数据对象映射到所述存储设备集群外部的存储***的策略；

存储和复制容器对象的数据对象，在一段时间之后对所述容器对象的数据对象进行归档，并且在归档相应数据对象之后丢弃所存储的数据对象和所存储的数据对象的副本的策略；以及

存储和复制容器对象的数据对象，在一段时间之后基于擦除代码对所述容器对象的数据对象进行归档，并且在归档相应数据对象之后丢弃所存储的数据对象和所存储的数据对象的副本的策略。

17.一种用于在作为基于对象的存储集群管理的存储设备集群内提供多个数据处理策略的装置，包括：

用于将数据对象分配给容器对象的单元；

用于将所述容器对象中的每个与多个可选数据处理策略中的一个关联的单元；以及

用于部分地基于与相应数据对象的容器对象相关联的数据处理策略，将每个数据对象分配给所述存储设备集群内的存储设备的区域的单元，

其中，容器对象是分层存储结构，并且基于对象的存储集群不是分层的，并且

其中，所述存储设备的至少两个区域与不同的数据处理策略相关联，并且所述存储设备能够支持多种数据处理策略，

其中，所述装置还包括：

用于将多个一致散列环中的每个划分成多个分区的单元，其中每个分区表示相应散列环的散列索引的范围；以及

用于将每个一致散列环的分区与所述存储设备中的一个的区域关联的单元。

18.根据权利要求17所述的装置，还包括：

用于基于相应容器对象的数据处理策略来管理所述存储设备集群内的数据对象的单元。

19.根据权利要求17所述的装置，其中用于分配每个数据对象的单元包括：

用于将与所述数据处理策略中的第一数据处理策略相关联的容器对象的数据对象分配给所述存储设备中的第一存储设备的第一区域的单元；以及

用于将与所述数据处理策略中的第二数据处理策略相关联的容器的数据对象分配给所述第一存储设备的第二区域的单元。

20.根据权利要求17所述的装置，其中，用于分配每个数据对象的单元包括：

用于基于与数据对象的容器相关联的所述数据处理策略选择多个一致散列环中的一个的单元；以及

用于基于所选择的一致散列环，将所述数据对象分配给存储设备的区域的单元。

21.根据权利要求17所述的装置，还包括：

用于将所述一致散列环中的每个与所述数据处理策略中的相应一个的策略标识符关联的单元；以及

用于基于相应分区的分区标识符和相应一致散列环的策略标识符，将每个一致散列环的每个分区与所述存储设备中的一个的区域关联的单元；

其中，用于分配每个数据对象的单元包括：用于基于与所述数据对象的容器相关联的数据处理策略为数据对象选择所述一致散列环中的一个的单元，用于计算所述数据对象的散列索引的单元，用于基于所述散列索引确定所选择的一致散列环的分区的单元，以及用于将所述数据对象分配给与所述分区相关联的所述存储设备的区域的单元。

22.根据权利要求21所述的装置，其中，所述一致散列环中的第一一致散列环的分区的分区标识符与所述一致散列环中的第二一致散列环的分区的分区标识符相同，并且其中用于关联每个分区的单元包括：

用于基于所述第一一致散列环的所述分区标识符和所述策略标识符，将所述第一一致散列环的分区与所述存储设备中的第一存储设备的第一区域关联的单元；以及

用于基于所述第二一致散列环的所述分区标识符和所述策略标识符，将所述第二一致散列环的分区与所述第一存储设备的第二区域关联的单元。

23.根据权利要求17所述的装置，其中，用于关联所述容器对象中的每个的单元包括：

用于将多个数据处理策略标识符中的一个作为元数据与每个容器对象关联的单元，其中每个数据处理策略标识符对应于所述数据处理策略中的相应一个。

24.根据权利要求17-23中任一项所述的装置，其中所述数据处理策略包括以下中的一个或多个：

存储和复制容器对象的数据对象的策略和存储容器对象的数据对象而不进行复制的策略；

维护容器对象的数据对象的第一数量副本的策略，以及维护容器对象的数据对象的第二数量副本的策略，其中第一数量和第二数量彼此不同；

以压缩格式存储容器对象的数据对象的策略；

将容器对象的数据对象存储在满足地理位置参数的存储设备中的策略；

将容器对象的数据对象存储在满足地理位置参数的存储设备中而不复制所述数据对象的策略；

存储和复制容器对象的数据对象并且将所存储的数据对象和数据对象的副本分布在所述存储设备集群的多个相应区中的策略，其中相对于存储设备标识符、存储设备类型、服务器标识符、电网标识符和地理位置中的一个或多个来定义所述区；

将容器对象的数据对象映射到所述存储设备集群外部的存储***的策略；

存储和复制容器对象的数据对象，在一段时间之后对所述容器对象的数据对象进行归档，并且在归档相应数据对象之后丢弃所存储的数据对象和所存储的数据对象的副本的策略；以及

存储和复制容器对象的数据对象，在一段时间之后基于擦除代码对所述容器对象的数据对象进行归档，并且在归档相应数据对象之后丢弃所存储的数据对象和所存储的数据对象的副本的策略。

25.一种计算机可读介质，其具有存储于其上的指令，所述指令当由计算机执行时，使得所述计算机执行如权利要求1至8中任一项所述的方法。

Images