CN103778255A - 一种分布式文件***及其数据分布方法 - Google Patents

Abstract

本发明公开了一种分布式文件***及其数据分布方法，其中，数据分布方法包括以下步骤：将分布式文件***分成若干存储层，每一存储层包括若干存储设备；设置各存储层及其存储设备的组成信息，以及副本放置策略信息；根据组成信息以及副本放置策略信息，分布对象副本到各存储层中的各存储设备。本发明采用伪随机的数据分布方法，能够高效地和健壮地分布对象副本到结构化的、层次的存储集群中，能够优化数据分布来充分利用可用资源，在一致失效的情况下最大可能地保障数据安全，具有以下两大优点：数据完全的分布，大型***中的任何部分数据都会独立地计算对象的存储位置；被要求的少量的元数据基本上是静态的，只有设备加入或者删除时才会改变。

Description

一种分布式文件***及其数据分布方法

技术领域

本发明涉及文件***的数据管理，尤其涉及的是，一种分布式文件***及其数据分布方法。

背景技术

在信息化飞速发展的时代，数据的大量膨胀使得分布式文件***进入了发展的黄金时期，从数据共享到互联网应用，已经应用到了各行各业。对于大多数分布式文件***或集群文件***、并行文件***而言，通常将元数据与数据两者独立开来，即控制流与数据流进行分离，从而获得更高的***扩展性和I/O并发性，由此可见元数据的重要性与必要性。

但随着数据量的急剧膨胀，文件***面临的将是PB(百万GB)级的数据和上千万的存储节点，不论是集中式元数据服务文件***、分布式元数据服务文件***或者是无元数据服务文件***，都将面临着极大的挑战。在大数据存储的领域，数据的分布往往是文件***性能的关键。

大部分***只是向未充分使用的设备写数据。这种方式主要的问题是：数据在写入之后很少被移动。即使是非常出色的分布方法也会在***扩展的时候变得不均衡，因为新的磁盘要么是空的，要么仅包含很少的数据。不论旧的或者新的磁盘都会很忙，这取决于***负载，但是很少的情况下才能充分利用有用资源。一个较好的解决方法是：将数据随机地分布到***可用的存储设备上。这样会得到概率上的均衡分布和将新旧设备一致地混合起来。当加入新设备，一份存在数据的随机样本就会迁移到新增的存储设备上来达到平衡。这种方法有一个非常好的优点，在工作负载很大的情况下，所有设备上的工作负载都相似，依然可以保证较好的性能。另外，在大型的存储***中，单一的大文件将会被随机地分布到很多可用的设备上，对外提供高的并行性和聚合带宽。然而，简单的基于hash(哈希)的分布策略不能适应存储设备的变化，导致大量数据的重新迁移、冲刷。而且，现有的随机分布策略通过分配每个磁盘的副本到其他的设备上来接触复制，这样在有多个设备一起失效时会丢失数据。

发明内容

本发明所要解决的技术问题是提供一种新的分布式文件***及其数据分布方法。

本发明的技术方案如下：一种分布式文件***的数据分布方法，其包括以下步骤：将所述分布式文件***分成若干存储层，每一存储层包括若干存储设备；设置各存储层及其存储设备的组成信息，以及副本放置策略信息；根据所述组成信息以及所述副本放置策略信息，分布对象副本到各存储层中的各存储设备。

优选的，所述数据分布方法中，分布对象副本之前，还执行以下步骤：选择或修改所述副本放置策略信息中的至少一副本放置策略。

优选的，所述数据分布方法中，设置各存储层及其存储设备的组成信息中，还包括以下步骤：设置各存储层及其存储设备的组成信息为一可用资源的层次集群分布图，并为所述层次集群分布图建立各存储设备的逻辑元素连接；并且，设置副本放置策略信息中，还包括以下步骤：设置副本放置策略信息包括数据存放规则选项，其包括选择若干目标设备存放副本以及对副本的约束条件；其中，所述约束条件至少包括选择一存储层。

优选的，所述数据分布方法中，所述数据存放规则选项还包括输入步骤和生成步骤；所述输入步骤输入一个整数X；所述生成步骤根据所述整数X生成可选存放副本列表；并且，在所述分布对象副本时，执行所述输入步骤。

优选的，所述数据分布方法中，所述数据存放规则选项采用方法定义放置规则指定数据的分布；每一数据存放规则选项包含一系列应用到相应存储层的操作。

优选的，所述数据分布方法中，设置各存储层及其存储设备的组成信息中，还包括步骤：对一所述存储层中的各存储设备，以每个存储设备的容量和性能设置其权重；并且，设置副本放置策略信息中，还包括步骤：根据各权重均衡分布数据对象到各存储设备上。

优选的，所述数据分布方法还包括步骤：所述分布式文件***采用对象池管理各存储层及其存储设备；并且，每个对象池中的所有数据对象均设置同样的对象信息，其包括副本份数与分布规则，所述对象信息缓存在各客户端中。

优选的，所述数据分布方法中，每个存储设备设置若干个放置组；采用一哈希函数把数据对象的属性关键字映射到放置组，一个放置组存放多个数据对象；采用一致性哈希函数将放置组号映射到实际存放数据对象的存储设备，根据放置组号与副本数量，生成副本位置信息；其中，第一个副本是主副本，其它为从副本。

优选的，所述数据分布方法中，所述数据对象的各副本分别放置到相异供电***、控制器或者物理位置的存储设备上。

本发明的又一技术方案如下：一种分布式文件***，其包括对象池与若干存储层；每一所述存储层包括若干存储设备；所述对象池设置控制单元、存储单元与连接单元；所述控制单元与所述存储单元连接，用于设置各存储层及其存储设备的组成信息、以及副本放置策略信息，存储于所述存储单元；所述控制单元还与所述连接单元连接，根据所述组成信息以及所述副本放置策略信息分布对象副本到各存储层中的各存储设备。

采用上述方案，本发明采用副本放置策略信息，分布对象副本到各存储层中的各存储设备，能够优化数据分布来充分利用可用资源，具有很高的市场应用价值。

附图说明

图1为本发明的一个实施例的示意图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1所示，本发明的一个实施例是，一种分布式文件***的数据分布方法，其包括以下步骤：将所述分布式文件***分成若干存储层，每一存储层包括若干存储设备；设置各存储层及其存储设备的组成信息，以及副本放置策略信息；根据所述组成信息以及所述副本放置策略信息，分布对象副本到各存储层中的各存储设备。优选的，分布对象副本到同一存储层中相异供电环境的各存储设备中；又如，分布对象副本到相异存储层中相异供电环境的各存储设备中；优选的，分布对象副本之前，轮询各存储层的负载情况；例如，从最高存储层开始评判各存储层的负载情况。本发明各实施例的分布式文件***，即文件管理***，采用的数据分布方法是伪随机的数据分布方法，能够高效地和健壮地分布对象副本到结构化的、层次的存储集群中。与传统方法不同的是，本申请所采用的数据分布方法不依赖任何形式的per-file和per-object目录，它只需要一个简洁的关于存储设备组成以及副本放置策略信息的层次描述，实现了数据完全的分布，大型***中的任何部分数据都会独立地计算对象的存储位置；并且，对于被要求的少量的元数据基本上是静态的，只有设备加入或者删除时才会改变。

优选的，在元数据中存储各存储层及其存储设备的组成信息，以及副本放置策略信息，这样，被要求的少量的元数据基本上是静态的，只有设备加入或者删除时才会改变。优选的，在设备加入或者删除时，重新生成或设置各存储层及其存储设备的组成信息，以及副本放置策略信息。优选的，所述数据分布方法中，分布对象副本之前，还执行以下步骤：选择或修改所述副本放置策略信息中的至少一副本放置策略。这样，可以根据使用的实际情况，由用户自行决定采用某一副本放置策略信息，或者修改所述副本放置策略信息中的一项或多项副本放置策略，从而获得更灵活的副本放置方案。

优选的，所述数据分布方法中，设置各存储层及其存储设备的组成信息中，还包括以下步骤：设置各存储层及其存储设备的组成信息为一可用资源的层次集群分布图，并为所述层次集群分布图建立各存储设备的逻辑元素连接；并且，设置副本放置策略信息中，还包括以下步骤：设置副本放置策略信息包括数据存放规则选项，其包括选择若干目标设备存放副本以及对副本的约束条件；其中，所述约束条件至少包括选择一存储层。

优选的，所述数据分布方法中，所述数据存放规则选项还包括输入步骤和生成步骤；所述输入步骤输入一个整数X；所述生成步骤根据所述整数X生成可选存放副本列表；并且，在所述分布对象副本时，执行所述输入步骤。这样，分布对象副本时，用户只需输入一个整数作为X，生成步骤自动生成可选存放副本列表；例如，X代表需要进行分布的副本份数；又如，X代表数据对象的重要性。

优选的，所述数据分布方法中，所述数据存放规则选项采用方法定义放置规则指定数据的分布；每一数据存放规则选项包含一系列应用到相应存储层的操作。为了适应可能使用的各种场景，数据复制策略和底层硬件设备的配置等，采用方法定义放置规则(placement rules)来使管理员或存储***指定数据的分布。比如，若有的人选择一对目标设备作2个副本的镜像，可能有人会选择在2个不同数据中心的3个设备来作3个副本，可能还有人选择在6个设备上作RAID-4，等等。

每一种规则都包含一系列应用到相应层级的操作，在生产环境下，就如伪代码在方法1中。输入到方法的参数整数X，是对象名或者其他的ID，比如说是一组对象的ID(这些对象的副本在同一个设备上)。take(a)操作选择该存储层级内的一个item(通常是一个bucket)，赋值给vector变量

它作为随后操作的输入。Select(n，t)操作从中迭代，选择在该层级下的类型为t的n个不同的item。存储设备都有公开的、修改了的类型和每个bucket都有类型域(用来区别不同类别的buckets)，比如说，一些代表“rows”，另一些代表“cabinets”。对于每个属于

的i，select(n，t)操作会遍历r∈1，......，n所有的items，循环降序到任何中间的buckets，伪随机地选择每个bucket中嵌套的item，使用c(r，x)函数，直到得到一个需要的类型为t的item。作为结果的不同的item被放到输入

中，或者作为下步操作的输入，或者通过emit操作放到result容器中。

例如，一套规则如下表所示，将三个副本分布到同一row的三个不同的cabinet中。

根据上表所定义的规则，从root层级开始，通过select(1，row)选择一个单一的类型为row的bucket，例如其选择了row2，接下来的操作是select(3，cabinet)，选择3个不同的cabinets，在之前选择的row2下的cab21，cab23和cab24，最后的select(1，disk)操作在这3个cabinets中遍历，最后在它们每个下面都选择一个disk。最终的结果是3个disks分布在三个不同的cabinets中，但是在同一个row中。这个方法也允许副本被同时分布和被容器的类型(rows、cabinets和shelves)约束，这对可靠性和性能都是一个有用的特性。包含多个take、emit部分的规则存储目标设备从不同的存储池中取出，可能是远程复制语义需要的，例如一个副本在远程地点；或者是层次的安装，例如，近似线性的快速存储和比较慢的高容量阵列。

Select(n，t)操作可能会遍历存储层级的很多层，为了确定给定类型t的n个不同items(从starting点开始)，循环处理通过r∈1，......，n部分地参数化，选择副本数。在这个过程中，可能丢弃和重新选择items，通过使用修改了的输入参数r′：若一个item从当前的set选中，例如冲突-select(n，t)的结果必须是不同的，若一个设备失效，或者设备过载。这样的设备在集群分布图中标记为那样，但是留在层级中，为了避免不必要的数据迁移。选择性地转移过载设备的部分数据，通过伪随机地丢弃，集群分布图指定的概率，一般与它报告的过度使用有关。对于过载或者失效的设备，均衡地重分配item到存储集群，通过重启在select(n，t)开始的递归。在冲突的情形下，在内部层级上使用交替的参数r′来试图搜索本地和避免偏移从冲突有更多可能发生的子树的所有数据分布。

优选的，所述数据分布方法还包括步骤：所述分布式文件***采用对象池管理各存储层及其存储设备；并且，每个对象池中的所有数据对象均设置同样的对象信息，其包括副本份数与分布规则，所述对象信息缓存在各客户端中。文件管理***对象由对象池(pool)管理。每个池中的所有对象都有同样的副本份数、分布规则等，这些信息缓存在客户端中，或者，这些信息缓存在服务器端中，客户端在进行存储时，连接所述服务器端获取所述信息。

优选的，用户在存取对象时需要指定池的名字。优选的，所述数据分布方法中，每个存储设备设置若干个放置组；采用一哈希函数把数据对象的属性关键字映射到放置组，一个放置组存放多个数据对象；采用一致性哈希函数将放置组号映射到实际存放数据对象的存储设备，根据放置组号与副本数量，生成副本位置信息；其中，第一个副本是主副本，其它为从副本。从对象的key(属性关键字)到最终存储数据的服务器要经过两层映射(存储节点称为OSD)。第一层是经过一个哈希函数把key映射到Placement Group(PG，放置组)。PG类似其它***中于虚拟分区的概念，一个PG存放多个对象，每个存储节点有上百个PG。第二层是通过一致性哈希函数PGID映射到实际存放数据的主机，对于给定PGID和副本数量，会生成副本位置信息。其中第一个副本是主，其它为从。主副本负责接收来自客户端的写，产生日志同步给从副本。如果出现多个客户端并发写，主副本也扮演协调者决定并发写的顺序。当少量机器发生宕机时，作为一致性哈希函数，产生的PG副本的位置不会有很大改别。同时，缺失数据的其它副本散落在整个集群，这就保证了补齐副本数据时可以利用整个集群的网络带宽。

优选的，所述数据分布方法中，设置各存储层及其存储设备的组成信息中，还包括步骤：对一所述存储层中的各存储设备，以每个存储设备的容量和性能设置其权重；并且，设置副本放置策略信息中，还包括步骤：根据各权重均衡分布数据对象到各存储设备上。

其中，文件管理***的方法根据每个设备的权重分布数据对象到存储设备上，近似达到概率上均衡分布。数据分配被代表可用资源的层次集群分布图控制，并从中组成逻辑元素。例如，可能描述有几排机柜，机柜有许多机器，机器有多块设备盘。那么数据分配策略被定义为放置规则：指定从集群中选出多少目标设备，对副本有什么约束。比如，可能指定三个镜像副本放置到不同cabinet的物理设备上，这样，各物理设备不共享同一电源。给定一个整数输入值X，集群的方法将会输出排序的R列表，例如，从n个不同的存储设备。利用加强的多输入整数hash函数，其中，包括输入参数X，使得映射完全地决定性，并且能仅使用集群分布图、放置规则和X就能独立地计算。这种分配是伪随机的，就是说相似的输入或者任何设备上得条目与输出结果之间没有特定的相关性。其中，生成去集群化的副本分配，共享一个条目的设备在另外的item上是独立的。

文件管理***被设计来均衡分配数据到赋予权重的设备上，保证概率上存储使用率和设备带宽资源的均衡。层级目录的存储设备上副本的放置对数据安全有非常重要的影响。通过映射设备的底层物理组织，集群方法能模拟相关失效设备的潜在资源。典型的资源包括物理近似度、共享电源和共享网络。通过将这些信息编码到cluster map中，方法的放置规则能把对象副本分布到不同的失效域并且维持想要的数据分配。优选的，所述数据分布方法中，所述数据对象的各副本分别放置到相异供电***、控制器或者物理位置的存储设备上。例如，为了应对一致性失效的可能性，希望将数据副本放置到不同供电***、控制器或者物理位置的shelves(机柜或存储层)中。

本发明各实施例所采用的数据分布方法，是为优化数据分布来充分利用可用资源而设计的，在加入或者删除设备的情形下高效地重组数据，强制实施弹性的对象副本约束条件，在一致失效的情况下最大的保障数据安全。支持众多的数据安全机制，包括n个副本的机制，RAID家族的机制或者其他的形式的消磁编码，或者混合方法，比如说RAID-10等。

结合应用上述任一方法，本发明的又一个实施例是，一种分布式文件***，其包括对象池与若干存储层；每一所述存储层包括若干存储设备；所述对象池设置控制单元、存储单元与连接单元；所述控制单元与所述存储单元连接，用于设置各存储层及其存储设备的组成信息、以及副本放置策略信息，存储于所述存储单元；所述控制单元还与所述连接单元连接，根据所述组成信息以及所述副本放置策略信息分布对象副本到各存储层中的各存储设备。

优选的，所述分布式文件***，即存储***，根据预设分层规则，自动根据不同的存储介质进行自动分层，当有新存储介质加入到存储***中时会将其自动的加入现有的存储层中或者新设一存储层，然后根据同一层的负载情况以及预设负载均衡条件，将该现有存储层的部分数据迁移到其中。优选的，所述方法还根据数据对象的访问频率，将所述数据对象在各存储层中迁移。数据迁移就是移动数据，从文件夹、分割区、硬盘或磁盘子***提取数据，放入其他的存储介质，或称为物理站点。例如，当数据的访问频率达到预设的阈值时，会自动迁移到上层或下层的存储介质中去。如果数据的迁移的频率太大或数据量太大，会给存储***带来很大的负荷，严重影响***的性能，所以，优选的，数据迁移操作的优先级要比数据存取操作的优先级低。每个数据对象在刚进入存储或刚迁移到其他存储介质上时都会有一个数据保留期，在这段时间内，***根据数据的访问频率以及数据的级别来判断保留期结束后是否迁移到其他的存储介质和具体的哪一层介质。

又如，分布式文件***建立存储介质分类，将不同性能的存储介质分类，设置于不同的存储层中，用来存储数据；随着存储需求呈螺旋状上升，将所有的数据放在高性能的存储介质中显然是不切实际的，分层存储是将关键的数据保存在高性能的介质中。分层存储的最终目的是为了节约资金，根据访问频率的高低将数据在不同的时期放在不同的存储介质，不同的存储层次，避免硬件空间和性能的浪费。同时将数据分布在多层中，可以避免用户和应用程序在访问存储时可能出现的冲突，避免损伤存储***的性能。

进一步地，本发明的实施例还包括，上述各实施例的各技术特征，相互组合形成的分布式文件***及其数据分布方法。

综上所述，该分布式文件***及其数据分布方法能够根据组成信息以及副本放置策略信息，分布对象副本到各存储层中的各存储设备，解决的是在一致失效的情况下最大可能地保障数据安全的技术问题，该方法通过执行计算机程序实现对计算机***内部运行性能的改进，反映的是高效地和健壮地分布对象副本到结构化的、层次的存储集群中，利用的是遵循自然规律的技术手段，获得了数据完全分布、避免数据丢失的技术效果。因此，本发明分布式文件***及其数据分布方法是一种通过执行计算机程序实现计算机***内部、外部性能改进的解决方案，属于专利法第二条第二款规定的技术方案，属于专利保护的客体。

需要说明的是，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；并且，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种分布式文件***的数据分布方法，其特征在于，包括以下步骤：

将所述分布式文件***分成若干存储层，每一存储层包括若干存储设备；

设置各存储层及其存储设备的组成信息，以及副本放置策略信息；

根据所述组成信息以及所述副本放置策略信息，分布对象副本到各存储层中的各存储设备。

2.根据权利要求1所述数据分布方法，其特征在于，分布对象副本之前，还执行以下步骤：选择或修改所述副本放置策略信息中的至少一副本放置策略。

3.根据权利要求2所述数据分布方法，其特征在于，设置各存储层及其存储设备的组成信息中，还包括以下步骤：设置各存储层及其存储设备的组成信息为一可用资源的层次集群分布图，并为所述层次集群分布图建立各存储设备的逻辑元素连接；并且，

设置副本放置策略信息中，还包括以下步骤：设置副本放置策略信息包括数据存放规则选项，其包括选择若干目标设备存放副本以及对副本的约束条件；其中，所述约束条件至少包括选择一存储层。

4.根据权利要求3所述数据分布方法，其特征在于，所述数据存放规则选项还包括输入步骤和生成步骤；

所述输入步骤输入一个整数X；

所述生成步骤根据所述整数X生成可选存放副本列表；

并且，在所述分布对象副本时，执行所述输入步骤。

5.根据权利要求4所述数据分布方法，其特征在于，所述数据存放规则选项采用方法定义放置规则指定数据的分布；每一数据存放规则选项包含一系列应用到相应存储层的操作。

6.根据权利要求5所述数据分布方法，其特征在于，设置各存储层及其存储设备的组成信息中，还包括步骤：对一所述存储层中的各存储设备，以每个存储设备的容量和性能设置其权重；

并且，设置副本放置策略信息中，还包括步骤：根据各权重均衡分布数据对象到各存储设备上。

7.根据权利要求6所述数据分布方法，其特征在于，还包括步骤：所述分布式文件***采用对象池管理各存储层及其存储设备；

并且，每个对象池中的所有数据对象均设置同样的对象信息，其包括副本份数与分布规则，所述对象信息缓存在各客户端中。

8.根据权利要求7所述数据分布方法，其特征在于，

每个存储设备设置若干个放置组；

采用一哈希函数把数据对象的属性关键字映射到放置组，一个放置组存放多个数据对象；

采用一致性哈希函数将放置组号映射到实际存放数据对象的存储设备，根据放置组号与副本数量，生成副本位置信息；

其中，第一个副本是主副本，其它为从副本。

9.根据权利要求8所述数据分布方法，其特征在于，所述数据对象的各副本分别放置到相异供电***、控制器或者物理位置的存储设备上。

10.一种分布式文件***，其特征在于，包括对象池与若干存储层；

每一所述存储层包括若干存储设备；

所述对象池设置控制单元、存储单元与连接单元；

所述控制单元与所述存储单元连接，用于设置各存储层及其存储设备的组成信息、以及副本放置策略信息，存储于所述存储单元；

所述控制单元还与所述连接单元连接，根据所述组成信息以及所述副本放置策略信息分布对象副本到各存储层中的各存储设备。

Images