CN102200892A - 一种基于动态raid***的扩容方法 - Google Patents

Abstract

本发明的目的在于提供一种基于动态RAID***的扩容方法，该扩容方法首先将动态RAID***划分为若干个条带集，之后选择一个条带集p，并选择编号为p－q的条带集单元移动到编号为r的新增磁盘且保持该条带集单元的偏移量不变，并更新地址映射表，其中q=（p）mod（m+n），r=（q）mod（n），最后按照上述步骤遍历所有条带集完成扩容。所述的动态RAID***是在传统RAID***中增加了一个条带集的概念，通过条带集的引入使得通过磁盘来访问数据变成通过条带集来访问数据。本发明所述的扩容方法可以达到理论上的数据迁移最小值，且迁移的单位是条带集单元，迁移同样的数据量需要的时间更少。

Description

一种基于动态RAID***的扩容方法

技术领域

本发明属于数据存储技术领域，特别是涉及一种基于动态RAID***的扩容方法。

背景技术

现代社会产生的信息，以2002年为例，其一年产生了大约5EB的信息，其中92％的新信息大部分存储在磁盘中，大容量磁盘已经成为目前必不可少的存储介质；重要的信息的存储比如公司信息显得尤为关键，研究表明50％的公司出现过不能恢复的信息超过十天，43％的公司出现数据永久丢失后立刻倒闭，93％的公司出现严重的数据丢失后倒闭，数据可靠性在数据存储中尤为重要。而基于独立冗余磁盘阵列RAID的存储技术从其诞生起便在存储***中得到了非常广泛的应用，因为采用RAID结构的存储***可以保证***的可靠性以及由于磁盘失效而导致的丢失数据的恢复，但随着信息量的不断增加，RAID中存放的数据也不断增加，磁盘可用容量不断减少，原有的设计容量已经不满足数据增加时，磁盘将面临空间耗尽的困境。一旦磁盘空间耗尽，购买新的磁盘然后在新的磁盘RAID上重构原有RAID数据是耗时非常大的，而且还面临着几天的当机时间，这对现在的7/24时间的服务要求是一个很大的挑战。

发明内容

本发明的目的在于提供一种基于动态RAID***的扩容方法，该扩容方法可以解决传统RAID***在扩容过程中耗时长及迁移数据量大等技术问题。

本发明提供了一种基于动态RAID***的扩容方法，设原始磁盘个数为m，新增磁盘个数为n，新增磁盘分别编号为0到n-1，该方法包括以下步骤：

(1)将动态RAID***划分为条带集；

(2)选取一个条带集p，判断条带集p中是否存在一个条带集单元的编号为p-q，其中p为条带集编号，q＝((p)mod(m+n))，若存在，则将该条带集单元移动到编号为r的新增磁盘且保持该条带集单元的偏移量不变，并更新该条带集单元的地址映射表，其中r＝((q)mod(n))；若不存在，则不做任何操作；

(3)判断n是否等于1，若是，转入步骤(6)；否则，令t＝1，进入步骤(4)；

(4)判断条带集(p+t)中是否存在条带集单元的编号为(p+t)一q，若存在，则将该条带集单元移动到编号为r的新增磁盘且保持该条带集单元的偏移量不变，并更新该条带集单元的地址映射表，其中(p+t)为条带集编号；若不存在，则不做任何操作；

(5)判断t是否等于(n-1)，若是，进入步骤(6)；否则，令t＝t+1，转入步骤(4)；

(6)按照步骤(2)至(5)的操作，遍历步骤(1)中划分的所有条带集。

本发明所提出的动态RAID***是在传统的RAID***中增加了一个条带集的概念，通过条带集的引入使得通过磁盘来访问数据变成通过条带集来访问数据。本发明所述的基于动态RAID***的扩容方法相对于传统的扩容方法来说具有以下优势：

1.可以实现在线扩容，避免了停机所造成的无法实现服务的情况。

2.扩容过程迁移数据量小，在原始m个磁盘构成的RAID上增加n个磁盘，为了达到负载均衡，理论上的数据迁移最小值是占总数据量的n/(m+n)，本发明所述的扩容方法可以达到这个最小值。

3.在数据迁移过程中，传统的RAID迁移的是小数据块，而本方法迁移的是大数据块，这样磁盘迁移同样的数据量需要的时间更少。

附图说明

图1集和条带的示意图；

图2偏移量示意图；

图3建立地址映射表过程图；

图4更新地址映射表过程图；

图5m＝4，n＝1的磁盘扩容过程图；

图6修改地址映射表过程图；

图7数据读取过程图；

图8m＝4，n＝2的磁盘扩容过程图；

图9数据缩容过程图。

具体实施方式

下面将结合本发明的附图和相关实例，更清晰的说明动态RAID***及基于动态RAID***的扩容方法。

RAID中存储数据的基本结构是条带，条带大小有16K、32K、64K、128K、256K几种，RAID5一般取32K或64K。条带分布在每个磁盘中，而且一个条带在每个磁盘中只能有一个数据块，这个数据块一般叫做条带单元。

现有的RAID在构造时，都是采用条带的方式存放数据，由于条带属于粒度比较小的数据集合，数据迁移时会形成一张很大的地址映射表，因此本发明在此提出“条带集”的概念，条带集是粒度更大的数据集合，一个条带集可以由几百个甚至上千个条带构成，每个条带集形成一个小粒度的RAID，这些小粒度RAID不用考虑RAID级别。每个磁盘中属于同一个条带集的所有条带单元可以作为一个整体，这个整体称为“条带集单元”。

图1所示为由4个磁盘组成的RAID，其中A1、B1、C1、D1四个数据块构成一个条带，A1、B1、C1、D1分别称为条带单元，四个条带构成的一个条带集，A1到A4、B1到B4、C1到C4、D1到D4分别称为条带集单元。为了方便数据迁移的实现，下面对条带集和条带集单元进行编号，对于图1中上面一个条带集(即A1到A4、B 1到B4、C1到C4、D1到D4组成的条带集)，编号为0(在计算机专业中，对存储介质的编号都是从0开始的)，对于下面的条带集编号为1。条带集单元的编号也是从0开始，在一个条带集中的第一个条带集单元编号为0，图1中条带集单元A1、B1、C1、D1的编号均为0，第二个条带集单元编号为1，以此类推。条带集单元的编号是以条带集为参照物的，是条带集的内部编号，该编号不随条带集单元的移动而改变。条带集单元的全局编号是由它所在的条带集编号加上条带集的内部编号组成的，如图1中下面的条带集编号为1，磁盘0上的条带集单元内部编号为0，磁盘1上的条带集单元内部编号为1，那么这两个条带集单元的全局编号为1-0和1-1。在不混淆的情况下，本文把条带集单元的全局编号就叫做条带集单元的编号。

条带集单元的编号可以根据主机给出的LBA地址得到，LBA是一个一维的线性地址。在构建条带集时，条带集中条带的个数和条带大小都是人为设置的，假设条带集中共有e个条带，每个条带的大小是s，那么可以通过LBA除以(e×s)的积，得到的商即条带集编号。假设每个条带有m个条带单元，那么每个条带单元大小就是s/m。通过LBA对s取模，把这个结果除以条带单元大小s/m，得到的商就是条带集单元编号中的内部编号。

本发明所述的动态RAID***包括构成RAID的多个磁盘和RAID控制器，该动态RAID***在逻辑上划分了条带集的概念，使得多个条带构成了一个条带集，一个条带集类似一个子RAID，该动态RAID***还包括一地址映射表，该地址映射表记录所有条带集单元的位置信息。

具体的讲，动态RAID的条带集是一个逻辑上的划分，在RAID搭建的时候，可以根据磁盘大小配置条带集中条带的数量，比如150G的硬盘，条带单元的大小是16KB，那么可以选择2M作为一个条带集单元的大小，也就说条带集中具有2M/16KB＝128个条带。特别的，对于每个条带集，可以配置不同RAID级别，在本发明中仅认为所有的条带集都是同一级别，以此说明。动态RAID在构造了这样的条带集之后，为了方便移动数据块，还构建了一个地址映射表，该地址映射表由两级表组成。一级表是条带集表，每个条带集对应一级表中的一个表项，每个一级表表项指向一个二级表，二级表中记录每个条带集的所有条带集单元的位置，每个二级表表项对应一个条带集单元的位置，二级表中有三列，第一列是条带集单元的内部编号，第二列表示该条带集单元所在磁盘的编号，第三列表示该条带集单元在磁盘中的偏移量。偏移量表示该条带集单元与磁盘起始条带集单元之间的条带集单元数量，如图2所示，条带集0的四个条带集单元放在磁盘的最上方，也就是磁盘的起始位置，因此偏移量是0，条带集1的四个条带集单元放在距离磁盘起始位置一个条带集单元的位置，因此偏移量是1，以此类推。

地址映射表是一个动态建立的过程，每写入一个条带集单元，就添加该条带集单元对应的二级表项。如图3所示，其表示了地址映射表的建立过程，以写入条带集单元0-0为例，先根据集号0，建立一级表中的集0项，然后再建立集0对应的二级表，并且把条带集单元0-0的编号0，磁盘号0，偏移量0填入二级表中。当有数据移动时，修改相应的二级表内容，如图4所示，条带集单元0-0从原来的位置移动到磁盘4之后，首先查找集0的一级表，通过集0找到二级表中条带集单元0的位置，修改磁盘号位磁盘4，由于条带集单元0-0在磁盘4中的偏移量还是0，所以偏移量部分不要改变。条带集单元0-0移动到新位置之后，编号还是0-0，因为该条带集单元还是属于集0的第一个条带集单元，从数据上来说，它保存的还是集0中的最开始部分的数据，因此编号没有改变。

当原有m个磁盘数据已经超过了总存储容量的某个值，比如说80％，就需要扩容。在原始的m个磁盘中，条带集是由m个条带集单元构成的，一旦扩容了n个磁盘，为了负载均衡，必须要把部分数据从原始磁盘迁移到新增磁盘，使得每个磁盘的数据量近似相同，这样每个磁盘的访问量才能近似相同，即需要把m个磁盘上的所有条带集单元分布到m+n个磁盘中实现扩容和负载均衡。

本发明所述的基于动态RAID的扩容方法，其基本思想是增加新的磁盘后，将原来磁盘上的条带集的某些条带集单元迁移到新磁盘上，并确保数据分布均衡，新空出的空间组成新的条带集，用于存储新的数据。具体数据迁移方式会有多种，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护的范围。

下面以m＝4，n＝1为例详细介绍动态RAID扩容的方法及扩容后数据的读写方法。

1.动态RAID扩容方法

在本发明所述的扩容方法中数据迁移并不需要移动所有数据，如图5所示，原始的磁盘阵列中有4个磁盘，分别编号为0到3，新增加了一个磁盘，编号为新磁盘0，每个条带集选取一个条带集单元移动到新增磁盘，原始磁盘迁移出数据的空白区域就空余出来，可以填充新的数据。

扩容方法具体过程如下：

(1)划分条带集，以每个条带集具有128个条带为准进行划分，记录条带集的个数。

(2)选取条带集0，判断是否存在条带集单元0-0(p＝0，q＝0mod 5)，存在，则将该条带集单元移到新增磁盘0(r＝0mod n，在这里n＝1，因此r永远等于0)；

(3)因为n＝1，直接选择下一个条带进行迁移；

(4)选取条带集1，判断是否存在条带集单元1-1(p＝0，q＝1mod 5)，存在，则将条带集单元1-1迁移到第0个新磁盘；

(5)选取条带集2，判断是否存在条带集单元2-2(p＝0，q＝2mod 5)，存在，则将条带集单元2-2迁移到第0个新磁盘；

(6)选取条带集3，判断是否存在条带集单元3-3(p＝0，q＝3mod 5)，存在，则将条带集单元3-3迁移到第0个新磁盘；

(7)选取条带集4，判断是否存在条带集单元4-4(p＝0，q＝4mod 5)，不存在，则不做任何操作；

(8)继续下一个条带集的数据迁移，按照本发明所述的方法遍历步骤(1)中划分的所有条带集。

每个条带集单元移动后，需要更新该条带集单元的地址映射表，即将该条带集单元的磁盘编号更改为新磁盘编号。

从图5可以看到，每个磁盘上的条带集单元个数是一样的，而且以从条带集0到条带集4这个区域上看，新增磁盘上增加了4个条带集单元，原始四个磁盘上总共有20个条带集单元，数据迁移量为4/20＝0.2，与n/(m+n)＝1/5相同，达到了理论上的最小值。

2.磁盘扩容后的数据写入方法

当数据迁移完成后，每个磁盘中都会出现很多的空白区域，这些区域可以用来组成新的条带集，填写新的数据。新数据写入过程分两步完成，第一步是把新数据写入磁盘，第二步是修改相应的地址映射表。

图6显示了写入条带集8之后，修改地址映射表的情况，在图上只标明对条带集单元8-1对应的地址映射表进行修改的情况，其余条带集单元的修改过程相似。当条带集单元8-1写入磁盘后，首先查找条带集8所在的一级表，如果没有，表示条带集8是新数据，则添加条带集8的一级表项，然后添加一个二级表。根据条带集单元的编号，该条带集单元记录在二级表中第二行。在划分条带集的时候，已经对每个条带集单元存放的磁盘及偏移量进行了计算，若条带集单元8-1放置在磁盘1的偏移量为1的位置，则填写的二级表项为：8-1，磁盘1，偏移1。

3.磁盘扩容后的数据读取方法

通过LBA地址依照前面阐述的方法得到条带集单元的编号，然后访问条带集一级表，得到整个条带集的所有条带集单元所在的磁盘和偏移量，从而根据这些信息找到该条带集单元并且从相应位置读取数据。

如图7所示，若想读取8-3这个条带集单元，首先通过8这个值找到一级表中条带集8的位置，其次通过一级表指向的二级表，找到二级表中条带集单元3，获得该条带集单元存放的位置是在磁盘3，偏移量为3，最好读出磁盘3偏移量为3的条带集单元。

对于m＝4，n＝2的动态RAID扩容方法，如图8所示，移动的条带集单元为0-0，1-0，1-1，2-1，2-2，3-2等。

4.动态RAID的磁盘缩容方法

除了本文前面提到的动态RAID的扩容方法，动态RAID还可以用在缩容方面。缩容的过程就是把m个磁盘减少n个，其中m＞n。缩容也包含了数据块的移动，但是缩容的条件是组成条带集的条带集单元的个数必须要小于等于m-n，否则就会出现属于同一个条带集的条带集单元放在同一个磁盘上，这样就不能够保证数据的可靠性。

缩容过程如图9所示，图9仅简单的画出4个集的情况。在缩容过程中，每次移动一个条带集单元，就把条带集单元的新磁盘号及磁盘内偏移量写入二级表，写入过程和迁移时改变二级表的过程一样，直到n个磁盘上的数据块全部移除。

本发明不仅局限于上述具体实施方式，本领域一般技术人员根据本发明公开的内容，可以采用其它多种具体实施方式实施本发明，比如本发明中提到的数据迁移方式，为了达到多个磁盘能够负载均衡的目的，实际上会有多种数据迁移方式。因此，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护的范围。

Claims (5)

1. 一种基于动态RAID***的扩容方法，设原始磁盘个数为m，新增磁盘个数为n，新增磁盘分别编号为0到n-1，该方法包括以下步骤：

（1）将动态RAID***划分为条带集；

（2）选取一个条带集p，判断条带集p中是否存在一个条带集单元的编号为p－q，其中p为条带集编号，q=（（p）mod（m+n）），若存在，则将该条带集单元移动到编号为r的新增磁盘且保持该条带集单元的偏移量不变，并更新该条带集单元的地址映射表，其中r=（（q）mod（n））；若不存在，则不做任何操作；  

（3）判断n是否等于1，若是，转入步骤（6）；否则，令t=1，进入步骤（4）；

（4）判断条带集(p+t)中是否存在条带集单元的编号为(p+t)－q，若存在，则将该条带集单元移动到编号为r的新增磁盘且保持该条带集单元的偏移量不变，并更新该条带集单元的地址映射表，其中(p+t)为条带集编号；若不存在，则不做任何操作；

（5）判断t是否等于(n-1)，若是，进入步骤（6）；否则，令t=t+1，转入步骤（4）；

（6）按照步骤（2）至（5）的操作，遍历步骤（1）中划分的所有条带集。

2. 根据权利要求1所述的扩容方法，其特征在于，所述的地址映射表由一级表和二级表组成，一级表是条带集表，每个一级表表项均指向一个二级表，二级表是条带集单元表，每个二级表表项均记录一个条带集单元的位置。

3. 根据权利要求1所述的扩容方法，其特征在于，所述的条带集单元是指每个磁盘中属于同一个条带集的所有条带单元。

4. 根据权利要求1所述的RAID***扩容后的数据写入方法，包括以下步骤：

（1）把数据写入磁盘中空白的条带集单元；

（2）修改相应条带集单元的地址映射表。

5. 根据权利要求1所述的RAID***扩容后的数据读取方法，包括以下步骤：

（1）通过LBA地址得到数据所在的条带集单元的编号；

（2）通过地址映射表找到该条带集单元；

（3）从该条带集单元中读取数据。

Images