CN101997919A - 一种存储资源的管理方法及管理装置 - Google Patents

Abstract

本发明提供一种存储资源的管理方法及网络存储***，其中网络存储***包括存储控制器以及多块磁盘，且使用磁盘创建多个Raid阵列，存储控制器的前端端口通过网络连接主机，后端磁盘端口与磁盘相连。本发明管理机制是通过预设大小资源块对阵列空间进行分块，建立相应的块表用以记录资源块是否被占用；创建逻辑资源时分配资源块并建立逻辑资源索引表以记录逻辑资源与资源块的对应关系并记录资源块的大小；以资源块为单位对逻辑资源进行管理操作，并在管理操作完成之后更新所述块表以及逻辑资源索引表。本发明管理方法简单灵活，扩展性强，实现简洁且成本较低。

Description

一种存储资源的管理方法及管理装置

技术领域

本发明涉及网络存储技术，尤其涉及一种存储资源的分层次管理技术。

背景技术

在涉及众多主机的数据存储的网络环境中，为了提高数据存储的可靠性和安全性，同时为了存储容量的扩展性和灵活性，网络存储技术应运而生。通常来说，网络存储***的作用是为客户端PC机或者服务器(一般统称为主机或Host)提供可用的存储空间。

网络存储***的核心是存储控制器(Controller)，存储控制器进行数据处理并把数据写入到后端物理磁盘中。为提高写物理磁盘的性能以及提供数据冗余性，存储控制器通常支持独立磁盘冗余阵列(Raid)技术，根据Raid级别的不同可以提供各种级别的性能和可靠度，即可以保证多数情况下，一个或者多个磁盘的故障的情况下，其内的数据可以通过相应的校验算法进行恢复，即通常所说的Raid阵列重建。网络存储***的前端可以通过IP网络或者FC网络与主机(Host)相连，为主机提供数据存储服务。在数据传输方面，以基于IP承载的网络存储***为例，主机可以基于标准的ISCSI(互联网小型计算机***接口)协议网络存储***进行数据的读写操作。

为方便主机的数据读写，对主机屏蔽存储资源物理上的差异，可以通过虚拟化技术对物理存储资源进行抽象，在物理层面以上形成面向用户主机的逻辑资源，并且相应生成逻辑资源地址映射表，以记录逻辑地址与物理地址的映射关系。

对于用户的各种应用而言，每种应用需要存储和访问的数据都有生命周期，比如移动计费***，每月手机的话费数据可能在数据生成后的三个月内被多次访问，在一年内偶尔被访问，再往后可能就无人问津了，成为了归档数据，但只有当它到了规定的年限，才能被删除。

对于网络存储***而言，即使是同一个网络存储***，磁盘类型、磁盘转速等影响磁盘的性能，在此基础上，组成Raid阵列的磁盘类型不同、磁盘数目不同、阵列Raid级别不同，Raid阵列的性能和可靠性也各不相同。因此出现了数据分层存储的概念。″分层″是指根据客户端对数据存储和访问的实际统计数据，将用户存储在网络存储***中的数据在不同的Raid阵列上迁移，即把长时间不访问的数据自动迁移到速度较慢、成本较低的Raid阵列上，如SATA磁盘，以此来降低硬件成本；而把那些经常被访问或重要的数据放在速度较快、成本较高的Raid阵列上，如SAS磁盘、SSD磁盘，以此来提升性能。同时数据的迁移是在逻辑资源以下的层面进行的，整个过程对于用户来说是透明的，***中的逻辑映射单元会根据迁移的结果未改变逻辑地址到物理地址的映射。

目前比较常见网络存储***资源的分层管理技术有两种。一种是基于Raid阵列的段式管理，其层次结构如图1所示。基本的管理步骤如下：第一步：使用磁盘创建Raid阵列；第二步：使用Raid阵列的空闲段来创建逻辑资源，一个Raid阵列上可以创建多个逻辑资源，一个逻辑资源可分布在多个RAID。

在这种管理方式中，Raid阵列和逻辑资源是多对多的关系，因此存储空间管理比较灵活简单，为逻辑资源增加新的段即可。基于Raid阵列的段式管理，逻辑资源和Raid阵列都需要维护多对多的资源布局映射关系，每个段的大小取决于Raid阵列的空闲物理段大小和将要创建的逻辑资源大小，段的长度并不是固定的。然而这种管理技术存在一定的弊端。一方面，逻辑资源和Raid阵列上的段较多时，多次创建、删除逻辑资源后，将产生大量的碎片；另一方面，对于自动分层的需求，如果整段迁移，迁移的粒度会比较大，有可能无法在Raid阵列中找到段的大小能够满足需求的目标段；如果迁移部分数据，则可能需要将已有的段再切片，碎片更多，管理更复杂；总的看来，基于Raid阵列的段式管理支持自动分层的代价较大。

另一种现有的管理技术是逻辑资源和Raid阵列合一的管理方式，其层次结构如图2所示。其基本管理步骤如下：第一步：使用磁盘创建磁盘组，磁盘组代表一组磁盘，不是Raid阵列实体；第二步：基于磁盘组创建Raid阵列，创建的Raid阵列实体也是客户端可直接访问的存储空间(逻辑资源)。

在这种管理方式中，，阵列实体和逻辑资源实体合一，数据路径短，性能较优。对于逻辑资源和Raid阵列合一的管理方式，逻辑资源就是一个Raid阵列，一个Raid阵列只能基于一个磁盘组创建，然而这种管理技术虽然比较简化，但其存在若干明显的技术问题：第一，对于逻辑资源扩容，不管是在同一个磁盘组上扩容(即同一个Raid的磁盘空间不是连续分布的)，还是使用不同的磁盘组扩容，都需要在逻辑资源上额外增加一个虚拟化层，实现复杂；第二，对于自动分层的需求，因为逻辑资源管理的最小粒度就是Raid阵列，因此只能整个Raid阵列一起迁移，迁移的粒度太大。在此基础上，一种改进方案是，基于逻辑资源划分子卷，实现基于子卷的迁移，这种方案细化了迁移的粒度，但是需要在已有的逻辑资源上增加子卷管理层；另外仅在已有的逻辑资源上划分子卷，没有把空闲空间统一管理起来。综上所述，目前用户迫切需要一种管理方式简单，扩容灵活方便并且在自动分层的情况下数据的迁移易于实现，同时代价较低的存储分层管理技术。

发明内容

有鉴于此，本发明的目的在于提供一种管理方式简单，扩容灵活方便并且在自动分层的情况下数据的迁移易于实现，同时代价较低的存储分层管理技术。为达到上述目的本发明提供技术方案为：

一种存储资源的管理方法，其应用于网络存储***中，其中所述网络存储***包括存储控制器以及多块磁盘，且使用磁盘创建至少第一和第二独立冗余磁盘阵列(Raid阵列)，所述存储控制器的前端端口通过网络连接主机，所述存储控制器的后端磁盘端口与所述磁盘相连；该方法包括：

A，根据预设的资源块大小分别对上述第一和第二Raid阵列的可用存储空间进行分块，在所述存储控制器内针对上述第一和第二Raid阵列建立相应的块表，所述块表用以记录上述Raid阵列的每一资源块是否被占用，其中所述第一和第二Raid阵列的资源块大小不同；

B，创建逻辑资源时为逻辑资源分配至少一个资源块，并在逻辑资源占用的Raid阵列的块表中将分配给该逻辑资源的资源块标记为占用状态；

C，在所述存储控制器内为上述逻辑资源建立逻辑资源索引表以记录逻辑资源与其自身分配到的资源块的对应关系以及逻辑资源分配到的每一资源块的大小；

D，以资源块为单位对上述逻辑资源进行管理操作，并在管理操作完成之后更新所述块表以及逻辑资源索引表。

优选地，所述以资源块为单位对逻辑资源进行管理操作具体为：以资源块为单位为待扩容的逻辑资源分配更多的资源块，并更新用于扩容的Raid阵列的块表以及所述逻辑资源的逻辑资源索引表；或者以资源块为单位将逻辑资源内的数据从一个Raid阵列迁移到另一个Raid阵列上的多个资源块上，并更新两个Raid阵列的块表以及所述逻辑资源索引表。

优选地，所述步骤D之后还包括：E，对管理操作执行相应的逻辑地址到物理地址的映射变更操作。

优选地，其中第一Raid阵列资源块大小是第二Raid阵列资源块大小的N倍，其中N是大于等于2的自然数。

本发明还提供一种网络存储***管理装置，用于执行网络存储***内的资源管理操作，其中网络存储***包括存储控制器以及多块磁盘，且使用磁盘创建至少一个独立冗余磁盘阵列(Raid阵列)，所述存储控制器的前端端口通过网络连接主机，所述存储控制器的后端磁盘端口与所述磁盘相连；该管理装置包括：

资源块管理单元，根据预设的资源块大小分别对所述第一以及第二Raid阵列的可用存储空间进行分块，在所述存储控制器内针对第一以及第二Raid阵列建立相应的块表，所述块表用以记录上述Raid阵列的每一资源块是否被占用，其中第一Raid阵列的资源块大小不同于第二Raid阵列的资源块；

管理初始化单元，创建逻辑资源时为逻辑资源分配至少一个资源块，并在逻辑资源占用的Raid阵列的块表中将分配给该逻辑资源的资源块标记为占用状态，并在所述存储控制器内为上述逻辑资源建立逻辑资源索引表以记录逻辑资源与其自身分配到的资源块的对应关系以及逻辑资源分配到的每一资源块的大小；

管理操作处理单元，以资源块为单位对上述逻辑资源进行管理操作，并在管理操作完成之后更新所述块表以及逻辑资源索引表。

优选地，所述管理操作处理单元以资源块为单位对逻辑资源进行管理操作具体为：以资源块为单位为待扩容的逻辑资源分配更多的资源块，并更新用于扩容的Raid阵列的块表以及所述逻辑资源的逻辑资源索引表；或者以资源块为单位将逻辑资源内的数据从第一Raid阵列迁移到第二Raid阵列上的多个资源块上，并更新两个Raid阵列的块表以及所述逻辑资源索引表。

优选地，还包括：逻辑映射单元，用于对管理操作执行相应的逻辑地址到物理地址的映射变更操作。

优选地，其中所述第一Raid阵列资源块大小与第二Raid阵列资源块大小的N倍，其中N是大于等于2的自然数。

附图说明

图1是现有的段式管理结构层次图。

图2是现有的逻辑资源与Raid阵列合一管理方式的结构层次图。

图3是本发明网络存储***管理装置逻辑结构图。

图4是本发明网络存储***中资源块分配示意图。

图5是本发明网络存储***中资源块分配的另一示意图。

图6是本发明逻辑资源创建以及扩容过程示意图。

图7是本发明逻辑资源数据迁移示意图。

具体实施方式

本发明聚焦于存储资源的管理技术，其可以解决现有技术中在存储资源管理上的切实问题，同时能够跟上层的应用以及底层的技术无缝融合起来。本发明较佳的实施方式是采用软件技术实现，当然并不排除一些软硬件结合或者固件的方式来实现，以下结合一些实例来介绍本发明典型的处理流程。在本发明中如无特殊说明，而存储***即为网络存储***，如果没有特别说明，存储空间是指逻辑层面上存储空间。

请参考图3，本发明网络存储***管理装置在网络存储***中运行主要包括以下步骤：

步骤101，在网络存储***中利用多个磁盘创建第一Raid阵列和第二Raid阵列；请对照图3，这一步骤由阵列初始化单元10(也可称为阵列管理单元)执行；在本实施方式中网络存储***中包括存储控制器以及至少第一及第二独立冗余磁盘阵列(Raid阵列)，所述存储控制器的前端端口通过网络连接主机，所述存储控制器的后端端口与所述Raid阵列中的各个物理磁盘相连；创建Raid阵列的过程可以参考现有的Raid技术，其中本发明对Raid级别并没有特别要求，可以互不相同，只要存储控制器内的Raid模块支持即可。对于扩容来说，涉及一个多个阵列；而对于数据迁移来说，一般来说至少涉及两个阵列，并且两个在可靠性、成本或者访问速度三种参数上至少存在一种或者多种差异；当然存储***中同样可能存在多个其他阵列上述三个参数完全相同的。需要说明的在本发明中，与现有技术一样，不同级别的Raid阵列向用户或者管理层提供的相同的存储空间时，是需要屏蔽不同级别Raid阵列的校验开销上的差异，也就是说实际上占用的磁盘空间大小并不相同，但对于逻辑资源管理操作或者用户的操作来说这种差异并不可见。

步骤102，根据预设的资源块大小对上述第一以及第二Raid阵列的可用的存储空间进行分块，在所述存储控制器内建立相应的块表20，所述块表用以记录每一资源块是否被占用；其中第一和第二Raid阵列的资源块的大小不同。作为优选的方式，两个阵列的资源块的大小呈现整数倍关系，即第一Raid阵列的资源块大小是第二Raid阵列资源块大小的N倍，其中N是大于等于2的自然数。这一步骤由资源块管理单元30执行。这里预设的资源块大小，可以是用户通过资源块管理单元配置的，也可以是软件事先配置好默认参数。请参考图4并结合图5，***需要为阵列初始化单元提供的每个Raid阵列都维护相应的块表，因为块是固定长度，且由于每个块和资源分配相关的特性是已占用和未占用(即空闲)，因此实现上可以使用bitmap表，即一个bit标记一个块，一方面可提高检索效率，另一方面可节省块表占用的空间。请参考图5，比如将一个64GB的第一Raid阵列(array1)按照1GB的块大小划分为64块，array1的块表仅需要8个字节的空间。每个bit位为1的表示该资源块已经被占用，而0则表示没有被占用。再比如将一个32GB的第二Raid阵列(array2)按照512M的块大小划分为64块，第二Raid阵列的块表同样也许需要8个字节的空间。每个bit位为1的表示该资源块已经被占用，而0则表示没有被占用。然而，array1的资源块与array2的资源块大小可以不呈现整数倍的关系，比如说一个为1GB，另一个为500M，同样也可以实现本发明的基本目的，只不过会引入少量的碎片而已。

步骤103，创建逻辑资源(LUN)时为LUN分配至少一个资源块，并在逻辑资源占用的Raid阵列的块表中将分配给该逻辑资源的资源块标记为占用状态；

步骤104，在LUN创建之后，为每个LUN建立逻辑资源索引表40以记录逻辑资源与其自身分配到的资源块的对应关系；步骤103以及步骤104由管理初始化单元50执行。

请参考图6，逻辑资源索引表中的前四行记录了第一Raid阵列的哪些资源块被分配给了LUN1，以索引标记A0B10为例，其表示array1的第十个资源块，即块表中第三行从左到右第三个位置所表示的资源块，同时索引表中还标记了该资源块的大小是1GB。虽然图6前四行所示的情形是LUN1对应的所有资源块都在第一Raid阵列中。很容易理解的是，LUN1对应的资源块可以分布在不同的Raid阵列中。如果分配了第二Raid阵列的资源块的话，则需要在逻辑资源索引表中进行同样的记录。

步骤105，以资源块为单位对逻辑资源进行管理操作，并在管理操作完成之后更新所述块表以及逻辑资源索引表。

步骤105由管理操作处理单元60来执行。具体来说，在Raid阵列块表以及逻辑索引表创建之后，即可开始以资源块为单位对逻辑资源进行管理了。本发明以最典型的逻辑资源扩容和逻辑资源数据迁移为例进行说明。对于逻辑资源扩容需要以资源块为单位为待扩容的逻辑资源分配更多的资源块，并更新用于扩容的Raid阵列的块表以及所述逻辑资源的逻辑资源索引表；对于数据迁移来说，同样以资源块为单位将逻辑资源内的数据从一个Raid阵列迁移到另一个Raid阵列上，并更新两个Raid阵列的块表以及所述逻辑资源索引表。

无论是逻辑资源扩容还是数据的迁移，其遵循本发明基本的管理流程，以上述资源块为单位的管理操作模式。

同样请参考图6，以逻辑资源的扩容为例：

在优选的实施方式下，有扩容需求的时候管理操作处理单元首先要在本步骤要判断网络存储***剩余的可用空间是否满足扩容的需求；如果满足，继续处理；如果不满足，提示错误；显而易见的是，这里所说的可用空间是指所有Raid阵列的可用空间。

步骤I、根据本次扩容需要增加的容量，选择使用哪些Raid阵列进行扩容，检索所选Raid阵列的bitmap表，找到空闲块(即未被占用的资源块)，同时修改逻辑资源的索引区，更新所述块表以及逻辑资源索引表，对于被使用的资源块应该重新标记为已占用，对于逻辑资源索引表的更新则需要增加逻辑资源和选用的资源块的映射关系，由于第一和第二Raid阵列的资源块的大小并不相同，如前所述的那样同时还需要记录选用的资源块的大小。

步骤II、重复步骤I直到完成本次扩容的需求。

需要补充说明的是，管理操作处理单元在执行扩容的过程中，可以做一些优化处理，比如说如果发现某个Raid阵列存在连续的空闲块，可在一个步骤中同时扩容多个块，优化效率。图6虚线部分清晰并形象地表示出对LUN1扩容了8GB，LU容量从16GB交为24GB。

请参考图7，再以逻辑资源的数据迁移为例：

如背景技术中所提及的那样，一般来说自动分层的基础是IO统计，根据预设的策略或者算法找到访问的热点(即频繁访问的数据)和冷点(即长时间不访问的数据)，然后根据预设的策略执行数据迁移。需要说明的是，基于IO的统计只是业界流行的数据分层理念，然而用户对于数据的分层可能并非基于数据的冷热，因此性能统计仅仅是一种常见的数据迁移依据，然而用户也可不以此为基础进行数据迁移，因为用户对数据具有完全的控制权。同样以块为但未来执行数据的迁移这种管理操作，本实施方式在步骤105中管理操作执行单元需要按照块为单位进行性能统计，区分出冷点数据和热点数据，然后按照资源块为单元执行数据迁移，这样迁移的粒度较小。具体来说在触发数据迁移的时候：首先根据预设的策略，找到迁移的目标Raid阵列；比如说对于冷点数据可以选择读写性能和/或成本较低的Raid阵列作为目标Raid阵列，而对于热点数据可以选择读写性能更高的Raid阵列作为目标Raid阵列。

然后检索目标Raid阵列的bitmap表，找到空闲块，标记该块为可用，然后从源块同步数据到目标快；与扩容例子一样的是，如果目标Raid阵列存在连续的空闲块，可以同时迁移多个块，优化效率。

数据同步完成后，更新所述块表以及逻辑资源索引表，具体为修改源Raid阵列和目标Raid阵列的块表，修改源块所在Raid阵列的bitmap表，标记源块为空闲块，才把该块的空间释放出来，继续使用。对于逻辑资源索引表进行修改，使用目标资源块替换源资源块的映射关系。请参考图7所示，根据统计数据，判断LUN1的热点数据是A1B11和A1B15，因此把这两块的数据从第一Raid阵列(Array1)迁移到第二Raid阵列(Array2)上，对应Array2的第一到第四个资源块。由于第二Raid阵列的资源块大小是512M，只有第一Raid阵列资源块大小的一半，因此刚好需要用到4个资源块。相应地，逻辑资源索引表需要对应为这四个资源块进行更新记录对应关系以及块的大小。图7的虚线部分非常形象地展示出了数据迁移的过程，这里需要补充说明的是，图7中第二Raid阵列的块表是一个缩略的表示方式，只示出了其中四行，这对于本领域普通技术人员来说是容易理解的。数据迁移的处理除了同步数据之外，仅需要修改bitmap表中的标记和逻辑资源的索引区，未引入碎片，也没有引入新的管理实体，可根据网络存储***的性能统计数据和预设的策略实现整个网络存储***内存储空间的相对简洁和相对统一的管理。

与现有的管理技术一样，管理操作会触发更底层的逻辑映射操作，一般的网络存储***的逻辑映射单元70都会为管理操作执行相应的逻辑地址到物理地址的映射变更操作。比如说，当数据发生迁移时，逻辑地址到物理地址的映射需要进行变更，以使的数据迁移的过程对于网络上主机来说是不可见的，不影响用户的正常读写操作。

以上所述仅仅为本发明较佳的实现方式，任何基于本发明精神所做出的等同的修改皆应涵盖于本发明的权利要求范围中。

Claims (8)

1.一种存储资源的管理方法，其应用于网络存储***中，其中所述网络存储***包括存储控制器以及多块磁盘，且使用磁盘创建至少第一和第二独立冗余磁盘阵列(Raid阵列)，所述存储控制器的前端端口通过网络连接主机，所述存储控制器的后端磁盘端口与所述磁盘相连；其特征在于，该方法包括：

A，根据预设的资源块大小分别对上述第一和第二Raid阵列的可用存储空间进行分块，在所述存储控制器内针对上述第一和第二Raid阵列建立相应的块表，所述块表用以记录上述Raid阵列的每一资源块是否被占用，其中所述第一和第二Raid阵列的资源块大小不同；

B，创建逻辑资源时为逻辑资源分配至少一个资源块，并在逻辑资源占用的Raid阵列的块表中将分配给该逻辑资源的资源块标记为占用状态；

C，在所述存储控制器内为上述逻辑资源建立逻辑资源索引表以记录逻辑资源与其自身分配到的资源块的对应关系以及逻辑资源分配到的每一资源块的大小；

D，以资源块为单位对上述逻辑资源进行管理操作，并在管理操作完成之后更新所述块表以及逻辑资源索引表。

2.根据权利要求1所述的方法，其特征在于，所述以资源块为单位对逻辑资源进行管理操作具体为：以资源块为单位为待扩容的逻辑资源分配更多的资源块，并更新用于扩容的Raid阵列的块表以及所述逻辑资源的逻辑资源索引表；或者以资源块为单位将逻辑资源内的数据从一个Raid阵列迁移到另一个Raid阵列上的多个资源块上，并更新两个Raid阵列的块表以及所述逻辑资源索引表。

3.根据权利要求1所述的方法，其特征在于，所述步骤D之后还包括：E，对管理操作执行相应的逻辑地址到物理地址的映射变更操作。

4.根据权利要求1-4所述的方法，其特征在于，其中第一Raid阵列资源块大小是第二Raid阵列资源块大小的N倍，其中N是大于等于2的自然数。

5.一种网络存储***管理装置，用于执行网络存储***内的资源管理操作，其中网络存储***包括存储控制器以及多块磁盘，且使用磁盘创建至少一个独立冗余磁盘阵列(Raid阵列)，所述存储控制器的前端端口通过网络连接主机，所述存储控制器的后端磁盘端口与所述磁盘相连；其特征在于，该管理装置包括：

资源块管理单元，根据预设的资源块大小分别对所述第一以及第二Raid阵列的可用存储空间进行分块，在所述存储控制器内针对第一以及第二Raid阵列建立相应的块表，所述块表用以记录上述Raid阵列的每一资源块是否被占用，其中第一Raid阵列的资源块大小不同于第二Raid阵列的资源块；

管理初始化单元，创建逻辑资源时为逻辑资源分配至少一个资源块，并在逻辑资源占用的Raid阵列的块表中将分配给该逻辑资源的资源块标记为占用状态，并在所述存储控制器内为上述逻辑资源建立逻辑资源索引表以记录逻辑资源与其自身分配到的资源块的对应关系以及逻辑资源分配到的每一资源块的大小；

管理操作处理单元，以资源块为单位对上述逻辑资源进行管理操作，并在管理操作完成之后更新所述块表以及逻辑资源索引表。

6.根据权利要求5所述的管理装置，其特征在于，所述管理操作处理单元以资源块为单位对逻辑资源进行管理操作具体为：以资源块为单位为待扩容的逻辑资源分配更多的资源块，并更新用于扩容的Raid阵列的块表以及所述逻辑资源的逻辑资源索引表；或者以资源块为单位将逻辑资源内的数据从第一Raid阵列迁移到第二Raid阵列上的多个资源块上，并更新两个Raid阵列的块表以及所述逻辑资源索引表。

7.根据权利要求5所述的管理装置，其特征在于，还包括：逻辑映射单元，用于对管理操作执行相应的逻辑地址到物理地址的映射变更操作。

8.根据权利要求5-7所述的管理装置，其特征在于，其中所述第一Raid阵列资源块大小与第二Raid阵列资源块大小的N倍，其中N是大于等于2的自然数。

Images