CN104102454A - 一种自动实现分层存储的方法和管理分层存储的*** - Google Patents

Abstract

本发明实施例提供一种自动实现分层存储的方法和管理分层存储的***，分层存储单元包括支持不同存取速度的存储层，存储设备包括多个磁盘区块；方法包括：在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块；将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。

Description

一种自动实现分层存储的方法和管理分层存储的***

技术领域

本发明涉及数据存储技术，特别是指一种自动实现分层存储的方法和管理分层存储的***。

背景技术

选择存储技术通常需要在超高容量、低成本和低性能，以及，高度先进的数据管理功能和极高的性能之间进行平衡。随着容量的增长，手动迁移数据太费时，有限的人力资源使存储管理员精疲力竭，分层存储成为一种必需的选择架构，其可以综合容量、数据管理的能力、功能、性能，以及价格等因素，提供性价比最优的存储方案以实现上述的平衡。

分层存储如果设计和实施得当，可通过部署能够迁移数据或应用程序并对其生命周期需求做出响应的工具来降低管理成本，并且像管理单层架构一样对分层存储进行管理。分层存储提升存储效率的同时，减少使用昂贵存储设备，将相对不常访问的数据由昂贵的固态硬盘或者光纤磁盘设备无缝迁移到相对廉价的串行高级技术附件(SATA，Serial Advanced Technology Attachment)盘或者串行连接SCSI(SAS，Serial Attached SCSI)盘上。

存储供应商公布了或者提供了各种分层存储的解决方案。许多供应商的分层解决方案实际上都是仅含磁盘的策略，只是纳入了具有不同RPM速度和价格范围的磁盘产品。

现有技术存在如下问题：很少有供应商实际提供包含高性能固态磁盘(SSD)、磁盘阵列(RAID)和归档磁带在内的全面的分层存储技术，目前的自动分层存储不能提供实时的管理功能，非破坏性的迁移大量数据会耗费过多的时间和资源。

发明内容

本发明要解决的技术问题是提供一种自动实现分层存储的方法和管理分层存储的***，解决现有技术中，自动分层存储不能提供实时的管理功能，导致非破坏性的迁移大量数据会耗费过多的时间和资源的缺陷。

为解决上述技术问题，本发明的实施例提供一种自动实现分层存储的方法，分层存储单元包括支持不同存取速度的存储层，存储设备包括多个磁盘区块；方法包括：在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块；将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。

所述的方法中，在一个时间区间内不间断跟踪与统计各个磁盘区块的存取频率包括：所述一个时间区间具体是业务低峰时段，在业务低峰时段内，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为存取频率。

所述的方法中，磁盘区块的存取频率包括：磁盘区块的存入频率，磁盘区块的读出频率。

所述的方法中，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频率包括：在每一个周期内，同时统计各个磁盘区块的存入频率和读出频率，存入频率和读出频率的和值作为一个周期内的当前存取频率，将各个周期统计出的所述当前存取频率进行累加后再进行平均计算得到所述存取操作的存取频率。

所述的方法中，存储设备包括多个磁盘区块，具体包括：将存储设备中的磁盘划分为若干个逻辑上的磁盘区块，每一个磁盘区块的容量符合精细度的规定。

所述的方法中，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块包括：在业务低峰时段内，周期性根据统计出的存取频率分析出热区块与冷区块。

所述的方法中，将热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层，之前还包括：建立热区块到高速存储层之间的多路径传输链路，建立冷区块到低速存储层之间的多路径传输链路。

一种实现分层存储的***，包括：分层存储单元，包括支持不同存取速度的存储层；存储设备，包括多个磁盘区块；数据收集与分析模块，用于在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块；数据迁移模块，用于将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。

所述的***中，还包括：存储虚拟化模块，与存储设备连接，用于将存储设备中的磁盘划分为若干个逻辑上的磁盘区块，每一个磁盘区块的容量符合精细度的规定。

所述的***中，还包括：数据收集与分析模块包括：跟踪统计单元，用于设定所述一个时间区间具体是业务低峰时段，并在业务低峰时段内，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频率；分析单元，用于在业务低峰时段内，周期性根据统计出的存取频率分析出热区块与冷区块。

本发明的上述技术方案的有益效果如下：跟踪与统计各个磁盘区块的存取频率的过程中，根据统计的结果，将存取频繁的数据迁移到高速存储层，将存取不频繁的数据迁移到低速存储层，节省了迁移大量数据的时间和资源，并且在之后的访问过程中，将对热点数据和非热点数据的访问分别指向高速和低速存储层，这优化了访问过程。

附图说明

图1表示一种自动实现分层存储的方法的流程示意图；

图2表示一种自动实现分层存储的***架构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供一种自动实现分层存储的方法，分层存储单元包括支持不同存取速度的存储层，存储设备包括多个磁盘区块；

如图1所示，方法包括：

步骤101，在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块；

步骤102，将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。

应用所提供的技术，跟踪与统计各个磁盘区块的存取频率的过程中，根据统计的结果，将存取频繁的数据迁移到高速存储层，将存取不频繁的数据迁移到低速存储层，节省了迁移大量数据的时间和资源，并且在之后的访问过程中，将对热点数据和非热点数据的访问分别指向高速和低速存储层，这优化了访问过程。

不同存取速度的存储层具体包括：低速存储层，正常存储层和高速存储层。分层存储单元与存储设备之间，两者在物理上可以是隔离的，也可以是部分相同的，例如正常存储层也是存储设备的一部分。

存取频繁的数据所在的区域即为热区块，存取不频繁的数据所在的区域即为冷区块，第一阈值和第二阈值则是可以预先设定的数值。

正常存储层、高速存储层和低速存储层中都有磁盘区块，高速存储层中的物理磁盘可以是固态硬盘，低速存储层中的物理磁盘是磁带、Sata磁盘等。

高速存储层与低速存储层之间的高速和低速可以是相对的，换言之，高速存储层相对于低速存储层是高速的，低速存储层相对于高速存储层是低速的。

如图2所示，第一层是高速存储层，第二层是正常存储层，第三层是低速存储层。

在一个优选实施例中，在一个时间区间内不间断跟踪与统计各个磁盘区块的存取频率包括：

所述一个时间区间具体是业务低峰时段，

在业务低峰时段内，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频率。

在一个优选实施例中，磁盘区块的存取频率包括：磁盘区块的存入频率，磁盘区块的读出频率。

分层存储涉及精细度和运算周期。

精细度，是指允许以多大的磁盘单位来执行存取行为、收集分析和数据迁移。精细度决定了执行重新配置时所需迁移的数据量，所能达到的存储配置的最优化效果，理论上越精细、越小越好，但过于精细会增加跟踪统计操作带给控制器的负担，对于1个100GB的逻辑单元号(LUN，Logical Unit Number)，若精细度为1GB，需跟踪统计100个数据区块，若精细度为10MB，需跟踪统计1万个数据区块，操作量高出了100倍，同时对应于数据区块的metadata数据量也随之大幅增加。

在一个优选实施例中，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频率包括：

在每一个周期内，同时统计各个磁盘区块的存入频率和读出频率，存入频率和读出频率的和值作为一个周期内的当前存取频率，

将各个周期统计出的所述当前存取频率进行累加后再进行平均计算得到所述存取操作的存取频率。

在一个优选实施例中，存储设备包括多个磁盘区块，具体包括：

将存储设备中的磁盘划分为若干个逻辑上的磁盘区块，每一个磁盘区块的容量符合精细度的规定。

本发明实施例提供的技术适用于包括RAID阵列和归档磁带在内的各种类型的存储介质，并不局限于RAID阵列。若存储设备具体是RAID阵列，RAID阵列中，每一个逻辑上的磁盘区块的容量符合精细度的规定。

精细度的规定包括，一个LUN中，一个磁盘区块的容量小于等于LUN的容量的百分之一，大于等于LUN的容量的万分之一。

将分散在不同存储层的磁盘区块，组合成虚拟的LUN或卷(Volume)，换言之，是将卷或LUN包含的磁盘区块分散在不同的存储层上。

运算周期，是指多久执行一次存取行为、收集分析和与数据迁移。运算周期影响***反映磁盘存取行为变化的速度，运算周期过短、越密集，***将能更快的根据最新的磁盘存取状态重新配置数据在不同磁盘层中的分布；反之，若运算周期过长，很可能磁盘存取状态已发生重大变化，但整个***仍必须缓慢地等到下次统计分析与数据迁移时间到来，才能重新分派磁盘资源；运算周期太密集，也会造成统计分析与数据迁移操作占用过多I/O资源的副作用。

在一个优选实施例中，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块包括：

在业务低峰时段内，周期性根据统计出的存取频率分析出热区块与冷区块。

数据迁移作业，会消耗磁盘阵列控制器的能效，因此提供预设操作功能允许设定统计分析与数据迁移操作的时间区段，以便避开存取高峰时段。

通常可以以24小时为一个运算周期，具体地，可设定只允许在晚上七点以后，或周五晚上到周日凌晨等下班时段，执行迁移操作。或者也可以以一周为一个运算周期，在周末执行迁移操作。

考虑到数据传输的单路径故障，自动分层存储支持多路径传输。

在一个优选实施例中，将热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层，之前还包括：

建立热区块到高速存储层之间的多路径传输链路，

建立冷区块到低速存储层之间的多路径传输链路。

数据的存入频率与读出频率之间的差异可能很大，一些数据只会源源不断地写入，但很少有机会被读取，一些数据改写的几率不大，但是读取很频繁，把读取与存入数据放在一起分析不够准确。

在一个优选实施例中，在一个时间区间内不间断跟踪与统计各个磁盘区块的存取频率，具体包括：

不间断跟踪与统计各个磁盘区块的存入频率，

不间断跟踪与统计各个磁盘区块的读出频率。

将对数据的读取与存入分开进行统计会得到更为精确的统计结果。

基于此，在一个优选实施例中，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块，具体包括：

定期动态分析出存入频率大于第一阈值的热区块与存入频率小于第二阈值的冷区块；

定期动态分析出读出频率大于第一阈值的热区块与读出频率小于第二阈值的冷区块。

本发明实施例提供一种自动实现管理分层存储的***，如图2所示，包括：

分层存储单元，包括支持不同存取速度的存储层；

存储设备，包括多个磁盘区块；

数据收集与分析模块，用于在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块；

数据迁移模块，用于将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。

如图2所示，不同存取速度的存储层包括高速存储层、正常存储层和低速存储层。

在一个优选实施例中，还包括：

存储虚拟化模块，与存储设备连接，用于将存储设备中的磁盘划分为若干个逻辑上的磁盘区块，每一个磁盘区块的容量符合精细度的规定。

具体地，存储虚拟化模块将分散在不同存储层的磁盘区块，组合成虚拟的Volume或LUN，也就是将Volume或LUN的区块分散到不同存储层上。

数据收集与分析模块又称为IO统计模块，在一个优选实施例中，数据收集与分析模块，包括：

跟踪统计单元，用于设定所述一个时间区间具体是业务低峰时段，并在业务低峰时段内，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频率；

分析单元，用于在业务低峰时段内，周期性根据统计出的存取频率分析出热区块与冷区块。

采用本方案之后的优势是：跟踪与统计各个磁盘区块的存取频率的过程中，根据统计的结果，将存取频繁的数据迁移到高速存储层，将存取不频繁的数据迁移到低速存储层，节省了迁移大量数据的时间和资源，并且在之后的访问过程中，将对热点数据和非热点数据的访问分别指向高速和低速存储层，这优化了访问过程。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种自动实现分层存储的方法，其特征在于，分层存储单元包括支持不同存取速度的存储层，存储设备包括多个磁盘区块；

方法包括：

在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块；

将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。

2.根据权利要求1所述的方法，其特征在于，在一个时间区间内不间断跟踪与统计各个磁盘区块的存取频率包括：

所述一个时间区间具体是业务低峰时段，

在业务低峰时段内，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频率。

3.根据权利要求2所述的方法，其特征在于，磁盘区块的存取频率包括：磁盘区块的存入频率，磁盘区块的读出频率。

4.根据权利要求3所述的方法，其特征在于，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频率包括：

在每一个周期内，同时统计各个磁盘区块的存入频率和读出频率，存入频率和读出频率的和值作为一个周期内的当前存取频率，

将各个周期统计出的所述当前存取频率进行累加后再进行平均计算得到所述存取操作的存取频率。

5.根据权利要求1所述的方法，其特征在于，存储设备包括多个磁盘区块，具体包括：

将存储设备中的磁盘划分为若干个逻辑上的磁盘区块，每一个磁盘区块的容量符合精细度的规定。

6.根据权利要求1所述的方法，其特征在于，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块包括：

在业务低峰时段内，周期性根据统计出的存取频率分析出热区块与冷区块。

7.根据权利要求1所述的方法，其特征在于，将热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层，之前还包括：

建立热区块到高速存储层之间的多路径传输链路，

建立冷区块到低速存储层之间的多路径传输链路。

8.一种实现分层存储的***，其特征在于，包括：

分层存储单元，包括支持不同存取速度的存储层；

存储设备，包括多个磁盘区块；

数据收集与分析模块，用于在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块；

数据迁移模块，用于将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。

9.根据权利要求8所述的***，其特征在于，还包括：

存储虚拟化模块，与存储设备连接，用于将存储设备中的磁盘划分为若干个逻辑上的磁盘区块，每一个磁盘区块的容量符合精细度的规定。

10.根据权利要求8所述的***，其特征在于，数据收集与分析模块包括：

跟踪统计单元，用于设定所述一个时间区间具体是业务低峰时段，并在业务低峰时段内，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频率；

分析单元，用于在业务低峰时段内，周期性根据统计出的存取频率分析出热区块与冷区块。