CN103616944B - 云存储***中基于预判性绿色数据分类策略的降耗方法 - Google Patents

Abstract

本发明公开了一种云存储***中基于预判性绿色数据分类策略的降耗方法。本发明将文件的访问率与阈值比较，访问率大于热阈值就是热数据，访问率小于冷阈值就是冷数据，介于冷热阈值之间的数据则将其进行预判，当某时间段热时，就将其迁移至热区域，否则将其放入冷区域。如果有新数据进行写操作，且原云存储***不存在该数据，将该数据与原云存储***中的数据进行关联度分析，找到与其相关度最高的数据，将新数据放入与旧数据相同类型的磁盘中。本发明很好地将数据文件进行合理的分类，通过合理有效的分类基本避免了在不合理分类的情况下可能出现的热文件在冷区域，冷文件在热区域中的能源消耗和文件读取时延增加的情况。

Description

云存储***中基于预判性绿色数据分类策略的降耗方法

技术领域

本发明属于计算机数据管理领域，具体是一种云存储***中基于预判性绿色数据分类策略的降耗方法。

背景技术

随着数据密集型应用和服务的越来越普及，大型数据中心消耗着巨大的电力资源，并快速增长。据统计美国2011年所有数据中心的能耗总和为100TWh，按照普通的电费计价方法将花费掉1000亿美元，相比于2005年消耗的40TWh上涨了两倍之多，数据中心的能耗占了美国所有能耗的1～2%。而其中存储***是数据中心的能耗大户，占了25～35%。数据中心不仅自身消耗巨大的能量，冷却设备所消耗的能量也是不可忽略的（占数据中心消耗能量的三分之一），更为严峻的是：除了能耗本身所带来的经济损失，其散发出的二氧化碳还会对环境产生恶劣的影响(在美国1度电会排放出0.7kg的二氧化碳)。而随着各种应用对存储设备的需求以每年60％的增长率在扩大，存储***将消耗的能量更不容忽视。因此如何降低大型数据中心存储设备的能耗是一个迫切需要解决的问题。

发明内容

本发明主要是针对现有的利用数据分类的技术将不同的数据放入不同的磁盘区域来节省能耗中的不足，引入了对新数据以及季节热数据的概念，提出了预判性绿色数据分类策略。预判性绿色数据分类策略就是将文件的访问率与阈值比较，访问率大于热阈值就是热数据，访问率小于冷阈值就是冷数据，介于冷热阈值之间的数据则将其进行预判，当某时间段热时，就将其迁移至热区域，否则将其放入冷区域。如果有新数据进行写操作，且原云存储***不存在该数据，将该数据与原云存储***中的数据进行关联度分析，找到与其相关度最高的数据，将新数据放入与旧数据相同类型的磁盘中。

本发明方法的具体步骤是：

步骤（1）：对冷数据，热数据，季节热数据，以及新数据进行界定，具体界定如下：

1）冷数据：即在长期的数据操作过程中该数据的平均访问操作次数小于冷阈值。

2）热数据：即在长期的数据操作过程中该数据的平均访问操作次数大于热阈值。

3）季节热数据：即在长期的操作过程中该数据只有某段或某几段时间操作平均次数大于热阈值，数据温度呈现上下波动的情况，而在整个数据操作过程中数据平均访问操作次数处于冷热阈值之间。

4）新数据：即表示在云存储***中没有存在的数据，相应的该数据也不存在***作的次数。

步骤（2）：对预判性绿色数据分类策略模型的定义：

定义F＝{f₁,...,f_i,...,f_m}，F代表文件集合，f_i＝{m_i,p_i}，其中p_i表示文件f_i当前日期的前两年的每个月访问率构成的数组，m_i表示文件f_i的属性值，其中属性包括：文件的关键字的哈希值，文件名称的哈希值，文件内容的哈希值。p_ij代表数组p_i中的第j个元素，ap_i代表p_i数组的平均值，它是访问数据的平均访问率，

1）判定访问数据的平均访问频率ap_i是否为0，否，则该数据为旧数据，转至2）；是，则该数据为新数据，转至4）。

2）将旧数据的平均访问频率值ap_i与冷热阈值进行比较，如果平均访问频率大于等于热阈值th_h，则该数据为热数据，将该数据放入热磁盘；将冷热阈值之间的数据视为季节热数据，将小于等于冷阈值th_c的数据视为冷数据，将冷数据和季节热数据放入冷磁盘中；如果该数据为季节热数据，在放入冷磁盘之后，转至3）。

3）通过神经网络对季节热数据进行预测，预测其下个月的平均访问率，判断其下个月的温度。如果其下个月的平均访问率大于等于热阈值th_h，则将该数据放入热磁盘，否则放入冷磁盘。

4）将新数据的属性值与冷热磁盘中的旧数据的属性值进行关联度分析，找到相关度最大的旧数据，将新数据放入与旧数据相同类型的磁盘中。

步骤（3）：能耗模型的构建：

令流行文件与非流行文件的数目比为，令流行文件与非流行文件的请求数目比为η，S'_hS_c'＝k,0＜k＜1，S'_h代表热请求文件的平均大小,S_c'代表冷请求文件的平均大小，令t^h表示高速磁盘传输率，单位为Mb/s，t^c表示慢速磁盘传输率，单位为Mb/s，|D_h|/|D_c|＝γ，D_h＝{d₁,...,d_h,...,d_e}，D_h代表快速旋转磁盘集合，D_c＝{d_f,...,d_c,...,d_n}，D_c代表慢速旋转磁盘集合。

在区分冷热磁盘情况下总能量消耗为：

其中R_h＝{r₁,...r_h,...,r_b}，R_h代表请求热数据的集合，t_ceshi表示实验过程中实验的时间，p^h表示高速磁盘积极能耗，单位为J/Mb，i^h表示高速磁盘理想时刻能耗，单位为J/s。

当未区分冷热磁盘时总能量消耗为：

通过数据分类以确定数据的温度可以节省的能量为：

本发明的有益效果：

本发明提出了预判性绿色数据分类策略，该分类策略对新数据以及季节性数据进行了良好的定位。本预判性数据分类策略很好地将数据文件进行合理的分类，通过合理有效的分类基本避免了在不合理分类的情况下可能出现的热文件在冷区域，冷文件在热区域中的能源消耗和文件读取时延增加的情况。

附图说明

图1为数据分类算法的流程图；

图2为磁盘数目对能量消耗的影响实验图；

图3为磁盘数目对能量节省百分比的影响实验图；

图4为热请求个数对能量消耗的影响实验图；

图5为热请求个数对能量节省百分比的影响实验图；

图6为磁盘数目之比对能量消耗的影响实验图；

图7为磁盘数目之比对能量节省百分比的影响实验图；

图8为热文件的平均大小对能量消耗的影响实验图；

图9为热文件的平均大小对能量节省百分比的影响实验图；

图10为热冷文件个数比对能量消耗的影响实验图；

图11为热冷文件个数比对能量节省百分比的影响实验图。

具体实施方式

本发明主要是针对现有的利用数据分类的技术将不同的数据放入不同的磁盘区域来节省能耗中的不足，引入了对新数据以及季节热数据的概念，提出了预判性绿色数据分类策略。预判性绿色数据分类策略就是将文件的访问率与阈值比较，访问率大于热阈值就是热数据，访问率小于冷阈值就是冷数据，介于冷热阈值之间的数据则将其进行预判，当某时间段热时，就将其迁移至热区域，否则将其放入冷区域。如果有新数据进行写操作，且原云存储***不存在该数据，将该数据与原云存储***中的数据进行关联度分析，找到与其相关度最高的数据，将新数据放入与旧数据相同类型的磁盘中。

如图1所示，本发明方法的具体步骤是：

步骤（1）：对冷数据、热数据、季节热数据以及新数据进行界定，具体数据分类方法如下：

1）冷数据：即在长期的数据操作过程中该数据的平均访问操作次数小于冷阈值；

2）热数据：即在长期的数据操作过程中该数据的平均访问操作次数大于热阈值；

3）季节热数据：即在长期的操作过程中该数据只有某段或某几段时间操作平均次数大于热阈值，数据温度呈现上下波动的情况，而在整个数据操作过程中数据平均访问操作次数处于冷热阈值之间；

4）新数据：即表示在云存储***中没有存在的数据，相应的该数据也不存在***作的次数。

理论分析新数据温度判定的合理性。

数据温度的直接影响因素是数据***作的次数，即与人的行为因素相关。如果没有发生重大变故，人的行为因素及对数据属性的行为癖好一般不会发生太大的改变，所以在这里我们认为一个数据的属性值能间接地表现一个数据的温度值。所以对于新数据，我们在旧数据集中找到与该数据的数据属性值相关性最大的数据的温度，就能确定新数据的温度。

步骤（2）：对预判性绿色数据分类策略模型的定义：

定义F＝{f₁,...,f_i,...,f_m}，F代表文件集合，f_i＝{m_i,p_i}，其中p_i表示文件f_i当前日期的前两年的每个月访问率构成的数组，m_i表示文件f_i的属性值，其中属性包括：文件的关键字的哈希值，文件名称的哈希值，文件内容的哈希值。p_ij代表数组p_i中的第j个元素，ap_i代表p_i数组的平均值，它是访问数据的平均访问率，th_c表示判定为冷数据的阈值，th_h表示判定为热数据的阈值。

1）判定访问数据的平均访问频率ap_i是否为0，否，则该数据为旧数据，转至2）；是，则该数据为新数据，转至4）。

2）将旧数据的平均访问频率值ap_i与冷热阈值进行比较，如果平均访问频率大于等于热阈值th_h，则该数据为热数据，将该数据放入热磁盘；将冷热阈值之间的数据视为季节热数据，将小于等于冷阈值th_c的数据视为冷数据，将冷数据和季节热数据放入冷磁盘中；如果该数据为季节热数据，在放入冷磁盘之后，转至3）。

3）通过神经网络对季节热数据进行预测，预测其下个月的平均访问率，判断其下个月的温度。如果其下个月的平均访问率大于等于热阈值th_h，则将该数据放入热磁盘，否则放入冷磁盘。

4）将新数据的属性值与冷热磁盘中的旧数据的属性值m_i进行关联度分析，找到相关度最大的旧数据，将新数据放入与旧数据相同类型的磁盘中。

数据分类策略伪代码如下:

输入：P_i，m_i，th_c，rh_h

foreachtimewindowTdo

foreachfile

ifp_i！=’‘

${\mathrm{ap}}_i=\frac{1}{24}{\mathrm{\Σ}}_{j=1}^{24}{p}_{\mathrm{ij}}$

ifap_i≤th_c

将相应文件放入冷节点

elselfap_i≥th_h

将相应文件放入热节点

else

采用神经网络预测下个月的访问率y_i

ify_i≥th_h

将相应文件放入热节点

else

将相应文件放入冷节点

end

end

elseifp_i==′′andp_i！=’‘

通过新数据温度评判算法判定该数据的温度

如果该文件为冷数据，就将文件i放入冷节点，否则放

入热节点。

end

end

end

步骤（3）：能耗模型的构建：

令流行文件与非流行文件的数目比为令流行文件与非流行文件的请求数目比为η，S'_hS_c'＝k,0＜k＜1，S'_h代表热请求文件的平均大小,S_c'代表冷请求文件的平均大小，令t^h表示高速磁盘传输率，单位为Mb/s，t^c表示慢速磁盘传输率，单位为Mb/s，|D_h|/|D_c|＝γ，D_h＝{d₁,...,d_h,...,d_e}，D_h代表快速旋转磁盘集合，D_c＝{d_f,...,d_c,...,d_n}，D_c代表慢速旋转磁盘集合。

在区分冷热磁盘情况下总能量消耗为：

其中R_h＝{r₁,...r_h,...,r_b}，R_h代表请求热数据的集合，t_ceshi表示实验过程中实验的时间，p^h表示高速磁盘积极能耗，单位为J/Mb，i^h表示高速磁盘理想时刻能耗，单位为J/s。

当未区分冷热磁盘时总能量消耗为：

通过数据分类以确定数据的温度可以节省的能量为：

以下为节能理论的分析及其证明：

e_hot表示区分冷热磁盘时热数据所在磁盘的能耗，e_cold表示区分冷热磁盘时冷数据所在磁盘的能耗，e’_hot表示未区分冷热磁盘时热数据所在磁盘的能耗，e’_cold表示未区分冷热磁盘时冷数据所在磁盘的能耗，其中e’_cold＝e’_hot＝e_hot。其中R_c＝{r_p,...r_c,...,r_x}，R_c代表请求冷数据的集合，p^c（J/Mb）表示低速磁盘积极能耗，i^c（J/s）表示低速磁盘理想时刻能耗，S_c表示第C个冷请求文件的大小。

e_total＝e_hot+e_cold,e’_total＝e’_hot+e’_cold,e’_hot＝e_hot，

$e_{\mathrm{cold}}=\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\Σ}}}{S}_c*p^c+i^c*\left(\right|D_c|*t_{\mathrm{xeshi}}-\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\Σ}}}{S}_c/t^c),$

$e_{\mathrm{cold}}^{,}=\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\Σ}}}{S}_c*p^h+i^h*\left(\right|D_c|*t_{\mathrm{ceshi}}-\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\Σ}}}{S}_c/t^h),$

由于t^h＞t^c则 $\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\&Sigma;}}}{S}_c/t^h<\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\&Sigma;}}}{S}_c/t^c,$

则 $\left|D_c\right|*t_{\mathrm{ceshi}}-\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\&Sigma;}}}{S}_c/t^c<\left|D_c\right|*t_{\mathrm{ceshi}}-\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\&Sigma;}}}{S}_c/t^h,$

又i^h＞i^c,则 $i^c*\left(\right|D_c|*t_{\mathrm{ceshi}}-\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\&Sigma;}}}{S}_c/t^c)<i^c*\left(\right|D_c|*t_{\mathrm{ceshi}}-\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\&Sigma;}}}{S}_c/t^h)$

因为p^h＞p^c则 $\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\&Sigma;}}}{S}_c*p^c<\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\&Sigma;}}}{S}_c*p^h$

又 $i^c*\left(\right|D_c|*t_{\mathrm{ceshi}}-\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\&Sigma;}}}{S}_c/t^c)<i^h*\left(\right|D_c|*t_{\mathrm{ceshi}}-\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\&Sigma;}}}{S}_c/t^h)$

则

$\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\&Sigma;}}}{S}_c*p^c+i^c*\left(\right|D_c|*t_{\mathrm{ceshi}}-\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\&Sigma;}}}{S}_c/t^c)<\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\&Sigma;}}}{S}_c*p^h+i^h*\left(\right|D_c|*t_{\mathrm{ceshi}}-\underset{c=1}{\overset{\left|R_c\right|}{\mathrm{\&Sigma;}}}{S}_c/t^h)$

则e_cold＜e'_cold，

那么e_total＜e_t'_otal，则e＞0那么能量节省百分比必定大于0。

通过上述证明可知通过基于预判性绿色数据分类策略，将不同类型的数据定位到不同的磁盘区域中具有降耗作用。

下面结合附图附表和实施例对本发明进行进一步介绍。

本实施例是基于冷热磁盘阵列模拟器实现的，磁盘的相关参数见表1。

表1：磁盘相关参数

其中有两类参数直接影响到本实施例的最终数据，它包含：工作量特征和磁盘驱动器的特性。其中有大量的参数影响工作量特征，我们确定五个关键特性（表2）：

（1）文件数目由于文件的总数直接决定一个并行磁盘阵列中分配磁盘阵列的负载，将其设置为5000，使每个磁盘可以容纳大约312个文件的情况下有16个磁盘驱动器阵列。每个磁盘上的文件的数量是基于现实的模仿现实世界的情况决定。

（2）总的请求数目由于总请求数目直接影响存储***在测试时间内的工作次数，进而影响存储***的能量消耗。我们将总请求次数设定值为10000。

（3）冷热请求的比重由于冷热文件访问的比重直接影响冷热区域的读取次数，影响了整个存储***的能量消耗，故我们将冷热请求比的值设定为6:46.5:3.57:37.5:2.58:2。

（4）文件***的覆盖范围整个文件***的覆盖范围的百分比定义为文件***文件的访问请求的工作量。我们设置了***的覆盖范围为100％，这意味着文件***中的所有文件在并行磁盘阵列***存取过至少一次。

（5）热冷磁盘数目比合理的设定热冷磁盘数目的比可以有效的节省能耗，根据之前的公式，我们设定热冷磁盘比为3:1。

表2：实验用到的相关数据描述

描述	默认值（值）
		文件总数	500
请求总数	10000
		文件***覆盖范围	100%
热冷请求数目比	8:2（6:46.5:3.57:37.5:2.58:2）
		热冷磁盘数目比	1:3（3/13,4/12,5/11,6/10,7/9,8/8,9/7,10/6）
热文件的平均大小	45（1520253035404550）M
		热冷文件数目之比	2.8（0.81.31.82.32.83.33.834.34.85.35.86.3）
磁盘总数	（121620242832）
		测试时间	3*24小时

冷热磁盘传输率之比

1:3

本实施例分别通过磁盘数目，热请求数目，磁盘数目比，热文件平均大小，热冷文件个数之比值的变化模拟实验测试数据分类的能耗变化和未分类的能耗变化以及节能百分比的变化（图2—图11）。

实施例结果表明：本方法对于大规模存储***以及大文件存储***等情况下均起到了良好的降耗性能，降耗百分比在0.1到0.2之间波动。本预判性数据分类策略很好地将数据文件进行合理的分类，通过合理有效的分类基本避免了在不合理分类的情况下可能出现的热文件在冷区域，冷文件在热区域中的能源消耗和文件读取时延增加的情况。

应该理解到的是：上述实施例只是对本发明的说明，而不是对本发明的限制，任何不超出本发明实质精神范围内的发明创造，均落入本发明的保护范围之内。

Claims (1)

1.云存储***中基于预判性绿色数据分类策略的降耗方法，其特征在于该方法包括以下步骤：

步骤(1)：对冷数据，热数据，季节热数据，以及新数据进行界定，具体界定如下：

1)冷数据：即在长期的数据操作过程中该数据的平均访问操作次数小于冷阈值；

2)热数据：即在长期的数据操作过程中该数据的平均访问操作次数大于热阈值；

3)季节热数据：即在长期的操作过程中该数据只有某段或某几段时间操作平均次数大于热阈值，数据温度呈现上下波动的情况，而在整个数据操作过程中数据平均访问操作次数处于冷热阈值之间；

4)新数据：即表示在云存储***中没有存在的数据，相应的该数据也不存在***作的次数；

步骤(2)：对预判性绿色数据分类策略模型的定义：

定义F＝{f₁,...,f_i,...,f_m}，F代表文件集合，f_i＝{m_i,p_i}，其中p_i表示文件f_i当前日期的前两年的每个月访问率构成的数组，m_i表示文件f_i的属性值，其中属性包括：文件的关键字的哈希值，文件名称的哈希值，文件内容的哈希值；p_ij代表数组p_i中的第j个元素，ap_i代表p_i数组的平均值，它是访问数据的平均访问率， ${\mathrm{ap}}_i=\frac{1}{24}\underset{j=1}{\overset{24}{\&Sigma;}}{p}_{ij};$

1)判定访问数据的平均访问频率ap_i是否为0，否，则该数据为旧数据，转至2)；是，则该数据为新数据，转至4)；

2)将旧数据的平均访问频率值ap_i与冷热阈值进行比较，如果平均访问频率大于等于热阈值th_h，则该数据为热数据，将该数据放入热磁盘；将冷热阈值之间的数据视为季节热数据，将小于等于冷阈值th_c的数据视为冷数据，将冷数据和季节热数据放入冷磁盘中；如果该数据为季节热数据，在放入冷磁盘之后，转至3)；

3)通过神经网络对季节热数据进行预测，预测其下个月的平均访问率，判断其下个月的温度；如果其下个月的平均访问率大于等于热阈值th_h，则将该数据放入热磁盘，否则放入冷磁盘；

4)将新数据的属性值与冷热磁盘中的旧数据的属性值进行关联度分析，找到相关度最大的旧数据，将新数据放入与旧数据相同类型的磁盘中；

步骤(3)：能耗模型的构建：

令流行文件与非流行文件的数目比为令流行文件与非流行文件的请求数目比为η，S'_h/S′_c＝k,0<k<1，S'_h代表热请求文件的平均大小,S′_c代表冷请求文件的平均大小，令t^h表示高速磁盘传输率，单位为Mb/s，t^c表示慢速磁盘传输率，单位为Mb/s，|D_h|/|D_c|＝γ，D_h＝{d₁,...,d_h,...,d_e}，D_h代表快速旋转磁盘集合，D_c＝{d_f,...,d_c,...,d_n}，D_c代表慢速旋转磁盘集合；

在区分冷热磁盘情况下总能量消耗为：

其中R_h＝{r₁,...r_h,...,r_b}，R_h代表请求热数据的集合，t_ceshi表示实验过程中实验的时间，p^h表示高速磁盘积极能耗，单位为J/Mb，i^h表示高速磁盘理想时刻能耗，单位为J/s；

当未区分冷热磁盘时总能量消耗为：

通过数据分类以确定数据的温度可以节省的能量为：