WO2011147187A1

WO2011147187A1 - 多级缓存下固态硬盘的写方法及装置

Info

Publication number: WO2011147187A1
Application number: PCT/CN2010/080656
Authority: WO
Inventors: 陈骞
Original assignee: 华为技术有限公司
Priority date: 2010-12-31
Filing date: 2010-12-31
Publication date: 2011-12-01
Also published as: CN102203749A; CN102203749B

Description

多级緩存下固态硬盘的写方法及装置

技术领域

本发明涉及存储技术，尤其涉及一种多级緩存下固态硬盘的写方法及装置。背景技术

固态硬盘（ Solid State Driver, SSD )具有比普通硬盘（ Hard Disk Driver, HDD ) 更优的输入输出（Input Output, 10 )性能，且延迟更低，并且 SSD 还具有其他优点。但是， SSD的寿命受限于 SSD的写擦除次数，例如，单级单元（ Single-Level Cell, SLC )可擦除 100,000次，多级单元（ Multi-Level Cell, MLC )可擦除 10,000次；假设一块 32GB的 MLC的 SSD, 最多可以写入 32*10,000约 32TB的数据，在最多反复写入这么多的数据后， SSD就会失效。但是， HDD的读写次数对 HDD的寿命影响是很小的， HDD的寿命更易受环境温度、震动情况等因素的影响。

对于高带宽需求的流媒体的緩存（cache )服务来说，緩存服务是把热点内容緩存到离用户比较近的边缘服务器上。緩存的关键是緩存替换算法，緩存替换算法是指当緩存空间满的时候进行内容替换的原则，实现緩存较热的内容，替换掉较冷的内容。内容的冷热是随着时间的变化，新的内容不断的注入而不断变化的，所以，緩存的存储介质是不停地进行着数据的写入和删除的。

对于如流媒体这种高带宽应用来说， HDD的 10能力是不足的，需要釆用 SSD, 以利用 SSD的高 10性能。但是，流媒体的緩存服务又需要多个写入删除，这会影响 SSD的使用寿命。为此，考虑到 10性能及使用成本，可以组成多级緩存，该多级緩存由 SSD和 HDD组成。将热的内容存储在 SSD, 利用 SSD的高 10性能，不太热的内容就可以存储在 HDD, 以降低成本。根据緩存替换算法，需要进入緩存的内容首先进入 HDD, 淘汰掉 HDD 中最冷的内容，如果 HDD中最热的内容超过 SSD中最冷的内容，则需要交换 HDD和 SSD的内容，以保持 SSD和 HDD的内容的热度是由高到低的。但是由于内容热度的不断变化， SSD和 HDD 中的内容需要频繁互换，这样依然会降低 SSD的寿命，造成成本增加。发明内容

本发明实施例是提供一种多级緩存时固态硬盘的写方法及装置，以降低成本。

本发明实施例提供了一种多级緩存下固态硬盘的写方法，包括：获取 HDD的输入输出 10负载值及获取 10负载阈值；

如果所述多级緩存中的 HDD中内容的最高热度超过所述多级緩存中的 SSD中内容的最低热度，且所述 HDD的 10负载值大于等于所述 10负载阈值，将所述 HDD中最高热度的内容写入所述 SSD中，将所述 SSD中最低热度的内容写入所述 HDD中，以进行所述 SSD和 HDD中内容的互换。

本发明实施例提供了一种多级緩存下固态硬盘的写装置，包括：获耳莫块，用于获取 HDD的输入输出 10负载值及获取 10负载阈值；第一互换模块，用于如果所述多级緩存中的 HDD中内容的最高热度超过所述多级緩存中的 SSD中内容的最低热度，且所述 HDD的 10负载值大于等于所述 10负载阈值，将所述 HDD中最高热度的内容写入所述 SSD中，将所述 SSD 中最低热度的内容写入所述 HDD中，以进行所述 SSD和 HDD中内容的互换。

由上述技术方案可知，本发明实施例通过在进行 SSD和 HDD的内容互换过程中不仅考虑热度因素，还考虑 HDD的 10负载值，在 HDD中的热度超过 SSD中的热度时，还需要 10负载值大于等于 10负载阈值时对 SSD进行写操作，而不是在 HDD中的热度超过 SSD中的热度即进行对 SSD的写操作，可以减少对 SSD的写操作，降低成本。附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图 1为本发明第一实施例的方法流程示意图；

图 2为本发明第二实施例的方法流程示意图；

图 3为本发明第三实施例的方法流程示意图；

图 4为本发明实施例中 SSD和 HDD中内容热度排列示意图；

图 5为本发明第四实施例的方法流程示意图；

图 6为本发明第五实施例的方法流程示意图；

图 7为本发明第六实施例的装置结构示意图。具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图 1为本发明第一实施例的方法流程示意图，包括：

步骤 11：获取 HDD的 10负载值及获取 10负载阈值；

其中，该 10负载阈值可以为预先设定的固定值，例如 80%。该 10负载阈值也可以为动态获取的值，即根据一定时间内的 HDD的负载值，动态计算得到所述 10负载阈值。

步骤 12: 如果所述多级緩存中的 HDD中内容的最高热度超过所述多级緩存中的 SSD中内容的最低热度，且所述 HDD的 10负载值大于等于所述 10 负载阈值，将所述 HDD中最高热度的内容写入所述 SSD中，将所述 SSD中最低热度的内容写入所述 HDD中，以进行所述 SSD和 HDD中内容的互换。

本实施例通过在进行 SSD和 HDD的内容互换过程中不仅考虑热度因素，还考虑 HDD的 10负载值，可以减少对 SSD的写操作，降低成本。

图 2为本发明第二实施例的方法流程示意图，本实施例以 10负载阈值为固定值为例，本实施例包括：

步骤 21 : 确定 HDD中内容的最高热度超过 SSD中内容的最低热度。其中，可以根据点击量来确定 HDD或者 SSD中各内容的热度，例如，点击量高的内容则热度高。

步骤 22: 获取 HDD的当前 10负载值。

其中，可以通过 shell下的 iostat-x命令，获取所述 HDD的 10负载值，也可以通过***提供的 API接口，获取所述 HDD的 10负载值。

具体地，在 linux环境下，可以通过 shell命令 iostat-x来获取磁盘的负载信息，其中％1! 字段反映的就是当前磁盘 /分区的整体负载情况，如下的例子显示了***中共有 5块磁盘 c0d0〜c0d4, cOdO的 10负载值为 29.47%, c0d4 的 10负载值为 12.37%:

Cache:#iostat-x

Linux 2.6.27.45-0. l-default(Cache) 10/29/10 _x86_64

avg-cpu: %user %nice%system%iowait %steal %idle

13.01 0.02 8.88 4.30 0.00 74.89

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util cciss/cOdO 1.08 514.19 326.31 87.06 2619.16 4811.13 17.97 0.50 1.21 0.71 29.47 cciss/cOdOpl 1.08 514.19 326.31 87.06 2619.16 4811.13 17.97 0.50 1.21 0.71 29.47 cciss/cOdl 0.02 0.00 0.01 0.00 0.22 0.00 41.85 0.00 4.00 2.67 0.00 cciss/c0d2 0.02 0.00 0.01 0.00 0.22 0.00 41.85 0.00 3.59 2.77 0.00 cciss/c0d3 1.14 13.70 2.50 4.65 133.06 146.84 39.13 0.01 0.75 0.32 0.23 cciss/c0d3pl 0.05 0.04 0.00 0.00 0.17 0.39 57.63 0.00 2.52 2.08 0.00 cciss/c0d3p2 1.09 13.65 2.49 4.65 132.83 146.45 39.11 0.01 0.75 0.32 0.23 cciss/c0d4 1.06 341.40 543.79 80.97 4358.76 3380.17 12.39 0.23 0.38 0.20 12.37 cciss/c0d4pl 1.06 341.40 543.79 80.97 4358.76 3380.17 12.39 0.23 0.38 0.20 12.37 另夕卜，如果操作***或者文件***提供了*** API接口，则可以通过 API 接口获取 10负载值。

步骤 23: 判断该当前 10负载值是否大于等于预先设定的阈值，如果是，执行步骤 24, 否则，执行步骤 25。

通常，％util字段的值达到 70%和 80%说明磁盘的负载比较高，所以，可以将 HDD的 10阈值设置为一个较高的值，例如 80%。

步骤 24: 进行 HDD和 SSD内容的互换。

例如，应用模块向 HDD和 SSD发送指示消息，该指示消息可以使得 HDD 将热度高的内容移动到 SSD中，将 SSD中热度低的内容移动到 HDD中，实现 SSD和 HDD的内容互换。

步骤 25: 保持内容不移动。

例如，不发送指示内容移动的消息。

本实施例通过在 HDD中内容的热度超过 SSD中内容的热度后，将 HDD 的 10负载阈值与预先设定的固定值比较，在超过该固定值后再写入 SSD中，可以减少 SSD中写操作的次数，延长 SSD的使用寿命，降低成本。

图 3为本发明第三实施例的方法流程示意图，本实施例可以进一步保证命中率，本实施例包括：

步骤 31 : 确定 HDD中内容的最高热度超过 SSD中内容的最低热度；步骤 32: 获取 HDD的当前 10负载值；

步骤 33: 判断该当前 10负载值是否大于等于预先设定的阈值，如果是，执行步骤 35, 否则，执行步骤 34。

上述步骤的具体内容可以参见步骤 21 -23。

因为设置了 HDD的 10负载阈值，可能改变 SSD和 HDD中内容的热度排序，可能导致 SSD的尾部内容（热度最低的内容）低于 HDD的头部内容 (热度最高的内容）。例如，参见图 4, 左侧的内容表明 SSD和 HDD的热度是按序排列的，右侧的内容表明 SSD和 HDD的内容的热度出现不按序排列的情况，其中，图 4中，热度的值越大表明热度越高。

此时，为了保证命中率，需要保证 SSD尾部内容的热度至少高于 HDD 尾部内容的热度。为此，本实施例还包括如下步骤：

步骤 34:判断 SSD尾部内容热度是否大于 HDD尾部内容热度，如果是，执行步骤 36, 否则，执行步骤 35。

步骤 35: 进行 HDD和 SSD内容的互换，保证 SSD尾部内容热度大于 HDD尾部内容热度。

例如，应用模块向 SSD和 HDD发送指示消息，该指示消息指示 HDD将 HDD中最热的内容移动至 SSD中，并且指示 SSD将热度最小的内容移动至 HDD中。

步骤 36: 保持内容不移动。

本实施例通过在 HDD中内容超过 SSD中内容后，将 HDD的 10负载阈值与预先设定的固定值比较，在超过该固定值后再写入 SSD中，可以减少 SSD 中写操作的次数，延长 SSD的使用寿命，降低成本。并且，本实施例通过比较 SSD和 HDD的尾部内容的热度，在 HDD尾部内容的热度大于等于 SSD 尾部内容的热度后，将 HDD的热度最高的内容互换 SSD中热度最低的内容，可以保证用户向緩存中获取数据的命中率。

图 5为本发明第四实施例的方法流程示意图，本实施例以 10负载阈值为动态阈值为例，本实施例包括：

步骤 51 : 确定 HDD中内容的最高热度超过 SSD中内容的最低热度。步骤 52: 获取 HDD的当前 10负载值。

其中，步骤 51-52的具体内容可以参见图 2的步骤 21-22。

步骤 53: 获取一定时间内的 HDD的负载值，并根据一定时间内的 HDD 的负载值，获取动态的 10负载阈值。例如，计算公式可以如下：

U_thld = Max(U_min,Min(U_max,U_aver + (U_tmax - U_aver) x (1 - U_aver)))；

其中， _ω为 10负载阈值， ^/皿和^/ 分别为预先设定的 10负载允许的最大值和最小值，为预先设定的时间内的 HDD的 10负载的平均值， U 为预先设定的时间内的 HDD的 10负载的峰值， Max()为取最大值运算， Min() 为取最小值运算。

通过上述计算公式可以看出， „能够反映最近一段时间的平均 10负载情况；稍高于平均 10负载如果^较大，则 _ω上浮较小，如果^ 较小，则 „上浮较大；可以将 t/_max设置为 80%, [/_min设置为 40%

步骤 54: 判断该当前 10负载值是否大于等于该动态的 10负载阈值，如果是，执行步骤 55, 否则，执行步骤 56

步骤 55: 进行 HDD和 SSD内容的互换。

步骤 56: 保持内容不移动。

步骤 55-56的具体内容可以参见步骤 24-25

可以理解的是，本实施例为了保证命中率，可以如图 3所示，进一步比较 SSD尾部内容和 HDD尾部内容的热度，并进行如图 3所示的相应处理。

本实施例通过在 HDD中内容超过 SSD中内容后，将 HDD的 10负载阈值与动态阈值比较，在超过该动态阈值后再写入 SSD中，可以减少 SSD中写操作的次数，延长 SSD的使用寿命，降低成本。另外，本实施例釆用动态阈值可以更好地反映实际情况，均衡***资源。

图 6为本发明第五实施例的方法流程示意图，包括：

步骤 61 : 确定 HDD中内容的最高热度超过 SSD中内容的最低热度。步骤 62: 获取 HDD的当前 10负载值。

步骤 61 -62的具体内容可以参见步骤 21 -22

步骤 63: 判断当前 10负载值是否大于等于 10负载阈值，若是，执行步骤 65, 否则，执行步骤 64 其中，该 10负载阈值可以为固定值，也可以为动态值，具体判断内容可以参见步骤 23或者步骤 53-54

如果按照 10负载阈值的方式进行处理，可能出现内容都被 HDD拦截的情况，此时即使 HDD的 10能够负担，但是从尽可能均衡利用***资源的角度看，可以要求 HDD不要拦截太多，将部分比较热的内容升级到 SSD中。为此，本实施例还包括：

步骤 64: 判断 HDD中内容的热度是否大于等于进入 SSD的热度阈值，若是，执行步骤 65, 否则，执行步骤 66

其中，进入 SSD的热度阈值可以釆用如下计算公式得到：

H_thld = M H_mm in(H_w,H_{low +} (H_high - H_lo x (\ - U_aver)))

其中， A_Wd为热度阈值， H_Aig^P H 分别为 SSD上内容热度的最高值和最低值， ί/_α 为预先设定的时间内的 HDD的 10负载的平均值， H_ma^p H_mm分别为预先设定的允许的热度的最大值和最小值， Max()为取最大值运算， Min() 为取最小值运算。

从上述计算公式可以看出 H 能够随最近一段时间的 HDD的 10平均负载动态变化;如果 t/ 较大,则 _ω相对 „增加较小，如果较小，则 H_thld 相对 ^增加较大； H皿可以设置为 H_{A A}的 80%, H_mm可以设置为 H

步骤 65: 进行 HDD和 SSD内容的互换。

步骤 66: 保持内容不移动。

步骤 65-66的具体内容可以参见步骤 24-25

另夕卜，可以理解的是，本实施例依然可以如图 3所示再进行 SSD和 HDD 中尾部内容比较及相应处理流程，以保证命中率。

本实施例通过在进行 SSD和 HDD的内容互换过程中不仅考虑热度因素，还考虑 HDD的 10负载值，可以减少对 SSD的写操作，降低成本。另外，本实施例通过设置进入 SSD的阈值，可以均衡 HDD和 SSD的占用情况。

图 7为本发明第六实施例的装置结构示意图，包括获取模块 71和第一互换模块 72;获取模块 71用于获取所述 HDD的 10负载值及获取 10负载阈值；第一互换模块 72用于如果所述多级緩存中的 HDD中内容的最高热度超过所述多级緩存中的 SSD中内容的最低热度，且所述 HDD的 10负载值大于等于所述 10负载阈值，将所述 HDD中最高热度的内容写入所述 SSD中，将所述 SSD中最低热度的内容写入所述 HDD中，以进行所述 SSD和 HDD中内容的互换。

本实施还可以进一步包括第二互换模块 73 , 第二互换模块 73用于当所述多级緩存中的 HDD中内容的最高热度超过所述多级緩存中的 SSD中内容的最低热度，且所述 HDD的 10负载值小于所述 10负载阈值时，比较所述 SSD中内容的最低热度和所述 HDD中内容的最低热度；如果所述 SSD中内容的最低热度小于等于所述 HDD中内容最低热度时，将所述 SSD中热度最低的内容与所述 HDD中热度最高的内容互换，使得所述 SSD中的内容的最低热度大于所述 HDD中内容的最低热度。

本实施还可以进一步包括第三互换模块 74, 第三互换模块 74用于当所述多级緩存中的 HDD中内容的最高热度超过所述多级緩存中的 SSD中内容的最低热度，且所述 HDD的 10负载值小于所述 10负载阈值时，获取进入 SSD的热度阈值并比较所述 HDD 中内容的最高热度和所述热度阈值；如果所述 HDD中内容的最高热度大于等于所述热度阈值，将所述 HDD中最高热度的内容写入所述 SSD中，将所述 SSD中最低热度的内容写入所述 HDD中，以进行所述 SSD和 HDD内容的互换。

可以理解的是，上述方法及设备中的相关特征可以相互参考。另外，上述实施例中的 "第一" 、 "第二" 等是用于区分各实施例，而并不代表各实施例的优劣。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括： ROM, RAM,磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同互换；而这些修改或者互换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

权利要求

1、一种多级緩存下固态硬盘的写方法，其特征在于，包括：

获取普通硬盘 HDD的输入输出 10负载值及获取 10负载阈值；如果所述多级緩存中的 HDD 中内容的最高热度超过所述多级緩存中的固态硬盘 SSD中内容的最低热度，且所述 HDD的 10负载值大于等于所述 10 负载阈值，将所述 HDD中最高热度的内容写入所述 SSD中，将所述 SSD中最低热度的内容写入所述 HDD中，以进行所述 SSD和 HDD中内容的互换。

2、根据权利要求 1所述的方法，其特征在于，所述 10负载阈值为预先设定的固定值。

3、根据权利要求 2所述的方法，其特征在于，所述预先设定的固定值为 80%。

4、根据权利要求 1所述的方法，其特征在于，所述获取 10负载阈值，包括：

根据一定时间内的 HDD的负载值，获取所述 10负载阈值。

5、根据权利要求 4 所述的方法，其特征在于，所述根据一定时间内的 HDD的负载值，获取所述 10负载阈值的计算公式为：

U_thld = Max(U_mm,Min(U_max,U_aver + (U_tmax - U_aver) x (1 _ U_aver)))

其中， [/^为10负载阈值， [/皿和 t/_mm分别为预先设定的 10负载允许的最大值和最小值， ί/_α 为预先设定的时间内的 HDD的 10负载的平均值， U_tmax 为预先设定的时间内的 HDD的 10负载的峰值， Max()为取最大值运算， Min() 为取最小值运算。

6、根据权利要求 1所述的方法，其特征在于，当所述多级緩存中的 HDD 中内容的最高热度超过所述多级緩存中的 SSD 中内容的最低热度，且所述 HDD的 10负载值小于所述 10负载阈值时，所述方法还包括：

比较所述 SSD中内容的最低热度和所述 HDD中内容的最低热度；如果所述 SSD中内容的最低热度小于等于所述 HDD中内容的最低热度时，将所述 SSD中热度最低的内容与所述 HDD中热度最高的内容互换，使得所述 SSD中的内容的最低热度大于所述 HDD中内容的最低热度。

7、根据权利要求 1所述的方法，其特征在于，当所述多级緩存中的 HDD 中内容的最高热度超过所述多级緩存中的 SSD 中内容的最低热度，且所述 HDD的 10负载值小于所述 10负载阈值时，所述方法还包括：

获取进入 SSD的热度阈值；

比较所述 HDD中内容的最高热度和所述热度阈值；

如果所述 HDD中内容的最高热度大于等于所述热度阈值，将所述 HDD 中最高热度的内容写入所述 SSD中，将所述 SSD中最低热度的内容写入所述 HDD中，以进行所述 SSD和 HDD内容的互换。

8、根据权利要求 7所述的方法，其特征在于，所述获取进入 SSD的热度阈值的计算公式为：

H_thld = M H_mm in(H_w,H_{low +} (H_high - H_lo x (\ - U_aver)))

9、根据权利要求 1-8任一项所述的方法，其特征在于，所述获取 HDD 的 10负载值，包括：

通过 shell下的 iostat-x命令，获取所述 HDD的 10负载值；

或者，

通过***提供的 API接口，获取所述 HDD的 10负载值。

10、一种多级緩存下固态硬盘的写装置，其特征在于，包括：

获耳莫块，用于获取普通硬盘 HDD的输入输出 10负载值及获取 10负载阈值；第一互换模块，用于如果所述多级緩存中的 HDD中内容的最高热度超过所述多级緩存中的固态硬盘 SSD中内容的最低热度，且所述 HDD的 10负载值大于等于所述 10负载阈值，将所述 HDD中最高热度的内容写入所述 SSD 中，将所述 SSD中最低热度的内容写入所述 HDD 中，以进行所述 SSD和 HDD中内容的互换。

11、根据权利要求 10所述的装置，其特征在于，还包括：

第二互换模块，用于当所述多级緩存中的 HDD中内容的最高热度超过所述多级緩存中的 SSD中内容的最低热度，且所述 HDD的 10负载值小于所述 10负载阈值时，比较所述 SSD中内容的最低热度和所述 HDD中内容的最低热度；如果所述 SSD中内容的最低热度小于等于所述 HDD中内容的最低热度时，将所述 SSD中热度最低的内容与所述 HDD中热度最高的内容互换，使得所述 SSD中的内容的最低热度大于所述 HDD中内容的最低热度。

12、根据权利要求 10所述的装置，其特征在于，还包括：

第三互换模块，用于当所述多级緩存中的 HDD中内容的最高热度超过所述多级緩存中的 SSD中内容的最低热度，且所述 HDD的 10负载值小于所述度和所述热度阈值；如果所述 HDD 中内容的最高热度大于等于所述热度阈值，将所述 HDD中最高热度的内容写入所述 SSD中，将所述 SSD中最低热度的内容写入所述 HDD中，以进行所述 SSD和 HDD内容的互换。