CN101349983B

CN101349983B - 磁盘有效缓存容量的测量方法及装置

Info

Publication number: CN101349983B
Application number: CN2008101195247A
Authority: CN
Inventors: 高峰; 邢建兵; 李瑞林; 姚俊武
Original assignee: Potevio Institute of Technology Co Ltd
Current assignee: Petevio Institute Of Technology Co ltd
Priority date: 2008-09-02
Filing date: 2008-09-02
Publication date: 2010-06-09
Anticipated expiration: 2028-09-02
Also published as: CN101349983A

Abstract

本发明公开了一种磁盘有效缓存(Cache)容量的测量方法及装置，其中方法包括：A、按照预先设定的次数H，循环读取M个固定大小的数据块H次，计算本次循环的平均吞吐量；B、将M按照一定步长增大，判断M是否小于预先设定的最大值N，如果是，则重复执行上述步骤A；如果否，则执行步骤C；C、判断所述平均吞吐量是否出现下降并维持稳定，如果是，则获取平均吞吐量出现下降时的M值，计算有效缓存容量为M个所述数据块的大小。本发明提出的方法和装置能够测量出磁盘Cache的有效Cache容量。

Description

磁盘有效缓存容量的测量方法及装置

技术领域

本发明涉及测量技术，特别涉及一种磁盘有效缓存(Cache)容量的测量方法。

背景技术

现有技术为了提高中央处理器(CPU)对物理磁盘的读写速度，通常会在CPU和物理磁盘之间设置磁盘Cache，以减少CPU对物理磁盘的直接访问次数。这样，如果CPU需要从物理磁盘读取的数据缓存在磁盘Cache中，则CPU可直接从磁盘Cache中读取；如果CPU需要向物理磁盘中写数据，有两种方法，其中一种方法，也是普遍采用的方法，CPU只需将数据写入至Cache即可返回写成功消息，从而无需CPU等待物理磁盘的机械臂移动寻址过程；另外一种方法是要等待数据完全写入磁盘后才返回写成功消息，这种方法效率比较低。

其中，根据替换算法，当磁盘Cache不能再容纳更多的数据时，如果物理磁盘中的数据需要被读入至该磁盘Cache、或CPU需要向该磁盘Cache中再写入数据，则需要利用预设的调度算法替换磁盘Cache中已有的某些数据。

如此一来，由于CPU无需等待物理磁盘通过其机械臂移动的寻址过程，因而大大加快了CPU对物理磁盘的读写速度。

实际应用中，CPU对物理磁盘的读取速度取决于磁盘Cache的访问速度，而磁盘Cache的访问速度则取决于该磁盘Cache中能够真正被利用到的存储空间容量，即有效Cache容量。

但由于现有各种调度算法的局限性，磁盘Cache的实际容量一般不能100％得到利用，即有效Cache容量一般不能达到该磁盘Cache的最大容量，因而使得实际容量较大的磁盘Cache，有可能由于其有效Cache容量较低而无法有效提高CPU对物理磁盘的读取速度。

由此可知，在选择磁盘Cache时，不但要考虑其标称容量的大小，更为重要地还要考虑磁盘Cache的有效Cache容量大小。

然而，现有技术中却没有能够测量有效Cache容量大小的方案，从而不能更好根据有效Cache容量大小选择磁盘。

发明内容

有鉴于此，本发明提供了一种磁盘有效Cache容量的测量方法，能够测量磁盘Cache的有效Cache容量。

本发明还提供一种磁盘有效Cache容量的测量装置，能够测量磁盘Cache的有效Cache容量。

本发明的技术方案是这样实现的：

本发明提供的一种磁盘有效Cache容量的测量方法，包括：

A、按照预先设定的次数H，循环读取M个固定大小的数据块H次，计算本次循环的平均吞吐量；所述H大于0；

B、将M按照一定步长增大，判断M是否小于预先设定的最大值N，如果是，则重复执行上述步骤A；如果否，则执行步骤C；所述N大于所述磁盘的厂家所标称的缓存容量除以数据块大小后向上取整的值；所述M的初始值为1，所述M增大的步长为1；

C、判断所述平均吞吐量是否出现下降并维持稳定，如果是，则获取平均吞吐量出现下降时的M值，计算有效缓存容量为所述平均吞吐量出现下降时的M值与数据块大小的积。

本发明还提供一种磁盘有效Cache容量的测量装置，包括：

读取模块，用于循环读取M个固定大小的数据块H次，所述H为预先设定的次数；

平均吞吐量计算模块，用于计算读取模块循环读取的平均吞吐量；

判断模块，用于判断所述读取模块所读取的数据块的个数M是否小于预先设定的最大值N，如果是，则按照一定步长增大M值，指示读取模块重新循环读取数据块，所述数据块的个数为增大后的M值；如果否，则指示有效缓存容量计算模块进行计算；

有效缓存容量计算模块，用于在接收到判断模块的指示后，获取平均吞吐量计算模块所计算的所有平均吞吐量，判断所述平均吞吐量是否出现下降并维持稳定，如果是，则获取平均吞吐量出现下降时的M值，计算有效缓存容量为所述平均吞吐量出现下降时的M值与数据块大小的积；

所述H大于0；所述N大于所述磁盘的厂家所标称的缓存容量除以数据块大小后向上取整的值；所述M的初始值为1，所述M增大的步长为1。

由上述技术方案可见，本发明提出的方法和装置，通过循环读取多个连续的数据块，逐渐增大数据块的块数，使得吞吐量显著下降之后维持稳定，确定吞吐量开始下降时读取数据块的块数，根据该下降点的块数和数据块的大小，能够确定出磁盘有效Cache容量。

附图说明

图1为本发明实施例吞吐量的变化曲线示意图；

图2为本发明实施例平均吞吐量的均值和标准方差曲线示意图；

图3为本发明实施例测量磁盘有效Cache容量的方法流程图；

图4为应用本发明方法测试磁盘A的有效Cache容量的第一结果示意图；

图5为应用本发明方法测试磁盘A的有效Cache容量的第二结果示意图；

图6为应用本发明方法测试磁盘B的有效Cache容量的第一结果示意图；

图7为应用本发明方法测试磁盘B的有效Cache容量的第二结果示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

本发明实施例提出一种磁盘有效缓存容量的测量方法，包括：

A、按照预先设定的次数H，循环读取M个固定大小的数据块H次，计算本次循环的平均吞吐量；

B、将M按照一定步长增大，判断M是否小于预先设定的最大值N，如果是，则重复执行上述步骤A；如果否，则执行步骤C；

C、判断所述平均吞吐量是否出现下降并维持稳定，如果是，则获取平均吞吐量出现下降时的M值，计算有效缓存容量为平均吞吐量出现下降时的M值与数据块大小的积。

前面提到，读取数据时，***首先检查请求的数据是否在Cache中，如果在Cache中，则直接从Cache中读取；如果不在Cache中，则从磁盘中读取，并将读取的数据保留在Cache中，在下次读取该数据时则直接从Cache读取即可。本发明正是利用了这一特点，循环读取一个大文件的M个数据块，直到M足够大时，使Cache失效，读取的吞吐量会随着M值的增大而显著下降并最终趋于稳定，吞吐量出现下降时的M值就是有效Cache大小的计算点。如图1所示，图1为本发明实施例吞吐量的变化曲线示意图。在图1中，吞吐量随着M的增大而出现下降并维持平稳，下降点B就是有效Cache大小的计算点，即：

有效Cache大小＝数据块大小×B点的数据块个数

以下结合上述方法具体介绍：

步骤A中，初次读取时，应使M的初始值足够小，以保证M个数据块的总量小于有效Cache的容量。在第一次执行读取M个数据块时，一般会发生强制性失效，因为第一次读取的数据块一般不会在Cache中。此时需要从磁盘读取数据块，并保存到Cache中。之后循环执行循环读取M个数据块时，在所读数据块总大小小于有效cache的情况下，由于第一次读取的M个数据块已经被保存在Cache中，后续的数据块都会命中，可以直接从Cache中读取，此时计算出的平均吞吐量相当于直接从Cache读取的吞吐量，吞吐量比较高。

在步骤A中循环读取H次后计算平均吞吐量，其目的是为了消除测试中少数误差数据的影响。H的值应足够大。

步骤B中，增大M值的主要目的是使读取的数据块从小到大最终超过有效cache的大小。M按照一定步长逐渐增大，其目的是使测量精度更高，修改M增大的步长可以确定不同的测量精度。本发明实施例中，取步长为1。

如果通过修改M的值，使每次循环读取的数据块的总量超过了有效cache的大小，则循环读取过程中，就会发生数据块替换的情况。例如：为了将数据块B读入cache，根据替换算法，前面已经被读入的数据块A会被替换出去，当再次读取该数据块A时发生数据块缺失的情况，则再次发生数据块替换，可能会将数据块C替换出去，这样不断地替换、缺失，导致几乎所有的数据块都需要直接从磁盘进行读取，cache所做的工作就是不停的替换，却很少命中。这种情况下计算的平均吞吐量，相当于直接从磁盘读取的吞吐量，吞吐量很低。

判断平均吞吐量是否显著下降以及多次下降的结果是否维持稳定有两种方法实现：①根据输出的平均吞吐量的结果绘制曲线，直接观察是否显著下降并维持稳定，该方法简单，适用于测试结果数据比较规范的情况。②根据测试结果，对于每个输出的平均吞吐量，计算前连续X个平均吞吐量(包括当前平均吞吐量)的均值和标准方差，并绘制两个对应曲线。如图2，图2为本发明实施例平均吞吐量的均值和标准方差曲线示意图。在Cache不失效的情况下，计算的均值比较高，并且数值相差不大，即标准方差值比较小；如果在某一点B，Cache失效，则该点前连续X个值(包括该点)的平均值就会下降，并且标准方差值会显著提升，即吞吐量差异增大。如果按照该方法，在C点以后，连续输出X个结果的均值在下降后维持在一个比较低的值并且最终趋于平缓，而标准方差值在显著提升后又逐渐下降，最终趋于平缓，并最终维持在一个比较低的值范围内，可认为是稳定状态，那么B点就是Cache失效的对应点，并且认为曲线下降后维持稳定。B点的对应的数据块个数与数据块大小的积即等于有效Cache的容量。

另外，最大值N可以根据厂家标称的Cache大小来进行计算，具体为：

其中，符号

表示向上取整，其含义是取不小于某数的最小整数；n为自然数，加n的目的是使得N的值大于磁盘厂家标称的Cache容量除以数据块大小后向上取整的值，则N个数据块的容量必然大于有效Cache容量，当M增大到N时，一定会引起Cache失效。

当无法获知厂家标称的Cache大小时，N的值可以根据市场主流Cache的容量进行计算。如果M增大到预先设定的N时，平均吞吐量仍未出现下降并维持稳定，说明预先设置的N值不够大，则按照预先设定的速度增大N值，比如将N值增大到原先的2倍，继续执行循环读取并计算平均吞吐量的步骤，直至平均吞吐量出现下降并维持稳定时，获取平均吞吐量出现下降时的M值，计算出有效Cache的容量为平均吞吐量出现下降时的M值与数据块大小的积。

以下举具体的实施例进行介绍，参见图3，图3为本发明实施例测量有效Cache容量的方法流程图。包括：

步骤301：设置读取数据块的最大值N，设置循环读取的次数H，设置读取数据块个数的初始值为1，即M的初始值为1。其中，N的设置方式与上述方式相同，在此不赘。H的值要求足够大，以保证计算出的平均吞吐量尽量精确。

步骤302：循环读取M个数据块H次，计算本次循环的平均吞吐量。增大M的值，本实施例中，可以设定M增大的步长为1，即M＝M+1。

步骤303：判断M是否小于预先设置的N，如果是，则执行步骤302；否则，执行步骤304。

步骤304：判断每次循环计算出的平均吞吐量是否出现下降并维持稳定，本实施例中，判断的方式可以为：根据均值和标准方差进行判断。如果出现下降并维持稳定，则执行步骤305。如果预先设定的N是根据厂家标称的Cache容量计算得出的，则平均吞吐量一定会出现下降并维持稳定。但是，如果预先设定的N是根据市场主流的Cache容量计算得出的，则当M增大到N时，M个数据块的总长度可能还未超过有效Cache容量，此时不会出现平均吞吐量下降的现象。当判断出平均吞吐量未出现下降并维持稳定时，执行步骤306。

步骤305：计算有效Cache容量＝平均吞吐量出现下降时M的值×数据块大小，结束本流程。

步骤306：加速增大N值，本实施例中使N增大到原来的2倍，即N＝N×2，并使M再增加1，继续执行步骤302。

此后可以多次增大N值，直至平均吞吐量未出现下降并维持稳定后，计算有效Cache容量。

此外，本发明提出的方法中，采用时钟周期作为计时单位，计时精确，误差小。在每个M值设置结束后开始计时，当前M值所有读取循环结束后计时结束，计算本次循环的平均吞吐量。

以下应用本发明提出的方法对磁盘有效Cache进行测试，测试环境为：CPU3.0GHz，千兆网卡，两块均为147G的SCSI磁盘，其中磁盘A为厂家1生产，标称Cache为8M，磁盘B为厂家2生产，标称Cache为8M，在WINDOWSSERVER 2003进行了测试。其中，读取的数据块大小为64K。

首先对磁盘A的有效Cache容量进行测试。参见图4，图4为应用本发明方法测试磁盘A的有效Cache容量的第一结果示意图。图4中，X轴为读取的数据块数，Y轴为平均吞吐量，单位为MB/S。由图4可见，数据块数为82时，平均吞吐量开始下降，此后逐渐维持稳定。

再根据图4的结果计算平均吞吐量的均值和标准方差，如图5所示，图5为应用本发明方法测试磁盘A的有效Cache容量的第二结果示意图。在5中，X轴为均值的序列号，位于上方的曲线表示取连续10个平均吞吐量计算出的均值，位于下方的曲线表示平均吞吐量的标准方差。由图5可见，当计算第73个均值时，平均吞吐量的均值开始下降，此后逐渐维持稳定；并且当计算出第73个均值时，平均吞吐量的标准方差开始增大，增大到最高值时下降并维持很小值。由于当出现第10个平均吞吐量时，才能计算第1个均值；故第73个均值的时刻对应第82个平均吞吐量，此时读取的数据块数也为82。可见，验证结果与图4的结果相同。

由此，可以计算出磁盘A的有效Cache容量＝64K×82＝5.125M

之后对磁盘B的有效Cache容量进行测试。图6为应用本发明方法测试磁盘B的有效Cache容量的第一结果示意图。图7为应用本发明方法测试磁盘B的有效Cache容量的第二结果示意图。图6和图7均表明数据块个数为19时，平均吞吐量开始下降，此后逐渐维持稳定。由此，可以计算出磁盘B的有效Cache容量＝64K×19＝1.826M

本发明实施例还提出一种磁盘有效缓存容量的测量装置，包括：

有效缓存容量计算模块，用于在接收到判断模块的指示后，获取平均吞吐量计算模块所计算的所有平均吞吐量，判断所述平均吞吐量是否出现下降并维持稳定，如果是，则获取平均吞吐量出现下降时的M值，计算有效缓存容量为所述平均吞吐量出现下降时的M值与数据块大小的积。

上述有效缓存容量计算模块还用于，计算连续多个平均吞吐量的均值和标准方差，根据所述均值和标准方差判断平均吞吐量是否出现下降并维持稳定。

上述判断模块还用于，当有效缓存容量计算模块判断出平均吞吐量没有出现下降并维持稳定时，按照预先设定的速度增大N值，判断所述读取模块所读取的数据块的个数M是否小于增大后的N值，如果是，则指示读取模块重新执行循环读取，如果否，则指示有效缓存容量计算模块进行计算。

上述装置中，所述N大于所述缓存厂家所标称的缓存容量除以所述数据块大小后向上取整的值。

综上可见，本发明实施例提出的磁盘有效Cache容量的测量方法和装置，以块为单位，循环从一个大的文件中读取多个数据块，逐渐增加连续读取的数据块的块数，直到吞吐量显著下降，并且连续多次下降之后维持稳定后，确定吞吐量开始下降时读取数据块的块数，根据该下降点的块数和数据块的大小，能够确定出磁盘有效Cache容量。其计算结果可以作为评价磁盘Cache算法的参考。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims

1.一种磁盘有效缓存容量的测量方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述判断平均吞吐量是否出现下降并维持稳定的方式为：计算连续多个平均吞吐量的均值和标准方差，根据所述均值和标准方差进行判断。

3.根据权利要求1或2所述的方法，其特征在于，所述方法进一步包括：如果所述平均吞吐量未出现下降并维持稳定，则按照预先设定的速度增大N值，继续执行所述步骤A和步骤B，直至平均吞吐量出现下降并维持稳定时，获取平均吞吐量出现下降时的M值，计算有效缓存容量。

4.一种磁盘有效缓存容量的测量装置，其特征在于，所述装置包括：

5.根据权利要求4所述的装置，其特征在于，所述有效缓存容量计算模块还用于，计算连续多个平均吞吐量的均值和标准方差，根据所述均值和标准方差判断平均吞吐量是否出现下降并维持稳定。

6.根据权利要求4或5所述的装置，其特征在于，所述判断模块还用于，当有效缓存容量计算模块判断出平均吞吐量没有出现下降并维持稳定时，按照预先设定的速度增大N值，判断所述读取模块所读取的数据块的个数M是否小于增大后的N值，如果是，则指示读取模块重新执行循环读取，如果否，则指示有效缓存容量计算模块进行计算。