CN109274729B - 一种面向多租户的混合存储设备资源隔离的自适应方法 - Google Patents

一种面向多租户的混合存储设备资源隔离的自适应方法 Download PDF

Info

Publication number
CN109274729B
CN109274729B CN201811024414.2A CN201811024414A CN109274729B CN 109274729 B CN109274729 B CN 109274729B CN 201811024414 A CN201811024414 A CN 201811024414A CN 109274729 B CN109274729 B CN 109274729B
Authority
CN
China
Prior art keywords
throughput
user
speed limit
rit
limit value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811024414.2A
Other languages
English (en)
Other versions
CN109274729A (zh
Inventor
柴云鹏
王传雯
孙殿森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renmin University of China
Original Assignee
Renmin University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renmin University of China filed Critical Renmin University of China
Priority to CN201811024414.2A priority Critical patent/CN109274729B/zh
Publication of CN109274729A publication Critical patent/CN109274729A/zh
Application granted granted Critical
Publication of CN109274729B publication Critical patent/CN109274729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/068—Hybrid storage device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明涉及一种面向多租户的混合存储设备资源隔离的自适应方法，其步骤：设置一包括混合存储设备、资源隔离工具RIT和自适应精确限速算法模块SAAT的***；N个用户访问混合存储设备，将用户i期望达到的吞吐量值
Figure DDA0001788116920000011
传输至RIT；SAAT周期性根据信息错失率Rmiss、重叠率op、低速设备的带宽BSD、混合设备实际测量到用户i吞吐量值
Figure DDA0001788116920000012
和
Figure DDA0001788116920000013
计算得到下一周期的指定限速值
Figure DDA0001788116920000014
和
Figure DDA0001788116920000015
SAAT将得到的下一周期指定限速值
Figure DDA0001788116920000016
和
Figure DDA0001788116920000017
传输至RIT，RIT根据指定限速值
Figure DDA0001788116920000018
和
Figure DDA0001788116920000019
控制混合存储设备实际吞吐量，使最新的指定限速值生效，进而使每个用户的读写吞吐量实际值尽可能地接近期望达到的吞吐量上限。本发明能有效解决了混合设备带宽资源隔离不准确的问题。

Description

一种面向多租户的混合存储设备资源隔离的自适应方法
技术领域
本发明涉及一种云存储、虚拟化、资源隔离领域，特别是关于一种面向多租户的混合存储设备资源隔离的自适应方法。
背景技术
资源隔离：资源隔离是指对***每个用户(或者进程组)得到的包括CPU、内存、I/O带宽、网络等在内的***资源，进行统计、控制的技术，目标是为了使用户(或进程)之间工作互不影响。在云环境中，不同用户经常共享使用资源。应用资源隔离技术，一方面可以避免某用户占用其它用户资源的情况，另一方面可以对用户使用的资源进行计数，方便云厂商制定公平合理的收费策略。
Cgroup技术：全称为Linux Control Group，是Linux内核提供的一种可以限制、记录、隔离进程组(process groups)所使用的物理资源(如：CPU,内存,I/O,网络等等)的机制。在常见的云端资源管理***如Mesos、YARN、Kubernetes等中，发挥了不可替代的作用。
混合存储设备：将两块或多块不同种类的存储设备包装成一块存储设备，统一提供存储服务的技术。用户访问混合设备时，仿佛在访问一块设备，设备内部的数据细节不会被用户感知。目前支持将两种或多种设备组合的技术有：Flashcache,dm-cache，bcache等。最常见的情况是用将快速设备和慢速设备组合，用快速设备作为缓存给慢速设备加速。
非易失内存：即Non-Volatile Memory(NVM)，是近年来正在兴起的新型快速存储介质，可以像内存一样按位进行访问，也可以像磁盘一样长期保存数据，断电后数据不丢失。目前最主流的NVM介质包括PCM、STT-MRAM和ReRAM等，其中PCM相对最为成熟。Intel和镁光已经发布新型的NVM产品，分为PCIe接口和内存的DIMM接口两种产品形态，预期近期正式上市销售。
闪存：闪存(Flash)是过去几年内最为成功的新型存储介质，可以提供比磁盘高很多的性能，尤其是在随机访问性能方面优势非常明显。一般以固态硬盘(SSD)的产品形态出现，是标准的块设备，与磁盘的访问方式一样。按照接口不同一般分为PCIe接口、SAS接口和SATA接口的不同固态硬盘产品。
1)混合存储：下面列出了三种目前在Linux内核中有支持不同缓存方案的混合存储技术。这些技术可以实现将2块或以上的存储设备包装成一块逻辑设备对外提供存储服务，目的是为了利用快速设备作为慢速设备的缓存，提高带宽能力。
(1)dm-cache是基于内核device mapper机制实现的一种包装快速设备和慢速设备成一个混合设备的方法。通过动态地将数据移动到快速设备，可以达到提升性能的目的。dm-cache要求用户创建混合设备时，指定一个原设备(origin decvice),一个缓存设备(cache device),一个元数据设备(metadata device)。原设备一般是容量大，速度慢的慢速设备(如机械硬盘)；缓存设备一般是容量较小，速度快的快速设备(如固态硬盘)；元数据设备用来存储缓存中数据块信息(如是否是脏块等信息)。
(2)Flashcache是Facebook为InnoDB数据库加速而实现的混合存储模块。与dm-cache类似，这项技术也是基于Linux内核自带的device mapper功能。其要求用户指定缓存设备和源设备。常见情况是固态硬盘(SSD)和机械硬盘(HDD)的混合方案。除此之外，其他快速设备和慢速设备的混合方案如NVM+SSD，NVM+HDD都是支持的。
(3)bcache是Linux内核块设备层cache，与Flashcache相比更加灵活，支持固态硬盘作为多块机械硬盘的共享内存，而且可以在运行中动态增加，删除缓存设备和后端设备。其使用B+树来维护索引，虽然比Flashcache复杂，也已经进入内核主线，但是还存在不稳定的情况，与Flashcache相比不太成熟。
2)资源隔离技术：
(1)Linux Control Group介绍
Linux Control Group(Cgroup)是目前资源隔离领域最主流的工具，由Google开发，目前已经被集成进Linux内核。Cgroup可以用来限制、控制与分离一个进程组的资源(如CPU时间，***内存，I/O和网络带宽)。这项技术被广泛应用于云环境、虚拟化容器，来管理、分配、限制不同应用的资源使用情况。Cgroup的工作情况如图所示。图1中将应用(不同进程，比如数据库进程或者虚拟机进程)划分进不同的组(Group)，并且给每个组指定资源分配情况(按照指定格式写进Cgroup的配置文件，可以只限定一种或几种资源)。为了控制这些资源，Cgroup会对每个组中进程使用资源的情况进行监视、记录、统计。这样，不同组之间资源就被隔离开，达到资源隔离的目的。
(2)绝对带宽/IOPS限速和比例权重限速
Cgroup中限制I/O资源有两种方式：比例权重限速和绝对带宽/IOPS限速(如图1所示，Group2是比例权重限速，Group1和Group3是绝对值限速)。比例权重限速是通过设置不同权重值来达到限速的目的。绝对带宽/IOPS限速是给定一个固定带宽(bandwidth)或IOPS的限定值最为上限，Cgroup控制此用户组访问该设备时的带宽/IOPS不会超过此上限。
(3)混合存储上的绝对值限速。
对于cgroup限定I/O资源的两种方式，混合设备上可以用绝对带宽/IOPS限速的方式来限速；但是由于比例权重限速是基于Linux内核中I/O调度层的CFQ调度算法实现的，而上述提到的基于Flashcache等工具搭建的混合设备由于在逻辑设备上跳过了I/O调度层的代码，因此无法利用cgroup的比例权重限速功能。
在单一存储设备(机械硬盘、固态硬盘、NVM)上进行绝对带宽/IOPS限速时，一般比较准确，实际测量出的吞吐量与指定限速值持平。而在固态硬盘和机械硬盘构建的混合存储上进行绝对带宽/IOPS测试时，发现一般都不准确，实际吞吐量值一般会小于设定的带宽上限，出现这种情况的原因是因为混合存储内部快速设备和慢速设备的带宽差异导致。
现有的资源隔离技术，如Cgroup，在混合存储上进行绝对带宽/IOPS限速时，出现实际吞吐量低于给定限速值的情况。这种现象是由于快速设备(FD)和慢速设备(SD)之间吞吐能力差距形成的。在混合存储中，快速设备和慢速设备有时分开工作的，有时并行工作。在一般情况下，混合存储设备平均吞吐能力会介于快速设备吞吐能力和慢速设备吞吐能力之间——当快速设备工作时间占比例高时，混合存储表现出的平均吞吐能力就高；当慢速设备工作时间占比例高时，混合存储表现出的平均吞吐能力就差。可以简单理解为，慢速设备在某些时候会成为混合存储吞吐能力的瓶颈，导致实际吞吐量低于给定限速值。
如图2所示，SD代表慢速设备，FD代表快速设备，给定目标限速值(TargetThroughput)。灰色部分代表慢速设备单独工作达不到目标限速吞吐量的部分。最终测量出的实际吞吐量(Measured Throughput)会比目标吞吐量低。
发明内容
针对上述问题，本发明的目的是提供一种面向多租户的混合存储设备资源隔离的自适应方法，该方法能有效解决了混合设备带宽资源隔离不准确的问题。
为实现上述目的，本发明采取以下技术方案：一种面向多租户的混合存储设备资源隔离的自适应方法，其包括以下步骤：1)设置一包括混合存储设备、资源隔离工具RIT和自适应精确限速算法模块SAAT的***；2)N个用户访问混合存储设备，将用户i期望得到的读吞吐量
Figure GDA0003044073230000031
用户i期望得到的写吞吐量
Figure GDA0003044073230000032
传输至RIT；其中，R代表读，W代表写，i＝1，2，…，N；T表示用户期望的吞吐量；3)SAAT周期性根据信息Rmiss、op、低速设备的带宽BSD、混合设备实际测量到用户i实际测量得到的读吞吐量
Figure GDA0003044073230000041
和用户i实际测量得到的写吞吐量
Figure GDA0003044073230000042
计算得到下一周期的指定限速值
Figure GDA0003044073230000043
和
Figure GDA0003044073230000044
其中，Rmiss表示缓存缺失率，某用户周期内未命中的请求数与请求总数的比值，op表示重叠率，设备并行工作时间与快速设备工作时间比值；M表示实际测量的吞吐量；A表示RIT指定混合设备的吞吐量上限；4)SAAT将得到的下一周期指定限速值
Figure GDA0003044073230000045
和
Figure GDA0003044073230000046
传输至RIT，RIT根据指定限速值
Figure GDA0003044073230000047
和
Figure GDA0003044073230000048
控制混合存储设备实际吞吐量，使最新的指定限速值生效，进而使每个用户的读写吞吐量实际值尽可能地接近期望达到的吞吐量上限。
进一步，所述步骤1)中，混合存储设备由快速设备FD和慢速设备SD组成，快速设备作为慢速设备的cache。
进一步，所述步骤3)中，SAAT包括以下步骤：3.1)设定RIT吞吐量调整周期间隔时间P；3.2)收集周期间隔时间P内的混合存储设备信息，包括Rmiss、op、BSD、混合设备实际测量到用户i实际测量得到的读吞吐量
Figure GDA0003044073230000049
和用户i实际测量得到的写吞吐量
Figure GDA00030440732300000410
3.3)周期控制：若t小于RIT吞吐量调整周期间隔时间P，则返回步骤3.2)，若t大于RIT吞吐量调整周期间隔时间P，则进入下一步；t为从当前周期开始到现在的时间长度；3.4)根据收集的信息计算下一周期的限速值；3.5)更新RIT配置文件，使最新的限速值生效。
进一步，所述步骤3.4)中，单用户情况下，下一周期限速值的计算方法如下：(1)根据实际测量的吞吐量ThM与给RIT指定限速值ThA，混合存储设备中缓存缺失率Rmiss，混合存储设备中FD和SD工作重叠率op和慢速设备SD的带宽上限BSD的关系，得到：
Figure GDA00030440732300000411
(2)将公式(1)变形，得出op的表达式，并根据周期间隔时间P内收集的信息ThM、Rmiss信息计算出op：
Figure GDA00030440732300000412
(3)将期望吞吐量ThT带入公式(1)中实际测量的吞吐量ThM的位置，变形得到下一周期的指定限速值ThA：
Figure GDA00030440732300000413
进一步，所述步骤3.4)中，多用户情况下，基于单用户情况对下一周期限速值的计算方法包括以下步骤：(1)根据公式(2)计算出多用户情况下的重叠率op：
Figure GDA0003044073230000051
(2)根据多用户情况下的重叠率op计算用户i的指定限速值Thi A：
Figure GDA0003044073230000052
式中，
Figure GDA0003044073230000053
代表整体用户的导致混合存储整体缺失率，体现出了其他用户对用户i给定吞吐量Thi A的影响。
本发明由于采取以上技术方案，其具有以下优点：本发明可以与现有主流的cgroup技术配合，有效解决了混合设备带宽资源隔离不准确的问题。
附图说明
图1是现有技术中Cgroup应用示意图；
图2是现有技术中混合存储限速问题示意图；
图3是本发明***工作参数示意图；
图4是本发明SAAT的工作流程示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图3、图4所示，本发明提供一种面向多租户的混合存储设备资源隔离的自适应方法，其包括以下步骤：
1)设置一包括混合存储设备、资源隔离工具(Resource Isolation Tool,RIT)和自适应精确限速算法模块(Self-Adaptive Accurate Throttling，SAAT)的***；
其中，混合存储设备由快速设备(FD)和慢速设备(SD)组成，快速设备作为慢速设备的cache；RIT用来控制每个进程访问混合设备的带宽；SAAT通过调整资源隔离工具设定的目标值，进而控制每个进程访问混合设备的吞吐量。
2)N个用户访问混合存储设备，将用户i期望得到的读吞吐量
Figure GDA0003044073230000054
用户i期望得到的写吞吐量
Figure GDA0003044073230000055
传输至RIT；其中，R代表读，W代表写，i＝1，2，…，N；T表示Target，指用户期望的吞吐量；
3)SAAT周期性根据信息Rmiss、op、低速设备的带宽BSD、混合设备实际测量到用户i实际测量得到的读吞吐量
Figure GDA0003044073230000056
和用户i实际测量得到的写吞吐量
Figure GDA0003044073230000057
计算得到下一周期的指定限速值
Figure GDA0003044073230000058
和
Figure GDA0003044073230000059
其中，Rmiss表示缓存缺失，某用户周期内未命中的请求数与请求总数的比值，op表示重叠率，设备并行工作时间与快速设备工作时间比值；M表示Measured，指实际测量的吞吐量；A表示Assigned，指RIT指定混合设备的吞吐量上限。
4)SAAT将得到的下一周期指定限速值
Figure GDA0003044073230000061
和
Figure GDA0003044073230000062
传输至RIT，RIT根据指定限速值
Figure GDA0003044073230000063
和
Figure GDA0003044073230000064
控制混合存储设备实际吞吐量，使最新的指定限速值生效，进而使每个用户的读写吞吐量实际值尽可能地接近期望达到的吞吐量上限。
上述步骤3)中，如图4所示，SAAT包括以下步骤：
3.1)设定RIT吞吐量调整周期间隔时间P；
3.2)收集周期间隔时间P内的混合存储设备信息，包括Rmiss、op、BSD、混合设备实际测量到用户i实际测量得到的读吞吐量
Figure GDA0003044073230000065
和用户i实际测量得到的写吞吐量
Figure GDA0003044073230000066
3.3)周期控制：t为从当前周期开始到现在的时间长度，若t小于RIT吞吐量调整周期间隔时间P，则返回步骤3.2)，若t大于RIT吞吐量调整周期间隔时间P，则进入下一步；
3.4)根据收集的信息计算下一周期的限速值；
3.4.1)单用户情况下，下一周期限速值的计算方法包括以下步骤：
(1)根据实际测量的吞吐量ThM与给RIT指定限速值ThA，混合存储设备中缓存缺失率Rmiss，混合存储设备中FD和SD工作重叠率op和慢速设备SD的带宽上限BSD的关系，可以得到：
Figure GDA0003044073230000067
式中，op代表混合存储设备并行程度大小，由公式(1)可知，设备并行程度越高，测得实际吞吐量会越大。增大指定限速值ThA，测得实际吞吐量增大。缓存缺失率Rmiss与测得实际吞吐量变小。
(2)将公式(1)变形，得出op的表达式，并根据周期间隔时间P内收集的信息ThM、Rmiss信息计算出op：
Figure GDA0003044073230000068
(3)将期望吞吐量ThT带入公式(1)中实际测量的吞吐量ThM的位置，变形得到下一周期的指定限速值ThA：
Figure GDA0003044073230000069
3.4.2)多用户情况下，基于单用户情况对下一周期限速值的计算方法包括以下步骤：
(1)根据公式(2)计算出多用户情况下的重叠率op：
Figure GDA0003044073230000071
(2)根据多用户情况下的重叠率op计算用户i的指定限速值Thi A：
Figure GDA0003044073230000072
式(5)中，
Figure GDA0003044073230000073
代表整体用户的导致混合存储整体缺失率，从而体现出了其他用户对用户i给定吞吐量Thi A的影响。
3.5)更新RIT配置文件，使最新的限速值生效。
综上所述，由于混合存储工作原理及对实际吞吐量的影响为：将设定给资源隔离工具RIT的限速值提高，即允许混合设备处理的I/O请求数目会增加，用户获得的实际吞吐量也会上升。问题的难度在于给RIT设定的限速值改变多少，用户获得的实际吞吐量才能更接近目标值。
如前面所述，快速设备用作慢速设备的缓存。缓存的工作模式不尽相同，以最常见的回写模式(Write Back Mode)的读写情况分别举例说明。处理用户写请求时，混合设备会先想办法将数据写在缓存中，写入缓存成功后，本次写请求视为处理完毕。具体工作细节是：首先，在缓存中找该数据有没有在缓存中，如果有(命中)，直接更新数据后返回；如果该数据没有在缓存中(错失)，那么混合设备会尝试在缓存中找到空闲位置将数据写入。若缓存中没有空闲位置，混合设备会根据一定规则从缓存中挑选之前写操作未写入慢速设备中的数据写回。由此可以看到，混合设备处理某写请求的速率受到因素影响：写请求相关数据是否在缓存中(是否命中)、写回慢速设备的速度(慢速设备的吞吐能力)。当混合设备处理大量写请求时，快速设备和慢速设备会出现并行工作的情况，比如某个用户的写请求触发写回慢速设备的操作；另一个写请求在缓存中命中，快速设备也会服务这个请求。由此可见，两个设备的并行工作程度也会影响处理写请求的返回速率。
处理读请求的情况类似。先在缓存中找所读数据，如果命中，请求返回，结束；如果未命中，从慢速设备读数据，返回给用户，同时更新替换缓存中数据。同时，处理读请求时，两种设备也会存在并行工作的情况：从慢速设备读时，其他命中的读请求会从快速设备返回。
从混合存储工作原理简单来看，影响整体吞吐量的因素包括：命中率，低速设备的带宽，快速设备和慢速设备工作的并行程度。在通常情况下，命中率和并行程度是变化的，trace(访问设备块的顺序)，缓存大小、访问粒度等都会影响这两个因素。并且，命中率的改变也会影响设备工作的并行程度。因此，直接给出一个建议限速值是不可行的，需要一定时间根据trace命中率情况进行调整，本发明采用的SAAT就是周期性地收集混合设备内部相关信息，动态自适应给出建议限速值的算法。
上述各实施例仅用于说明本发明，各个步骤都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别步骤进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims (5)

1.一种面向多租户的混合存储设备资源隔离的自适应方法，其特征在于，该方法包括以下步骤：
1)设置一包括混合存储设备、资源隔离工具RIT和自适应精确限速算法模块SAAT的***；
2)N个用户访问混合存储设备，将用户i期望得到的读吞吐量
Figure FDA0002881720280000011
用户i期望得到的写吞吐量
Figure FDA0002881720280000012
传输至RIT；其中，R代表读，W代表写，i＝1，2，…，N；T表示用户期望的吞吐量；
3)SAAT周期性根据信息Rmiss、op、低速设备的带宽BSD、混合设备实际测量到用户i实际测量得到的读吞吐量
Figure FDA0002881720280000013
和用户i实际测量得到的写吞吐量
Figure FDA0002881720280000014
计算得到下一周期的指定限速值
Figure FDA0002881720280000015
和
Figure FDA0002881720280000016
其中，Rmiss表示缓存缺失率，某用户周期内未命中的请求数与请求总数的比值，op表示重叠率，设备并行工作时间与快速设备工作时间比值；M表示实际测量的吞吐量；A表示RIT指定混合设备的吞吐量上限；
4)SAAT将得到的下一周期指定限速值
Figure FDA0002881720280000017
和
Figure FDA0002881720280000018
传输至RIT，RIT根据指定限速值
Figure FDA0002881720280000019
和
Figure FDA00028817202800000110
控制混合存储设备实际吞吐量，使最新的指定限速值生效，进而使每个用户的读写吞吐量实际值尽可能地接近期望达到的吞吐量上限。
2.如权利要求1所述自适应方法，其特征在于：所述步骤1)中，混合存储设备由快速设备FD和慢速设备SD组成，快速设备作为慢速设备的cache。
3.如权利要求2所述自适应方法，其特征在于：所述步骤3)中，SAAT包括以下步骤：
3.1)设定RIT吞吐量调整周期间隔时间P；
3.2)收集周期间隔时间P内的混合存储设备信息，包括Rmiss、op、BSD、混合设备实际测量到用户i实际测量得到的读吞吐量
Figure FDA00028817202800000111
和用户i实际测量得到的写吞吐量
Figure FDA00028817202800000112
3.3)周期控制：若t小于RIT吞吐量调整周期间隔时间P，则返回步骤3.2)，若t大于RIT吞吐量调整周期间隔时间P，则进入下一步；t为从当前周期开始到现在的时间长度；
3.4)根据收集的信息计算下一周期的限速值；
3.5)更新RIT配置文件，使最新的限速值生效。
4.如权利要求3所述自适应方法，其特征在于：所述步骤3.4)中，单用户情况下，下一周期限速值的计算方法如下：
(1)根据实际测量的吞吐量ThM与给RIT指定限速值ThA，混合存储设备中缓存缺失率Rmiss，混合存储设备中FD和SD工作重叠率op和慢速设备SD的带宽上限BSD的关系，得到：
Figure FDA0002881720280000021
(2)将公式(1)变形，得出op的表达式，并根据周期间隔时间P内收集的信息ThM、Rmiss信息计算出op：
Figure FDA0002881720280000022
(3)将期望吞吐量ThT带入公式(1)中实际测量的吞吐量ThM的位置，变形得到下一周期的指定限速值ThA：
Figure FDA0002881720280000023
5.如权利要求4所述自适应方法，其特征在于：所述步骤3.4)中，多用户情况下，基于单用户情况对下一周期限速值的计算方法包括以下步骤：
(1)根据公式(2)计算出多用户情况下的重叠率op：
Figure FDA0002881720280000024
(2)根据多用户情况下的重叠率op计算用户i的指定限速值
Figure FDA0002881720280000028
Figure FDA0002881720280000025
式中，
Figure FDA0002881720280000026
代表整体用户的导致混合存储整体缺失率，体现出了其他用户对用户i给定吞吐量
Figure FDA0002881720280000027
的影响。
CN201811024414.2A 2018-09-04 2018-09-04 一种面向多租户的混合存储设备资源隔离的自适应方法 Active CN109274729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811024414.2A CN109274729B (zh) 2018-09-04 2018-09-04 一种面向多租户的混合存储设备资源隔离的自适应方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811024414.2A CN109274729B (zh) 2018-09-04 2018-09-04 一种面向多租户的混合存储设备资源隔离的自适应方法

Publications (2)

Publication Number Publication Date
CN109274729A CN109274729A (zh) 2019-01-25
CN109274729B true CN109274729B (zh) 2021-06-29

Family

ID=65188172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811024414.2A Active CN109274729B (zh) 2018-09-04 2018-09-04 一种面向多租户的混合存储设备资源隔离的自适应方法

Country Status (1)

Country Link
CN (1) CN109274729B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858018B (zh) * 2019-04-30 2023-04-14 中移(苏州)软件技术有限公司 Cgroup配置的方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104301944A (zh) * 2014-09-17 2015-01-21 华为技术有限公司 资源能力分配方法和设备
CN105407162A (zh) * 2015-11-27 2016-03-16 国云科技股份有限公司 一种基于SLA服务等级的云计算Web应用资源负载均衡算法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130067595A1 (en) * 2011-09-14 2013-03-14 Wall Street Network, Inc. Data Isolation Service for Data and Information Sharing
PL3217588T3 (pl) * 2014-11-05 2020-06-29 Lg Electronics Inc. Sposób i urządzenie do przydzielania jednostki zasobów na podstawie kontenera w bezprzewodowej sieci lan

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104301944A (zh) * 2014-09-17 2015-01-21 华为技术有限公司 资源能力分配方法和设备
CN105407162A (zh) * 2015-11-27 2016-03-16 国云科技股份有限公司 一种基于SLA服务等级的云计算Web应用资源负载均衡算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Warden多租户网络隔离设计与实现;赖春彬;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160715;第2016年卷(第7期);全文 *
基于SSD-SMR混合存储的LSM树键值存储***的性能优化;王洋洋;韦皓诚;柴云鹏;《计算机科学》;20180715;第45卷(第7期);全文 *

Also Published As

Publication number Publication date
CN109274729A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
KR102370760B1 (ko) 존 네임스페이스에 대한 존 형성
JP6729914B2 (ja) ソリッドステートストレージドライブ、システム、および方法
US8380928B1 (en) Applying data access activity measurements
US7949847B2 (en) Storage extent allocation method for thin provisioning storage
US9026760B1 (en) Techniques for enforcing capacity restrictions of an allocation policy
US20110252215A1 (en) Computer memory with dynamic cell density
US20130318196A1 (en) Storage system and storage control method for using storage area based on secondary storage as cache area
US10997080B1 (en) Method and system for address table cache management based on correlation metric of first logical address and second logical address, wherein the correlation metric is incremented and decremented based on receive order of the first logical address and the second logical address
US20210081121A1 (en) Accessing stored metadata to identify memory devices in which data is stored
EP2784683B1 (en) Storage control program, storage control method, storage system and hierarchy control apparatus thereof
US20200285391A1 (en) Retention-aware data tiering algorithm for hybrid storage arrays
CN108595349B (zh) 大容量存储设备的地址转换方法与装置
US11416162B2 (en) Garbage collection method and storage device
CN109274729B (zh) 一种面向多租户的混合存储设备资源隔离的自适应方法
Polte et al. Enabling enterprise solid state disks performance
JP5884602B2 (ja) ストレージ制御装置、およびストレージシステム
US20210096985A1 (en) Memory controller and storage device including the same
CN115543187A (zh) 一种数据处理方法及设备
CN102779017A (zh) 一种固态盘中数据缓存区的控制方法
CN112181274A (zh) 提升存储设备性能稳定性的大块的组织方法及其存储设备
US10552053B2 (en) Hybrid data storage device with performance mode data path
KR102088944B1 (ko) 메모리 컨트롤러 및 이를 포함하는 스토리지 디바이스
Jun et al. Analysis and mitigation of patterned read collisions in flash SSDs
CN110865768B (zh) 写缓存资源分配方法、装置、设备以及存储介质
Xie et al. CER-IOS: internal resource utilization optimized I/O scheduling for solid state drives

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant