CN108733316A - 用于管理存储***的方法和管理器 - Google Patents

用于管理存储***的方法和管理器 Download PDF

Info

Publication number
CN108733316A
CN108733316A CN201710250593.0A CN201710250593A CN108733316A CN 108733316 A CN108733316 A CN 108733316A CN 201710250593 A CN201710250593 A CN 201710250593A CN 108733316 A CN108733316 A CN 108733316A
Authority
CN
China
Prior art keywords
data block
metadata
cache
data
backstage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710250593.0A
Other languages
English (en)
Other versions
CN108733316B (zh
Inventor
高健
董继炳
韩耕
徐鑫磊
奉昌玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN201710250593.0A priority Critical patent/CN108733316B/zh
Priority to US15/955,004 priority patent/US10802755B2/en
Publication of CN108733316A publication Critical patent/CN108733316A/zh
Application granted granted Critical
Publication of CN108733316B publication Critical patent/CN108733316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
    • G06F11/1064—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices in cache or content addressable memories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0891—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches using clearing, invalidating or resetting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0632—Configuration or reconfiguration of storage systems by initialisation or re-initialisation of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1041—Resource optimization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/60—Details of cache memory
    • G06F2212/608—Details relating to cache mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提出了用于管理存储***的方法和管理器。本公开中的存储***包括管理器和存储设备，存储设备包括数据区和元数据区。数据区被划分为数据块，元数据区中存储描述数据块的清零状态的元数据。该方案包括在管理器的存储器中分配元数据缓存，元数据缓存包括各自的清零指示位，清零指示位指示相应数据块的清零状态。分配过程包括分配用于用户数据的读或写的用户数据缓存以及分配用于针对存储设备的后台清零操作的后台清零缓存。响应于接收到针对存储***的I/O请求，利用元数据缓存来处理I/O请求。通过本公开的方案，可以减少针对元数据的操作，减少磁盘驱动器的寻道时间，从而提高用户I/O性能并且加速后台清零操作。

Description

用于管理存储***的方法和管理器
技术领域
本公开的实施例涉及存储***，并且更具体地涉及用于管理存储***的方法和管理器。
背景技术
目前，已经开发出了基于冗余磁盘阵列的多种数据存储***来提高数据的可靠性。当存储***中的一个或者多个磁盘出现故障时，可以从其他正常操作的磁盘上的数据来恢复出故障磁盘中的数据。在对冗余磁盘阵列进行初始化的过程中，对磁盘进行清零操作，这时需要协调针对磁盘的用户的数据读写操作和针对磁盘的后台清零过程。
发明内容
本公开的实施例提供用于管理存储***的方法和管理器以及计算机程序产品。
在本公开的第一方面，提供了一种用于管理存储***的方法。该存储***包括管理器和存储设备。存储设备包括数据区和元数据区。数据区被划分为数据块，元数据区中存储描述数据块的清零状态的元数据。方法包括在管理器的存储器中分配元数据缓存。元数据缓存包括各自的清零指示位，清零指示位指示相应数据块的清零状态。分配过程包括分配用于用户数据的读或写的用户数据缓存以及分配用于针对存储设备的后台清零操作的后台清零缓存。该方法还包括响应于接收到针对存储***的I/O请求，利用元数据缓存来处理I/O请求。
在本公开的第二方面，提供了用于管理存储***的管理器，存储***包括管理器和存储设备，存储设备包括数据区和元数据区，数据区被划分为数据块，元数据区中存储描述数据块的清零状态的元数据，管理器包括处理器以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使管理器执行动作，动作包括在存储器中分配元数据缓存。元数据缓存包括清零指示位，清零指示位指示相应数据块的清零状态。分配过程包括分配用于用户数据的读或写的用户数据缓存以及分配用于针对存储设备的后台清零操作的后台清零缓存。动作还包括响应于接收到针对存储***的I/O请求，利用元数据缓存来处理I/O请求。
在本公开的第三方面，提供了一种计算机程序产品。计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，机器可执行指令在被执行时使机器执行本公开的第一方面的方法。
提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了根据本公开的实施例的存储***的框图；
图2示出了根据本公开的实施例的存储设备的示意图；
图3示出了根据本公开的实施例的用于管理存储***的方法的流程图；
图4示出了根据本公开的实施例的分配元数据缓存的示意图；
图5示出了根据本公开的实施例的处理读请求过程的示意图；
图6示出了根据本公开的实施例的处理写请求过程的示意图；
图7示出了根据本公开的实施例的元数据缓存的查找过程的示意图。
图8示出了根据本公开的实施例的更新元数据缓存过程的示意图；
图9示出了根据本公开的实施例的后台清零过程的示意图；
图10示出了根据本公开的另一个实施例的后台清零过程的示意图；
图11示出了根据本公开的又一个实施例的后台清零过程的示意图；
图12示出了根据本公开的实施例的管理器的示意图；并且
图13示出了可以用来实施本公开内容的实施例的示例设备的示意性框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
本文中的存储***可以是独立磁盘冗余阵列(Redundant Array of IndependentDisks，RAID)。RAID可以将多个存储设备组合起来，成为一个磁盘阵列。通过提供冗余的存储设备，可以使得整个磁盘组的可靠性大大超过单一的存储设备。RAID可以提供优于单一的存储设备的各种优势，例如，增强数据整合度，增强容错功能，增加吞吐量或容量，等等。随着存储设备的发展，RAID经历了多个标准，例如RAID-1，RAID-10，RAID-3，RAID-30，RAID-5，RAID-50等等。操作***可以把由多个存储设备构成的磁盘阵列视为单一的逻辑存储单元或磁盘。通过将磁盘阵列划分为多个条带(strip)，可以将数据分布到多个存储设备，从而实现低延迟、高带宽，并且其中的部分磁盘毁坏后可以在一定程度上恢复数据。当然，应当理解的是，本公开的实施例并不限于RAID。这里所教导的精神和原理同样可以适用于任何其他具有多个存储控制器的存储***，不论是目前已知的还是将来开发的。下文以RAID作为示例来描述本公开的实施例仅仅是为了帮助理解本公开的方案，而无意以任何方式限制本公开的范围。
在对冗余磁盘阵列进行初始化的过程中，对磁盘进行清零操作，这时需要协调针对磁盘的用户的数据读写操作和针对磁盘的后台清零过程。在磁盘存储容量很大的情况下，清零所需时间较长，会对用户的读写操作造成影响。按需清零操作能够对用户需要读写的磁盘区域按照需要进行清零。而按需清零操作会引入了I/O增多或放大的问题。对于在磁盘区域中的每个读或写操作，需要至少访问一次磁盘上的元数据，这降低了用户I/O的性能。而且，如果读/写的位置彼此离得比较远，则磁盘平均寻道时间将会显著增加，这在将元数据放置于磁盘末端时显得更为明显。
为了至少部分地解决上述问题以及其他潜在问题，本公开的示例实施例提供了一种用于管理存储***的方案。在本公开的方案中，在存储器中分配元数据缓存以加速按需清零和后台清零。加速按需清零和后台清零的效果是通过以下方式被实现的：减少读取元数据、减少平均的磁盘头寻道时间以及减少磁盘元数据的I/O。通过本公开的方案，可以显著减少磁盘清零对于用户I/O的影响。
图1示出了根据本公开的实施例的存储***100的框图。应当理解，仅出于示例性的目的描述存储***100的结构和功能而不是暗示对于本公开的范围的任何限制。也即，存储***100中的某些部件可被省略或替换，而另一些未示出的部件可被添加到存储***100中。本公开的实施例可以被体现在不同的结构和/或功能中。
如图1所示，存储***100包括管理器102和存储设备108。在某些实施例中，管理器102是服务器。管理器102包括存储器104和处理器106，存储器104和处理器106耦合在一起。作为非限制性的实现方式，存储器可以是易失性存储器，诸如双倍数据速率(Double DataRate)内存、动态随机访问存储器(Dynamic Random Access Memory，DRAM)或静态所及访问存储器(Static Random Access Memory，SRAM)。存储设备108包括多个磁盘110。在某些实施例中，磁盘110可以是硬盘驱动器HDD或固态硬盘SSD。应当理解，尽管图1仅示例性地图示了两个磁盘110，然而存储设备108可以包括多于两个磁盘110。
图2示出了存储设备108的分配情况。存储设备108包括数据区202和元数据区204。数据区被划分成预定大小的数据块206。数据块206的预定大小例如可以是1MB。元数据区中存储有描述数据块206的状态的元数据块208。对应于每个数据块206的元数据块208的大小可以是两个字节。对于大容量的存储设备108，需要很大的元数据区204。例如，当存储设备108支持16PB的数据容量时，元数据区202高达32GB。由于元数据所占空间很大，故只能被存储在磁盘上，而不能被存储在存储器104中。在一个实施例中，元数据区202位于每个磁盘110的末尾处。
在多个磁盘上创建了RAID时，形成逻辑单元空间，这些逻辑单元可以由相应的逻辑单元号(LUN)唯一地表示。为了实现RAID条带的连续性，需要对LUN空间进行清零。而LUN空间的磁盘清零需要花费较长时间，例如几个小时。通过在元数据中标记次磁盘110上的某些数据块206需要清零，一些后台线程可以在每块磁盘110上进行清零操作。
在某些实施例中，除了使用元数据来描述每个数据块206的清零状态以及是否需要被清零，还使用整体的检查点(checkpoint)来描述已经被清零的磁盘的比例。通常，不会在对每个数据块206进行清零之后都更新检查点，以避免增大清零操作的持续时间并且对于用户I/O性能造成更大影响。因此，一般来说，每经过一段预定时间更新一次检查点。
检查点可以标示已经被清零的磁盘区域，该区域可以被称为检查点以下的磁盘区域；而对于检查点以上的磁盘区域，存在两种情况，第一种是后台的清零线程已经完成了清零操作，但是检查点未得到及时的更新，第二种是该磁盘区域还未被清零。如果用户的I/O在检查点以下的磁盘区域时，则该I/O可以按照通常的I/O操作来进行，即按照通常的模式来访问磁盘以进行数据的读写。当I/O在检查点以上的磁盘区域时，需要进行按需清零(ZOD)过程。访问检查点以上的磁盘区域的I/O必须先读取元数据来检查该区域的数据块的状态。
按需清零过程被描述如下。当针对检查点以上的磁盘区域的数据块206进行读/写操作时，首先需要读取该数据块206所对应的元数据并且检查清零状态。例如，当对检查点以上的磁盘区域的数据块206进行读操作时，首先需要读取该数据块206所对应的元数据并且检查清零状态。如果该区域未被清零，则首先将该区域清零，然后再对该区域执行写操作，最后更新该区域所对应的元数据以标示该区域已被清零。当对检查点以上的磁盘区域执行读操作时，也需要读取该数据块206的元数据。如果该磁盘区域未被清零，则读回的数据被设置成零。否则，如果该磁盘区域已经完成清零过程，则执行对磁盘的读操作来获取磁盘上的数据。
如前文所描述的，按需清零操作会引入I/O增多或放大的问题。对于在磁盘区域中的每个读或写操作，需要至少访问一次磁盘上的元数据，这降低了用户I/O的性能。而且，如果读/写彼此离得比较远，则磁盘平均寻道时间将会显著增加。
以下将参考图3至图10来进一步详细描述本公开的示例实施例。为描述方便，下面以管理器102为例来讨论本公开的若干示例实施例。但是将会理解，下文描述的特征同样适用于其他一个或多个管理器。
图3示出了根据本公开的实施例的用于管理存储***100的方法300的流程图。应当理解的是，方法300还可以包括未示出的附加步骤和/或可以省略所示出的动作，本公开的范围在此方面不受限制。
在302，管理器102在存储器104中分配元数据缓存。图4示出了元数据缓存分配的示例。更具体地，图4示出了根据本公开的实施例的分配元数据缓存的过程400的示意图。元数据缓存被设计成多个缓存区，包括从缓存区0、缓存区1，直到缓存区N，其中N为正整数。缓存区也可以被称为缓存槽(slot)或缓存分段(segment)。元数据缓存和相应的数据块对应。缓存区的大小可以被设置成目标大小，诸如128位。元数据缓存包括清零指示位，清零指示位指示相应数据块的清零状态。每个位表示数据区中的一个数据块的状态。在某些实施例中，设定每个缓存区的大小为128位，每一位对应于2B的元数据和1MB的数据块。根据管理器102的存储器104的容量的限制，元数据缓存的数目是可配置的。如果设定4个数据缓存区，每个缓存区大小为128位，则可以为512MB的数据的清零状态进行描述。
清零指示位可以被设置为预定值，例如1或0。作为一种非限制性的实施方式，清零指示位被设置成1表示即该清零指示位所对应的数据块已经被清零或者被用户I/O写入内容，这时意味着缓存命中(hit)。在命中的情况下，不需要读取对应于该指示位的元数据。清零指示位被设置成0表示对应的数据块的状态时未知的。该数据块可能已经被清零，但在元数据缓存中未被更新。该数据块也可能还未被清零或未被写入内容。在指示位为0的情况下意味着缓存未命中(miss)，需要读取该指示位所对应的元数据来确定相对应的数据块的真实状态。参考图4，缓存区0中的部分清零指示位被设置成1，部分清零指示位被设置成0。根据本地性的原则，磁盘上相邻的存储位置趋向于被频繁地访问，这意味着磁盘命中的机会是很大的。
在某些实施例中，每个缓存区的范围与另外的缓存区的范围是不重叠的。为了加速磁盘清零，分配元数据缓存包括分配用于用户数据的读或写的用户数据缓存以及分配用于针对存储设备108的后台清零操作的后台清零缓存。在一个实施例中，设置一个元数据缓存专门用于后台清零操作，其它的元数据缓存用于用户I/O，诸如设置四个缓存区用于用户数据I/O。
在某些实施例中，元数据缓存的数据结构的定义如表1所示。注意，表1中的数值仅仅是示例性的，无意以任何方式限定本公开的范围。根据具体的实现环境和需求，任何其他适当的数值也将是可行的。
表1
参数 描述
cached_data[16] 128位的数据，每一位对应于一个数据块206
start_chunk 缓存区中的第一个数据块的索引
last_io 缓存区中命中的最后一个I/O的计数
回到图3，在304，响应于接收到针对存储***100的I/O请求，管理器102利用元数据缓存来处理I/O请求。该I/O请求可以来自于用户设备或主机。该I/O请求可以包括读请求、写请求、清零请求等。在元数据缓存命中的情况下，可以直接进行针对磁盘的读写操作。而在元数据缓存未命中的情况下，需要先读取元数据。下文将结合附图5-11以示例的方式来描述处理I/O的过程。
在本公开的方案中，对于每次的读/写/清零命中，可以跳过或省略一次元数据的读取，因此可以节省一半的磁盘操作。对于未占用的(unconsumed)磁盘，即不可用于用户读写的磁盘，后台清零操作将所有的元数据更新放在一起，这也可以节省大量的磁盘操作。在针对元数据的操作减少的情况下，I/O有更大的概率是指向相同的磁盘区域的，这将明显减少磁盘驱动器的寻址时间，从而提高I/O性能。对于每次的读/写/清零未命中，I/O服务时间和未采用元数据缓存的方案基本上是一致的，因为本公开的方案对于缓存的读取操作耗时较少，而不会增加磁盘的读写时间。
图5示出了根据本公开的实施例的管理器102处理读请求的过程500的示意图。读请求属于前文所述I/O请求的一种类型。
在502，管理器102接收读请求，该读请求可以来自于用户设备或主机。
在504，管理器102确定与读请求所对应的数据块相关联的元数据缓存中的清零指示位是否全部被设置为预定值。在某些实施例中，预定值被设置成1。
在506，如果读请求所对应的数据块相关联的元数据缓存中的清零指示位全部被设置为预定值，管理器102将该读请求发送至存储设备。清零指示位全部被设置为预定值表示与清零指示位相对应的数据块已经全部被清零或者被写入。
在508，如果读请求所对应的数据块相关联的元数据缓存中的清零指示位中的至少一个未被设置为预定值，管理器102读取读请求所对应的数据块相关联的元数据。清零指示位中的至少一个未被设置为预定值表示与清零指示位对应的数据块中的至少一部分数据块未被清零或写入，这时需要先去读取磁盘上的元数据来确定数据块的清零状态。
在510，管理器102利用读取的元数据来更新元数据缓存。对于元数据缓存进行更新的具体实施方式将结合图8进行更为详细的描述。
在512，管理器102确定是否所有的数据块已被清零或者被写入。在所有的数据块已被清零或者被写入的情况下，实施步骤506。
在不是所有的数据块已被清零或者被写入的情况下，进行到514，管理器102确定是否有一部分的数据块被清零或者被写入。
如果在514中管理器102确定没有一部分的数据块被清零或者被写入，则进行到516，即管理器102向读缓存填充0。即读请求所获取的数据被填充为0。
如果在514中管理器102确定有一部分的数据块已经被清零或者被写入，则进行到518，管理器102将读请求发送至存储设备108。即管理器102读取已经被清零或者被写入的数据块。
在520，管理器102向需要清零的数据块所对应的读缓存填充0。即管理器102对于未被清零或者被写入的数据块，将读请求对应的缓存填充成0。
图6示出了根据本公开的实施例的管理器102处理写请求的过程600示意图。写请求属于前文所述的I/O请求的一种类型。
在602，管理器102接收写请求。该写请求例如可以来自于用户设备或主机。
在604，管理器102确定与写请求所对应的数据块相关联的元数据缓存中的清零指示位是否全部被设置为预定值。在某些实施例中，预定值被设置成1。
在606，如果与写请求对应的数据块相关联的元数据缓存中的清零指示位全部被设置为预定值，管理器102向存储设备执行写操作。
在608，如果与写请求对应的数据块相关联的元数据缓存中的清零指示位中的至少一个未被设置为预定值，管理器102读取写请求所对应的数据块相关联的元数据。
在610，管理器102确定数据块是否被清零。
在612，如果数据块被清零，管理器102利用读取的元数据来更新与写请求对应的数据块相关联的元数据缓存。在612之后进行到步骤606，即向存储设备执行写操作。
在614，如果数据未被清零，管理器102向读缓存用零填充。
在616，管理器102将读请求发送至存储设备108。
在618，管理器102向需要清零的数据块所对应的读缓存填充零。
图7示出了根据本公开的实施例的元数据缓存的查找过程700的示意图。在对磁盘上的数据块206进行I/O操作之前，先要根据存储器104中所存储的元数据缓存进行查找操作。I/O请求所对应的数据块可能对应于一个元数据缓存，也可能对应于多个元数据缓存，还可能没有对应的元数据缓存。在读取清零指示位之前，首先需要在存储器104中找到清零指示位所处的位置。
在702，管理器102接收I/O请求。该I/O请求可以是读请求、写请求或清零请求。
在704，管理器102获取起始数据块的索引和I/O的计数，即将用户的I/O请求对应成数据块的起始索引号和个数。
在706,管理器102获取数据块所对应的第一个元数据缓存。
在708，管理器102确定是否是最后一个元数据缓存。在708的判断结果为肯定的情况下，数据缓存区中都没有存储对应于I/O请求所对应的清零指示位，这时进行到步骤720。
在710，管理器102获取数据块相对应的元数据缓存的范围。
在712，管理器102确定所有的数据块是否被清零或被写入。
在714，在712判定结果为否定的时候，管理器102获取I/O请求的数据块所对应的所有清零指示位。
在716，管理器102确定所有的清零指示位被设置为预定值。
在718，如果716的判断结果为肯定，则缓存命中，这时管理器102不需要读取元数据。
在720，对应于结果于I/O请求的缓存未命中，管理器102需要先读取元数据。在708的判断结果为否定的情况下，进行到步骤710。
在722，如果712的判定结果是肯定，则管理器102获取下一个元数据缓存。
图8示出了根据本公开的实施例的管理器102更新元数据缓存的过程800的示意图。图8所示的更新过程可以是对于图6中的步骤612的细化过程。应当理解，本公开所描述的元数据缓存更新的过程都可以使用过程800。
在802，管理器102获取I/O请求所对应的数据块的范围。
在804，管理器102确定I/O请求所对应的数据块的范围是否与后台清零缓存所对应的数据块的范围重叠。
在806，如果I/O请求所对应的数据块的范围与后台清零缓存所对应的数据块的范围重叠，管理器102无效后台清零缓存中的重叠部分。
在808，如果I/O请求所对应的数据块的范围与后台清零缓存所对应的数据块的范围不重叠，管理器102确定/O请求所对应的数据块的范围与用户数据缓存是否重叠。
在810，如果I/O请求所对应的数据块的范围与用户数据缓存所对应的数据块的范围重叠，更新用户数据缓存。
在812，如果I/O请求所对应的数据块的范围与用户数据缓存所对应的数据块的范围不重叠，管理器102获取空闲的用户数据缓存。
在某些实施例中，管理器102获取空闲的用户数据缓存包括首先判断是否存在空闲的缓存区。在存在空闲的缓存区时，初始化该缓存区，并且将缓存区的起始部分设置为I/O请求所对应的数据块的范围。在不存在空闲的缓存区时，对所有的缓存区进行遍历以确定最少最近使用(LRU)缓存区，并且判断该LRU缓存区在最近的100次I/O过程中是否命中。如果在最近的100次I/O过程中命中过，则完成此次更新过程。如果在最近的100次I/O过程中未命中过，则无效该LRU缓存区，然后初始化该缓存区，并且将缓存区的起始部分设置为I/O请求所对应的数据块的范围。应当理解，100次仅是示例性的次数，可以基于被设置的其他的次数阈值来判断是否需要无效LRU缓存区。在超过阈值的次数都没有命中表明该缓存区所对应的数据块的热度较低，可以将该缓存区用于表示其他热度较高的数据块的状态。
图9示出了根据本公开的实施例的后台清零过程900的示意图。后台清零过程可以发生在存储***100的初始化过程中或某块磁盘110的初始化过程中。而磁盘110可以处于占用(consumed)或未占用(unconsumed)状态。参照附图10和11对于占用或未占用转态的磁盘的后台清零过程进行了进一步的描述。
在902，管理器102利用检查点来查找需要被清零的数据块，检查点指示需要被清零的数据块的索引。
在904，管理器102确定需要被清零的数据块所对应的后台清零缓存中的清零指示位是否全部被设置为预定值。
如果在904中管理器102确定需要被清零的数据块相关联的后台清零缓存中的清零指示位全部被设置为预定值，则进行到906，管理器102将检查点更新到下一个数据块。
如果在904中管理器102确定需要被清零的数据块相关联的后台清零缓存中的清零指示位中的至少一个未被设置为预定值，则进行到908，管理器102读取需要被清零的数据块所对应的元数据。
在910，管理器102利用读取的元数据来更新元数据缓存。在910之后，进行到906，管理器102将检查点更新到下一个数据块。
图10示出了根据本公开的另一个实施例的后台清零过程的示意图1000。图10中的方案中，针对磁盘的用户数据I/O和后台清零都在进行，即磁盘是被占用的。该方案对应于图9的方案中确定需要被清零的数据块相关联的后台清零缓存中的清零指示位中的至少一个未被设置为预定值的情况。
在1002，管理器102读取元数据。
在1004，管理器102确定数据块是否被清零或者被写入。
如果在1004管理器102确定了数据块被清零或者被写入，则进行到1006，管理器102更新后台清零缓存。
如果在1004管理器102确定了数据块未被清零或者写入，则进行到1008，管理器102向磁盘写零。
在1010，管理器102更新元数据。
在1012，管理器102确定被清零的数据块是否被包括在用户数据缓存中。
如果在1012管理器102确定被清零的数据块被包括在用户数据缓存中，则进行到1014，管理器102更新用户数据缓存。然后再进行到1006。
如果在1012管理器102确定被清零的数据块未被包括在用户数据缓存中，则进行到1006。
图11示出了根据本公开的另一个实施例的后台清零过程的示意图1100。图11中的方案中，针对磁盘未被占用，即不存在用户数据I/O，这时的后台清零过程被描述如下。该方案对应于图9的方案中确定需要被清零的数据块相关联的后台清零缓存中的清零指示位中的至少一个未被设置为预定值的情况。
在1102，管理器102读取元数据。
在1104，管理器102确定数据块是否被清零或者被占用。
如果在1104中确定数据块被清零或者被占用，则进行到1106，管理器102向磁盘写零。
在1108，管理器102更新后台清零缓存。
如果在1104确定数据块未被清零或者被占用，则进行到1108。
在1110，管理器102确定被清零的数据块是否被包括在用户数据缓存中。
如果1110中确定被清零的数据块是否被包括在用户数据缓存中，则进行到1112，管理器102更新元数据。
在1114，管理器102无效后台清零缓存。
在1116，管理器102将检查点移动到下一个数据块。
图12示出了根据本公开的实施例的用于管理存储***的装置1200的示意图。在某些实施例中，装置1200例如可以在管理器102上实施。可以理解，列出本框图的目的仅在于使得更为容易地理解本公开，而不作为本公开实现的限制。装置1200还可以包括未示出的附加模块和/或可以省略所示出的模块。
装置1200包括元数据缓存分配单元1202和I/O处理单元1204。元数据缓存分配单元1202被配置为在管理器102的存储器104中分配元数据缓存。元数据缓存204包括清零指示位，清零指示位指示相应数据块206的清零状态。分配过程包括分配用于用户数据的读或写的用户数据缓存以及分配用于针对存储设备108的后台清零操作的后台清零缓存。I/O请求处理单元1204被配置为响应于接收到针对存储***100的I/O请求，利用元数据缓存来处理I/O请求。
在某些实施例中，I/O请求处理单元1204包括读请求处理子单元。读请求处理子单元被配置为响应于I/O请求是读请求来确定与读请求所对应的数据块相关联的元数据缓存中的清零指示位是否全部被设置为预定值；以及响应于读请求所对应的数据块相关联的元数据缓存中的清零指示位全部被设置为预定值，将读请求发送至存储设备108。
在某些实施例中，读请求处理子单元还被配置为响应于读请求所对应的数据块相关联的元数据缓存中的清零指示位中的至少一个未被设置为预定值，读取读请求所对应的数据块相关联的元数据；以及利用读取的元数据来更新元数据缓存。
在某些实施例中，I/O请求处理单元1204包括写请求处理子单元。写请求处理子单元被配置为响应于I/O请求是写请求来确定与写请求所对应的数据块相关联的元数据缓存中的清零指示位是否全部被设置为预定值；以及响应于与写请求对应的数据块相关联的元数据缓存中的清零指示位全部被设置为预定值，向存储设备108执行写操作。
在某些实施例中，写请求处理子单元还被配置为响应于与写请求对应的数据块相关联的元数据缓存中的清零指示位中的至少一个未被设置为预定值，读取写请求所对应的数据块相关联的元数据；以及利用读取的元数据来更新与写请求对应的数据块相关联的元数据缓存。
在某些实施例中，写请求处理子单元还被配置为：确定写请求对应的数据块是否已经被清零；响应于写请求对应的数据块未被清零，将写请求所对应的数据块清零；向存储设备执行写操作；更新与写请求所对应的数据块相关联的元数据；以及更新与写请求对应的数据块相关联的元数据缓存。
在某些实施例中，I/O请求处理单元1204包括更新子单元。更新子单元被配置为：获取I/O请求所对应的数据块的范围；确定I/O请求所对应的数据块的范围是否与后台清零缓存所对应的数据块的范围重叠；响应于I/O请求所对应的数据块的范围与后台清零缓存所对应的数据块的范围重叠，无效后台清零缓存中的重叠部分；以及响应于I/O请求所对应的数据块的范围与后台清零缓存所对应的数据块的范围不重叠，确定/O请求所对应的数据块的范围与用户数据缓存是否重叠。
在某些实施例中，更新子单元还被配置为：响应于I/O请求所对应的数据块的范围与用户数据缓存所对应的数据块的范围重叠，更新用户数据缓存；以及响应于I/O请求所对应的数据块的范围与用户数据缓存所对应的数据块的范围不重叠，获取空闲的用户数据缓存。
在某些实施例中，I/O请求处理单元1204包括清零子单元。清零子单元被配置为：利用检查点来查找需要被清零的数据块，检查点指示需要被清零的数据块的索引；确定需要被清零的数据块所对应的后台清零缓存中的清零指示位是否全部被设置为预定值；以及响应于需要被清零的数据块相关联的后台清零缓存中的清零指示位全部被设置为预定值，将检查点更新到下一个数据块。
在某些实施例中，清零子单元还被配置为：响应于需要被清零的数据块相关联的后台清零缓存中的清零指示位中的至少一个未被设置为预定值，读取需要被清零的数据块所对应的元数据；以及利用读取的元数据来更新元数据缓存。
出于清楚的目的，在图12中没有示出装置1200的某些可选模块。然而，应当理解，上文参考图1-2所描述的各个特征同样适用于装置1200。而且，装置1200的各个模块可以是硬件模块，也可以是软件模块。例如，在某些实施例中，装置1200可以部分或者全部利用软件和/或固件来实现，例如被实现为包含在计算机可读介质上的计算机程序产品。备选地或附加地，装置1200可以部分或者全部基于硬件来实现，例如被实现为集成电路(IC)、专用集成电路(ASIC)、片上***(SOC)、现场可编程门阵列(FPGA)等。本公开的范围在此方面不受限制。
图13示出了一个可以用来实施本公开的实施例的设备1300的示意性框图。如图所示，设备1300包括中央处理单元(CPU)1301，其可以根据存储在只读存储器(ROM)1302中的计算机程序指令或者从存储单元1308加载到随机访问存储器(RAM)1303中的计算机程序指令，来执行各种适当的动作和处理。在RAM 1303中，还可存储设备1300操作所需的各种程序和数据。CPU 1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。
设备1300中的多个部件连接至I/O接口1305，包括：输入单元1306，例如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法300、500、600、700、800或900，可由处理单元1301执行。例如，在一些实施例中，方法300、500、600、700、800或900可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序被加载到RAM 1303并由CPU 1301执行时，可以执行上文描述的方法200或300的一个或多个步骤。备选地，在其他实施例中，CPU 1301也可以以其他任何适当的方式被配置以实现上述过程/方法。
本公开中，在存储器中引入元数据缓存来对磁盘上的元数据进行映射。本公开的方案至少可以达到以下技术效果：缓存使用少量的存储器空间来描述和维护磁盘上的元数据。在元数据缓存命中时，可以减少访问磁盘的次数，并且因此可以避免磁盘头在数据和元数据之间来回移动。而且，本公开的方案可以加速后台清零操作。利用在存储器中的元数据缓存，可以对于元数据的变化进行统一更新，而不是在磁盘初始化过程中针对每次数据块变化都更新元数据。
本公开可以是方法、设备、***和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、闪存介质SSD、PCM SSD、3D交叉存储器(3DXPoint)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各实施例。

Claims (21)

1.一种用于管理存储***的方法，所述存储***包括管理器和存储设备，所述存储设备包括数据区和元数据区，所述数据区被划分为数据块，所述元数据区中存储描述所述数据块的清零状态的元数据，所述方法包括：
在所述管理器的存储器中分配元数据缓存，所述元数据缓存包括各自的清零指示位，所述清零指示位指示相应数据块的清零状态，所述分配包括：
分配用于用户数据的读或写的用户数据缓存；以及
分配用于针对所述存储设备的后台清零操作的后台清零缓存；以及
响应于接收到针对所述存储***的I/O请求，利用所述元数据缓存来处理所述I/O请求。
2.根据权利要求1所述的方法，其中利用所述元数据缓存来处理所述I/O请求包括：
响应于所述I/O请求是读请求，确定与所述读请求所对应的数据块相关联的元数据缓存中的清零指示位是否全部被设置为预定值；以及
响应于所述读请求所对应的所述数据块相关联的元数据缓存中的清零指示位全部被设置为预定值，将所述读请求发送至所述存储设备。
3.根据权利要求2所述的方法，还包括：
响应于所述读请求所对应的所述数据块相关联的元数据缓存中的清零指示位中的至少一个未被设置为所述预定值，
读取所述读请求所对应的所述数据块相关联的元数据；以及
利用读取的所述元数据来更新所述元数据缓存。
4.根据权利要求1所述的方法，其中利用所述元数据缓存来处理所述I/O请求包括：
响应于所述I/O请求是写请求，
确定与所述写请求所对应的所述数据块相关联的元数据缓存中的清零指示位是否全部被设置为预定值；以及
响应于与所述写请求对应的所述数据块相关联的元数据缓存中的清零指示位全部被设置为预定值，向所述存储设备执行写操作。
5.根据权利要求4所述的方法，还包括：
响应于与所述写请求对应的所述数据块相关联的元数据缓存中的清零指示位中的至少一个未被设置为所述预定值，读取所述写请求所对应的所述数据块相关联的元数据；以及
利用读取的所述元数据来更新与所述写请求对应的所述数据块相关联的所述元数据缓存。
6.根据权利要求5所述的方法，其中利用读取的所述元数据来更新与所述写请求对应的所述数据块相关联的所述元数据缓存包括：
确定所述写请求对应的所述数据块是否已经被清零；以及
响应于所述写请求对应的所述数据块未被清零，将所述写请求所对应的所述数据块清零；
向所述存储设备执行写操作；
更新与所述写请求所对应的所述数据块相关联的所述元数据；以及
更新与所述写请求对应的所述数据块相关联的所述元数据缓存。
7.根据权利要求1所述的方法，其中利用所述元数据缓存来处理所述I/O请求包括：
获取所述I/O请求所对应的数据块的范围；
确定所述I/O请求所对应的数据块的范围是否与所述后台清零缓存所对应的数据块的范围重叠；
响应于所述I/O请求所对应的数据块的范围与所述后台清零缓存所对应的数据块的范围重叠，无效所述后台清零缓存中的重叠部分；以及
响应于所述I/O请求所对应的数据块的范围与所述后台清零缓存所对应的数据块的范围不重叠，确定/O请求所对应的数据块的范围与所述用户数据缓存是否重叠。
8.根据权利要求7所述的方法，还包括：
响应于所述I/O请求所对应的数据块的范围与所述用户数据缓存所对应的数据块的范围重叠，更新所述用户数据缓存；以及
响应于所述I/O请求所对应的数据块的范围与所述用户数据缓存所对应的数据块的范围不重叠，获取空闲的用户数据缓存。
9.根据权利要求1所述的方法，其中所述后台清零操作包括：
利用检查点来查找需要被清零的数据块，所述检查点指示需要被清零的数据块的索引；
确定所述需要被清零的数据块所对应的所述后台清零缓存中的清零指示位是否全部被设置为预定值；以及
响应于所述需要被清零的数据块相关联的所述后台清零缓存中的清零指示位全部被设置为预定值，将检查点更新到下一个数据块。
10.根据权利要求9所述的方法，还包括：
响应于所述需要被清零的数据块相关联的所述后台清零缓存中的清零指示位中的至少一个未被设置为所述预定值，
读取所述需要被清零的数据块所对应的元数据；以及
利用读取的所述元数据来更新所述元数据缓存。
11.一种用于存储***的存储管理器，所述存储***包括所述管理器和存储设备，所述存储设备包括数据区和元数据区，所述数据区被划分为数据块，所述元数据区中存储描述所述数据块的清零状态的元数据，所述管理器包括处理器以及与所述处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被所述处理器执行时使所述管理器执行动作，所述动作包括：
在所述存储器中分配元数据缓存，所述元数据缓存包括各自的清零指示位，所述清零指示位指示相应数据块的清零状态，所述分配包括：
分配用于用户数据的读或写的用户数据缓存；以及
用于针对所述存储设备的后台清零操作的后台清零缓存；以及
响应于接收到针对所述存储***的I/O请求，利用所述元数据缓存来处理所述I/O请求。
12.根据权利要求11所述的管理器，其中利用所述元数据缓存来处理所述I/O请求包括：
响应于所述I/O请求是读请求，
确定所述读请求所对应的所述数据块相关联的元数据缓存中的清零指示位是否全部被设置为预定值；以及
响应于所述读请求所对应的所述数据块相关联的元数据缓存中的清零指示位全部被设置为预定值，将所述读请求发送至所述存储设备。
13.根据权利要求12所述的管理器，所述动作还包括：
响应于所述读请求所对应的所述数据块相关联的元数据缓存中的清零指示位中的至少一个未被设置为所述预定值，读取所述读请求相关联的所述数据块相关联的元数据；以及
利用读取的所述元数据来更新所述元数据缓存。
14.根据权利要求11所述的管理器，其中利用所述元数据缓存来处理所述I/O请求包括：
响应于所述I/O请求是写请求，
确定与所述写请求所对应的所述数据块相关联的元数据缓存中的清零指示位是否全部被设置为预定值；以及
响应于与所述写请求对应的所述数据块相关联的元数据缓存中的清零指示位全部被设置为预定值，向所述存储设备执行写操作。
15.根据权利要求14所述的管理器，所述动作还包括：
响应于与所述写请求对应的所述数据块相关联的元数据缓存中的清零指示位中的至少一个未被设置为所述预定值，
读取所述写请求所对应的所述数据块相关联的元数据；以及
利用读取的所述元数据来更新与所述写请求对应的所述数据块相关联的所述元数据缓存。
16.根据权利要求15所述的管理器，其中利用读取的所述元数据来更新与所述写请求对应的所述数据块相关联的所述元数据缓存包括：
确定所述写请求对应的所述数据块是否已经被清零；
响应于所述写请求对应的所述数据块未被清零，
将所述写请求对应的所述数据块清零；
向所述存储设备执行写操作；
更新所述写请求所对应的所述数据块相关联的所述元数据；以及
更新与所述写请求对应的所述数据块相关联的所述元数据缓存。
17.根据权利要求11所述的管理器，其中利用所述元数据缓存来处理所述I/O请求包括：
获取所述I/O请求所对应的数据块的范围；
确定所述I/O请求所对应的数据块的范围是否与所述后台清零缓存所对应的数据块的范围重叠；
响应于所述I/O请求所对应的数据块的范围与所述后台清零缓存所对应的数据块的范围重叠，无效所述后台清零缓存中的重叠部分；以及
响应于所述I/O请求所对应的数据块的范围与所述后台清零缓存所对应的数据块的范围不重叠，确定/O请求所对应的数据块的范围与所述用户数据缓存是否重叠。
18.根据权利要求17所述的管理器，还包括：
响应于所述I/O请求所对应的数据块的范围与所述用户数据缓存所对应的数据块的范围重叠，更新所述用户数据缓存；以及
响应于所述I/O请求所对应的数据块的范围与所述用户数据缓存所对应的数据块的范围不重叠，获取空闲的用户数据缓存。
19.根据权利要求11所述的管理器，其中所述后台清零操作包括：
利用检查点来查找需要被清零的数据块，所述检查点指示需要被清零的数据块的索引；
确定所述需要被清零的数据块所对应的所述后台清零缓存中的清零指示位是否全部被设置为预定值；以及
响应于所述需要被清零的数据块所相关联的所述后台清零缓存中的清零指示位全部被设置为预定值，将检查点更新到下一个数据块。
20.根据权利要求19所述的管理器，其中所述后台清零操作还包括：
响应于所述需要被清零的数据块相关联的所述后台清零缓存中的清零指示位中的至少一个未被设置为所述预定值，
读取所述需要被清零的数据块所对应的元数据；以及
利用读取的所述元数据来更新所述元数据缓存。
21.一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使所述机器执行权利要求1-10中任一项所述的方法。
CN201710250593.0A 2017-04-17 2017-04-17 用于管理存储***的方法和管理器 Active CN108733316B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710250593.0A CN108733316B (zh) 2017-04-17 2017-04-17 用于管理存储***的方法和管理器
US15/955,004 US10802755B2 (en) 2017-04-17 2018-04-17 Method and manager for managing storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710250593.0A CN108733316B (zh) 2017-04-17 2017-04-17 用于管理存储***的方法和管理器

Publications (2)

Publication Number Publication Date
CN108733316A true CN108733316A (zh) 2018-11-02
CN108733316B CN108733316B (zh) 2021-08-31

Family

ID=63789906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710250593.0A Active CN108733316B (zh) 2017-04-17 2017-04-17 用于管理存储***的方法和管理器

Country Status (2)

Country Link
US (1) US10802755B2 (zh)
CN (1) CN108733316B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111475100A (zh) * 2019-01-23 2020-07-31 伊姆西Ip控股有限责任公司 用于管理存储***的方法、设备和计算机程序产品
CN111722785A (zh) * 2019-03-21 2020-09-29 阿里巴巴集团控股有限公司 一种缓存更新方法和装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11068299B1 (en) * 2017-08-04 2021-07-20 EMC IP Holding Company LLC Managing file system metadata using persistent cache
CN111190949B (zh) * 2018-11-15 2023-09-26 杭州海康威视数字技术股份有限公司 数据存储及处理方法、装置、设备、介质
CN110825556B (zh) * 2019-10-30 2023-01-06 苏州浪潮智能科技有限公司 一种判断固态硬盘中存储数据状态的方法和装置
CN111125472B (zh) * 2019-12-27 2023-05-02 北京明略软件***有限公司 结果回溯方法、装置、电子设备及存储介质
CN111258800A (zh) * 2020-02-03 2020-06-09 北京无限光场科技有限公司 一种页面处理方法、装置和电子设备
US11762559B2 (en) * 2020-05-15 2023-09-19 International Business Machines Corporation Write sort management in a multiple storage controller data storage system
US11580022B2 (en) 2020-05-15 2023-02-14 International Business Machines Corporation Write sort management in a multiple storage controller data storage system
CN111596865B (zh) * 2020-05-22 2023-07-14 浙江大华技术股份有限公司 一种存储处理方法及装置
US11288188B1 (en) * 2021-01-21 2022-03-29 Qualcomm Incorporated Dynamic metadata relocation in memory

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6775794B1 (en) * 2001-05-23 2004-08-10 Applied Micro Circuits Corporation Use of activity bins to increase the performance of disk arrays
CN103106150B (zh) * 2013-02-22 2016-12-28 浪潮电子信息产业股份有限公司 一种实现存储***自动精简配置和精简分配的方法
US9612745B2 (en) * 2014-01-24 2017-04-04 Silicon Graphics International Corp. Raid set initialization
CN103902474B (zh) * 2014-04-11 2017-02-08 华中科技大学 一种支持固态盘缓存动态分配的混合存储***和方法
US10089012B1 (en) * 2015-06-25 2018-10-02 EMC IP Holding Company LLC Zero on demand operations based on zeroed chunk tables of storage drive objects stored in main memory
US20170109092A1 (en) * 2015-10-15 2017-04-20 Avago Technologies General Ip (Singapore) Pte. Ltd. Selective initialization of storage devices for a logical volume
US10089015B1 (en) * 2016-12-28 2018-10-02 EMC IP Holding Company LLC Per-drive memory resident zeroing maps for drive zeroing in a data storage system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111475100A (zh) * 2019-01-23 2020-07-31 伊姆西Ip控股有限责任公司 用于管理存储***的方法、设备和计算机程序产品
CN111722785A (zh) * 2019-03-21 2020-09-29 阿里巴巴集团控股有限公司 一种缓存更新方法和装置

Also Published As

Publication number Publication date
US10802755B2 (en) 2020-10-13
CN108733316B (zh) 2021-08-31
US20180300086A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
CN108733316A (zh) 用于管理存储***的方法和管理器
US10503424B2 (en) Storage system
CN105474186B (zh) 硬件管理的压缩的高速缓存
US10942849B2 (en) Use of a logical-to-logical translation map and a logical-to-physical translation map to access a data storage device
US20100174865A1 (en) Dynamic data security erasure
CN102841854A (zh) 根据动态分级存储器缓存认知执行数据读取的方法和***
CN107066498B (zh) 键值kv存储方法和装置
US20200133875A1 (en) Method, apparatus and computer program product for managing data access
CN108733518A (zh) 用于管理存储***的方法、设备和计算机可读介质
CN105677580A (zh) 访问缓存的方法和装置
CN110413199A (zh) 管理存储***的方法、设备和计算机程序产品
US11144224B2 (en) Locality-aware, memory-efficient, time-efficient hot data identification using count-min-sketch for flash or streaming applications
KR20130088726A (ko) 중복 캐시 데이터의 탄력적 캐시
CN109213696A (zh) 用于缓存管理的方法和设备
CN110413211B (zh) 存储管理方法、电子设备以及计算机可读介质
US11630779B2 (en) Hybrid storage device with three-level memory mapping
JP2016153957A (ja) データ配置プログラム、データ配置装置およびデータ配置方法
CN108984104A (zh) 用于缓存管理的方法和设备
CN108733312A (zh) 存储管理方法和设备
US10521362B2 (en) Method and device for storage management
CN113127382A (zh) 用于追加写的数据读取方法、装置、设备和介质
US10416901B1 (en) Storage element cloning in presence of data storage pre-mapper with multiple simultaneous instances of volume address using virtual copies
CN106980471B (zh) 一种提高智能设备的硬盘写入性能的方法及装置
CN103377145A (zh) 使用逻辑卷映射装载预取高速缓存的方法和装置
CN108733307A (zh) 存储管理方法、设备以及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant