CN114442904A - 用于管理存储***的方法、设备和计算机程序产品 - Google Patents

用于管理存储***的方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN114442904A
CN114442904A CN202011191707.7A CN202011191707A CN114442904A CN 114442904 A CN114442904 A CN 114442904A CN 202011191707 A CN202011191707 A CN 202011191707A CN 114442904 A CN114442904 A CN 114442904A
Authority
CN
China
Prior art keywords
data
data block
historical
history
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011191707.7A
Other languages
English (en)
Other versions
CN114442904B (zh
Inventor
王毅
郑庆霄
程谦云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN202011191707.7A priority Critical patent/CN114442904B/zh
Priority to US17/122,260 priority patent/US11409445B2/en
Publication of CN114442904A publication Critical patent/CN114442904A/zh
Application granted granted Critical
Publication of CN114442904B publication Critical patent/CN114442904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1456—Hardware arrangements for backup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例涉及管理存储***的方法、电子设备和计算机程序产品。提供了一种管理存储***的方法。该方法包括将待备份的数据块存储到存储***的本地存储设备；基于存储***的历史操作信息，确定该数据块是否包括周期性重写的数据，该历史操作信息与存储***对历史数据的存储操作和移除操作有关；以及如果确定该数据块不包括周期性重写的数据，将该数据块存储到存储***的远程存储设备并且将该数据块从本地存储设备移除。本公开的实施例能够避免数据被多次重写到本地存储设备中，进而能够改善存储***性能，并且增加本地存储设备使用寿命。

Description

用于管理存储***的方法、设备和计算机程序产品
技术领域
本公开的实施例总体涉及数据存储领域，具体涉及用于管理备份存储***的方法、设备和计算机程序产品。
背景技术
在存储***中，由于存储空间是有限的，经常需要对数据进行迁移和备份。例如，待备份的数据可以被存储在本地存储设备中，也可以被存储在远程存储设备中。本地存储设备的价格较高，输入/输出(I/O)能力好，数据传输的速度快。而远程存储设备虽然费用低于本地存储设备，但是其输入/输出(I/O)能力较差，数据传输的速度较慢。随着越来越多的用户选择使用远程存储设备来进行数据备份，如何更有效地使用远程存储设备进行数据备份是值得关注的问题。
发明内容
本公开的实施例提供了用于管理存储***的方法、设备和计算机程序产品。
在本公开的第一方面，提供了一种管理存储***的方法。该方法包括将待备份的数据块存储到存储***的本地存储设备；基于存储***的历史操作信息，确定该数据块是否包括周期性重写的数据，该历史操作信息与存储***对历史数据的存储操作和移除操作有关；以及如果确定该数据块不包括周期性重写的数据，将该数据块存储到存储***的远程存储设备；以及将该数据块从本地存储设备移除。
在本公开的第二方面，提供了一种电子设备。该电子设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得电子设备执行动作，该动作包括将待备份的数据块存储到存储***的本地存储设备；基于存储***的历史操作信息，确定该数据块是否包括周期性重写的数据，该历史操作信息与存储***对历史数据的存储操作和移除操作有关；以及如果确定该数据块不包括周期性重写的数据，将该数据块存储到存储***的远程存储设备；以及将该数据块从本地存储设备移除。
在本公开的第三方面，提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令。该机器可执行指令在由设备执行时使该设备执行根据本公开的第一方面所描述的方法的任意步骤。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了本公开的实施例能够在其中被实施的示例环境的框图；
图2示出了根据本公开的一些实施例的将待备份的数据进行存储的示例方法的流程图；
图3示出了根据本公开的一些实施例的存储***中的历史操作信息的示意图；
图4示出了根据本公开的一些实施例的对存储***的历史操作信息进行更新的示例方法的流程图；
图5示出了根据本公开的一些实施例的对存储***的历史操作信息进行更新的示例方法的流程图；
图6示出了根据本公开的一些实施例的利用神经网络模型确定与对应于数据块的历史数据的重写的示意图；
图7示出了根据本公开的一些实施例的根据数据的重写周期对数据进行分组的示意图；
图8示出了根据本公开的另一些实施例的根据数据的重写周期对数据进行移除的示意图；以及
图9示出了可以用来实施本公开内容的实施例的示例设备的示意性框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
图1示出了本公开的实施例可以在其中被实现的存储***100的示意图。存储***100包括本地存储设备101和远程存储设备102，用于存储待备份的数据。本地存储设备101、远程存储设备102以及存储***100外部的客户端110之间可以通过各种通信协议彼此进行通信。
在一些实施例中，本地存储设备101的示例可以包括但不限于硬盘设备、磁带驱动、光学驱动、硬盘设备驱动(HDD)、固态存储器设备(SSD)、磁盘冗余阵列(RAID)或其他硬盘设备。本地存储设备101的价格通常较高，但其输入/输出(I/O)能力好，数据传输的速度快。在一些实施例中，远程存储设备102的示例可以包括但不限于远程云存储设备。远程存储设备102的价格通常低于本地存储设备102，但是其I/O表现较差，数据传输的速度较慢。
由于远程存储设备102的价格较低，因此越来越多的用户选择使用远程存储设备102来进行数据备份。在常规方案中，为了解决远程存储设备102的I/O表现较差的问题，在使用远程存储设备102进行数据备份的过程中，通常会先将待备份的数据存储到本地存储设备101中，之后再将该数据从本地存储设备101中存储到远程存储设备102中。
在实际使用中，经常需要对某些数据进行重复性地备份。因此使得上述常规方案在实际使用中遇到了一些问题。由于在这种常规方案中，将待备份的数据先存储到本地存储设备中，之后再转移存储到远程存储设备中并将该数据从本地存储设备中移除，那么对于那些需要重复性地备份地数据，会多次的重复性地存储到本地存储设备并多次的重复性地从本地存储设备中移除。这种在本地存储设备中多次重复性地重写数据具有多种缺点。例如，多次重复性地重写数据会涉及更多的I/O操作，更多的I/O操作会影响数据备份的表现。此外，以这种常规方案，由于大量的数据会多次重复性地重写到本地存储设备，因此也会影响本地存储设备的使用寿命。
本公开的实施例提出了一种管理存储***的方案，以解决上述问题和其他潜在问题中的一个或多个。在该方案中，将待备份的数据块存储到存储***的本地存储设备。根据存储***中所存储的关于该数据块在历史操作过程中被存储和被移除的操作的历史操作信息，确定该数据块是否包括周期性重写的数据。如果确定该数据块不包括周期性重写的数据，将该数据块存储到存储***的远程存储设备并且将该数据块从本地存储设备移除。而如果确定该数据块包括了周期性重写的数据，则不会将该数据块存储到远程存储设备而是将该数据块保留在本地存储设备。
以此方式，能够避免对于那些被多次重复性地备份的数据被多次地存储到本地存储设备并多次从本地存储设备移除。通过这种方式，能够大量节省存储***的I/O操作，因此能够提高存储***的性能表现，能够更有效地对数据进行备份。此外，由于避免了数据被多次存储到本地存储设备并且多次从本地存储设备移除，因而能够提高本地存储设备的使用寿命，能够节省成本。
以下将参考附图来详细描述本公开的实施例。图2示出了根据本公开的一些实施例的用于管理存储***100的示例方法200的流程图。方法200例如可以由如图1所示的存储***100来执行。应当理解，方法200还可以包括未示出的附加动作和/或可以省略所示出的动作，本公开的范围在此方面不受限制。以下结合图1来详细描述方法200。
如图2所示，在210处，将待备份的数据块存储到存储***100的本地存储设备101。例如，从客户端110接收到的数据块被存储到本地存储设备101。接下来，在220处，基于存储***100的历史操作信息，确定该数据块是否包括周期性重写的数据。根据本公开的实施例，该历史操作信息与存储***100对历史数据的存储操作和移除操作有关。例如，历史操作信息可以包括多个记录。每个记录对应于数据块的哈希值，并且记录具有该哈希值的数据块被执行存储和移除操作的信息，例如被存储和删除的次数、时间等。
图3示出了根据本公开的一些实施例的存储***100中的历史操作信息301的示意图。如图3所示，历史操作信息301中可以包括多条记录，用于记录存储***100对多个数据块的历史操作。在图3的示例中，历史操作信息301可以包括历史记录302-1、302-2……302-P(统称为或单独称为“历史记录302”)，P可以是任意自然数，但这仅仅是示意性的，不以任何方式限制本发明。
如图3所示，历史操作信息301中的历史记录302-1中存储了与该历史记录302-1对应的哈希值1，以及与哈希值1对应的数据块的历史操作类型和时间，操作类型包括存储操作和移除操作。通过哈希值将历史操作信息301中的历史记录302与数据块相对应。历史记录302中可以存储多个操作的类型和时间，例如图3中所示的，历史记录302-1、302-2……302-P中可以存储第1次操作、第2次操作……第Q次操作的类型和时间，Q可以是任意自然数，但这仅仅是示意性的，不以任何方式限制本发明。可以理解，每个历史记录302中可以存储不同次数的历史操作。操作类型可以包括存储操作和移除操作。
在一些实施例中，可以使用如图4-5所示的方法400和500来对历史操作信息301进行更新。例如，第1次操作类型和第1次操作时间可以是通过如图4所示的方法400进行记录的移除操作的操作类型和移除操作的时间；第2次操作类型和第2次操作时间可以是通过如图5所示的方法500进行记录的存储操作的操作类型和存储操作的时间。下文将结合图4-5详细描述历史操作信息301的更新过程。
继续参考图2。在一些实施例中，在220处，可以基于历史操作信息直接确定该数据块是否包括周期性重写的数据。例如，如果与该数据块的哈希值对应的记录指示该数据块被移除并且随后被存储的次数超过阈值次数，即该数据块被重写的次数超过阈值次数，则可以确定该数据块包括周期性重写的数据。阈值次数可以是任意指定的次数。
在一些实施例中，在220处，可以利用神经网络模型来确定数据块是否包括周期性重写的数据。下文将参考图6来详细描述这种实施例。
如果在220处确定该数据块不包括周期性重写的数据，则方法200进行到230。在230处，将该数据块存储到存储***100的远程存储设备102。例如，将该数据块存储到远程云存储平台。此外，在240处，还将该数据块从本地存储设备101移除。
从以上描述可以看出，利用在此提出的管理存储***的方案，能够避免对于那些被多次重复性地备份的数据被多次地存储到本地存储设备并多次从本地存储设备移除。通过这种方式，能够大量节省存储***的I/O操作，因此能够提高存储***的性能表现，能够更有效地对数据进行备份。此外，由于避免了数据被多次存储到本地存储设备并且多次从本地存储设备移除，因而能够提高本地存储设备的使用寿命，能够节省成本。此外，由于远程存储设备的I/O操作表现较差，数据读写效率低，利用在此提出的管理存储***的方案，避免了将多次重复性地备份的数据存储到远程存储设备，而是将这些数据存储在I/O操作表现更好，数据读写效率高的本地存储设备，这也能进一步的改善存储***的备份数据的效率，提高存储***的性能表现。
另一方面，由于包括周期性重写数据的数据块没有被存储到远程存储设备102中，因此也能够进一步的节省远程存储设备102的存储空间，并且能够进一步地节省本地存储设备101与远程存储设备102之间的I/O操作。
以上描述了管理存储***的方法200以及存储***100中的历史操作信息301。在一些实施例中，还可以对220处所使用的历史操作信息，即图3中所示的历史操作信息301进行更新。图4示出了根据本公开的一些实施例的对存储***100的历史操作信息进行更新的示例方法400的流程图。
如图4所示，在410处，确定该数据块是否已被从本地存储设备101移除。例如，如果图2中的240已经完成，则表明该数据块已被从本地存储设备101移除。如果确定了该数据块已经被从本地存储设备101移除，则方法400进行到420。在420处，将该数据块的哈希值存储在存储***100中的历史移除记录中。历史移除记录与该数据块被移除的操作有关。例如，历史移除记录可以存储已经被从本地存储设备101移除的数据块的哈希值。
接下来，在430处，确定存储***100的历史操作信息中是否包括对应于该数据块的该哈希值的历史记录。例如，历史操作信息中的历史记录可以存储了该数据块的哈希值，还可以存储了该数据块被移除的操作以及被移除的时间。如果确定历史操作信息中不包括对应于该哈希值的历史记录，则进行到440。在440处，在历史操作信息中增加对应于该哈希值的历史记录。例如，将该数据块的该哈希值、移除操作类型和该数据块被移除的时间记录到该历史记录中。在一些实施例中，如果确定历史操作信息中包括了对应于该哈希值的历史记录，则方法400进行到450。在450处，将该数据块的移除操作类型和该数据块被移除的时间记录到该历史记录中。
备选地或附加地，还可以使用其他方法对历史操作信息进行更新。图5示出了根据本公开的一些实施例的对存储***100的历史操作信息进行更新的示例方法的流程图。
如图5所示，在510处，确定数据块是否被存储到本地存储设备101。例如，确定图2中的210是否已经进行。如果确定该数据块已经被存储到本地存储设备101，则进行到520。在520处，确定该数据块的该哈希值是否存储在存储***100的历史移除记录中。例如，对如图4中420处的历史移除记录进行搜索，搜索该历史移除记录中是否包括该数据块的哈希值。
如果确定该哈希值已经存储在存储***100的历史移除记录中，则进入530。在530处，将该数据块的存储操作类型和该数据块被存储的时间记录在存储***100的历史操作信息中与该哈希值对应的历史记录中。例如，从历史操作信息中搜索对应于该哈希值的历史记录，并且将该数据块的存储操作类型和该数据块被存储的时间记录到该历史记录中。
图6示出了根据本公开的一些实施例的利用神经网络模型600确定数据块是否包括周期性重写的历史数据的示意图。在一些实施例中，可以通过使用如图3所示的历史操作信息301，利用神经网络模型600确定与对应于数据块的历史数据的重写有关的指示，重写包括存储操作和移除操作。如果利用神经网络模型600确定的指示超过某个阈值，则可以表示该数据块包括周期性重写的数据；反之，如果确定的指示没有超过阈值，则表示数据块不包括周期性重写的数据。通过这种方式，可以通过存储***100中的历史操作信息301来预测数据块是否是周期性重写的数据块，从而对于周期性重写的数据块，可以避免将其重复性地重写到本地存储设备101，从而可以减少I/O操作并且延长本地存储设备101的使用寿命。下文将结合图6更详细的描述此过程。
如图6所示，首先使用解析器602对存储***100中的历史操作数据301进行分析，并得到分析结果，即影响因子603-1、603-2……603-m(统称为或单独称为“影响因子603”)，m可以是任意自然数，但这仅仅是示意性的，不以任何方式限制本发明。在一些实施例中，可以使用解析器602分析历史操作信息301中的历史记录302。可以通过对历史记录302中所记录的操作类型和操作时间信息来计算出影响因子603。
在一些实施例中，影响因子603可以包括在历史操作数据301中与历史记录302相对应的数据块被重复地移除和存储的次数。例如，可以通过统计历史记录302中记录的移除操作类型的总个数和存储操作类型的总个数来计算出该数据块被重复地移除和存储的次数。备选地或附加地，影响因子603可以包括在历史操作数据301中与历史记录302相对应的数据块被重复地移除和存储的频率。例如，可以通过历史记录302中记录的移除操作的时间和存储操作的时间来计算出该数据块被重复地移除和存储的频率。备选地或附加地，影响因子603还可以包括在历史操作数据301中与历史记录302相对应的数据块被重复性重写的时间间隔的方差。被重写的时间间隔是指该数据块在历史记录302中被移除的时间与该被移除的时间之后的最近一次被存储的时间之间的时间间隔。备选地或附加地，影响因子603还可以包括在历史操作数据301中与历史记录302相对应的数据块被重复性重写的时间间隔的平均时间间隔。应当理解，在一些实施例中，备选地或附加地，也可以选择采用其他数据作为影响因子603。
返回到图6，图6中还示出了神经网络模型600的加权模块604，通过加权模块604，对由解析器602得出的影响因子603分别进行加权。例如，如图所示，对影响因子603-1施加权重614-1……对影响因子603-m施加权重614-M(权重614-1……614-m统称为或单独称为“权重614”)。m是任意自然数，但这仅仅是示意性的，不以任何方式限制本发明。例如，影响因子603-1可以表示数据块被重复地移除和存储的次数，即数据块的重写次数；影响因子603-2可以表示数据块被重写的频率等。
在一些实施例中，权重614是可以发生变化的。如图6所示，加权模块604可以接收误差信号617，并根据误差信号617来对权重614进行调整。误差信号617将在下文中更详细的描述。
在对影响因子603进行加权后，将加权后的影响因子输入到激活函数模块605进行计算，由激活函数模块605输出实际响应615，实际响应615代表神经网络模型600的实际输出值。在一些实施例中，实际响应615可以作为与对应于数据块的历史数据的重写有关的指示。
在一些实施例中，激活函数可以是例如下列公式(1)。应当理解，可以使用其他激活函数对实际响应615进行计算。
Figure BDA0002752931530000101
在公式(1)中，i代表神经网络模型600进行的第i次计算，i可以是任意自然数，wk(i)表示第k个影响因子603的第i次计算的权重614，xk(i)表示第ii次计算的影响因子603，k＝1，2……m表示可以有m个影响因子603和m个权重614，f(z(i))表示实际响应615。
在一些实施例中，对于历史操作信息301中的历史记录302，通过上述公式(1)计算出来的值f(z(i))是一个大于0且小于1的数值，该数值越接近1则代表与该历史记录302相对应的数据块被重写的可能性越大，该数值越接近0越代表该数据块被重写的可能性越小。通过该数值，可以预测该数据块是否是周期性重写的数据块。
在一些实施例中，还具有监测模块606，以对真实的数据块重写操作进行监测。例如，可以对实验室的测试数据或者对客户的实际历史数据进行监测，以得到数据块重写操作的真实的结果，即期望响应616。例如，期望响应616可以用数值1和0表示，1表示是周期性重写的数据块，而0表示不是周期性重写的数据块。
通过监测真实的数据块的重写操作，使用期望响应616和通过激活函数605计算的实际响应615来进行比较计算，可以得出误差信号617。在一些实施例中，使用下列公式(2)计算误差信号617。
e(z(i))＝d(z(i))-f(z(i)) (2)
在公式(2)中，f(z(i))表示第i次计算的实际响应615，d(z(i))表示第i次的期望响应616，e(z(i))表示第i次计算的误差信号617。f(z(i))是介于0与1之间的数值，而d(z(i))是数值1或者数值0，因此通过公式(2)计算得到的e(z(i))是介于0与1之间的数值。
在一些实施例中，如前所述，使用误差信号617来对加权模块604中的权重614进行调整，以此来对神经网络模型600进行训练。例如可以通过下列公式(3)-(5)来使用最陡下降法(steepest descent method)来对神经网络模型600进行训练，以得到更新的权重614。应当理解，也可以使用其他的计算方法来对神经网络模型600进行训练。下面将结合公式(3)-(5)更加详细的介绍神经网络模型600的训练方法。
Figure BDA0002752931530000111
公式(3)示出了权重614的成本函数E(W)，W代表权重614。N表示具有N个样本，N可以是任意自然数，但仅仅是示意性的，不旨在限制本发明。例如，N个样本可以是N个不同的数据块。使用公式(3)对通过计算N个样本得到的误差信号617e(z(i))进行计算，得出成本E(W)。
接下来，通过公式(4)对成本函数E(W)求偏导：
Figure BDA0002752931530000112
接下来，使用下列公式(5)得到训练后的更新的权重614。
Figure BDA0002752931530000113
在公式(5)中，g(i)表示第i次训练的成本函数E(W)的偏导数，W(i)表示第i次训练的权重，n是预设的步长，n可以是任意数值，例如，n可以是1或者0.5，但这仅仅是示意性的，不以任何方式限制本发明。W(i+1)表示下一次训练所使用的更新的权重614。
在一些实施例中，重复的进行上述训练过程，直到成本函数E(W)的值足够小，例如，小于某个预设的阈值。成本函数E(W)的值足够小，表明神经网络模型600已经被训练好。通过该训练好的神经网络模型600可以对存储***100中的数据块进行分析，能够准确的预测出数据块是否是周期性重写的数据块。
图7示出了根据本公开的一些实施例的根据数据的重写周期对数据进行分组的示意图。在一些实施例中，存储***100中不同的数据块可以具有不同的重写周期T。例如，重写周期可以是一天，一周，一个月等任意的时间间隔。在存储***100中，针对不同的数据块，可以根据其重写周期T对其进行分组。例如，可以将每月重写的数据块分为组E1，将每周重写的数据块分为组E2，将每天重写的数据块分为组E3，或者按其他时间间隔将数据块分为其他的组。下面结合图7详细介绍数据块的分组过程。
在710处，获取历史数据记录301中与数据块相对应的历史记录302。接下来，在720处，分析该历史记录302中对该数据块重写操作的记录，例如，分析所获取历史记录302中如图3所示的每次操作的操作类型和操作时间。
在730处，根据在720处所获取的历史记录302中如图3所示的每次操作的操作类型和操作时间计算出该数据块的平均重写时间T。重写时间是移除操作的时间与该移除操作之后最近的一次存储操作的时间之间的时间间隔。例如，历史记录302中第1次操作时间可以表示该数据块第1次被移除的时间，历史记录302中第2次操作时间可以表示该数据块在第1次被移除之后的最近的一次被存储的时间。将历史记录302中的第2次操作时间与第1次操作时间相减可以得出该数据块的一次被重写的时间间隔。通过类似的计算，可以得出该数据块的多次的重写时间间隔，将多次的重写时间间隔求平均，可以得到该数据块的平均重写时间T。
接下来，在740处，根据该数据块的平均重写时间T选择具有重写周期E0的组，E0是所有满足E>T的时间间隔E中的最短的时间间隔E0。例如，该数据块的平均重写时间T可以是三天。而如前所述，组E1可以表示重写周期为一个月的组，组E2可以表示重写周期为一周的组，组E3可以表示重写周期为一天的组。由于平均重写时间T为三天，满足E>T的组有组E1和组E2，在组E1和组E2中，组E2的时间间隔最短，因此，可以为该数据块选择组E2。
接下来，在750处，将该数据块存入重写周期E0所对应的组中。例如，在上面的例子中，具有平均重写时间三天的数据块，将会被存入重写周期为一周的组E2中。
应当理解，在一些实施例中，还可以使用其他规则对存储***100中的数据块进行分组。例如，还可以使用数据块最近几次的重写频率对数据块进行分组。对数据块分组的方式可以是任意的。
在使用方法700根据数据的重写周期对数据进行分组之后，可以根据数据块不同的分组来确定数据块从本地存储设备101中被移除的顺序。例如，图8示出了根据本公开的一些实施例的根据数据的重写周期对数据进行选择性移除的示意图。
在使用过程中，经常会出现本地存储设备101的存储空间不足的情况。当本地存储设备101的存储空间不足时，需要对本地存储设备101中的数据块进行移除，以便于后续的数据块能后被存储到本地存储设备101。在对本地存储设备101中的数据块进行移除的过程中，是通过存储在本地存储设备101中的数据块的不同的重写周期进行选择性的移除的。在一些实施例中，本地存储设备101中的数据块可以根据如图7所示的过程进行分组，不同组中的数据块具有不同的重写周期。例如，如图8所示，E1可以表示重写周期为一个月的组，E2可以表示重写周期为一周的组，……Ek可以表示重写周期最短，例如是一小时的组。
如图8所示，存储***100会先把本地存储设备101中具有最长的重写周期E1的组内的数据块进行移除，以释放本地存储设备101中的存储空间。如果移除了具有最长重写周期E1的组内的数据块之后，本地存储设备101中的存储空间还是不足，那么就会选择移除具有第二长重写周期E2的组内的数据块……直到最后，如果本地存储设备101中的存储空间还是不足，会移除具有最短的重写周期Ek的组内的数据块，直到本地存储设备101中的可用存储空间足够大。图8中的k可以是任意自然数。
以此方式，可以根据不同数据块的重写周期，选择性地对本地存储设备101中存储的数据块进行移除，可以确保最重要的数据块，例如具有最短重写周期的数据块能够被保留在本地存储设备101中，因此能够更好的保护数据。以此方式，能够更好地保证数据备份的效率，并且节约成本。
图9示出了可以用来实施本公开内容的实施例的示例设备900的示意性框图。例如，如图1所示的存储***100可以由设备900实施。如图9所示，设备900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的计算机程序指令或者从存储单元1008加载到随机访问存储器(RAM)903中的计算机程序指令，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法200、400、500和/或700，可由处理单元901执行。例如，在一些实施例中，方法200、400、500和/或700可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序被加载到RAM 903并由CPU 901执行时，可以执行上文描述的方法200、400、500和/或700的一个或多个动作。
本公开可以是方法、装置、***和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (13)

1.一种管理存储***的方法，包括：
将待备份的数据块存储到所述存储***的本地存储设备；
基于所述存储***的历史操作信息，确定所述数据块是否包括周期性重写的数据，所述历史操作信息与所述存储***对历史数据的存储操作和移除操作有关；以及
如果确定所述数据块不包括周期性重写的数据，
将所述数据块存储到所述存储***的远程存储设备；以及
将所述数据块从所述本地存储设备移除。
2.根据权利要求1所述的方法，其中确定所述数据块是否包括周期性重写的数据包括：
基于所述历史操作信息，利用神经网络模型确定与对应于所述数据块的历史数据的重写有关的指示，所述重写包括存储操作和移除操作；以及
如果所述指示超过阈值，确定所述数据块包括周期性重写的数据。
3.根据权利要求1所述的方法，还包括：
响应于将所述数据块从所述本地存储设备移除，
将所述数据块的哈希值存储在所述存储***的历史移除记录中，所述历史移除记录与所述数据块的所述移除操作有关；
确定所述存储***的所述历史操作信息中是否包括对应于所述数据块的所述哈希值的历史记录，
如果确定所述历史操作信息中不包括对应于所述哈希值的历史记录，在所述历史操作信息中增加对应于所述哈希值的历史记录，并且将所述数据块的所述哈希值、移除操作类型和所述数据块被移除的时间记录到所述历史记录中；并且
如果确定所述历史操作信息中包括对应于所述哈希值的所述历史记录，将所述数据块的移除操作类型和所述数据块被移除的时间记录到所述历史记录中。
4.根据权利要求3所述的方法，还包括：
响应于将所述数据块存储到所述本地存储设备，确定所述数据块的所述哈希值是否存储在所述历史移除记录中；以及
如果确定所述数据块的所述哈希值存储在所述历史移除记录中，将所述数据块的存储操作类型和所述数据块被存储的时间记录在所述历史操作信息中与所述哈希值对应的所述历史记录中。
5.根据权利要求2所述的方法，其中所述指示包括以下至少一项：
与所述数据块对应的所述历史数据被重复地移除和存储的次数，
与所述数据块对应的所述历史数据被重复地移除和存储的频率，
与所述数据块对应的所述历史数据的被重复性重写的时间间隔的方差，其中被重写的时间间隔是指所述历史数据被移除的时间与所述被移除的时间之后的最近一次被存储的时间之间的时间间隔，
与所述数据块对应的所述历史数据被重复性重写的所述时间间隔的平均时间间隔。
6.根据权利要求1所述的方法，还包括：
响应于所述本地存储设备的存储空间不足，确定所述本地存储设备中存储的多个数据块，所述多个数据块具有不同的所述重写周期；以及
将所述多个数据块中对应于最长的所述重写周期的数据块从所述本地存储设备移除。
7.一种电子设备，包括：
至少一个处理器；以及
存储有计算机程序指令的至少一个存储器，所述至少一个存储器和所述计算机程序指令被配置为，与所述至少一个处理器一起，使得所述电子设备执行动作，所述动作包括：
将待备份的数据块存储到存储***的本地存储设备；
基于所述存储***的历史操作信息，确定所述数据块是否包括周期性重写的数据，所述历史操作信息与所述存储***对历史数据的存储操作和移除操作有关；以及
如果确定所述数据块不包括周期性重写的数据，
将所述数据块存储到所述存储***的远程存储设备；以及
将所述数据块从所述本地存储设备移除。
8.根据权利要求7所述的电子设备，其中确定所述数据块是否包括周期性重写的数据包括：
基于所述历史操作信息，利用神经网络模型确定与对应于所述数据块的历史数据的重写有关的指示，所述重写包括存储操作和移除操作；以及
如果所述指示超过阈值，确定所述数据块包括周期性重写的数据。
9.根据权利要求7所述的电子设备，其中所述动作进一步包括：
响应于将所述数据块从所述本地存储设备移除，
将所述数据块的哈希值存储在所述存储***的历史移除记录中，所述历史移除记录与所述数据块的所述移除操作有关；
确定所述存储***的所述历史操作信息中是否包括对应于所述数据块的所述哈希值的历史记录，
如果确定所述历史操作信息中不包括对应于所述哈希值的历史记录，在所述历史操作信息中增加对应于所述哈希值的历史记录，并且将所述数据块的所述哈希值、移除操作类型和所述数据块被移除的时间记录到所述历史记录中；并且
如果确定所述历史操作信息中包括对应于所述哈希值的所述历史记录，将所述数据块的移除操作类型和所述数据块被移除的时间记录到所述历史记录中。
10.根据权利要求9所述的电子设备，其中所述动作进一步包括：
响应于将所述数据块存储到所述本地存储设备，确定所述数据块的所述哈希值是否存储在所述历史移除记录中；以及
如果确定所述数据块的所述哈希值存储在所述历史移除记录中，将所述数据块的存储操作类型和所述数据块被存储的时间记录在所述历史操作信息中与所述哈希值对应的所述历史记录中。
11.根据权利要求8所述的电子设备，其中所述指示包括以下至少一项：
与所述数据块对应的所述历史数据被重复地移除和存储的次数，
与所述数据块对应的所述历史数据被重复地移除和存储的频率，
与所述数据块对应的所述历史数据的被重复性重写的时间间隔的方差，其中被重写的时间间隔是指所述历史数据被移除的时间与所述被移除的时间之后的最近一次被存储的时间之间的时间间隔，
与所述数据块对应的所述历史数据被重复性重写的所述时间间隔的平均时间间隔。
12.根据权利要求7所述的电子设备，其中所述动作进一步包括：
响应于所述本地存储设备的存储空间不足，确定所述本地存储设备中存储的多个数据块，所述多个数据块具有不同的所述重写周期；以及
将所述多个数据块中对应于最长的所述重写周期的数据块从所述本地存储设备移除。
13.一种计算机程序产品，所述计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使设备执行根据权利要求1-6中的任一项所述的方法。
CN202011191707.7A 2020-10-30 2020-10-30 用于管理存储***的方法、设备和计算机程序产品 Active CN114442904B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011191707.7A CN114442904B (zh) 2020-10-30 2020-10-30 用于管理存储***的方法、设备和计算机程序产品
US17/122,260 US11409445B2 (en) 2020-10-30 2020-12-15 Method, device, and computer program product for managing storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011191707.7A CN114442904B (zh) 2020-10-30 2020-10-30 用于管理存储***的方法、设备和计算机程序产品

Publications (2)

Publication Number Publication Date
CN114442904A true CN114442904A (zh) 2022-05-06
CN114442904B CN114442904B (zh) 2024-06-14

Family

ID=81357692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011191707.7A Active CN114442904B (zh) 2020-10-30 2020-10-30 用于管理存储***的方法、设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11409445B2 (zh)
CN (1) CN114442904B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070220072A1 (en) * 2006-03-17 2007-09-20 Fujitsu Limited Computer-readable recording medium containing database copying program, and database copying apparatus and method
CN102523290A (zh) * 2011-12-19 2012-06-27 成都市华为赛门铁克科技有限公司 数据的处理方法、设备和***
CN103597444A (zh) * 2011-06-09 2014-02-19 微软公司 按照使用来管理基于闪存的存储上的数据放置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269382B1 (en) * 1998-08-31 2001-07-31 Microsoft Corporation Systems and methods for migration and recall of data from local and remote storage
US9852149B1 (en) * 2010-05-03 2017-12-26 Panzura, Inc. Transferring and caching a cloud file in a distributed filesystem
US9804928B2 (en) * 2011-11-14 2017-10-31 Panzura, Inc. Restoring an archived file in a distributed filesystem
CA2761553C (en) * 2011-12-09 2019-03-05 Ibm Canada Limited - Ibm Canada Limitee Logical buffer pool extension
US9037753B2 (en) * 2013-08-29 2015-05-19 International Business Machines Corporation Automatic pinning and unpinning of virtual pages for remote direct memory access
US10168912B2 (en) * 2016-02-17 2019-01-01 Panzura, Inc. Short stroking and data tiering for a distributed filesystem
US20200226066A1 (en) * 2020-03-27 2020-07-16 Intel Corporation Apparatus and method for efficient management of multi-level memory

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070220072A1 (en) * 2006-03-17 2007-09-20 Fujitsu Limited Computer-readable recording medium containing database copying program, and database copying apparatus and method
CN103597444A (zh) * 2011-06-09 2014-02-19 微软公司 按照使用来管理基于闪存的存储上的数据放置
CN102523290A (zh) * 2011-12-19 2012-06-27 成都市华为赛门铁克科技有限公司 数据的处理方法、设备和***

Also Published As

Publication number Publication date
CN114442904B (zh) 2024-06-14
US20220137834A1 (en) 2022-05-05
US11409445B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
US11240125B2 (en) System and method for predicting and reducing subscriber churn
US20180239057A1 (en) Forecasting air quality
CN110058958B (zh) 用于管理数据备份的方法、设备和计算机程序产品
AU2021309929B2 (en) Anomaly detection in network topology
US9569136B2 (en) Smart load balancing replication when adding or removing storage disks in a distributed storage system
US9690712B2 (en) Method and system for cache management
US11263093B2 (en) Method, device and computer program product for job management
US10359936B2 (en) Selecting a primary storage device
US9338068B2 (en) Efficient network bandwidth utilization in a distributed processing system
US11983142B2 (en) Method for managing backup data, electronic device and computer program product
CN114442904B (zh) 用于管理存储***的方法、设备和计算机程序产品
US20230095807A1 (en) Method, electronic device, and computer program product for managing storage device
US20170102998A1 (en) Data protection and recovery system
US11922045B2 (en) Method, device and computer program product for data backup
CN112148551B (zh) 用于确定存储***的使用变化率的方法、设备和计算机程序产品
US11928466B2 (en) Distributed representations of computing processes and events
EP3959616B1 (en) Data distribution in continuous replication systems
US20230400983A1 (en) Method, device, and computer program product for latency processing
JP6575327B2 (ja) 工数推定プログラム、工数推定方法及び工数推定装置
GB2400469A (en) Generating and managing a knowledge base in a computer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant