CN108509147A - 数据块迁移 - Google Patents

数据块迁移 Download PDF

Info

Publication number
CN108509147A
CN108509147A CN201810035354.8A CN201810035354A CN108509147A CN 108509147 A CN108509147 A CN 108509147A CN 201810035354 A CN201810035354 A CN 201810035354A CN 108509147 A CN108509147 A CN 108509147A
Authority
CN
China
Prior art keywords
data
block
input
layer
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810035354.8A
Other languages
English (en)
Inventor
V·阿加瓦尔
K·达纳德万
鲁平·T·莫汉
道格拉斯·L·沃伊特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Enterprise Development LP
Original Assignee
Hewlett Packard Enterprise Development LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Enterprise Development LP filed Critical Hewlett Packard Enterprise Development LP
Publication of CN108509147A publication Critical patent/CN108509147A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer Security & Cryptography (AREA)

Abstract

这里公开的示例涉及数据块的迁移。在一个示例中，可以识别用于从源数据存储设备到目的数据存储设备迁移的数据块。可以确定用于所述数据块中的每一个的迁移优先权。该确定可包括基于与主机***相关的该数据块的各自的输入/输出(I/O)操作的分析来为所述数据块中的每一个确定多个参数。该多个参数可作为输入提供给人工神经网络引擎的输入层。该输入可由该人工神经网络引擎的隐藏层处理。输出可由该人工神经网络引擎的输出层提供。在一个示例中，该输出可包括用于所述数据块中的每一个的迁移优先级。

Description

数据块迁移
背景技术
目前，机构可能需要处理大量的业务数据，其可能范围从几太字节(terabytes)至数拍字节(petabytes)的数据。数据的损失或者不能访问数据可能以各种方式影响企业，诸如潜在业务的损失和较低的客户满意度。
附图说明
为了更好地理解方案，现在将仅以示例性的方式参考附图来描述示例，其中：
图1是用于迁移数据块的示例性计算环境的示意图；
图2是用于迁移数据块的示例性数据存储***的框图；
图3是用于迁移数据块的示例性数据存储***的框图；
图4是用于迁移数据块的示例性方法的框图；以及
图5是用于迁移数据块的包括机器可读存储介质中的指令的示例性***的框图。
具体实施方式
目前，企业可能需要管理相当大量的数据。确保关键任务数据持续可用可能是数据管理流程的令人满意的方面。计划升级其信息技术(IT)基础架构、特别是存储***的机构可能由于各种原因，例如满足服务水平协议(SLA)，而期望在数据迁移过程中其数据的停机时间为零。因此，确保当数据从源数据存储设备向目的数据存储设备迁移时数据可用性没有中断可能是数据管理***令人满意的方面。在主机应用和迁移应用之间可以共享带宽的联合环境中，该任务可能会带来进一步的挑战。
为了解决此问题，本公开描述了用于迁移数据块的各种示例。如这里使用的，“数据块”可对应于物理磁盘空间的特定数量的字节。在一个示例中，可以识别用于从源数据存储设备到目的数据存储设备迁移的数据块。可以为每个该数据块确定迁移优先级。在一个示例中，该确定可包括基于与主机***相关的数据块的各自的输入/输出(I/O)操作的分析来为所述数据块中的每一个确定多个参数。该参数可作为输入提供给人工神经网络引擎的输入层。该输入可由该人工神经网络引擎的隐藏层处理。该人工神经网络引擎的输出层可提供输出，其可包括例如用于每个该数据块的迁移优先级。
图1是用于迁移数据块的示例性计算环境100的框图。计算环境100可包括主机***102、源数据存储设备104和目的数据存储设备106。虽然在图1中示出了一个主机***、一个源数据存储设备和一个目的数据存储设备，但是本公开的其他示例可包括多于一个主机***、多于一个源数据存储设备和/或多于一个目的数据存储设备。
主机***102可以是能够执行机器可读指令的任意类型的计算设备。主机***102的示例可以包括但不限于服务器、台式电脑、笔记本电脑、平板电脑、瘦客户机、移动设备、个人数字助理(PDA)、平板手机等。在一个示例中，主机***102可包括一个或多个应用，例如电子邮件应用和数据库。
在一个示例中，源数据存储设备104和目的数据存储设备106可以分别是内部存储设备、外部存储设备或网络附属存储设备。源数据存储设备104和目的数据存储设备106的一些非限定示例可以分别包括硬盘驱动器、存储盘(例如，CD-ROM、DVD等)、存储磁带、固态硬盘、USB驱动、串行高级技术附件(SATA)磁盘驱动器、光纤通道(FC)磁盘驱动器、串行连接SCSI(SAS)磁盘驱动器、磁带驱动器、光盘库等。在一个示例中，源数据存储设备104和目的数据存储设备106可以分别是直连式存储(DAS)设备、网络附属存储(NAS)设备、廉价磁盘冗余阵列(RAID)、数据档案存储***或存储区域网络(SAN)上的基于块的设备。在另一示例中，源数据存储设备104和目的数据存储设备106可以分别是存储阵列，其可包括一个或多个存储设备(例如，硬盘驱动器、固态硬盘等)。在另一示例中，源数据存储设备104(例如，磁盘驱动器)和目的数据存储设备106(例如，磁盘驱动器)可为同一数据存储***(例如，存储阵列)的一部分。
在一个示例中，源数据存储设备104和目的数据存储设备106提供的物理存储空间可以分别被呈现为逻辑存储空间。这种逻辑存储空间(也称为“逻辑容量”、“虚拟磁盘”或“存储容量”)可使用“逻辑单元”识别。在另一示例中，源数据存储设备104和目的数据存储设备106提供的物理存储空间可以分别被呈现为多个逻辑容量。如果源数据存储设备104(或目的数据存储设备106)为物理磁盘，逻辑单元可以指整个物理磁盘或者物理磁盘的一个子集。在另一示例中，如果源数据存储设备104(或目的数据存储设备106)为包括多个存储磁盘驱动器的存储阵列，则由磁盘驱动器提供的物理存储空间可以聚合为单个逻辑存储空间或多个逻辑存储空间。
主机***102可例如经由网络(未示出)与源数据存储设备104和目的数据存储设备106通信。计算机网络可以是无线或有线网络。计算机网络可包括例如局域网(LAN)、无线局域网(WAN)、城域网(MAN)、存储区域网(SAN)、校园局域网(CAN)等。进一步地，计算机网络可为公共网络(例如，互联网)或者专用网(例如，内联网)。
源数据存储设备104可例如经由网络(未示出)与目的数据存储设备106通信。这种网络可类似于上述的网络。源数据存储设备104可经由合适的接口或协议与目的数据存储设备106通信，例如但不限于互联网小型计算机***接口(iSCSI)、光纤通道、光纤连接(FICON)、超级SCSI和以太网ATA。在一个示例中，源数据存储设备104和目的数据存储设备106可包括在联合存储环境中。如这里使用的，“联合存储”可指作为经由公共管理平台管理的一个逻辑资源的对等存储设备。联合存储可以表示将多个存储设备分组以用于并发、无中断的和/或双向数据移动性的逻辑结构。联合存储可支持用于负载平衡、可扩展性和/或存储分层的存储设备之间的无中断的数据移动。
在一个示例中，目的数据出处设备106可包括识别引擎160、确定引擎162、人工神经网络引擎164和迁移引擎166。在另一示例中，引擎160、162、164和166可存在于源数据存储设备104上。在进一步的示例中，引擎160、162、164和166可存在于计算环境100中的独立的计算***(未示出)上。在进一步的示例中，如果源数据存储设备104和目的数据存储设备106为相同的数据存储***(例如，存储阵列)的构件，引擎160、162、164和166可作为例如数据存储***上的管理平台的一部分而存在。
引擎160、162、164和166可包括硬件和程序的任意组合以实现本文所述引擎的功能。在这里描述的示例中，硬件和软件的这种组合可以数个不同的方式实现。例如，用于引擎的程序可以是存储在至少一个非瞬时机器可读存储介质上的处理器可执行指令，并且用于引擎的硬件可包括至少一个处理资源以执行那些指令。在一些示例中，硬件还可包括其他电路以至少部分地实现目的数据存储设备106的至少一个引擎。在一些示例中，至少一个机器可读存储介质可存储指令，当所述指令由至少一个处理资源执行时至少部分地实现目的数据存储设备106的一些或所有引擎。在这种示例中，目的数据存储设备106可包括存储指令的至少一个机器可读存储介质和至少一个处理资源以执行指令。
目的数据存储设备106上的识别引擎160可用于识别用于从源数据存储设备104到目的数据存储设备106迁移的数据块。在一个示例中，识别引擎160可由用户使用以选择用于从源数据存储设备104到目的数据存储设备106迁移的数据块。在这点上，识别引擎160可为用户提供用户界面以选择用于迁移的数据块。在另一示例中，识别引擎160可基于预定义参数(例如，数据块中的数据量)自动地选择用于从源数据存储设备104到目的数据存储设备106迁移的数据块。
目的数据存储设备106上的确定引擎162可确定由识别引擎160识别的数据块中的每一个的迁移优先级。在一个示例中，该确定可包括基于与主机***102相关的已识别的数据块的各自的输入/输出(I/O)操作的分析来为所述已识别的数据块中的每一个确定多个参数。在一个示例中，确定引擎162可以将目的数据存储设备106置于直通模式。在直通模式中，与主机***相关的已识别的数据块的输入/输出(I/O)操作可经由目的数据存储设备106被路由至源数据存储设备104。路由可允许确定引擎162确定与每个已识别的数据块的各种参数相关的主机I/O通信模式(在目的数据存储设备106)。
由确定引擎162为每个已识别的数据块确定的参数的示例可包括对与主机102相关的数据块的写I/O操作的量；对与主机102相关的数据块的读I/O操作的量；数据块的每秒输入/输出操作(IOPs)；受数据块的读/写I/O操作影响的逻辑块地址(LBA)的范围；由主机102上的应用从数据块请求的I/O块尺寸；和由用户分配给数据块的数据块优先级。由用户分配给数据块的数据块优先级可以是数值(例如，1,2,3,4,5等)或非数值(例如，高、中或低)。
在一个示例中，对数据块的写I/O操作的量可以被认为是参数，因为如果对数据块的写I/O操作的次数增加，则逻辑块可能会被频繁地修改，这可能会影响用于数据块的迁移持续时间。同样地，可以考虑对数据块的读I/O操作的量，因为其可能在数据块的迁移期间影响网络带宽。可以考虑数据块的每秒输入/输出操作(IOPs)，因为具有高活动性的数据块可能消耗更多的网络带宽。由数据块的读/写I/O操作影响的逻辑块地址(LBA)的范围可以被认为是参数，因为如果源数据存储设备处的块被改变到更大的LBA范围，则其可能影响数据块的迁移持续时间，并消耗更多的网络带宽。由主机(例如，102)上的应用从数据块请求的I/O块尺寸可以被考虑在内，因为其与写I/O操作结合，则可能影响在任意给定时间改变的逻辑块的量。例如，在非结构化应用的情况下，逻辑块尺寸可能很大，其与写I/O操作结合可以影响数据块的迁移的持续时间，因为迁移过程可能涉及顺序块的区域的多个阶段。
在一个示例中，一旦确定了用于每个已识别的数据块的参数，确定引擎162就可将该参数作为输入提供给目的数据存储设备106上的人工神经网络(ANN)引擎164的输入层。如这里使用的，人工神经网络引擎164可以指包括模拟生物神经网络的结构的相互连接的处理元件的信息处理***。相互连接的处理元件可称为“人工神经元”或“节点”。
在一个示例中，人工神经网络引擎164可包括多个人工神经元，其可被组织为多个层。在一个示例中，人工神经网络引擎164可包括三层：输入层、隐藏层和输出层。在一个示例中，人工神经网络引擎164可为前馈神经网络，其中单元之间的连接可能不形成循环。在前馈神经网络中，信息可在一个方向上移动，从输入层通过隐藏层至输出层。在网络中可能没有循环或回路。
在一个示例中，人工神经网络引擎164可基于反向传播架构。反向传播可用于训练人工神经网络引擎164。当输入矢量被呈现到人工神经网络引擎164时，其可以通过人工神经网络引擎164逐层地向前传播，直至其到达输出层。可使用损失函数将网络的输出与期望的输出比较，并且可以针对输出层中的每个人工神经元计算误差值。误差值可以从输出开始向后传播，直至每个人工神经元具有相关的误差值，该误差值大致表示其对原始输出的贡献。反向传播可使用这些误差值计算相对于网络中的权重的损失函数的梯度。此梯度可以备提供给优化方法，该优化方法又可以用它来更新权重，以试图使损失函数最小化。在训练人工神经网络引擎时，中间层中的神经元可以按照不同的神经可学会识别总输入的不同特征的方式来组织自身。在训练之后，如果任意输入模式被呈现给人工神经网络引擎，则如果新输入包含类似于单独的神经元在其训练期间已经学会识别的特征的模式，则网络的隐藏层中的神经元可以用输出进行响应。
在一个示例中，人工神经网络引擎164的输入层可包括六个人工神经元，隐藏层可包括三个人工神经元，并且输出层可包括一个人工神经元。在一些其他的示例中，输入层可以包括输入层中的多于或少于六个人工神经元，隐藏层可包括多于或少于三个人工神经元，并且输出层可包括多于一个人工神经元。
在一个示例中，确定引擎162可以为目的数据存储设备106上的人工神经网络(ANN)引擎164的输入层的六个人工神经元中的每一个提供一个单独的参数作为输入。在一个示例中，该六个参数可包括对与主机102相关的数据块的写I/O操作的数量；对与主机102相关的读I/O操作的数量；数据块的每秒输入/输出操作(IOPs)；受数据块的读/写I/O操作影响的逻辑块地址(LBA)的范围；由主机102上的应用从数据块请求的I/O块尺寸；和由用户分配给数据块的数据块优先级。在一些示例中，可以将相对权重或重要性分配给每个参数，作为人工神经网络引擎104的输入层的输入的一部分。以下的表1示出了分配给输入参数的相对权重(1,2,3,4,5,和6)的示例。
参数 相对权重(降序)
IOPS 6
写I/O％ 5
LBA范围 4
块尺寸 3
数据块优先级 2
读I/O％ 1
表1
响应于由输入层接收输入参数(以及关联的权重，如果分配的话)，可被连接到输入层的隐藏层中的人工神经元可以例如使用激活函数来处理输入参数。节点的激活函数可以在给定一个输入或一组输入下定义该节点的输出。激活函数可以被认为是确定特定特征的存在的决策函数。例如，隐藏层中的人工神经元可以使用激活函数来基于从输入层接收的给定的一组输入值来决定该单元的激活值可以是什么值。然后可以使用许多这种单元的激活值来基于输入做出决策。
一旦输入参数(以及相关联的权重，如果有的话)由隐藏层处理，可被连接到人工神经网络引擎164的隐藏层的输出层中的人工神经元可提供输出。在一个示例中，输出可包括用于每个已识别的数据块的迁移优先级。因此，已识别的用于迁移的每个数据块可由确定引擎162分配迁移优先级。可以使用数字(例如，1,2,3,4和5)或非数值(例如，高、中和低，其可以表示相对值)来分配迁移优先级。在一个示例中，确定引擎162可基于它们各自的迁移优先级为所述数据块中的每一个识别合适的存储等级。在一个示例中，计算环境100中可用的存储介质可以基于例如性能、可用性、成本和恢复需求而被分类为不同的等级。在一个示例中，确定引擎162可为具有相对较高的迁移优先级的数据块识别相对较高的存储等级。
在一个示例中，在确定引擎162可被用于为每个已识别的数据块确定迁移优先级之前，确定引擎162可通过将人工神经网络引擎164置于学习阶段而校准人工神经网络引擎164。在学习阶段中，关于源数据存储设备104的主机***I/O操作可经由目的数据存储设备106以预定时间间隔路由，该时间间隔可从几分钟至几小时。在另一示例中，校准可例如经由在源数据存储设备104处实时捕获的I/O操作提供的后台处理而发生在目的数据存储设备106以外。预定时段可以是用户定义的或***定义的。在该时间间隔期间，确定引擎162可以针对每个已识别的数据块的各种参数确定主机I/O通信模式(在目的数据存储设备106处)。这些参数可类似于之前提到的那些参数。在该时间段期间收集的数据可作为输入数据通过确定引擎162提供给人工神经网络引擎164的输入层。表2示出了与一组数据块的六个输入参数有关的I/O数据的26个样本。
样本I/O 写I/O(％) 读I/O(％) IOPS LBA范围 块尺寸 数据块优先级 迁移优先级
I:O 100 0 100000 50 64000 4 0.9000
I:1 100 0 100000 50 64000 5 0.9100
I:2 100 0 100000 50 64000 1 0.8500
I:3 90 10 100000 50 64000 3 0.8500
I:4 80 20 120000 50 64000 3 0.8500
I:5 80 20 120000 60 64000 3 0.8700
I:6 80 20 120000 60 12800 3 0.8800
I:7 70 30 120000 60 012800 3 0.8000
T:8 70 30 140000 60 012800 3 0.8100
I:9 30 70 140000 60 012800 3 0.4000
I:10 30 70 140000 50 012800 3 0.3900
I:ll 30 70 120000 60 012800 3 0.3700
I:12 50 50 120000 50 012800 3 0.5000
I:13 50 50 120000 50 064000 3 0.4500
I:14 50 50 120000 50 512 3 0.4000
I:15 60 40 120000 50 512 3 0.4100
I:16 0 0 0 0 0 5 0.1000
I:17 0 0 0 0 0 3 0.0500
T:18 0 0 0 0 0 1 0.0100
I:19 50 50 120000 50 2000 3 0.4200
I:20 50 50 120000 50 1000 3 0.4100
I:21 50 50 140000 50 2000 3 0.4500
I:22 60 40 160000 50 64000 5 0.6000
I:23 60 40 160000 70 64000 3 0.7000
I:24 100 0 100000 50 64000 3 0.8600
I:25 100 0 100000 60 64000 3 0.8600
表2
响应于由输入层接收到输入参数(以及关联的权重，如果分配的话)，隐藏层可例如通过使用激活函数来处理输入参数。一旦输入参数(以及关联的权重，如果有的话)由隐藏层处理，则输出层可识别一组高LBA影响数据块。输出层也可以为数据块确定迁移优先级的顺序。输出层也可基于其各自的迁移优先级为所述数据块中的每一个确定存储等级。
人工神经网络引擎164的学***。初始的权重可被设置为任意值，例如初始权重可随机选择。人工神经网络引擎164可使用隐藏层中的权重和函数一次一个地处理训练样本，然后将结果输出与期望的输出比较。人工神经网络引擎164可在下一个样本被处理之前使用反向传播测量误差范围并调整权重。一旦人工神经网络引擎使用具有可接受的误差范围的样本进行训练或校准，如前所述，确定引擎可以使用人工神经网络引擎来为给定的一组数据块确定迁移优先级。
一旦由确定引擎162为每个已识别的数据块确定了迁移优先级，则迁移引擎166可基于它们的迁移优先级将数据块从源数据存储设备104迁移到目的数据存储设备106。在一个示例中，如果确定引擎162基于迁移优先级识别用于数据块的存储等级，迁移引擎166可将数据块迁移至已识别的存储等级。
图2是用于迁移数据块的示例性数据存储***200的框图。在一个示例中，***200可通过任意合适的，例如，如本文中所述，与图1的源数据存储设备104或目的数据存储设备106相关的设备来实现。
数据存储***200可为内部存储设备、外部存储设备或网络附属存储设备。存储***200的一些非限制性示例可包括硬盘驱动器、存储盘(例如，CD-ROM、DVD等)、存储磁带、固态硬盘、USB驱动器、串行高级技术附件(SATA)磁盘驱动器、光纤通道(FC)磁盘驱动器、串行连接SCSI(SAS)磁盘驱动器、磁带驱动器、光盘库等。在一个示例中，数据存储***200可为直连式存储(DAS)设备、网络附属存储(NAS)设备、廉价磁盘冗余阵列(RAID)、数据档案存储***或存储区域网络(SAN)上的基于块的设备。在另一示例中，数据存储***200可为存储阵列，其可包括一个或多个存储设备(例如，硬盘驱动器、固态硬盘等)。
在一个示例中，数据存储***200可包括识别引擎160、确定引擎162、人工神经网络引擎164和迁移引擎166。在一个示例中，识别引擎160可识别用于从源数据存储设备(例如，104)到数据存储***200迁移的数据块。确定引擎162可以为所述数据块中的每一个确定迁移优先级。在一个示例中，该确定可包括基于与主机***相关的数据块的各自的输入/输出(I/O)操作的分析来为所述数据块中的每一个确定多个参数。确定引擎162可将多个参数作为输入提供给人工神经网络引擎164的输入层。该输入可由人工神经网络引擎164的隐藏层处理，其中该隐藏层可被连接到输入层。可被连接到隐藏层的人工神经网络引擎164的输出层可提供输出。在一个示例中，该输出可包括用于所述数据块中的每一个的迁移优先级。迁移引擎166可基于数据块各自的的优先级迁移该数据块。
图3是用于迁移数据块的示例性数据存储***300的框图。在一个示例中，数据存储***300可为存储阵列，其可包括一个或多个存储驱动器(例如，硬盘驱动器、固态硬盘等)。在一个示例中，数据存储***300可包括源数据存储设备(例如，104)和目的数据存储设备(例如，106)。
在一个示例中，数据存储***300可包括识别引擎160、确定引擎162、人工神经网络引擎164和迁移引擎166。在一个示例中，识别引擎160可识别用于从源数据存储设备104到目的数据存储设备106迁移的数据块。确定引擎162可以为所述数据块中的每一个确定迁移优先级。在一个示例中，该确定可包括基于与主机***相关的数据块的各自的输入/输出(I/O)操作的分析来为所述数据块中的每一个确定多个参数。确定引擎162可将多个参数作为输入提供给人工神经网络引擎164的输入层。该输入可由人工神经网络引擎164的隐藏层处理，其中隐藏层可被连接到输入层。可被连接到隐藏层的人工神经网络引擎164的输出层可提供输出。在一个示例中，该输出可包括用于所述数据块中的每一个的迁移优先级。迁移引擎166可基于数据块各自的优先级迁移该数据块。
图4是用于迁移数据块的示例性方法400的框图。以下描述的方法400可以在诸如图1的源数据存储设备104和目的数据存储设备106、图2的数据存储***200或图3的数据存储***300的设备上部分地或完全地执行。然而，其他合适的计算设备也可执行方法400。在块402，可以识别用于从源数据存储设备到目的数据存储设备迁移的数据块。在块404，可在目的数据存储设备处确定用于所述数据块中的每一个的迁移优先级。在一个示例中，该确定可包括基于与主机***相关的数据块的各自的输入/输出(I/O)操作的分析来为所述数据块中的每一个确定多个参数(块406)。在块408，多个参数可作为输入提供给人工神经网络引擎的输入层。在块410，该输入可由人工神经网络引擎的隐藏层处理，其中该隐藏层可被连接到输入层。在块412，输出可由人工神经网络引擎的输出层提供。在一个示例中，该输出可包括用于所述数据块中的每一个的迁移优先级。
图5是用于迁移数据块的示例性***500的框图。***500包括通过***总线通信地连接的处理器502和机器可读存储介质504。在一个示例中，***500可以类似于图1的源数据存储设备104和目的数据存储设备106、图2的数据存储***200或图3的数据存储***300。处理器502可以是译码并执行存储在机器可读存储介质504中的机器可读指令的任意类型的中央处理单元(CPU)、微处理器或处理逻辑。机器可读存储介质504可以是随机存取存储器(RAM)或可存储可由处理器502执行的信息和机器可读指令的另一种类型的动态存储设备。例如，机器可读存储介质504可为同步DRAM(SDRAM)、双倍数据速率(DDR)、RambusDRAM(RDRAM)、Rambus RAM等，或诸如软盘、硬盘、CD-ROM、DVD、笔式驱动器等存储介质。在一个示例中，机器可读存储介质可为非瞬时机器可读介质。
机器可读存储介质504可存储指令506、508、510和512。例如，指令506可由处理器502执行以识别用于从源数据阵列到目的数据阵列迁移的数据块。指令508可由处理器502执行以确定用于所述数据块中的每一个的迁移优先级。在一个示例中，指令508可包括在目的存储阵列上基于与主机***相关的数据块的各自的输入/输出(I/O)操作的分析来为所述数据块中的每一个确定多个参数的指令。指令508可进一步包括将多个参数作为输入提供给人工神经网络引擎的输入层的指令。指令508可进一步包括由人工神经网络引擎164的隐藏层处理该输入的指令，其中隐藏层被连接到输入层。指令508可进一步包括通过人工神经网络引擎的输出层提供输出的指令，其中输出层可被连接到隐藏层。在一个示例中，输出可包括用于所述数据块中的每一个的迁移优先级。指令510可由处理器502执行以基于数据块各自的迁移优先级迁移数据块。指令512可由处理器502执行以基于数据块各自的迁移优先级识别用于所述数据块中的每一个的存储等级。
为了解释的简便性，虽然图5的示例性方法示出为顺序地执行，但是应该理解和明白的是，本发明和其他的示例不受所示的顺序的限制。图1、2、3和5的示例性***和图4的方法可以以包括计算机可执行指令(诸如可以在任何合适的结合了合适的操作***(例如，微软视窗软件、Linux、UNIX等)的计算设备上运行的程序代码)的计算机程序产品的形式来实现。本方案的范围内的示例也可包括程序产品，其包括用于携带或具有存储在其上的计算机可执行指令或数据结构的非瞬时计算机可读介质。这种计算机可读介质可以是可以被通用或专用计算机访问的任意可用的介质。举例来说，这种计算机可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM、存盘存储器或其他存储设备，或者任何其他可以用来携带或存储以计算机可执行指令的形式的所需的程序代码并可以被通用或专用计算机访问的介质。该计算机可读指令也可从存储器访问并由处理器执行。
应当注意到，以上描述的本方案的示例是用于例示的目的。尽管已经结合其具体示例描述了该方案，但是在不实质上脱离本文描述的主题的教导和益处的情况下，可以进行多种修改。在不背离本方案的精神的情况下可做出其他替代、改进和改变。本说明书(包括任何所附权利要求、摘要和附图)中公开的所有特征，和/或公开的任何方法或过程的所有部分可以组合在任意组合中，除非至少其中一些特征和/或部分是相互排斥的组合。

Claims (15)

1.一种方法，包括：
识别用于从源数据存储设备到目的数据存储设备迁移的数据块；以及
确定用于所述数据块中的每一个的迁移优先级，其中所述确定包括：
基于与主机***相关的数据块的各自的输入/输出(I/O)操作的分析为所述数据块中的每一个确定多个参数；
将所述多个参数作为输入提供给人工神经网络引擎的输入层；
通过所述人工神经网络引擎的隐藏层处理所述输入，其中所述隐藏层被连接至所述输入层；以及
通过所述人工神经网络引擎的输出层提供输出，其中所述输出层被连接至所述隐藏层，并且其中所述输出包括用于所述数据块中的每一个的迁移优先级。
2.如权利要求1所述的方法，进一步包括：
基于所述数据块的各自的迁移优先级将所述数据块从所述源数据存储设备迁移到所述目的数据存储设备。
3.如权利要求1所述的方法，其中确定用于所述数据块中的每一个的迁移优先级包括：
将所述目的数据存储设备置于直通模式，其中在所述直通模式中，与主机***相关的数据块的所述输入/输出(I/O)操作经由所述目的数据存储设备被路由至所述源数据存储设备。
4.如权利要求1所述的方法，进一步包括：
基于数据块的各自的迁移优先级识别用于所述数据块中的每一个的存储等级。
5.如权利要求4所述的方法，进一步包括将所述数据块中的每一个迁移至各自的存储等级。
6.一种数据存储***，包括：
识别引擎，以识别用于从源数据存储设备到数据存储设备迁移的数据块；
确定引擎，以确定用于所述数据块中的每一个的迁移优先级，其中所述确定包括：
基于与主机***相关的数据块的各自的输入/输出(I/O)操作的分析为所述数据块中的每一个确定多个参数；
将所述多个参数作为输入提供给人工神经网络引擎的输入层；
通过所述人工神经网络引擎的隐藏层处理所述输入，其中所述隐藏层被连接至所述输入层；以及
通过所述人工神经网络引擎的输出层提供输出，其中所述输出层被连接至所述隐藏层，并且其中所述输出包括用于所述数据块中的每一个的迁移优先级；以及
迁移引擎，以基于所述数据块的各自的迁移优先级迁移所述数据块。
7.如权利要求6所述的数据存储***，其中所述参数包括对与主机相关的数据块的写I/O操作的数量、对与主机相关的数据块的读I/O操作的数量、数据块的每秒输入/输出操作(IOPs)、受数据块的读/写I/O操作影响的逻辑块地址(LBA)的范围、由所述主机上的应用从数据块请求的I/O块尺寸和由用户分配给数据块的数据块优先级中的至少一个。
8.如权利要求6所述的数据存储***，其中所述确定引擎以与所述主机***相关的数据块的I/O操作的样本校准所述人工神经网络引擎。
9.如权利要求6所述的数据存储***，其中所述人工神经网络引擎被包括在所述数据存储***中。
10.如权利要求6所述的数据存储***，其中与所述主机***相关的数据块的输入/输出(I/O)操作经由所述目的数据存储***被路由至所述源数据存储设备。
11.一种包括指令的非瞬时机器可读存储介质，所述指令由处理器执行以：
识别用于从源存储阵列到目的存储阵列迁移的数据块；
确定用于所述数据块中的每一个的迁移优先级，其中要确定的指令包括指令以：
基于与主机***相关的数据块的各自的输入/输出(I/O)操作的分析为所述数据块中的每一个确定多个参数；
将所述多个参数作为输入提供给人工神经网络引擎的输入层；
通过所述人工神经网络引擎的隐藏层处理所述输入，其中所述隐藏层被连接至所述输入层；以及
通过所述人工神经网络引擎的输出层提供输出，其中所述输出层被连接至所述隐藏层，其中所述输出包括用于所述数据块中的每一个的迁移优先级；
基于所述数据块的各自的迁移优先级迁移所述数据块；以及
基于所述数据块的各自的迁移优先级识别用于所述数据块中的每一个的存储等级。
12.如权利要求11所述的存储介质，其中所述源存储阵列和所述目的存储阵列被包括在联合存储***环境中。
13.如权利要求11所述的存储介质，其中提供所述多个参数的指令包括指令以：
向所述多个参数中的每个参数分配相对权重；以及
将分配给每个参数的相对权重作为输入提供给人工神经网络引擎的所述输入层。
14.如权利要求11所述的存储介质，其中：
所述人工神经网络引擎的输入层包括六个人工神经元；
所述人工神经网络引擎的隐藏层包括三个人工神经元；以及
所述人工神经网络引擎的输出层包括一个人工神经元。
15.如权利要求14所述的存储介质，其中提供所述多个参数的指令包括指令以将独立的参数作为输入提供给所述人工神经网络引擎的六个人工神经元中的每一个。
CN201810035354.8A 2017-02-28 2018-01-15 数据块迁移 Pending CN108509147A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/445,496 US20180246659A1 (en) 2017-02-28 2017-02-28 Data blocks migration
US15/445,496 2017-02-28

Publications (1)

Publication Number Publication Date
CN108509147A true CN108509147A (zh) 2018-09-07

Family

ID=63245830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810035354.8A Pending CN108509147A (zh) 2017-02-28 2018-01-15 数据块迁移

Country Status (2)

Country Link
US (1) US20180246659A1 (zh)
CN (1) CN108509147A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020062734A1 (zh) * 2018-09-29 2020-04-02 上海百功半导体有限公司 一种存储控制方法、存储控制器、存储设备及存储***
CN111651117A (zh) * 2020-04-24 2020-09-11 广东睿江云计算股份有限公司 一种存储数据迁移的方法及其装置
CN112286461A (zh) * 2020-10-29 2021-01-29 苏州浪潮智能科技有限公司 一种数据迁移方法、装置及电子设备和存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3607435A4 (en) * 2017-04-07 2020-11-25 Intel Corporation PROCESSES AND SYSTEMS FOR REINFORCEMENT OF DEEP NEURAL NETWORKS FOR DEEP LEARNING
WO2019127234A1 (zh) * 2017-12-28 2019-07-04 华为技术有限公司 一种对象迁移的方法、设备和***
CN111104249A (zh) * 2018-10-26 2020-05-05 伊姆西Ip控股有限责任公司 用于数据备份的方法、设备和计算机程序产品
US10860236B2 (en) * 2019-05-03 2020-12-08 EMC IP Holding Company LLC Method and system for proactive data migration across tiered storage
US11403134B2 (en) * 2020-01-31 2022-08-02 Hewlett Packard Enterprise Development Lp Prioritizing migration of data associated with a stateful application based on data access patterns
US20230176762A1 (en) * 2021-12-03 2023-06-08 Samsung Electronics Co., Ltd. Object storage system, migration control device, and migration control method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090228655A1 (en) * 2008-03-06 2009-09-10 Fujitsu Limited Hierarchical storage apparatus, control device, and control method
US20100318612A1 (en) * 2009-06-11 2010-12-16 Vivek Agarwal Apparatus and Method for Email Storage
CN102521152A (zh) * 2011-11-29 2012-06-27 成都市华为赛门铁克科技有限公司 一种分级存储方法及***
CN103186566A (zh) * 2011-12-28 2013-07-03 ***通信集团河北有限公司 一种数据分级存储方法、装置及***
CN103188346A (zh) * 2013-03-05 2013-07-03 北京航空航天大学 支持分布式决策的大规模高并发访问i/o服务器负载均衡***
US20130339298A1 (en) * 2012-06-13 2013-12-19 Commvault Systems, Inc. Collaborative backup in a networked storage system
CN105205014A (zh) * 2015-09-28 2015-12-30 北京百度网讯科技有限公司 一种数据存储方法和装置
CN105653591A (zh) * 2015-12-22 2016-06-08 浙江中控研究院有限公司 一种工业实时数据分级存储及迁移方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090228655A1 (en) * 2008-03-06 2009-09-10 Fujitsu Limited Hierarchical storage apparatus, control device, and control method
US20100318612A1 (en) * 2009-06-11 2010-12-16 Vivek Agarwal Apparatus and Method for Email Storage
CN102521152A (zh) * 2011-11-29 2012-06-27 成都市华为赛门铁克科技有限公司 一种分级存储方法及***
CN103186566A (zh) * 2011-12-28 2013-07-03 ***通信集团河北有限公司 一种数据分级存储方法、装置及***
US20130339298A1 (en) * 2012-06-13 2013-12-19 Commvault Systems, Inc. Collaborative backup in a networked storage system
CN103188346A (zh) * 2013-03-05 2013-07-03 北京航空航天大学 支持分布式决策的大规模高并发访问i/o服务器负载均衡***
CN105205014A (zh) * 2015-09-28 2015-12-30 北京百度网讯科技有限公司 一种数据存储方法和装置
CN105653591A (zh) * 2015-12-22 2016-06-08 浙江中控研究院有限公司 一种工业实时数据分级存储及迁移方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020062734A1 (zh) * 2018-09-29 2020-04-02 上海百功半导体有限公司 一种存储控制方法、存储控制器、存储设备及存储***
CN111651117A (zh) * 2020-04-24 2020-09-11 广东睿江云计算股份有限公司 一种存储数据迁移的方法及其装置
CN111651117B (zh) * 2020-04-24 2023-07-21 广东睿江云计算股份有限公司 一种存储数据迁移的方法及其装置
CN112286461A (zh) * 2020-10-29 2021-01-29 苏州浪潮智能科技有限公司 一种数据迁移方法、装置及电子设备和存储介质

Also Published As

Publication number Publication date
US20180246659A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
CN108509147A (zh) 数据块迁移
US20200142587A1 (en) Automatic tiering of storage using dynamic grouping
US11652884B2 (en) Customized hash algorithms
US11567810B1 (en) Cost optimized workload placement
US8886781B2 (en) Load balancing in cluster storage systems
US20190065093A1 (en) Automatic load rebalancing of a write group
US11210133B1 (en) Workload mobility between disparate execution environments
EP3665561B1 (en) A metadata control in a load-balanced distributed storage system
US11481261B1 (en) Preventing extended latency in a storage system
US10157214B1 (en) Process for data migration between document stores
US10866970B1 (en) Range query capacity allocation
US11886922B2 (en) Scheduling input/output operations for a storage system
US20170147237A1 (en) Solid-state drive assignment based on solid-state drive write endurance
US20240211391A1 (en) Dynamic migration techniques
US10810054B1 (en) Capacity balancing for data storage system
US20220391124A1 (en) Software Lifecycle Management For A Storage System
US10069906B2 (en) Method and apparatus to deploy applications in cloud environments
US20220244877A1 (en) Performing wear leveling between storage systems of a storage cluster
US20210326047A1 (en) Application-Aware Management of a Storage System
WO2014184606A1 (en) Identifying workload and sizing of buffers for the purpose of volume replication
CN115202563A (zh) 基于预测数据访问频率趋势模式在集群存储***的存储层级之间的数据移动
US20230020268A1 (en) Evaluating Recommended Changes To A Storage System
US9998392B1 (en) Iterative network graph placement
CN104951243B (zh) 虚拟化存储***中的存储扩展方法和装置
US9971785B1 (en) System and methods for performing distributed data replication in a networked virtualization environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180907

WD01 Invention patent application deemed withdrawn after publication