CN104641650B - 在数据存储子***中的源引用复制 - Google Patents

在数据存储子***中的源引用复制 Download PDF

Info

Publication number
CN104641650B
CN104641650B CN201380048158.XA CN201380048158A CN104641650B CN 104641650 B CN104641650 B CN 104641650B CN 201380048158 A CN201380048158 A CN 201380048158A CN 104641650 B CN104641650 B CN 104641650B
Authority
CN
China
Prior art keywords
data
data storage
copied
storage subsystem
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380048158.XA
Other languages
English (en)
Other versions
CN104641650A (zh
Inventor
J·D·斯威夫特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Compellent Technologies Inc
Original Assignee
Compellent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Compellent Technologies Inc filed Critical Compellent Technologies Inc
Publication of CN104641650A publication Critical patent/CN104641650A/zh
Application granted granted Critical
Publication of CN104641650B publication Critical patent/CN104641650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种将数据从第一数据存储设备复制至第二数据存储设备的方法。根据该方法，在将数据从所述第一数据存储设备复制到所述第二数据存储设备之前，可以将与待复制的数据有关的元数据传送到所述第二数据存储设备，所述元数据包括关于待复制的数据的信息和标识路径的路径标识符，所述第二数据存储设备能够通过该路径远程访问在所述第一数据存储设备的所述数据直到待复制的所述数据被拷贝到所述第二数据存储设备。

Description

在数据存储子***中的源引用复制
技术领域
本公开一般涉及用于数据复制的***和方法。特别地，本公开涉及在数据存储子***或信息处理***中的源引用(source reference)复制。
背景技术
随着信息的价值及使用的持续增加，个人和企业也在寻求额外的方式来处理和储存信息。一个用户可用的选择是信息操作(handling)***。信息操作***通常处理、编译、储存和/或传递信息或数据以用于企业、个人或其他目的，从而允许用户利用信息的价值。因为技术和信息操作需要并要求在不同用户或应用之间变化，所以信息操作***也可能发生以下变化：操作什么信息、怎样操作信息、多少信息被处理、储存或传递，及处理、储存或传递信息能有多快及多有效。信息操作***中的变化考虑到信息操作***的一般性或配置用于特定用户或诸如金融交易处理、预订机票、企业数据存储或全球通信的特定使用。此外，信息操作***可以包括各种硬件和软件组件，该组件可以被配置为处理、储存和传递信息并可以包括一个或多个计算机***、数据存储***和网络连接***。
随着越来越多的信息或数据在此类信息操作***中被电子地进行储存和处理，用于保持数据安全、快速可存取和容错的装置已经变得越发重要。类似地，在共同数据的存储上增加的规则已经导致在维持和保护数据中更加仔细。
数据复制包含共享信息或数据的过程，以在冗余资源之间确保一致性并提高可靠性、容错和/或可存取性。在许多情况下，复制可以跨越计算机网络，诸如因特网，以使得物理存储设备可以位于物理上的远程位置中。数据复制的一个目的是防止可能在一个位置发生的故障或灾害造成的损害，或者在此类事件发生的情况下，提高恢复能力。数据复制的另一目的是许可至多个位置处的相同数据的本地访问。
然而，传统技术通常在数据在目的站点(site)被使用之前，需要将数据从源***或站点复制发送到目的***或站点，同时目的站点对于复制数据毫不知情，直到数据已经实际上到达目的站点。该技术使得大量数据的复制工作极其艰巨，在网络上将全部数据复制到目的站点可能耗费极长的时间。过程可能变得如此耗时，使得移动硬盘常常被用于在物理上将大量数据传递至目的站点，而不是使用网络来传输。
因此，在本领域具有提供更高性价比和/或更有效的数据复制过程的需求。更特别地，在本领域具有如于此涉及的源引用复制的需求。
发明内容
在一个实施方式中，本公开涉及一种将数据从第一数据存储设备复制至第二数据存储设备的方法。根据该方法，在将数据从所述第一数据存储设备复制到所述第二数据存储设备之前，可以将与待复制的数据有关的元数据传送到所述第二数据存储设备，所述元数据包括关于待复制的数据的信息和标识路径的路径标识符，所述第二数据存储设备能够通过该路径远程访问在所述第一数据存储设备的所述数据直到待复制的所述数据被拷贝到所述第二数据存储设备。在一个实施方式中，元数据可以经由计算机网络被传送。第一数据存储设备可以位于源站点，及第二数据存储设备可以位于远程目的站点。在待复制的所述数据还未被拷贝到所述第二数据存储设备时，一旦用户请求所述目的站点访问待复制的所述数据，就可以利用在所述元数据中提供的所述路径标识符来远程访问在所述第一数据存储设备的所述数据。该方法可以进一步包括利用所述路径标识符检索并本地储存所访问的数据的副本，并在所述元数据中指示该数据已经被复制到所述第二数据存储设备。源站点还可以被告知所检索的数据已经被复制到所述第二数据存储设备。该方法可以进一步包括将待复制的数据拷贝到所述第二数据存储设备。然而，在一些实施方式中，仅还未被标识为已经检索并复制到所述第二数据存储设备的待复制的数据的一部分可以被拷贝到所述第二数据存储设备。
在另一实施方式中，本公开涉及一种具有第一数据存储子***和第二数据存储子***的信息操作***，所述第一数据存储子***包括待复制到所述第二数据存储子***的数据，及所述第二数据存储子***包括元数据，该元数据包括关于待复制的所述数据的信息和路径标识符，该路径标识符用于远程访问在所述第一数据存储子***的所述数据直到待复制的所述数据被拷贝到所述第二数据存储子***。所述第一数据存储子***和第二数据存储子***可以经由计算机网络远程连接，及在所述第二数据存储子***的所述元数据经由所述网络被从所述第一数据存储子***传送。一旦用户请求所述第二数据存储子***访问待复制的所述数据，所述第二数据存储子***就可以利用在所述元数据中提供的所述路径标识符经由所述计算机网络来访问在所述第一数据存储子***的所述数据。由所述第二数据存储子***利用在所述元数据中提供的所述路径标识符经由所述计算机网络访问的数据可以被检索并本地储存在所述第二数据存储子***，及所述元数据可以被更新以反映出该数据已经被复制到所述第二数据存储子***。对于检索并本地存储在所述第二数据存储子***的所述数据，所述第一数据存储子***还可以被告知所检索的数据已经被复制到所述第二数据存储子***。在对待复制的所述数据的随后复制过程期间，其中待复制的所述数据被拷贝到所述第二数据存储子***，之前检索并本地存储在所述第二数据存储子***的所述数据可以从所述复制过程移除，从而不被拷贝至所述第二数据存储子***。
在另一实施方式中，本公开涉及一种用于链接(chaining)在多个数据存储子***之间的数据复制的方法，所述多个数据存储子***具有多个源-目的子***对，以使得对于每个对，第一数据存储子***是源及第二数据存储子***是目的地，所述方法包括对于每个源-目的子***对，在将数据从所述第一数据存储子***复制到所述第二数据存储子***之前，将与待复制的数据有关的元数据传送至所述第二数据存储子***，所述元数据包括关于待复制的所述数据的信息和标识完整路径的至少一部分的路径标识符，所述第二数据存储设备通过该完整路径的至少一部分能够远程访问所述数据直到待复制的所述数据被拷贝到所述第二数据存储设备。路径的所述至少一部分包括至所述第一数据存储子***的路径，且所述第二数据存储设备通过其能够远程访问所述数据的所述完整路径中剩余部分可以包括由元数据在所述第一数据存储子***标识的路径(如果必要的话)。在一个实施方式中，所述第一数据存储子***是在第一源-目的子***对中的源并且是在第二源-目的子***对中的目的地，且由元数据在所述第一数据存储子***标识的所述路径包括至第三数据存储子***的路径，该第三数据存储子***是在所述第二源-目的子***对中的源。该方法还进一步包括将待复制的所述数据拷贝到所述第二数据存储***。然而，在待复制的所述数据还未被拷贝到所述第二数据存储设备时，一旦用户请求所述第二数据存储子***访问待复制的所述数据，该方法可以包括经由所述完整路径来远程访问所述数据。
虽然公开了多个实施方式，但是本公开的其他实施方式根据以下具体描述对于本领域技术人员来说是显而易见的，以下具体描述显示并描述了本发明所示的实施方式。应当意识到的是，本公开的各个实施方式能够以各种明显的方面进行修改，而不会背离本公开的思想和范围。相应地，附图和具体描述将被视为实际上是说明性的而不是限制性的。
附图说明
虽然说明书采用特别指出并明确要求了被认为是形成了各种本公开的实施方式的主题的权利要求作为结论，但是应当相信本发明将结合附图通过以下说明进行更好的理解。
图1是适合本公开的各种实施方式的磁盘(disk)驱动***的示意图。
图2是根据本公开的一个实施方式的用于源引用复制的***的示意图。
图3是根据图2的实施方式的用于源引用复制的***的示意图，示出了对利用储存在元数据中的路径信息的数据的请求。
图4是根据本公开的另一实施方式的用于源引用复制的***的示意图。
图5是根据图4的实施方式的用于源引用复制的***的示意图，示出了对利用储存在元数据中的路径信息的数据的请求。
具体实施方式
本公开涉及用于数据复制的新颖且有益的***和方法。特别地，本公开涉及用于在数据存储子***或信息操作***中进行源引用复制的新颖且有益的***和方法。
为了本公开的目的，信息操作***可以包括任何手段或可操作为以下的手段的集合：计算、计量、确定、分类、处理、传送、接收、检索、引起、转换、储存、显示、通信、表明、检测、记录、再生、操作或利用任何形式的信息、智能或商业、科学、控制或其他目的的数据。例如，信息操作***可以为个人计算机(如，台式机或笔记本电脑)、平板电脑、移动设备(如，个人数字助理(PDA)或智能电话)、服务器(如，刀片式服务器或机架式服务器)、网络存储设备或任何其他适合的设备，还可以改变大小、形状、性能、功能和价格。信息操作***可以包括随机存取存储器(RAM)、诸如中央处理单元(CPU)或硬件或软件控制逻辑的一个或多个处理资源、ROM和/或其他类型的非易失性存储器。信息操作***的额外组件可以包括一个或多个磁盘、用于与外部设备通信的一个或多个网络端口以及各种输入和输出(I/O)设备，诸如键盘、鼠标、触摸屏和/或视频显示器。信息操作***还可以包括一个或多个可操作为传送各种硬件组件之间的通信的总线。
虽然各个实施方式不限于任何特定类型的信息操作***，但是本公开的***和方法特定地在磁盘***或虚拟磁盘***的场景(context)中是有用的，诸如在2009年11月03日公开的美国专利No.7,613,945中描述的名称为“Virtual Disk Drive System andMethod”的磁盘***，该申请的全部通过引用的方式结合于此。这种磁盘***基于例如RAID至磁盘的映射，通过动态分配跨越存储的页面池、或磁盘存储块矩阵的用户数据及多个磁盘来允许数据的有效存储。一般而言，动态分配向用户服务器呈现出虚拟磁盘设备或磁盘卷(volume)。对于服务器，磁盘卷担当与传统存储一样的作用，诸如磁盘，还提供了多个存储设备的存储抽象，诸如RAID设备，以创建动态的大小合适的存储设备。根据例如但不限于数据类型或数据访问模式，数据调度(progression)可以被用于此类磁盘***中以将数据逐渐地移至用于数据的适当的全部成本的存储空间。一般而言，数据调度可以确定磁盘***中存储的成本，考虑了例如物理存储设备的货币成本和/或逻辑存储设备的RAID等级。基于这些确定，数据调度可以移动数据，相应地使得数据被存储在具有最合适成本的可用存储上。此外，通过在例如预定时间间隔、用户配置的动态时间戳(诸如每几分钟或几小时等)，或在由服务器指定的时间，自动地生成和储存快照或***的时间点副本或磁盘存储块的矩阵，此类磁盘***可以保护数据以防止例如***故障或病毒攻击。这些时间戳快照许可数据在***出现故障之前从先前的时间点进行数据恢复，从而将***修复为存在于该时间点。这些快照或时间点副本也可以由***或***用户用于其他目的，诸如但不限于测试，而主存储能够保持运行。通常，使用快照能力，用户可以查看如在之前的时间点存在存储***的状态。
图1示出了信息操作***环境102中磁盘或数据存储***100的一个实施方式，诸如在美国专利No.7,613,945中所公开的，并且适合本公开的各个实施方式。如图1所示，磁盘***100可以包括数据存储子***104和磁盘管理器106，该数据存储子***104可以包括(本领域技术人员理解的)RAID子***，该磁盘管理器106具有至少一个磁盘存储***控制器。数据存储子***104和磁盘管理器106可以基于例如RAID至磁盘的映射或其他存储映射技术来动态分配跨越多个磁盘108的磁盘空间的数据。
如以上所描述的，随着越来越多的信息或数据在如上所描述的此类信息操作***中被电子地进行储存和处理，用于保持数据安全、快速可存取和容错的装置已经变得越发重要。在这一点上，数据复制为共享信息或数据提供支持，以在冗余资源之间确保一致性并提高可靠性、容错和/或可存取性。然而，传统的异步复制技术通常在数据能够在目的站点被使用之前，需要将数据从源***或站点复制发送到目的***或站点，同时目的站点对于复制数据毫不知情，直到数据已经实际上到达目的站点。该技术使得大量数据的复制工作极其艰巨，在网络上将全部数据复制到目的站点可能耗费极长的时间。过程可能变得如此耗时并令人恼火，使得移动硬盘常常被用于在物理上将大量数据传递至目的站点，而不是使用网络来传输。
本公开改进了储存在数据存储***或其他信息操作***(诸如但不限于在美国专利No.7,613,945中描述的数据存储***的类型)中的数据的复制过程。特别地，本公开涉及(于此意为适用于但并非通过名称限制)数据存储子***或信息操作***中的源引用复制。所公开的改进能够提供更高性价比和/或更有效的数据复制过程。
通常，在数据从源站点或***复制到目的站点或***之前或期间，源引用复制可以包含将元数据发送至目的站点，该元数据涉及待从源站点复制到目的站点的数据或从源站点复制到目的站点的过程中的数据。对于已经全部从源站点复制到目的站点的数据，所传送的元数据可以允许目的站点引用回至数据的源位置以检索来自源站点的数据，从而在实际的数据复制执行或完成之前，允许在目的站点的用户或经由目的站点访问数据的用户访问待复制的数据。
更特别地，根据本公开的一个实施方式，如图2所示，诸如但不限于经由网络或通过物理传递(利用移动硬盘或其他便携式存储设备)，数据206可以从源站点或***205被复制到目的站点或***204。如将在这里被认识到，然而，在许多情况下，对于甚至大量的数据，于此所描述的源引用复制的各个实施方式可以允许更有效使用经由网络的复制。
与传统的复制技术不同，如图2所示，在数据206从源站点205被发送之前或者在传递最初开始时或甚至有时在传递期间，源站点可以发送元数据208至目的站点204，该元数据208提供了关于或描述相应数据的信息，该相应数据为将要或正在复制至或发送至目的的数据。元数据208可以包括但不限于名称、大小、权限、所有权、唯一标识符或任何其他合适的或适当的信息。元数据208还可以包括路径或路径标识符210，该路径或路径标识符210标识了源站点202处的数据206的位置或至数据206的路径，并因而元数据208能够被目的站点204使用或跟随(follow)，从而访问在源站点的数据直到数据已经被复制到目的站点。传送至目的站点204的元数据208一般来说对于允许目的站点208向在目的站点的数据的任意***描述期望的数据206来说是足够的，用户看起来好像是实际上储存本地数据的目的站点需要，而并不需要访问在目的站点的数据。
相应地，基于来自所发送的元数据208的可用信息，目的站点204通常在复制过程期间的任意时间能够呈现待复制到其用户的数据。如果对数据206的请求在其用户中的一者的目的站点204进行或通过该目的站点204进行，且数据还没有被复制到目的站点，则目的站点可以利用路径或路径标识符210及来自元数据的潜在的任何其他可用信息，来访问和检索来自源站点202的数据206，如图3所示。任何已经被配置用于***并允许数据在带内或带外被传送至请求的目的地的适当的原理可以被采用，并包括但不限于至云的块接口、网络文件***、网服务接口等。
根据一些实施方式，访问和检索的数据206可以被拷贝302并本地储存在目的站点204以用于进一步的本地访问。在这一点上，目的站点204从那时起能够在本地将数据呈现给用户，并且，虽然在所有实施方式中不是必要的，但是应当改变元数据208或其他指示符以反映出数据206已经被复制。源站点202还可能被告知数据206已经被复制以避免数据再次被发送及浪费带宽。
一旦元数据208被发送至目的站点204，或者在一些实施方式中正处于发送的过程中，源站点202就可以开始传送将要被复制206到目的站点的实际数据。如以上描述的，数据可以经由合适的装置从源站点202被复制到目的站点，诸如经由网络或通过物理传递。通常，采用传统复制技术，对于大量数据的传递，复制过程在经由网络传递时可能变得如此耗时并令人恼火，以使得便携式存储设备常常代替用于物理上传递大量数据至目的站点。然而，根据本公开的各个实施方式，由于元数据208通过源站点202发送至目的站点204，所以目的站点204一般具有足够的可用信息来在目的站点向数据的任意***描述所期望的数据206，用户看起来好像是数据实际上被储存在目的站点并且是本地可访问的。此外，如果任何用户需要在其复制到目的站点204之前访问数据206，那么元数据208就包括路径或路径标识符210，该路径或路径标识符210许可目的站点在源站点202远程存取数据，直到数据已经被复制到目的站点。在这一点上，实际数据复制过程可以更随意地执行或在不会引起任何有疑问的延迟问题的情况下以减小的或优先化的速度执行。同样地，在许多情况下，对于甚至大量数据，于此描述的源引用复制的各个实施方式可以许可经由网络更有效地使用复制。
当然，在另一实施方式中，数据206不必在单独的复制过程中随后被拷贝，但是能够根据需要或根据请求替代缓慢移动或被发送至目的站点204。在这一点上，与复制过程相关联的时间、成本和带宽使用可以大大减少或覆盖更大的时间跨度。这种类型的缓慢移动复制适于于此描述的各个实施方式的任意一者，包括以下描述的额外的实施方式。
在进一步的实施方式中，如图4和图5所示，源引用复制允许链接复制站点或复制过程。在一个示例性实施方式中，源站点402可以复制其数据404或其部分至第一目的站点406，该第一目的站点406接着可以作为复制相同或不同数据至第二目的站点408的源。
如针对复制的一个实例所描述的，在数据404被从源站点402发送之前，或者在传递最初开始时或甚至有时在传递期间，源站点可以发送元数据410至第一目的站点406，该元数据410提供了关于或描述相应数据的信息，该相应数据为将要或正在被复制至或发送至第一目的站点的数据，如图4所示。除了以上描述的任何其他合适的或适当的信息之外，元数据410还可以包括路径或路径标识符412，该路径或路径标识符412标识了源站点402处的数据404的位置或至数据404的路径，并因而元数据410能够被第一目的站点406使用或跟随，从而访问在源站点的数据直到数据已经被复制到第一目的站点。如以上注意的，传送至第一目的站点406的元数据410一般来说对于允许第一目的站点向在第一目的站点的数据的任意***描述期望的数据206来说是足够的，用户看起来好像是实际上储存本地数据的第一目的站点需要(其实并不需要)实际上将要在第一目的站点的数据。
相应地，基于来自所发送的元数据410的可用信息，第一目的站点406通常在复制过程期间的任意时间能够呈现待复制或正在复制到其用户的数据。如果对数据404的请求在其用户中的一者的第一目的站点406进行或通过该第一目的站点406进行，且数据还没有被复制到第一目的站点，则第一目的站点可以利用路径或路径标识符412及来自元数据的潜在的任何其他可用信息，来访问和检索来自源站点202的数据404，如图5所示。访问和检索的数据404可以被拷贝302并本地储存在第一目的站点406以用于进一步的本地访问。在这一点上，第一目的站点从那时起能够在本地将数据呈现给用户，并且，虽然在所有实施方式中不是必要的，但是应当改变在第一目的站点的元数据410或其他指示符以反映出数据404已经被复制。源站点402还可能被告知数据404已经被复制以避免数据再次被发送及浪费带宽。一旦元数据410被发送至第一目的站点406，或者在一些实施方式中正处于发送的过程中，源站点402就可以开始传送实际复制数据404至第一目的站点，如以上所讨论的。
以类似的方式，在所示的链接的复制***中，在数据404被从第一目的站点406发送之前，或者在传递最初开始时或甚至有时在传递期间，第一目的站点或源站点402可以发送元数据410至第二目的站点408，该元数据410提供了关于或描述相应数据的信息，该相应数据为将要或正在被复制至或发送至第二目的站点的数据。如以上具体描述的，除了任何其他合适的或适当的信息之外，元数据410还可以包括路径或路径标识符412，该路径或路径标识符412标识了第一目的站点404或源站点402处的数据的位置或至该数据的路径，并因而元数据410能够被第二目的站点406使用或跟随，从而访问在第一目的站点或源站点的数据直到数据已经被复制到第二目的站点。正如以上所描述的实施方式，传送至第二目的站点406的元数据410一般来说对于允许第二目的站点向在第二目的站点的数据的任意***描述期望的数据404来说是足够的，用户看起来好像是实际上储存本地数据的第二目的站点需要，而其实并不需要访问在第二目的站点的数据。
相应地，基于来自所发送的元数据410的可用信息，第二目的站点408通常在复制过程期间的任意时间能够呈现待复制或正在复制到其用户的数据。如果对数据404的请求在其用户中的一者的第二目的站点408进行或通过该第二目的站点408进行，且数据还没有被复制到第二目的站点，则第二目的站点可以利用路径或路径标识符412及来自元数据的潜在的任何其他可用信息，来访问和检索数据404。在更广义的程度，如果在任何时间，用户请求还没有被复制到期本地站点的数据，则本地站点可以请求来自本地站点的暂时源的数据；如果暂时源也不具有所复制的数据，则暂时源可以向该暂时源的源请求，等等。然而，应当认识的是任何目的站点可以请求、访问和检索来自任何在先源的数据，其中数据基于在元数据410中提供的路径信息是可用的。访问和检索的数据可以被拷贝504并本地储存在第二目的站点408以用于进一步的本地访问。在这一点上，第二目的站点408从那时起能够在本地将数据呈现给用户，并且，虽然在所有实施方式中不是必要的，但是应当改变在第二目的站点的元数据410或其他指示符以反映出数据404已经被复制。第一目的站点402或其他源站点(复制已经从该源站点执行)还可能被告知数据404已经被复制以避免数据再次被发送及浪费带宽。一旦元数据410被发送至第二目的站点408，或者在一些实施方式中正处于发送的过程中，第一目的站点406或其他源站点(复制已经从该源站点执行)就可以开始传送实际复制数据404至第二目的站点，如以上所讨论的。
一般来说，因为每个站点可以转发其接收到的元数据至链接复制***中的随后的目的站点，如图4和图5所示，所以包括最终目的站点的每个目的站点可以将数据呈现给用户，好像所复制的数据在本地被即时存储。如果在任何时间，未被复制到目的站点的数据在目的站点被用户请求，则目的站点可以请求来自该目的站点的源的数据，并且该请求可以一直被转发直至最初的源目的地(如果必要的话)。因而，根据本公开的各个实施方式的源引用复制提供比采用传统复制技术未能提供的复制效率。
确实，与源引用复制有关的本公开的各种实施方式在用于数据复制的传统***和方法上具有重大意义。例如，本公开的各个实施方式可以以多个方式降低成本，包括但不限于：减少总带宽拥塞；减少可视复制时间；减少对物理上传递复制数据的需求，并增加对在目的站点的所复制的数据的即时访问。
在之前的描述中，本公开的各个实施方式已经处于示出和描述的目的被呈现。这些实施方式并不是穷尽的或者并非旨在将本发明限于所公开的严格的形式。按照以上的启示，可以进行各种修改或变型。各个实施方式被选择和描述是为了提供本公开的原理的最佳说明，并使本领域技术人员能够利用适于预期的特定使用的各种实施方式及各种修改。所有这些修改和变型均在所附权利要求确定的在本公开的范围之内，在根据广度进行解释时这些修改和变型是公平、公正、合法的。

Claims (19)

1.一种将数据从第一数据存储设备复制至第二数据存储设备的方法，该方法包括：
在将数据从所述第一数据存储设备复制到所述第二数据存储设备之前，将与待复制的数据有关的元数据从所述第一数据存储设备传送到所述第二数据存储设备，所述元数据包括关于待复制的数据的信息和标识路径的路径标识符，所述第二数据存储设备能够通过该路径远程访问在所述第一数据存储设备的所述数据直到待复制的所述数据被拷贝到所述第二数据存储设备，如此，当来自所述第二数据存储设备的用户在待复制的所述数据还未被拷贝到所述第二数据存储设备时请求访问待复制的所述数据时，利用在所述元数据中提供的路径标识符能够远程访问在所述第一数据存储设备的对应的数据。
2.根据权利要求1所述的方法，进一步包括将待复制的所述数据拷贝到所述第二数据存储设备。
3.根据权利要求1所述的方法，其中所述第一数据存储设备位于源站点以及所述第二数据存储设备位于远程目的站点。
4.根据权利要求3所述的方法，进一步包括，在待复制的所述数据还未被拷贝到所述第二数据存储设备时，一旦用户请求所述目的站点访问待复制的所述数据，就利用在所述元数据中提供的所述路径标识符来远程访问在所述第一数据存储设备的所述数据。
5.根据权利要求4所述的方法，进一步包括利用所述路径标识符检索并本地储存所访问的数据的副本，并在所述元数据中指示该数据已经被复制到所述第二数据存储设备。
6.根据权利要求5所述的方法，进一步包括告知所述源站点所检索的数据已经被复制到所述第二数据存储设备。
7.根据权利要求6所述的方法，进一步包括将还未被标识为已经检索并复制到所述第二数据存储设备的待复制的数据的一部分拷贝到所述第二数据存储设备。
8.根据权利要求1所述的方法，其中所述元数据经由计算机网络来传送。
9.一种包括第一数据存储子***和第二数据存储子***的信息操作***，所述第一数据存储子***包括待复制到所述第二数据存储子***的数据，及所述第二数据存储子***包括接收自所述第一数据存储子***的元数据，该元数据包括关于待复制的所述数据的信息和路径标识符，该路径标识符用于远程访问在所述第一数据存储子***的所述数据直到待复制的所述数据被拷贝到所述第二数据存储子***，如此，当来自所述第二数据存储子***的用户在待复制的所述数据还未被拷贝到所述第二数据存储子***时请求访问待复制的所述数据时，利用在所述元数据中提供的路径标识符能够远程访问在所述第一数据存储子***的对应的数据。
10.根据权利要求9所述的信息操作***，其中所述第一数据存储子***和第二数据存储子***经由计算机网络远程连接，及在所述第二数据存储子***的所述元数据经由所述网络被从所述第一数据存储子***传送。
11.根据权利要求10所述的信息操作***，其中，一旦用户请求所述第二数据存储子***访问待复制的所述数据，所述第二数据存储子***就利用在所述元数据中提供的所述路径标识符经由所述计算机网络来访问在所述第一数据存储子***的所述数据。
12.根据权利要求11所述的信息操作***，其中由所述第二数据存储子***利用在所述元数据中提供的所述路径标识符经由所述计算机网络访问的数据被检索并本地储存在所述第二数据存储子***，及所述元数据被更新以反映出该数据已经被复制到所述第二数据存储子***。
13.根据权利要求12所述的信息操作***，其中对于检索并本地存储在所述第二数据存储子***的所述数据，所述第一数据存储子***被通知所检索的数据已经被复制到所述第二数据存储子***。
14.根据权利要求12所述的信息操作***，其中在对待复制的所述数据的随后复制过程期间，其中待复制的所述数据被拷贝到所述第二数据存储子***，之前检索并本地存储在所述第二数据存储子***的所述数据从所述复制过程移除，从而不被拷贝至所述第二数据存储子***。
15.一种用于链接在多个数据存储子***之间的数据复制的方法，所述多个数据存储子***包括多个源-目的子***对，以使得对于每个对，第一数据存储子***是源及第二数据存储子***是目的地，所述方法包括对于每个源-目的子***对，在将数据从所述第一数据存储子***复制到所述第二数据存储子***之前，将与待复制的数据有关的元数据从所述第一数据存储子***传送至所述第二数据存储子***，所述元数据包括关于待复制的所述数据的信息和标识完整路径的至少一部分的路径标识符，所述第二数据存储子***通过该完整路径的至少一部分能够远程访问在所述第一数据存储子***的所述数据直到待复制的所述数据被拷贝到所述第二数据存储子***，如此，当来自所述第二数据存储子***的用户在待复制的所述数据还未被拷贝到所述第二数据存储子***时请求访问待复制的所述数据时，经由所述完整路径能够远程访问在所述第一数据存储子***的所述数据，其中路径的所述至少一部分包括至所述第一数据存储子***的路径。
16.根据权利要求15所述的方法，其中所述第二数据存储子***通过其能够远程访问所述数据的所述完整路径中剩余部分包括由元数据在所述第一数据存储子***标识的路径。
17.根据权利要求16所述的方法，其中所述第一数据存储子***是在第一源-目的子***对中的源并且是在第二源-目的子***对中的目的地，且由元数据在所述第一数据存储子***标识的所述路径包括至第三数据存储子***的路径，该第三数据存储子***是在所述第二源-目的子***对中的源。
18.根据权利要求15所述的方法，进一步包括将待复制的所述数据拷贝到所述第二数据存储子***。
19.根据权利要求15所述的方法，进一步包括，在待复制的所述数据还未被拷贝到所述第二数据存储子***时，一旦用户请求所述第二数据存储子***访问待复制的所述数据，就经由所述完整路径来远程访问所述数据。
CN201380048158.XA 2012-07-16 2013-06-11 在数据存储子***中的源引用复制 Active CN104641650B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/550,294 US20140019573A1 (en) 2012-07-16 2012-07-16 Source reference replication in a data storage subsystem
US13/550,294 2012-07-16
PCT/US2013/045062 WO2014014579A1 (en) 2012-07-16 2013-06-11 Source reference replication in a data storage subsystem

Publications (2)

Publication Number Publication Date
CN104641650A CN104641650A (zh) 2015-05-20
CN104641650B true CN104641650B (zh) 2018-10-16

Family

ID=49914953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380048158.XA Active CN104641650B (zh) 2012-07-16 2013-06-11 在数据存储子***中的源引用复制

Country Status (5)

Country Link
US (1) US20140019573A1 (zh)
EP (1) EP2873246A4 (zh)
CN (1) CN104641650B (zh)
IN (1) IN2015DN00260A (zh)
WO (1) WO2014014579A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5952960B2 (ja) * 2013-04-16 2016-07-13 株式会社日立製作所 計算機システム、計算機システム管理方法及びプログラム
US9934242B2 (en) * 2013-07-10 2018-04-03 Exablox Corporation Replication of data between mirrored data sites
US10747777B2 (en) * 2015-03-11 2020-08-18 Hitachi, Ltd. Computer system and transaction processing management method
US9990176B1 (en) * 2016-06-28 2018-06-05 Amazon Technologies, Inc. Latency reduction for content playback
CN106648959B (zh) * 2016-09-07 2020-03-10 华为技术有限公司 数据存储的方法和存储***
CN108063780B (zh) * 2016-11-08 2021-02-19 中国电信股份有限公司 用于动态复制数据的方法和***
CN107493313A (zh) * 2016-12-19 2017-12-19 汪海军 云管理***与方法
CN107547648A (zh) * 2017-08-31 2018-01-05 郑州云海信息技术有限公司 一种内部数据复制方法及装置
US10984799B2 (en) 2018-03-23 2021-04-20 Amazon Technologies, Inc. Hybrid speech interface device
US10777203B1 (en) 2018-03-23 2020-09-15 Amazon Technologies, Inc. Speech interface device with caching component
US10791173B2 (en) 2018-07-13 2020-09-29 EMC IP Holding Company LLC Decentralized and distributed continuous replication system for moving devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5627961A (en) * 1992-12-04 1997-05-06 International Business Machines Corporation Distributed data processing system
EP0926585A2 (en) * 1997-12-24 1999-06-30 Hitachi, Ltd. Subsystem replacement method
CN1362811A (zh) * 2000-12-28 2002-08-07 索尼公司 数据传送方法和数据传送***
CN1525337A (zh) * 2003-02-27 2004-09-01 ������������ʽ���� 包括存储***的数据处理***

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611901B1 (en) * 1999-07-02 2003-08-26 International Business Machines Corporation Method, system, and program for maintaining electronic data as of a point-in-time
US7657887B2 (en) * 2000-05-17 2010-02-02 Interwoven, Inc. System for transactionally deploying content across multiple machines
US7624158B2 (en) * 2003-01-14 2009-11-24 Eycast Inc. Method and apparatus for transmission and storage of digital medical data
US8108483B2 (en) * 2004-01-30 2012-01-31 Microsoft Corporation System and method for generating a consistent user namespace on networked devices
US7483929B2 (en) * 2005-02-08 2009-01-27 Pro Softnet Corporation Systems and methods for storing, backing up and recovering computer data files
JP2007239947A (ja) * 2006-03-10 2007-09-20 Daikin Ind Ltd 管継手、冷凍装置、ヒートポンプ式給湯機、及び給水配管
US8370302B2 (en) * 2009-06-02 2013-02-05 Hitachi, Ltd. Method and apparatus for block based volume backup
WO2012049711A1 (en) * 2010-10-14 2012-04-19 Hitachi, Ltd. Data migration system and data migration method
US9406341B2 (en) * 2011-10-01 2016-08-02 Google Inc. Audio file processing to reduce latencies in play start times for cloud served audio files
US9323461B2 (en) * 2012-05-01 2016-04-26 Hitachi, Ltd. Traffic reducing on data migration
US9584682B2 (en) * 2012-05-24 2017-02-28 Blackberry Limited System and method for sharing data across multiple electronic devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5627961A (en) * 1992-12-04 1997-05-06 International Business Machines Corporation Distributed data processing system
EP0926585A2 (en) * 1997-12-24 1999-06-30 Hitachi, Ltd. Subsystem replacement method
CN1362811A (zh) * 2000-12-28 2002-08-07 索尼公司 数据传送方法和数据传送***
CN1525337A (zh) * 2003-02-27 2004-09-01 ������������ʽ���� 包括存储***的数据处理***

Also Published As

Publication number Publication date
IN2015DN00260A (zh) 2015-06-12
EP2873246A1 (en) 2015-05-20
US20140019573A1 (en) 2014-01-16
EP2873246A4 (en) 2016-03-30
CN104641650A (zh) 2015-05-20
WO2014014579A1 (en) 2014-01-23

Similar Documents

Publication Publication Date Title
CN104641650B (zh) 在数据存储子***中的源引用复制
CN103635902B (zh) 引用计数传播
AU2016405587B2 (en) Splitting and moving ranges in a distributed system
CN103890729B (zh) 计算机化方法、存储服务器及管理服务器
CN101799743B (zh) 用于逻辑卷管理的方法和装置
CN104603740B (zh) 归档数据识别
CN100517320C (zh) 跨越多个位置的存储池空间分配
JP5411250B2 (ja) 冗長データ記憶システムへの指示に従ってのデータ配置
CN108604164A (zh) 用于存储区域网络协议存储的同步复制
CN103226518B (zh) 一种在存储管理***中进行卷扩展的方法和装置
CN103020257B (zh) 数据操作的实现方法和装置
CN108139941A (zh) 基于网络流控制的动态资源分配
CN107835983A (zh) 使用一致的数据库快照在分布式数据库中进行备份和还原
CN107908503A (zh) 从备份***流式恢复数据库
CN103620580A (zh) 用于数据副本的迁移的***和方法
CN104813321A (zh) 在分布式对象存储生态***中的去耦合的内容以及元数据
WO2003044697A1 (en) Data replication system and method
CN109906597A (zh) 向和从云网络中存储和取回受限制的数据集和非受限制的数据集
US10452619B1 (en) Decreasing a site cache capacity in a distributed file system
CN108604163A (zh) 针对文件访问协议存储的同步复制
CN105373340A (zh) 用于提供安全多租赁的***、装置和方法
EP1811378A2 (en) A computer system, a computer and a method of storing a data file
CN106528338A (zh) 一种远程数据复制方法、存储设备及存储***
JP2017526066A (ja) ストレージ動作の合体
JP5647058B2 (ja) 情報処理システムおよびデータバックアップ方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant