CN1559041B - 在计算机***之间共享对象 - Google Patents

在计算机***之间共享对象 Download PDF

Info

Publication number
CN1559041B
CN1559041B CN028188446A CN02818844A CN1559041B CN 1559041 B CN1559041 B CN 1559041B CN 028188446 A CN028188446 A CN 028188446A CN 02818844 A CN02818844 A CN 02818844A CN 1559041 B CN1559041 B CN 1559041B
Authority
CN
China
Prior art keywords
computer system
file
data
subregion
memory storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN028188446A
Other languages
English (en)
Other versions
CN1559041A (zh
Inventor
马克·萨克
理查德·鲁夫
库尔特·埃弗森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Inc
Original Assignee
EMC Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC Inc filed Critical EMC Inc
Publication of CN1559041A publication Critical patent/CN1559041A/zh
Application granted granted Critical
Publication of CN1559041B publication Critical patent/CN1559041B/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种对象管理***(10)，包括：存储装置(14)；第一计算机***(12)，它被配置成用于在存储装置上存储第一对象以及第一对象的副本；和第二计算机***。第一计算机***被配置成用于创建包含关于第一对象的已存储副本的信息的第一数据对象，而第二计算机***被配置成用于从第一数据对象中读取关于第一对象的已存储副本的信息，并且从存储装置中检索第一对象的已存储副本。第一对象可以由第一计算机***来划分，并在存储装置上存为分区，并且第一数据对象将包含关于所述分区的信息。第二计算机***将被配置成用于从第一数据对象中读取关于所述分区的信息，从存储装置中选择分区。

Description

在计算机***之间共享对象
相关申请的交叉引用
本申请要求于2001年9月26日申请的名为“SYSTEMS&METHODFOR MANAGING TABLESPACES AND DATABASES(用于管理表空间和数据库的***及方法)”的共同待审的美国专利申请No.60/324,578(代理人证号：OTG-001PROV)的优先权，将该篇申请引入与此，以供参考。
发明领域
本发明总体上涉及一种用于有效地使对象在计算机***之间可用的方法、产品以及设备。更具体而言，本发明涉及在对象管理***中使一个计算机***的对象与另一个计算机***共享，在所述对象管理***中，它们共享相同的后端存储装置。
背景技术
本发明涉及在对象管理***中管理大量文件。诸如与Oracle数据库一起使用的这类的现有***，被设计成能处理极大量的表空间(tablespace)。表空间可以由多个数据文件组成，这些数据文件是可以由操作***来访问或操纵的文件。“数据文件”指的是能够被复制、移动、或者被视为连续信息的文件，而不管所述数据在物理上是否是以连续方式存储在存储介质上。
本地存储器容量可能不足以存储与一个或多个数据库相关联的整个表空间。购买充足快速的存取存储介质(比如，硬盘或光学介质)以用来提供存储一个完整数据库的充足的容量可能是不经济的，在当不是所有的数据都必须是以相对快的速度可访问的时候尤其如此。已经实现了这样的常规数据库***，在该数据库***中，数据可以被“迁移”到价格比较低廉的介质上，并且只在需要时才从该介质那里检索该数据。然而，现有的***和方法都没有有效地管理将被迁移的、在迁移后和在检索后的数据。这些***遭受等待时间的困扰，具有高带宽要求，需要长的备份时间，具有高的成本，而且也许不能产生“时间点”快照。
这些问题并不受限于数据库和表空间。而是，它们还可能牵扯到用于存储诸如多媒体之类的大型文件的***当中。
正如这里将公开的一种更有效的方法，它会减少等待时间和带宽要求，降低成本，而且需要更小的备份窗口，从而更有效地管理数据。尽管这里所公开的内容可以描述在数据库和表空间环境下的上述问题以及本发明，但是本发明也可以应用于任何运用迁移的数据管理***，在所述***管理诸如音频或视频之类的大型数据文件时尤其如此。
发明概述
因此，简言之，此发明提供了一种用于共享对象管理***中的对象的方法、产品和设备。在本发明的实施例中，一种对象管理***，包括：存储装置；第一计算机***，被配置成用于在存储装置上存储第一对象以及第一对象的副本；和第二计算机***。第一计算机***被配置成用于创建包含关于第一对象的已存储副本的信息的第一数据对象，而第二计算机***被配置成用于从第一数据对象中读取关于第一对象的已存储副本的信息，并且从存储装置中检索第一对象的已存储副本。
第一对象可以由第一计算机***来划分，并在存储装置上存为分区，并且第一数据对象会包含关于所述这些分区的信息。第二计算机***会被配置成用于从第一数据对象中读取关于所述分区的信息，选择分区，并且从存储装置中检索所述分区。
当结合附图、根据以下详细说明来进行理解时，本发明的优点和更多细节将对本领域技术人员而言变得更加明显。
附图简要说明
通过以下结合附图的详细说明，将容易理解本发明，在附图中相同的参考数字指代类似的结构元件，其中：
图1是带有前端和后端的对象管理***的示意图；
图2是带有附接的海量存储装置的计算机***的示意图；
图3是i节点(inode)与在其中存储DMAPI信息的文件之间的逻辑关系框图；
图4是i节点与在其中存储DMAPI信息的扩展块之间的逻辑关系框图；
图5是后端中存储的文件、DMAPI扩展数据文件、容器文件和分区(partition)的框图；
图6是示出用在对象管理***中的守护程序(daemon)的框图；
图7是示出分区的版本控制的框图；
图8是举例说明迁移过程的流程图；
图9是举例说明为确保一致性更新文件状态的流程图；
图10是举例说明清除过程的流程图；
图11是举例说明数据的事件处理以及重新升级(restaging)的流程图；
图12是示出分区的重新升级的框图；
图13是举例说明有效搜索迁移或清除候选者并获得候选者路径名的流程图；
图14是示出搜索迁移或清除候选者的几种方法的框图；
图15是举例说明使用容器文件以使来自一个计算机的数据在另一个计算机上可用的流程图；和
图16是图15中的计算机的框图。
发明详述
在此，提供对实施例的详细说明。虽然本发明是结合实施例来描述的，但是应当理解的是，本发明并不局限于任何一个实施例。相反，本发明的范围仅仅由所附的权利要求来限定，而且本发明涵盖许多的可选方案、修改方案和等效方案。为了举例说明起见，在下面的说明中阐述了许多特定的细节，以便提供对本发明的彻底理解。可以在没有这些特定细节中的一些或全部细节的情况下，根据权利要求来实施本发明。为了清楚起见，未对与本发明相关的技术领域中已知的技术内容作详细描述，以便避免不必要地混淆本发明。
应该认识到的是：本发明能够以多种方式实现，包括像过程、设备、***、装置、方法或诸如计算机可读存储介质之类的计算机可读介质或者计算机网络，在所述计算机网络中，程序指令是在光学链路或电子通信链路上发送的。
概观
在一个实施例中，如图1所示，对象管理***10包括：初级的或本地的计算机***12以及存储***14，所述存储***可以是次级的或远程的计算机***。初级计算机***12被称作为前端12，它向用户(未示出)提供初级应用程序和数据储存服务。在正常操作期间，初级计算机***12在其CPU20上运行应用程序，以及提供对其本地文件***16上的本地数据的访问，本地文件***16通常单独包括诸如硬盘驱动器18这类以RAID阵列形式，或其它配置的高速装置。存储***14，也被称作为后端14，它可以是连接于各种海量存储装置的通用CPU22，所述各种海量存储装置可以编组成文件***26，或者可以是专门的存储设备。用在后端14中的海量存储装置可以是硬盘驱动器24，或是其它更廉价、更慢速的装置，或者供归档使用。例如，可以使用光盘28、磁带驱动器30和磁光驱动器。后端14可以当作为不常访问的数据的廉价的近线性(near-line)存储器来使用，同时也可以用来在前端12上备份数据。
后端14可以位于与前端12相同的地方，或者可以远程设置。数据传输是经由NFS、AFS、FTP或其它方法来实现的。前端12和后端14能以一对一、多对一或者多对多的关系连接。前端12上的文件***16通常与后端14是一对一的关系，但在前端12上也存在几个文件***16，每一个都映射到不同后端14。例如当每个文件***16用于属于公司中不同组的不同应用程序时，可以使用这种配置结构。由此，用于会计部门的数据可以转到一个后端14***，与此同时工资单数据可能转到另一个后端14。这些后端***14可以位于不同的远程位置。
在操作中，迁移守护程序将数据从前端12迁移(复制)到后端14；也就是，它将数据从前端12复制到后端14。数据被分解成分区，这些分区将被写入后端14。一旦文件已被迁移，就在前端12上将其标记为已迁移。这是通过设置表明文件已被迁移的位或其它标志来进行的。清除守护程序寻找已迁移的文件，在前端12上不再需要那些文件的数据，并且清除掉不需要的数据。事件守护程序捕获数据访问事件，如果前端12上需要数据，那么它就将数据从后端14重新升级到前端12。事件守护程序被配置成移动需要的那一部分文件，以便仅仅对所述文件的一部分进行重新升级。这有利于减少正在传递的数据量，由此减少带宽要求以及等待时间。
迁移守护程序定期地检查需要得到迁移的文件(确切地说，检查文件的一部分)。如果它发现了被标记为脏的、已重新升级的文件(即，自该文件上次迁移到后端14以来已被写入)，那么它将把所述文件迁移到后端14。迁移守护程序被配置成只对修改过的分区进行写。不必对未修改的分区进行写，由此来减少正在传递的数据量。在后端14处，对已修改过的分区进行版本控制，并将其写入海量存储装置中。它们可以改写当前已有的分区，但是保持早期版本将使时间点(point-in-time)快照得以创建，以便可以保持在任何指定时间的***状态。关于分区位置的信息以及其它元数据都被写入容器文件中，这些容器文件可以位于后端14中的高速存储器上。在这个配置结构中，备份是借助于***操作来创建的，并且不需要独立的备份，这是因为容器文件包含将数据恢复到前端12上所需的所有信息。
这些操作透明地加以执行，除了设置分区大小以及其它配置结构和环境信息之外，无需应用程序用户这方专门地介入。
这种***可以用来使来自一个计算机***的数据在另一个计算机***可用，而无需复制所有的数据。为了完成这个，第二计算机***被配置成用于使用位于后端14上的第一计算机的容器文件，以在其本地文件***上创建它自己的文件。当第二计算机***将它自己的数据写入后端14时，它在设置期间或者根据需要创建它自己的容器文件。在第二计算机的操作期间，如果来自于后端14的所需文件分区不在前端12上，那么数据存取将会引发这些文件分区的重新升级。如果任一计算机***修改数据，那么当迁移数据时，它将会把它自己的分区写入到后端14，并更新它自己的容器文件。这样，每个计算机***都具有它自己的文件版本。
***也可以被配置成用于通过存储文件名、i节点序号和单个文件中的扩展属性，来有效地搜索迁移和清除候选者。***能够搜索这个文件，以便快速地识别迁移或清除候选者而不必检查i节点以及尽可能地不必检查名称空间(namespace)中每个文件的可能扩展块。使用i节点序号的反向查找，来确定路径名。这个方法允许***仅仅查找迁移候选者和清除候选者的i节点，减少了所需的时间。
所述***可以用来管理数据库所使用的大型表空间，但是在大型文件的管理过程中具有适用范围，在数据存取仅仅是针对一部分文件的地方尤其如此。
详细说明
在一个实施例中，每个初级和次级计算机***都包括在诸如运行Unix的工作站这类的通用计算机上执行的软件程序，但也可以使用其它的计算机***，比如运行Windows或Linux操作***的基于Intel Pentium的PC。也可以使用实现所述计算机***的其它装置，比如带有烧录在芯片中的指令的专用硬连线***，所述芯片比如是专用集成电路(ASIC)或现场可编程门阵列(FPGA)。用作为存储***的次级计算机***可以采用诸如由EMC、Network Appliance、StorageTek和ADIC制造的专用存储设备之类的形式来实现，并按网络附加存储器(NAS)或存储区网络(SAN)结构加以连接。如图2所示，计算机***40可以具备以下许多部件：中央处理单元41、存储器42、显示器44、键盘46、海量存储装置48、网络接口50，以及其它的输入/输出装置52。依照一般惯例，存储器42和海量存储装置48可用于存储程序指令及数据。计算机***40可以进一步具有一个以上的中央处理单元41，比如基于多处理器Pentium的***或Sun SPARC工作站。海量存储装置48可以包括一个或多个硬盘驱动器、光学驱动器、磁带驱动器、磁光驱动器、DAT、CD驱动器、DVD驱动器，或者用于利用RAID、光纤通道或其它接口来储存数据的其它装置。海量存储装置18可以被编组成文件***，而且可以使用一组以上的海量存储装置18。
文件***是一种类型的对象存储，它可以存储文件(在此情况下，对象的ID就是它的路径名)或者对象(在此情况下，用某一ID而不是文件***名称来指代对象)。对象存储具有以下组成部分：标识对象的方法；允许操纵对象的接口(API、文件***原语等)；以及对象存储器。文件被视作为一种类型的对象。在这里公开的原理同样适用于对象和对象存储，也适用于文件和文件***。对于对象存储而言，描述在哪里找到后端中的对象的扩展属性会是对象ID而不是文件名。
充当前端12的初级计算机***，通常具有处于硬盘驱动器18形式的高速存储器，以供快速存取数据。充当后端14的存储***将具有某一高速存储器，还将具有速度较低但更经济的装置，比如磁带备份器30和光学驱动器28。其它的归档装置都可以附接于所述存储***14。后端14被用作为不经常访问的数据的存储，以便减少对昂贵的高速存储空间的需要。
后端14也可以实现为初级计算机***12的一部分，以便将后端14的存储装置附接于初级计算机***12上。尽管公开的实施例描述了分别用于前端12和后端14的独立的初级和次级计算机***，但是为实现本发明并不需要独立的次级计算机***。
所举例说明的初级计算机***遵循***管理的技术规范：由Open Group(原先的X/Open)出版的、文件编号为C429的数据储存管理(XDSM)API，其序列号为UK ISBN1-85912-190-X，将该篇公开的内容引入与此，以供参考。这篇文档可以在http://www.opengroup.org上在线获得，并且这篇文档陈述了顺应应用程序的数据管理API(DMAPI)的技术规范。如果其它操作***能为这里所述的数据管理功能提供支持的话，则也是可以使用的。
在Unix或Linux***中，操作***利用i节点来存储标准的文件***信息，比如大小、所有权、日期以及许可。按照XDSM技术规范的说明，i节点还可以用于存储到DMAPI扩展数据的链接，所述DMAPI扩展数据包括扩展属性/元数据以及区域信息。优选地，在一个实施例中，DMAPI扩展数据被存储在称为.DMATTR的DMAPI扩展数据文件60中。DMAPI扩展数据文件60可以是存储在前端12中但也可能存储在后端14中的单个文件或者可以跨过几个文件。前端12中的存储器就像在内存中进行高速缓存那样提供快速存取。图3示出了文件***16中i节点62与DMAPI扩展数据文件60之间的逻辑关系。尽管这些元件是放在一起示出的，但应当理解的是，这未必反映出它们在磁盘上的物理位置。如图3所示，DMAPI扩展数据文件60可以实现为按i节点序号索引的、扩展属性与区域的表。如图4所示，另一个设备可以让每个i节点62都指向它自己的扩展块64。在.DMATTR文件60中存储DMAPI信息，允许在不必读取其i节点62和DMAPI扩展块64的情况下读取文件的DMAPI信息，这在当许多文件正在被仔细检查时是有利的。与如何存储i节点信息相类似，可将这个信息也存为文件***16的一部分。
扩展属性是用来记录诸如文件是否已被迁移、它是否已被清除以及采用目录路径、对象ID等形式到与位于后端14上的容器文件76的链路等信息。区域信息包括关于文件分区的信息，比如像分区中的数据是否是本地存在的、数据是否是脏的且需要迁移、以及相对应的本地文件中的数据位置。可以使用标志，而本地文件中数据的位置可以由关于偏移量和长度的信息来指明。区域信息可以包含当文件映射区域中的数据被访问或变更时规定将要生成的事件集的域；例如，dm-region_read，dm_region_write，dm_region_truncate。所述标志可以设置成能表明数据是否被驻留，或者数据是否是脏的且需要再迁移。如果动态地对分区规定了大小，那么同样可以保存关于分区大小的信息。由于区域信息是用来记录数据位置的，因此当数据被访问时，映射文件的区域的数目是可以增加的。
如图5所示，当文件72被迁移到后端14时，它被划分成分区70。所述分区70的大小可以是固定的，或者也可以是动态可变的。固定分区可以具有由存储在***文件中的配置结构或环境变量所定义的分区大小。分区大小能够依据文件***特性、文件的大小以及数据访问的模式来选择。分区大小不应太大，因为较大的分区大小可能会导致更长的等待时间、更多的带宽使用、以及在后端14中使用来进行版本控制的更多空间。从另一方面来说，分区大小太小会增加内务处理需求，因为存在更多要管理的分区。对于大型数据库而言，可以使用100兆字节(MB)的分区大小。由此，例如，2GB文件会被分成对应后端14的20个100MB分区。在一个实现方案中，为Oracle数据库使用所述***，该Oracle数据库具有对应后端14的9840个磁带以及16个128MB大小的分区。影响分区大小的一些因素是：需要数据的应用程序的访问模式、后端14与前端12之间的数据传输速度、用于数据传输在后端14中归档介质的速度以及后端14介质的等待时间。具有较慢定位时间的后端介质(比如磁带30)会有助于更大的分区大小。
通过对文件72进行分区，***能够以更小的部分70来移动数据。如果应用程序请求仅对来自2GB文件中的小部分数据进行数据访问，那么若这小部分数据未在本地文件***上的话，则为了访问它就仅需要检索包含那个数据的特定100MB分区。由于移动数据需要的时间少得多，因而这减少了等待时间，而且由于移动更少量的数据，因而减少了带宽使用。同样，如果后续仅仅修改数据文件72的一小部分，那么就仅仅需要向后端14迁移包含数据的已修改部分的分区70。
如图6所示，配置初级计算机***以便在操作中存在三个守护程序：事件守护程序dxdbmigd80、迁移守护程序dxdbmigwatch82和清除守护程序dxdbpurgewatch84。可以使用许多守护程序，包括仅仅一个作为线程的守护程序，也可以使用其它方法而不是守护程序。例如，Windows***可以使用***代理和服务。事件守护程序80捕获何时文件数据被访问。如果所请求的数据不在前端12上的本地文件***16上，那么事件守护程序80就把数据从后端14复制到本地文件***16上，并继而发生数据访问。迁移守护程序82寻找那些其中的数据需要从前端12迁移到后端14的文件。一旦它识别出了其数据需要迁移的文件，它就把数据从前端12复制到后端14。清除守护程序84寻找那些其数据在本地文件***16上不再需要的文件，并且除去不需要的数据。因为这里所述的有效搜索迁移和清除候选者允许以较少的代价来查找迁移和清除候选者，所以迁移守护程序82和清除守护程序84两者都可以被配置成定期地运行，比如以五分钟的时间间隔运行。
现在参照图8中的步骤100，迁移守护程序82(或作为线程的单个守护程序)利用存储在.DMATTR文件60中的属性信息，来确定文件是否需要被迁移，或者也可以利用存储在扩展块64中的属性信息来确定，正如在这里描述的那样。如果文件72先前未被迁移过，那么就把它分解为固定大小或者动态确定其大小的分区70。分区大小可以根据诸如数据访问频率、每次访问读取多少连续数据以及其它访问模式信息等因素来动态加以确定。迁移守护程序82可以派生出其它进程来处理各种任务。在迁移前的处理、数据迁移期间，或者当检查文件在迁移期间是否已经改变的时候(如果它已经改变，则当前的迁移失败并尝试下一次迁移)，可以使用信号量、文件锁以及其它方法来保护文件。
迁移进程排它地对文件加锁，步骤102，读取属性和区域信息，步骤104，并且判断文件是否需要被迁移，步骤106。如果不需要迁移，则就撤销该锁，步骤108。否则，利用区域信息、文件大小以及分区大小来判断哪些文件块将需要被迁移，步骤110。如果所述文件先前被迁移过，步骤112，则将存在一个包含描述先前迁移信息的容器文件76，并且将读取这个文件以确定所述文件的新版本号。如果所述文件从来没有被迁移过，则就假定这个版本号为1。仅将新的数据或自上次迁移以来所变更的数据迁移到后端14中。数据是根据分区大小来进行分区的，所述分区大小可以是固定的或动态的，步骤114。撤销该锁，以便当正发生迁移时能够继续进行使用所述文件进行其它处理，步骤116。
在步骤120中，在不变更前端12上的文件访问时间的情况下，将需要被迁移的分区70复制到后端14。如果在这次迁移期间发生错误，那么就将在下一次迁移运行期间再偿试迁移，步骤124。如果迁移成功，则在步骤126中再次对所述文件加锁，并且将再次读取文件属性和区域信息，并且利用这些信息来判断该文件在数据移动期间是否被变更，步骤128。如果所述文件被变更，则撤销该锁，步骤132，并且因为数据可能是不一致的，所以迁移失败并将稍后再尝试迁移，步骤124。如果在数据移动期间未变更所述文件，则更新文件信息以表明文件已被成功迁移，步骤134。更新扩展属性(比如，DMAPI/XDSM)和区域信息，并且将关于文件的信息，包括路径名、大小、所有者、权限以及其它文件属性信息，写入称为“*.cont文件”的容器文件76中，所述容器文件与数据文件相关联。此外，写入到容器文件76中的信息是关于存储在后端14中的分区的信息，包括版本控制信息。
必须以特定顺序来更新文件状态，以便确保一致性。在图9中，步骤140，设置属性以表明文件未被清除，设置文件的分区大小(如有必要的话)，设置后端14文件的位置，并将信息直接写入到文件***16中，步骤142。这确保了万一发生冲突，在文件中存在足够的信息，以便通过前滚到新状态或者回滚到先前状态，来使文件能够被访问。按照这样的方式来写入*.cont文件76的新版本，以确保*.cont文件76包含该文件的旧状态或新状态，步骤144。在步骤146中，经DMAPI/XDSM接口来写区域信息，以便表明所有文件数据均已被成功地迁移到后端14，然后在步骤148中，使.DMATTR文件60同步化(未完成的信息被写入到磁盘)。如果这次失败，那么旧区域信息将仍然是有效的，以便能够在未来的迁移尝试期间进行未来的迁移。更新DMAPI/XDSM属性以便将文件标记为正在迁移，步骤150。这包括设置元数据以表明在后端14中数据被存储在哪里、迁移的时间，以便将文件标记为正在迁移。按照这样的方式来写入元数据，所述方式就是：在任何时候的故障都将总是让文件保持一致状态。
这避免了万一发生故障时的数据损坏，而且防止文件处于允许访问可能使文件数据无效的状态。在清除后，如有必要的话，存储在区域信息中的状态、文件元数据以及后端版本文件(*.cont文件)则足以能够恢复所述文件，或者如果本地管理的磁盘丢失或是无意中将文件移除的话，也足以能够恢复所述文件。
每个数据文件72都可以具有与之相关联的*.cont文件，但是也可以在单个容器文件中存储多个数据文件的*.cont信息，该信息可以用数据文件或诸如对象ID等其它标识符的名称来索引。如果文件先前已被迁移，则检查.DMATTR文件60中的区域信息，以判断哪些分区是脏的；也就是，自上次迁移以来已经被修改的那些分区。已修改的分区被复制到后端，以及可以对其进行版本控制，以便使它们不改写分区的现存副本。如图7所示，*.cont文件76记录下所述版本。
例如，如果*.cont文件76表明分区的版本54已经处于后端14中，则就将已修改的分区作为版本55来写入，而无需变更或改写版本54，并且更新*.cont文件76以反映此次操作。实际上，*.cont文件记录下文件变动量。当它存在于任一时间点时，它都具有为恢复相关联的文件所必需的信息，这是因为*.cont文件76有效地保存了快照；也就是说，在任何特定的日期与时间，都可以判断数据文件72看起来像什么。在迁移结束之后(例如，当已迁移的数据已被成功写入到磁带中时)，将关于新近迁移的分区的信息存储在容器文件76中。如果文件已首次被迁移，那么就连同到后端14中的容器文件的链路一起，更新.DMATTR文件60，以表明文件已被迁移。如果已修改的分区被迁移，那么就更新区域信息以表明所述分区不再是脏的，并且由此不再需要迁移。由此，在前端12上的文件与其后端14上的分区之间存在链路，被存储在.DMATTR文件60及*.cont文件76中。
为了举例说明上述迁移，如果在前端12上存在称为ABC的数据文件，该数据文件先前尚未被迁移过，那么就在后端14中为它选择一个唯一路径名，比方说123。该ABC文件被分解成这样的分区，所述分区的分区大小是由对象管理***配置结构来确定的。将这些分区作为单独的文件复制到后端14，这些单独的文件指明了唯一路径名、分区序号和版本号；例如123.partitionl.versionl，123.partition2.versionl，直到123.partitionN.versionl。然后，写123.cont文件，该文件描述了在迁移期间已经做了什么，包括本地文件***16上的文件名、分区名以及分区版本。以.DMATTR文件60的形式将附加信息写入本地文件***16或是该文件***中的其它地方。尽管可以将它放置在别处，但是放置在本地文件***16上能加速访问。也可以在前端12上的存储器中缓存所述.DMATTR文件60，不过这会需要时常使已缓存的文件与磁盘上的文件同步，以便万一冲突时确保一致性。所写入的属性包括：表明文件ABC已被迁移到文件123的指示，表明迁移发生时的时间戳、文件被迁移到何处以及表明文件已被成功地迁移到后端14的指示。
现在参照图10，清除守护程序84(或线程守护程序)利用存储在.DMATTR文件60中的属性信息，来识别已被迁移(不再需要迁移)但没有被清除的文件，步骤200。清除守护程序84可以在确定在本地文件***上需要空闲空间以后进行这一步骤，并且当足够空间是可用的时候停止清除。在步骤202中，根据实际中的清除策略来对清除候选者进行排序，所述清除策略可以是用户可配置的。可将LRU(最近最少使用法)用作为清除策略，不过也可以根据存储在文件***16上的数据的特性、使用文件***16上的数据的应用程序和数据访问模式来选择其它的策略。可以在文件级或分区级应用这些策略。清除守护程序84可以利用扩展属性中的信息，来确定文件中分区的上次访问的时间、访问频率等等。依据清除策略，清除守护程序84识别将要清除的分区。例如，清除守护程序84可以使用最近最少使用算法来对文件排序，然后在被选定用于清除的文件内选择具有比确定日期更早的上次访问日期的分区。
文件锁、信号量或其它方法都可以用来防止数据损失或损坏。在清除进程编译清除候选者列表并且选定文件以供清除之后，对所述文件加锁，步骤204。读取属性和区域信息，步骤206，并且检查上述信息来查看自从所述列表被编译以来是否已经访问了该文件；也就是说，看它是否仍然是清除候选者，步骤208。如果否，则不清除该文件并撤销该锁，步骤210。如果该文件仍然是清除候选者，则设置文件区域信息以表明整个文件已被清除，步骤212。清除守护程序84从对应于所选定分区的文件上移除本地数据，步骤214。在DMAPI兼容的***中，清除守护程序84利用dm_punch_hole()来移除本地数据。根据操作***的能力，正如多数操作***中常见的那样，可以将本地文件72从偏移量开始到文件末尾截断，或者像为AIX而设的那样，也可以在一个文件中间穿一个孔。要移除的数据可以位于文件的起始处，而在这种情况下，留下存根74(在图5中示出)。
在移除本地数据之后，更新属性和区域信息以反映对数据进行的清除，步骤216。区域信息表明实际清除的数据不再出现在本地文件***16上，而且如果整个文件已被清除(存根74除外)，那么该属性就表明所述文件已被清除过了。如果仍然留有文件的一部分的话，那么该文件就将继续作为清除候选者。在已经更新了文件元数据之后，从所述文件上除掉该锁，步骤218。万一***崩溃或者发生其它故障时，这样可以保护文件。文件将仍然被视为清除候选者，这是因为尚未将它被标记为已清除，但是当受到访问时，文件中的所有分区都将引发重新升级，这是因为在清除操作之前它们被标记为已清除。一些数据仍然可以是本地的，但是如果在清除操作期间发生错误，那么它可能就不能分辩什么被清除了。由此，清除进程将所有的分区都标记为已清除，并且在清除结束之后，更新所述区域信息以表明哪些分区仍然存在。虽然一些或所有它的数据都可能已经从本地文件上被清除掉了，但是如果元数据更新失败，那么所述文件将仍然看上去是清除候选者。所描述的顺序(sequence)是用来防止数据损坏的，但是只要使区域信息、文件数据移除以及文件元数据更新被同步以确保一致性，其它方法就是可以的。这避免了让文件处于不一致状态，在这种不一致的状态下，可能会访问过时的数据。
典型地，文件72在其起始处包含标头和其它经常使用的信息，所述文件是由应用程序扫视的，并且当清除文件时，在适当的位置留下存根74，可以加速数据访问时间。用户可以根据诸如在经常被访问的文件72的起始处中是否有信息以及在该文件72的起始处有多少数据被访问等此类信息，来定义存根74的长度。例如，Oracle数据库可能需要至少128KB的存根大小，这是因为当Oracle访问每个Oracle数据文件时，Oracle经常访问数据文件中的这个数据，比如在启动时间。如果没有存留有存根数据，那么Oracle就会停止，直到已经从后端14恢复所述数据为止，这可能意味着许多的磁带载入次数(tape mount)(或者诸如CD之类的其它存储介质的载入次数)。可以对存根74进行版本控制，并且作为文件或对象存储在后端14中。
在图11中，步骤300，事件守护程序80或线程守护程序捕获数据访问事件，并且记录下数据访问活动。当发出数据访问请求时，处理依赖于数据访问是读取还是要修改该文件的访问来进行处理(比如，写入或截断)，步骤302。如果数据访问是读取，步骤304，则就检查.DMATTR文件60中的区域信息来判断所请求的数据是否在本地文件***16上；也就是，判断区域信息是否表明对应于正被访问的那部分文件的分区的是否被标记为存在。如果所请求的数据存在，步骤306，则向文件***传递访问请求，步骤308，并且可以更新文件属性和区域信息，以便反映所述访问，步骤324。如果所请求的数据不存在，则事件守护程序80或从事件守护程序80接收事件的另一个进程将对文件加锁，并且检查所述区域和属性信息，步骤310，以便判断是否需要进行处理，步骤312。在步骤314中，如果由于先前的事件处理而不需要进行处理，则撤销该锁，并且为所述事件生成响应，该响应将唤醒等待完成I/O请求的进程。如果需要处理，则将该文件标记为可清除的，使元数据同步化，确定完成事件处理所需要的文件数据，确定后端14文件的位置，读取*.cont文件，并且撤销该文件上的锁，步骤316。
在数据移动期间不对文件加锁，允许对已经驻留在本地文件***16上的数据进行处理。从后端14那里读取必要的分区，并将其写入前端12上的本地文件***16中，步骤318。再次排它地对文件加锁，步骤320，以一致的方式更新区域和属性信息，步骤322，并且撤销该锁。将响应发送给等待的进程，唤醒它，直到完成它的读取请求为止，步骤314。对这个数据的未来访问不会产生恢复事件，除非所述数据被再次清除。
根据数据访问模式，也可以使用一些预测性的分区检索；即，关于数据访问模式的信息能够被记录，并且如果判定对特定分区的访问经常引发对另一个分区的访问，则就可以预先检索那个分区。
在步骤324中，在事件守护程序80处理数据访问事件之后，可以更新.DMATTR文件60来表明与已访问的文件部分相对应的分区的访问时间，比如清除策略使用处于分区级的数据访问信息的时间。***更新文件属性来表明文件访问的时间。
如果访问请求为写，那么就将修改所述区域来更新访问时间，并且对应于所述数据的分区将被标记为脏的(因此需要被迁移)，步骤326。在这种情况下，排它地对文件加锁，并且检查所述事件来判断进行处理是否是必要的，步骤328。如果否，则在步骤330中撤销该锁，并且响应所述事件，结束处理。如果进行处理是必要的，则在步骤332中更新元数据以表明所述文件是清除候选者并且也是迁移候选者，这是因为数据即将被变更。读取文件元数据、区域信息、和*.cont文件，来判断文件的状态。确定产生所述事件的文件的区域，并且如果所述区域信息表明所述数据不在本地，步骤336，则就撤销该锁，并且以类似于上述读取过程的方式移动数据，步骤338。如果已经驻留了所述数据，则不需要从后端14那移动任何数据。在步骤340中，在重新升级数据之后，文件被再次加锁，并且更新文件元数据和区域信息，以表明所述文件中的某个数据需要被迁移，并指明所述文件的哪些部分已被变更。撤销排它锁，并且将响应发送给等待的进程，步骤342。
为了举例说明事件处理，对于具有N个均已被迁移和清除的分区的文件ABC，除了具有按配置定义的长度的存根74之外，事件守护程序80会捕获对分区77中的数据的数据访问请求。这在图12中作了举例说明。守护程序确定分区77中的数据不存在于本地文件***16上，并且检查.DMATTR文件60，确定相对应的容器文件是后端14上的123.cont。将发出对相应后端文件123的分区77的请求。123.cont可以表明版本55是文件123的分区77的最新版本，并且因此将把123.partition77.version55检索到前端12。在将分区恢复到盘之后，更新属性和区域信息。
通过迁移和检索文件片段而不是整个文件，该***避免了大量而耗时的文件转移。例如，数据库文件趋向于相当大型，以千兆字节来测量。在迁移和检索期间来回地移动整个文件是不切实际的，特别是当诸如Oracle之类的数据库应用程序可能正在仅仅访问表的非常小的一部分(例如，行)时更是如此。例如，Oracle并不同时扫视整个文件。更确切些的说，它局部地扫遍一个数据库文件，继续扫视另一个文件等等，直到它最终回到第一个文件并扫视更多的数据。使用完全文件检索导致***振荡以及更长的检索时间。
也将所述***配置成用于有效地搜索迁移和清除候选者，并获得它们的路径名，不过为了实现这里所述的文件的划分以及分区的管理，这并不所要求。如图14所示，一种方法就是搜索文件名的名称空间，并且查找每个文件的i节点和扩展属性。在一些配置中，i节点包含指向扩展块的指针，所述扩展块包含扩展属性，要求第二次查找以及相应的盘片访问。按照在图13和14中举例说明的更有效的方法，所述***搜索DMAPI扩展数据文件60(.DMATTR文件)，以找到文件名、i节点号以及扩展属性，步骤350。所述***还可以被配置成用于使用不同文件或几个文件。照此，所述***能够在不必查找i节点以及还可能不必查找扩展块的情况下，迅速地为名称空间中的每个文件判断哪些文件是迁移或清除候选者，步骤352。为了生成候选者的路径名，利用它的i节点号来查找它的路径名，步骤354。这可以利用在i节点列表和路径名列表中的反向查找来进行。可将上述列表作为表存储在同一个文件.DMATTR，或者存为相互独立的文件或文件组中。利用这种配置，所述***仅仅查找那些标识为迁移和清除候选者的文件的i节点，而不是必须检查所有文件的信息，所述所有文件包括了那些已被迁移和清除的文件。这相当大地减少了迁移和清除所要求的执行时间和***负荷。例如，在判断哪些文件要求迁移的过程中，使用这里所述的高效搜索的***能够在一分钟之内检查具有一百万个作为迁移和清除候选者的文件的文件***。与带有仅有一个迁移候选者的一百万个文件的Solaris机先前利用名称空间搜索所花费的20分钟相比，它用十秒钟就能找到一个文件。可以通过使用诸如Linux和Solaris之类的Unix-风格的操作***，来与NFS型文件***、XFS、UFS、Veritas和类似的文件***一起使用这种手段，不过它也可以被扩展到其它的操作***和文件***。
如图15和16中举例说明的那样，这里所述的对容器文件76的使用，使数据能从一个计算机***(机器A)到另一个计算机***(机器B)可用，而无需首先复制所有的数据(将一个文件***的内容复制到另一个文件***常常是很耗时的进程)。机器B可以被配置成用于使用在后端14上机器A的容器文件，步骤400。每一个容器文件76都包括关于文件属性的信息，所述文件属性比如是大小、所有者、权限以及路径，机器B可以使用上述这些文件属性来在它的本地文件***上创建新文件。在机器B读取*.cont文件之后，步骤402，创建新文件，步骤404，新文件的大小被设置成在*.cont文件76中所规定的大小，步骤406，并且在步骤408中，释放已分配的空间(就仿佛文件已被清除过一样)，由此在机器B的文件***上创建存根文件。创建.DMATTR文件60或者其它的扩展数据块或文件，并设置属性和区域，步骤410。当机器B修改数据并将它迁移到后端14时，只有机器B才有的容器(*.cont)文件被写入后端14，步骤412，不过这也可以根据需要来进行。当机器B操作时，一般来讲，数据访问请求将导致判定：已请求数据不在机器B的本地文件***上，并且所需要的分区将被从后端14复制到机器B的本地文件***，步骤414。将按照与已描述过的方式一样的方式在机器B上更新文件属性和区域信息。如果机器B修改数据，则修改过的分区(在图16中示为B的已修改数据)将被写入后端14并且有关该变化的信息将存入机器B的容器文件(示为*.cont′)，步骤416。机器A继续写它自己的分区，并且在它自己的容器文件76中存储关于其变化的信息，步骤418。每一个计算机***都将它自己已修改分区写入到后端14。每一个计算机***都使用它自己的容器文件，并且因此具有它自己的数据版本。
前述公开的内容以及实施例示范性说明了本发明在提高计算机***中的对象管理效率中的实用性，不过显而易见的是，本发明将有利于许多其它的用途。该发明在数据库、视频、音频以及任何应用程序方面具有特殊的价值，在上述任何应用程序当中，可以访问一文件的部分并与之相关，而无需访问文件中的所有数据。
为了清楚起见，以特定流程来举例说明了这里的过程以及方法，但是应当理解的是，不脱离于本发明的精神的情况下，其它顺序也是可以的并且一些还可以并行执行。此外，这些步骤可以被细分或组合。正如这里所公开的那样，依照本发明编写的软件可以存储在诸如存储器或CD-ROM之类的某种形式的计算机可读介质内，或者经由网络来传输，并且由处理器来执行。
这里所引用的所有对比文献都意在引入于此以供参考。尽管在上面已经按照特定的实施例对本发明作了描述，但是可以预料的是，对于本领域的技术人员来说，对此发明的变更和修改将无疑是显而易见的，并且可以在所附权利要求的范围内以及等效范围内加以实施。可以诸如通过并行使用多个计算机或均分负载设备或者跨过多个计算机分布任务等，来使用一个以上的计算机，从而就整体来讲，它们执行对象管理***的功能；即它们取代了单个计算机。上述各种功能都可以由单个计算机上的或分布在几个计算机上的单个进程或进程组来实现。这些进程可以调用其它的进程以处理确定的任务。所公开的原理适用于对象和对象存储以及文件和文件***。本实施例将被视为是说明性的而非限制性的，而且本发明并不限于这里所给定的细节。因此，意在将公开内容及以下权利要求解释成能涵盖所有落入本发明实际精神和范围内的这类变更和修改。

Claims (17)

1.一种对象管理***，包括：
存储装置；
第一计算机***，被配置成用于存储第一对象，将第一对象划分成分区，并且在存储装置上存储这些分区；和
第二计算机***；
其中第一计算机***被配置成用于创建包含关于已存储分区的信息的第一数据对象，而第二计算机***被配置成用于从第一数据对象读取关于已存储分区的信息，选择分区，并且检索已选定的分区，
其中，当第二计算机***将对于至少其中一个已接收的选定的分区的修改存储在存储装置中时，该修改以不影响由第一计算机***存储在该存储装置中的第一对象分区的方式被存储在该存储装置中。
2.如权利要求1所述的***，其中第一计算机***被配置成用于在存储装置上存储第一数据对象。
3.如权利要求2所述的***，其中第二计算机***进一步被配置成用于接收数据访问请求，并且利用所述数据访问请求来选择将要从存储装置中检索的分区。
4.如权利要求3所述的***，其中第二计算机***被配置成用于创建第二数据对象，该第二数据对象包括关于分区是否存在于第二计算机***中的信息。
5.如权利要求4所述的***，其中如果第二数据对象表明分区不在第二计算机***中，则第二计算机***就从存储装置中检索所述分区。
6.如权利要求5所述的***，其中第二计算机***被配置成用于根据第一数据对象中的信息来创建第二对象。
7.如权利要求6所述的***，其中第二计算机***被配置成用于创建第三数据对象，该第三数据对象包括关于已存储分区和所述第二对象的信息。
8.如权利要求7所述的***，其中第二计算机被配置成用于修改已检索的分区，并且在存储装置上存储已修改的分区。
9.如权利要求8所述的***，其中第二计算机***被配置成用于将关于已修改分区的信息包括在第三数据对象内。
10.如权利要求1所述的***，其中第一数据对象包括关于第一对象的属性的信息，而第二计算机***被配置成用于创建具有第一对象的属性的第二对象。
11.如权利要求10所述的***，其中所述属性包括文件大小和路径名。
12.如权利要求10所述的***，其中第二计算机***被配置成用于在创建第二对象之后和在从第二对象中读取数据之前，释放分配给第二对象的空间。
13.如权利要求12所述的***，其中第二计算机***被配置成用于当释放分配给第二对象的空间时保留存根。
14.一种用于共享对象管理***中的对象的方法，所述对象管理***包括存储装置；第一计算机***，被配置成用于存储第一对象，将第一对象划分成分区，并且在存储装置上存储这些分区；以及第二计算机***；所述方法包括：
创建包含关于已存储分区的信息的第一数据对象；以及
令第二计算机***从第一数据对象中读取关于已存储分区的信息，选择分区，并且检索所选定的分区，
其中，当第二计算机***将对于至少其中一个已接收的选定的分区的修改存储在存储装置中时，该修改以不影响由第一计算机***存储在该存储装置中的第一对象分区的方式被存储在该存储装置中。
15.如权利要求14所述的方法，进一步包括在第二计算机***中接收数据访问请求，并且其中选择将要从存储装置中检索的分区包括利用数据访问请求来判断选择哪个分区。
16.一种对象管理***，包括：
存储装置；
第一计算机***，被配置成用于在存储装置上存储第一对象以及第一对象的副本；和
第二计算机***；
其中第一计算机***被配置成用于创建包含关于第一对象的已存储副本的信息的第一数据对象，而第二计算机***被配置成用于从第一数据对象中读取关于第一对象的已存储副本的信息，并且从存储装置中检索第一对象的已存储副本，
其中，当第二计算机***将对于至少其中一个已接收的选定的分区的修改存储在存储装置中时，该修改以不影响由第一计算机***存储在该存储装置中的第一对象分区的方式被存储在该存储装置中。
17.一种共享对象管理***中的对象的方法，所述对象管理***包括存储装置；第一计算机***，被配置成用于在存储装置上存储第一对象以及第一对象的副本；以及第二计算机***；所述方法包括：
创建包含关于第一对象的已存储副本的信息第一数据对象；以及
令第二计算机***从第一数据对象中读取关于第一对象的已存储副本的信息，并且从存储装置中检索第一对象的已存储副本，
其中，当第二计算机***将对于至少其中一个已接收的选定的分区的修改存储在存储装置中时，该修改以不影响由第一计算机***存储在该存储装置中的第一对象分区的方式被存储在该存储装置中。
CN028188446A 2001-09-26 2002-09-26 在计算机***之间共享对象 Expired - Lifetime CN1559041B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US32457801P 2001-09-26 2001-09-26
US60/324,578 2001-09-26
PCT/US2002/030841 WO2003027882A1 (en) 2001-09-26 2002-09-26 Sharing objects between computer systems

Publications (2)

Publication Number Publication Date
CN1559041A CN1559041A (zh) 2004-12-29
CN1559041B true CN1559041B (zh) 2011-11-30

Family

ID=23264218

Family Applications (3)

Application Number Title Priority Date Filing Date
CNB028184246A Expired - Lifetime CN1307580C (zh) 2001-09-26 2002-09-20 大文件的有效管理
CN028188446A Expired - Lifetime CN1559041B (zh) 2001-09-26 2002-09-26 在计算机***之间共享对象
CNB028188489A Expired - Lifetime CN1311358C (zh) 2001-09-26 2002-09-26 对迁移和清除候选者的有效查找

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB028184246A Expired - Lifetime CN1307580C (zh) 2001-09-26 2002-09-20 大文件的有效管理

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNB028188489A Expired - Lifetime CN1311358C (zh) 2001-09-26 2002-09-26 对迁移和清除候选者的有效查找

Country Status (8)

Country Link
US (3) US8442957B2 (zh)
EP (3) EP1433086A4 (zh)
JP (3) JP2005512171A (zh)
KR (3) KR20040053142A (zh)
CN (3) CN1307580C (zh)
AT (1) ATE555445T1 (zh)
CA (3) CA2461025A1 (zh)
WO (3) WO2003027909A1 (zh)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9361243B2 (en) 1998-07-31 2016-06-07 Kom Networks Inc. Method and system for providing restricted access to a storage medium
US7392234B2 (en) 1999-05-18 2008-06-24 Kom, Inc. Method and system for electronic file lifecycle management
JP4168626B2 (ja) * 2001-12-06 2008-10-22 株式会社日立製作所 記憶装置間のファイル移行方法
JP3966459B2 (ja) * 2002-05-23 2007-08-29 株式会社日立製作所 ストレージ機器管理方法、システム、およびプログラム
US7562089B2 (en) * 2002-06-26 2009-07-14 Seagate Technology Llc Systems and methods for storing information to allow users to manage files
US7752226B1 (en) * 2002-12-20 2010-07-06 Symantec Operating Corporation Reverse pathname lookup by inode identifier
JP4322031B2 (ja) 2003-03-27 2009-08-26 株式会社日立製作所 記憶装置
US7240080B2 (en) * 2003-07-30 2007-07-03 International Business Machines Corporation Method and apparatus for determining using least recently used protocol if one or more computer files should be written to one or more information storage media and synchronously providing one or more computer files between first and storage devices
US7181647B2 (en) * 2003-10-15 2007-02-20 International Business Machines Corporation Error tracking method and system
US7509327B2 (en) * 2003-12-03 2009-03-24 Microsoft Corporation Business data migration using metadata
US7171532B2 (en) * 2004-08-30 2007-01-30 Hitachi, Ltd. Method and system for data lifecycle management in an external storage linkage environment
JP4349301B2 (ja) * 2004-11-12 2009-10-21 日本電気株式会社 ストレージ管理システムと方法並びにプログラム
US7483929B2 (en) * 2005-02-08 2009-01-27 Pro Softnet Corporation Systems and methods for storing, backing up and recovering computer data files
JP2006301854A (ja) * 2005-04-19 2006-11-02 Sony Corp データ処理方法、データ処理装置、プログラムおよびデータ処理システム
US7590799B2 (en) 2005-06-16 2009-09-15 Seagate Technology Llc OSD deterministic object fragmentation optimization in a disc drive
US7529903B2 (en) * 2005-07-05 2009-05-05 International Business Machines Corporation Systems and methods for memory migration
JP4704161B2 (ja) * 2005-09-13 2011-06-15 株式会社日立製作所 ファイルシステムの構築方法
US8548948B2 (en) * 2006-04-11 2013-10-01 Oracle International Corporation Methods and apparatus for a fine grained file data storage system
US8316008B1 (en) * 2006-04-14 2012-11-20 Mirapoint Software, Inc. Fast file attribute search
US8261068B1 (en) 2008-09-30 2012-09-04 Emc Corporation Systems and methods for selective encryption of operating system metadata for host-based encryption of data at rest on a logical unit
US8416954B1 (en) 2008-09-30 2013-04-09 Emc Corporation Systems and methods for accessing storage or network based replicas of encrypted volumes with no additional key management
US9946791B1 (en) * 2006-11-21 2018-04-17 Google Llc Making modified content available
US9671976B2 (en) * 2007-02-05 2017-06-06 Moonwalk Universal Pty Ltd Data management system for managing storage of data on primary and secondary storage
US8768895B2 (en) * 2007-04-11 2014-07-01 Emc Corporation Subsegmenting for efficient storage, resemblance determination, and transmission
US8055864B2 (en) * 2007-08-06 2011-11-08 International Business Machines Corporation Efficient hierarchical storage management of a file system with snapshots
US8849940B1 (en) * 2007-12-14 2014-09-30 Blue Coat Systems, Inc. Wide area network file system with low latency write command processing
US20090259771A1 (en) * 2008-04-09 2009-10-15 Tanik Haluk K Identification of memory cards by host
US8949614B1 (en) * 2008-04-18 2015-02-03 Netapp, Inc. Highly efficient guarantee of data consistency
US20090265780A1 (en) * 2008-04-21 2009-10-22 Varonis Systems Inc. Access event collection
US8078957B2 (en) 2008-05-02 2011-12-13 Microsoft Corporation Document synchronization over stateless protocols
US8272026B1 (en) * 2008-06-02 2012-09-18 Symantec Corporation Method and apparatus for using a dynamic policy to manage a file purging process
US8589358B2 (en) * 2008-06-26 2013-11-19 Emc Corporation Mechanisms to share attributes between objects
JP2010064336A (ja) * 2008-09-10 2010-03-25 Canon Inc 画像形成装置、情報処理システム、画像形成装置の制御方法、プログラム及び記憶媒体
US8300098B1 (en) 2008-09-16 2012-10-30 Emc Corporation Techniques for providing access to video data using a network attached storage device
CN101419616A (zh) 2008-12-10 2009-04-29 阿里巴巴集团控股有限公司 一种数据同步方法及装置
US7996484B2 (en) 2008-12-11 2011-08-09 Microsoft Corporation Non-disruptive, reliable live migration of virtual machines with network data reception directly into virtual machines' memory
US8166314B1 (en) 2008-12-30 2012-04-24 Emc Corporation Selective I/O to logical unit when encrypted, but key is not available or when encryption status is unknown
US20100191708A1 (en) * 2009-01-23 2010-07-29 International Business Machines Corporation Synchronous Deletion of Managed Files
US8219526B2 (en) 2009-06-05 2012-07-10 Microsoft Corporation Synchronizing file partitions utilizing a server storage model
US8627130B2 (en) * 2009-10-08 2014-01-07 Bridgette, Inc. Power saving archive system
US8140821B1 (en) 2009-12-18 2012-03-20 Emc Corporation Efficient read/write algorithms and associated mapping for block-level data reduction processes
US8156306B1 (en) 2009-12-18 2012-04-10 Emc Corporation Systems and methods for using thin provisioning to reclaim space identified by data reduction processes
US8423727B2 (en) * 2010-03-16 2013-04-16 Hitachi, Ltd. I/O conversion method and apparatus for storage system
CN102281312B (zh) * 2010-06-12 2015-05-20 深圳市腾讯计算机***有限公司 一种数据加载方法、***和数据处理方法、***
KR101753313B1 (ko) 2010-07-08 2017-07-19 삼성전자주식회사 파일 백업 장치 및 방법
US8549229B2 (en) * 2010-08-19 2013-10-01 Sandisk Il Ltd. Systems and methods for managing an upload of files in a shared cache storage system
US8548959B2 (en) * 2010-11-29 2013-10-01 Ca, Inc. System and method for minimizing data recovery window
US8484649B2 (en) 2011-01-05 2013-07-09 International Business Machines Corporation Amortizing costs of shared scans
US8352435B1 (en) 2011-03-17 2013-01-08 Emc Corporation Continuous data reduction for highly available synchronous mirrors
US20120303654A1 (en) * 2011-05-26 2012-11-29 James Michael Ferris Methods and systems to automatically extract and transport data associated with workload migrations to cloud networks
US8856591B2 (en) 2011-06-14 2014-10-07 Ca, Inc. System and method for data disaster recovery
US9552367B2 (en) 2011-09-16 2017-01-24 Ca, Inc. System and method for network file system server replication using reverse path lookup
US8301597B1 (en) 2011-09-16 2012-10-30 Ca, Inc. System and method for network file system server replication using reverse path lookup
CN102523285B (zh) * 2011-12-15 2014-04-02 杭州电子科技大学 一种基于对象分布式文件***的存储缓存方法
CN102571952B (zh) * 2011-12-31 2015-11-25 北京金山软件有限公司 一种传输文件的***及方法
US9218371B2 (en) 2012-02-29 2015-12-22 International Business Machines Corporation Automatic table cleanup for relational databases
US8934662B1 (en) 2012-03-12 2015-01-13 Google Inc. Tracking image origins
CN102722474A (zh) * 2012-03-20 2012-10-10 华为终端有限公司 信息处理方法及终端
US9813353B1 (en) 2012-06-07 2017-11-07 Open Invention Network Llc Migration of files contained on virtual storage to a cloud storage infrastructure
US8983908B2 (en) * 2013-02-15 2015-03-17 Red Hat, Inc. File link migration for decommisioning a storage server
US20140258672A1 (en) * 2013-03-08 2014-09-11 Microsoft Corporation Demand determination for data blocks
DE102013114214A1 (de) * 2013-12-17 2015-06-18 Fujitsu Technology Solutions Intellectual Property Gmbh POSIX-kompatibles Dateisystem, Verfahren zum Erzeugen einer Dateiliste und Speichervorrichtung
US10210191B2 (en) 2014-03-20 2019-02-19 International Business Machines Corporation Accelerated access to objects in an object store implemented utilizing a file storage system
CN103970869A (zh) * 2014-05-12 2014-08-06 浙江宇视科技有限公司 一种大文件存储方法
US9087012B1 (en) 2014-06-04 2015-07-21 Pure Storage, Inc. Disaster recovery at high reliability in a storage cluster
US9607004B2 (en) 2014-06-18 2017-03-28 International Business Machines Corporation Storage device data migration
US9811677B2 (en) 2014-07-03 2017-11-07 Pure Storage, Inc. Secure data replication in a storage grid
US9606930B2 (en) 2014-08-05 2017-03-28 International Business Machines Corporation Tape-managed partition support for effective workload allocation and space management
US10078639B1 (en) * 2014-09-29 2018-09-18 EMC IP Holding Company LLC Cluster file system comprising data mover modules having associated quota manager for managing back-end user quotas
US9361349B1 (en) 2015-01-30 2016-06-07 Dropbox, Inc. Storage constrained synchronization of shared content items
US10248705B2 (en) 2015-01-30 2019-04-02 Dropbox, Inc. Storage constrained synchronization of shared content items
US10831715B2 (en) 2015-01-30 2020-11-10 Dropbox, Inc. Selective downloading of shared content items in a constrained synchronization system
CA2972706C (en) * 2015-01-30 2018-01-02 Dropbox, Inc. Storage constrained synchronization of shared content items
CN106570005A (zh) * 2015-10-08 2017-04-19 阿里巴巴集团控股有限公司 清理数据库的方法和装置
CN106855871B (zh) * 2015-12-09 2020-04-07 阿里巴巴集团控股有限公司 一种数据迁移的方法和装置
US10083096B1 (en) * 2015-12-15 2018-09-25 Workday, Inc. Managing data with restoring from purging
US10719532B2 (en) 2016-04-25 2020-07-21 Dropbox, Inc. Storage constrained synchronization engine
US10049145B2 (en) 2016-04-25 2018-08-14 Dropbox, Inc. Storage constrained synchronization engine
US20180067972A1 (en) 2016-09-07 2018-03-08 International Business Machines Corporation Automatically setting an auto-purge value to multiple tables within a database
US10146684B2 (en) * 2016-10-24 2018-12-04 Datrium, Inc. Distributed data parallel method for reclaiming space
US10191936B2 (en) * 2016-10-31 2019-01-29 Oracle International Corporation Two-tier storage protocol for committing changes in a storage system
US10432724B2 (en) 2016-11-18 2019-10-01 International Business Machines Corporation Serializing access to data objects in a logical entity group in a network storage
US10769029B2 (en) * 2016-11-18 2020-09-08 International Business Machines Corporation Accessing records of a backup file in a network storage
US10402388B1 (en) * 2017-01-31 2019-09-03 Levyx, Inc. Partition-based analytic systems and methods
JP6835968B2 (ja) * 2017-02-13 2021-02-24 ヒタチ ヴァンタラ コーポレーションＨｉｔａｃｈｉ Ｖａｎｔａｒａ Ｃｏｒｐｏｒａｔｉｏｎ スタビングによるコンテンツ記憶の最適化
US11341103B2 (en) * 2017-08-04 2022-05-24 International Business Machines Corporation Replicating and migrating files to secondary storage sites
CN109614237A (zh) * 2018-12-10 2019-04-12 浪潮(北京)电子信息产业有限公司 一种资源释放方法、装置、设备及介质
CN110134645B (zh) * 2019-04-15 2023-07-11 深圳市战音科技有限公司 文件***存储管理方法、读取方法、管理装置和读取装置
US11886605B2 (en) * 2019-09-30 2024-01-30 Red Hat, Inc. Differentiated file permissions for container users
US11593215B2 (en) * 2020-02-05 2023-02-28 EMC IP Holding Company LLC Method and system for generating immutable backups with configurable retention spans
KR20220079212A (ko) * 2020-12-04 2022-06-13 삼성전자주식회사 가비지 컬렉션을 수행하기 위한 전자 장치 및 방법
CN112711562B (zh) * 2020-12-31 2024-03-26 珠海豹趣科技有限公司 文件的迁移方法、装置、电子设备和存储介质
CN114328134B (zh) * 2022-03-16 2022-05-31 深圳超盈智能科技有限公司 计算机内存动态测试***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5987506A (en) * 1996-11-22 1999-11-16 Mangosoft Corporation Remote access and geographically distributed computers in a globally addressable storage environment
US6182121B1 (en) * 1995-02-03 2001-01-30 Enfish, Inc. Method and apparatus for a physical storage architecture having an improved information storage and retrieval system for a shared file environment

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US537698A (en) * 1895-04-16 Jules michaud
EP0278314B1 (en) 1987-02-13 1994-08-10 International Business Machines Corporation Single system image
US5318603A (en) * 1988-08-05 1994-06-07 Jason, Inc. Abrasive filament honing tool and method of making and using same
US5276867A (en) * 1989-12-19 1994-01-04 Epoch Systems, Inc. Digital data storage system with improved data migration
JPH05120092A (ja) 1991-10-29 1993-05-18 Ricoh Co Ltd フアイル装置のフアイル削除制御方法
US5367698A (en) * 1991-10-31 1994-11-22 Epoch Systems, Inc. Network file migration system
DE69434311D1 (de) * 1993-02-01 2005-04-28 Sun Microsystems Inc Archivierungsdateiensystem für datenanbieter in einer verteilten netzwerkumgebung
US5991753A (en) * 1993-06-16 1999-11-23 Lachman Technology, Inc. Method and system for computer file management, including file migration, special handling, and associating extended attributes with files
US5566328A (en) * 1995-01-23 1996-10-15 Tandem Computers Incorporated Reconstructing directory pathnames from file handles in a computer system
US6108759A (en) * 1995-02-23 2000-08-22 Powerquest Corporation Manipulation of partitions holding advanced file systems
US5564037A (en) * 1995-03-29 1996-10-08 Cheyenne Software International Sales Corp. Real time data migration system and method employing sparse files
US5813009A (en) * 1995-07-28 1998-09-22 Univirtual Corp. Computer based records management system method
JPH0944381A (ja) 1995-07-31 1997-02-14 Toshiba Corp データ格納方法およびデータ格納装置
US5680640A (en) * 1995-09-01 1997-10-21 Emc Corporation System for migrating data by selecting a first or second transfer means based on the status of a data element map initialized to a predetermined state
US5742817A (en) * 1995-12-08 1998-04-21 Emc Corporation Method and apparatus for file server addressing
US5754844A (en) * 1995-12-14 1998-05-19 Sun Microsystems, Inc. Method and system for accessing chunks of data using matching of an access tab and hashing code to generate a suggested storage location
US5857203A (en) * 1996-07-29 1999-01-05 International Business Machines Corporation Method and apparatus for dividing, mapping and storing large digital objects in a client/server library system
US6021405A (en) * 1996-08-23 2000-02-01 Tandem Computers, Inc. System and method for optimizing database queries with improved performance enhancements
US6745224B1 (en) * 1996-12-06 2004-06-01 Microsoft Corporation Object framework and services for periodically recurring operations
US5822780A (en) * 1996-12-31 1998-10-13 Emc Corporation Method and apparatus for hierarchical storage management for data base management systems
EP0854423A1 (en) * 1997-01-20 1998-07-22 TELEFONAKTIEBOLAGET L M ERICSSON (publ) Data partitioning and duplication in a distributed data processing system
US6088694A (en) * 1998-03-31 2000-07-11 International Business Machines Corporation Continuous availability and efficient backup for externally referenced objects
US6128627A (en) * 1998-04-15 2000-10-03 Inktomi Corporation Consistent data storage in an object cache
US20030037019A1 (en) 1998-04-27 2003-02-20 Kazue Nakamura Data storage and retrieval apparatus and method of the same
US6493725B1 (en) 1998-05-18 2002-12-10 Sharp Kabushiki Kaisha Database managing system
US6393540B1 (en) * 1998-06-30 2002-05-21 Emc Corporation Moving a logical object from a set of source locations to a set of destination locations using a single command
US6317754B1 (en) * 1998-07-03 2001-11-13 Mitsubishi Electric Research Laboratories, Inc System for user control of version /Synchronization in mobile computing
US6269382B1 (en) * 1998-08-31 2001-07-31 Microsoft Corporation Systems and methods for migration and recall of data from local and remote storage
JP2000207370A (ja) 1999-01-20 2000-07-28 Matsushita Electric Ind Co Ltd 分散ファイル管理装置及び分散ファイル管理システム
US6535911B1 (en) * 1999-08-06 2003-03-18 International Business Machines Corporation Viewing an information set originated from a distribution media and updating using a remote server
JP2001109767A (ja) 1999-10-08 2001-04-20 Nippon Telegr & Teleph Corp <Ntt> 階層的データベース管理方法、装置、および階層的データベース管理プログラムを記録した記録媒体
US6351776B1 (en) * 1999-11-04 2002-02-26 Xdrive, Inc. Shared internet storage resource, user interface system, and method
DE69933142T2 (de) * 1999-11-30 2007-08-30 Kabushiki Kaisha Toshiba Chipkarte und verfahren zur verwaltung eines flüchtigen speichers auf derselben
GB0002019D0 (en) * 2000-01-29 2000-03-22 Ibm Data migration tool
JP2001229062A (ja) 2000-02-15 2001-08-24 Hitachi Ltd 分散ファイル管理方法
US7266555B1 (en) * 2000-03-03 2007-09-04 Intel Corporation Methods and apparatus for accessing remote storage through use of a local device
US6938039B1 (en) * 2000-06-30 2005-08-30 Emc Corporation Concurrent file across at a target file server during migration of file systems between file servers using a network file system access protocol
US6981005B1 (en) * 2000-08-24 2005-12-27 Microsoft Corporation Partial migration of an object to another storage location in a computer system
US6782389B1 (en) * 2000-09-12 2004-08-24 Ibrix, Inc. Distributing files across multiple, permissibly heterogeneous, storage devices
US7266556B1 (en) * 2000-12-29 2007-09-04 Intel Corporation Failover architecture for a distributed storage system
US6950833B2 (en) * 2001-06-05 2005-09-27 Silicon Graphics, Inc. Clustered filesystem
US6877016B1 (en) * 2001-09-13 2005-04-05 Unisys Corporation Method of capturing a physically consistent mirrored snapshot of an online database
US6775673B2 (en) * 2001-12-19 2004-08-10 Hewlett-Packard Development Company, L.P. Logical volume-level migration in a partition-based distributed file system
US6772161B2 (en) * 2001-12-19 2004-08-03 Hewlett-Packard Development Company, L.P. Object-level migration in a partition-based distributed file system
US6775672B2 (en) * 2001-12-19 2004-08-10 Hewlett-Packard Development Company, L.P. Updating references to a migrated object in a partition-based distributed file system
US6959310B2 (en) * 2002-02-15 2005-10-25 International Business Machines Corporation Generating data set of the first file system by determining a set of changes between data stored in first snapshot of the first file system, and data stored in second snapshot of the first file system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6182121B1 (en) * 1995-02-03 2001-01-30 Enfish, Inc. Method and apparatus for a physical storage architecture having an improved information storage and retrieval system for a shared file environment
US5987506A (en) * 1996-11-22 1999-11-16 Mangosoft Corporation Remote access and geographically distributed computers in a globally addressable storage environment

Also Published As

Publication number Publication date
CA2458281A1 (en) 2003-04-03
KR20040053142A (ko) 2004-06-23
US20040143563A1 (en) 2004-07-22
ATE555445T1 (de) 2012-05-15
JP2005512171A (ja) 2005-04-28
CA2461025A1 (en) 2003-04-03
KR100962055B1 (ko) 2010-06-08
CA2458672A1 (en) 2003-04-17
KR20040084889A (ko) 2004-10-06
EP1430400B1 (en) 2012-04-25
US8442957B2 (en) 2013-05-14
JP2005505829A (ja) 2005-02-24
EP1430400A2 (en) 2004-06-23
CN1307580C (zh) 2007-03-28
EP1430413A4 (en) 2006-08-16
EP1430400A4 (en) 2006-06-14
CN1556961A (zh) 2004-12-22
WO2003032171A2 (en) 2003-04-17
US20040133540A1 (en) 2004-07-08
CN1311358C (zh) 2007-04-18
WO2003027909A1 (en) 2003-04-03
EP1430413A1 (en) 2004-06-23
CN1559035A (zh) 2004-12-29
US8484172B2 (en) 2013-07-09
EP1433086A1 (en) 2004-06-30
WO2003032171A3 (en) 2003-08-14
US20040133608A1 (en) 2004-07-08
CN1559041A (zh) 2004-12-29
WO2003027882A1 (en) 2003-04-03
JP2005510780A (ja) 2005-04-21
US7500246B2 (en) 2009-03-03
EP1433086A4 (en) 2006-07-26
KR20050030883A (ko) 2005-03-31

Similar Documents

Publication Publication Date Title
CN1559041B (zh) 在计算机***之间共享对象
JP4157858B2 (ja) ストレージ・エリア・ネットワーク（ｓａｎ）ファイル・システムの並列高速バックアップ
CN100412862C (zh) 具备文件管理功能的文件***及文件管理方法
US20160283501A1 (en) Posix-compatible file system, method of creating a file list and storage device
PL182609B1 (pl) Sposób realizacji dostępu do danych zapamiętanych w systemie komputerowym
US11755427B2 (en) Fast recovery and replication of key-value stores
US8640136B2 (en) Sharing objects between computer systems
CN104040481A (zh) 用于融合、存储和检索增量式备份数据的方法和***
US20070061540A1 (en) Data storage system using segmentable virtual volumes
US11829291B2 (en) Garbage collection of tree structure with page mappings
US7693883B2 (en) Online data volume deletion
AU2002330129A1 (en) Sharing objects between computer systems
AU2002349890A1 (en) Efficient management of large files
AU2002360252A1 (en) Efficient search for migration and purge candidates

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20111130

CX01 Expiry of patent term