CN108271420A - 管理文件的方法、文件***和服务器*** - Google Patents

管理文件的方法、文件***和服务器*** Download PDF

Info

Publication number
CN108271420A
CN108271420A CN201680003120.4A CN201680003120A CN108271420A CN 108271420 A CN108271420 A CN 108271420A CN 201680003120 A CN201680003120 A CN 201680003120A CN 108271420 A CN108271420 A CN 108271420A
Authority
CN
China
Prior art keywords
metadata
data
file
area
data fragmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680003120.4A
Other languages
English (en)
Other versions
CN108271420B (zh
Inventor
王力涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108271420A publication Critical patent/CN108271420A/zh
Application granted granted Critical
Publication of CN108271420B publication Critical patent/CN108271420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种管理文件的方法、文件***和服务器***。该方法包括：接收写文件请求；根据该写文件请求，确定文件的待存储数据和该文件的元数据；确定该文件的待存储数据的多个数据分片；确定该多个数据分片中每个数据分片的本地元数据；将该多个数据分片中每个数据分片、该多个数据分片中每个数据分片的本地元数据和该文件的元数据存储到数据区域；将该文件的元数据存储到元数据区域。该方案能够有效地保护元数据。

Description

管理文件的方法、文件***和服务器*** 技术领域
本发明涉及信息技术领域，并且更具体地，涉及一种管理文件的方法、文件***和服务器***。
背景技术
分布式文件***是一个比较复杂的***，其管理的数据一般可以简化为数据和元数据两个集群。数据就是用户看到的真实的数据，基本上指的就是文件的真实内容。元数据又称为“数据的数据”，主要是目录结构、文件和目录的属性信息以及目录间的映射关系等。元数据用来实现快速查找数据等功能，是文件***内部管理信息。
在当前的文件***机制中要想能找到一个文件或者查找它的信息，都是从根目录开始层层目录查找，最终找到一个文件，然后打开这个文件。整个层级关系都是靠元数据记录下来的。如果元数据集群崩溃，即使数据都没有损坏，我们也没法再把这些数据组织起来，已经没法把数据和它的目录甚至文件名做任何的关联，也就无法实现文件的查找等功能。
当前，为了保证元数据集群的可靠性，各个文件***采用了各种复杂的逻辑或者物理开销。例如，采用了元数据备份的方案来保证元数据的可靠性，将分布式文件***中的部分重要元数据或者全部的元数据，采用数据库或者另外的一种集群做备份；或者，采用日志或者快照的方式，记录元数据的变更，出现问题时能够回放或者直接回滚到最近一个时间点的元数据，减少丢失的内容。上述方案比较复杂或者开销较大，因此，需要一种更简洁的元数据保护机制。
发明内容
本发明实施例提供了一种管理文件的方法、文件***和服务器***，能够有效地保护元数据。
第一方面，提供了一种文件***中管理文件的方法，该文件***管理的存储区域包括数据区域和元数据区域；该方法包括：
接收写文件请求；
根据该写文件请求，确定文件的待存储数据和该文件的元数据；
确定该文件的待存储数据的多个数据分片；
确定该多个数据分片中每个数据分片的本地元数据；
将该多个数据分片中每个数据分片、该多个数据分片中每个数据分片的本地元数据和该文件的元数据存储到该数据区域；
将该文件的元数据存储到该元数据区域。
本发明实施例的管理文件的方法，除了在文件***管理的元数据区域存储文件的元数据，还在文件***管理的数据区域存储文件的元数据，这样，在元数据区域发生故障时，可以通过数据区域恢复元数据，从而能够有效地保护元数据。
在一些可能的实现方式中，将该多个数据分片中每个数据分片、该多个数据分片中每个数据分片的本地元数据和该文件的元数据存储到该数据区域，包括：
扩展该多个数据分片中每个数据分片对应的在该数据区域中的本地元数据区域；
将该多个数据分片中每个数据分片存储到对应的在该数据区域中的数据分片区域；
将该多个数据分片中每个数据分片的本地元数据存储到对应的本地元数据区域中的扩展前的子区域；
将该文件的元数据存储到该多个数据分片中每个数据分片对应的本地元数据区域中的扩展子区域。
在一些可能的实现方式中，该扩展子区域为512个字节。
在一些可能的实现方式中，将该多个数据分片中每个数据分片、该多个数据分片中每个数据分片的本地元数据和该文件的元数据存储到该数据区域，包括：
将该多个数据分片中每个数据分片存储到对应的在该数据区域中的数据分片区域；
将该多个数据分片中每个数据分片的本地元数据存储到对应的在该数据区域中的本地元数据区域中的第一子区域；
将该文件的元数据存储到该多个数据分片中每个数据分片对应的在该数据区域中的本地元数据区域中的第二子区域。
在一些可能的实现方式中，将数据分片、数据分片的本地元数据和文件的元数据一起下盘。
本发明实施例的管理文件的方法，在数据区域，文件的元数据和数据分片的本地元数据一起存储到本地元数据区域，增加的I/O开销很少，因此，能够以很小的开销提高元数据的可靠性。
在一些可能的实现方式中，该方法还包括：
在该元数据区域发生故障时，根据该数据区域中的文件的元数据，对该元数据区域进行恢复。
在一些可能的实现方式中，根据该数据区域中的文件的元数据，对该元数据区域进行恢复，包括：
读取该数据区域中每个数据分片对应的本地元数据区域中的文件的元数据；
根据读取的文件的元数据，恢复该元数据区域中的目录层级关系。
在一些可能的实现方式中，在元数据区域发生故障时，可以扫描数据分片列表，按照数据分片列表读取每个数据分片本地元数据区域中的文件的元数据。
在一些可能的实现方式中，若文件的元数据存储在本地元数据区域的后512个字节中，则读取该512个字节中文件的元数据。
在一些可能的实现方式中，扫描文件的元数据时只需要扫描数据区域中的本地元数据区域。
在本发明实施例的元数据区域恢复流程中，只需扫描数据区域中的特定区域，因此恢复流程比较简单。
在一些可能的实现方式中，每得到一条文件的元数据，就在元数据区域的目录层级上添加一条记录。
在一些可能的实现方式中，可以采用hash表记录暂时没有串联起来的记录关系。
在一些可能的实现方式中，确定该文件的待存储数据的多个数据分片，包括：
根据该文件***的保护模式，确定该多个数据分片。
在一些可能的实现方式中，该文件***的保护模式为EC保护模式。
第二方面，提供了一种文件***，该文件***管理的存储区域包括数据 区域和元数据区域；该文件***包括：文件管理单元，数据管理单元和元数据管理单元；
该文件管理单元，用于接收写文件请求；根据该写文件请求，确定文件的待存储数据和该文件的元数据；确定该文件的待存储数据的多个数据分片；将该多个数据分片和该文件的元数据发送给该数据管理单元；将该文件的元数据发送给该元数据管理单元；
该数据管理单元，用于确定该多个数据分片中每个数据分片的本地元数据；将该多个数据分片中每个数据分片、该多个数据分片中每个数据分片的本地元数据和该文件的元数据存储到该数据区域；
该元数据管理单元，用于将该文件的元数据存储到该元数据区域。
本发明实施例的文件***，除了在文件***管理的元数据区域存储文件的元数据，还在文件***管理的数据区域存储文件的元数据，这样，在元数据区域发生故障时，可以通过数据区域恢复元数据，从而能够有效地保护元数据。
在一些可能的实现方式中，该数据管理单元具体用于，
扩展该多个数据分片中每个数据分片对应的在该数据区域中的本地元数据区域；
将该多个数据分片中每个数据分片存储到对应的在该数据区域中的数据分片区域；
将该多个数据分片中每个数据分片的本地元数据存储到对应的本地元数据区域中的扩展前的子区域；
将该文件的元数据存储到该多个数据分片中每个数据分片对应的本地元数据区域中的扩展子区域。
在一些可能的实现方式中，该数据管理单元具体用于，
将该多个数据分片中每个数据分片存储到对应的在该数据区域中的数据分片区域；
将该多个数据分片中每个数据分片的本地元数据存储到对应的在该数据区域中的本地元数据区域中的第一子区域；
将该文件的元数据存储到该多个数据分片中每个数据分片对应的在该数据区域中的本地元数据区域中的第二子区域。
在一些可能的实现方式中，在该元数据区域发生故障时，
该数据管理单元还用于读取该数据区域中的文件的元数据，将读取的文件的元数据发送给该元数据管理单元；
该元数据管理单元还用于根据该数据管理单元发送的文件的元数据，对该元数据区域进行恢复。
在一些可能的实现方式中，该数据管理单元具体用于，读取该数据区域中每个数据分片对应的本地元数据区域中的文件的元数据，将读取的文件的元数据发送给该元数据管理单元；
该元数据管理单元具体用于，根据该数据管理单元发送的文件的元数据，恢复该元数据区域中的目录层级关系。
在一些可能的实现方式中，该文件管理单元具体用于根据该文件***的保护模式，确定该多个数据分片。
第三方面，提供了一种服务器***，包括：
上述第二方面或第二方面的任一种可能的实现方式中的文件***；以及
存储资源，该存储资源包括该文件***管理的存储区域。
第四方面，提供了一种服务器***，包括：
存储资源，该存储资源包括文件***管理的存储区域，该存储区域包括数据区域和元数据区域；
管理单元，用于执行上述第一方面或第一方面的任一种可能的实现方式中的方法。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本发明的一些实施例，还可以根据这些附图获得其他的附图。
图1是本发明实施例的技术方案可应用的服务器***的示意图。
图2是本发明实施例的***的架构图。
图3是本发明实施例的管理文件的方法的示意性流程图。
图4是本发明实施例的写文件的流程图。
图5是本发明实施例的恢复元数据的流程图。
图6是本发明实施例的文件***的示意性框图。
图7是本发明一个实施例的服务器***的示意性框图。
图8是本发明另一个实施例的服务器***的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例所获得的所有其他实施例，都应属于本发明保护的范围。
本发明实施例的技术方案可以应用于各种文件***，包括分布式文件***和非分布式文件***。
本发明实施例中，文件的元数据除了保存在元数据区域外，还在数据区域进行额外保存。数据区域和元数据区域可以属于在不同的故障域，例如位于不同的逻辑位置、或者位于不同的物理位置。因此，可以增强对文件的元数据的保护。例如把数据分片、这个数据分片的本地元数据以及文件的元数据，在同一个IO请求中下发到存储介质(例如硬盘、固态硬盘等)中。伴随着每个数据分片被存储到数据区域，可以有一份文件的元数据也被存储到数据区域。因此，数据分片的数量越多，元数据被备份的次数越多。
由于文件的元数据是伴随数据分片一起下盘，因此，这样做法对***性能影响非常小，又可以大幅度提高文件的元数据的可靠性。
图1是可应用本发明实施例的技术方案的服务器***的示意图。
如图1所示，服务器***100可以包括至少一个服务器110，每个服务器110包括存储资源101，例如磁盘、固态硬盘或其他存储资源，提供存储空间。服务器110上还可以包括管理单元102，通过管理单元102实现文件***的功能，提供文件***的访问服务。
对于分布式文件***，文件的数据可以按照分布式方式存储到任意服务器110的存储资源101中；对于非分布式文件***，文件的数据存储到对应的服务器110的存储资源101中。
每个服务器110可以是数据和/或元数据节点，即，可以只存储数据或元数据，也可以同时存储数据和元数据。所有服务器110的用于存储数据的区域构成文件***管理的数据区域，所有服务器的用于存储元数据的区域构成文件***管理的元数据区域。数据区域和元数据区域在逻辑上分开，在物理上可以位于相同的节点(如服务器)，也可以位于不同的节点。
应理解，在本发明的各种实施例中，各种管理单元可以是由处理器实施的功能模块，例如，可以是运行在处理器中的程序；各种管理单元也可以是硬件，例如可以是一个或多个处理器。各种存储资源可以是硬件，例如磁盘、固态硬盘或者易失性存储器；各种存储资源也可以是逻辑上的存储空间，例如对物理存储资源虚拟化生成，并且可以被管理单元所管理的逻辑存储空间。为了简洁，以下不再赘述。
图2示出了本发明实施例逻辑上的***架构图。
如图2所示，***200包括元数据集群210和数据集群220。
元数据集群210和数据集群220可以在物理上分散在不同物理节点，也可以共用同一些物理节点，只是在逻辑上划分。
元数据集群210包括元数据区域211，用于存储文件的元数据。元数据区域211可以位于一个或多个节点上。元数据集群210还包括一个或多个元数据管理单元212，用于管理元数据集群中文件的元数据。类似地，一个或多个元数据管理单元212也可以位于一个或多个节点上。
数据集群220包括数据区域221，除了用于存储文件的数据和本地元数据外，还用于存储文件的元数据。本地元数据也可以称为本地文件***元数据，包括数据分片的大小、创建时间等信息。
元数据管理单元212是功能单元，可以位于单个服务器或者多个服务器组成的分布式文件***。元数据管理单元212可以是软件，以分布式为例，可以由运行在多个服务器的分布式软件共同组成；也可以是硬件，例如由多个服务器的处理器共同组成，这些处理器可以运行所述分布式软件。元数据区域211接受元数据管理单元212的管理，并为元数据管理单元212读/写的数据提供存储空间。元数据区域211可以是物理存储介质，例如多个服务器的硬盘或者固态硬盘；也可以是逻辑上的存储空间，例如由多个服务器的存储器逻辑上组成的存储空间。
数据集群220中的数据管理单元222和数据区域221，分别与元数据管理单元212和元数据区域211类似，此处不再赘述。
可选地，本地元数据和文件的元数据可以一块存储于数据区域221中的本地元数据区域中。例如，可以扩展本地元数据区域，扩展出的区域称为本地元数据区域的扩展子区域，仍将本地元数据存储于原来的区域，称为扩展前的子区域，将文件的元数据存储于扩展子区域中。另外，若本地元数据区 域所提供的空间原本就足够存储本地元数据和文件的元数据，或者本地元数据区域已预先进行了扩展，则可将本地元数据和文件的元数据分别存储于本地元数据区域中的不同子区域中，即分别存储于本地元数据区域中的第一子区域和第二子区域，例如，第一子区域可以为本地元数据区域中前面的预定字节，第二子区域可以为本地元数据区域中后面的预定字节。
类似地，数据区域221可以位于一个或多个节点上。例如每个节点提供一部分存储空间，共同组成数据区域221。数据集群220还包括一个或多个数据管理单元222，用于管理数据集群中的文件的数据、本地元数据和文件的元数据。类似地，一个或多个数据管理单元222也可以位于一个或多个节点上。例如多个节点都运行数据管理软件，这些软件的整体组成数据管理单元222。
在一些实现方式中，元数据管理单元212和数据管理单元222为文件***中的功能单元。例如，可以为图1中的管理单元102中的功能单元。应理解，文件***中的功能单元还可以包括其他对文件进行管理的功能单元，本发明对此并不限定。
元数据区域211和数据区域221为文件***管理的存储区域。
文件***和文件***管理的存储区域可设置于服务器***中，例如，图1中的服务器***100。
图3示出了本发明实施例的管理文件的方法300的示意性流程图。
在本发明实施例中，文件***管理的存储区域包括数据区域和元数据区域，例如，图2中的数据区域221和元数据区域211。
该方法300可以由服务器***或者服务器***中的文件***执行，例如，可以由服务器***或者文件***中的管理单元执行，该管理单元又具体可以为一个或多个管理单元。为了便于描述，以下以服务器***为例进行说明。
310，接收写文件请求。
在写文件时，客户端向服务器***发送写文件请求。该写文件请求可以包括文件的标识信息、待存储数据和访问地址的信息等。
文件的待存储数据为文件的真实数据，即承载文件内容的数据。
文件的标识信息表示所要写的是哪一个文件，例如，具体可以为目录名和文件名。
访问地址的信息表示待存储数据所要写入的地址，例如，具体可以为首 地址和地址空间长度。
320，根据该写文件请求，确定文件的待存储数据和该文件的元数据。
在接收到写文件请求后，服务器***确定文件的待存储数据和该文件的元数据。文件的待存储数据可以直接携带在写文件请求中；文件的元数据可以根据写文件请求中的信息生成，相当于间接的携带在写文件请求中。该文件的元数据包括文件的目录结构、文件和目录的属性等信息。
330，确定该文件的待存储数据的多个数据分片。
可选地，可以根据文件***的保护模式，确定该多个数据分片。
确定文件的待存储数据的数据分片，可以是从逻辑上把待存储数据划分成多个数据分片。例如，可以采用纠删码(erasure coding，EC)保护模式，将文件分为多个数据分片。
应理解，本发明对保护模式不做限定，也就是说，也可以采用其他保护模式。
可选地，上述步骤310-330具体可以由***中的文件管理单元执行，然后，文件管理单元将该多个数据分片和该文件的元数据发送给***中的数据管理单元。
340，确定该多个数据分片中每个数据分片的本地元数据。
在写文件时，需要处理两种数据，一种是文件的待存储的数据，另一种是文件的元数据。文件的待存储的数据分为数据分片后，将被存储到文件***管理的数据区域。另外，每个数据分片还有对应的本地元数据，该本地元数据包括数据分片的大小、创建时间等信息。本地元数据也存储到数据区域，具体可以存储到数据区域中的本地元数据区域。
在获取到文件的多个数据分片后，服务器***确定每个数据分片的本地元数据。具体而言，若之前没有相应的本地元数据，则根据新的数据分片生成本地元数据；若已有本地元数据，则根据新的数据分片修改本地元数据。
350，将该多个数据分片中每个数据分片、该多个数据分片中每个数据分片的本地元数据和该文件的元数据存储到该数据区域。
在该步骤中，每个数据分片、每个数据分片的本地元数据和文件的元数据一块存储到数据区域。
可选地，每个数据分片的本地元数据和文件的元数据可以一块存储到数据区域中的本地元数据区域。
具体而言，数据区域也可以分为两部分，一部分用于存储数据分片，可以称为数据分片区域；另一部分用于存储元数据，可以称为本地元数据区域。应理解，上述两种区域也可以采用其他表述，其具体的表述不应理解为对本发明的限制。
在本发明实施例中，将文件的元数据和每个数据分片的本地元数据一块存储到本地元数据区域。相比于只存储数据分片的本地元数据的情况，本发明实施例中的本地元数据区域要大。换句话说，本发明实施例的技术方案采用较大的本地元数据区域或者对本地元数据区域进行扩展。
可选地，作为本发明的一个实施例，可以扩展该多个数据分片中每个数据分片对应的在该数据区域中的本地元数据区域；
将该多个数据分片中每个数据分片存储到对应的在该数据区域中的数据分片区域；
将该多个数据分片中每个数据分片的本地元数据存储到对应的本地元数据区域中的扩展前的子区域；
将该文件的元数据存储到该多个数据分片中每个数据分片对应的本地元数据区域中的扩展子区域。
具体而言，在本实施例中，对数据分片对应的本地元数据区域进行扩展，将文件的元数据存储到本地元数据区域中的扩展子区域中。也就是说，仍将本地元数据存储于原来的区域，将文件的元数据存储于扩展的子区域中。
例如，可以将每个数据分片对应的本地元数据区域扩展512个字节，在扩展的区域中填入文件的元数据。
应理解，上述的512个字节只是举例，不应理解为对本发明的限制，具体实现时可以根据文件的元数据的大小合理设置。
可选地，作为本发明的另一个实施例，可以将该多个数据分片中每个数据分片存储到对应的在该数据区域中的数据分片区域；
将该多个数据分片中每个数据分片的本地元数据存储到对应的在该数据区域中的本地元数据区域中的第一子区域；
将该文件的元数据存储到该多个数据分片中每个数据分片对应的在该数据区域中的本地元数据区域中的第二子区域。
具体而言，在本实施例中，本地元数据区域可以预先设置地足够大，这样，可以直接将文件的元数据存储到本地元数据区域中的特定子区域。
例如，可以将本地元数据区域分为两个子区域，前一个子区域存储本地元数据，后一个子区域存储文件的元数据。
在具体实现时，在将数据分片、数据分片的本地元数据和文件的元数据下盘前，可先在缓存中对相应数据进行处理，然后一起下盘，即写入磁盘。这样，文件的元数据和本地元数据一块存储到本地元数据区域，不会增加多少I/O开销。
可选地，上述步骤340和350具体可以由***中的数据管理单元执行。然后，数据管理单元向文件管理单元发送写成功消息，该写成功消息指示数据分片和文件的元数据写成功。文件管理单元再向***中的元数据管理单元发送文件的元数据，以请求该元数据管理单元更新文件的元数据。
360，将该文件的元数据存储到该元数据区域。
服务器***在文件***管理的元数据区域更新文件的元数据。可选地，该步骤可以在数据区域写成功后执行，也可以与数据区域的写处理并行进行，本发明并不限定。
可选地，上述步骤360具体可以由***中的元数据管理单元执行。然后，元数据管理单元向文件管理单元发送写成功消息，该写成功消息指示文件的元数据写成功。文件管理单元再向客户端发送文件写成功消息。
本发明实施例的管理文件的方法，除了在文件***管理的元数据区域存储文件的元数据，还在文件***管理的数据区域存储文件的元数据，这样，在元数据区域发生故障时，可以通过数据区域恢复元数据，从而能够有效地保护元数据。
进一步地，本发明实施例的管理文件的方法，在数据区域，文件的元数据和数据分片的本地元数据一起存储到本地元数据区域，增加的I/O开销很少，因此，能够以很小的开销提高元数据的可靠性。
以上描述了存储流程，下面对元数据恢复流程进行描述。
可选地，如图3所示，该方法300还可以包括：
370，在该元数据区域发生故障时，根据该数据区域中的文件的元数据，对该元数据区域进行恢复。
由于数据区域中也存储了文件的元数据，因此，在元数据区域发生故障时，可以通过扫描数据区域的元数据，对元数据区域的元数据进行恢复。
具体地，可以读取该数据区域中每个数据分片对应的本地元数据区域中 的文件的元数据；根据读取的文件的元数据，恢复该元数据区域中的目录层级关系。
例如，在元数据区域发生故障时，可以扫描数据分片列表，按照数据分片列表读取每个数据分片本地元数据区域中的文件的元数据。例如，若文件的元数据存储在本地元数据区域的后512个字节中，则读取该512个字节中文件的元数据。
因为数据区域是完整可用的，扫描文件的元数据时只需要扫描数据区域中的本地元数据区域即可。
每得到一条文件的元数据，就在元数据区域的目录层级上添加一条记录。可选地，可以采用哈希(hash)表记录暂时没有串联起来的记录关系。等所有的记录收齐后，元数据区域的目录层级关系就建立完毕了。
可选地，上述扫描过程可以由数据管理单元执行，并将读取到的文件的元数据发送给元数据管理单元；上述目录层级关系建立过程可以由元数据管理单元执行，并在建立完成后向文件管理单元发送恢复成功消息，该恢复成功消息指示元数据区域恢复完毕。
从上述技术方案可以看出，在本发明实施例的元数据区域恢复流程中，只需扫描数据区域中的特定区域，因此恢复流程比较简单。
下面结合图4和图5，从各管理单元的角度详细描述本发明实施例的技术方案。应理解，图4和图5中的各管理单元是从功能上划分的管理单元，在物理上它们可以设置于相同的节点上，也可以设置于不同的节点上。另外，图4和图5中的各管理单元的相互关系和功能，以及与***中其他组件的关系等，可以参考前述各种实施例中的描述。
图4为本发明一个实施例的写文件的流程图。
401，客户端发送写文件请求。
客户端将写文件请求发送给服务器***，具体发送给文件管理单元。该写文件请求可以包括文件的标识信息、待存储数据和访问地址的信息等。
402，文件管理单元确定文件的待存储数据和该文件的元数据。
该文件的元数据包括文件的目录结构、文件和目录的属性等信息。
403，文件管理单元确定该文件的待存储数据的多个数据分片。
可选地，可以根据文件***的保护模式，例如EC保护模式，将文件分为多个数据分片。
404，文件管理单元将该多个数据分片和该文件的元数据发送给数据管理单元。
405，数据管理单元将接收到的数据写入缓存。
即，将数据分片和文件的元数据写入缓存。
406，数据管理单元确定本地元数据。
该本地元数据包括数据分片的大小、创建时间等信息。数据管理单元根据该多个数据分片，确定每个数据分片的本地元数据。
407，数据管理单元在本地元数据区域填入文件的元数据。
例如，数据管理单元将每个数据分片的本地元数据区域扩展512个字节，在扩展的区域中填入文件的元数据；或者，数据管理单元在预先扩展的本地元数据区域的后512个字节中填入文件的元数据。
408，数据管理单元将数据分片、数据分片的本地元数据和文件的元数据一起下盘。
这样，数据管理单元将数据分片、数据分片的本地元数据和文件的元数据一起存储到了数据区域。
409，数据管理单元回应文件管理单元数据分片和文件的元数据写成功。
410，文件管理单元向元数据管理单元发请求，请求更新文件的元数据。
411，元数据管理单元将文件的元数据存储到元数据区域。
412，元数据管理单元向文件管理单元返回元数据写成功消息。
413，文件管理单元向客户端返回文件写成功消息。
图5为本发明一个实施例的恢复元数据的流程图。
501，数据管理单元扫描数据分片列表。
在元数据区域发生故障时，根据数据区域的元数据，对元数据区域的元数据进行恢复。数据管理单元扫描数据分片列表，对于每一个数据分片，进行下述操作。
502，数据管理单元按照数据分片列表读取每个分片本地元数据区域中的文件的元数据。
例如，若文件的元数据存储在本地元数据区域的后512个字节中，则读取该512个字节中文件的元数据。
因为数据区域是完整可用的，扫描文件的元数据时只需要扫描数据区域中的本地元数据区域即可。
503，数据管理单元将读取的文件的元数据发送给元数据管理单元。
504，元数据管理单元根据接收到的文件的元数据恢复目录层级关系。
元数据管理单元每收到一条文件的元数据，就在元数据区域的目录层级上添加一条记录。可选地，可以采用hash表记录暂时没有串联起来的记录关系。等所有的记录收齐后，元数据区域的目录层级关系就建立完毕了。
505，元数据管理单元向文件管理单元发送恢复成功消息。
元数据区域恢复完毕后，元数据管理单元通知文件管理单元，元数据区域已经恢复，从而文件服务恢复提供。
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
还应理解，本发明实施例中的具体的例子只是为了帮助本领域技术人员更好地理解本发明实施例，而非限制本发明实施例的范围。
上文中详细描述了根据本发明实施例的管理文件的方法，下面将描述根据本发明实施例的文件***和服务器***。
图6示出了本发明实施例的文件***600的示意性框图。
该文件***600管理的存储区域包括数据区域和元数据区域。如图6所示，该文件***600可以包括：文件管理单元610，数据管理单元620和元数据管理单元630。
该文件管理单元610，用于接收写文件请求；根据该写文件请求，确定文件的待存储数据和该文件的元数据；确定该文件的待存储数据的多个数据分片；将该多个数据分片和该文件的元数据发送给该数据管理单元620；将该文件的元数据发送给该元数据管理单元630。
该数据管理单元620，用于确定该多个数据分片中每个数据分片的本地元数据；将该多个数据分片中每个数据分片、该多个数据分片中每个数据分片的本地元数据和该文件的元数据存储到该数据区域。
该元数据管理单元630，用于将该文件的元数据存储到该元数据区域。
本发明实施例的文件***，除了在文件***管理的元数据区域存储文件的元数据，还在文件***管理的数据区域存储文件的元数据，这样，在元数据区域发生故障时，可以通过数据区域恢复元数据，从而能够有效地保护元数据。
可选地，在本发明一个实施例中，该数据管理单元620具体用于，
扩展该多个数据分片中每个数据分片对应的在该数据区域中的本地元数据区域；
将该多个数据分片中每个数据分片存储到对应的在该数据区域中的数据分片区域；
将该多个数据分片中每个数据分片的本地元数据存储到对应的本地元数据区域中的扩展前的子区域；
将该文件的元数据存储到该多个数据分片中每个数据分片对应的本地元数据区域中的扩展子区域。
可选地，在本发明一个实施例中，该数据管理单元620具体用于，
将该多个数据分片中每个数据分片存储到对应的在该数据区域中的数据分片区域；
将该多个数据分片中每个数据分片的本地元数据存储到对应的在该数据区域中的本地元数据区域中的第一子区域；
将该文件的元数据存储到该多个数据分片中每个数据分片对应的在该数据区域中的本地元数据区域中的第二子区域。
可选地，在本发明一个实施例中，在该元数据区域发生故障时，
该数据管理单元620还用于读取该数据区域中的文件的元数据，将读取的文件的元数据发送给该元数据管理单元630；
该元数据管理单元630还用于根据该数据管理单元620发送的文件的元数据，对该元数据区域进行恢复。
可选地，在本发明一个实施例中，该数据管理单元620具体用于，读取该数据区域中每个数据分片对应的本地元数据区域中的文件的元数据，将读取的文件的元数据发送给该元数据管理单元630；
该元数据管理单元630具体用于，根据该数据管理单元620发送的文件的元数据，恢复该元数据区域中的目录层级关系。
可选地，在本发明一个实施例中，该文件管理单元610具体用于根据该文件***的保护模式，确定该多个数据分片。
本发明实施例的文件***600可以执行本发明实施例的管理文件的方法，并且文件***600中的各个单元的上述和其它操作和/或功能分别为了实现前述各个方法的相应流程，可以参考前述各种实施例中的描述，为了简洁， 在此不再赘述。
图7示出了本发明一个实施例的服务器***700的示意性框图。如图7所示，该服务器***700可以包括：
前述本发明实施例的文件***600；以及
存储资源710，该存储资源710包括该文件***600管理的存储区域。
关于本发明实施例的文件***600的详细描述，可以参考前述实施例，为了简洁，在此不再赘述。
图8示出了本发明另一个实施例的服务器***800的示意性框图。如图8所示，该服务器***800可以包括：
存储资源810，该存储资源810包括文件***管理的存储区域，该存储区域包括数据区域和元数据区域；
管理单元820，用于：
接收写文件请求；
根据该写文件请求，确定文件的待存储数据和该文件的元数据；
确定该文件的待存储数据的多个数据分片；
确定该多个数据分片中每个数据分片的本地元数据；
将该多个数据分片中每个数据分片、该多个数据分片中每个数据分片的本地元数据和该文件的元数据存储到该数据区域；
将该文件的元数据存储到该元数据区域。
本发明实施例的服务器***，除了在文件***管理的元数据区域存储文件的元数据，还在文件***管理的数据区域存储文件的元数据，这样，在元数据区域发生故障时，可以通过数据区域恢复元数据，从而能够有效地保护元数据。
可选地，在本发明一个实施例中，该管理单元820具体用于，
扩展该多个数据分片中每个数据分片对应的在该数据区域中的本地元数据区域；
将该多个数据分片中每个数据分片存储到对应的在该数据区域中的数据分片区域；
将该多个数据分片中每个数据分片的本地元数据存储到对应的本地元数据区域中的扩展前的子区域；
将该文件的元数据存储到该多个数据分片中每个数据分片对应的本地 元数据区域中的扩展子区域。
可选地，在本发明一个实施例中，该管理单元820具体用于，
将该多个数据分片中每个数据分片存储到对应的在该数据区域中的数据分片区域；
将该多个数据分片中每个数据分片的本地元数据存储到对应的在该数据区域中的本地元数据区域中的第一子区域；
将该文件的元数据存储到该多个数据分片中每个数据分片对应的在该数据区域中的本地元数据区域中的第二子区域。
可选地，在本发明一个实施例中，该管理单元820还用于，
在该元数据区域发生故障时，根据该数据区域中的文件的元数据，对该元数据区域进行恢复。
可选地，在本发明一个实施例中，该管理单元820具体用于，
读取该数据区域中每个数据分片对应的本地元数据区域中的文件的元数据；
根据读取的文件的元数据，恢复该元数据区域中的目录层级关系。
可选地，在本发明一个实施例中，该管理单元820具体用于，
根据该文件***的保护模式，确定该多个数据分片。
本发明实施例的服务器***800中的管理单元820可以执行前述方法实施例中的各个流程，相应的具体描述可参考前述各实施例，为了简洁，在此不再赘述。
应理解，在本发明实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (19)

  1. 一种文件***中管理文件的方法，其特征在于，所述文件***管理的存储区域包括数据区域和元数据区域；所述方法包括：
    接收写文件请求；
    根据所述写文件请求，确定文件的待存储数据和所述文件的元数据；
    确定所述文件的待存储数据的多个数据分片；
    确定所述多个数据分片中每个数据分片的本地元数据；
    将所述多个数据分片中每个数据分片、所述多个数据分片中每个数据分片的本地元数据和所述文件的元数据存储到所述数据区域；
    将所述文件的元数据存储到所述元数据区域。
  2. 根据权利要求1所述的方法，其特征在于，所述将所述多个数据分片中每个数据分片、所述多个数据分片中每个数据分片的本地元数据和所述文件的元数据存储到所述数据区域，包括：
    扩展所述多个数据分片中每个数据分片对应的在所述数据区域中的本地元数据区域；
    将所述多个数据分片中每个数据分片存储到对应的在所述数据区域中的数据分片区域；
    将所述多个数据分片中每个数据分片的本地元数据存储到对应的本地元数据区域中的扩展前的子区域；
    将所述文件的元数据存储到所述多个数据分片中每个数据分片对应的本地元数据区域中的扩展子区域。
  3. 根据权利要求1所述的方法，其特征在于，所述将所述多个数据分片中每个数据分片、所述多个数据分片中每个数据分片的本地元数据和所述文件的元数据存储到所述数据区域，包括：
    将所述多个数据分片中每个数据分片存储到对应的在所述数据区域中的数据分片区域；
    将所述多个数据分片中每个数据分片的本地元数据存储到对应的在所述数据区域中的本地元数据区域中的第一子区域；
    将所述文件的元数据存储到所述多个数据分片中每个数据分片对应的在所述数据区域中的本地元数据区域中的第二子区域。
  4. 根据权利要求1至3中任一项所述的方法，其特征在于，所述方法 还包括：
    在所述元数据区域发生故障时，根据所述数据区域中的文件的元数据，对所述元数据区域进行恢复。
  5. 根据权利要求4所述的方法，其特征在于，所述根据所述数据区域中的文件的元数据，对所述元数据区域进行恢复，包括：
    读取所述数据区域中每个数据分片对应的本地元数据区域中的文件的元数据；
    根据读取的文件的元数据，恢复所述元数据区域中的目录层级关系。
  6. 根据权利要求1至5中任一项所述的方法，其特征在于，所述确定所述文件的待存储数据的多个数据分片，包括：
    根据所述文件***的保护模式，确定所述多个数据分片。
  7. 一种文件***，其特征在于，所述文件***管理的存储区域包括数据区域和元数据区域；所述文件***包括：文件管理单元，数据管理单元和元数据管理单元；
    所述文件管理单元，用于接收写文件请求；根据所述写文件请求，确定文件的待存储数据和所述文件的元数据；确定所述文件的待存储数据的多个数据分片；将所述多个数据分片和所述文件的元数据发送给所述数据管理单元；将所述文件的元数据发送给所述元数据管理单元；
    所述数据管理单元，用于确定所述多个数据分片中每个数据分片的本地元数据；将所述多个数据分片中每个数据分片、所述多个数据分片中每个数据分片的本地元数据和所述文件的元数据存储到所述数据区域；
    所述元数据管理单元，用于将所述文件的元数据存储到所述元数据区域。
  8. 根据权利要求7所述的文件***，其特征在于，所述数据管理单元具体用于，
    扩展所述多个数据分片中每个数据分片对应的在所述数据区域中的本地元数据区域；
    将所述多个数据分片中每个数据分片存储到对应的在所述数据区域中的数据分片区域；
    将所述多个数据分片中每个数据分片的本地元数据存储到对应的本地元数据区域中的扩展前的子区域；
    将所述文件的元数据存储到所述多个数据分片中每个数据分片对应的本地元数据区域中的扩展子区域。
  9. 根据权利要求7所述的文件***，其特征在于，所述数据管理单元具体用于，
    将所述多个数据分片中每个数据分片存储到对应的在所述数据区域中的数据分片区域；
    将所述多个数据分片中每个数据分片的本地元数据存储到对应的在所述数据区域中的本地元数据区域中的第一子区域；
    将所述文件的元数据存储到所述多个数据分片中每个数据分片对应的在所述数据区域中的本地元数据区域中的第二子区域。
  10. 根据权利要求7至9中任一项所述的文件***，其特征在于，在所述元数据区域发生故障时，
    所述数据管理单元还用于读取所述数据区域中的文件的元数据，将读取的文件的元数据发送给所述元数据管理单元；
    所述元数据管理单元还用于根据所述数据管理单元发送的文件的元数据，对所述元数据区域进行恢复。
  11. 根据权利要求10所述的文件***，其特征在于，所述数据管理单元具体用于，读取所述数据区域中每个数据分片对应的本地元数据区域中的文件的元数据，将读取的文件的元数据发送给所述元数据管理单元；
    所述元数据管理单元具体用于，根据所述数据管理单元发送的文件的元数据，恢复所述元数据区域中的目录层级关系。
  12. 根据权利要求7至11中任一项所述的文件***，其特征在于，所述文件管理单元具体用于根据所述文件***的保护模式，确定所述多个数据分片。
  13. 一种服务器***，其特征在于，包括：
    根据权利要求7至12中任一项所述的文件***；以及
    存储资源，所述存储资源包括所述文件***管理的存储区域。
  14. 一种服务器***，其特征在于，包括：
    存储资源，所述存储资源包括文件***管理的存储区域，所述存储区域包括数据区域和元数据区域；
    管理单元，用于：
    接收写文件请求；
    根据所述写文件请求，确定文件的待存储数据和所述文件的元数据；
    确定所述文件的待存储数据的多个数据分片；
    确定所述多个数据分片中每个数据分片的本地元数据；
    将所述多个数据分片中每个数据分片、所述多个数据分片中每个数据分片的本地元数据和所述文件的元数据存储到所述数据区域；
    将所述文件的元数据存储到所述元数据区域。
  15. 根据权利要求14所述的服务器***，其特征在于，所述管理单元具体用于，
    扩展所述多个数据分片中每个数据分片对应的在所述数据区域中的本地元数据区域；
    将所述多个数据分片中每个数据分片存储到对应的在所述数据区域中的数据分片区域；
    将所述多个数据分片中每个数据分片的本地元数据存储到对应的本地元数据区域中的扩展前的子区域；
    将所述文件的元数据存储到所述多个数据分片中每个数据分片对应的本地元数据区域中的扩展子区域。
  16. 根据权利要求14所述的服务器***，其特征在于，所述管理单元具体用于，
    将所述多个数据分片中每个数据分片存储到对应的在所述数据区域中的数据分片区域；
    将所述多个数据分片中每个数据分片的本地元数据存储到对应的在所述数据区域中的本地元数据区域中的第一子区域；
    将所述文件的元数据存储到所述多个数据分片中每个数据分片对应的在所述数据区域中的本地元数据区域中的第二子区域。
  17. 根据权利要求14至16中任一项所述的服务器***，其特征在于，所述管理单元还用于，
    在所述元数据区域发生故障时，根据所述数据区域中的文件的元数据，对所述元数据区域进行恢复。
  18. 根据权利要求17所述的服务器***，其特征在于，所述管理单元具体用于，
    读取所述数据区域中每个数据分片对应的本地元数据区域中的文件的元数据；
    根据读取的文件的元数据，恢复所述元数据区域中的目录层级关系。
  19. 根据权利要求14至18中任一项所述的服务器***，其特征在于，所述管理单元具体用于，
    根据所述文件***的保护模式，确定所述多个数据分片。
CN201680003120.4A 2016-11-02 2016-11-02 管理文件的方法、文件***和服务器*** Active CN108271420B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/104385 WO2018081960A1 (zh) 2016-11-02 2016-11-02 管理文件的方法、文件***和服务器***

Publications (2)

Publication Number Publication Date
CN108271420A true CN108271420A (zh) 2018-07-10
CN108271420B CN108271420B (zh) 2020-11-27

Family

ID=62075382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680003120.4A Active CN108271420B (zh) 2016-11-02 2016-11-02 管理文件的方法、文件***和服务器***

Country Status (2)

Country Link
CN (1) CN108271420B (zh)
WO (1) WO2018081960A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113986944A (zh) * 2021-12-29 2022-01-28 天地伟业技术有限公司 分片数据的写入方法、***及电子设备
CN114328421A (zh) * 2022-03-17 2022-04-12 联想凌拓科技有限公司 元数据服务架构管理方法、计算机***、电子设备及介质
CN118069432A (zh) * 2024-04-19 2024-05-24 济南浪潮数据技术有限公司 分布式块存储卷快照回滚方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103019626A (zh) * 2012-12-17 2013-04-03 华为技术有限公司 存储***、控制集群元数据的方法及装置
CN103608783A (zh) * 2011-06-08 2014-02-26 微软公司 用于备份应用的存储体系结构
CN104166524A (zh) * 2014-08-19 2014-11-26 浪潮电子信息产业股份有限公司 一种元数据和数据的处理方法
CN105786655A (zh) * 2016-03-08 2016-07-20 成都云祺科技有限公司 一种虚拟机备份数据重复数据删除方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8112531B2 (en) * 2004-07-14 2012-02-07 Nokia Corporation Grouping of session objects
CN101656094B (zh) * 2009-09-25 2012-04-18 杭州华三通信技术有限公司 数据存储方法和存储设备
CN102088389B (zh) * 2009-12-02 2015-01-28 中兴通讯股份有限公司 一种分布式内容存取调度装置和内容读取方法
CN102024059B (zh) * 2010-12-31 2012-07-18 成都市华为赛门铁克科技有限公司 一种文件***内实现独立磁盘冗余阵列保护的方法及装置
CN105159607A (zh) * 2015-08-28 2015-12-16 浪潮(北京)电子信息产业有限公司 一种基于离散存储的高速写入的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103608783A (zh) * 2011-06-08 2014-02-26 微软公司 用于备份应用的存储体系结构
CN103019626A (zh) * 2012-12-17 2013-04-03 华为技术有限公司 存储***、控制集群元数据的方法及装置
CN104166524A (zh) * 2014-08-19 2014-11-26 浪潮电子信息产业股份有限公司 一种元数据和数据的处理方法
CN105786655A (zh) * 2016-03-08 2016-07-20 成都云祺科技有限公司 一种虚拟机备份数据重复数据删除方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113986944A (zh) * 2021-12-29 2022-01-28 天地伟业技术有限公司 分片数据的写入方法、***及电子设备
CN113986944B (zh) * 2021-12-29 2022-03-25 天地伟业技术有限公司 分片数据的写入方法、***及电子设备
CN114328421A (zh) * 2022-03-17 2022-04-12 联想凌拓科技有限公司 元数据服务架构管理方法、计算机***、电子设备及介质
CN118069432A (zh) * 2024-04-19 2024-05-24 济南浪潮数据技术有限公司 分布式块存储卷快照回滚方法、装置、设备和存储介质

Also Published As

Publication number Publication date
WO2018081960A1 (zh) 2018-05-11
CN108271420B (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
US8515911B1 (en) Methods and apparatus for managing multiple point in time copies in a file system
US8606759B2 (en) Apparatus, system and method for recovering meta data using fragmentary information
CN105814544B (zh) 用于支持分布式数据网格中的持久化分区恢复的***和方法
US10599535B2 (en) Restoring distributed shared memory data consistency within a recovery process from a cluster node failure
US9367579B1 (en) System and method for maintaining a file change log within a distributed file system
EP2879040B1 (en) Data storage method, data storage apparatus, and storage device
CN109739815B (zh) 文件处理方法、***、装置、设备及存储介质
US8332600B2 (en) Storage system and method for operating storage system
US10013312B2 (en) Method and system for a safe archiving of data
CN108415986B (zh) 一种数据处理方法、装置、***、介质和计算设备
CN109241004B (zh) 元数据文件大小恢复方法、***、装置及可读存储介质
EP3731097A1 (en) System and method for accelerated data access
JPWO2016117022A1 (ja) ログの管理方法及び計算機システム
US11061889B2 (en) Systems and methods of managing manifest refresh in a database
US20240143469A1 (en) Scalable exactly-once data processing using transactional streaming writes
CN108271420A (zh) 管理文件的方法、文件***和服务器***
JP2021515304A (ja) システムにおける時系列ログ構造のキーバリュー・ストア内のチェックポイントを使用した障害後のリカバリのための方法、コンピュータ・プログラム、および装置
US20160191331A1 (en) Method and system for administration of storage objects
US10915403B2 (en) Versioned records management using restart era
CN111309799A (zh) 数据合并的实现方法、装置、***及存储介质
US9852031B2 (en) Computer system and method of identifying a failure
CN111753141A (zh) 一种数据管理方法及相关设备
CN114328007B (zh) 一种容器备份还原方法、装置及其介质
US10922277B1 (en) Logging file system metadata changes using a single log hold per cached block of metadata
CN111399753B (zh) 写入图片的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant