CN103229173B - 元数据管理方法及*** - Google Patents
元数据管理方法及*** Download PDFInfo
- Publication number
- CN103229173B CN103229173B CN201280002961.5A CN201280002961A CN103229173B CN 103229173 B CN103229173 B CN 103229173B CN 201280002961 A CN201280002961 A CN 201280002961A CN 103229173 B CN103229173 B CN 103229173B
- Authority
- CN
- China
- Prior art keywords
- directory
- catalogue
- metadata
- name
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种元数据管理方法及***，其中，元数据管理方法包括：以目录层次结构作为元数据组织结构，并以对象***中的用户名作为目录层次结构中根目录下的第一层目录；以对象***中用户名对应的桶作为目录层次结构中该用户名目录下的目录；根据对象***中与每个桶关联的对象名中的分割符“/”将对象名分割为对应桶目录下的目录名或文件名；以相同目录的索引节点集合为存储单位存储元数据，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中。本发明应用于与将文件***和对象***的元数据进行统一存储管理的元数据存储***中。
Description
技术领域
本发明涉及计算机技术，尤其涉及一种元数据管理方法及***。
背景技术
元数据是保存于存储介质上的用于管理数据的数据，其可使用户根据该元数据进行定位获取其管理的数据。
现有技术中的元数据的组织结构分为两类：文件***元数据和对象***元数据，其中，文件***元数据以文件/目录为单位，该元数据组织结构中的各个文件和目录采用层级结构的目录树，以索引节点(inode)为存储单位进行存储，在查询定位时以各级inode为标识进行逐级多次输入输出(IO)定位；对象***元数据组织结构以桶/对象(Bucket/object)为存储单位进行存储，object是没有目录层级结构的名称，在查询定位时以全路径名为标识进行一次IO定位。
由于现有的元数据管理在文件***和对象***中的数据组织结构不同，因此两类***分别需要相应的元数据存储，即需要两套元数据存储***，所以，实际应用中需要一种元数据存储管理结构在不影响两类***各自应用特点和操作效率的情况下，能够同时实现两类***的元数据管理。
发明内容
本发明提供一种元数据管理方法及***，用以在保证文件***和对象***各自应用特点和操作效率的情况下，统一文件***和对象***的元数据存储。
本发明的第一个方面是提供一种元数据管理方法，包括：以目录层次结构作为元数据组织结构，并以对象***中的用户名作为目录层次结构中根目录下的第一层目录；以对象***中用户名对应的桶作为目录层次结构中该用户名目录下的目录；根据对象***中与每个桶关联的对象名中的分割符将对象名分割为对应桶目录下的目录名或文件名；
以相同目录的索引节点集合为存储单位存储元数据，并以目录名或文件名所在目录的绝对路径名计算的哈希(hash)值作为存储单位的标识存储在目录索引节点中。
结合第一个方面的元数据管理方法，在第一种实现方式中，若相同目录中的索引节点个数大于预设的个数时，对该相同目录中的索引节点进行二叉树分片存储在同一标识对应的不同存储单位中。
结合第一个方面的元数据管理方法或第一种实现方式，在第二种实现方式中，若根据不同绝对路径名计算得到相同的hash值，则将该不同绝对路径对应的目录存放于该相同的hash值标识对应的不同存储单位中。
本发明的第二个方面是提供一种元数据管理***，包括：
组织模块，用于以目录层次结构作为元数据组织结构，并以对象***中的用户名作为目录层次结构中根目录下的第一层目录；以对象***中用户名对应的桶作为目录层次结构中该用户名目录下的目录；根据对象***中与每个桶关联的对象名中的分割符将对象名分割为对应桶目录下的目录名或文件名；
存储模块，用于以相同目录的索引节点集合为存储单位存储元数据，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中。
结合第二个方面的元数据管理***，在第一种实现方式中，所述存储模块，还用于若相同目录中的索引节点个数大于预设的个数时，对该相同目录中的索引节点进行二叉树分片存储在同一标识对应的不同存储单位中。
结合第二个方面的元数据管理***或第一种实现方式，在第二种实现方式中，所述存储模块，还用于若根据不同绝对路径名计算得到相同的hash值，则将该不同绝对路径对应的目录存放于该相同的hash值标识对应的不同存储单位中。
本发明通过以目录层次结构作为元数据组织结构，并以对象***中与每个桶关联的对象名中的分割符“/”将对象名分割为对应桶目录下的目录名或文件名，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中，实现了文件***和对象***共用一份元数据管理***而且由于采用这种元数据管理方法，对文件***和对象***的各自性能和目录操作效率并没有影响，所以对文件***和对象***的用户来说，不会出现任何使用不便的问题；进一步通过二叉树分片技术以克服同一标识具有较多节点索引时查询效率问题；同时，当出现计算的hash值出现冲突时，进一步通过将不同目录存放在标识相同的一组存储单位中以克服，还可配合分片技术以避免降低效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明元数据管理方法实施例的流程图；
图2为本发明元数据管理方法具体应用例的示意图；
图3为本发明元数据管理***实施例的结构示意图；
图4为本发明元数据管理***一个应用例的结构示意图
图5为本发明元数据管理***另一个应用例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明元数据管理方法实施例的流程图，如图1所示，本实施例的方法包括：
步骤101、以目录层次结构作为元数据组织结构，并以对象***中的用户名作为目录层次结构中根目录下的第一层目录；以对象***中用户名对应的桶作为目录层次结构中该用户名目录下的目录；根据对象***中与每个桶关联的对象名中的分割符“/”将对象名分割为对应桶目录下的目录名或文件名。
本发明实施例中，逻辑上将文件***和对象***的元数据进行了统一，文件***和对象***使用存储的同一份元数据。该元数据的数据组织结构采用文件***的目录层次结构，而将对象***中各个对象名按照分割符“/”进行分割，得到对应桶目录下的目录名或文件名，以便于后续根据各个目录或文件所在的绝对路径名确定存储单位的标识。
步骤102、以相同目录的索引节点集合为存储单位存储元数据，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中。
在上述步骤的目录组织结构的基础上，本步骤计算获取各个目录或文件所在的目录的绝对路径名对应的目录标识(dir_id)，即存储单位的标识，并存储该目录标识，使后续目录操作时根据该目录标识可直接一次获取对应的数据。本实施例中，通过计算目录名或文件名所在目录的绝对路径名的hash值获取相应的目录标识，由于以路径结构层次化的方法获取的hash值中包含层次化hash算法，所以能够减少标识冲突。而且通过计算hash值的方法可以非顺序分配存储单位的标识，且标识中含有路径快速定位信息的分配算法，保证了目录操作的快速定位，提高了操作效率。由于采用本发明的方法存储的元数据，并不影响文件***和对象***的各自性能和目录操作效率，因此用户在使用两类***时不会出现使用不便的问题；而且由于两类***采用同一份元数据存储，当用户在文件***中进行元数据更新时，在对象***中可以看到更新的数据，反之亦然。根据上述方法存储的元数据，文件***可以直接使用，对象***也可以直接使用，即两类***统一采用一份元数据存储***进行元数据管理，而且，对采用本发明的方法存储的元数据进行操作时，对象***可通过其与元数据管理***的接口模块一次IO操作即可获取相应的数据。
在实际应用中，以相同目录的索引节点集合为存储单位存储元数据时，相同目录的索引节点可能为多个，当进行目录操作时，需要逐个比较以找出要操作的项目，从而出现目录应用中操作效率较低的问题，为解决这个问题，本发明实施例中还进一步通过二叉树分片存储技术配合上述实施例中的元数据管理方法，即若相同目录中的索引节点个数大于预设的个数时，对该相同目录中的索引节点进行二叉树分片存储，如将属于同一目录的子目录或文件进行分片，存储在标识相同的不同存储单位中，从而当进行目录操作时，可根据标识获取相应的一组存储单位时，从该一组存储单位中根据二叉树分片找到相应的项目，其中预设的个数为根据需要设定。
在实际元数据存储中，存在根据不同绝对路径名计算得到相同的hash值的情况，即存在存储冲突的问题，在这种情况下，本发明实施例还进一步采用将根据不同绝对路径名计算得到相同的hash值的该不同绝对路径对应的目录存放于该相同的hash值标识对应的不同存储单位中，即存放在相同标识对应的一组存储单位中，以避免存储冲突，同时配合上述的二叉树分片存储技术保证目录操作效率。
根据上述元数据管理方法存储的元数据，在目录操作时，由于文件***的重命名或移动操作需要多次IO，效率较低，因此，文件***可通过***的日志进行改善时延，即文件***通过其元数据服务器(Metadataserver，简称MDS)读取存储元数据，具体过程为：根据记录在目录索引节点中的目录标识，即存储单位的标识一次IO读取对应目录的数据，并缓存在内存中，当执行重命名或移动操作时，可在元数据服务器集群中记录日志，修改对应子目录的存储单位标识，当后续刷日志时将修改后的子目录的元数据写到新位置。对象***的对象存储控制器(Objectstorecontroller，简称OSC)在执行用户的目录操作请求时，可以对操作请求的对象名计算hash值；根据计算得到的hash值一次IO读取存储的索引节点信息；根据索引节点信息获取用户请求的数据。
在上述的目录操作中，若通过文件***进行的元数据更新，可通过对象***直接得到更新后的元数据，同时通过对象***进行的元数据更新，也可通过文件***直接得到更新后的元数据，而且针对各自的***，元数据以相应的形态呈现给用户，从而不影响各自***的性能。
本发明实施例通过以目录层次结构作为元数据组织结构，并以对象***中与每个桶关联的对象名中的分割符“/”将对象名分割为对应桶目录下的目录名或文件名，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中，实现了文件***和对象***共用一份元数据管理***，而且由于采用这种元数据管理方法，对文件***和对象***的各自性能和目录操作效率并没有影响，所以对文件***和对象***的用户来说，不会出现任何使用不便的问题；进一步通过二叉树分片技术以克服同一标识具有较多节点索引时查询效率问题；同时，当出现计算的hash值出现冲突时，进一步通过将不同目录存放在标识相同的一组存储单位中以克服，还可配合分片技术以避免降低效率。
图2为本发明元数据管理方法具体应用例的示意图，图2中位于同一目录下的各个子目录或文件属于同一存储单位，并具有同一索引节点信息，如绝对路径为/kobe/bucket_1下包含子目录k1，k1_1和文件k_a.avi，依照本发明的元数据管理方法，将三者存放于同一存储单位中，并根据三者所属的绝对路径/kobe/bucket_1进行hash计算，获取hash值为23，以该hash值作为该存储单位的标识。其他各个索引节点类似。图2中目录bucket_4下包含三个子目录和一个文件，为降低目录操作时的查询效率，图2中将目录bucket_4下的子目录或文件进行了二叉树分片，分成两个存储单位，且这两个存储单位存放于标识33对应的两个存储单位中。另外，当出现目录bucket_4下的子目录和目录bucket_5的子目录所在的绝对路径通过hash计算获取的hash值相同，即出现标识冲突的问题时，可以将bucket_4下的子目录和目录bucket_5的子目录采用相同的标识33，并且使其分别位于不同的存储单位中，存储单位再分别用33_0，33_1和33_2标识以区分。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，处理器，如中央处理单元(英文为CentralProcessingUnit，简称CPU)，执行包括上述方法实施例的步骤；而前述的存储介质包括：只读存储器(英文为read-onlymemory，简称ROM)、随机存储器(英文为randomaccessmemory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
图3为本发明元数据管理***实施例的结构示意图，如图3所示，本实施例的***包括：组织模块10和存储模块20，其中，组织模块10，用于以目录层次结构作为元数据组织结构，并以对象***中的用户名作为目录层次结构中根目录下的第一层目录；以对象***中用户名对应的桶作为目录层次结构中该用户名目录下的目录；根据对象***中与每个桶关联的对象名中的分割符“/”将对象名分割为对应桶目录下的目录名或文件名；存储模块20，用于以相同目录的索引节点集合为存储单位存储元数据，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中。
本实施例中，组织模块10根据对象***中各个桶/对象将与每个桶关联的对象名分割为对应桶目录下的目录名或文件名，并由存储模块存储根据每个目录名或文件名所在目录的绝对路径名计算的hash值，当后续进行目录操作时，可以根据相应的hash值通过一次IO即可获取目录操作对应的数据。
在另一元数据管理***实施例中，在上述图2所示实施例中存储模块还可进一步用于若相同目录中的索引节点个数大于预设的个数时，对该相同目录中的索引节点进行二叉树分片存储在同一标识对应的不同存储单位中，以解决同一目录中的子目录较多时查询效率较低的问题。
在又一元数据管理***实施例中，在上述图2所示实施例中存储模块还可进一步用于若根据不同绝对路径名计算得到相同的hash值，则将该不同绝对路径对应的目录存放于该相同的hash值标识对应的不同存储单位中，以避免出现的存储冲突问题。
在上述元数据管理***的任一实施例中，实际应用中还可以进一步包括：接口模块，实现与文件***或对象***的接口，图4为本发明元数据管理***一个应用例的结构示意图，如图4所示，在上述实施例的基础上，本实施例的元数据管理***还包括第一接口模块30和第二接口模块40，其中第一接口模块30，用于当文件***的元数据服务器读元数据时，根据存储的存储单位的标识一次读取对应目录的数据，并缓存在内存中；且当文件***的元数据服务器执行重命名或移动操作时，修改对应子目录的存储单位标识，并记录日志，以使刷日志时将修改后的子目录的元数据写到新位置，以实现文件***操作目录时与元数据管理***接口。
第二接口模块40，用于当对象***的对象存储控制器执行用户的目录操作请求时，对操作请求的对象名计算hash值；根据计算得到的hash值一次读取索引节点信息；根据索引节点信息获取用户请求的数据，以实现对象***操作目录时与元数据管理***接口。
本发明实施例可用于执行上述方法实施例的技术方案，其工作原理及达到的技术效果类似，不再详细赘述。
在实际应用中，上述第一接口模块和第二接口模块也可以是独立于元数据管理***的功能模块，元数据管理***仅作为元数据存储***使用。
图5为本发明元数据管理***另一应用例的结构示意图，如图5所示，文件***通过可移植操作***接口(PortableOperatingSystemInterface，简称POSIX)接口与本发明元数据管理***进行交互执行目录操作，对象***通过Asazon的S3接口与本发明元数据管理***进行交互执行目录操作，两类***共用一份元数据存储管理***。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种元数据管理方法，应用于计算机存储***中，其特征在于，包括：
以目录层次结构作为元数据组织结构，并以对象***中的用户名作为目录层次结构中根目录下的第一层目录；以对象***中用户名对应的桶作为目录层次结构中该用户名目录下的目录；根据对象***中与每个桶关联的对象名中的分割符将对象名分割为对应桶目录下的目录名或文件名；
以相同目录的索引节点集合为存储单位存储元数据，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中；
若相同目录中的索引节点个数大于预设的个数时，对该相同目录中的索引节点进行二叉树分片存储在同一标识对应的不同存储单位中。
2.根据权利要求1所述的方法，其特征在于，若根据不同绝对路径名计算得到相同的hash值，则将该不同绝对路径对应的目录存放于该相同的hash值标识对应的不同存储单位中。
3.根据权利要求1所述的方法，其特征在于，当文件***的元数据服务器读元数据时，根据存储的存储单位的标识一次读取对应目录的数据，并缓存在内存中。
4.根据权利要求3所述的方法，其特征在于，当文件***的元数据服务器执行重命名或移动操作时，修改对应子目录的存储单位标识，并记录日志，以使刷日志时将修改后的子目录的元数据写到新位置。
5.根据权利要求1所述的方法，其特征在于，当对象***的对象存储控制器执行用户的目录操作请求时，对操作请求的对象名计算hash值；根据计算得到的hash值一次读取索引节点信息；根据索引节点信息获取用户请求的数据。
6.一种元数据管理***，应用于计算机存储***中，其特征在于，包括：
组织模块，用于以目录层次结构作为元数据组织结构，并以对象***中的用户名作为目录层次结构中根目录下的第一层目录；以对象***中用户名对应的桶作为目录层次结构中该用户名目录下的目录；根据对象***中与每个桶关联的对象名中的分割符将对象名分割为对应桶目录下的目录名或文件名；
存储模块，用于以相同目录的索引节点集合为存储单位存储元数据，并以目录名或文件名所在目录的绝对路径名计算的hash值作为存储单位的标识存储在目录索引节点中；
所述存储模块，还用于若相同目录中的索引节点个数大于预设的个数时，对该相同目录中的索引节点进行二叉树分片存储在同一标识对应的不同存储单位中。
7.根据权利要求6所述的***，其特征在于，所述存储模块，还用于若根据不同绝对路径名计算得到相同的hash值，则将该不同绝对路径对应的目录存放于该相同的hash值标识对应的不同存储单位中。
8.根据权利要求6所述的***，其特征在于，还包括：
第一接口模块，用于当文件***的元数据服务器读元数据时，根据存储的存储单位的标识一次读取对应目录的数据，并缓存在内存中。
9.根据权利要求8所述的***，其特征在于，第一接口模块，还用于当文件***的元数据服务器执行重命名或移动操作时，修改对应子目录的存储单位标识，并记录日志，以使刷日志时将修改后的子目录的元数据写到新位置。
10.根据权利要求6所述的***，其特征在于，还包括：
第二接口模块，用于当对象***的对象存储控制器执行用户的目录操作请求时，对操作请求的对象名计算hash值；根据计算得到的hash值一次读取索引节点信息；根据索引节点信息获取用户请求的数据。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2012/087519 WO2014101000A1 (zh) | 2012-12-26 | 2012-12-26 | 元数据管理方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103229173A CN103229173A (zh) | 2013-07-31 |
| CN103229173B true CN103229173B (zh) | 2016-08-03 |
Family
ID=48838332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280002961.5A Active CN103229173B (zh) | 2012-12-26 | 2012-12-26 | 元数据管理方法及*** |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN103229173B (zh) |
| WO (1) | WO2014101000A1 (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104424238B (zh) * | 2013-08-27 | 2018-12-14 | 华为技术有限公司 | 一种海量文件生成的方法、装置 |
| US10210191B2 (en) | 2014-03-20 | 2019-02-19 | International Business Machines Corporation | Accelerated access to objects in an object store implemented utilizing a file storage system |
| CN104123359B (zh) * | 2014-07-17 | 2017-03-22 | 江苏省邮电规划设计院有限责任公司 | 一种分布式对象存储***的资源管理方法 |
| US20160063021A1 (en) * | 2014-08-28 | 2016-03-03 | Futurewei Technologies, Inc. | Metadata Index Search in a File System |
| CN105701096A (zh) * | 2014-11-25 | 2016-06-22 | 腾讯科技（深圳）有限公司 | 索引生成方法、数据查询方法、装置及*** |
| CN106682003B (zh) * | 2015-11-06 | 2019-09-20 | 中国电信股份有限公司 | 分布式存储命名空间的路径分割映射方法和装置 |
| CN105530299B (zh) * | 2015-12-12 | 2019-04-23 | 天津南大通用数据技术股份有限公司 | 目录服务日志的实现方法 |
| CN107818113B (zh) * | 2016-09-13 | 2023-08-11 | 中兴通讯股份有限公司 | 文件访问位置的确定方法及装置 |
| CN106484820B (zh) * | 2016-09-26 | 2020-01-17 | 华为技术有限公司 | 一种重命名方法、访问方法及装置 |
| CN106599102A (zh) * | 2016-11-29 | 2017-04-26 | 郑州云海信息技术有限公司 | 一种基于目录切分机制的元数据性能提升方法 |
| CN107346338B (zh) * | 2017-06-30 | 2021-01-01 | 武汉斗鱼网络科技有限公司 | 文件目录排序方法及装置 |
| CN107357929B (zh) * | 2017-07-27 | 2020-06-23 | Oppo广东移动通信有限公司 | 文件读取方法、移动终端及可读存储介质 |
| CN107678981A (zh) * | 2017-08-24 | 2018-02-09 | 北京盛和大地数据科技有限公司 | 数据处理方法及装置 |
| CN107885829A (zh) * | 2017-11-08 | 2018-04-06 | 郑州云海信息技术有限公司 | 对象存储对接Hadoop的重命名方法、装置、设备和存储介质 |
| CN110659154A (zh) * | 2018-06-28 | 2020-01-07 | 北京京东尚科信息技术有限公司 | 一种数据处理方法和装置 |
| CN109299190B (zh) * | 2018-09-10 | 2020-11-17 | 华为技术有限公司 | 分布式存储***中处理对象的元数据的方法及装置 |
| CN109446160A (zh) * | 2018-11-06 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种文件读取方法、***、装置及计算机可读存储介质 |
| CN109756484B (zh) * | 2018-12-12 | 2021-10-15 | 杭州数梦工场科技有限公司 | 基于对象存储的网关的控制方法、控制装置、网关和介质 |
| CN109582644B (zh) * | 2018-12-21 | 2023-04-07 | 深圳前海微众银行股份有限公司 | 文件存储方法、装置、设备及计算机可读存储介质 |
| CN111008185B (zh) * | 2019-10-29 | 2023-08-18 | 厦门网宿有限公司 | 一种数据共享方法、***及设备 |
| CN111324799B (zh) * | 2020-02-05 | 2021-05-04 | 星辰天合（北京）数据科技有限公司 | 搜索请求的处理方法及装置 |
| CN113448921A (zh) * | 2020-03-28 | 2021-09-28 | 华为技术有限公司 | 一种存储管理方法、装置及存储*** |
| CN113282551B (zh) * | 2021-07-22 | 2022-05-31 | 阿里云计算有限公司 | 数据处理方法、***及设备 |
| CN114138725A (zh) * | 2021-12-08 | 2022-03-04 | 北京志凌海纳科技有限公司 | 一种层次化的日志存储处理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1545047A (zh) * | 2003-11-24 | 2004-11-10 | 华中科技大学 | 一种存储虚拟化***的元数据层次管理方法及其*** |
| CN101719141A (zh) * | 2009-12-24 | 2010-06-02 | 成都市华为赛门铁克科技有限公司 | 基于目录对象的文件处理方法和*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7685126B2 (en) * | 2001-08-03 | 2010-03-23 | Isilon Systems, Inc. | System and methods for providing a distributed file system utilizing metadata to track information about data stored throughout the system |
-
2012
- 2012-12-26 CN CN201280002961.5A patent/CN103229173B/zh active Active
- 2012-12-26 WO PCT/CN2012/087519 patent/WO2014101000A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1545047A (zh) * | 2003-11-24 | 2004-11-10 | 华中科技大学 | 一种存储虚拟化***的元数据层次管理方法及其*** |
| CN101719141A (zh) * | 2009-12-24 | 2010-06-02 | 成都市华为赛门铁克科技有限公司 | 基于目录对象的文件处理方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2014101000A1 (zh) | 2014-07-03 |
| CN103229173A (zh) | 2013-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103229173B (zh) | 元数据管理方法及*** | |
| CN103577123B (zh) | 一种基于hdfs的小文件优化存储方法 | |
| US10013317B1 (en) | Restoring a volume in a storage system | |
| US8799601B1 (en) | Techniques for managing deduplication based on recently written extents | |
| US9043540B2 (en) | Systems and methods for tracking block ownership | |
| CN103282899B (zh) | 文件***中数据的存储方法、访问方法及装置 | |
| US9047301B2 (en) | Method for optimizing the memory usage and performance of data deduplication storage systems | |
| US20170123931A1 (en) | Object Storage System with a Distributed Namespace and Snapshot and Cloning Features | |
| CN109726174A (zh) | 数据归档方法、***、设备以及存储介质 | |
| US9996557B2 (en) | Database storage system based on optical disk and method using the system | |
| US10102210B2 (en) | Systems and methods for multi-threaded shadow migration | |
| US10642837B2 (en) | Relocating derived cache during data rebalance to maintain application performance | |
| RU2646349C2 (ru) | Способ и система для обработки данных | |
| US20130006993A1 (en) | Parallel data processing system, parallel data processing method and program | |
| CN104899297A (zh) | 具有存储感知的混合索引结构 | |
| CN113535670B (zh) | 一种虚拟化资源镜像存储***及其实现方法 | |
| CN104462389A (zh) | 基于分级存储的分布式文件***实现方法 | |
| CN103942301B (zh) | 一种面向多数据类型访问应用的分布式文件*** | |
| CN110134335A (zh) | 一种基于键值对的rdf数据管理方法、装置及存储介质 | |
| CN103473258A (zh) | 云存储文件*** | |
| CN107346209B (zh) | 一种多磁盘聚合式数据存储***及其实现方法与应用方法 | |
| Zhao et al. | Toward efficient and flexible metadata indexing of big data systems | |
| CN102024051A (zh) | 分布式内存数据库数据更新方法 | |
| US10521398B1 (en) | Tracking version families in a file system | |
| CN104537023A (zh) | 一种反向索引记录的存储方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |