CN103914483B - 文件存储方法、装置及文件读取方法、装置 - Google Patents

文件存储方法、装置及文件读取方法、装置 Download PDF

Info

Publication number
CN103914483B
CN103914483B CN201310005203.5A CN201310005203A CN103914483B CN 103914483 B CN103914483 B CN 103914483B CN 201310005203 A CN201310005203 A CN 201310005203A CN 103914483 B CN103914483 B CN 103914483B
Authority
CN
China
Prior art keywords
file
section
value
keyword
files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310005203.5A
Other languages
English (en)
Other versions
CN103914483A (zh
Inventor
胡盼盼
刘永升
李希源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Shenzhen Tencent Computer Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tencent Computer Systems Co Ltd filed Critical Shenzhen Tencent Computer Systems Co Ltd
Priority to CN201310005203.5A priority Critical patent/CN103914483B/zh
Priority to PCT/CN2013/088416 priority patent/WO2014106418A1/en
Publication of CN103914483A publication Critical patent/CN103914483A/zh
Priority to US14/726,367 priority patent/US20150261783A1/en
Application granted granted Critical
Publication of CN103914483B publication Critical patent/CN103914483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种文件存储方法、装置及文件读取方法、装置。包括步骤：将文件划分为至少一个文件段，根据每个文件段生成唯一的段关键字以及与段关键字相应的段查找值，根据文件的主关键字与相应的段关键字生成主存储节点；将文件段划分为至少一个文件块，根据每个文件块生成在相应的文件段内唯一的块查找值，块查找值设置在相应的段查找值下，根据段查找值以及块查找值生成段存储节点；以及将块查找值与相应的块级索引信息关联。本发明还涉及一种文件存储装置、文件读取方法及装置。本发明对文件索引进行分组存储，可以提高存储文件的最大存储容量，同时加快了文件读取速度以及减少了文件读取资源的开销。

Description

文件存储方法、装置及文件读取方法、装置
技术领域
本发明涉及文件存储领域，特别是涉及一种可节省资源及实现快速读取的超大容量文件存储方法、装置及文件读取方法、装置。
背景技术
请参照图1，图1为现有的分布式文件***的文件存储装置的存储结构示意图。在该文件存储装置中，对于超大文件的存储一般采用分块存储的方式；即一个超大文件的所有数据块按照一定的规则分布存储在多个存储节点中，同时文件存储装置中有一个统一的数据管理节点，来记录超大文件中每个块的索引信息，即数据块对应的存储节点的信息。
在现有的分布式文件***中，每个文件会生成一个唯一的关键字，即对应一个值，这个值保存了这个文件的块级索引信息，并打包为二级制的格式存储在文件存储装置中。这些块级索引信息使用链表的方式按顺序连接起来构成上述的关键字对应的值。在查找某个文件中的某个块的索引信息时，首先根据文件的关键字查找与该关键字相应的块级索引信息的链表，最后通过顺序查找的方式得到数据块的索引信息。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
（1）文件存储装置对所有关键字的总长度有限制，即限定了通过关键字保存的块级索引信息的数量，从而限制了整个存储文件的大小。
（2）随着文件不断增大，块级索引信息会越来越多。由于每一次索引查找都需要解析整个索引链表，并进行顺序查找，导致解析值和查找定位的***开销将越来越大，从而影响分布式文件***的性能。
故，有必要提供一种可节省资源及实现快速读取的文件存储方法、装置及文件读取方法、装置，以解决现有技术所存在的问题。
发明内容
本发明的目的在于提供一种对文件索引进行分组存储的文件存储方法、装置及文件读取方法、装置，可以提高存储文件的最大存储容量，同时加快了文件索引读取速度以及减少了文件读取资源的开销；以解决现有的文件存储方法及装置存储文件大小受限制，文件索引读取速度慢以及文件索引读取资源开销大的技术问题。
为解决上述问题，本发明提供的技术方案如下：
本发明实施例涉及一种文件存储方法，其包括步骤：
根据文件容量将文件划分为至少一个文件段，根据每个所述文件段生成唯一的段关键字以及与所述段关键字相应的段查找值，根据所述文件的主关键字与相应的段关键字生成主存储节点；
将所述文件段划分为至少一个文件块，根据每个所述文件块生成在相应的文件段内唯一的块查找值，所述块查找值设置在相应的段查找值下，根据所述段查找值以及所述块查找值生成段存储节点；以及
将所述块查找值与相应的块级索引信息关联。
本发明实施例还涉及一种文件存储装置，其包括：
主存储节点生成模块，用于根据文件容量将文件划分为至少一个文件段，根据每个所述文件段生成唯一的段关键字以及与所述段关键字相应的段查找值，根据所述文件的主关键字与相应的段关键字生成主存储节点；
段存储节点生成模块，用于将所述文件段划分为至少一个文件块，根据每个所述文件块生成在相应的文件段内唯一的块查找值，所述块查找值设置在相应的段查找值下，根据所述段查找值以及所述块查找值生成段存储节点；以及
关联模块，用于将块查找值与相应的块级索引信息关联。
本发明实施例还涉及一种文件读取方法，其包括步骤：
根据文件块所属文件段的主关键字确定所述文件段的主存储节点；
根据所述文件段的段关键字确定所述文件段在所述主关键字下的段存储节点及相应的段查找值；以及
根据所述文件块的块查找值确定所述文件块在所述段查找值下的块级索引信息的位置。
本发明实施例还涉及一种文件读取装置，其包括：
主存储节点确定模块，用于根据文件块所属文件段的主关键字确定所述文件段的主存储节点；
段存储节点确定模块，用于根据所述文件段的段关键字确定所述文件段在所述主关键字下的段存储节点及相应的段查找值；以及
文件块位置确定模块，用于根据所述文件块的块查找值确定所述文件块在所述段查找值下的块级索引信息的位置。
相较于现有技术的文件存储方法及装置，本发明的文件存储方法、装置及文件读取方法、装置对文件索引进行分组存储，可以提高存储文件的最大存储容量，同时加快了文件索引读取速度以及减少了文件索引读取资源的开销。解决了现有的文件存储方法及装置存储文件大小受限制，文件索引读取速度慢以及文件索引读取资源开销大的技术问题。
附图说明
图1为现有的分布式文件***的文件存储装置的存储结构示意图；
图2为本发明的文件存储方法的优选实施例的流程图；
图3为本发明的文件存储装置的优选实施例的结构示意图；
图4为本发明的文件读取方法的优选实施例的流程图；
图5为本发明的文件读取装置的优选实施例的结构示意图；
图6为本发明的文件存储方法及装置的具体实施例的工作原理图；
图7为本发明的文件读取方法及装置的具体实施例的工作原理图。
具体实施方式
以下各实施例的说明是参考附加的图式，用以例示本发明可用以实施的特定实施例。
请参照图2，图2为本发明的文件存储方法的优选实施例的流程图。本优选实施例的文件存储方法包括，
步骤201，将文件划分为至少一个文件段，根据每个文件段生成唯一的段关键字以及与段关键字相应的段查找值，根据文件的主关键字与相应的段关键字生成主存储节点；
步骤202，将文件段划分为至少一个文件块，根据每个文件块生成在相应的文件段内唯一的块查找值，块查找值设置在相应的段查找值下，根据段查找值以及块查找值生成段存储节点；
步骤203，将块查找值与相应的块级索引信息关联；
本优选实施例的文件存储方法结束于步骤103。
下面详细说明本优选实施例的文件存储方法的各步骤的具体流程。
在步骤201中，给每个文件设定与之相应的主关键字，然后根据该文件的容量将该文件划分为多个文件段，即文件越大，划分的段数可越多，段的大小可自定义设置；随后根据每个文件段生成在本文件中唯一的段关键字，以及与该段关键字相应的段查找值，其中段关键字按文件的内容的偏移量的顺序设置在相应的主关键字下，最后根据文件的主关键字与相应的段关键字生成主存储节点；其中段关键字与段查找值采用基于key-value（键-值）的分布式存储。
随后来到步骤202。
在步骤202中，将文件段划分为多个文件块，然后根据该文件段下的每个文件块生成相应的块查找值（在该文件段内唯一），该块查找值以数组的形式按文件的内容的偏移量的顺序设置在相应的段查找值下，最后根据段查找值以及相应的块查找值生成段存储节点。其中段查找值与块查找值采用基于key-value（键-值）的分布式存储。这样进行文件块的检索时，可通过主关键字找到相应的主存储节点，通过段关键字找到该文件块所在文件段，通过块查找值找到该文件块在该文件段中的位置。
随后来到步骤203。
在步骤203中，将块查找值与相应的块级索引信息关联，这样通过主关键字、段关键字以及块查找值可快速的查找到相应的块级索引信息，进行文件块的索引。
这样即完成了整个文件块的存储过程。
本优选实施例的文件存储方法对文件索引进行分组存储，可以提高存储文件的最大存储容量，同时加快了文件读取速度以及减少了文件读取资源的开销。此外块查找值以及段关键字的顺序设置方式，进一步缩短了文件块的查找时间，段关键字与段查找值、段查找值与块查找值采用基于key-value的NoSQL（非关系型的数据库）的分布式存储，具有更高的可靠性和扩展性。
本发明还涉及一种文件存储装置，请参照图3，图3为本发明的文件存储装置的优选实施例的结构示意图。本优选实施例的文件存储装置包括主存储节点生成模块31、段存储节点生成模块32以及关联模块33。主存储节点生成模块31用于根据文件容量将文件划分为至少一个文件段，根据每个文件段生成唯一的段关键字以及与段关键字相应的段查找值，根据文件的主关键字与相应的段关键字生成主存储节点；段存储节点生成模块32用于将文件段划分为至少一个文件块，根据每个文件块生成在相应的文件段内唯一的块查找值，块查找值设置在相应的段查找值下，根据段查找值以及所述块查找值生成段存储节点；关联模块33用于将块查找值与相应的块级索引信息关联。
本优选实施例的文件存储装置使用时，主存储节点生成模块31根据文件容量将文件划分为至少一个文件段，根据每个文件段生成唯一的段关键字以及与段关键字相应的段查找值，根据文件的主关键字与相应的段关键字生成主存储节点，其中段关键字按文件的内容的偏移量的顺序设置在主关键字下，段关键字与段查找值采用基于key-value的分布式存储；随后段存储节点生成模块32将文件段划分为至少一个文件块，根据每个文件块生成在相应的文件段内唯一的块查找值，块查找值设置在相应的段查找值下，根据段查找值以及块查找值生成段存储节点，其中块查找值以数组的形式按文件的内容的偏移量的顺序设置在相应的段查找值下，段查找值与块查找值采用基于key-value的分布式存储；最后关联模块33将块查找值与相应的块级索引信息关联，通过主关键字、段关键字以及块查找值可快速的查找到相应的块级索引信息，即完成了整个文件块的存储过程。
本优选实施例的文件存储装置的具体工作原理与上述的文件存储方法的优选实施例中的描述相同或相似，具体请参见上述文件存储方法的优选实施例中的相关描述。
本发明还涉及一种文件读取方法，请参照图4，图4为本发明的文件读取方法的优选实施例的流程图。本优选实施例的文件读取方法包括：
步骤401，根据文件块所属文件段的主关键字确定文件段的主存储节点；
步骤402，根据文件段的段关键字确定文件段在主关键字下的段存储节点及相应的段查找值；
步骤403，根据文件块的块查找值确定文件块在段查找值下的块级索引信息的位置；
本优选实施例的文件读取方法结束于步骤403。
下面详细说明本优选实施例的文件读取方法的各步骤的具体流程。
在步骤401中，文件根据该文件的容量被划分为多个文件段，然后将每个文件段划分为多个文件块，即根据文件块生成文件段，根据文件段生成文件。每个文件块都具有相应的主关键字、段关键字以及块查找值。在本步骤中，根据文件块所属的文件段的主关键字确定文件段的主存储节点。
随后来到步骤402。
在步骤402中，根据文件段的段关键字确定文件段在主关键字下的段存储节点及相应的段查找值，这里文件的主关键字与相应的段关键字组成主存储节点，根据文件的内容的偏移量确定主关键字下相应的段关键字，这样可迅速找到主存储节点中主关键字下相应的段关键字，从而确定相应的段存储节点及相应的段查找值，这里段关键字与相应的段查找值相对应。
随后来到步骤403。
在步骤403中，这里段查找值以及相应的块查找值组成段存储节点，段存储节点中的块查找值以数组的形式按文件的内容的偏移量的顺序设置在相应的段查找值下，即根据文件的内容的偏移量确定段查找值下相应的块查找值；同时将块查找值与相应的块级索引信息关联。根据文件块的块查找值确定文件块在段查找值下的块级索引信息的位置，最后读取相应的文件块。
这样即完成了整个文件块的读取过程。
本优选实施例的文件读取方法中的文件索引为分组存储，加快了文件读取速度以及减少了文件读取资源的开销。此外块查找值以及段关键字的顺序设置方式，进一步缩短了文件块的查找时间。
本发明还涉及一种文件读取装置，请参照图5，图5为本发明的文件读取装置的优选实施例的结构示意图。本优选实施例的文件读取装置包括主存储节点确定模块51、段存储节点确定模块52以及文件块位置确定模块53。主存储节点确定模块51用于根据文件块所属文件段的主关键字确定文件段的主存储节点；段存储节点确定模块52用于根据文件段的段关键字确定文件段在主关键字下的段存储节点及相应的段查找值；文件块位置确定模块53用于根据文件块的块查找值确定文件块在段查找值下的块级索引信息的位置。
本优选实施例的文件读取装置使用时，首先主存储节点确定模块51根据文件块所属文件段的主关键字确定文件段的主存储节点；随后段存储节点确定模块52根据文件段的段关键字确定文件段在主关键字下的段存储节点及相应的段查找值；随后文件块位置确定模块53根据文件块的块查找值确定文件块在段查找值下的块级索引信息的位置。这样即完成了整个文件块的读取过程。
本优选实施例的文件读取装置的工作原理与上述的文件读取方法的优选实施例中的描述相同或相似，具体请参见上述文件读取方法的优选实施例中的相关描述。
本优选实施例的文件读取装置中的文件索引为分组存储，加快了文件读取速度以及减少了文件读取资源的开销。此外块查找值以及段关键字的顺序设置方式，进一步缩短了文件块的查找时间。
下面通过一具体实施例说明本发明的文件存储方法、装置及文件读取方法、装置的具体工作原理。请参见图6和图7，图6为本发明的文件存储方法及装置的具体实施例的工作原理图，图7为本发明的文件读取方法及装置的具体实施例的工作原理图。
如图6所示，主存储节点生成模块将整个大文件分为三个文件段，并给每个文件段生成一段关键字（段关键字1、段关键字2以及段关键字3），段关键字按文件的内容的偏移量的顺序设置在主关键字下，每个段关键字对应段存储节点中的一个段查找值（段查找值1、段查找值2以及段查找值3），该段关键字对应该文件段内所有的文件块；然后根据文件的主关键字与相应的段关键字生成主存储节点（采用基于key-value的分布式存储）。段存储节点生成模块将每个段分为若干个文件块（其中第三个文件段分为三个文件块），并给每个文件块生成一块查找值（如块查找值1、块查找值2以及块查找值3），查找值以数组的形式（当然这里也可使用其他的形式）按文件的内容的偏移量的顺序设置在相应的段查找值下面，该块查找值对应文件段内相应的文件块，然后根据文件的段查找值以及块查找值生成段存储节点（采用基于key-value的分布式存储）。最后关联模块将块查找值与数据库中相应的块级索引信息进行关联。
上述的分级存储的方式极大的提高了分布式文件***中最大文件的容量。一个超大文件的索引信息能够保存在多个段查找值下，从而消除了对文件的段关键字的长度限制，使得分布式文件***能够支持更大的文件容量。
在本发明的存储结构上进行文件块的检索时，如图7所示，首先通过文件的主关键字在数据库中查找到主存储节点；由于段关键字按文件的内容的偏移量的顺序设置在主关键字下，因此可以根据被请求的文件块的偏移量（即该文件块存储在该文件的位置，如存储在10M文件的前1M的内容里）获取该文件块相应的段关键字；然后通过段关键字在数据库中查找到相应的段存储节点及段查找值；随后由于块查找值以数组的形式按文件的内容的偏移量的顺序设置在相应的段查找值下，可使用二分法快速定位到段查找值下的块查找值；最后通过该块查找值在数据库中查找到该文件块的块级索引信息。
在对本发明的存储的文件块进行检索时，在通过文件的主关键字和文件块的偏移量获取到段关键字之后，可以一次性读取该文件段内的所有文件块的块级索引信息，存储到上层索引缓存***中；在进行下一次相邻文件块检索时，可直接从上层索引缓存***中直接获取相应的块级索引信息，不需到段存储节点中再次进行检索。
因此在本发明的存储结构上进行文件块检索时，不需要对所有的文件块进行解析，只需按顺序进行查找即可，同时还可以进行整个文件段内的文件块的块级索引信息进行预先读取，加快了文件检索速度以及减少了文件检索资源的开销。
本发明的文件存储方法、装置及文件读取方法、装置对文件索引进行分组存储，可以提高存储文件的最大存储容量，同时加快了文件索引读取速度以及减少了文件索引读取资源的开销。解决了现有的文件存储方法及装置存储文件大小受限制，文件索引读取速度慢以及文件索引读取资源开销大的技术问题。
综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (18)

1.一种文件存储方法，其特征在于，包括步骤：
根据文件容量将文件划分为至少一个文件段，根据每个所述文件段生成唯一的段关键字以及与所述段关键字相应的段查找值，根据所述文件的主关键字与相应的段关键字生成主存储节点；
将所述文件段划分为至少一个文件块，根据每个所述文件块生成在相应的文件段内唯一的块查找值，所述块查找值设置在相应的段查找值下，根据所述段查找值以及所述块查找值生成段存储节点；以及
将所述块查找值与相应的块级索引信息关联。
2.根据权利要求1所述的文件存储方法，其特征在于，所述段关键字按所述文件的内容的偏移量的顺序设置在所述主关键字下。
3.根据权利要求1所述的文件存储方法，其特征在于，所述块查找值以数组的形式按文件的内容的偏移量的顺序设置在相应的段查找值下。
4.根据权利要求1所述的文件存储方法，其特征在于，所述段关键字与所述段查找值采用基于key-value的分布式存储。
5.根据权利要求1所述的文件存储方法，其特征在于，所述段查找值与所述块查找值采用基于key-value的分布式存储。
6.一种文件存储装置，其特征在于，包括：
主存储节点生成模块，用于根据文件容量将文件划分为至少一个文件段，根据每个所述文件段生成唯一的段关键字以及与所述段关键字相应的段查找值，根据所述文件的主关键字与相应的段关键字生成主存储节点；
段存储节点生成模块，用于将所述文件段划分为至少一个文件块，根据每个所述文件块生成在相应的文件段内唯一的块查找值，所述块查找值设置在相应的段查找值下，根据所述段查找值以及所述块查找值生成段存储节点；以及关联模块，用于将块查找值与相应的块级索引信息关联。
7.根据权利要求6所述的文件存储装置，其特征在于，所述段关键字按所述文件的内容的偏移量的顺序设置在所述主关键字下。
8.根据权利要求6所述的文件存储装置，其特征在于，所述块查找值以数组的形式按文件的内容的偏移量的顺序设置在相应的段查找值下。
9.根据权利要求6所述的文件存储装置，其特征在于，所述段关键字与所述段查找值采用基于key-value的分布式存储。
10.根据权利要求6所述的文件存储装置，其特征在于，所述段查找值与所述块查找值采用基于key-value的分布式存储。
11.一种文件读取方法，其特征在于，包括步骤：
根据文件块所属文件段的主关键字确定所述文件段的主存储节点；
根据所述文件段的段关键字确定所述文件段在所述主关键字下的段存储节点及相应的段查找值；以及
根据所述文件块的块查找值确定所述文件块在所述段查找值下的块级索引信息的位置；
其中根据文件容量将文件划分为至少一个文件段。
12.根据权利要求11所述的文件读取方法，其特征在于，根据所述文件块生成文件段，根据所述文件段生成所述文件。
13.根据权利要求11所述的文件读取方法，其特征在于，根据所述文件的内容的偏移量确定所述主关键字下相应的所述段关键字。
14.根据权利要求11所述的文件读取方法，其特征在于，根据所述文件的内容的偏移量确定所述段查找值下相应的块查找值。
15.一种文件读取装置，其特征在于，包括：
主存储节点确定模块，用于根据文件块所属文件段的主关键字确定所述文件段的主存储节点；
段存储节点确定模块，用于根据所述文件段的段关键字确定所述文件段在所述主关键字下的段存储节点及相应的段查找值；以及
文件块位置确定模块，用于根据所述文件块的块查找值确定所述文件块在所述段查找值下的块级索引信息的位置；
其中根据文件容量将文件划分为至少一个文件段。
16.根据权利要求15所述的文件读取装置，其特征在于，根据所述文件块生成文件段，根据所述文件段生成所述文件。
17.根据权利要求15所述的文件读取装置，其特征在于，根据所述文件的内容的偏移量确定所述主关键字下相应的所述段关键字。
18.根据权利要求15所述的文件读取装置，其特征在于，根据所述文件的内容的偏移量确定所述段查找值下相应的块查找值。
CN201310005203.5A 2013-01-07 2013-01-07 文件存储方法、装置及文件读取方法、装置 Active CN103914483B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310005203.5A CN103914483B (zh) 2013-01-07 2013-01-07 文件存储方法、装置及文件读取方法、装置
PCT/CN2013/088416 WO2014106418A1 (en) 2013-01-07 2013-12-03 Method and apparatus for storing and reading files
US14/726,367 US20150261783A1 (en) 2013-01-07 2015-05-29 Method and apparatus for storing and reading files

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310005203.5A CN103914483B (zh) 2013-01-07 2013-01-07 文件存储方法、装置及文件读取方法、装置

Publications (2)

Publication Number Publication Date
CN103914483A CN103914483A (zh) 2014-07-09
CN103914483B true CN103914483B (zh) 2018-09-25

Family

ID=51040175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310005203.5A Active CN103914483B (zh) 2013-01-07 2013-01-07 文件存储方法、装置及文件读取方法、装置

Country Status (3)

Country Link
US (1) US20150261783A1 (zh)
CN (1) CN103914483B (zh)
WO (1) WO2014106418A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355111B2 (en) * 2014-04-30 2016-05-31 Microsoft Technology Licensing, Llc Hierarchical index based compression
US10430107B2 (en) * 2015-05-29 2019-10-01 Pure Storage, Inc. Identifying stored data slices during a slice migration activity in a dispersed storage network
US10983732B2 (en) * 2015-07-13 2021-04-20 Pure Storage, Inc. Method and system for accessing a file
US10177907B2 (en) * 2015-07-20 2019-01-08 Sony Corporation Distributed object routing
CN106446014B (zh) * 2016-08-26 2020-01-07 维沃移动通信有限公司 一种文件查找方法及移动终端
CN106874348B (zh) * 2016-12-26 2020-06-16 贵州白山云科技股份有限公司 文件存储和索引方法、装置及读取文件的方法
CN118113221A (zh) * 2017-03-10 2024-05-31 维萨国际服务协会 存储器内搜索技术
CN108038188A (zh) * 2017-12-11 2018-05-15 中国银行股份有限公司 一种文件处理方法及装置
CN108777685B (zh) * 2018-06-05 2020-06-23 京东数字科技控股有限公司 用于处理信息的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063486A (zh) * 2010-12-28 2011-05-18 东北大学 一种面向多维数据管理的云计算平台查询处理方法
CN102110146A (zh) * 2011-02-16 2011-06-29 清华大学 基于键值key-value存储的分布式文件***元数据管理方法
CN102169507A (zh) * 2011-05-26 2011-08-31 厦门雅迅网络股份有限公司 一种分布式实时搜索引擎
CN102332030A (zh) * 2011-10-17 2012-01-25 中国科学院计算技术研究所 用于分布式键-值存储***的数据存储、管理和查询方法及***
CN102332027A (zh) * 2011-10-15 2012-01-25 西安交通大学 一种基于Hadoop的海量非独立小文件关联存储方法
CN102375853A (zh) * 2010-08-24 2012-03-14 ***通信集团公司 分布式数据库***、在其中建立索引的方法和查询方法
CN102831225A (zh) * 2012-08-27 2012-12-19 南京邮电大学 云环境下的多维索引结构、其构建方法及相似性查询方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7885932B2 (en) * 2006-11-01 2011-02-08 Ab Initio Technology Llc Managing storage of individually accessible data units
CN102646130B (zh) * 2012-03-12 2013-08-14 华中科技大学 一种海量历史数据的存储及索引方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375853A (zh) * 2010-08-24 2012-03-14 ***通信集团公司 分布式数据库***、在其中建立索引的方法和查询方法
CN102063486A (zh) * 2010-12-28 2011-05-18 东北大学 一种面向多维数据管理的云计算平台查询处理方法
CN102110146A (zh) * 2011-02-16 2011-06-29 清华大学 基于键值key-value存储的分布式文件***元数据管理方法
CN102169507A (zh) * 2011-05-26 2011-08-31 厦门雅迅网络股份有限公司 一种分布式实时搜索引擎
CN102332027A (zh) * 2011-10-15 2012-01-25 西安交通大学 一种基于Hadoop的海量非独立小文件关联存储方法
CN102332030A (zh) * 2011-10-17 2012-01-25 中国科学院计算技术研究所 用于分布式键-值存储***的数据存储、管理和查询方法及***
CN102831225A (zh) * 2012-08-27 2012-12-19 南京邮电大学 云环境下的多维索引结构、其构建方法及相似性查询方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多级R-tree的分布式空间索引及其查询验证方法研究;付仲良 等;《测绘通报》;20121231;第42-46页 *
面向大规模批量日志数据存储方法的研究;王兆永;《中国优秀硕士学位论文全文数据库 信息科技辑》;20111215;第I138-703页 *

Also Published As

Publication number Publication date
WO2014106418A1 (en) 2014-07-10
US20150261783A1 (en) 2015-09-17
CN103914483A (zh) 2014-07-09

Similar Documents

Publication Publication Date Title
CN103914483B (zh) 文件存储方法、装置及文件读取方法、装置
KR101938953B1 (ko) 빅 데이터 질의 엔진을 위한 플래시 최적화된 열 데이터 배치 및 데이터 액세스 처리 알고리즘
CN100458779C (zh) 扩展索引的方法
CN103390020B (zh) 在数据库中存储数据的方法和***
CN102890722B (zh) 应用于时序历史数据库的索引方法
CN107423422B (zh) 基于网格的空间数据分布式存储及检索方法和***
JP4669067B2 (ja) 動的フラグメントマッピング
CN102129458B (zh) 关系型数据库的存储方法及装置
CN105117417A (zh) 一种读优化的内存数据库Trie树索引方法
US9047330B2 (en) Index compression in databases
WO2018064962A1 (zh) 数据存储方法、电子设备和计算机非易失性存储介质
CN103678491A (zh) 一种基于Hadoop中小文件优化和倒排索引的方法
CN104361113A (zh) 一种内存-闪存混合存储模式下的olap查询优化方法
CN102169491B (zh) 一种多数据集中重复记录动态检测方法
CN110134335A (zh) 一种基于键值对的rdf数据管理方法、装置及存储介质
CN105447112A (zh) 一种实现关系数据库Hash分区高效扩展的方法
Zhang et al. A strategy to deal with mass small files in HDFS
CN107273443B (zh) 一种基于大数据模型元数据的混合索引方法
CN106484818B (zh) 一种基于Hadoop和HBase的层次聚类方法
CN108182209A (zh) 一种数据索引方法、及设备
JP6006740B2 (ja) インデックス管理装置
CN111221814B (zh) 二级索引的构建方法、装置及设备
US20170242880A1 (en) B-tree index structure with grouped index leaf pages and computer-implemented method for modifying the same
CN108647243B (zh) 基于时间序列的工业大数据存储方法
JP2007048318A (ja) リレーショナルデータベースの処理方法およびリレーショナルデータベース処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant