CN108089825A - 一种基于分布式集群的存储*** - Google Patents

一种基于分布式集群的存储*** Download PDF

Info

Publication number
CN108089825A
CN108089825A CN201810026676.6A CN201810026676A CN108089825A CN 108089825 A CN108089825 A CN 108089825A CN 201810026676 A CN201810026676 A CN 201810026676A CN 108089825 A CN108089825 A CN 108089825A
Authority
CN
China
Prior art keywords
file
module
size
client
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810026676.6A
Other languages
English (en)
Other versions
CN108089825B (zh
Inventor
陈保平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810026676.6A priority Critical patent/CN108089825B/zh
Publication of CN108089825A publication Critical patent/CN108089825A/zh
Application granted granted Critical
Publication of CN108089825B publication Critical patent/CN108089825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0617—Improving the reliability of storage systems in relation to availability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种基于分布式集群的存储***，文件大小判断模块用于判断客户端写入文件的大小，当所述的文件大小小于第一预设值时，存储处理模块将所述文件存储至缓存模块；文件大小判断模块还用于判断客户端读取文件的大小，当所述的文件大小小于第一预设值时，存储处理模块将文件大小判断模块的判断结果反馈至客户端，客户端通过缓存模块读取所述文件；缓存大小判断模块用于判断缓存模块中由存储处理模块存入的聚合文件的大小，当所述的聚合文件的大小达到第二预设值时，缓存处理模块将缓存模块中的聚合文件写入聚合存储模块。本发明有效降低小文件写入磁盘次数，提高读命中率。

Description

一种基于分布式集群的存储***
技术领域
本发明涉及计算机领域，尤其涉及一种基于分布式集群的存储***。
背景技术
随着时代的发展，大量的数据文件产生，计算机通过文件***管理、存储数据，单纯通过增加硬盘个数来扩展计算机文件***的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。分布式文件***可以有效解决数据的存储和管理难题，将固定于某个地点的某个文件***，扩展到任意多个地点或多个文件***，众多的节点组成一个文件***网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输，建立庞大的集群***。人们在使用分布式文件***时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件***一样管理和存储文件***中的数据。
随着分布式存储***的普及，应用范围的日渐广泛，当存储***应用在购物网站、广电、网络视频等场景下时，其场景特征是小文件数量众多，空间占用一般在1M以下，操作特征为一次写入，多次读取。每个小文件存储都会执行一次全写流程，导致磁盘写数据压力大，磁盘空间使用率低，分析元数据、读数据耗时长。
发明内容
为了克服上述现有技术中的不足，本发明提供一种基于分布式集群的存储***，包括：
客户端、缓存模块、文件大小判断模块、缓存大小判断模块、存储处理模块、缓存处理模块、用于存储普通数据文件的普通存储模块以及用于存储聚合文件的聚合存储模块；
文件大小判断模块用于判断客户端写入文件的大小，当所述的文件大小小于第一预设值时，存储处理模块将所述文件存储至缓存模块；文件大小判断模块还用于判断客户端读取文件的大小，当所述的文件大小小于第一预设值时，存储处理模块将文件大小判断模块的判断结果反馈至客户端，客户端通过缓存模块读取所述文件；
缓存大小判断模块用于判断缓存模块中由存储处理模块存入的聚合文件的大小，当所述的聚合文件的大小达到第二预设值时，缓存处理模块将缓存模块中的聚合文件写入聚合存储模块。
优选的，存储处理模块还用于当文件大小判断模块判断客户端写入的文件大于第一预设值时，将所述文件直接存储至普通存储模块；还用于当文件大小判断模块判断客户端读取的文件大于第一预设值时，将文件大小判断模块的判断结果反馈至客户端，客户端直接从普通存储模块中读取所述文件。
优选的，缓存处理模块用于以紧密聚合方式将缓存中的聚合文件写入聚合存储模块，缓存处理模块每对聚合存储模块进行一次写操作均形成一个具有一定存储空间的聚合对象；缓存处理模块还用于在每个聚合对象起始位生成一个具有一定存储空间的对象头。
优选的，本发明还包括：缓存位置判断模块；
缓存位置判断模块用于判断客户端读取的小于第一预设值的文件是否存在于缓存模块，当所述文件不存在于缓存模块时，缓存处理模块将所述文件所属的聚合对象读入缓存模块；客户端通过缓存模块读取所述文件。
优选的，本发明还包括：定时清理模块；
定时清理模块用于定时扫描聚合对象中的文件，并当聚合对象中的文件的使用率低于第三预设值且扫描前第四预设值时间内没有被修改时，定时清理模块将所述的的聚合对象中的文件重新按照紧密聚合方式写入聚合存储模块形成新的聚合对象，并删除原有的聚合对象。
优选的，文件大小判断模块还用于当客户端对聚合存储模块内的文件进行再写时，文件大小判断模块判断再写文件的大小，当所述的文件大小大于第一预设值时，存储处理模块将所述文件复制至普通存储模块，并将聚合存储模块中的所述文件删除。
优选的，第一预设值小于第二预设值。
从以上技术方案可以看出，本发明具有以下优点：
本发明提供了小文件聚合设计，能够有效降低小文件写入磁盘次数，减轻写数据压力；提高磁盘使用率，读小文件时将小文件所在聚合对象读入缓存，提高读命中率，缩短读I/O路径；对聚合对象定时扫描清理，保证小文件使用率，减少不必要的磁盘空间消耗。
附图说明
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明示意图。
图2为本发明聚合对象示意图。
其中，1、客户端， 2、普通存储模块， 3、聚合存储模块， 4、缓存模块。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将运用具体的实施例及附图，对本发明保护的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本专利中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利保护的范围。
本发明提供一种基于分布式集群的存储***，如图1所示，包括：
客户端1、缓存模块4、文件大小判断模块、缓存大小判断模块、存储处理模块、缓存处理模块、用于存储普通数据文件的普通存储模块2以及用于存储聚合文件的聚合存储模块3；
文件大小判断模块用于判断客户端1写入文件的大小，当所述的文件大小小于第一预设值时，存储处理模块将所述文件存储至缓存模块4；文件大小判断模块还用于判断客户端1读取文件的大小，当所述的文件大小小于第一预设值时，存储处理模块将文件大小判断模块的判断结果反馈至客户端1，客户端1通过缓存模块4读取所述文件；
缓存大小判断模块用于判断缓存模块4中由存储处理模块存入的聚合文件的大小，当所述的聚合文件的大小达到第二预设值时，缓存处理模块将缓存模块4中的聚合文件写入聚合存储模块3。
存储处理模块还用于当文件大小判断模块判断客户端1写入的文件大于第一预设值时，将所述文件直接存储至普通存储模块2；还用于当文件大小判断模块判断客户端1读取的文件大于第一预设值时，将文件大小判断模块的判断结果反馈至客户端1，客户端1直接从普通存储模块2中读取所述文件。
缓存处理模块用于以紧密聚合方式将缓存中的聚合文件写入聚合存储模块3，缓存处理模块每对聚合存储模块3进行一次写操作均形成一个具有一定存储空间的聚合对象；缓存处理模块还用于在每个聚合对象起始位生成一个具有一定存储空间的对象头。
本发明还包括：缓存位置判断模块；
缓存位置判断模块用于判断客户端1读取的小于第一预设值的文件是否存在于缓存模块4，当所述文件不存在于缓存模块4时，缓存处理模块将所述文件所属的聚合对象读入缓存模块4；客户端1通过缓存模块4读取所述文件。
本发明还包括：定时清理模块；
定时清理模块用于定时扫描聚合对象中的文件，并当聚合对象中的文件的使用率低于第三预设值且扫描前第四预设值时间内没有被修改时，定时清理模块将所述的的聚合对象中的文件重新按照紧密聚合方式写入聚合存储模块3形成新的聚合对象，并删除原有的聚合对象。在聚合文件中，多个文件共用一个聚合对象，删除文件并不能真正释放聚合对象所占用的空间，导致存储空间的浪费；同时小文件文件数量的减少，导致在读取文件时缓存命中率降低，影响读性能。所以删除原有聚合对象，建立新的聚合对象才是有效地清理方式。
文件大小判断模块还用于当客户端1对聚合存储模块3内的文件进行再写时，文件大小判断模块判断再写文件的大小，当所述的文件大小大于第一预设值时，存储处理模块将所述文件复制至普通存储模块2，并将聚合存储模块3中的所述文件删除。
第一预设值小于第二预设值。
下面指出一个具体实施例：
客户端1发出写文件请求，文件大小判断模块判断客户端1写入文件的大小，当所述的文件大小小于512KB时，存储处理模块将所述文件存储至缓存模块4；客户端1发出读文件请求，当所述的文件大小小于第一预设值时，存储处理模块将文件大小判断模块的判断结果反馈至客户端1，客户端1通过缓存模块4读取所述文件；
缓存大小判断模块判断缓存模块4中由存储处理模块存入的聚合文件的大小，当所述的聚合文件的大小达到4M时，缓存处理模块将缓存模块4中的聚合文件写入聚合存储模块3；如图2所示，缓存处理模块以4K对齐的紧密聚合方式将缓存中的聚合文件写入聚合存储模块3，缓存处理模块每对聚合存储模块3进行一次写操作均形成一个具有一定存储空间的聚合对象；缓存处理模块还用于在每个聚合对象起始位生成一个具有一定存储空间的对象头。
4K对齐相关联的是一个叫做“高级格式化”的分区技术。“高级格式化”是国际硬盘设备与材料协会为新型数据结构格式所采用的名称。
随着时代发展，硬盘容量不断扩展，使得之前定义的每个扇区512字节不再是那么的合理，于是将每个扇区512字节改为每个扇区4096 个字节，也就是现在常说的“4K扇区”。随着NTFS（New Technology File System，是 WindowsNT 环境的文件***）成为了标准的硬盘文件***，其文件***的默认分配单元大小（簇）也是4096字节，为了使簇与扇区相对应，即使物理硬盘分区与计算机使用的逻辑分区对齐，保证硬盘读写效率，所以就有了“4K对齐”的概念。
当文件大小判断模块判断客户端1写入的文件大于512KB时，存储处理模块将所述文件直接存储至普通存储模块2，或将文件大小判断模块的判断结果反馈至客户端1，客户端1直接从普通存储模块2中读取所述文件。
缓存位置判断模块判断客户端1读取的小于第一预设值的文件是否存在于缓存模块4，当所述文件不存在于缓存模块4时，缓存处理模块将所述文件所属的聚合对象读入缓存模块4；客户端1通过缓存模块4读取所述文件。
定时清理模块定时扫描聚合对象中的文件，并当聚合对象中的文件的使用率低于第三预设值且扫描前第四预设值时间内没有被修改时，定时清理模块将所述的的聚合对象中的文件重新按照紧密聚合方式写入聚合存储模块3形成新的聚合对象，并删除原有的聚合对象。
当客户端1对聚合存储模块3内的文件进行再写时，文件大小判断模块判断再写文件的大小，当所述的文件大小大于第一预设值时，存储处理模块将所述文件复制至普通存储模块2，并将聚合存储模块3中的所述文件删除。
如图2所示，聚合对象中文件以4KB对齐的方式排列，文件之间有小于4KB的存储空间。
每个小文件最小占用4KB空间，最大占用512KB空间，在聚合文件最大占用512MB的情况下，可以基本确定聚合文件中小文件数量。在小文件大小为4KB的情况下，聚合文件最多能够写入130688个小文件；在小文件大小为512KB的情况下，聚合文件最多能够写入896个小文件。
计算方法如下：聚合文件最大占用512MB，每个聚合对象为4MB，则聚合对象个数：512/4=128个；每个聚合对象为4MB，每个聚合对象有12KB的对象头；每个聚合对象中的小文件个数：（4x1024-12）/文件大小；聚合文件中小文件个数为：（4084/源文件大小）*128。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于分布式集群的存储***，其特征在于，包括：
客户端、缓存模块、文件大小判断模块、缓存大小判断模块、存储处理模块、缓存处理模块、用于存储普通数据文件的普通存储模块以及用于存储聚合文件的聚合存储模块；
文件大小判断模块用于判断客户端写入文件的大小，当所述的文件大小小于第一预设值时，存储处理模块将所述文件存储至缓存模块；文件大小判断模块还用于判断客户端读取文件的大小，当所述的文件大小小于第一预设值时，存储处理模块将文件大小判断模块的判断结果反馈至客户端，客户端通过缓存模块读取所述文件；
缓存大小判断模块用于判断缓存模块中由存储处理模块存入的聚合文件的大小，当所述的聚合文件的大小达到第二预设值时，缓存处理模块将缓存模块中的聚合文件写入聚合存储模块。
2.根据权利要求1所述的基于分布式集群的存储***，其特征在于，
存储处理模块还用于当文件大小判断模块判断客户端写入的文件大于第一预设值时，将所述文件直接存储至普通存储模块；还用于当文件大小判断模块判断客户端读取的文件大于第一预设值时，将文件大小判断模块的判断结果反馈至客户端，客户端直接从普通存储模块中读取所述文件。
3.根据权利要求1所述的基于分布式集群的存储***，其特征在于，
缓存处理模块用于以紧密聚合方式将缓存中的聚合文件写入聚合存储模块，缓存处理模块每对聚合存储模块进行一次写操作均形成一个具有一定存储空间的聚合对象；缓存处理模块还用于在每个聚合对象起始位生成一个具有一定存储空间的对象头。
4.根据权利要求3所述的基于分布式集群的存储***，其特征在于，
还包括：缓存位置判断模块；
缓存位置判断模块用于判断客户端读取的小于第一预设值的文件是否存在于缓存模块，当所述文件不存在于缓存模块时，缓存处理模块将所述文件所属的聚合对象读入缓存模块；客户端通过缓存模块读取所述文件。
5.根据权利要求3所述的基于分布式集群的存储***，其特征在于，
还包括：定时清理模块；
定时清理模块用于定时扫描聚合对象中的文件，并当聚合对象中的文件的使用率低于第三预设值且扫描前第四预设值时间内没有被修改时，定时清理模块将所述的的聚合对象中的文件重新按照紧密聚合方式写入聚合存储模块形成新的聚合对象，并删除原有的聚合对象。
6.根据权利要求1所述的基于分布式集群的存储***，其特征在于，
文件大小判断模块还用于当客户端对聚合存储模块内的文件进行再写时，文件大小判断模块判断再写文件的大小，当所述的文件大小大于第一预设值时，存储处理模块将所述文件复制至普通存储模块，并将聚合存储模块中的所述文件删除。
7.根据权利要求1所述的基于分布式集群的存储***，其特征在于，
第一预设值小于第二预设值。
CN201810026676.6A 2018-01-11 2018-01-11 一种基于分布式集群的存储*** Active CN108089825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810026676.6A CN108089825B (zh) 2018-01-11 2018-01-11 一种基于分布式集群的存储***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810026676.6A CN108089825B (zh) 2018-01-11 2018-01-11 一种基于分布式集群的存储***

Publications (2)

Publication Number Publication Date
CN108089825A true CN108089825A (zh) 2018-05-29
CN108089825B CN108089825B (zh) 2020-07-07

Family

ID=62182051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810026676.6A Active CN108089825B (zh) 2018-01-11 2018-01-11 一种基于分布式集群的存储***

Country Status (1)

Country Link
CN (1) CN108089825B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002543A (zh) * 2018-07-24 2018-12-14 北京京东尚科信息技术有限公司 一种文件存储的方法和装置
CN111177105A (zh) * 2019-12-29 2020-05-19 浪潮电子信息产业股份有限公司 分布式文件***的海量文件写方法、装置、***及介质
CN111309702A (zh) * 2020-02-28 2020-06-19 苏州浪潮智能科技有限公司 一种文件内、文件间聚合方法及***
CN111488125A (zh) * 2020-04-10 2020-08-04 西安交通大学 一种基于Ceph集群的Cache Tier缓存优化方法
CN112149026A (zh) * 2020-10-20 2020-12-29 北京天华星航科技有限公司 基于web端的分布式数据存储***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111804A (zh) * 2014-06-27 2014-10-22 暨南大学 一种分布式文件***
CN105426127A (zh) * 2015-11-13 2016-03-23 浪潮(北京)电子信息产业有限公司 一种分布式集群***的文件存储方法及装置
CN105511802A (zh) * 2015-11-24 2016-04-20 北京达沃时代科技有限公司 写缓存的方法和装置以及磁盘缓存区的同步方法和装置
CN107341267A (zh) * 2017-07-24 2017-11-10 郑州云海信息技术有限公司 一种分布式文件***访问方法及平台
CN107562915A (zh) * 2017-09-12 2018-01-09 郑州云海信息技术有限公司 读取小文件的方法、装置和设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111804A (zh) * 2014-06-27 2014-10-22 暨南大学 一种分布式文件***
CN105426127A (zh) * 2015-11-13 2016-03-23 浪潮(北京)电子信息产业有限公司 一种分布式集群***的文件存储方法及装置
CN105511802A (zh) * 2015-11-24 2016-04-20 北京达沃时代科技有限公司 写缓存的方法和装置以及磁盘缓存区的同步方法和装置
CN107341267A (zh) * 2017-07-24 2017-11-10 郑州云海信息技术有限公司 一种分布式文件***访问方法及平台
CN107562915A (zh) * 2017-09-12 2018-01-09 郑州云海信息技术有限公司 读取小文件的方法、装置和设备及计算机可读存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002543A (zh) * 2018-07-24 2018-12-14 北京京东尚科信息技术有限公司 一种文件存储的方法和装置
CN111177105A (zh) * 2019-12-29 2020-05-19 浪潮电子信息产业股份有限公司 分布式文件***的海量文件写方法、装置、***及介质
CN111177105B (zh) * 2019-12-29 2022-03-22 浪潮电子信息产业股份有限公司 分布式文件***的海量文件写方法、装置、***及介质
CN111309702A (zh) * 2020-02-28 2020-06-19 苏州浪潮智能科技有限公司 一种文件内、文件间聚合方法及***
CN111488125A (zh) * 2020-04-10 2020-08-04 西安交通大学 一种基于Ceph集群的Cache Tier缓存优化方法
CN112149026A (zh) * 2020-10-20 2020-12-29 北京天华星航科技有限公司 基于web端的分布式数据存储***
CN112149026B (zh) * 2020-10-20 2021-04-02 北京天华星航科技有限公司 基于web端的分布式数据存储***

Also Published As

Publication number Publication date
CN108089825B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
US11036799B2 (en) Low RAM space, high-throughput persistent key value store using secondary memory
CN108089825A (zh) 一种基于分布式集群的存储***
CN104899156B (zh) 一种面向大规模社交网络的图数据存储及查询方法
CN107168657B (zh) 一种基于分布式块存储的虚拟磁盘分层缓存设计方法
CN103186350B (zh) 混合存储***及热点数据块的迁移方法
US7761648B2 (en) Caching method for NAND flash translation layer
CN107066393A (zh) 提高地址映射表中映射信息密度的方法
CN106708427A (zh) 一种适用于键值对数据的存储方法
CN103838853B (zh) 一种基于不同存储介质的混合文件***
CN100541453C (zh) 大容量缓存实现方法及存储***
CN102023810B (zh) 一种写数据的方法、装置以及廉价冗余磁盘阵列
CN103399823B (zh) 业务数据的存储方法、设备和***
CN101488153A (zh) 嵌入式Linux下大容量闪存文件***的实现方法
CN106293521A (zh) 一种映射粒度自适应的闪存转换层管理方法
CN103440207A (zh) 缓存方法及装置
CN104503703B (zh) 缓存的处理方法和装置
CN107423229B (zh) 一种面向页级ftl的缓冲区改进方法
CN100424699C (zh) 一种属性可扩展的对象文件***
CN106227471A (zh) 固态硬盘和应用于固态硬盘的数据存取方法
CN103019884A (zh) 基于虚拟机快照的内存页去重方法及装置
CN113626431A (zh) 一种基于lsm树的延迟垃圾回收的键值分离存储方法及***
CN103942161B (zh) 只读缓存的去冗余***及方法以及缓存的去冗余方法
CN110262982A (zh) 一种固态硬盘地址映射的方法
CN107168651A (zh) 一种小文件聚合存储处理方法
CN109407985A (zh) 一种数据管理的方法以及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant