CN107168657A - 一种基于分布式块存储的虚拟磁盘分层缓存设计方法 - Google Patents

一种基于分布式块存储的虚拟磁盘分层缓存设计方法 Download PDF

Info

Publication number
CN107168657A
CN107168657A CN201710453950.3A CN201710453950A CN107168657A CN 107168657 A CN107168657 A CN 107168657A CN 201710453950 A CN201710453950 A CN 201710453950A CN 107168657 A CN107168657 A CN 107168657A
Authority
CN
China
Prior art keywords
cache
data
internal memory
ssd
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710453950.3A
Other languages
English (en)
Other versions
CN107168657B (zh
Inventor
张朝潞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaoxing Feiyuan Textile Co ltd
Original Assignee
SHENZHEN YUNSHU NETWORK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN YUNSHU NETWORK TECHNOLOGY Co Ltd filed Critical SHENZHEN YUNSHU NETWORK TECHNOLOGY Co Ltd
Priority to CN201710453950.3A priority Critical patent/CN107168657B/zh
Publication of CN107168657A publication Critical patent/CN107168657A/zh
Application granted granted Critical
Publication of CN107168657B publication Critical patent/CN107168657B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0667—Virtualisation aspects at data level, e.g. file, record or object virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种全新的基于分布式块存储的虚拟磁盘分层缓存设计方法，该方法通过内存与SATA/SAS SSD组成分层缓存结构，通过快速算法检测数据访问热点，热点度最高的数据存放在内存，热点读较高的数据存放在SATA/SAS SSD中。由于内存的掉电易失性，内存中仅仅保存读取的数据。更新的数据需要写入SSD中以防掉电数据丢失。缓存分层由内存和SATA/SAS SSD两个物理组件组成。由软件实现热点判断和数据在各级缓存中的上浮与下层。本发明的缓存算法针对磁盘的读写特性设计，并非通用的缓存，主要应用于分布式块存储***的前端虚拟磁盘中，为虚拟磁盘加速。采用本发明的分层缓存方案，避免了内存的掉电易失性，相比于SATA/SAS SSD能大幅度提升性能，为客户降低存储上的总拥有成本。

Description

一种基于分布式块存储的虚拟磁盘分层缓存设计方法
技术领域
本发明涉及数据存储技术领域，具体的说是涉及一种基于分布式块存储的虚拟磁盘分层缓存设计方法。
背景技术
分布式存储***中，数据往往需要通过网络，数据路径过长，导致性能降低，延迟增大，对于性能要求较高的使用场景，往往是望而却步。目前主流的分布式存储***，无论是开源或是商用，几乎都是在虚拟磁盘端增加缓存***来提升性能以满足一些高端使用场景。主要有两种方向：一种是基于内存的缓存，一种是基于SSD的缓存。基于内存缓存由于内存的掉电易失性，无法满足数据安全的需求。基于SSD的缓存如果选用NVME SSD是比较理想的选择，但是价格非常昂贵。如果是选用SATA/SAS SSD则性能略显不足。
目前软件定义存储的概念逐渐深入人心，这种基于通用X86服务的，分布式的，纯软件的存储***逐渐被广大用户所接受。相对于传统阵列存储***，分布式存储***的性能是巨大的弱点，通过缓存技术能显著改善，使其使用场景更加广泛。
发明内容
针对现有技术中的不足，本发明要解决的技术问题在于提供了一种基于分布式块存储的虚拟磁盘分层缓存设计方法。
为解决上述技术问题，本发明通过以下方案来实现：一种基于分布式块存储的虚拟磁盘分层缓存设计方法，该方法通过内存与SATA/SAS SSD组成分层缓存***结构，通过快速算法检测数据访问热点，热点度最高的数据存放在内存，热点读较高的数据存放在SATA/SAS SSD中；
缓存分层包括内存和SATA/SAS SSD两个物理组件，由软件实现热点判断和数据在各级缓存中的上浮与下层，缓存算法针对磁盘的读写特性设计，并非通用的缓存，主要应用于分布式块存储***的前端虚拟磁盘中，为虚拟磁盘加速；
所述分布式块存储***包括：
控制主机：所述控制主机生成虚拟磁盘，为虚拟磁盘准备高速缓冲存储器，作为存储数据路径的前端主机，完成数据接收、缓存、转发功能；
策略主机：所述策略主机为分布式块存储***的大脑，控制主机需要创建虚拟磁盘时，将从存储主机中调度处满足条件的主机，生成存储组件供控制主机连接使用；
存储主机：分布式设于***中，数据最终的存放地点，将存储资源抽象成多个存储组件；
所述方法包括块设备的写入和读取方法，该块设备的写入和读取方法如下：
块设备的读取或写入都是一次读取或写入一块连续的数据，其应用程序写入的数据的参数为：offset, length, data；读取的参数为：offset，length，buffer；
offset：读写磁盘的位置，起始位置为0，offset为距离起始位置的偏移量；
length：读写磁盘数据的长度；
data：需要写入磁盘的数据；
buffer：将磁盘中的对应数据填入buffer中。
进一步的，所述分层缓存***结构将存储空间划分为cache对象，每个cache对象固定大小，所述分层缓存***结构的第一层是内存索引，内存索引由一组item组成，每个item占用4个字节代表一个cache对象；内存索引主要维护cache对象的引用计数，标志对应的item是否在cache树中，如果在，该cache对象在cache树的id；
内存索引所需要的内存空间，假设SSD缓存空间为1TB，一个item占用4个字节空间代表4MB的cache对象：
内存索引占用空间 = 1TB ÷ 4MB * 4 = 1MB；
内存索引占用空间较小几乎可以忽略不计；提到具体的cache对象时缓存在cache树中的， cache树是一颗完全二叉树，并组织成最小堆；完全二叉树表示其每个节点可以用整数编号，并且随着***，删除节点，依然能满足完全二叉树条件；最小堆表示树根节点一定是二叉树中key值最小的；通过不同的计算引用计数的方式可以实现不同的缓存淘汰算法；Cache树的Value用于存储SSD Cache的偏移id，以快速找到SSD Cache的block；
Cache树将SSD cache中的block组织成完全二叉树， SSD cache将存储空间划分为一组block，一个block对应一个cache对象，通过简单的映射算法将将要从HDD读取或写入的数据加载到SSD Cache中；
计算Cache树占用内存空间，最小堆以数组的形式实现无需指针：
Cache树的节点数量 = 1TB ÷ 4MB = 262144；
Cache树占用内存空间 = 262144* 16 = 4MB。
进一步的，基于述各模块的描述，描述cache的具体写入流程步骤：
步骤①：应用程序发起写入请求，请求中包含(offset, length, data)；
步骤②：虚拟磁盘io处理程序接收到该请求，根据offset获取内存索引对应的item项，直接通过移位运算得到时间复杂度为O(1)，将引用计数+1 ；
步骤③：如果有需要将数据拆分成多个cache对象，***cache树中，将根节点替换掉，如果没有设置为O_DIRECT则直接返回，后续数据将异步同步到SSD Cache和HDD中；
步骤④：如果设置了O_DIRECT，将Cache对象的数据同步到节点对应的SSD Cacheblock中返回；后续由异步进程同步到后端HDD中；
基于cache***的读取流程步骤：
步骤①：应用程序发起读取请求，请求中包含(offset, length, buffer)；
步骤②：虚拟磁盘io处理程序接收到该请求，根据offset获取内存索引对应的item项，直接通过移位运算得到时间复杂度为O(1)，将引用计数+1；
步骤③：根据item的最高位bit，判断offset对应的数据是否在cache中；如果在cache中，在直接从item读取到其对应的cache树的索引id值，如果cache对象保存了数据，将数据读取返回；如果cache对象内存数据已是否，则根据cache树节点的值对应的SSD Cache偏移id，从SSD读取数据；
步骤④：如果所请求不在cache中，则直接请求存储主机，读取数据；
步骤⑤：比较该请求对应item的引用计数，如果该item的引用计数大于cache树根节点的引用计数，则节点替换，缓存更新；
步骤⑥：如果该item的引用计数小于cache树根节点的引用计数，表示该数据块热度不够，数据返回后，则不更新缓存。
进一步的，由于内存的掉电易失性，内存中仅仅保存读取的数据，更新的数据需要写入SSD中以防掉电数据丢失。
相对于现有技术，本发明的有益效果是：本发明提出一种全新的基于分布式块存储的虚拟磁盘分层缓存设计方法。通过内存与SATA/SAS SSD组成分层缓存结构，通过快速算法检测数据访问热点，热点度最高的数据存放在内存，热点读较高的数据存放在SATA/SAS SSD中。由于内存的掉电易失性，内存中仅仅保存读取的数据。更新的数据需要写入SSD中以防掉电数据丢失。缓存分层由内存和SATA/SAS SSD两个物理组件组成。由软件实现热点判断和数据在各级缓存中的上浮与下层。本发明的缓存算法针对磁盘的读写特性设计，并非通用的缓存，主要应用于分布式块存储***的前端虚拟磁盘中，为虚拟磁盘加速。采用本发明的分层缓存方案，避免了内存的掉电易失性，相比于SATA/SAS SSD能大幅度提升性能，同时能带来巨大的成本效益，为客户降低存储上的总拥有成本(TCO)。
附图说明
图1为本发明的分布式块存储***架构图；
图2为本发明的分层缓存***结构图；
图3为本发明的磁盘读写方法流程图；
图4为本发明的第一类内存索引结构图；
图5为本发明的内存Cache树结构图；
图6为本发明的第二类内存索引结构图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参照附图1-6，本发明的一种基于分布式块存储的虚拟磁盘分层缓存设计方法，该方法通过内存与SATA/SAS SSD组成分层缓存***结构，通过快速算法检测数据访问热点，热点度最高的数据存放在内存，热点读较高的数据存放在SATA/SAS SSD中；
缓存分层包括内存和SATA/SAS SSD两个物理组件，由软件实现热点判断和数据在各级缓存中的上浮与下层，缓存算法针对磁盘的读写特性设计，并非通用的缓存，主要应用于分布式块存储***的前端虚拟磁盘中，为虚拟磁盘加速；
所述分布式块存储***包括：
控制主机：所述控制主机生成虚拟磁盘，为虚拟磁盘准备高速缓冲存储器，作为存储数据路径的前端主机，完成数据接收、缓存、转发功能；
策略主机：所述策略主机为分布式块存储***的大脑，控制主机需要创建虚拟磁盘时，将从存储主机中调度处满足条件的主机，生成存储组件供控制主机连接使用；
存储主机：分布式设于***中，数据最终的存放地点，将存储资源抽象成多个存储组件；
如图3所示，所述方法还包括块设备的写入和读取方法，该块设备的写入和读取方法如下：
块设备的读取或写入都是一次读取或写入一块连续的数据，其应用程序写入的数据的参数为：offset, length, data；读取的参数为：offset，length，buffer；
offset：读写磁盘的位置，起始位置为0，offset为距离起始位置的偏移量；
length：读写磁盘数据的长度；
data：需要写入磁盘的数据；
buffer：将磁盘中的对应数据填入buffer中。
所述分层缓存***结构将存储空间划分为cache对象，每个cache对象固定大小(以4MB为例)，如图4所示，所述分层缓存***结构的第一层是内存索引，内存索引由一组item组成，每个item占用4个字节代表一个cache对象；内存索引主要维护cache对象的引用计数，标志对应的item是否在cache树中，如果在，该cache对象在cache树的id；
内存索引所需要的内存空间，假设SSD缓存空间为1TB，一个item占用4个字节空间代表4MB的cache对象：
内存索引占用空间 = 1TB ÷ 4MB * 4 = 1MB；
内存索引占用空间较小几乎可以忽略不计；提到具体的cache对象时缓存在cache树中的，如图5所示，cache树是一颗完全二叉树，并组织成最小堆；完全二叉树表示其每个节点可以用整数编号，并且随着***，删除节点，依然能满足完全二叉树条件；最小堆表示树根节点一定是二叉树中key值最小的；通过不同的计算引用计数的方式可以实现不同的缓存淘汰算法； Cache树的Value用于存储SSD Cache的偏移id，以快速找到SSD Cache的block；
Cache树将SSD cache中的block组织成完全二叉树，如图6所示，SSD cache将存储空间划分为一组block，一个block对应一个cache对象，通过简单的映射算法将将要从HDD读取或写入的数据加载到SSD Cache中；
计算Cache树占用内存空间，最小堆以数组的形式实现无需指针：
Cache树的节点数量 = 1TB ÷ 4MB = 262144；
Cache树占用内存空间 = 262144* 16 = 4MB。
基于述各模块的描述，描述cache的具体写入流程步骤：
步骤①：应用程序发起写入请求，请求中包含(offset, length, data)；
步骤②：虚拟磁盘io处理程序接收到该请求，根据offset获取内存索引对应的item项，直接通过移位运算得到时间复杂度为O(1)，将引用计数+1 ；
步骤③：如果有需要将数据拆分成多个cache对象，***cache树中，将根节点替换掉，如果没有设置为O_DIRECT则直接返回，后续数据将异步同步到SSD Cache和HDD中；
步骤④：如果设置了O_DIRECT，将Cache对象的数据同步到节点对应的SSD Cacheblock中返回；后续由异步进程同步到后端HDD中；
基于cache***的读取流程步骤：
步骤①：应用程序发起读取请求，请求中包含(offset, length, buffer)；
步骤②：虚拟磁盘io处理程序接收到该请求，根据offset获取内存索引对应的item项，直接通过移位运算得到时间复杂度为O(1)，将引用计数+1；
步骤③：根据item的最高位bit，判断offset对应的数据是否在cache中；如果在cache中，在直接从item读取到其对应的cache树的索引id值，如果cache对象保存了数据，将数据读取返回；如果cache对象内存数据已是否，则根据cache树节点的值对应的SSD Cache偏移id，从SSD读取数据；
步骤④：如果所请求不在cache中，则直接请求存储主机，读取数据；
步骤⑤：比较该请求对应item的引用计数，如果该item的引用计数大于cache树根节点的引用计数，则节点替换，缓存更新；
步骤⑥：如果该item的引用计数小于cache树根节点的引用计数，表示该数据块热度不够，数据返回后，则不更新缓存。
由于内存的掉电易失性，内存中仅仅保存读取的数据，更新的数据需要写入SSD中以防掉电数据丢失。
以上所述仅为本发明的优选实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于分布式块存储的虚拟磁盘分层缓存设计方法，其特征在于，该方法通过内存与SATA/SAS SSD组成分层缓存***结构，通过快速算法检测数据访问热点，热点度最高的数据存放在内存，热点读较高的数据存放在SATA/SAS SSD中；
缓存分层包括内存和SATA/SAS SSD两个物理组件，由软件实现热点判断和数据在各级缓存中的上浮与下层，缓存算法针对磁盘的读写特性设计，并非通用的缓存，主要应用于分布式块存储***的前端虚拟磁盘中，为虚拟磁盘加速；
所述分布式块存储***包括：
控制主机：所述控制主机生成虚拟磁盘，为虚拟磁盘准备高速缓冲存储器，作为存储数据路径的前端主机，完成数据接收、缓存、转发功能；
策略主机：所述策略主机为分布式块存储***的大脑，控制主机需要创建虚拟磁盘时，将从存储主机中调度处满足条件的主机，生成存储组件供控制主机连接使用；
存储主机：分布式设于***中，数据最终的存放地点，将存储资源抽象成多个存储组件；
所述方法包括块设备的写入和读取方法，该块设备的写入和读取方法如下：
块设备的读取或写入都是一次读取或写入一块连续的数据，其应用程序写入的数据的参数为：offset, length, data；读取的参数为：offset，length，buffer；
offset：读写磁盘的位置，起始位置为0，offset为距离起始位置的偏移量；
length：读写磁盘数据的长度；
data：需要写入磁盘的数据；
buffer：将磁盘中的对应数据填入buffer中。
2.根据权利要求1所述的一种基于分布式块存储的虚拟磁盘分层缓存设计方法，其特征在于：所述分层缓存***结构将存储空间划分为cache对象，每个cache对象固定大小，所述分层缓存***结构的第一层是内存索引，内存索引由一组item组成，每个item占用4个字节代表一个cache对象；内存索引主要维护cache对象的引用计数，标志对应的item是否在cache树中，如果在，该cache对象在cache树的id；
内存索引所需要的内存空间，假设SSD缓存空间为1TB，一个item占用4个字节空间代表4MB的cache对象：
内存索引占用空间 = 1TB ÷ 4MB * 4 = 1MB；
内存索引占用空间较小几乎可以忽略不计；提到具体的cache对象时缓存在cache树中的， cache树是一颗完全二叉树，并组织成最小堆；完全二叉树表示其每个节点可以用整数编号，并且随着***，删除节点，依然能满足完全二叉树条件；最小堆表示树根节点一定是二叉树中key值最小的；通过不同的计算引用计数的方式可以实现不同的缓存淘汰算法；Cache树的Value用于存储SSD Cache的偏移id，以快速找到SSD Cache的block；
Cache树将SSD cache中的block组织成完全二叉树， SSD cache将存储空间划分为一组block，一个block对应一个cache对象，通过简单的映射算法将将要从HDD读取或写入的数据加载到SSD Cache中；
计算Cache树占用内存空间，最小堆以数组的形式实现无需指针：
Cache树的节点数量 = 1TB ÷ 4MB = 262144；
Cache树占用内存空间 = 262144* 16 = 4MB。
3.根据权利要求2所述的一种基于分布式块存储的虚拟磁盘分层缓存设计方法，其特征在于：基于述各模块的描述，描述cache的具体写入流程步骤：
步骤①：应用程序发起写入请求，请求中包含(offset, length, data)；
步骤②：虚拟磁盘io处理程序接收到该请求，根据offset获取内存索引对应的item项，直接通过移位运算得到时间复杂度为O(1)，将引用计数+1 ；
步骤③：如果有需要将数据拆分成多个cache对象，***cache树中，将根节点替换掉，如果没有设置为O_DIRECT则直接返回，后续数据将异步同步到SSD Cache和HDD中；
步骤④：如果设置了O_DIRECT，将Cache对象的数据同步到节点对应的SSD Cacheblock中返回；后续由异步进程同步到后端HDD中；
基于cache***的读取流程步骤：
步骤①：应用程序发起读取请求，请求中包含(offset, length, buffer)；
步骤②：虚拟磁盘io处理程序接收到该请求，根据offset获取内存索引对应的item项，直接通过移位运算得到时间复杂度为O(1)，将引用计数+1；
步骤③：根据item的最高位bit，判断offset对应的数据是否在cache中；如果在cache中，在直接从item读取到其对应的cache树的索引id值，如果cache对象保存了数据，将数据读取返回；如果cache对象内存数据已是否，则根据cache树节点的值对应的SSD Cache偏移id，从SSD读取数据；
步骤④：如果所请求不在cache中，则直接请求存储主机，读取数据；
步骤⑤：比较该请求对应item的引用计数，如果该item的引用计数大于cache树根节点的引用计数，则节点替换，缓存更新；
步骤⑥：如果该item的引用计数小于cache树根节点的引用计数，表示该数据块热度不够，数据返回后，则不更新缓存。
4.根据权利要求1所述的一种基于分布式块存储的虚拟磁盘分层缓存设计方法，其特征在于：由于内存的掉电易失性，内存中仅仅保存读取的数据，更新的数据需要写入SSD中以防掉电数据丢失。
CN201710453950.3A 2017-06-15 2017-06-15 一种基于分布式块存储的虚拟磁盘分层缓存设计方法 Expired - Fee Related CN107168657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710453950.3A CN107168657B (zh) 2017-06-15 2017-06-15 一种基于分布式块存储的虚拟磁盘分层缓存设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710453950.3A CN107168657B (zh) 2017-06-15 2017-06-15 一种基于分布式块存储的虚拟磁盘分层缓存设计方法

Publications (2)

Publication Number Publication Date
CN107168657A true CN107168657A (zh) 2017-09-15
CN107168657B CN107168657B (zh) 2020-05-26

Family

ID=59819638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710453950.3A Expired - Fee Related CN107168657B (zh) 2017-06-15 2017-06-15 一种基于分布式块存储的虚拟磁盘分层缓存设计方法

Country Status (1)

Country Link
CN (1) CN107168657B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832017A (zh) * 2017-11-14 2018-03-23 中国石油集团川庆钻探工程有限公司地球物理勘探公司 一种提高地震数据存储io性能的方法及装置
CN108255428A (zh) * 2018-01-10 2018-07-06 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN109062505A (zh) * 2018-07-13 2018-12-21 南瑞集团有限公司 一种缓存策略写入分层硬件架构下的写性能优化方法
CN109271361A (zh) * 2018-08-13 2019-01-25 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 海量小文件的分布式存储方法和***
CN109376197A (zh) * 2018-09-28 2019-02-22 掌阅科技股份有限公司 一种数据同步方法、服务器及计算机存储介质
CN110196689A (zh) * 2019-06-03 2019-09-03 无锡华云数据技术服务有限公司 数据的读取方法、装置及分布式存储***
CN111078148A (zh) * 2019-12-17 2020-04-28 江苏芯盛智能科技有限公司 基于ssd的缓存方法、装置、ssd和计算机可读存储介质
CN111176584A (zh) * 2019-12-31 2020-05-19 曙光信息产业(北京)有限公司 一种基于混合内存的数据处理方法及装置
CN111198750A (zh) * 2020-01-06 2020-05-26 紫光云技术有限公司 一种提高虚拟磁盘读写性能的方法
CN112650720A (zh) * 2020-12-18 2021-04-13 深圳市佳创视讯技术股份有限公司 一种缓存***管理方法、装置及计算机可读存储介质
CN113190169A (zh) * 2021-02-01 2021-07-30 浪潮云信息技术股份公司 一种轻量级主动过期式数据缓存方法及***
CN113655963A (zh) * 2021-08-19 2021-11-16 江苏东大集成电路***工程技术有限公司 基于内存桥接的数据存储***、方法及计算机设备
CN113779043A (zh) * 2021-11-05 2021-12-10 北京泰策科技有限公司 一种数据分布式缓存自动加载与转换方法
CN117093159A (zh) * 2023-10-18 2023-11-21 同方威视科技江苏有限公司 用于加速存储设备的方法和装置
CN118034940A (zh) * 2024-04-12 2024-05-14 北京麟卓信息科技有限公司 基于缓存组织形式探测的哈佛架构数据缓存大小测算方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945537A (zh) * 2006-07-27 2007-04-11 清华大学 基于存储区域网络的高速固态存储设备的实现方法
CN101241476A (zh) * 2008-01-30 2008-08-13 中国科学院计算技术研究所 一种虚拟存储***和方法
CN103116618A (zh) * 2013-01-28 2013-05-22 南开大学 基于客户端持久缓存的远程文件***镜像方法及***
US20150370716A1 (en) * 2014-06-20 2015-12-24 Dell Products, Lp System and Method to Enable Dynamic Changes to Virtual Disk Stripe Element Sizes on a Storage Controller
CN105589664A (zh) * 2015-12-29 2016-05-18 四川中电启明星信息技术有限公司 虚拟存储高速传输方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945537A (zh) * 2006-07-27 2007-04-11 清华大学 基于存储区域网络的高速固态存储设备的实现方法
CN101241476A (zh) * 2008-01-30 2008-08-13 中国科学院计算技术研究所 一种虚拟存储***和方法
CN103116618A (zh) * 2013-01-28 2013-05-22 南开大学 基于客户端持久缓存的远程文件***镜像方法及***
US20150370716A1 (en) * 2014-06-20 2015-12-24 Dell Products, Lp System and Method to Enable Dynamic Changes to Virtual Disk Stripe Element Sizes on a Storage Controller
CN105589664A (zh) * 2015-12-29 2016-05-18 四川中电启明星信息技术有限公司 虚拟存储高速传输方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾荣: ""大数据处理技术与***研究"", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832017A (zh) * 2017-11-14 2018-03-23 中国石油集团川庆钻探工程有限公司地球物理勘探公司 一种提高地震数据存储io性能的方法及装置
CN108255428B (zh) * 2018-01-10 2020-07-24 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN108255428A (zh) * 2018-01-10 2018-07-06 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN109062505A (zh) * 2018-07-13 2018-12-21 南瑞集团有限公司 一种缓存策略写入分层硬件架构下的写性能优化方法
CN109271361A (zh) * 2018-08-13 2019-01-25 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 海量小文件的分布式存储方法和***
CN109271361B (zh) * 2018-08-13 2020-07-24 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 海量小文件的分布式存储方法和***
CN109376197A (zh) * 2018-09-28 2019-02-22 掌阅科技股份有限公司 一种数据同步方法、服务器及计算机存储介质
CN110196689A (zh) * 2019-06-03 2019-09-03 无锡华云数据技术服务有限公司 数据的读取方法、装置及分布式存储***
CN111078148A (zh) * 2019-12-17 2020-04-28 江苏芯盛智能科技有限公司 基于ssd的缓存方法、装置、ssd和计算机可读存储介质
CN111078148B (zh) * 2019-12-17 2022-10-14 江苏芯盛智能科技有限公司 基于ssd的缓存方法、装置、ssd和计算机可读存储介质
CN111176584A (zh) * 2019-12-31 2020-05-19 曙光信息产业(北京)有限公司 一种基于混合内存的数据处理方法及装置
CN111176584B (zh) * 2019-12-31 2023-10-31 曙光信息产业(北京)有限公司 一种基于混合内存的数据处理方法及装置
CN111198750A (zh) * 2020-01-06 2020-05-26 紫光云技术有限公司 一种提高虚拟磁盘读写性能的方法
CN112650720A (zh) * 2020-12-18 2021-04-13 深圳市佳创视讯技术股份有限公司 一种缓存***管理方法、装置及计算机可读存储介质
CN113190169A (zh) * 2021-02-01 2021-07-30 浪潮云信息技术股份公司 一种轻量级主动过期式数据缓存方法及***
CN113655963B (zh) * 2021-08-19 2024-03-01 东集技术股份有限公司 基于内存桥接的数据存储***、方法及计算机设备
CN113655963A (zh) * 2021-08-19 2021-11-16 江苏东大集成电路***工程技术有限公司 基于内存桥接的数据存储***、方法及计算机设备
CN113779043A (zh) * 2021-11-05 2021-12-10 北京泰策科技有限公司 一种数据分布式缓存自动加载与转换方法
CN117093159B (zh) * 2023-10-18 2024-01-26 同方威视科技江苏有限公司 用于加速存储设备的方法和装置
CN117093159A (zh) * 2023-10-18 2023-11-21 同方威视科技江苏有限公司 用于加速存储设备的方法和装置
CN118034940A (zh) * 2024-04-12 2024-05-14 北京麟卓信息科技有限公司 基于缓存组织形式探测的哈佛架构数据缓存大小测算方法
CN118034940B (zh) * 2024-04-12 2024-06-18 北京麟卓信息科技有限公司 基于缓存组织形式探测的哈佛架构数据缓存大小测算方法

Also Published As

Publication number Publication date
CN107168657B (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
CN107168657A (zh) 一种基于分布式块存储的虚拟磁盘分层缓存设计方法
CN110262922B (zh) 基于副本数据日志的纠删码更新方法及***
US20220137849A1 (en) Fragment Management Method and Fragment Management Apparatus
Park et al. Characterizing datasets for data deduplication in backup applications
US20120221828A1 (en) Retrieving data in a storage system using thin provisioning
Wu et al. zexpander: A key-value cache with both high performance and fewer misses
CN108021717B (zh) 一种轻量级嵌入式文件***的实现方法
US9223686B1 (en) Cache memory data storage control system and method
US20200349038A1 (en) Storage management method, electronic device, and computer program product
CN104503703B (zh) 缓存的处理方法和装置
CN103455577A (zh) 云主机镜像文件的多备份就近存储和读取方法及***
CN106570113B (zh) 一种海量矢量切片数据云存储方法及***
CN103631894A (zh) 一种基于hdfs的动态副本管理方法
CN108052541B (zh) 基于多级页表目录结构的文件***的实现、访问方法、终端
CN103761059A (zh) 一种用于海量数据管理的多盘位存储方法及***
CN108932150A (zh) 基于ssd和磁盘混合存储的缓存方法、装置及介质
CN104572505A (zh) 一种保证海量数据缓存最终一致性的***及方法
CN109582213A (zh) 数据重构方法及装置、数据存储***
CN105516313A (zh) 一种用于大数据的分布式存储***
CN114817195A (zh) 一种分布式存储缓存管理的方法、***、存储介质及设备
CN113608876A (zh) 基于负载类型感知的分布式文件***元数据负载均衡方法
Zhou et al. Improving big data storage performance in hybrid environment
CN107346209B (zh) 一种多磁盘聚合式数据存储***及其实现方法与应用方法
CN106547484A (zh) 一种基于raid5的实现内存数据可靠性方法及***
Fan et al. An improved small file storage strategy in ceph file system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210615

Address after: 312000 Room 302, building 1, Gaohe village, Binhai Industrial Zone, Ma'an street, Keqiao District, Shaoxing City, Zhejiang Province

Patentee after: Shaoxing feiyuan Textile Co.,Ltd.

Address before: 518001 room A902, 9th floor, block a, TCL Industrial Research Institute building, 006 Gaoxin South 1st Road, Nanshan street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: CLOUDSOAR NETWORKS Inc.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200526