CN104158863A - 基于事务级别全程高速缓冲的云存储机制 - Google Patents

基于事务级别全程高速缓冲的云存储机制 Download PDF

Info

Publication number
CN104158863A
CN104158863A CN201410376144.7A CN201410376144A CN104158863A CN 104158863 A CN104158863 A CN 104158863A CN 201410376144 A CN201410376144 A CN 201410376144A CN 104158863 A CN104158863 A CN 104158863A
Authority
CN
China
Prior art keywords
data block
client
data
cache queue
addressing information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410376144.7A
Other languages
English (en)
Inventor
黄睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Chi Chi Technology Co., Ltd.
Original Assignee
CHENGDU ZHIYUN SCIENCE & TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU ZHIYUN SCIENCE & TECHNOLOGY Co Ltd filed Critical CHENGDU ZHIYUN SCIENCE & TECHNOLOGY Co Ltd
Priority to CN201410376144.7A priority Critical patent/CN104158863A/zh
Publication of CN104158863A publication Critical patent/CN104158863A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了基于事务级别全程高速缓冲的云存储机制，包括如下步骤：（a）用户发出读写请求；（b）客户端接收读写请求的数据块，在本地高速缓存队列中检索是否有此数据块，若找到，返回该数据块给用户，若没有找到，则向元数据服务器发送查询请求；（d）元数据服务器收到查询请求后，在本地高速缓存队列中检索数据节点中的寻址信息，将找到的寻址信息发送回客户端；（e）客户端收到寻址信息后，直接访问数据节点中的地址；（f）数据节点在自身的高速缓存队列里中找出查询请求的数据块，将该数据块返回给客户端；（g）客户端再返回给用户。本发明整个读写过程迅速完成，不需要访问磁盘，大幅提升了速度，使处理性能提高，降低了成本。

Description

基于事务级别全程高速缓冲的云存储机制
技术领域
本发明属于云存储领域，具体涉及基于事务级别全程高速缓冲的云存储机制。
背景技术
云存储是指通过集群应用、网格技术或分布式文件***等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个***，保证数据的安全性，并节约存储空间
云存储***应具有以下通用特征：
（1）高可扩展性：云存储***可支持海量数据处理，资源可以实现按需扩展；     
（2）低成本：云存储***应具备高性价比的特点，低成本体现在两方面，更低的建设成本和更低的运维成本；     
（3）无接入限制：相比传统存储，云存储强调对用户存储的灵活支持，服务域内存储资源可以随处接入，随时访问。     
（4）易管理：少量管理员可以处理上千节点和PB级存储，更高效的支撑大量上层应用对存储资源的快速部署需求。
云存储提供的诸多功能和性能旨在满足伴随海量非活动数据的增长而带来的存储难题，诸如：随着容量增长，线性地扩展性能和存取速度。
用户向客户端发送请求，客户端向元数据服务器发送读写请求数据块，元数据服务器接收到请求数据块，在磁盘中读出请求数据块的地址信息，然后将此地址信息返回给客户端，客户端收到地址信息后，直接访问数据节点中的地址，数据节点在磁盘中找到请求数据块后，再将数据返回客户端，客户端将结果返回用户，表示本次读写请求完成。整个读写过程在磁盘中运行，因为在磁盘中进行，所以整个读写过程速度慢，性能低，为了提高速度，在数据节点处使用固态硬盘，但此方法大大增加了成本。
发明内容
针对上述现有技术的不足，本发明提供基于事务级别全程高速缓冲的云存储机制，解决了现有云存储中读写过程基于磁盘进行，造成整个读写过程速度慢，性能低，成本高的问题。
为了实现上述目的，本发明采用的技术方案如下：
 基于事务级别全程高速缓冲的云存储机制，包括如下步骤：
（a）用户发出读写请求；
（b）客户端接收读写请求的数据块，在本地高速缓存队列中检索是否有此数据块，若找到此数据块，返回该数据块给用户。
具体地，在所述步骤（b）中，若客户端没有在本地高速缓存队列中找到读写请求的数据块，则还包括如下步骤：
（c）客户端向元数据服务器发送查询请求；
（d）元数据服务器收到查询请求后，在本地高速缓存队列中检索数据节点中的寻址信息，将找到的寻址信息发送回客户端；
（e）客户端收到寻址信息后，直接访问数据节点中的地址；
（f）数据节点在自身的高速缓存队列里中找出查询请求的数据块，将该数据块返回给客户端；
（g）客户端再将步骤（f）中数据块返回给用户。
与现有技术相比，本发明具有以下有益效果：
（1）本发明客户端接收到读写请求的数据块，在本地高速缓存队列中检索是否有此数据块，若找到此数据块，立刻返回给用户，而不用再向元数据服务器发送查询请求，简化了流程，处理速度加快；
（2）本发明元数据服务器和数据节点在收到查询请求后，均在高速缓存队列里中进行、完成查询工作，并将结果返回至客户端和用户，使整个读写过程迅速完成，大幅提升了速度，使处理性能提高，降低了大量成本；
（3）本发明整个过程基于高速缓存队列完成，不通过磁盘处理，工作速度快，节约成本；
（4）本发明元数据服务器在高速缓存队列中查询数据节点地址所用时间与数据节点在高速缓存队列中完成指令的时间均为ns级，所用时间与普通方案差距很大，处理速度非常快，性能良好。 
附图说明
图1为本发明的工作流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。
实施例1
如图1所示，基于事务级别全程高速缓冲的云存储机制，包括如下步骤：（a）用户发出读写请求，客户端接收读写请求的数据块；（b）客户端在本地高速缓存队列中检索是否有此数据块，若找到此数据块，立刻返回给用户。
本实施例中，客户端接收到读写请求的数据块，在本地高速缓存队列中检索是否有此数据块，若找到此数据块，立刻返回给用户，而不用再向元数据服务器发送查询请求，简化了流程，处理速度加快，节约了成本。
实施例2
如图1所示，基于事务级别全程高速缓冲的云存储机制，包括如下步骤：（a）用户发出读写请求，客户端接收读写请求的数据块；（b）客户端在本地高速缓存队列中检索是否有此数据块，若没有找到此数据块，客户端向元数据服务器发送查询请求；（c）元数据服务器收到查询请求后，在本地高速缓存队列中检索数据节点中的寻址信息，将找到的寻址信息发送回客户端；（d）客户端收到寻址信息后，直接访问数据节点中的地址；（e）数据节点在自身的高速缓存队列里中找出查询请求的数据块，迅速返回给客户端；（f）客户端再将步骤（e）中数据块返回给用户。
本实施例中，元数据服务器和数据节点在收到查询请求后，均在高速缓存队列里中进行、完成查询工作，并将结果返回至客户端和用户，使整个读写过程迅速完成，大幅提升了速度，使处理性能提高，降低了大量成本。
按照上述实施例，便可很好地实现本发明。值得说明的是，基于上述结构设计的前提下，为解决同样的技术问题，即使在本发明上做出的一些无实质性的改动或润色，所采用的技术方案的实质仍然与本发明一样，故其也应当在本发明的保护范围内。

Claims (4)

1.基于事务级别全程高速缓冲的云存储机制，其特征在于，包括如下步骤：
（a）用户发出读写请求；
（b）客户端接收读写请求的数据块，在本地高速缓存队列中检索是否有此数据块，若找到此数据块，返回该数据块给用户。
2.根据权利要求1所述的基于事务级别全程高速缓冲的云存储机制，其特征在于，在所述步骤（b）中，若客户端没有在本地高速缓存队列中找到读写请求的数据块，则还包括如下步骤：
（c）客户端向元数据服务器发送查询请求；
（d）元数据服务器收到查询请求后，检索数据节点中的寻址信息，将找到的寻址信息发送回客户端；
（e）客户端收到寻址信息后，直接访问数据节点中的地址；
（f）数据节点找出查询请求的数据块，将该数据块返回给客户端；
（g）客户端再将步骤（f）中数据块返回给用户。
3.根据权利要求2所述的基于事务级别全程高速缓冲的云存储机制，其特征在于，所述步骤（d）中，元数据服务器在本地高速缓存队列中检索数据节点中的寻址信息。
4.根据权利要求3所述的基于事务级别全程高速缓冲的云存储机制，其特征在于，所述步骤（f）中，数据节点在自身的高速缓存队列里中找出查询请求的数据块。
CN201410376144.7A 2014-08-02 2014-08-02 基于事务级别全程高速缓冲的云存储机制 Pending CN104158863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410376144.7A CN104158863A (zh) 2014-08-02 2014-08-02 基于事务级别全程高速缓冲的云存储机制

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410376144.7A CN104158863A (zh) 2014-08-02 2014-08-02 基于事务级别全程高速缓冲的云存储机制

Publications (1)

Publication Number Publication Date
CN104158863A true CN104158863A (zh) 2014-11-19

Family

ID=51884268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410376144.7A Pending CN104158863A (zh) 2014-08-02 2014-08-02 基于事务级别全程高速缓冲的云存储机制

Country Status (1)

Country Link
CN (1) CN104158863A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461943A (zh) * 2014-12-29 2015-03-25 成都致云科技有限公司 数据读取方法、装置以及***
CN105302920A (zh) * 2015-11-23 2016-02-03 上海爱数信息技术股份有限公司 一种云存储数据的优化管理方法和***
CN107888687A (zh) * 2017-11-15 2018-04-06 长沙证通云计算有限公司 一种基于分布式存储***的代理客户端存储加速方法及***
CN109634583A (zh) * 2018-11-14 2019-04-16 西安翔腾微电子科技有限公司 一种基于SystemC的GPU颜色存储Cache模块的硬件TLM模型及实现结构
CN109739434A (zh) * 2018-12-03 2019-05-10 中科恒运股份有限公司 文件读取地址获取方法、文件读取方法和终端设备
CN113296710A (zh) * 2021-06-10 2021-08-24 杭州雾联科技有限公司 一种云存储数据读取方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854392A (zh) * 2010-05-20 2010-10-06 清华大学 一种基于云计算环境的个人数据管理方法
CN101997924A (zh) * 2010-11-22 2011-03-30 杨文军 云存储文件传输协议(cftp)
CN102014158A (zh) * 2010-11-29 2011-04-13 北京兴宇中科科技开发股份有限公司 一种云存储服务客户端高效细粒度数据缓存***与方法
CN102035881A (zh) * 2010-11-19 2011-04-27 清华大学 一种云端存储***的数据缓存方法
CN102307221A (zh) * 2011-03-25 2012-01-04 国云科技股份有限公司 一种云存储***及其实现方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854392A (zh) * 2010-05-20 2010-10-06 清华大学 一种基于云计算环境的个人数据管理方法
CN102035881A (zh) * 2010-11-19 2011-04-27 清华大学 一种云端存储***的数据缓存方法
CN101997924A (zh) * 2010-11-22 2011-03-30 杨文军 云存储文件传输协议(cftp)
CN102014158A (zh) * 2010-11-29 2011-04-13 北京兴宇中科科技开发股份有限公司 一种云存储服务客户端高效细粒度数据缓存***与方法
CN102307221A (zh) * 2011-03-25 2012-01-04 国云科技股份有限公司 一种云存储***及其实现方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461943A (zh) * 2014-12-29 2015-03-25 成都致云科技有限公司 数据读取方法、装置以及***
CN104461943B (zh) * 2014-12-29 2017-10-27 成都致云科技有限公司 数据读取方法、装置以及***
CN105302920A (zh) * 2015-11-23 2016-02-03 上海爱数信息技术股份有限公司 一种云存储数据的优化管理方法和***
CN105302920B (zh) * 2015-11-23 2020-01-03 上海爱数信息技术股份有限公司 一种云存储数据的优化管理方法和***
CN107888687A (zh) * 2017-11-15 2018-04-06 长沙证通云计算有限公司 一种基于分布式存储***的代理客户端存储加速方法及***
CN107888687B (zh) * 2017-11-15 2020-06-16 长沙证通云计算有限公司 一种基于分布式存储***的代理客户端存储加速方法及***
CN109634583A (zh) * 2018-11-14 2019-04-16 西安翔腾微电子科技有限公司 一种基于SystemC的GPU颜色存储Cache模块的硬件TLM模型及实现结构
CN109739434A (zh) * 2018-12-03 2019-05-10 中科恒运股份有限公司 文件读取地址获取方法、文件读取方法和终端设备
CN113296710A (zh) * 2021-06-10 2021-08-24 杭州雾联科技有限公司 一种云存储数据读取方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10013317B1 (en) Restoring a volume in a storage system
US10885005B2 (en) Disk optimized paging for column oriented databases
US9933979B2 (en) Device and method for storing data in distributed storage system
CN104158863A (zh) 基于事务级别全程高速缓冲的云存储机制
CN102117248A (zh) 一种缓存***和在缓存***中缓存数据的方法
US9612758B1 (en) Performing a pre-warm-up procedure via intelligently forecasting as to when a host computer will access certain host data
US20160364407A1 (en) Method and Device for Responding to Request, and Distributed File System
US20180107601A1 (en) Cache architecture and algorithms for hybrid object storage devices
US10482062B1 (en) Independent evictions from datastore accelerator fleet nodes
CN104580437A (zh) 一种云存储客户端及其高效数据访问方法
US9612975B2 (en) Page cache device and method for efficient mapping
CN107832423B (zh) 一种用于分布式文件***的文件读写方法
CN109753231A (zh) 键值存储设备及操作其的方法
CN101840308A (zh) 一种分级存储***及其逻辑卷管理方法
CN107003814A (zh) 存储***中的有效元数据
CN103530388A (zh) 一种云存储***中提升性能的数据处理方法
CN109144413A (zh) 一种元数据管理方法及装置
CN104267912A (zh) 一种nas加速方法及***
CN102521330A (zh) 一种桌面虚拟化环境下的镜像分布式存储方法
CN104020961A (zh) 分布式数据存储方法、装置及***
CN102355502B (zh) 存储***远程接入桌面操作***的远程接入方法
CN105516313A (zh) 一种用于大数据的分布式存储***
CN103942301A (zh) 一种面向多数据类型访问应用的分布式文件***
CN109254958A (zh) 分布式数据读写方法、设备及***
Guo et al. HP-mapper: A high performance storage driver for docker containers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171206

Address after: 610000 8 building, No. 219, Tianfu Third Street, Sichuan high tech Zone, Chengdu high tech Zone

Applicant after: Chengdu Chi Chi Technology Co., Ltd.

Address before: 610000 Chengdu province high tech Zone, East Street, No. 76, grass layer, layer 4, No.

Applicant before: CHENGDU ZHIYUN SCIENCE & TECHNOLOGY CO., LTD.

RJ01 Rejection of invention patent application after publication

Application publication date: 20141119

RJ01 Rejection of invention patent application after publication