CN107357532A - 一种新型集群存储新型缓存预读实现方法 - Google Patents

一种新型集群存储新型缓存预读实现方法 Download PDF

Info

Publication number
CN107357532A
CN107357532A CN201710575171.0A CN201710575171A CN107357532A CN 107357532 A CN107357532 A CN 107357532A CN 201710575171 A CN201710575171 A CN 201710575171A CN 107357532 A CN107357532 A CN 107357532A
Authority
CN
China
Prior art keywords
cluster
based storage
read
storage node
service application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710575171.0A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Kai Ya Electronic Technology Co Ltd
Original Assignee
Changsha Kai Ya Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Kai Ya Electronic Technology Co Ltd filed Critical Changsha Kai Ya Electronic Technology Co Ltd
Priority to CN201710575171.0A priority Critical patent/CN107357532A/zh
Publication of CN107357532A publication Critical patent/CN107357532A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种新型集群存储新型缓存预读实现方法，该方法通过集群存储管理***将物理卷内的数据预先读取至集群存储节点的缓存中，待下次业务应用主机下发业务应用读请求时，如业务应用主机下发业务应用读请求是集群存储节点预先缓存的数据，则集群存储节点通过预先缓存的数据直接响应业务应用读请求，以实现降低业务应用读请求的响应时间，提升业务应用读请求的性能和业务应用软件效率。

Description

一种新型集群存储新型缓存预读实现方法
技术领域
本发明专利涉及计算机集群存储领域。
背景技术
集群存储是有别于传统的SAN和NAS的一种新的存储架构。传统的SAN与NAS分别提供的是数据块与文件两个不同级别的存储架构，而集群存储是主要面向文件级别的存储***。集群存储是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池，应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘，可以充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的规则从多台存储设备上存储和读取，以获得更高的并发访问性能。一旦遇到存储***的瓶颈，就会有两种选择：一是：采用硬件更加强大的单个存储***；二是：采用若干个普通性能的存储***来组成“存储的集群”。“集群”作为一项已被广泛使用的体系结构，如果采用到存储上组成“集群存储”，就可提供按比例增加的存储资源的性能、容量、可靠性及可用性，突破了单机设备的种种限制。
一般集群存储扩展起来非常方便，像搭积木一样进行存储的扩展。特别是对于那些对数据增长趋势较难预测的用户，可以先购买一部分存储，当有需求的时候，随时添加，而不会影响现有存储的使用。集群存储的操作都经由分布式操作***统一调度和分发，分散到集群存储各个存储节点上完成。使用分布式操作***带来的好处是各节点之间没有任何区别，没有主次、功能上的区别，所有存储节点功能完全一致，这样才能真正做到性能最优。集群存储通过分布式操作***的作用，会在前端和后端都实现负载均衡。前端访问集群存储的操作，通过几种负载均衡策略，将访问分散到集群存储的各个存储节点上。后端访问数据，通过开放式的架构和后端网络，数据会分布在所有节点上进行存放和读取。
发明专利内容
本发明专利涉及一种新型集群存储新型缓存预读实现方法，该方法通过集群存储管理***将物理卷内的数据预先读取至集群存储节点的缓存中，待下次业务应用主机下发业务应用读请求时，如业务应用主机下发业务应用读请求是集群存储节点预先缓存的数据，则集群存储节点通过预先缓存的数据直接响应业务应用读请求，以实现降低业务应用读请求的响应时间，提升业务应用读请求的性能和业务应用软件效率。
该方法是通过集群存储管理***的读缓存先将可能要访问的数据块从物理卷预先读取到读缓存内，使得集群存储管理***在读取物理卷时的数据块为连续读取，有效降低了每次随机读取物理卷数据块的寻址时间和访问延迟。
该方法中集群存储管理***的读缓存在预读时，采用的是预读单个数据块相关联的后续多个数据块的方式，且读缓存预读最大的多个数据块大小之和不超过512KB。
附图说明
图1为本发明专利的一种新型集群存储新型缓存预读实现方法结构示意图。
具体实施方式
为了使本发明专利的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明专利进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明专利，并不用于限定本发明专利。
请参阅图1，图1为本发明专利的一种新型集群存储新型缓存预读实现方法结构示意图。
一种新型集群存储新型缓存预读实现方法，其特征在于，所述方法包含集群存储节点a读缓存（10a）、集群存储节点b读缓存（10b）、集群存储节点a读缓存预读数据块（11a）、集群存储节点b读缓存预读数据块（11b）、集群存储节点a物理卷（12a）、集群存储节点b物理卷（12b）、集群存储a（13a）、集群存储b（13b）、集群存储c（13c）、集群存储内部通信网络（14）、集群存储外部通信网络（15）、业务应用主机（16）、业务应用读请求（17），该方法通过集群存储a（13a）、集群存储b（13b）和集群存储c（13c）组成集群存储***，集群存储***内部通信采用集群存储内部通信网络（14）将，外部通信采用集群存储外部通信网络（15）与业务应用主机（16）相连，集群存储***通过集群存储节点a物理卷（12a）和集群存储节点b物理卷（12b）创建一个双副本的对业务应用主机（16）访问的数据卷，业务应用主机（16）下发业务应用读请求（17）时则由集群存储a（13a）和集群存储b（13b）来响应，而集群存储节点a读缓存（10a）和集群存储节点b读缓存（10b）会依据下发的业务应用读请求（17）预先去读取集群存储节点a物理卷（12a）和集群存储节点b物理卷（12b）数据至集群存储节点a读缓存（10a）和集群存储节点b读缓存（10b）。
一种新型集群存储新型缓存预读实现方法，其特征在于，该方法采用双副本存储技术，业务应用主机（16）下发业务应用读请求（17）时，可由集群存储节点a物理卷（12a）和集群存储节点b物理卷（12b）并发响应，即业务应用读请求（17）的数据块，可由集群存储节点a读缓存预读数据块（11a）和集群存储节点b读缓存预读数据块（11b）的数据块并发响应。
一种新型集群存储新型缓存预读实现方法，其特征在于，该方法在业务应用主机（16）下发业务应用读请求（17）的第一个数据块请求时，集群存储节点a读缓存（10a）会集群存储节点a物理卷（12a）相关联的多个数据块预先读取至集群存储节点a读缓存（10a），以形成集群存储节点a读缓存预读数据块（11a），当业务应用主机（16）下发业务应用读请求（17）的后续数据块请求时，集群存储节点a（13a）会先从集群存储节点a读缓存预读数据块（11a）中查找是否有数据块可以响应，如有则通过集群存储节点a读缓存预读数据块（11a）中数据块直接响应业务应用主机（16）下发业务应用读请求（17）后续数据块的读请求，集群存储节点b（13b）和集群存储节点c（13c）的缓存预先读取方法与集群存储节点a（13a）的方法相同。
一种新型集群存储新型缓存预读实现方法，其特征在于，该方法集群存储节点a（13a）的集群存储节点a读缓存预读数据块（11a）在预读时，采用的是集群存储节点a读缓存预读数据块（11a）预读业务应用主机（16）下发业务应用读请求（17）第一个数据块相关联的后续多个数据块，数据块的数量非固定值，但集群存储节点a读缓存预读数据块（11a）预读最大的数据块数量大小之和不超过512KB，集群存储节点b（13b）和集群存储节点c（13c）的预读取与集群存储节点a（13a）相同。
以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。

Claims (4)

1.一种新型集群存储新型缓存预读实现方法，其特征在于，所述方法包含集群存储节点a读缓存（10a）、集群存储节点b读缓存（10b）、集群存储节点a读缓存预读数据块（11a）、集群存储节点b读缓存预读数据块（11b）、集群存储节点a物理卷（12a）、集群存储节点b物理卷（12b）、集群存储a（13a）、集群存储b（13b）、集群存储c（13c）、集群存储内部通信网络（14）、集群存储外部通信网络（15）、业务应用主机（16）、业务应用读请求（17），该方法通过集群存储a（13a）、集群存储b（13b）和集群存储c（13c）组成集群存储***，集群存储***内部通信采用集群存储内部通信网络（14）将，外部通信采用集群存储外部通信网络（15）与业务应用主机（16）相连，集群存储***通过集群存储节点a物理卷（12a）和集群存储节点b物理卷（12b）创建一个双副本的对业务应用主机（16）访问的数据卷，业务应用主机（16）下发业务应用读请求（17）时则由集群存储a（13a）和集群存储b（13b）来响应，而集群存储节点a读缓存（10a）和集群存储节点b读缓存（10b）会依据下发的业务应用读请求（17）预先去读取集群存储节点a物理卷（12a）和集群存储节点b物理卷（12b）数据至集群存储节点a读缓存（10a）和集群存储节点b读缓存（10b）。
2.根据权利要求1所述的一种新型集群存储新型缓存预读实现方法，其特征在于，该方法采用双副本存储技术，业务应用主机（16）下发业务应用读请求（17）时，可由集群存储节点a物理卷（12a）和集群存储节点b物理卷（12b）并发响应，即业务应用读请求（17）的数据块，可由集群存储节点a读缓存预读数据块（11a）和集群存储节点b读缓存预读数据块（11b）的数据块并发响应。
3.根据权利要求1所述的一种新型集群存储新型缓存预读实现方法，其特征在于，该方法在业务应用主机（16）下发业务应用读请求（17）的第一个数据块请求时，集群存储节点a读缓存（10a）会集群存储节点a物理卷（12a）相关联的多个数据块预先读取至集群存储节点a读缓存（10a），以形成集群存储节点a读缓存预读数据块（11a），当业务应用主机（16）下发业务应用读请求（17）的后续数据块请求时，集群存储节点a（13a）会先从集群存储节点a读缓存预读数据块（11a）中查找是否有数据块可以响应，如有则通过集群存储节点a读缓存预读数据块（11a）中数据块直接响应业务应用主机（16）下发业务应用读请求（17）后续数据块的读请求，集群存储节点b（13b）和集群存储节点c（13c）的缓存预先读取方法与集群存储节点a（13a）的方法相同。
4.根据权利要求1所述的一种新型集群存储新型缓存预读实现方法，其特征在于，该方法集群存储节点a（13a）的集群存储节点a读缓存预读数据块（11a）在预读时，采用的是集群存储节点a读缓存预读数据块（11a）预读业务应用主机（16）下发业务应用读请求（17）第一个数据块相关联的后续多个数据块，数据块的数量非固定值，但集群存储节点a读缓存预读数据块（11a）预读最大的数据块数量大小之和不超过512KB，集群存储节点b（13b）和集群存储节点c（13c）的预读取与集群存储节点a（13a）相同。
CN201710575171.0A 2017-07-14 2017-07-14 一种新型集群存储新型缓存预读实现方法 Pending CN107357532A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710575171.0A CN107357532A (zh) 2017-07-14 2017-07-14 一种新型集群存储新型缓存预读实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710575171.0A CN107357532A (zh) 2017-07-14 2017-07-14 一种新型集群存储新型缓存预读实现方法

Publications (1)

Publication Number Publication Date
CN107357532A true CN107357532A (zh) 2017-11-17

Family

ID=60293550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710575171.0A Pending CN107357532A (zh) 2017-07-14 2017-07-14 一种新型集群存储新型缓存预读实现方法

Country Status (1)

Country Link
CN (1) CN107357532A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109358805A (zh) * 2018-09-03 2019-02-19 中新网络信息安全股份有限公司 一种数据缓存方法
CN111352575A (zh) * 2018-12-23 2020-06-30 张旭 一种分布式存储集群***读缓存加速设计

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090144287A1 (en) * 2007-11-30 2009-06-04 International Business Machines Corporation Service node, network, and method for pre-fetching for remote program installation
CN102521349A (zh) * 2011-12-12 2012-06-27 深圳市创新科信息技术有限公司 一种文件预读方法
CN105933391A (zh) * 2016-04-11 2016-09-07 青岛海信传媒网络技术有限公司 一种节点扩容方法、装置及***
CN106790422A (zh) * 2016-12-02 2017-05-31 北京锐安科技有限公司 一种用于web应用的数据缓存集群和数据检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090144287A1 (en) * 2007-11-30 2009-06-04 International Business Machines Corporation Service node, network, and method for pre-fetching for remote program installation
CN102521349A (zh) * 2011-12-12 2012-06-27 深圳市创新科信息技术有限公司 一种文件预读方法
CN105933391A (zh) * 2016-04-11 2016-09-07 青岛海信传媒网络技术有限公司 一种节点扩容方法、装置及***
CN106790422A (zh) * 2016-12-02 2017-05-31 北京锐安科技有限公司 一种用于web应用的数据缓存集群和数据检索方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109358805A (zh) * 2018-09-03 2019-02-19 中新网络信息安全股份有限公司 一种数据缓存方法
CN109358805B (zh) * 2018-09-03 2021-11-30 中新网络信息安全股份有限公司 一种数据缓存方法
CN111352575A (zh) * 2018-12-23 2020-06-30 张旭 一种分布式存储集群***读缓存加速设计

Similar Documents

Publication Publication Date Title
US20220057940A1 (en) Method and Apparatus for SSD Storage Access
US20150127691A1 (en) Efficient implementations for mapreduce systems
CN107077300A (zh) 用于平衡分段清除与i/o工作负载的速率匹配技术
US11093410B2 (en) Cache management method, storage system and computer program product
CN101375241A (zh) 集群文件***中的有效数据管理
CN101515298A (zh) 基于树形数据结构节点的***的方法和存储装置
CN106534308B (zh) 一种分布式存储***中解决数据块访问热点的方法及装置
CN112632069B (zh) 哈希表数据存储管理方法、装置、介质和电子设备
US11226778B2 (en) Method, apparatus and computer program product for managing metadata migration
CN103595799A (zh) 一种实现分布式共享数据库的方法
CN104054071A (zh) 访问存储设备的方法和存储设备
CN104102742A (zh) 一种高性能海量存储***及存储方法
CN103595720B (zh) 卸载数据传输方法、装置和客户端
KR102471966B1 (ko) 스토리지 노드 기반의 키-값 스토어를 이용하는 데이터 입출력 방법
CN107357532A (zh) 一种新型集群存储新型缓存预读实现方法
Zhou et al. Hierarchical consistent hashing for heterogeneous object-based storage
WO2023185639A1 (zh) 一种基于nvme硬盘的数据交互***及方法
CN106980475A (zh) 一种分布式集群***
WO2022257685A1 (zh) 存储***、网卡、处理器、数据访问方法、装置及***
WO2024021470A1 (zh) 一种跨区域的数据调度方法、装置、设备及存储介质
EP4321981A1 (en) Data processing method and apparatus
WO2022156649A1 (zh) 一种容量调整的方法以及相关装置
CN107291633A (zh) 一种新型集群存储写缓存分级管理方法
CN117043755A (zh) 计算***中的存储器操作管理
CN107181826A (zh) 一种新型集群存储缓存数据同步实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171117

WD01 Invention patent application deemed withdrawn after publication