CN106686113A - 一种分布式文件***智能预读实现方法 - Google Patents

一种分布式文件***智能预读实现方法 Download PDF

Info

Publication number
CN106686113A
CN106686113A CN201710039359.3A CN201710039359A CN106686113A CN 106686113 A CN106686113 A CN 106686113A CN 201710039359 A CN201710039359 A CN 201710039359A CN 106686113 A CN106686113 A CN 106686113A
Authority
CN
China
Prior art keywords
metadata
client
file system
request
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710039359.3A
Other languages
English (en)
Inventor
李雪生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710039359.3A priority Critical patent/CN106686113A/zh
Publication of CN106686113A publication Critical patent/CN106686113A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5681—Pre-fetching or pre-delivering data based on network characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式文件***智能预读实现方法，属于分布式文件***领域，具体方法如下：S1、客户发出文件***操作请求，通过客户端发送请求到元数据服务；S2、元数据服务依据多个客户端的元数据热度，建立预读元数据缓存；S3、元数据服务智能预判其他客户端缓存，并推送元数据至所有客户端缓存；S4、其他客户发出相同的文件***操作请求，直接命中客户端本地元数据缓存。本发明对多个客户端同时访问文件***，通过元数据智能推送，提高元数据缓存，减少客户端和元数据服务直接的交互次数，提升文件操作性能。

Description

一种分布式文件***智能预读实现方法
技术领域
本发明涉及分布式文件***领域，具体地说是一种分布式文件***智能预读实现方法。
背景技术
元数据与数据分离的结构已经成为了一种趋势。元数据服务器负责维护文件***全局命名空间，管理文件逻辑位置与磁盘物理位置的映射关系，为文件分配物理存储资源，元数据记录在专有的元数据存储设备中。元数据是文件***管理文件属性信息的数据，包括文件名、创建时间、权限、数据存储位置等信息。
分布式文件***的元数据管理，可以分为对称、非对称两类。对称是指所有客户端采用一致缓存，每一次文件操作都需要请求元数据，然后才能根据元数据信息，完成文件操作处理，因此元数据请求直接影响文件操作的性能。
分布式文件***客户端读取的数据需要经过网络从服务端获取，这时需要 的数据可能不在服务端的缓存中，那么就需要从磁盘中读出，而磁盘是延迟非 常大的慢速设备，等待时间比较长。
现有的预读，通过把将要访问的数据预先读取到客户端缓存，后续客户端访问时可以在缓存中获取数据，虽然节省了同步从磁盘读取数据的开销，达到较低的访问延迟。但是客户端和元数据服务直接交互的次数仍然较多，文件的操作性能还有提升空间。
发明内容
本发明的技术任务是提供一种分布式文件***智能预读实现方法。
本发明的技术任务是按以下方式实现的，一种分布式文件***智能预读实现方法，具体方法如下：
S1、客户发出文件***操作请求，通过客户端发送请求到元数据服务；
S2、元数据服务依据多个客户端的元数据热度，建立预读元数据缓存；
S3、元数据服务智能预判其他客户端缓存，并推送元数据至所有客户端缓存；
S4、其他客户发出相同的文件***操作请求，直接命中客户端本地元数据缓存。
进一步的，优选的方法为，当未命中本地元数据缓存时，
S1、元数据服务，从存储池存储设备，读取元数据到内存；然后依据客户端请求应答客户端请求；
S2、客户端收到服务端的应答，返回客户请求。
进一步的，优选的方法为，所述的服务端包括元数据服务及存储池。
进一步的，优选的方法为，当客户发出文件***操作请求为浏览目录时，具体步骤如下：
S1、客户发出浏览目录请求，客户端A发送浏览目录请求到元数据服务；
S2、元数据服务统计元数据热度，建立预读缓存；
S3、元数据服务推送预读元数据到其他客户端B；
S4、客户端B浏览目录请求直接命中客户端本地元数据缓存；
S5、客户端B未命中客户端本地元数据缓存，元数据服务，从存储池存储设备，读取元数据到内存；然后依据客户端B请求应答客户端请求；
S6、客户端B收到服务端的应答，返回客户请求。
进一步的，优选的方法为，所述的元数据热度，依据元数据的访问热度、访问时间和访问量。
一种分布式文件***智能预读装置，包括客户端模块、元数据服务模块和存储池模块，还包括元数据服务模块中增加的智能预读模块；
客户端模块，用于发送请求至元数据服务模块；
元数据服务模块，用于元数据的缓存管理；
智能预读模块，用于建立预读元数据缓存并推送元数据；
存储池模块，用于接收元数据服务模块的访问请求，并返回数据读取内容。
进一步的，优选的结构为，所述的智能预读模块，还包括智能预判模块，用于智能预判，决定是否推送元数据至客户端。
进一步的，优选的结构为，所述的存储池模块，包括存储设备。
本发明的一种分布式文件***智能预读实现方法和现有技术相比，有益效果如下：
1、通过智能预计客户端元数据，推送元数据到其他客户端；
2、改善非对称元数据缓存的缓存命中率，依据客户端访问热度、访问量，在元数据服务实现智能学习；
3、本发明对多个客户端同时访问文件***，通过元数据智能推送，提高元数据缓存，减少客户端和元数据服务直接的交互次数，提升文件操作性能。
附图说明
图1为一种分布式文件***智能预读实现方法的流程示意图。
具体实施方式
现有的预读，确保每次读操作不访问磁盘，并通过动态调整预读的数据量，大大提高了应用读取的稳定性。并且通过两级预读，客户端和服务端都缓存了一定数量的数据，客户端缓存马上要使用的数据，服务端缓存将来要使用的数据。这样，客户端缓存可以抵抗网络带来的抖动，特别是在压力大时，网络延迟有时候会比较长，通过缓存大量的数据使得应用程序在一定范围内不受影响。另一方面，服务端缓存的数据可以抵御磁盘带来的抖动，对于个别延迟大的访问磁盘操作也不会 影响客户端的访问。
本发明一种分布式文件***智能预读实现方法，改善非对称元数据缓存的缓存命中率，在元数据服务缓存管理中增加智能缓存管理，依据元数据的热度、访问量、访问时间等元数据信息，推送元数据缓存到其他分布式文件***客户端，提高客户端的元数据命中率。
一种分布式文件***智能预读实现方法，具体方法如下：
S1、客户发出文件***操作请求，通过客户端发送请求到元数据服务；
S2、元数据服务依据多个客户端的元数据热度，建立预读元数据缓存；元数据热度，依据元数据的访问热度、访问时间和访问量。
S3、元数据服务智能预判其他客户端缓存，并推送元数据至所有客户端缓存；
S4、其他客户发出相同的文件***操作请求，直接命中客户端本地元数据缓存。
S5、当未命中本地元数据缓存时，元数据服务，从存储池存储设备，读取元数据到内存；然后依据客户端请求应答客户端请求；
S6、客户端收到服务端的应答，返回客户请求，所述的服务端包括元数据服务及存储池。
实施例1、
当客户发出文件***操作请求为浏览目录时，具体步骤如下：
S1、客户发出浏览目录请求，客户端A发送浏览目录请求到元数据服务；
S2、元数据服务统计元数据热度，建立预读缓存；
S3、元数据服务推送预读元数据到其他客户端B；
S4、客户端B浏览目录请求直接命中客户端本地元数据缓存；
S5、客户端B未命中客户端本地元数据缓存，元数据服务，从存储池存储设备，读取元数据到内存；然后依据客户端B请求应答客户端请求；
S6、客户端B收到服务端的应答，返回客户请求。
实施例2、
当客户发出文件***操作请求为浏览目录时，具体步骤如下：
S1、客户发出浏览目录请求，客户端A发送浏览目录请求到元数据服务；
S2、元数据服务统计元数据热度，建立预读缓存；
S3、元数据服务通过智能预判，决定是否推送预读元数据到其他客户端B；
S4、客户端B浏览目录请求直接命中客户端本地元数据缓存；
S5、客户端B未命中客户端本地元数据缓存，元数据服务，从存储池存储设备，读取元数据到内存；然后依据客户端B请求应答客户端请求；
S6、客户端B收到服务端的应答，返回客户请求。
本发明还包括，一种分布式文件***智能预读装置，包括客户端模块、元数据服务模块和存储池模块，还包括元数据服务模块中增加的智能预读模块；
客户端模块，用于发送请求至元数据服务模块；
元数据服务模块，用于元数据的缓存管理；
智能预读模块，用于建立预读元数据缓存并推送元数据；智能预读模块，还包括智能预判模块，用于智能预判，决定是否推送元数据至客户端。
存储池模块，用于接收元数据服务模块的访问请求，并返回数据读取内容，所述的存储池模块，包括存储设备。
本发明主要提出在多客户非对称元数据缓存，元数据服务通过客户端访问的热度、时间等智能学习，通过智能学习预推送元数据到其他客户端元数据缓存，提高元数据命中率。依据客户端访问热度、访问量，在元数据服务实现智能学习；通过智能预计客户端元数据，推送元数据到其他客户端，提升AS13000产品竞争力。
本发明对多个客户端同时访问文件***，通过元数据智能推送，提高元数据缓存，减少客户端和元数据服务直接的交互次数，提升文件操作性能。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。

Claims (8)

1.一种分布式文件***智能预读实现方法，其特征在于，具体方法如下：
S1、客户发出文件***操作请求，通过客户端发送请求到元数据服务；
S2、元数据服务依据多个客户端的元数据热度，建立预读元数据缓存；
S3、元数据服务智能预判其他客户端缓存，并推送元数据至所有客户端缓存；
S4、其他客户发出相同的文件***操作请求，直接命中客户端本地元数据缓存。
2.根据权利要求1所述的一种分布式文件***智能预读实现方法，其特征在于，当未命中本地元数据缓存时，
S1、元数据服务，从存储池存储设备，读取元数据到内存；然后依据客户端请求应答客户端请求；
S2、客户端收到服务端的应答，返回客户请求。
3.根据权利要求2所述的一种分布式文件***智能预读实现方法，其特征在于，所述的服务端包括元数据服务及存储池。
4.根据权利要求1或2所述的一种分布式文件***智能预读实现方法，其特征在于，当客户发出文件***操作请求为浏览目录时，具体步骤如下：
S1、客户发出浏览目录请求，客户端A发送浏览目录请求到元数据服务；
S2、元数据服务统计元数据热度，建立预读缓存；
S3、元数据服务推送预读元数据到其他客户端B；
S4、客户端B浏览目录请求直接命中客户端本地元数据缓存；
S5、客户端B未命中客户端本地元数据缓存，元数据服务，从存储池存储设备，读取元数据到内存；然后依据客户端B请求应答客户端请求；
S6、客户端B收到服务端的应答，返回客户请求。
5.根据权利要求1所述的一种分布式文件***智能预读实现方法，其特征在于，所述的元数据热度，依据元数据的访问热度、访问时间和访问量。
6.一种分布式文件***智能预读装置，其特征在于，包括客户端模块、元数据服务模块和存储池模块，还包括元数据服务模块中增加的智能预读模块；
客户端模块，用于发送请求至元数据服务模块；
元数据服务模块，用于元数据的缓存管理；
智能预读模块，用于建立预读元数据缓存并推送元数据；
存储池模块，用于接收元数据服务模块的访问请求，并返回数据读取内容。
7.根据权利要求6所述的一种分布式文件***智能预读装置，其特征在于，所述的智能预读模块，还包括智能预判模块，用于智能预判，决定是否推送元数据至客户端。
8.根据权利要求6所述的一种分布式文件***智能预读装置，其特征在于，所述的存储池模块，包括存储设备。
CN201710039359.3A 2017-01-19 2017-01-19 一种分布式文件***智能预读实现方法 Pending CN106686113A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710039359.3A CN106686113A (zh) 2017-01-19 2017-01-19 一种分布式文件***智能预读实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710039359.3A CN106686113A (zh) 2017-01-19 2017-01-19 一种分布式文件***智能预读实现方法

Publications (1)

Publication Number Publication Date
CN106686113A true CN106686113A (zh) 2017-05-17

Family

ID=58859784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710039359.3A Pending CN106686113A (zh) 2017-01-19 2017-01-19 一种分布式文件***智能预读实现方法

Country Status (1)

Country Link
CN (1) CN106686113A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506154A (zh) * 2017-09-26 2017-12-22 郑州云海信息技术有限公司 一种元数据的读取方法、装置及计算机可读存储介质
CN108319634A (zh) * 2017-12-15 2018-07-24 创新科存储技术（深圳）有限公司 分布式文件***的目录访问方法和装置
CN108920616A (zh) * 2018-06-28 2018-11-30 郑州云海信息技术有限公司 一种元数据访问性能优化方法、***、装置及存储介质
CN109033363A (zh) * 2018-07-26 2018-12-18 广东浪潮大数据研究有限公司 一种响应客户端请求的方法、装置及设备
CN111787062A (zh) * 2020-05-28 2020-10-16 北京航空航天大学 面向广域网络文件***的自适应快速增量预读方法
CN113127420A (zh) * 2021-03-30 2021-07-16 山东英信计算机技术有限公司 一种元数据请求处理方法、装置、设备、介质
CN113326003A (zh) * 2021-05-25 2021-08-31 北京计算机技术及应用研究所 一种分布式存储***元数据访问智能加速方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510219A (zh) * 2009-03-31 2009-08-19 成都市华为赛门铁克科技有限公司 文件数据访问方法、装置以及***
CN102546751A (zh) * 2011-12-06 2012-07-04 华中科技大学 一种分布式文件***分级元数据缓存控制方法
CN103279568A (zh) * 2013-06-18 2013-09-04 无锡紫光存储***有限公司 一种元数据管理***及方法
CN103312776A (zh) * 2013-05-08 2013-09-18 青岛海信传媒网络技术有限公司 边缘节点服务器缓存视频的内容的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510219A (zh) * 2009-03-31 2009-08-19 成都市华为赛门铁克科技有限公司 文件数据访问方法、装置以及***
CN102546751A (zh) * 2011-12-06 2012-07-04 华中科技大学 一种分布式文件***分级元数据缓存控制方法
CN103312776A (zh) * 2013-05-08 2013-09-18 青岛海信传媒网络技术有限公司 边缘节点服务器缓存视频的内容的方法和装置
CN103279568A (zh) * 2013-06-18 2013-09-04 无锡紫光存储***有限公司 一种元数据管理***及方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506154A (zh) * 2017-09-26 2017-12-22 郑州云海信息技术有限公司 一种元数据的读取方法、装置及计算机可读存储介质
CN108319634A (zh) * 2017-12-15 2018-07-24 创新科存储技术（深圳）有限公司 分布式文件***的目录访问方法和装置
CN108319634B (zh) * 2017-12-15 2021-08-06 深圳创新科技术有限公司 分布式文件***的目录访问方法和装置
CN108920616A (zh) * 2018-06-28 2018-11-30 郑州云海信息技术有限公司 一种元数据访问性能优化方法、***、装置及存储介质
CN109033363A (zh) * 2018-07-26 2018-12-18 广东浪潮大数据研究有限公司 一种响应客户端请求的方法、装置及设备
CN111787062A (zh) * 2020-05-28 2020-10-16 北京航空航天大学 面向广域网络文件***的自适应快速增量预读方法
CN111787062B (zh) * 2020-05-28 2021-11-26 北京航空航天大学 面向广域网络文件***的自适应快速增量预读方法
CN113127420A (zh) * 2021-03-30 2021-07-16 山东英信计算机技术有限公司 一种元数据请求处理方法、装置、设备、介质
CN113127420B (zh) * 2021-03-30 2023-03-14 山东英信计算机技术有限公司 一种元数据请求处理方法、装置、设备、介质
CN113326003A (zh) * 2021-05-25 2021-08-31 北京计算机技术及应用研究所 一种分布式存储***元数据访问智能加速方法
CN113326003B (zh) * 2021-05-25 2024-03-26 北京计算机技术及应用研究所 一种分布式存储***元数据访问智能加速方法

Similar Documents

Publication Publication Date Title
CN106686113A (zh) 一种分布式文件***智能预读实现方法
CN104935648B (zh) 一种高性价比的cdn***及文件预推、分片缓存的方法
US11349940B2 (en) Server side data cache system
CN104252536B (zh) 一种基于hbase的上网日志数据查询方法及装置
CN102014158B (zh) 一种云存储服务客户端高效细粒度数据缓存***与方法
CN101388824B (zh) 一种机群***中分片存储模式下文件读取的方法及***
CN102088389B (zh) 一种分布式内容存取调度装置和内容读取方法
CN103312791B (zh) 物联网异构数据存储方法及***
EP2369494A1 (en) Web application based database system and data management method therof
CN103795781B (zh) 一种基于文件预测的分布式缓存方法
CN106528451B (zh) 针对小文件的二级缓存预取的云存储框架及构建方法
CN109783438A (zh) 基于librados的分布式NFS***及其构建方法
CN103096126B (zh) 协作式缓存集群中面向视频点播服务的协作式缓存方法及***
CN109240946A (zh) 数据的多级缓存方法及终端设备
CN103856567A (zh) 基于Hadoop分布式文件***的小文件存储方法
CN102307234A (zh) 基于移动终端的资源检索方法
US20190004968A1 (en) Cache management method, storage system and computer program product
CN111159176A (zh) 一种海量流数据的存储和读取的方法和***
CN102722405A (zh) 高并发、多线程应用中的计数方法及***
CN103945278A (zh) 一种视频内容及内容源爬取方法
CN107368608A (zh) 基于arc替换算法的hdfs小文件缓存管理方法
CN103078936A (zh) 基于gfs的分布式文件***的元数据分级存储方法和***
CN103530349A (zh) 一种缓存更新方法及设备
CN107506154A (zh) 一种元数据的读取方法、装置及计算机可读存储介质
CN106951182A (zh) 一种块设备缓存方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170517

RJ01 Rejection of invention patent application after publication