CN106686113A - 一种分布式文件***智能预读实现方法 - Google Patents
一种分布式文件***智能预读实现方法 Download PDFInfo
- Publication number
- CN106686113A CN106686113A CN201710039359.3A CN201710039359A CN106686113A CN 106686113 A CN106686113 A CN 106686113A CN 201710039359 A CN201710039359 A CN 201710039359A CN 106686113 A CN106686113 A CN 106686113A
- Authority
- CN
- China
- Prior art keywords
- metadata
- client
- file system
- request
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
- H04L67/5681—Pre-fetching or pre-delivering data based on network characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式文件***智能预读实现方法,属于分布式文件***领域,具体方法如下:S1、客户发出文件***操作请求,通过客户端发送请求到元数据服务;S2、元数据服务依据多个客户端的元数据热度,建立预读元数据缓存;S3、元数据服务智能预判其他客户端缓存,并推送元数据至所有客户端缓存;S4、其他客户发出相同的文件***操作请求,直接命中客户端本地元数据缓存。本发明对多个客户端同时访问文件***,通过元数据智能推送,提高元数据缓存,减少客户端和元数据服务直接的交互次数,提升文件操作性能。
Description
技术领域
本发明涉及分布式文件***领域,具体地说是一种分布式文件***智能预读实现方法。
背景技术
元数据与数据分离的结构已经成为了一种趋势。元数据服务器负责维护文件***全局命名空间,管理文件逻辑位置与磁盘物理位置的映射关系,为文件分配物理存储资源,元数据记录在专有的元数据存储设备中。元数据是文件***管理文件属性信息的数据,包括文件名、创建时间、权限、数据存储位置等信息。
分布式文件***的元数据管理,可以分为对称、非对称两类。对称是指所有客户端采用一致缓存,每一次文件操作都需要请求元数据,然后才能根据元数据信息,完成文件操作处理,因此元数据请求直接影响文件操作的性能。
分布式文件***客户端读取的数据需要经过网络从服务端获取,这时需要 的数据可能不在服务端的缓存中,那么就需要从磁盘中读出,而磁盘是延迟非 常大的慢速设备,等待时间比较长。
现有的预读,通过把将要访问的数据预先读取到客户端缓存,后续客户端访问时可以在缓存中获取数据,虽然节省了同步从磁盘读取数据的开销,达到较低的访问延迟。但是客户端和元数据服务直接交互的次数仍然较多,文件的操作性能还有提升空间。
发明内容
本发明的技术任务是提供一种分布式文件***智能预读实现方法。
本发明的技术任务是按以下方式实现的,一种分布式文件***智能预读实现方法,具体方法如下:
S1、客户发出文件***操作请求,通过客户端发送请求到元数据服务;
S2、元数据服务依据多个客户端的元数据热度,建立预读元数据缓存;
S3、元数据服务智能预判其他客户端缓存,并推送元数据至所有客户端缓存;
S4、其他客户发出相同的文件***操作请求,直接命中客户端本地元数据缓存。
进一步的,优选的方法为,当未命中本地元数据缓存时,
S1、元数据服务,从存储池存储设备,读取元数据到内存;然后依据客户端请求应答客户端请求;
S2、客户端收到服务端的应答,返回客户请求。
进一步的,优选的方法为,所述的服务端包括元数据服务及存储池。
进一步的,优选的方法为,当客户发出文件***操作请求为浏览目录时,具体步骤如下:
S1、客户发出浏览目录请求,客户端A发送浏览目录请求到元数据服务;
S2、元数据服务统计元数据热度,建立预读缓存;
S3、元数据服务推送预读元数据到其他客户端B;
S4、客户端B浏览目录请求直接命中客户端本地元数据缓存;
S5、客户端B未命中客户端本地元数据缓存,元数据服务,从存储池存储设备,读取元数据到内存;然后依据客户端B请求应答客户端请求;
S6、客户端B收到服务端的应答,返回客户请求。
进一步的,优选的方法为,所述的元数据热度,依据元数据的访问热度、访问时间和访问量。
一种分布式文件***智能预读装置,包括客户端模块、元数据服务模块和存储池模块,还包括元数据服务模块中增加的智能预读模块;
客户端模块,用于发送请求至元数据服务模块;
元数据服务模块,用于元数据的缓存管理;
智能预读模块,用于建立预读元数据缓存并推送元数据;
存储池模块,用于接收元数据服务模块的访问请求,并返回数据读取内容。
进一步的,优选的结构为,所述的智能预读模块,还包括智能预判模块,用于智能预判,决定是否推送元数据至客户端。
进一步的,优选的结构为,所述的存储池模块,包括存储设备。
本发明的一种分布式文件***智能预读实现方法和现有技术相比,有益效果如下:
1、通过智能预计客户端元数据,推送元数据到其他客户端;
2、改善非对称元数据缓存的缓存命中率,依据客户端访问热度、访问量,在元数据服务实现智能学习;
3、本发明对多个客户端同时访问文件***,通过元数据智能推送,提高元数据缓存,减少客户端和元数据服务直接的交互次数,提升文件操作性能。
附图说明
图1为一种分布式文件***智能预读实现方法的流程示意图。
具体实施方式
现有的预读,确保每次读操作不访问磁盘,并通过动态调整预读的数据量,大大提高了应用读取的稳定性。并且通过两级预读,客户端和服务端都缓存了一定数量的数据,客户端缓存马上要使用的数据,服务端缓存将来要使用的数据。这样,客户端缓存可以抵抗网络带来的抖动,特别是在压力大时,网络延迟有时候会比较长,通过缓存大量的数据使得应用程序在一定范围内不受影响。另一方面,服务端缓存的数据可以抵御磁盘带来的抖动,对于个别延迟大的访问磁盘操作也不会 影响客户端的访问。
本发明一种分布式文件***智能预读实现方法,改善非对称元数据缓存的缓存命中率,在元数据服务缓存管理中增加智能缓存管理,依据元数据的热度、访问量、访问时间等元数据信息,推送元数据缓存到其他分布式文件***客户端,提高客户端的元数据命中率。
一种分布式文件***智能预读实现方法,具体方法如下:
S1、客户发出文件***操作请求,通过客户端发送请求到元数据服务;
S2、元数据服务依据多个客户端的元数据热度,建立预读元数据缓存;元数据热度,依据元数据的访问热度、访问时间和访问量。
S3、元数据服务智能预判其他客户端缓存,并推送元数据至所有客户端缓存;
S4、其他客户发出相同的文件***操作请求,直接命中客户端本地元数据缓存。
S5、当未命中本地元数据缓存时,元数据服务,从存储池存储设备,读取元数据到内存;然后依据客户端请求应答客户端请求;
S6、客户端收到服务端的应答,返回客户请求,所述的服务端包括元数据服务及存储池。
实施例1、
当客户发出文件***操作请求为浏览目录时,具体步骤如下:
S1、客户发出浏览目录请求,客户端A发送浏览目录请求到元数据服务;
S2、元数据服务统计元数据热度,建立预读缓存;
S3、元数据服务推送预读元数据到其他客户端B;
S4、客户端B浏览目录请求直接命中客户端本地元数据缓存;
S5、客户端B未命中客户端本地元数据缓存,元数据服务,从存储池存储设备,读取元数据到内存;然后依据客户端B请求应答客户端请求;
S6、客户端B收到服务端的应答,返回客户请求。
实施例2、
当客户发出文件***操作请求为浏览目录时,具体步骤如下:
S1、客户发出浏览目录请求,客户端A发送浏览目录请求到元数据服务;
S2、元数据服务统计元数据热度,建立预读缓存;
S3、元数据服务通过智能预判,决定是否推送预读元数据到其他客户端B;
S4、客户端B浏览目录请求直接命中客户端本地元数据缓存;
S5、客户端B未命中客户端本地元数据缓存,元数据服务,从存储池存储设备,读取元数据到内存;然后依据客户端B请求应答客户端请求;
S6、客户端B收到服务端的应答,返回客户请求。
本发明还包括,一种分布式文件***智能预读装置,包括客户端模块、元数据服务模块和存储池模块,还包括元数据服务模块中增加的智能预读模块;
客户端模块,用于发送请求至元数据服务模块;
元数据服务模块,用于元数据的缓存管理;
智能预读模块,用于建立预读元数据缓存并推送元数据;智能预读模块,还包括智能预判模块,用于智能预判,决定是否推送元数据至客户端。
存储池模块,用于接收元数据服务模块的访问请求,并返回数据读取内容,所述的存储池模块,包括存储设备。
本发明主要提出在多客户非对称元数据缓存,元数据服务通过客户端访问的热度、时间等智能学习,通过智能学习预推送元数据到其他客户端元数据缓存,提高元数据命中率。依据客户端访问热度、访问量,在元数据服务实现智能学习;通过智能预计客户端元数据,推送元数据到其他客户端,提升AS13000产品竞争力。
本发明对多个客户端同时访问文件***,通过元数据智能推送,提高元数据缓存,减少客户端和元数据服务直接的交互次数,提升文件操作性能。
通过上面具体实施方式,所述技术领域的技术人员可容易的实现本发明。但是应当理解,本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上,所述技术领域的技术人员可任意组合不同的技术特征,从而实现不同的技术方案。
Claims (8)
1.一种分布式文件***智能预读实现方法,其特征在于,具体方法如下:
S1、客户发出文件***操作请求,通过客户端发送请求到元数据服务;
S2、元数据服务依据多个客户端的元数据热度,建立预读元数据缓存;
S3、元数据服务智能预判其他客户端缓存,并推送元数据至所有客户端缓存;
S4、其他客户发出相同的文件***操作请求,直接命中客户端本地元数据缓存。
2.根据权利要求1所述的一种分布式文件***智能预读实现方法,其特征在于,当未命中本地元数据缓存时,
S1、元数据服务,从存储池存储设备,读取元数据到内存;然后依据客户端请求应答客户端请求;
S2、客户端收到服务端的应答,返回客户请求。
3.根据权利要求2所述的一种分布式文件***智能预读实现方法,其特征在于,所述的服务端包括元数据服务及存储池。
4.根据权利要求1或2所述的一种分布式文件***智能预读实现方法,其特征在于,当客户发出文件***操作请求为浏览目录时,具体步骤如下:
S1、客户发出浏览目录请求,客户端A发送浏览目录请求到元数据服务;
S2、元数据服务统计元数据热度,建立预读缓存;
S3、元数据服务推送预读元数据到其他客户端B;
S4、客户端B浏览目录请求直接命中客户端本地元数据缓存;
S5、客户端B未命中客户端本地元数据缓存,元数据服务,从存储池存储设备,读取元数据到内存;然后依据客户端B请求应答客户端请求;
S6、客户端B收到服务端的应答,返回客户请求。
5.根据权利要求1所述的一种分布式文件***智能预读实现方法,其特征在于,所述的元数据热度,依据元数据的访问热度、访问时间和访问量。
6.一种分布式文件***智能预读装置,其特征在于,包括客户端模块、元数据服务模块和存储池模块,还包括元数据服务模块中增加的智能预读模块;
客户端模块,用于发送请求至元数据服务模块;
元数据服务模块,用于元数据的缓存管理;
智能预读模块,用于建立预读元数据缓存并推送元数据;
存储池模块,用于接收元数据服务模块的访问请求,并返回数据读取内容。
7.根据权利要求6所述的一种分布式文件***智能预读装置,其特征在于,所述的智能预读模块,还包括智能预判模块,用于智能预判,决定是否推送元数据至客户端。
8.根据权利要求6所述的一种分布式文件***智能预读装置,其特征在于,所述的存储池模块,包括存储设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710039359.3A CN106686113A (zh) | 2017-01-19 | 2017-01-19 | 一种分布式文件***智能预读实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710039359.3A CN106686113A (zh) | 2017-01-19 | 2017-01-19 | 一种分布式文件***智能预读实现方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106686113A true CN106686113A (zh) | 2017-05-17 |
Family
ID=58859784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710039359.3A Pending CN106686113A (zh) | 2017-01-19 | 2017-01-19 | 一种分布式文件***智能预读实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106686113A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107506154A (zh) * | 2017-09-26 | 2017-12-22 | 郑州云海信息技术有限公司 | 一种元数据的读取方法、装置及计算机可读存储介质 |
CN108319634A (zh) * | 2017-12-15 | 2018-07-24 | 创新科存储技术(深圳)有限公司 | 分布式文件***的目录访问方法和装置 |
CN108920616A (zh) * | 2018-06-28 | 2018-11-30 | 郑州云海信息技术有限公司 | 一种元数据访问性能优化方法、***、装置及存储介质 |
CN109033363A (zh) * | 2018-07-26 | 2018-12-18 | 广东浪潮大数据研究有限公司 | 一种响应客户端请求的方法、装置及设备 |
CN111787062A (zh) * | 2020-05-28 | 2020-10-16 | 北京航空航天大学 | 面向广域网络文件***的自适应快速增量预读方法 |
CN113127420A (zh) * | 2021-03-30 | 2021-07-16 | 山东英信计算机技术有限公司 | 一种元数据请求处理方法、装置、设备、介质 |
CN113326003A (zh) * | 2021-05-25 | 2021-08-31 | 北京计算机技术及应用研究所 | 一种分布式存储***元数据访问智能加速方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101510219A (zh) * | 2009-03-31 | 2009-08-19 | 成都市华为赛门铁克科技有限公司 | 文件数据访问方法、装置以及*** |
CN102546751A (zh) * | 2011-12-06 | 2012-07-04 | 华中科技大学 | 一种分布式文件***分级元数据缓存控制方法 |
CN103279568A (zh) * | 2013-06-18 | 2013-09-04 | 无锡紫光存储***有限公司 | 一种元数据管理***及方法 |
CN103312776A (zh) * | 2013-05-08 | 2013-09-18 | 青岛海信传媒网络技术有限公司 | 边缘节点服务器缓存视频的内容的方法和装置 |
-
2017
- 2017-01-19 CN CN201710039359.3A patent/CN106686113A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101510219A (zh) * | 2009-03-31 | 2009-08-19 | 成都市华为赛门铁克科技有限公司 | 文件数据访问方法、装置以及*** |
CN102546751A (zh) * | 2011-12-06 | 2012-07-04 | 华中科技大学 | 一种分布式文件***分级元数据缓存控制方法 |
CN103312776A (zh) * | 2013-05-08 | 2013-09-18 | 青岛海信传媒网络技术有限公司 | 边缘节点服务器缓存视频的内容的方法和装置 |
CN103279568A (zh) * | 2013-06-18 | 2013-09-04 | 无锡紫光存储***有限公司 | 一种元数据管理***及方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107506154A (zh) * | 2017-09-26 | 2017-12-22 | 郑州云海信息技术有限公司 | 一种元数据的读取方法、装置及计算机可读存储介质 |
CN108319634A (zh) * | 2017-12-15 | 2018-07-24 | 创新科存储技术(深圳)有限公司 | 分布式文件***的目录访问方法和装置 |
CN108319634B (zh) * | 2017-12-15 | 2021-08-06 | 深圳创新科技术有限公司 | 分布式文件***的目录访问方法和装置 |
CN108920616A (zh) * | 2018-06-28 | 2018-11-30 | 郑州云海信息技术有限公司 | 一种元数据访问性能优化方法、***、装置及存储介质 |
CN109033363A (zh) * | 2018-07-26 | 2018-12-18 | 广东浪潮大数据研究有限公司 | 一种响应客户端请求的方法、装置及设备 |
CN111787062A (zh) * | 2020-05-28 | 2020-10-16 | 北京航空航天大学 | 面向广域网络文件***的自适应快速增量预读方法 |
CN111787062B (zh) * | 2020-05-28 | 2021-11-26 | 北京航空航天大学 | 面向广域网络文件***的自适应快速增量预读方法 |
CN113127420A (zh) * | 2021-03-30 | 2021-07-16 | 山东英信计算机技术有限公司 | 一种元数据请求处理方法、装置、设备、介质 |
CN113127420B (zh) * | 2021-03-30 | 2023-03-14 | 山东英信计算机技术有限公司 | 一种元数据请求处理方法、装置、设备、介质 |
CN113326003A (zh) * | 2021-05-25 | 2021-08-31 | 北京计算机技术及应用研究所 | 一种分布式存储***元数据访问智能加速方法 |
CN113326003B (zh) * | 2021-05-25 | 2024-03-26 | 北京计算机技术及应用研究所 | 一种分布式存储***元数据访问智能加速方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106686113A (zh) | 一种分布式文件***智能预读实现方法 | |
CN104935648B (zh) | 一种高性价比的cdn***及文件预推、分片缓存的方法 | |
US11349940B2 (en) | Server side data cache system | |
CN104252536B (zh) | 一种基于hbase的上网日志数据查询方法及装置 | |
CN102014158B (zh) | 一种云存储服务客户端高效细粒度数据缓存***与方法 | |
CN101388824B (zh) | 一种机群***中分片存储模式下文件读取的方法及*** | |
CN102088389B (zh) | 一种分布式内容存取调度装置和内容读取方法 | |
CN103312791B (zh) | 物联网异构数据存储方法及*** | |
EP2369494A1 (en) | Web application based database system and data management method therof | |
CN103795781B (zh) | 一种基于文件预测的分布式缓存方法 | |
CN106528451B (zh) | 针对小文件的二级缓存预取的云存储框架及构建方法 | |
CN109783438A (zh) | 基于librados的分布式NFS***及其构建方法 | |
CN103096126B (zh) | 协作式缓存集群中面向视频点播服务的协作式缓存方法及*** | |
CN109240946A (zh) | 数据的多级缓存方法及终端设备 | |
CN103856567A (zh) | 基于Hadoop分布式文件***的小文件存储方法 | |
CN102307234A (zh) | 基于移动终端的资源检索方法 | |
US20190004968A1 (en) | Cache management method, storage system and computer program product | |
CN111159176A (zh) | 一种海量流数据的存储和读取的方法和*** | |
CN102722405A (zh) | 高并发、多线程应用中的计数方法及*** | |
CN103945278A (zh) | 一种视频内容及内容源爬取方法 | |
CN107368608A (zh) | 基于arc替换算法的hdfs小文件缓存管理方法 | |
CN103078936A (zh) | 基于gfs的分布式文件***的元数据分级存储方法和*** | |
CN103530349A (zh) | 一种缓存更新方法及设备 | |
CN107506154A (zh) | 一种元数据的读取方法、装置及计算机可读存储介质 | |
CN106951182A (zh) | 一种块设备缓存方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170517 |
|
RJ01 | Rejection of invention patent application after publication |