CN103108047A - 一种对象存储***元数据缓存的优化方法 - Google Patents

一种对象存储***元数据缓存的优化方法 Download PDF

Info

Publication number
CN103108047A
CN103108047A CN2013100470089A CN201310047008A CN103108047A CN 103108047 A CN103108047 A CN 103108047A CN 2013100470089 A CN2013100470089 A CN 2013100470089A CN 201310047008 A CN201310047008 A CN 201310047008A CN 103108047 A CN103108047 A CN 103108047A
Authority
CN
China
Prior art keywords
cache
data server
meta data
metadata
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100470089A
Other languages
English (en)
Inventor
李志昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN2013100470089A priority Critical patent/CN103108047A/zh
Publication of CN103108047A publication Critical patent/CN103108047A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种对象存储***元数据缓存的优化方法，该方法针对客户端和元数据服务器多级的缓存结构，客户端和元数据服务器每一级的缓存都表现出不同的访问特性，通过该方法，在可行的条件下，合理优化元数据服务器和客户端的多级目录缓存，提升对象存储***的性能。

Description

一种对象存储***元数据缓存的优化方法
技术领域
本发明涉及计算机应用领域,具体地说是一种对象存储***元数据缓存的优化方法。
背景技术
对象存储***结合了附网存储和存储区域网的优点，已成为网络存储领域研究的热点。对象存储***由客户端、元数据服务器、对象存储设备和互连网络组成。
在大规模对象存储***中，文件***中存在着大量的目录操作，如创建、删除以及查找文件等，元数据访问非常频繁，是***性能潜在的瓶颈。采用元数据服务器的文件***，由于目录缓存和数据缓存的分离，使目录缓存可以根据自身的特点设计合理的管理方法。优化目录操作可以有效地提高文件***元数据操作的性能，目录缓存是优化目录操作的有效途径。由于目录结构的特点：元数据服务器和客户端的目录缓存构成了多级的缓存结构，目录的访问模式体现出了与普通文件不同特点，对象存储***可以利用这些特点设计合理的目录优化管理算法，提升对象存储***的性能
发明内容
本发明的目的是提供一种对象存储***元数据缓存的优化方法，通过该方法，在可行的条件下，合理优化元数据服务器和客户端的多级目录缓存，提升对象存储***的性能。
本发明的目的是按以下方式实现的，***结构包括：元数据缓存优化模块（1）、元数据缓存优化流程（2），其中：
客户端缓存优化模块（1）此模块采用基于hash算法改善了元数据级存查找性能，在元数据缓存在命中情况下可以省略一次元数据服务器的访问，可有效减少访问元数据服务器带来的大量网络通信开销
元数据服务器缓存优化模块（2）在元数据服务器多级目录缓存的结构下，采用不同目录缓存替换算法：近期最少使用(Least Recently Used，LRU)算法；使用频率最少（Least Frequently Used，LFU）算法；基于频率的替换算法（Frequency Based Replacement，FBR），针对多级目录缓存结构中元数据服务器上的目录项的访问特性进行缓存优化
本发明的有益效果是：通过该方法，在可行的条件下，合理优化元数据服务器和客户端的多级目录缓存，提升对象存储***的性能。
 附图说明
图1 是元数据缓存优化模块组成图；
图2是元数据缓存优化流程图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
***结构包括：元数据缓存优化模块（1）、元数据缓存优化流程（2），其中：
1）客户端缓存优化模块（1）此模块采用基于hash算法改善了元数据级存查找性能，在元数据缓存在命中情况下可以省略一次元数据服务器的访问，可有效减少访问元数据服务器带来的大量网络通信开销，从而提高元数据访问的速度，提高文件***性能，并过滤一些元数据信息提供给（2）；
2）元数据服务器缓存分为两类缓存:目录项（dentry）缓存和目录文件块缓存；名字查找（LOOKUP）、添加和删除操作，这类操作需要操纵目录项（dentry）；读目录操作（READDIR），该操作需要读目录文件。
元数据服务器缓存优化模块（2）在元数据服务器多级目录缓存的结构下，采用不同目录缓存替换算法：近期最少使用(Least Recently Used，LRU)算法；使用频率最少（Least Frequently Used，LFU）算法；基于频率的替换算法（Frequency Based Replacement，FBR），针对多级目录缓存结构中元数据服务器上的目录项的访问特性进行缓存优化。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (2)

1.一种对象存储***元数据缓存的优化方法, 其特征在于该方法针对客户端和元数据服务器多级的缓存结构，客户端和元数据服务器每一级的缓存都表现出不同的访问特性，通过该方法，合理优化元数据服务器和客户端的多级目录缓存，提升对象存储***的性能，该***结构包括：客户端缓存优化模块（1）、元数据缓存优化模块（2），其中：
客户端缓存优化模块（1），采用基于hash算法改善了元数据级存查找性能，在元数据缓存在命中情况下省略一次元数据服务器的访问，能有效减少访问元数据服务器带来的大量网络通信开销，从而提高元数据访问的速度，提高文件***性能，并过滤一些元数据信息提供给（2）；
元数据服务器缓存优化模块（2），将元数据服务器缓存分为两类缓存:目录项缓存和目录文件块缓存，操作包括：名字查找、添加和删除，这类操作需要操纵目录项；读目录操作，该操作需要读目录文件，在这种元数据服务器目录缓存的结构下，采用不同目录缓存替换近期最少使用算法、使用频率最少算法和基于频率的替换算法，针对多级目录缓存结构中元数据服务器上的目录项的访问特性进行缓存优化。
2.根据权利要求1所述的方法，其特征在于，客户端缓存优化模块（1）与元数据服务器缓存优化模块（2）之间能够优化互补。
CN2013100470089A 2013-02-06 2013-02-06 一种对象存储***元数据缓存的优化方法 Pending CN103108047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013100470089A CN103108047A (zh) 2013-02-06 2013-02-06 一种对象存储***元数据缓存的优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013100470089A CN103108047A (zh) 2013-02-06 2013-02-06 一种对象存储***元数据缓存的优化方法

Publications (1)

Publication Number Publication Date
CN103108047A true CN103108047A (zh) 2013-05-15

Family

ID=48315614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100470089A Pending CN103108047A (zh) 2013-02-06 2013-02-06 一种对象存储***元数据缓存的优化方法

Country Status (1)

Country Link
CN (1) CN103108047A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685453A (zh) * 2013-09-11 2014-03-26 华中科技大学 一种云存储***中元数据的获取方法
CN104331377A (zh) * 2014-11-12 2015-02-04 浪潮(北京)电子信息产业有限公司 一种多核处理器***的目录缓存管理方法
CN104657461A (zh) * 2015-02-10 2015-05-27 北京航空航天大学 基于内存与ssd协作式的文件***元数据搜索缓存方法
CN105095104A (zh) * 2014-04-15 2015-11-25 华为技术有限公司 数据缓存处理方法及装置
CN106202367A (zh) * 2016-07-07 2016-12-07 腾讯科技（深圳）有限公司 一种对象信息的处理方法及装置
CN107562889A (zh) * 2017-09-05 2018-01-09 郑州云海信息技术有限公司 一种元数据老化方法及装置
CN108108402A (zh) * 2017-12-07 2018-06-01 泰康保险集团股份有限公司 数据项释义更新方法和装置
CN113342837A (zh) * 2021-08-06 2021-09-03 北京金山云网络技术有限公司 数据发送方法、装置、电子设备和计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050086212A1 (en) * 2003-09-23 2005-04-21 International Business Machines Corporation Method, apparatus and computer program for key word searching
CN1852318A (zh) * 2006-04-19 2006-10-25 华中科技大学 适用于对象网络存储的分布式多级缓存***
CN101854388A (zh) * 2010-05-17 2010-10-06 浪潮(北京)电子信息产业有限公司 一种集群存储中并行访问大量小文件的方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050086212A1 (en) * 2003-09-23 2005-04-21 International Business Machines Corporation Method, apparatus and computer program for key word searching
CN1852318A (zh) * 2006-04-19 2006-10-25 华中科技大学 适用于对象网络存储的分布式多级缓存***
CN101854388A (zh) * 2010-05-17 2010-10-06 浪潮(北京)电子信息产业有限公司 一种集群存储中并行访问大量小文件的方法及***

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685453A (zh) * 2013-09-11 2014-03-26 华中科技大学 一种云存储***中元数据的获取方法
CN103685453B (zh) * 2013-09-11 2016-08-03 华中科技大学 一种云存储***中元数据的获取方法
CN105095104A (zh) * 2014-04-15 2015-11-25 华为技术有限公司 数据缓存处理方法及装置
CN104331377A (zh) * 2014-11-12 2015-02-04 浪潮(北京)电子信息产业有限公司 一种多核处理器***的目录缓存管理方法
CN104331377B (zh) * 2014-11-12 2018-06-26 浪潮(北京)电子信息产业有限公司 一种多核处理器***的目录缓存管理方法
CN104657461A (zh) * 2015-02-10 2015-05-27 北京航空航天大学 基于内存与ssd协作式的文件***元数据搜索缓存方法
CN106202367A (zh) * 2016-07-07 2016-12-07 腾讯科技（深圳）有限公司 一种对象信息的处理方法及装置
CN106202367B (zh) * 2016-07-07 2019-03-05 腾讯科技（深圳）有限公司 一种对象信息的处理方法及装置
CN107562889A (zh) * 2017-09-05 2018-01-09 郑州云海信息技术有限公司 一种元数据老化方法及装置
CN108108402A (zh) * 2017-12-07 2018-06-01 泰康保险集团股份有限公司 数据项释义更新方法和装置
CN108108402B (zh) * 2017-12-07 2020-07-17 泰康保险集团股份有限公司 数据项释义更新方法和装置
CN113342837A (zh) * 2021-08-06 2021-09-03 北京金山云网络技术有限公司 数据发送方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN103108047A (zh) 一种对象存储***元数据缓存的优化方法
KR101672901B1 (ko) 분산 파일 시스템에서 소형 파일에 대한 접근성 향상을 위한 캐시 관리 시스템
US20150213049A1 (en) Asynchronous backend global deduplication
US10409728B2 (en) File access predication using counter based eviction policies at the file and page level
US9898477B1 (en) Writing to a site cache in a distributed file system
CN103366016A (zh) 基于hdfs的电子文件集中存储及优化方法
CN101866359A (zh) 一种机群文件***中的小文件存储和访问方法
CN104657461A (zh) 基于内存与ssd协作式的文件***元数据搜索缓存方法
US20170124148A1 (en) Index table based routing for query resource optimization
CN107368608A (zh) 基于arc替换算法的hdfs小文件缓存管理方法
US20170351620A1 (en) Caching Framework for Big-Data Engines in the Cloud
CN102523301A (zh) 一种云存储中在客户端缓存数据的方法
Von der Weth et al. Multiterm keyword search in NoSQL systems
CN105516313A (zh) 一种用于大数据的分布式存储***
CN114817195A (zh) 一种分布式存储缓存管理的方法、***、存储介质及设备
CN105915619A (zh) 顾及访问热度的网络空间信息服务高性能内存缓存方法
US10445296B1 (en) Reading from a site cache in a distributed file system
Bok et al. An efficient cache management scheme for accessing small files in Distributed File Systems
Cheng et al. AMC: an adaptive multi‐level cache algorithm in hybrid storage systems
CN104112024A (zh) 数据库的高性能查询方法和装置
CN105930519A (zh) 一种基于集群文件***的全局共享读缓存方法
CN105357314A (zh) 一种定点分布式缓存***及其缓存方法
Li et al. Real-time data prefetching algorithm based on sequential patternmining in cloud environment
Zhang et al. A Two‐Level Cache for Distributed Information Retrieval in Search Engines
CN106294216B (zh) 一种用于风电***的缓存替换方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130515

WD01 Invention patent application deemed withdrawn after publication