CN103902669B - 一种基于不同存储介质的分离式文件*** - Google Patents
一种基于不同存储介质的分离式文件*** Download PDFInfo
- Publication number
- CN103902669B CN103902669B CN201410097343.4A CN201410097343A CN103902669B CN 103902669 B CN103902669 B CN 103902669B CN 201410097343 A CN201410097343 A CN 201410097343A CN 103902669 B CN103902669 B CN 103902669B
- Authority
- CN
- China
- Prior art keywords
- write
- read
- medium
- volatile
- file system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明公开了一种基于不同存储介质的分离式文件***,不同存储介质包括非易失的小粒度读写的介质和非易失的大粒度读写的介质,非易失的小粒度读写的介质与内存总线相连,非易失的大粒度读写的介质与I/O总线相连;非易失的小粒度读写的介质用于存储文件***的元数据,非易失的大粒度读写的介质用于存储文件***的数据;非易失的小粒度读写的介质上,文件***对元数据的操作使用小粒度的读写,非易失的大粒度读写的介质上,文件***对数据的操作使用大粒度的读写。本发明将文件***的元数据放在非易失的小粒度读写的介质上,且非易失的小粒度读写的介质与内存总线相连,加快了元数据操作的速度,能够有效地改善文件***一致性和持久性的问题。
Description
技术领域
本发明属于计算机存储***技术领域,更具体地,涉及一种基于不同存储介质的分离式文件***。
背景技术
通常存储介质的容量与其访问延时成正比,容量越大的访问延时越长。因此计算机体系结构中常常提供多级别的存储层次。目前,一般是采用磁存储技术来实现大容量的存储,最常用的是硬盘(Hard Disk Drive,HDD),其读写延迟久,读写粒度大。文件***在访问作为外设的HDD时,会消耗很多的时间,降低整体的性能。另外,为保持文件***的一致性和持久性,文件***会利用一些机制,比如日志、copy-on-write等,对***整体的性能带来不利影响。
为了提高计算机整体的性能,做了很多的研究。固态盘的问世更是提供了一个契机。一系列的混合存储方案被提出。其中主流的方案有两种:如图1(a)所示,一种方案采用读写快的介质作为读写慢的介质的缓存,比如采用固态盘作为缓存,即固态盘作为磁盘的缓存,将经常访问的数据缓存在固态盘里,为提高这种存储方案中固态盘的命中率,相继出现了一系列优化缓存的策略;如图1(b)所示,另一种方案采用读写快的介质与读写慢的介质作为混合存储,以固态盘和硬盘为例,数据唯一的存储在固态盘或硬盘中,数据存在固态盘或是硬盘中的选择算法根据性能偏重点不同也有多种。所有方案中由于引进了固态盘,在读取文件数据的速度上有所改进,但对于写以及频繁修改的访问性能优化不高,特别是对于无规律的小文件更新,为了保证文件***的一致性和持久性要花费大量的时间来更新写回元数据,还由于器件本身的因素会有大量的额外写。
发明内容
针对现有技术的以上缺陷,本发明提供了一种新的混合存储方案和基于这种混合存储的分离式文件***,其目的在于减少为保持文件***一致性和持久性而带来的性能消耗,提高查询元数据以及更新元数据的速度,由此解决了额外写,性能下降的技术问题。
为实现上述目的,本发明提供了一种基于不同存储介质的分离式文件***,所述不同存储介质包括非易失的小粒度读写的介质和非易失的大粒度读写的介质,其中,所述非易失的小粒度读写的介质与内存总线相连,所述非易失的大粒度读写的介质与I/O总线相连;所述非易失的小粒度读写的介质用于存储文件***的元数据,所述非易失的大粒度读写的介质用于存储文件***的数据;在非易失的小粒度读写的介质上,文件***对元数据的操作使用小粒度的读写,在非易失的大粒度读写的介质上,文件***对数据的操作使用大粒度的读写。
作为本发明的进一步改进,所述文件***周期性将存储在所述非易失的小粒度读写的介质上的元数据拷贝到所述非易失的大粒度读写的介质上。
作为本发明的进一步优选,若文件***可以将非易失的小粒度读写的介质与内存作为混合存储,即***识别非易失的小粒度读写的介质作为内存,则文件***直接在非易失的小粒度读写的介质上运行文件***,对元数据直接创建、更新和删除。
作为本发明的进一步优选,若文件***不能将非易失的小粒度读写的介质与内存混合,即***不能识别非易失的小粒度读写的介质作为内存,则非易失的小粒度读写的介质中的元数据需要调入内存中进行操作,元数据经内存总线在非易失的小粒度读写的介质和内存之间进行调入和写回。
作为本发明的进一步优选,所述非易失的小粒度读写的介质为磁性随机访问存储器,阻变随机访问存储器或者相变存储器。
作为本发明的进一步优选,所述非易失的大粒度读写的介质为固态盘或硬盘。
具体地,所述文件***的元数据是指管理空间的数据结构和文件***中文件的元数据以及目录树结构,或者仅为管理空间分配的数据结构。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,由于将文件***的元数据放在了非易失的小粒度读写的介质上,且所述非易失的小粒度读写的介质与内存总线相连,加快了元数据操作的速度,能够有效地改善文件***一致性和持久性的问题;由于元数据可以小粒度的更新,解决了目前存储体系中额外写的问题,提高了整个***的效率;并且由于文件***周期性将文件***的元数据备份到非易失的大粒度读写的介质上,当元数据频繁操作导致***出错时,数据不会丢失,可以轻松地转移,具有高可靠性。
附图说明
图1是目前典型的混合存储架构;
图2是一种典型的基于不同存储介质的混合架构;
图3是一种典型的文件***物理布局图;
图4是一种典型架构中对文件***元数据的处理。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
首先,对本发明中一些名词和术语进行解释:
大粒度与小粒度:大粒度一般为页或块的大小,目前主流的非易失大粒度读写的介质是固态盘和硬盘;小粒度一般是按字节读写的,目前讨论比较多的非易失小粒度读写的介质是相变存储器、磁性随机访问存储器和阻变随机访问存储器;
文件***元数据:根据不同的需求,文件***元数据的范围可大可小,可以是指管理空间的数据结构和文件***中文件的元数据以及目录树结构,也可以只有管理空间分配的数据结构,以EXT2为例,文件***的元数据可以指超级块、数据块位图、inode位图、inode表、目录的数据块,如果非易失的小粒度读写的介质与非易失的大粒度读写的介质容量比很小,或是非易失的小粒度读写的介质的容量很小,或是***不能兼容足够容量的非易失小粒度读写的介质,文件***的元数据范围可以缩小,可以指超级块、块组描述符、inode位图、数据块位图、inode表;
文件***的数据:指除了文件***元数据以外的部分,范围根据文件***元数据的范围可大可小,同样以EXT2为例,如果非易失小粒度读写的介质容量足够,文件***的数据可只包括文件的内容,若非易失的小粒度读写的介质容量不足,文件***的数据可包括数据块,即目录或文件的内容。
本发明提供了一种基于不同存储介质的分离式文件***,所述不同存储介质包括非易失的小粒度读写的介质和非易失的大粒度读写的介质,其中:
非易失的小粒度读写的介质与内存总线相连;
非易失的大粒度读写的介质与I/O总线相连。
其中,非易失的小粒度读写的介质读写延迟小,如磁性随机访问存储器(MagneticRandom Access Memory,MRAM)、阻变随机访问存储器(ResistiveRandomAccessMemory,RRAM)、相变存储器(Phase Change Memory,PCM)等;非易失的大粒度读写的介质读写延迟大,如固态盘、硬盘等。
在所述文件***中:
文件***的元数据放在非易失的小粒度读写的介质上;
文件***的数据放在非易失的大粒度读写的介质上;
在非易失的小粒度读写的介质上,文件***对元数据的操作使用小粒度的读写,在非易失的大粒度读写的介质上,文件***对数据的操作使用大粒度的读写。
其中,若***可以识别非易失的小粒度读写的介质作为内存的一部分,则文件***对位于非易失小粒度读写介质上的元数据采用就地操作。
若***不能识别非易失的小粒度读写的介质作为内存的一部分,则文件***将位于非易失小粒度读写介质上的元数据调入内存。
对元数据的读操作分为两种,其一为大粒度读,例如文件***初始化,以及替换文件***的缓存时,采用大粒度的读,大粒度的读一般以内存管理的单位相同,比如页;其二为小粒度的读,例如文件***在查找过程中读取inode时,采用小粒度的读,小粒度读一般为字节级。对元数据的写操作,采用写直达法,且为小粒度的写,小粒度写的单位与小粒度读的单位相同。
在所述文件***中,存储在所述非易失的小粒度读写的介质上的元数据会周期性备份到非易失的大粒度读写的介质上。
下面设非易失小粒度读写的介质为磁性随机访问存储器(Magnetic RandomAccess Memory,MRAM),非易失大粒度读写的介质为固态盘(Solid State Disk,SSD),以EXT2为蓝本,设有两个块组,文件***的元数据指超级块、数据块位图、inode位图、inode表和目录的内容,文件***的数据指文件的内容。则混合存储的结构见图2,其中,MRAM为非易失的小粒度读写的介质,与内存总线相连,SSD为非易失的大粒度读写的介质,与I/O总线相连。文件***的布局见图3,MRAM作为非易失的小粒度读写的介质,存放文件***的元数据,包括块组0和块组1的元数据,每个块组的元数据包括超级块、组描述符、数据块位图、inode位图、inode表、存放目录内容的数据块;SSD作为非易失的大粒度读写的介质,存放块组0和块组1的数据,数据为存放在块组里文件的内容。
假设***可以识别MRAM,将MRAM作为内存的一部分,下面结合上述例子对本发明进行具体的说明。
在所述例子中,新的混合存储结构包括:
MRAM与内存总线相连;
SSD与I/O总线相连。
MRAM与SSD作为混合存储,并在其上建立新的文件***。
在新的文件***中:
文件***的元数据放在MRAM上;
文件***的数据放在SSD上;
如图4所示,文件***对元数据的操作直接在MRAM上运行;
对元数据的创建、更新、删除、查找等操作,直接就地操作,无中转介质;
对元数据的创建、更新、删除等操作中,写的粒度与更新DRAM的粒度相同。
文件***会周期性将MRAM上的数据拷贝到SSD上,当MRAM损坏,或是将数据转移时,可以直接将SSD转移到另一台机器上。
上述的方案,可以有效地解决或是改善文件***一致性和持久性的问题,减少额外写的量,提高了整个***的效率,并具有高可靠性。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于不同存储介质的分离式文件***,其特征在于,所述不同存储介质包括非易失的小粒度读写的介质和非易失的大粒度读写的介质,其中,所述非易失的小粒度读写的介质与内存总线相连,所述非易失的大粒度读写的介质与I/O总线相连;所述非易失的小粒度读写的介质用于存储文件***的元数据,所述非易失的大粒度读写的介质用于存储文件***的数据;在非易失的小粒度读写的介质上,文件***对元数据的操作使用小粒度的读写,在非易失的大粒度读写的介质上,文件***对数据的操作使用大粒度的读写;
所述大粒度一般为页或块的大小,小粒度一般是按字节读写的。
2.如权利要求1所述的***,其特征在于,所述文件***周期性将存储在所述非易失的小粒度读写的介质上的元数据拷贝到所述非易失的大粒度读写的介质上。
3.如权利要求1或2所述的***,其特征在于,若文件***可以将非易失的小粒度读写的介质与内存作为混合存储,即***识别非易失的小粒度读写的介质作为内存,则文件***直接在非易失的小粒度读写的介质上运行文件***,对元数据直接创建、更新和删除。
4.如权利要求1或2所述的***,其特征在于,若文件***不能将非易失的小粒度读写的介质与内存混合,即***不能识别非易失的小粒度读写的介质作为内存,则非易失的小粒度读写的介质中的元数据需要调入内存中进行操作,元数据经内存总线在非易失的小粒度读写的介质和内存之间进行调入和写回。
5.如权利要求1所述的***,其特征在于,所述非易失的小粒度读写的介质为磁性随机访问存储器,阻变随机访问存储器或者相变存储器。
6.如权利要求1所述的***,其特征在于,所述非易失的大粒度读写的介质为固态盘。
7.如权利要求1所述的***,其特征在于,所述文件***的元数据是指管理空间的数据结构和文件***中文件的元数据以及目录树结构,或者仅为管理空间分配的数据结构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410097343.4A CN103902669B (zh) | 2014-03-17 | 2014-03-17 | 一种基于不同存储介质的分离式文件*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410097343.4A CN103902669B (zh) | 2014-03-17 | 2014-03-17 | 一种基于不同存储介质的分离式文件*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103902669A CN103902669A (zh) | 2014-07-02 |
CN103902669B true CN103902669B (zh) | 2017-06-16 |
Family
ID=50993991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410097343.4A Active CN103902669B (zh) | 2014-03-17 | 2014-03-17 | 一种基于不同存储介质的分离式文件*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103902669B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104536903B (zh) * | 2014-12-25 | 2018-02-23 | 华中科技大学 | 一种按数据属性分类存放的混合存储方法及*** |
CN105630692A (zh) * | 2015-05-22 | 2016-06-01 | 上海磁宇信息科技有限公司 | 一种利用mram存储文件目录的文件存储*** |
CN105718530B (zh) * | 2016-01-15 | 2020-02-04 | 上海磁宇信息科技有限公司 | 文件存储***及其文件存储控制方法 |
CN107526537B (zh) * | 2016-06-22 | 2020-03-20 | 伊姆西Ip控股有限责任公司 | 用于锁定存储***中的存储区域的方法和*** |
CN106599236A (zh) * | 2016-12-20 | 2017-04-26 | 北海市云盛科技有限公司 | 一种文件***的元数据存储方法和装置 |
CN107479827A (zh) * | 2017-07-24 | 2017-12-15 | 上海德拓信息技术股份有限公司 | 一种基于io和元数据分离的混合存储***实现方法 |
CN107590285A (zh) * | 2017-09-30 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种异构***数据一致性的方法 |
CN107766002A (zh) * | 2017-10-20 | 2018-03-06 | 华中科技大学 | 一种基于混合存储设备的虚拟混合文件*** |
CN108196795B (zh) * | 2017-12-30 | 2020-09-04 | 惠龙易通国际物流股份有限公司 | 一种数据存储方法、设备及计算机存储介质 |
CN109669640B (zh) | 2018-12-24 | 2023-05-23 | 浙江大华技术股份有限公司 | 一种数据存储方法、装置、电子设备及介质 |
CN116069263B (zh) * | 2023-03-07 | 2023-07-14 | 苏州浪潮智能科技有限公司 | 文件***的优化方法、装置、服务器、设备及存储介质 |
CN117453632B (zh) * | 2023-12-25 | 2024-04-12 | 杭州计算机外部设备研究所(中国电子科技集团公司第五十二研究所) | 一种数据存储方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102075581A (zh) * | 2011-01-25 | 2011-05-25 | 中国科学院计算技术研究所 | 一种面向分布式文件***的数据传输方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6024776A (en) * | 1997-08-27 | 2000-02-15 | Kennametal Inc. | Cermet having a binder with improved plasticity |
WO2010028279A1 (en) * | 2008-09-05 | 2010-03-11 | Arcsight, Inc. | Storing log data efficiently while supporting querying |
CN102364474B (zh) * | 2011-11-17 | 2014-08-20 | 中国科学院计算技术研究所 | 用于机群文件***的元数据存储***和管理方法 |
-
2014
- 2014-03-17 CN CN201410097343.4A patent/CN103902669B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102075581A (zh) * | 2011-01-25 | 2011-05-25 | 中国科学院计算技术研究所 | 一种面向分布式文件***的数据传输方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103902669A (zh) | 2014-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103902669B (zh) | 一种基于不同存储介质的分离式文件*** | |
CN103838853B (zh) | 一种基于不同存储介质的混合文件*** | |
CN111033477B (zh) | 逻辑到物理映射 | |
US9665305B1 (en) | Tiering data between two deduplication devices | |
US8838903B2 (en) | Priority ordered multi-medium solid-state storage system and methods for use | |
DE102017104150B4 (de) | Abnutzungsausgleich in Speichervorrichtungen | |
US9652386B2 (en) | Management of memory array with magnetic random access memory (MRAM) | |
US20120158674A1 (en) | Indexing for deduplication | |
US20130151759A1 (en) | Storage device and operating method eliminating duplicate data storage | |
CN107784121B (zh) | 一种基于非易失内存的日志文件***的小写优化方法 | |
US8650379B2 (en) | Data processing method for nonvolatile memory system | |
CN109416666A (zh) | 具有压缩数据和标签的缓存 | |
CN104395904A (zh) | 高效的数据对象存储和检索 | |
US9830106B2 (en) | Management of memory array with magnetic random access memory (MRAM) | |
CN102201005A (zh) | 一种文件***的流媒体增强文件布局方法 | |
WO2017213908A1 (en) | Method and apparatus for improving performance of sequential logging in a storage device | |
US20170285961A1 (en) | 3d stackable hybrid phase change memory with improved endurance and non-volatility | |
CN101996228A (zh) | 共享文件数据块的方法及解除共享文件数据块的方法 | |
WO2020057479A1 (zh) | 地址映射表项页管理 | |
CN102520885A (zh) | 一种混合硬盘的数据管理*** | |
CN115237336A (zh) | 去重***中小对象表示的存储 | |
KR102589609B1 (ko) | 분할된 저장장치에서의 스냅샷 관리 | |
US10140029B2 (en) | Method and apparatus for adaptively managing data in a memory based file system | |
US9710514B1 (en) | Systems and methods for efficient storage access using metadata | |
US20190129627A1 (en) | Method and system for wear-leveling using a multi-gap progress field |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |