CN103902669A - 一种基于不同存储介质的分离式文件*** - Google Patents

一种基于不同存储介质的分离式文件*** Download PDF

Info

Publication number
CN103902669A
CN103902669A CN201410097343.4A CN201410097343A CN103902669A CN 103902669 A CN103902669 A CN 103902669A CN 201410097343 A CN201410097343 A CN 201410097343A CN 103902669 A CN103902669 A CN 103902669A
Authority
CN
China
Prior art keywords
write
medium
read
volatile
file system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410097343.4A
Other languages
English (en)
Other versions
CN103902669B (zh
Inventor
曹强
吴思
谭诗诗
钱璐
万胜刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201410097343.4A priority Critical patent/CN103902669B/zh
Publication of CN103902669A publication Critical patent/CN103902669A/zh
Application granted granted Critical
Publication of CN103902669B publication Critical patent/CN103902669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明公开了一种基于不同存储介质的分离式文件***，不同存储介质包括非易失的小粒度读写的介质和非易失的大粒度读写的介质，非易失的小粒度读写的介质与内存总线相连，非易失的大粒度读写的介质与I/O总线相连；非易失的小粒度读写的介质用于存储文件***的元数据，非易失的大粒度读写的介质用于存储文件***的数据；非易失的小粒度读写的介质上，文件***对元数据的操作使用小粒度的读写，非易失的大粒度读写的介质上，文件***对数据的操作使用大粒度的读写。本发明将文件***的元数据放在非易失的小粒度读写的介质上，且非易失的小粒度读写的介质与内存总线相连，加快了元数据操作的速度，能够有效地改善文件***一致性和持久性的问题。

Description

一种基于不同存储介质的分离式文件***
技术领域
本发明属于计算机存储***技术领域，更具体地，涉及一种基于不同存储介质的分离式文件***。
背景技术
通常存储介质的容量与其访问延时成正比，容量越大的访问延时越长。因此计算机体系结构中常常提供多级别的存储层次。目前，一般是采用磁存储技术来实现大容量的存储，最常用的是硬盘（Hard Disk Drive，HDD），其读写延迟久，读写粒度大。文件***在访问作为外设的HDD时，会消耗很多的时间，降低整体的性能。另外，为保持文件***的一致性和持久性，文件***会利用一些机制，比如日志、copy-on-write等，对***整体的性能带来不利影响。
为了提高计算机整体的性能，做了很多的研究。固态盘的问世更是提供了一个契机。一系列的混合存储方案被提出。其中主流的方案有两种：如图1(a)所示，一种方案采用读写快的介质作为读写慢的介质的缓存，比如采用固态盘作为缓存，即固态盘作为磁盘的缓存，将经常访问的数据缓存在固态盘里，为提高这种存储方案中固态盘的命中率，相继出现了一系列优化缓存的策略；如图1(b)所示，另一种方案采用读写快的介质与读写慢的介质作为混合存储，以固态盘和硬盘为例，数据唯一的存储在固态盘或硬盘中，数据存在固态盘或是硬盘中的选择算法根据性能偏重点不同也有多种。所有方案中由于引进了固态盘，在读取文件数据的速度上有所改进，但对于写以及频繁修改的访问性能优化不高，特别是对于无规律的小文件更新，为了保证文件***的一致性和持久性要花费大量的时间来更新写回元数据，还由于器件本身的因素会有大量的额外写。
发明内容
针对现有技术的以上缺陷，本发明提供了一种新的混合存储方案和基于这种混合存储的分离式文件***，其目的在于减少为保持文件***一致性和持久性而带来的性能消耗，提高查询元数据以及更新元数据的速度，由此解决了额外写，性能下降的技术问题。
为实现上述目的，本发明提供了一种基于不同存储介质的分离式文件***，所述不同存储介质包括非易失的小粒度读写的介质和非易失的大粒度读写的介质，其中，所述非易失的小粒度读写的介质与内存总线相连，所述非易失的大粒度读写的介质与I/O总线相连；所述非易失的小粒度读写的介质用于存储文件***的元数据，所述非易失的大粒度读写的介质用于存储文件***的数据；在非易失的小粒度读写的介质上，文件***对元数据的操作使用小粒度的读写，在非易失的大粒度读写的介质上，文件***对数据的操作使用大粒度的读写。
作为本发明的进一步改进，所述文件***周期性将存储在所述非易失的小粒度读写的介质上的元数据拷贝到所述非易失的大粒度读写的介质上。
作为本发明的进一步优选，若文件***可以将非易失的小粒度读写的介质与内存作为混合存储，即***识别非易失的小粒度读写的介质作为内存，则文件***直接在非易失的小粒度读写的介质上运行文件***，对元数据直接创建、更新和删除。
作为本发明的进一步优选，若文件***不能将非易失的小粒度读写的介质与内存混合，即***不能识别非易失的小粒度读写的介质作为内存，则非易失的小粒度读写的介质中的元数据需要调入内存中进行操作，元数据经内存总线在非易失的小粒度读写的介质和内存之间进行调入和写回。
作为本发明的进一步优选，所述非易失的小粒度读写的介质为磁性随机访问存储器，阻变随机访问存储器或者相变存储器。
作为本发明的进一步优选，所述非易失的大粒度读写的介质为固态盘或硬盘。
具体地，所述文件***的元数据是指管理空间的数据结构和文件***中文件的元数据以及目录树结构，或者仅为管理空间分配的数据结构。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，由于将文件***的元数据放在了非易失的小粒度读写的介质上，且所述非易失的小粒度读写的介质与内存总线相连，加快了元数据操作的速度，能够有效地改善文件***一致性和持久性的问题；由于元数据可以小粒度的更新，解决了目前存储体系中额外写的问题，提高了整个***的效率；并且由于文件***周期性将文件***的元数据备份到非易失的大粒度读写的介质上，当元数据频繁操作导致***出错时，数据不会丢失，可以轻松地转移，具有高可靠性。
附图说明
图1是目前典型的混合存储架构；
图2是一种典型的基于不同存储介质的混合架构；
图3是一种典型的文件***物理布局图；
图4是一种典型架构中对文件***元数据的处理。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
首先，对本发明中一些名词和术语进行解释：
大粒度与小粒度：大粒度一般为页或块的大小，目前主流的非易失大粒度读写的介质是固态盘和硬盘；小粒度一般是按字节读写的，目前讨论比较多的非易失小粒度读写的介质是相变存储器、磁性随机访问存储器和阻变随机访问存储器；
文件***元数据：根据不同的需求，文件***元数据的范围可大可小，可以是指管理空间的数据结构和文件***中文件的元数据以及目录树结构，也可以只有管理空间分配的数据结构，以EXT2为例，文件***的元数据可以指超级块、数据块位图、inode位图、inode表、目录的数据块，如果非易失的小粒度读写的介质与非易失的大粒度读写的介质容量比很小，或是非易失的小粒度读写的介质的容量很小，或是***不能兼容足够容量的非易失小粒度读写的介质，文件***的元数据范围可以缩小，可以指超级块、块组描述符、inode位图、数据块位图、inode表；
文件***的数据：指除了文件***元数据以外的部分，范围根据文件***元数据的范围可大可小，同样以EXT2为例，如果非易失小粒度读写的介质容量足够，文件***的数据可只包括文件的内容，若非易失的小粒度读写的介质容量不足，文件***的数据可包括数据块，即目录或文件的内容。
本发明提供了一种基于不同存储介质的分离式文件***，所述不同存储介质包括非易失的小粒度读写的介质和非易失的大粒度读写的介质，其中：
非易失的小粒度读写的介质与内存总线相连；
非易失的大粒度读写的介质与I/O总线相连。
其中，非易失的小粒度读写的介质读写延迟小，如磁性随机访问存储器（Magnetic Random Access Memory，MRAM）、阻变随机访问存储器（ResistiveRandomAccessMemory，RRAM）、相变存储器（Phase ChangeMemory，PCM）等；非易失的大粒度读写的介质读写延迟大，如固态盘、硬盘等。
在所述文件***中：
文件***的元数据放在非易失的小粒度读写的介质上；
文件***的数据放在非易失的大粒度读写的介质上；
在非易失的小粒度读写的介质上，文件***对元数据的操作使用小粒度的读写，在非易失的大粒度读写的介质上，文件***对数据的操作使用大粒度的读写。
其中，若***可以识别非易失的小粒度读写的介质作为内存的一部分，则文件***对位于非易失小粒度读写介质上的元数据采用就地操作。
若***不能识别非易失的小粒度读写的介质作为内存的一部分，则文件***将位于非易失小粒度读写介质上的元数据调入内存。
对元数据的读操作分为两种，其一为大粒度读，例如文件***初始化，以及替换文件***的缓存时，采用大粒度的读，大粒度的读一般以内存管理的单位相同，比如页；其二为小粒度的读，例如文件***在查找过程中读取inode时，采用小粒度的读，小粒度读一般为字节级。对元数据的写操作，采用写直达法，且为小粒度的写，小粒度写的单位与小粒度读的单位相同。
在所述文件***中，存储在所述非易失的小粒度读写的介质上的元数据会周期性备份到非易失的大粒度读写的介质上。
下面设非易失小粒度读写的介质为磁性随机访问存储器（MagneticRandom Access Memory，MRAM），非易失大粒度读写的介质为固态盘（Solid State Disk，SSD），以EXT2为蓝本，设有两个块组，文件***的元数据指超级块、数据块位图、inode位图、inode表和目录的内容，文件***的数据指文件的内容。则混合存储的结构见图2，其中，MRAM为非易失的小粒度读写的介质，与内存总线相连，SSD为非易失的大粒度读写的介质，与I/O总线相连。文件***的布局见图3，MRAM作为非易失的小粒度读写的介质，存放文件***的元数据，包括块组0和块组1的元数据，每个块组的元数据包括超级块、组描述符、数据块位图、inode位图、inode表、存放目录内容的数据块；SSD作为非易失的大粒度读写的介质，存放块组0和块组1的数据，数据为存放在块组里文件的内容。
假设***可以识别MRAM，将MRAM作为内存的一部分，下面结合上述例子对本发明进行具体的说明。
在所述例子中，新的混合存储结构包括：
MRAM与内存总线相连；
SSD与I/O总线相连。
MRAM与SSD作为混合存储，并在其上建立新的文件***。
在新的文件***中：
文件***的元数据放在MRAM上；
文件***的数据放在SSD上；
如图4所示，文件***对元数据的操作直接在MRAM上运行；
对元数据的创建、更新、删除、查找等操作，直接就地操作，无中转介质；
对元数据的创建、更新、删除等操作中，写的粒度与更新DRAM的粒度相同。
文件***会周期性将MRAM上的数据拷贝到SSD上，当MRAM损坏，或是将数据转移时，可以直接将SSD转移到另一台机器上。
上述的方案，可以有效地解决或是改善文件***一致性和持久性的问题，减少额外写的量，提高了整个***的效率，并具有高可靠性。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于不同存储介质的分离式文件***，其特征在于，所述不同存储介质包括非易失的小粒度读写的介质和非易失的大粒度读写的介质，其中，所述非易失的小粒度读写的介质与内存总线相连，所述非易失的大粒度读写的介质与I/O总线相连；所述非易失的小粒度读写的介质用于存储文件***的元数据，所述非易失的大粒度读写的介质用于存储文件***的数据；在非易失的小粒度读写的介质上，文件***对元数据的操作使用小粒度的读写，在非易失的大粒度读写的介质上，文件***对数据的操作使用大粒度的读写。
2.如权利要求1所述的***，其特征在于，所述文件***周期性将存储在所述非易失的小粒度读写的介质上的元数据拷贝到所述非易失的大粒度读写的介质上。
3.如权利要求1或2所述的***，其特征在于，若文件***可以将非易失的小粒度读写的介质与内存作为混合存储，即***识别非易失的小粒度读写的介质作为内存，则文件***直接在非易失的小粒度读写的介质上运行文件***，对元数据直接创建、更新和删除。
4.如权利要求1或2所述的***，其特征在于，若文件***不能将非易失的小粒度读写的介质与内存混合，即***不能识别非易失的小粒度读写的介质作为内存，则非易失的小粒度读写的介质中的元数据需要调入内存中进行操作，元数据经内存总线在非易失的小粒度读写的介质和内存之间进行调入和写回。
5.如权利要求1所述的***，其特征在于，所述非易失的小粒度读写的介质为磁性随机访问存储器，阻变随机访问存储器或者相变存储器。
6.如权利要求1所述的***，其特征在于，所述非易失的大粒度读写的介质为固态盘或硬盘。
7.如权利要求1所述的***，其特征在于，所述文件***的元数据是指管理空间的数据结构和文件***中文件的元数据以及目录树结构，或者仅为管理空间分配的数据结构。
CN201410097343.4A 2014-03-17 2014-03-17 一种基于不同存储介质的分离式文件*** Active CN103902669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410097343.4A CN103902669B (zh) 2014-03-17 2014-03-17 一种基于不同存储介质的分离式文件***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410097343.4A CN103902669B (zh) 2014-03-17 2014-03-17 一种基于不同存储介质的分离式文件***

Publications (2)

Publication Number Publication Date
CN103902669A true CN103902669A (zh) 2014-07-02
CN103902669B CN103902669B (zh) 2017-06-16

Family

ID=50993991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410097343.4A Active CN103902669B (zh) 2014-03-17 2014-03-17 一种基于不同存储介质的分离式文件***

Country Status (1)

Country Link
CN (1) CN103902669B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536903A (zh) * 2014-12-25 2015-04-22 华中科技大学 一种按数据属性分类存放的混合存储方法及***
CN105630692A (zh) * 2015-05-22 2016-06-01 上海磁宇信息科技有限公司 一种利用mram存储文件目录的文件存储***
CN105718530A (zh) * 2016-01-15 2016-06-29 上海磁宇信息科技有限公司 文件存储***及其文件存储控制方法
CN106599236A (zh) * 2016-12-20 2017-04-26 北海市云盛科技有限公司 一种文件***的元数据存储方法和装置
CN107479827A (zh) * 2017-07-24 2017-12-15 上海德拓信息技术股份有限公司 一种基于io和元数据分离的混合存储***实现方法
CN107526537A (zh) * 2016-06-22 2017-12-29 伊姆西公司 用于锁定存储***中的存储区域的方法和***
CN107590285A (zh) * 2017-09-30 2018-01-16 郑州云海信息技术有限公司 一种异构***数据一致性的方法
CN107766002A (zh) * 2017-10-20 2018-03-06 华中科技大学 一种基于混合存储设备的虚拟混合文件***
CN108196795A (zh) * 2017-12-30 2018-06-22 惠龙易通国际物流股份有限公司 一种数据存储方法、设备及计算机存储介质
WO2020134183A1 (en) * 2018-12-24 2020-07-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for data storage
CN116069263A (zh) * 2023-03-07 2023-05-05 苏州浪潮智能科技有限公司 文件***的优化方法、装置、服务器、设备及存储介质
CN117453632A (zh) * 2023-12-25 2024-01-26 杭州计算机外部设备研究所(中国电子科技集团公司第五十二研究所) 一种数据存储方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1268188A (zh) * 1997-08-27 2000-09-27 钴碳化钨硬质合金公司 包含具有改善的塑性的粘结剂的金属陶瓷及其制造方法和用途
US20100011031A1 (en) * 2006-12-28 2010-01-14 Arcsight, Inc. Storing log data efficiently while supporting querying
CN102075581A (zh) * 2011-01-25 2011-05-25 中国科学院计算技术研究所 一种面向分布式文件***的数据传输方法及装置
CN102364474A (zh) * 2011-11-17 2012-02-29 中国科学院计算技术研究所 用于机群文件***的元数据存储***和管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1268188A (zh) * 1997-08-27 2000-09-27 钴碳化钨硬质合金公司 包含具有改善的塑性的粘结剂的金属陶瓷及其制造方法和用途
US20100011031A1 (en) * 2006-12-28 2010-01-14 Arcsight, Inc. Storing log data efficiently while supporting querying
CN102075581A (zh) * 2011-01-25 2011-05-25 中国科学院计算技术研究所 一种面向分布式文件***的数据传输方法及装置
CN102364474A (zh) * 2011-11-17 2012-02-29 中国科学院计算技术研究所 用于机群文件***的元数据存储***和管理方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536903B (zh) * 2014-12-25 2018-02-23 华中科技大学 一种按数据属性分类存放的混合存储方法及***
CN104536903A (zh) * 2014-12-25 2015-04-22 华中科技大学 一种按数据属性分类存放的混合存储方法及***
CN105630692A (zh) * 2015-05-22 2016-06-01 上海磁宇信息科技有限公司 一种利用mram存储文件目录的文件存储***
CN105718530B (zh) * 2016-01-15 2020-02-04 上海磁宇信息科技有限公司 文件存储***及其文件存储控制方法
CN105718530A (zh) * 2016-01-15 2016-06-29 上海磁宇信息科技有限公司 文件存储***及其文件存储控制方法
CN107526537A (zh) * 2016-06-22 2017-12-29 伊姆西公司 用于锁定存储***中的存储区域的方法和***
CN107526537B (zh) * 2016-06-22 2020-03-20 伊姆西Ip控股有限责任公司 用于锁定存储***中的存储区域的方法和***
CN106599236A (zh) * 2016-12-20 2017-04-26 北海市云盛科技有限公司 一种文件***的元数据存储方法和装置
CN107479827A (zh) * 2017-07-24 2017-12-15 上海德拓信息技术股份有限公司 一种基于io和元数据分离的混合存储***实现方法
CN107590285A (zh) * 2017-09-30 2018-01-16 郑州云海信息技术有限公司 一种异构***数据一致性的方法
CN107766002A (zh) * 2017-10-20 2018-03-06 华中科技大学 一种基于混合存储设备的虚拟混合文件***
CN108196795A (zh) * 2017-12-30 2018-06-22 惠龙易通国际物流股份有限公司 一种数据存储方法、设备及计算机存储介质
CN108196795B (zh) * 2017-12-30 2020-09-04 惠龙易通国际物流股份有限公司 一种数据存储方法、设备及计算机存储介质
WO2020134183A1 (en) * 2018-12-24 2020-07-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for data storage
US11977516B2 (en) 2018-12-24 2024-05-07 Zhejiang Dahua Technology Co., Ltd. Systems and methods for data storage
CN116069263A (zh) * 2023-03-07 2023-05-05 苏州浪潮智能科技有限公司 文件***的优化方法、装置、服务器、设备及存储介质
CN117453632A (zh) * 2023-12-25 2024-01-26 杭州计算机外部设备研究所(中国电子科技集团公司第五十二研究所) 一种数据存储方法及装置
CN117453632B (zh) * 2023-12-25 2024-04-12 杭州计算机外部设备研究所(中国电子科技集团公司第五十二研究所) 一种数据存储方法及装置

Also Published As

Publication number Publication date
CN103902669B (zh) 2017-06-16

Similar Documents

Publication Publication Date Title
CN103902669A (zh) 一种基于不同存储介质的分离式文件***
US8782368B2 (en) Storing chunks in containers
US8838903B2 (en) Priority ordered multi-medium solid-state storage system and methods for use
US10031675B1 (en) Method and system for tiering data
CN103838853B (zh) 一种基于不同存储介质的混合文件***
TWI416323B (zh) 用於管理工作量之方法、系統及半導體裝置
US8949507B2 (en) Method for performing block management, and associated memory device and controller thereof
US20120158674A1 (en) Indexing for deduplication
CN103049349B (zh) 基于分层存储的快照方法及***
US20130151759A1 (en) Storage device and operating method eliminating duplicate data storage
CN109416666A (zh) 具有压缩数据和标签的缓存
CN101777017B (zh) 一种连续数据保护***的快速恢复方法
US20180059991A1 (en) Log structured block device for hard disk drive
DE102017104150A1 (de) Abnutzungsausgleich in Speichervorrichtungen
US20120290781A1 (en) Nonvolatile memory device with increased endurance and method of operating the same
CN110515549B (zh) 一种数据迁移方法及装置
CN102201005A (zh) 一种文件***的流媒体增强文件布局方法
CN103473298A (zh) 数据归档方法和装置以及存储***
CN105045850A (zh) 云存储日志文件***中垃圾数据回收方法
US10380066B2 (en) File system with multi-class in situ tiered archiving
US20170285961A1 (en) 3d stackable hybrid phase change memory with improved endurance and non-volatility
CN102520885B (zh) 一种混合硬盘的数据管理***
CN100580669C (zh) 在Flash存储介质上的关于文件分配表的缓存实现方法
CN101996228A (zh) 共享文件数据块的方法及解除共享文件数据块的方法
WO2020057479A1 (zh) 地址映射表项页管理

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant