CN105183868A - 一种文件***日志的存储方法及装置 - Google Patents

一种文件***日志的存储方法及装置 Download PDF

Info

Publication number
CN105183868A
CN105183868A CN201510587595.XA CN201510587595A CN105183868A CN 105183868 A CN105183868 A CN 105183868A CN 201510587595 A CN201510587595 A CN 201510587595A CN 105183868 A CN105183868 A CN 105183868A
Authority
CN
China
Prior art keywords
file
daily record
file system
journal
memory device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510587595.XA
Other languages
English (en)
Inventor
杨敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201510587595.XA priority Critical patent/CN105183868A/zh
Publication of CN105183868A publication Critical patent/CN105183868A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种文件***日志的存储方法，包括：将日志文件连接到文件***中；将所述日志文件挂载到日志存储设备，所述日志存储设备与文件***中的数据存储设备相互独立；将当前待存储的日志文件放入所述日志存储设备的缓存中，并对所述当前待存储的日志文件中的小块元数据进行聚合；根据预设延迟时间，将所述当前待存储的日志文件存储到所述日志存储设备上。本发明将日志信息存放在单独的存储设备上，减少了磁头来回寻道浪费的时间，更多时间用于读写数据，提高了磁盘的工作效率。另外加入了延迟存储技术，降低了大量小块元数据刷写日志存储设备的频率，提高了日志存储设备的性能。

Description

一种文件***日志的存储方法及装置
技术领域
本发明涉及存储技术领域，特别是涉及一种文件***日志的存储方法及装置。
背景技术
日志文件***是一个具有故障恢复能力的文件***，在这个文件***中，因为对目录以及位图的更新信息总是在原始的磁盘日志被更新之前，写到磁盘上的一个连续的日志上，所以能够保证数据的完整性。当发生***错误时，一个全日志文件***将会保证磁盘上的数据恢复到发生***崩溃前的状态。同时，它还将覆盖未保存的数据，并将其存在如果计算机没有崩溃的话这些数据可能已经遗失的位置，这是对关键业务应用来说的一个很重要的特性。
日志文件***是使用日志来缓冲文件***的修改(同时也可以应用于紧急故障恢复)的，可以根据记录的时间与内容采取不同的策略。其中，三种常见的策略为：回写(writeback)、预定(ordered)和数据(data)。
在回写模式中，仅有元数据被记录到日志，数据块则被直接写入到磁盘位置上。这样可以保存文件***结构，防止崩溃，但却有可能在元数据记录到日志后，数据块写入磁盘前，***崩溃。预定模式只将元数据记录到日志，但是在此之前将数据写入到磁盘。这样就可以保证***恢复后数据和文件***的一致性。在数据模式中，将数据也记录到了日志中，元数据和数据都被记录到日志中。这种模式可以最大限度地防止文件***崩溃与数据丢失，但由于全部数据都写入了两次(先写入日志，再写入磁盘，称为二次写惩罚：writetwicepenalty)，***性能会大大地降低。
现有技术中，在写完日志再刷写数据时会导致磁盘磁头寻道增加，使得实际数据读写时间较短，使得性能降低；并且对于小块IO的应用场景，相同数据量产生的IO数成倍增加，必将导致***频繁刷写日志，给文件***增加了带宽压力。
发明内容
本发明的目的是提供一种文件***日志的存储方法及装置，目的在于改善现有文件***的性能。
为解决上述技术问题，本发明提供一种文件***日志的存储方法，包括：
将日志文件连接到文件***中；
将所述日志文件挂载到日志存储设备，所述日志存储设备与文件***中的数据存储设备相互独立；
将当前待存储的日志文件放入所述日志存储设备的缓存中，并对所述当前待存储的日志文件中的小块元数据进行聚合；
根据预设延迟时间，将所述当前待存储的日志文件存储到所述日志存储设备上。
可选地，所述将当前待存储的日志文件放入所述日志存储设备的缓存中，并对所述当前待存储的日志文件中的小块元数据进行聚合包括：
当***发生掉电时，通过备用电源为所述缓存进行供电。
本发明提供了一种文件***日志的存储装置，包括：
连接模块，用于将日志文件连接到文件***中；
挂载模块，用于将所述日志文件挂载到日志存储设备，所述日志存储设备与文件***中的数据存储设备相互独立；
聚合模块，用于将当前待存储的日志文件放入所述日志存储设备的缓存中，并对所述当前待存储的日志文件中的小块元数据进行聚合；
存储模块，用于根据预设延迟时间，将所述当前待存储的日志文件存储到所述日志存储设备上。
可选地，所述日志存储设备采用独立的网线连接。
可选地，所述日志存储设备为采用SerialAttachedSCSI硬盘的存储设备。
可选地，所述缓存为随机存取存储器。
可选地，所述聚合模块进一步包括：
备用电源，用于当***发生掉电时，为所述缓存提供备用电源。
本发明所提供的文件***日志的存储方法及装置，通过将日志文件连接到文件***，挂载到相应的日志存储设备上，然后将当前待存储的日志文件放入日志存储设备的缓存中，并对其中的小块元数据进行聚合，根据预设延迟时间，将当前待存储的日志文件存储到日志存储设备上。本发明所提供的文件***日志的存储方法及装置，日志信息与数据文件存储位置独立，将日志信息存放在单独的存储设备上，减少了磁头来回寻道浪费的时间，更多时间用于读写数据，提高了磁盘的工作效率。另外加入了延迟存储技术，降低了大量小块元数据刷写日志存储设备的频率，提高了日志存储设备的性能。
附图说明
图1为本发明所提供的文件***日志的存储方法的一种具体实施方式的流程图；
图2为本发明所提供的文件***日志的存储方法的另一种具体实施方式的流程图；
图3为本发明所提供的文件***日志的存储装置的一种具体实施方式的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的文件***日志的存储方法的一种具体实施方式的流程图如图1所述，该方法包括：
步骤S101：将日志文件连接到文件***中；
步骤S102：将所述日志文件挂载到日志存储设备，所述日志存储设备与文件***中的数据存储设备相互独立；
步骤S103：将当前待存储的日志文件放入所述日志存储设备的缓存中，并对所述当前待存储的日志文件中的小块元数据进行聚合；
步骤S104：根据预设延迟时间，将所述当前待存储的日志文件存储到所述日志存储设备上。
本发明所提供的文件***日志的存储方法，通过将日志文件连接到文件***，挂载到相应的日志存储设备上，然后将当前待存储的日志文件放入日志存储设备的缓存中，并对其中的小块元数据进行聚合，根据预设延迟时间，将当前待存储的日志文件存储到日志存储设备上。本发明所提供的文件***日志的存储方法，日志信息与数据文件存储位置独立，将日志信息存放在单独的存储设备上，减少了磁头来回寻道浪费的时间，更多时间用于读写数据，提高了磁盘的工作效率。另外加入了延迟存储技术，降低了大量小块元数据刷写日志存储设备的频率，提高了日志出处设备的性能。
需要指出的是，本实施例中日志信息存放在单独的存储设备上，这种存储设备性能必须与日志数据的IO特性相符合。由于日志的IO特性主要为顺序IO，而且因为日志是周期性记录元数据的，且占用空间较小，所以周期性循环使用存储设备，这就要求设备抗损耗，像价格高昂而又不耐损耗的SSD就不在考虑的范围。这里需要根据用户自己的需求，评估成本后自行选择。
存储设备可以具体采用15,0002.5-inchSerialAttachedSCSI或者15,0003.5-inchSerialAttachedSCSI，当然也可以采用其他设备，这均不影响本发明的实现。
现有技术中文件***的数据落盘之前，需要对日志信息先行刷写，数据、日志共享***带宽，会造成数据带宽不能完全占用***的最大带宽。而本发明实施例中由于日志存储设备与文件***中的数据存储设备相互独立，因此可以使用独立网线进行连接，这种方式解决了上述问题，日志信息刷写不再占用***的带宽，数据刷写时有最大的带宽保障。
本发明所提供的文件***日志的存储方法的另一种具体实施方式的流程图如图2所示，与上一实施例相比，本实施例中在***发生掉电的情况下，通过备用电池为缓存进行供电，该方法包括：
步骤S201：将日志文件连接到文件***中；
步骤S202：将所述日志文件挂载到日志存储设备，所述日志存储设备与文件***中的数据存储设备相互独立；
步骤S203：将当前待存储的日志文件放入所述日志存储设备的缓存中，并对所述当前待存储的日志文件中的小块元数据进行聚合；
步骤S204：根据预设延迟时间，将所述当前待存储的日志文件存储到所述日志存储设备上；
步骤S205：当***发生掉电时，通过备用电源为所述缓存进行供电。
通常情况下，当***发生掉电时，由于文件***自带的缓存中的数据没有来得及刷写到物理磁盘上，就会造成一部分数据的丢失。当***再次重启时，由于缓存时易失性的，这部分数据显然已经永久的丢失了。
鉴于此，本实施例在日志存储设备上增加一块RAM作为缓存，用于同步文件***缓存，同时还为该RAM提供有备用电源。当***发生掉电时，这时日志存储设备上的备用电源立即进入工作状态，使得文件***缓存不易丢失，保证了数据的一致性。
本实施例中的备用电源有两种状态：(1)储电状态，在非工作状态下电源也处于打开状态，用于对电源进线充电；(2)工作状态，由于电源之前一直处于打开状态，当***发生掉电时RAM也一直有电供应。这样就可以保证文件***的缓存镜像不会丢失。有了元数据和数据缓存，就可以做后续的恢复操作。
数据文件在大量小块IO刷写的情况下会造成性能的下降，这可能受限于***的IOPS瓶颈和其它因素。这时一般会将数据块缓存，然后对这些即将下发的IO进行合并和聚合，如XFS的延迟刷写技术、ZFSCOW机制。而本申请在掉电缓存丢失的问题得到解决后，也就意味着不需要急于将日志信息立刻刷写到存储设备上。因此，上述方法也适用于日志信息的IO。因为日志刷写本来就是顺序性的，相比于数据文件的IO少了连续性检验的步骤，只需要简单的IO聚合就可以将许多小的IO合并为多个大的IO。延迟日志的刷写，这样可以大大提高文件***本身的性能。
可见，本实施例提供的文件***日志的存储方法，解决了日志信息与数据文件争用文件***带宽的问题，对日志的存储从硬件上给出了优化的方案；同时还避免了日志刷写来回寻道的影响；也为延迟日志的刷写提供了基础，消除了大量小的日志信息频繁书写磁盘的问题。
本发明所提供的文件***日志的存储方法，首先需要将数据文件、日志文件连接到***中；其中数据文件使用的存储设备可以是单块的物理磁盘、也可以是RAID，这都不影响本发明的实现；日志文件存储设备为独立的日志存储设备；然后分别挂载数据文件、日志文件到对应的存储设备；***的IO主要分为两类：数据文件IO经应用、文件***到达存储设备上；日志信息经文件***到达日志信息存储设备；日志设备RAM同步文件***缓存，当***发生掉电时，提供恢复所需的镜像；同时在***正常工作期间，文件实现对日志信息IO的聚合操作。
本发明所提供的文件***日志的存储装置的一种具体实施方式的结构框图如图3所述，该装置包括：
连接模块100，用于将日志文件连接到文件***中；
挂载模块200，用于将所述日志文件挂载到日志存储设备，所述日志存储设备与文件***中的数据存储设备相互独立；
聚合模块300，用于将当前待存储的日志文件放入所述日志存储设备的缓存中，并对所述当前待存储的日志文件中的小块元数据进行聚合；
存储模块400，用于根据预设延迟时间，将所述当前待存储的日志文件存储到所述日志存储设备上。
具体地，本发明所提供的文件***日志的存储装置，日志存储设备可以采用独立的网线进行连接。日志存储设备可以具体为采用SerialAttachedSCSI硬盘的存储设备。缓存可以具体为随机存取存储器。
作为一种优选实施方式，本发明所提供的文件***日志的存储装置还可以进一步设有：
备用电源，用于当***发生掉电时，为所述缓存提供备用电源。
本发明所提供的文件***日志的存储装置与上述方法相对应，在此不再赘述。
综上，本发明主要针对现有日志式文件***的日志存储方法存在的问题，提出了一种文件***日志的存储方法及装置，其具有下述优点：
(1)日志信息IO不再占用***带宽，从而提高了文件***性能；
(2)日志信息存储到单独设计的存储设备上，相比之前文件***的实现方式，减少了磁头来回寻道浪费的时间，更多时间用于读写数据，提高磁盘工作的效率；
(3)日志存储设备设有RAM和备用电源，为日志文件***掉电报数、数据一致性、小块元数据频繁刷写日志提供了解决的办法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种文件***日志的存储方法，其特征在于，包括：
将日志文件连接到文件***中；
将所述日志文件挂载到日志存储设备，所述日志存储设备与文件***中的数据存储设备相互独立；
将当前待存储的日志文件放入所述日志存储设备的缓存中，并对所述当前待存储的日志文件中的小块元数据进行聚合；
根据预设延迟时间，将所述当前待存储的日志文件存储到所述日志存储设备上。
2.如权利要求1所述的文件***日志的存储方法，其特征在于，所述将当前待存储的日志文件放入所述日志存储设备的缓存中，并对所述当前待存储的日志文件中的小块元数据进行聚合包括：
当***发生掉电时，通过备用电源为所述缓存进行供电。
3.一种文件***日志的存储装置，其特征在于，包括：
连接模块，用于将日志文件连接到文件***中；
挂载模块，用于将所述日志文件挂载到日志存储设备，所述日志存储设备与文件***中的数据存储设备相互独立；
聚合模块，用于将当前待存储的日志文件放入所述日志存储设备的缓存中，并对所述当前待存储的日志文件中的小块元数据进行聚合；
存储模块，用于根据预设延迟时间，将所述当前待存储的日志文件存储到所述日志存储设备上。
4.如权利要求3所述的文件***日志的存储装置，其特征在于，所述日志存储设备采用独立的网线连接。
5.如权利要求4所述的文件***日志的存储装置，其特征在于，所述日志存储设备为采用SerialAttachedSCSI硬盘的存储设备。
6.如权利要求3所述的文件***日志的存储装置，其特征在于，所述缓存为随机存取存储器。
7.如权利要求3至6任一项所述的文件***日志的存储装置，其特征在于，所述聚合模块进一步包括：
备用电源，用于当***发生掉电时，为所述缓存提供备用电源。
CN201510587595.XA 2015-09-15 2015-09-15 一种文件***日志的存储方法及装置 Pending CN105183868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510587595.XA CN105183868A (zh) 2015-09-15 2015-09-15 一种文件***日志的存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510587595.XA CN105183868A (zh) 2015-09-15 2015-09-15 一种文件***日志的存储方法及装置

Publications (1)

Publication Number Publication Date
CN105183868A true CN105183868A (zh) 2015-12-23

Family

ID=54905949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510587595.XA Pending CN105183868A (zh) 2015-09-15 2015-09-15 一种文件***日志的存储方法及装置

Country Status (1)

Country Link
CN (1) CN105183868A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677258A (zh) * 2016-02-23 2016-06-15 浪潮(北京)电子信息产业有限公司 一种日志数据管理方法及***
CN107256273A (zh) * 2017-06-28 2017-10-17 联想(北京)有限公司 一种文件***日志的缓存方法及***
CN107733667A (zh) * 2016-08-10 2018-02-23 北京京东尚科信息技术有限公司 一种日志管理方法和***
CN108920303A (zh) * 2018-06-08 2018-11-30 山东超越数控电子股份有限公司 一种安全增强型日志文件***
CN109522273A (zh) * 2018-11-15 2019-03-26 郑州云海信息技术有限公司 一种实现数据写入的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751307A (zh) * 2008-12-12 2010-06-23 比兹肯解决方法有限公司 数据存储***、方法以及数据存储和备份***
CN102024021A (zh) * 2010-11-04 2011-04-20 曙光信息产业(北京)有限公司 一种逻辑文件***元数据的日志方法
CN102981934A (zh) * 2012-12-21 2013-03-20 曙光信息产业(北京)有限公司 日志转移方法和日志转移装置
CN103377069A (zh) * 2012-04-26 2013-10-30 东方有线网络有限公司 一种基于日志文件写入外挂nas实现虚拟化计算部署的新方法
CN103559119A (zh) * 2013-10-25 2014-02-05 华为技术有限公司 文件操作请求处理方法及装置
CN104750598A (zh) * 2013-12-26 2015-07-01 南京南瑞继保电气有限公司 一种iec61850日志服务的存储方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751307A (zh) * 2008-12-12 2010-06-23 比兹肯解决方法有限公司 数据存储***、方法以及数据存储和备份***
CN102024021A (zh) * 2010-11-04 2011-04-20 曙光信息产业(北京)有限公司 一种逻辑文件***元数据的日志方法
CN103377069A (zh) * 2012-04-26 2013-10-30 东方有线网络有限公司 一种基于日志文件写入外挂nas实现虚拟化计算部署的新方法
CN102981934A (zh) * 2012-12-21 2013-03-20 曙光信息产业(北京)有限公司 日志转移方法和日志转移装置
CN103559119A (zh) * 2013-10-25 2014-02-05 华为技术有限公司 文件操作请求处理方法及装置
CN104750598A (zh) * 2013-12-26 2015-07-01 南京南瑞继保电气有限公司 一种iec61850日志服务的存储方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677258A (zh) * 2016-02-23 2016-06-15 浪潮(北京)电子信息产业有限公司 一种日志数据管理方法及***
CN107733667A (zh) * 2016-08-10 2018-02-23 北京京东尚科信息技术有限公司 一种日志管理方法和***
CN107733667B (zh) * 2016-08-10 2021-05-25 北京京东尚科信息技术有限公司 一种日志管理方法和***
CN107256273A (zh) * 2017-06-28 2017-10-17 联想(北京)有限公司 一种文件***日志的缓存方法及***
CN108920303A (zh) * 2018-06-08 2018-11-30 山东超越数控电子股份有限公司 一种安全增强型日志文件***
CN109522273A (zh) * 2018-11-15 2019-03-26 郑州云海信息技术有限公司 一种实现数据写入的方法及装置

Similar Documents

Publication Publication Date Title
CN105183868A (zh) 一种文件***日志的存储方法及装置
CN103500130B (zh) 一种对双机热备数据进行实时备份的方法
CN102053802B (zh) 网络独立冗余磁盘阵列***
CN103631536B (zh) 一种利用ssd的无效数据优化raid5/6写性能的方法
CN103049220B (zh) 存储控制方法、存储控制装置和固态存储***
CN105138276B (zh) 数据储存方法及数据储存***
CN103049070A (zh) 缓存数据的掉电保护方法及计算机设备
CN103455577A (zh) 云主机镜像文件的多备份就近存储和读取方法及***
CN103631539B (zh) 基于擦除编码机制的分布式存储***及其存储方法
CN104407933A (zh) 一种数据的备份方法及装置
CN102024044A (zh) 分布式文件***
CN101567211A (zh) 一种提高磁盘可用性的方法和磁盘阵列控制器
CN107357680A (zh) 数据处理设备和数据处理的方法
CN102411639A (zh) 元数据的多副本存储管理方法和***
CN103221925A (zh) 数据处理方法和存储设备
CN105512056A (zh) 数据保存方法、装置及终端
CN101625586A (zh) 一种管理存储设备节能的方法、设备和计算机
CN104679442A (zh) 一种提高磁盘阵列性能的方法及装置
CN110196818A (zh) 缓存数据的方法、缓存设备和存储***
CN103916459A (zh) 一种大数据归档存储***
CN102508727A (zh) 一种通过软件实现磁盘阵列中的缓存掉电保护方法
CN103092765B (zh) 固态存储***、装置及数据写入方法
CN107391302A (zh) 位图数据管理方法及装置
US11093339B2 (en) Storage utilizing a distributed cache chain and a checkpoint drive in response to a data drive corruption
CN103544081B (zh) 双元数据服务器的管理方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151223