CN116383165A - 一种适应性写入的档案保存方法 - Google Patents

Abstract

一种适应性写入的档案保存方法，属于电数字数据处理技术领域，包括以下步骤：步骤S1，当有档案的保存请求时，日志文件***，将档案制作成交易结构；步骤S2，对档案，做可压缩检测，并区分为两种写入模；步骤S3，写入模式判断为轻度写的档案分为4个保留等级；步骤S4，定期判断档案保存时间是否即将用尽；步骤S5，检查点阶段，将档案存入到档案区域。本发明，日志文件***对存储器进行优化，解决重复写入相同档案的问题，同时，也对不同的档案赋予所需的档案保留时间。

Description

一种适应性写入的档案保存方法

技术领域

本发明属于电数字数据处理技术领域，特别涉及一种适应性写入的档案保存方法。

背景技术

日志文件***，指在文件***发生变化时，先把相关的信息写入一个被称为日志的区域，然后再把变化写入主文件***的文件***。在文件***发生故障（如内核崩溃或突然停电）时，日志文件***更容易保持一致性，并且可以较快恢复。

很多日志文件***（如：xfs，ext3，ext4，ReiserFS）中，当选择数据模式，元数据和文件内容都先被写入日志中，然后在提交到主文件***。这提高了安全性，当***发生故障时候可以通过检查日志中的元数据和文件内容来保持数据的一致性，但是，该方法损失了性能，因为所有数据要写入两次。例如，图1为ext3文件***的档案保存架构图，如图1所示，在数据要写入SSD等储存硬盘前，会先在记录阶段被制作成一笔一笔的交易结构（Transaction）写入日志区域，上述交易结构中包含了档案本身与元数据，并且在前后各增加一笔交易头（H）和交易尾（T）的索引节点，其作用为当日志文件***做检查时，只有完整拥有交易头（H）和交易尾（T）才会被视为有效的数据，此方法保障了在意外发生时资料的完整与一致性。而在经过检查点阶段（Checkpoint）后，将会把这些写入日志区域的交易结构写入数据区域。***在崩溃时，通过检查点阶段，可有效恢复原先的***状态。该方法虽然提升了档案的安全性，但同时也会分别在日志区域与数据区域中写入相同的资料，损失了性能。

因此，有必要研发一种适应性写入的档案保存方法，有效减少档案保存的写入操作。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种适应性写入的档案保存方法。

为了达到上述目的，本发明采取了以下的技术方案。

一种适应性写入的档案保存方法，包括以下步骤：

步骤S1，当有档案的保存请求时，日志文件***，将档案制作成交易结构；交易结构，包括状态索引位、元数据和档案内容；状态索引位记录块位置、块长度、档案保留等级和档案保留时间；

步骤S2，对档案，做可压缩检测，并根据压缩率的高低，将档案内容区分为两种写入模式：适用于可压缩档案的轻度写、适用于不可压缩档案的重度写；

步骤S3，写入模式判断为轻度写的档案，按照自然保存时间递增顺序，分为4个保留等级：一级保留等级、二级保留等级、三级保留等级、四级保留等级；

步骤S4，定期判断档案保存时间是否即将用尽：如果不是，则持续等待，直到***判断该档案保存时间即将用尽或者等到检查点阶段时写入到档案区域；否则，对该档案做刷新动作，将其保留等级提升一级并在状态索引位更新档案保留等级和档案保留时间，若之前保留等级为四级保留等级时，刷新时，保留等级重置为四级保留等级；

步骤S5，检查点阶段，将档案存入到档案区域。

进一步，步骤S1中，交易结构，包括交易头、状态索引位、元数据、档案内容和交易尾；

步骤S2中，轻度写，包括：元数据和高压缩率的档案内容；重度写，包括不可压缩的档案。

进一步，步骤S3中，一级保留等级：档案的自然保存时间为3分钟；

二级保留等级：档案的自然保存时间为3小时；

三级保留等级：档案的自然保存时间为3天；

四级保留等级：档案的自然保存时间为3个月。

进一步，步骤S3中，元数据的自然保存时间，初始设定为一级保留等级；

高压缩率的档案内容的自然保存时间，初始设定为二级保留等级；

写入模式判断为重度写的档案，其保留等级为四级保留等级，其自然保存时间为3个月。

进一步，步骤S4中，定期判断档案保存时间是否即将用尽的方法：根据***时间，每隔T/3周期，检查档案的已保存时间是否超过T/2，其中T为对应档案的自然保存时间；如果是，则判断为档案保存时间即将用尽；否则，继续等待下个检查周期。

进一步，步骤S5中，对于被分配为重度写的档案，使用到位的写入方式，采用更改指标的方式作为存入到档案区域的方式，将交易结构中存放档案内容的指标位置更新于元数据区域；

对于被分配为轻度写的档案，采取错位的写入方式在检查点阶段时，写入档案区域。

本发明，日志文件***对存储器进行优化，解决重复写入相同档案的问题，同时，也对不同的档案赋予所需的档案保留时间，其具有以下优点：

1，本方案，以压缩率的高低作为判断档案稳定性的指标，也就是档案更新频繁度的指标。轻度写，适用于稳定性较差的档案，其写入的自然保存时间较短。重度写，适用于稳定性较好的档案，其写入的自然保存时间较长。由于轻度写的档案，自然保存时间较短，从而节省保存所需的能耗以及时间，延长存储器寿命。

2，本方案，预设保留等级的制定机制，让不同保留等级的档案，具备与其等级相适应的自然保存时间。

3，本方案，设置增量保留机制，定期判断档案保存时间是否即将用尽，避免档案超过时间却没有再变动而引发的档案消失的情况。同时，这种渐进式的写入方式，可以增加能量的使用效率，减轻存储器的写入，从而延长使用年限。

4，对于被分配为重度写的档案，使用到位（In-place）的写入方式，不再重新写入一次档案，从而节省保存所需的能耗以及时间，延长存储器寿命。

附图说明

图1为ext3文件***的档案保存架构图；

图2为本发明的档案保存架构图；

图3为本发明的流程图。

具体实施方式

计算机，通常采用静态随机存取存储器与动态随机存取存储器配上硬盘的架构，但动态随机存取存储器与硬盘的存取速度存在着巨大的差异，导致资料在两者间移动时产生阻碍，最终导致***性能的下降。新兴的相变存储器，为非易失性随机访问存储器的一种，由于具有更好的可扩展性和非易失性，被认为是取代动态随机存取存储器作为主存储器的最有前途的候选者之一。凭借多位存储功能，多层单元的相变存储器在密度方面优于单层单元，但是其写入次数有所限制，需要像SSD一样考虑写入损耗。单层单元架构下可以存取10万次，而多层单元架构则只能有存取其1/10，同时多层单元在存取速度方面也比不上单层单元架构。虽然多层单元的相变存储器，有着许多缺点，但在制造成本与单位容量上都具有很高的优势，后续会有较大的市场需求。因此，针对多层单元的相变存储器，其采用的档案保存机制，应当降低写入能量，从而提升寿命。

传统的日志文件***，对于档案的保存，不管档案的种类，均赋予其相同的档案保留时间以及相同的写入力度和能量，但是，如果档案是经常性更新的档案，例如，编辑中的文档，可能不到几分钟，该档案就会被更改，这种不管档案种类的档案保存方式，需要花费大量的资源和时间，属于不必要的行为。

图2为本发明的档案保存架构图；图3为本发明的流程图。下面结合图2和图3，对本发明的步骤做进一步说明。

一种适应性写入的档案保存方法，包括以下步骤：

步骤S1，当有档案的保存请求时，日志文件***，将档案制作成交易结构（Transaction）；交易结构，包括状态索引位、元数据和档案内容；状态索引位记录块位置、块长度、档案保留等级和档案保留时间。

以ext3日志文件***为例，在原先的交易结构上新增状态索引位，因此，交易结构，包括交易头（H）、状态索引位、元数据Ma、档案内容Da和交易尾（T）；状态索引位，记录块位置、块长度、档案保留等级和档案保留时间。

当需要刷新档案时，可以从交易结构的状态索引位了解该交易结构现在的状态。

元数据，为关于档案的数据，一般是结构化数据，其是从档案中抽取出来的用于说明其特征、内容的结构化的数据(如题名、版本、出版数据、相关说明、检索点等)，用于组织、描述、检索、保存、管理信息和知识资源。

档案内容，为所存取的档案本身。

步骤S2，对档案，做可压缩检测，并根据压缩率的高低，将档案内容区分为两种写入模式：适用于可压缩档案的轻度写、适用于不可压缩档案的重度写。

在非易失性随机访问存储器中，不同写入能量，可以让电阻或磁极有着不同的稳定度，从而影响到数据保留时间。例如，当数据保存时间的长度为10年时，其所需的写入能量为1.158nJ；而数据保存时间的长度为40ms时，其所需的写入能量仅为0.161nJ。

轻度写，适用于稳定性较差的档案，其写入的自然保存时间较短，以获得较低的能量损耗与写入时间。轻度写，包括：元数据、高压缩率的档案内容。

重度写，适用于稳定性较好的档案，其写入的自然保存时间较长。相对于轻度写而言，重度写需要较高的写入能量，会对非易失性随机访问存储器的使用耐久度造成较为严重的损耗。重度写，包括不可压缩的档案。

本方案中，以压缩率的高低作为判断档案稳定性的指标，也就是档案更新频繁度的指标。高压缩率的档案，即可再压缩的档案，例如文字档等，其更新频繁度较高，在储存阶段赋予其较短的自然保存时间，也就是，采用轻度写。相反，低压缩率的档案，即不可再压缩的档案，例如JPEG、MP3这类影音图档等，其更新频繁度较低，这类多媒体文件大多数人在下载后通常不会再做更动。

在档案分类上，如果采用的标准是档案的格式，例如副档名，其存在以下缺陷，第一，每一种档案的格式，都需要做分类保存并记录，难以遍历；第二，后续如果出现新的档案格式，造成无法对其档案分类，从而无法确定该档案的保留等级。

步骤S3，写入模式判断为轻度写的档案，按照自然保存时间递增顺序，分为4个保留等级：一级保留等级、二级保留等级、三级保留等级、四级保留等级。

本方案，让不同保留等级的档案，具备与其等级相适应的自然保存时间。现实中，由于无法获知各种档案的现实保存要求，因此，需要预设保留等级的制定机制。

一级保留等级：自然保存时间为3分钟；

二级保留等级：自然保存时间为3小时；

三级保留等级：自然保存时间为3天；

四级保留等级：自然保存时间为3个月。

本方案，对自然保存时间，不采用等比例分配，原因在于，如果比例太小，则每个等级时间相差无几，会造成所有档案都很容易被更新，失去了区分的意义。同理，间隔太长也容易区分不出两个等级间的差异。

元数据的自然保存时间，初始设定为一级保留等级；因为元数据，更新频次较高。

高压缩率的档案内容的自然保存时间，初始设定为二级保留等级；因为高压缩率的档案内容，只需要较短的保存时间。

三级保留等级和四级保留等级，用以在后续步骤中的保留等级的递升。

写入模式判断为重度写的档案，其保留等级为四级保留等级，其自然保存时间为3个月；而不是采用三级保留等级，避免不必要的刷新，从而延长存储器的使用寿命。

档案根据自然保存时间区分为4个保留等级后，一定会有不如预期的档案出现，例如依分类为3分钟的档案超过时间却没有再变动的情况，如果不对这份档案做处理，会发生档案消失的情况，这对使用者来说是绝不可发生且致命的。因此，有必要再设置增量保留机制。

步骤S4，定期判断档案保存时间是否即将用尽：如果不是，则持续等待，直到***判断该档案保存时间即将用尽或者等到检查点阶段时写入到档案区域；否则，对该档案做刷新动作，将其保留等级提升一级并在状态索引位更新档案保留等级和档案保留时间，若之前保留等级为四级保留等级时，刷新时，保留等级重置为四级保留等级。

档案，被制作成交易结构时，在状态索引位中写入档案保留等级和档案保留时间。如果档案的保留等级为一级保留等级、二级保留等级、三级保留等级，则其在刷新动作时，将其保留等级提升一级并在状态索引位更新档案保留等级和档案保留时间。例如，被认定为一级保留等级的元数据和二级保留等级的高压缩率的档案内容，在需要刷新档案时，使用比目前的保留等级更高的写入力度做刷新并且在此状态索引位中更新此份档案的保留等级。而经过刷新后到达三级保留等级的档案如果又需要刷新时，使用四级保留等级的写入力度做写入。

定期判断档案保存时间是否即将用尽的方法：根据***时间，每隔T/3周期，检查档案的已保存时间是否超过T/2，其中T为对应档案的自然保存时间；如果是，则判断为档案保存时间即将用尽；否则，继续等待下个检查周期。

当有多笔档案进入时，每项档案不可能是同时间进入，一定会相差几秒甚至几分钟。例如，有三笔二级保留等级的资料进入，它们分别已经存在80分钟、40分钟、20分钟。若以第一笔档案资料进入的时间点为起点，此时的***时间为80分钟，来到一个检查时间点，档案的已保存时间未到达T/2周期，无需刷新。然后，经过30分后，***时间为110分钟，最早进入的第一笔资料的已保存时间已超过T/2周期90分钟了，但还没到***检查时间，所以它将继续维持等级二的资料保留时间。而再经过30分钟后，来到了***检查时间点（例如，***的第一次时间检查点在第80分钟，则第二次时间检查点在140分钟），这时第二笔档案也超过90分钟了，第一与第二笔档案将会一起被刷新并变成三级保留等级的档案。而第三笔的资料虽然也遇到***的检查但整笔档案只存在80分钟，并没有超过T/2周期90分钟的刷新上限，所以会维持等级二的资料保留时间直到档案做更动或是遇到下次***的检查才会被刷新。

因此，就算有档案的存在时间已经超过T/2周期却未被更新，它也会在T周期结束前遇到***检查并被***更新，并不会出现有档案存在时间超过各等级保留等级导致档案消失的情形出现。

本方案，通过对档案保存时间的检查，设计增量保留机制，可以确保所有的档案不会超过本身保留等级的保存时间的上限；同时，这种渐进式的写入方式，可以增加能量的使用效率，减轻存储器的写入，从而延长使用年限。

步骤S5，检查点阶段，将档案存入到档案区域。

对于被分配为重度写的档案，使用到位（In-place）的写入方式，不再重新写入一次档案，采用更改指标的方式作为存入到档案区域的方式，将交易结构中存放档案内容的指标位置更新于元数据区域。

到位的写入方式，在档案写入日志文件***时，将档案做第一次写入，而在检查点阶段时，不再重复写入一次而是采用更改指标的方式，将档案区域中的档案索引目录做更新，并将指标指向储存在交易结构之中。在检查点阶段时，不将使用重度写的档案内容Da和Db再一次做写入，而是将元数据区域中Da与Db指标位置改为交易结构中的Da与Db并做记录。也就是说，实际储存的档案内容Da和Db的位置在进入日志文件***后经过检查点阶段依旧不会改变，只是元数据区域中用来存放Da与Db指标位置的Ma与Mb将会被更新，指向储存于交易结构中的Da与Db。使用此方式的好处是这将减少一次对存储器写入，并且会用这种方式做写入的档案都是采用重度写的档案，这种档案对存储器（如NVRAM）来说通常会造成比较大的损伤，因此，此方式对读写次数有限的存储器来说，具有较大的益处。

对于被分配为轻度写的档案，采取错位（Out-place）的写入方式在检查点阶段时，写入档案区域。

错位的写入方式，在档案写入日志文件***时，将档案做第一次写入，而在检查点阶段时再将保存好的交易结构写入档案区域存储。

验证本方案的写入能量的损耗，使用基于Linux***为基础的ext3模拟器做为测试环境，实验方法则是使用IOzone来做为测试依据，IOzone可以测试不同的档案***的读写性能。

一级保留等级，写入能量为4867.37pJ。

二级保留等级，写入能量为5440.00pJ。

三级保留等级，写入能量为7706.67pJ。

四级保留等级，写入能量为9248.00pJ。

刷新动作的一级保留等级，写入能量为2593.68 pJ。

刷新动作的二级保留等级，写入能量为2880.00pJ。

刷新动作的三级保留等级，写入能量为4013.33pJ。

刷新动作的四级保留等级，写入能量为4787.00pJ。

首先测试传统的ext3***的IO写入量，传统的EXT3档案***中并没有分等级的写入力度，所以一律使用最重的四级保留等级写入能量。3个月时，测试库的写入量为2520798356，写入能量为：4867931958*9248，单位pJ。模拟器的模拟运行时间为6个月，在超过3个月到6个月之间写入量的部分使用四级保留等级的数据做为计算根据。6个月时，刷新操作，写入量为33587968，写入能量为：33587968*4787，单位pJ。因此，写入能量，一共为4.51793E+13pJ。

然后测试本方案的IO写入量。

表1、轻度写的写入量汇总

在上表中，当高压缩率的档案占比为100%时，大部分档案被归于二级保留等级，此时，二级保留等级占比最大。存储元数据的一级保留等级的档案，其写入量保持稳定。

然后，计算刷新时的IO写入量，此时，一级保留等级均为0。

表2、刷新时的写入量

表3、本方案和传统ext3***的总写入能量对比

从上表可见，随着高压缩档案占比的提升，本方案相对于传统的ext3***，具有明显的提升。例如，当高压缩档案占比为0时，相对于传统的ext3***，本方案通过减少二次写入，以及合理分配刷新周期，能节省大概50%的写入能量。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种适应性写入的档案保存方法，其特征在于，包括以下步骤：

步骤S1，当有档案的保存请求时，日志文件***，将档案制作成交易结构；交易结构，包括状态索引位、元数据和档案内容；状态索引位记录块位置、块长度、档案保留等级和档案保留时间；

步骤S2，对档案，做可压缩检测，并根据压缩率的高低，将档案内容区分为两种写入模式：适用于可压缩档案的轻度写、适用于不可压缩档案的重度写；

步骤S3，写入模式判断为轻度写的档案，按照自然保存时间递增顺序，分为4个保留等级：一级保留等级、二级保留等级、三级保留等级、四级保留等级；

步骤S4，定期判断档案保存时间是否即将用尽：如果不是，则持续等待，直到***判断该档案保存时间即将用尽或者等到检查点阶段时写入到档案区域；否则，对该档案做刷新动作，将其保留等级提升一级并在状态索引位更新档案保留等级和档案保留时间，若之前保留等级为四级保留等级时，刷新时，保留等级重置为四级保留等级；

步骤S5，检查点阶段，将档案存入到档案区域。

2.根据权利要求1所述的一种适应性写入的档案保存方法，其特征在于，步骤S1中，交易结构，包括交易头、状态索引位、元数据、档案内容和交易尾；

步骤S2中，轻度写，包括：元数据和高压缩率的档案内容；重度写，包括不可压缩的档案。

3.根据权利要求2所述的一种适应性写入的档案保存方法，其特征在于，步骤S3中，一级保留等级：档案的自然保存时间为3分钟；

二级保留等级：档案的自然保存时间为3小时；

三级保留等级：档案的自然保存时间为3天；

四级保留等级：档案的自然保存时间为3个月。

4.根据权利要求3所述的一种适应性写入的档案保存方法，其特征在于，步骤S3中，元数据的自然保存时间，初始设定为一级保留等级；

高压缩率的档案内容的自然保存时间，初始设定为二级保留等级；

写入模式判断为重度写的档案，其保留等级为四级保留等级，其自然保存时间为3个月。

5.根据权利要求4所述的一种适应性写入的档案保存方法，其特征在于，步骤S4中，定期判断档案保存时间是否即将用尽的方法：根据***时间，每隔T/3周期，检查档案的已保存时间是否超过T/2，其中T为对应档案的自然保存时间；如果是，则判断为档案保存时间即将用尽；否则，继续等待下个检查周期。

6.根据权利要求5所述的一种适应性写入的档案保存方法，其特征在于，步骤S5中，对于被分配为重度写的档案，使用到位的写入方式，采用更改指标的方式作为存入到档案区域的方式，将交易结构中存放档案内容的指标位置更新于元数据区域；

对于被分配为轻度写的档案，采取错位的写入方式在检查点阶段时，写入档案区域。

Images