CN104156420A - 事务日志的管理方法和装置 - Google Patents

Abstract

本发明公开了一种事务日志的管理方法和装置，该事务日志的管理方法包括：确定所述事务日志所对应的所有事务操作；对确定的所述事务操作进行去重；根据去重后的事务操作，生成新的事务日志；该事务日志的管理装置包括：确定模块，用于确定所述事务日志所对应的所有事务操作；去重模块，用于对确定的所述事务操作进行去重；生成模块，用于根据去重后的事务操作，生成新的事务日志。本发明通过对事务日志中事务操作的去重，实现了日志设备的数据量减少，从而使得在元数据的副本发生故障后，降低了其他副本为其保留的日志数据的规模，进而延长了文件***可以容忍的副本故障时间，并减少了故障元数据需要修复的时间。

Description

事务日志的管理方法和装置

技术领域

本发明涉及计算机领域，具体来说，涉及一种事务日志的管理方法和装置。

背景技术

在文件***中，日志技术是指在修改元数据前，将元数据修改预先记录到日志设备，以便在文件***发生崩溃后，可以通过应用日志的方式将文件***恢复到一致状态，在元数据修改真正应用到物理磁盘后，日志设备的这部分日志空间将被回收以便再次利用。

日志技术可以将多个元数据同步操作转化为一次日志数据同步操作，并且，在对元数据进行修改时，文件***在原有操作的基础上还有日志操作，由于最新的元数据修改是以日志数据的形式记录在日志设备上的，因此在***崩溃后，只要元数据修改有记录到日志设备上，那么在***恢复正常后，***仍然可以通过重用这部分日志数据使这部分元数据修改不丢失。其中，元数据修改是以事务的形式记录到日志设备上的，并且，在该事务中记录着修改元数据的所有信息，因此，***可以通过事务日志来重现一个元数据修改请求涉及的所有元数据修改，从而实现元数据的一致性。

但是，在基于元数据多副本的文件***中，当一个副本发生故障后，为了保证元数据的一致性，其他副本则需要为故障副本保留日志数据，以便故障副本恢复至故障点后，再根据其他副本为其保留的日志数据，恢复到和其他元数据副本一致的状态，即，元数据副本的最新状态。但是，随着故障副本的故障时间的增长，其他副本为其保留的日志数据规模也在不断增加，而日志设备的存储空间大小又限定了***可以容忍的副本故障时间，导致整个文件***可以容忍的副本故障时间变短；此外，由于副本的故障恢复时间与记录的日志数据规模是成正比的，因此随着副本故障的时间的增长，副本故障修复需要的时间也越长。

由此可见，当元数据的副本发生故障时，现有的日志技术是存在文件***可以容忍的副本故障时间短以及故障副本修复时间长的问题的。

针对相关技术中文件***可以容忍的副本故障时间短以及故障副本修复时间长的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中文件***可以容忍的副本故障时间短以及故障副本修复时间长的问题，本发明提出一种事务日志的管理方法和装置，能够通过减少记录到日志设备的数据量的方式，使文件***可以容忍的副本故障时间变长，并且使故障副本得修复时间减少。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种事务日志的管理方法。

该事务日志的管理方法包括：

确定事务日志所对应的所有事务操作；

对确定的事务操作进行去重；

根据去重后的事务操作，生成新的事务日志。

其中，该事务日志的管理方法还可包括：在对确定的事务操作进行去重之前，根据事务操作所对应的操作目标，对事务操作进行分组，生成多个事务操作组；

与此对应的，在对确定的事务操作进行去重时，则是对每个事务操作组中的事务操作进行去重。

在上述方案中，在对确定的事务操作进行去重时，可确定每个事务操作的操作区间，并对操作区间进行分析，确定操作区间是否存在重复操作区间；而在确定操作区间存在重复操作区间的情况下，对存在重复操作区间的事务操作进行去重。

此外，在对确定的事务操作进行去重时，还可在对操作区间进行分析之前，根据预定的排序方式对操作区间进行排序。

其中，该预定的排序方式包括根据事务操作的操作区间的开始偏移进行排序、或根据事务操作的操作区间的结束偏移进行排序。

根据本发明的另一方面，提供了一种事务日志的管理装置。

该事务日志的管理装置包括：

确定模块，用于确定事务日志所对应的所有事务操作；

去重模块，用于对确定的事务操作进行去重；

生成模块，用于根据去重后的事务操作，生成新的事务日志。

此外，该事务日志的管理装置还包括：分组模块，用于在对确定的事务进行去重之前，根据事务操作所对应的操作目标，对事务操作进行分组，生成多个事务操作组；

与此对应的，去重模块则用于对每个事务操作组中的事务操作进行去重。

在上述方案中，去重模块可包括确定子模块、分析子模块和去重子模块；其中，确定子模块，用于确定每个事务操作的操作区间；分析子模块，用于对操作区间进行分析，确定操作区间是否存在重复操作区间；去重子模块，用于在确定操作区间存在重复操作区间的情况下，对存在重复操作区间的事务操作进行去重。

此外，去重模块还包括排序模块，用于在对操作区间进行分析之前，根据预定的排序方式对操作区间进行排序。

其中，预定的排序方式包括根据事务操作的操作区间的开始偏移进行排序、或根据事务操作的操作区间的结束偏移进行排序。

本发明通过对事务日志中事务操作的去重，实现了日志设备的数据量减少，从而使得在元数据的副本发生故障后，降低了其他副本为其保留的日志数据的规模，进而延长了文件***可以容忍的副本故障时间，并减少了故障元数据需要修复的时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的事务日志的管理方法的流程图；

图2是根据本发明实施例的单个事务内部的日志数据聚合流程图；

图3是根据本发明实施例的聚合后的事务日志在内存中的组织形式示意图；

图4是根据本发明实施例的事务日志的管理装置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种事务日志的管理方法。

如图1所示，根据本发明实施例的事务日志的管理方法包括：

步骤S101，确定事务日志所对应的所有事务操作；

步骤S103，对确定的事务操作进行去重；

步骤S105，根据去重后的事务操作，生成新的事务日志。

借助于本发明的上述步骤，通过对事务日志中事务操作的去重，实现了日志设备的数据量减少，从而使得在元数据的副本发生故障后，降低了其他副本为其保留的日志数据的规模，进而延长了文件***可以容忍的副本故障时间，并减少了故障元数据需要修复的时间。

此外，在一个实施例中，为了提高事务操作去重的效率，降低事务操作去重的难度，该事务日志的管理方法还可包括：在对确定的事务操作进行去重之前，根据事务操作所对应的操作目标，对事务操作进行分组，并生成多个事务操作组。

而在实际应用时，该操作目标可以是每个事务操作所对应的元数据文件，即将事务日志中的所有事务操作按照其所对应的不同元数据文件进行分组，生成以不同元数据文件所对应的事务操作组。

另外，在另一个实施例中，为了进一步的提高事务操作去重的效率，降低事务操作去重的难度，还可以对每个事务操作组中的事务操作，按照元数据文件的存储区域大小进行细化分组，例如，当元数据文件的存储区域大小为30M时，则可将该元数据文件的存储区域大小进行等分，分出3个10M大小的存储区域，而此时则将每个10M的存储区域所对应的所有事务操作分配为一组，这样则可对元数据文件的所有事务操作进行3组并行的去重处理，从而有效的提高事务操作去重的效率，降低事务操作去重的难度。

此外，应当注意的是，在本发明中，本发明的技术方案不限定上述的元数据存储区域的大小的分割方式，也就是说，在实际应用时，本发明的上述技术方案还可以采用其他的类似预定分割策略。

另外，在上述实施例中，由于对元数据文件的所有事务操作进行分组，生成了多个事务操作组，因此，在实际应用时，在对确定的事务操作进行去重时，则是对每个事务操作组中的事务操作进行去重。

此外，在一个实施例中，在对确定的事务操作进行去重时，则可先确定每个事务操作的操作区间，并对操作区间进行分析，确定操作区间是否存在重复操作区间，而在确定操作区间存在重复操作区间的情况下，则对存在重复操作区间的事务操作进行去重。

另外，在又一个实施例中，在对操作区间进行分析之前，为了更好的且方便的确定操作区间是否存在重复操作区间，还可以根据预定的排序方式对操作区间进行排序。

在实际应用时，上述的预定排序方式可以是根据事务操作的操作区间的开始偏移进行排序，也可以是根据事务操作的操作区间的结束偏移进行排序。此外，应当注意的是，在本发明中，对于操作区间进行排序的目的在于方便查找具有相同操作区间的事务操作，从而提高对存在重复操作区间的事务操作进行去重的效率，因此，在本发明中，对于事务操作的操作区间的排序方式并不做限定，其也可以是未列举的其他的可以提高对存在重复操作区间的事务操作进行去重效率的操作区间的排序方式。

在上述方案中，操作区间指代的是事务操作所对应的修改数据在存储***中所对应的物理存储地址区间，而开始偏移则指代的是该物理存储地址区间的开始地址，而结束偏移则指代的是该物理存储地址区间的结束地址。

根据本发明的上述方案可以看出，本发明对于文件***可以容忍的副本故障时间短以及故障副本修复时间长的问题给出了解决方案，在实际应用中，可以是对单个事务内部的日志数据进行聚合的方式来降低日志设备中的日志数据量，也可以是对一批事务号连续的事务进行数据聚合的方式来降低日志设备中的日志数据量。

为了方便理解本发明的上述技术方案，下面以单个事务内部的日志数据聚合为例，对本发明的上述技术方案进行详细说明。

图2是单个事务内部的日志数据聚合的流程图，从图2中可以看出，该单个事务涉及3个元数据文件(在实际应用时，对于事务所涉及的元数据文件的数量并没有限制，此处只是以3个元数据文件为例进行示意性说明)，具体流程如下：

首先，将事务中记录的操作按操作中所涉及的文件进行分类，生成三组分别涉及文件file1、文件file2和文件file3的三组操作；

其次，对每组中的操作(每个文件的操作)，按照操作区间的开始偏移(操作偏移)将操作重排序(操作的初始顺序是时间顺序)；

再次，对于每组内排序完成的操作而言，对于有重合操作区间的操作，则更新其操作区间并形成新的操作区间，以达到去重操作的目的；并对去重后的每组操作，按照操作的时间顺序，更新新产生的操作区间的数据；

最后，将每组操作(针对不同文件的操作)整合成新的事务，形成一个基于元数据文件的事务，并替换原始的基于操作的事务

从上述具体流程可以看出，借助于本发明的上述日志数据聚合流程，可以对一个基于操作的事务，通过对事务内的操作按文件分类，并借助重排序的方式对操作进行聚合(去重)，从而减少日志设备中的数据量，并将聚合后的日志数据，整合成一个以元数据文件为单位的新事务，对元数据修改记录进行组织，并且，新的事务的原子性与旧的事务保证的操作原子性一样。

而对于聚合后的事务(基于元数据文件的事务)在内存中的组织形式则如图3所示，图3聚合后的事务日志在内存中的组织形式示意图，从图3中可以看出，该基于元数据文件的事务有四类数据组合而成，具体如下：

1、原子性信息：包含事务的唯一标识和事务操作涉及到的元数据文件的链表头，其中元数据文件通过链表的方式进行组织；

2、操作对象信息：包含元数据文件的信息和对该文件的操作链表的表头，其中，对该文件的操作按照开始偏移有序的加到该链表上；

3、操作信息：记录每一个操作的类型和操作偏移，其中，操作的类型分为删除(unlink)，创建()，更新(offeset,length)，其中offset为开始偏移，length为修改数据的地址长度；

4、元数据：记录实际的元数据内容。

在实际应用时，对于多个事务号连续的事务之间的日志数据聚合的流程而言，相比于单个事务内部的上述数据聚合流程，其区别仅在于，在完成对每个事务的操作进行分组后，还需要将多个事务间涉及的相同的文件的操作组再整合成一个大的文件操作组，再对该大的文件操作组进行数据聚合。因此，对于多个事务号连续的事务之间的日志数据聚合的流程而言，在此就不一一阐述。

与单个事务的日志数据聚合相同的是，多个事务号连续的事务之间的日志数据聚合完成后形成的新的事务也具有原子性，并且，该事务是以事务号区间作为事务的唯一标识的，该标识方法既能标识聚合后事务的唯一性和顺序关系，还能体现出聚合前后事务的对应关系，并且，具有事务号区间的事务的原子性也保证了对应的以该区间内的事务号为标识的一批事务的原子性。

此外，根据本发明的实施例，还提供了一种事务日志的管理装置。

如图4所示，根据本发明实施例的事务日志的管理装置包括：

确定模块41，用于确定事务日志所对应的所有事务操作；

去重模块42，用于对确定的事务操作进行去重；

生成模块43，用于根据去重后的事务操作，生成新的事务日志。

在一个实施例中，为了提高事务操作去重的效率，降低事务操作去重的难度，该事务日志的管理装置还包括：分组模块(未示出)，用于在对确定的事务进行去重之前，根据事务操作所对应的操作目标，对事务操作进行分组，生成多个事务操作组；而与此对应的，去重模块42则用于对每个事务操作组中的事务操作进行去重。

此外，在另一个实施例中，去重模块42可以包括确定子模块(未示出)、分析子模块(未示出)和去重子模块(未示出)；其中，确定子模块，用于确定每个事务操作的操作区间；分析子模块，用于对操作区间进行分析，确定操作区间是否存在重复操作区间；去重子模块，用于在确定操作区间存在重复操作区间的情况下，对存在重复操作区间的事务操作进行去重。

另外，在一个实施例中，去重模块42还可以包括排序模块(未示出)，用于在对操作区间进行分析之前，根据预定的排序方式对操作区间进行排序。

其中，该预定的排序方式可以是根据事务操作的操作区间的开始偏移进行排序，也可以是根据事务操作的操作区间的结束偏移进行排序；此外，应当注意的是，在本发明中，对于操作区间进行排序的目的在于方便查找具有相同操作区间的事务操作，从而提高对存在重复操作区间的事务操作进行去重的效率，因此，在本发明中，对于事务操作的操作区间的排序方式并不做限定，其也可以是未列举的其他的可以提高对存在重复操作区间的事务操作进行去重效率的操作区间的排序方式。

综上所述，借助于本发明的上述技术方案，通过对事务中操作的重复操作区间进行去重，实现了对事务日志中冗余数据的聚合，从而使日志设备记录的数据量减少，使得在元数据的一个副本发生故障时，整个文件***可以容忍的副本故障时间变长；并且，由于元数据的故障修复时间与日志规模成正比，使得在同样的应用场景和相同的元数据副本故障时间下，元数据修复需要的时间减少。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种事务日志的管理方法，其特征在于，包括：

确定所述事务日志所对应的所有事务操作；

对确定的所述事务操作进行去重；

根据去重后的事务操作，生成新的事务日志。

2.根据权利要求1所述的管理方法，其特征在于，进一步包括：

在对确定的所述事务操作进行去重之前，根据所述事务操作所对应的操作目标，对所述事务操作进行分组，生成多个事务操作组；

并且，对确定的所述事务操作进行去重包括：

对所述每个事务操作组中的事务操作进行去重。

3.根据权利要求1或2所述的管理方法，其特征在于，对确定的所述事务操作进行去重包括：

确定每个事务操作的操作区间；

对所述操作区间进行分析，确定所述操作区间是否存在重复操作区间；

在确定所述操作区间存在重复操作区间的情况下，对存在重复操作区间的事务操作进行去重。

4.根据权利要求3所述的管理方法，其特征在于，对确定的所述事务操作进行去重还包括：

在对所述操作区间进行分析之前，根据预定的排序方式对所述操作区间进行排序。

5.根据权利要求4所述的管理方法，其特征在于，所述预定的排序方式包括：

根据所述事务操作的操作区间的开始偏移进行排序、或根据所述事务操作的操作区间的结束偏移进行排序。

6.一种事务日志的管理装置，其特征在于，包括：

确定模块，用于确定所述事务日志所对应的所有事务操作；

去重模块，用于对确定的所述事务操作进行去重；

生成模块，用于根据去重后的事务操作，生成新的事务日志。

7.根据权利要求6所述的管理装置，其特征在于，进一步包括：

分组模块，用于在对确定的所述事务进行去重之前，根据所述事务操作所对应的操作目标，对所述事务操作进行分组，生成多个事务操作组；

并且，所述去重模块还用于对所述每个事务操作组中的事务操作进行去重。

8.根据权利要求6或7所述的管理装置，其特征在于，所述去重模块进一步包括确定子模块、分析子模块和去重子模块；其中，

确定子模块，用于确定每个事务操作的操作区间；

分析子模块，用于对所述操作区间进行分析，确定所述操作区间是否存在重复操作区间；

去重子模块，用于在确定所述操作区间存在重复操作区间的情况下，对存在重复操作区间的事务操作进行去重。

9.根据权利要求8所述的管理装置，其特征在于，所述去重模块还包括排序模块，用于在对所述操作区间进行分析之前，根据预定的排序方式对所述操作区间进行排序。

10.根据权利要求9所述的管理装置，其特征在于，所述预定的排序方式包括：

根据所述事务操作的操作区间的开始偏移进行排序、或根据所述事务操作的操作区间的结束偏移进行排序。