CN105677258A - 一种日志数据管理方法及*** - Google Patents

Abstract

本发明涉及日志数据处理技术领域，具体涉及了一种日志数据管理方法及***，该方法包括：当检测到针对目标数据文件的变更操作时，将变更操作的日志数据缓存至预设的内存空间；判断内存空间中缓存数据的数据量是否达到预设的转存阈值；当判定数据量达到转存阈值时，将当前内存空间中的缓存数据写入硬盘。这样，由于相较硬盘而言内存具有较高的读写速度，即使频繁发起变更操作，也能保证较高的日志数据写入速度(即日志数据存入内存空间的速度)，同时也避免了频繁访问硬盘影响***性能的情况。可见，本发明有效解决了现有技术中当频繁发起变更操作时，频繁访问硬盘降低日志数据写入速度的问题。

Description

一种日志数据管理方法及***

技术领域

本发明涉及日志数据处理技术领域，特别是涉及一种日志数据管理方法及***。

背景技术

众所周知，日志文件是用于记录***操作事件的记录文件或文件集合，操作***有操作***日志文件，文件***有文件***日志文件，等等。不同的日志文件记载不同的信息。例如，事务日志文件是数据库结构中非常重要却又常被忽视的部分。它是用来记录数据库更新情况的文件，它可以记录针对数据库的任何操作，并将记录的结果保存到独立的文件中。对于每一次数据库更新的过程，事务日志文件都有非常全面的记录。根据这些记录可以恢复数据库更新前的状态。

在现有的日志数据管理方法中，当针对目标数据文件发起变更操作时，在将变更数据写入目标数据文件之前，会将这次变更操作的日志数据直接写入硬盘中的日志文件，以便需要时从日志文件中读出日志数据来恢复数据文件，进而保证数据文件的一致性。然而，当频繁发起变更操作时，需要频繁地访问硬盘来将相应的日志数据写入其中，而硬盘的读写速度低，这会影响日志数据的写入速度同时频繁地访问硬盘也会影响整个***的性能，这是用户不想看到的。

发明内容

有鉴于此，本发明提供了一种日志数据管理方法及***，以解决现有技术中当频繁发起变更操作时，频繁访问硬盘降低日志数据写入速度的问题。

为解决上述技术问题，本发明提供一种日志数据管理方法，该方法包括：

当检测到针对目标数据文件的变更操作时，将所述变更操作的日志数据缓存至预设的内存空间；

判断所述内存空间中缓存数据的数据量是否达到预设的转存阈值；

当判定所述数据量达到所述转存阈值时，将当前所述内存空间中的所述缓存数据写入硬盘。

上述方法中，优选地，在所述将所述变更操作的日志数据缓存至预设的内存空间时，还包括：

启动定时器，并开始计时；

在所述判断所述内存空间中缓存数据的数据量是否达到预设的转存阈值之后，还包括：

当判定所述数据量未达到所述转存阈值且计时达到预设时间阈值时，将当前所述内存空间中的所述缓存数据写入所述硬盘。

上述方法中，优选地，所述内存空间为非易失性内存空间，该方法还包括：

当所述非易失性内存空间出现掉电情况并重启时，利用所述非易失性内存空间中的缓存数据恢复所述目标数据文件中相应的数据。

上述方法中，优选地，在所述将所述变更操作的日志数据缓存至预设的内存空间之前，还包括：

创建所述非易失性内存空间，并确定所述非易失性内存空间的内存地址；

所述将所述变更操作的日志数据缓存至预设的内存空间，包括：

根据所述内存地址，查找并定位所述非易失性内存空间；

将所述日志数据缓存至定位到的所述非易失性内存空间。

本发明还提供了一种日志数据管理***，该***包括：

缓存单元，用于当检测到针对目标数据文件的变更操作时，将所述变更操作的日志数据缓存至预设的内存空间；

判断单元，用于判断所述内存空间中缓存数据的数据量是否达到预设的转存阈值；

写入单元，用于当判定所述数据量达到所述转存阈值时，将当前所述内存空间中的所述缓存数据写入硬盘。

上述***中，优选地，还包括：

计时单元，用于在所述将所述变更操作的日志数据缓存至预设的内存空间时，启动定时器，并开始计时；

所述写入单元还用于在所述判断所述内存空间中缓存数据的数据量是否达到预设的转存阈值之后，当判定所述数据量未达到所述转存阈值且计时达到预设时间阈值时，将当前所述内存空间中的所述缓存数据写入所述硬盘。

上述***中，优选地，所述内存空间为非易失性内存空间，该***还包括：

恢复单元，用于当所述非易失性内存空间出现掉电情况并重启时，利用所述非易失性内存空间中的缓存数据恢复所述目标数据文件中相应的数据。

上述***中，优选地，还包括：

创建单元，用于在所述将所述变更操作的日志数据缓存至预设的内存空间之前，创建所述非易失性内存空间，并确定所述非易失性内存空间的内存地址；

所述缓存单元用于将所述变更操作的日志数据缓存至预设的内存空间，具体用于：根据所述内存地址，查找并定位所述非易失性内存空间；将所述日志数据缓存至定位到的所述非易失性内存空间。

以上本发明提供的一种日志数据管理方法及***中，引入用来缓存日志数据的内存空间，具体地，当检测到针对目标数据文件的变更操作时，先将所述变更操作的日志数据缓存至预设的内存空间；然后实时判断所述内存空间中缓存数据的数据量是否达到预设的转存阈值；当判定所述数据量达到所述转存阈值时，将当前所述内存空间中的所述缓存数据统一成批写入硬盘。这样，由于相较硬盘而言内存具有较高的读写速度，即使频繁发起变更操作，也能保证较高的日志数据写入速度(即日志数据存入内存空间的速度)，同时也避免了频繁访问硬盘影响***性能的情况。可见，本发明有效解决了现有技术中当频繁发起变更操作时，频繁访问硬盘降低日志数据写入速度的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种日志数据管理方法的流程图；

图2为本发明实施例提供的一种日志数据管理***的结构框图示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的核心是提供一种日志数据管理方法及***，以解决现有技术中当频繁发起变更操作时，频繁访问硬盘降低日志数据写入速度的问题。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

参考图1，图1示出了本发明实施例提供的一种日志数据管理方法的流程图，该方法具体可以包括如下步骤：

步骤S100、当检测到针对目标数据文件的变更操作时，将变更操作的日志数据缓存至预设的内存空间。

本发明实施例方法的执行主体为日志数据管理***，主要针对那些需要进行日志记录的应用***，比如操作***、文件***等等。对于目标数据文件，泛指那些在应用***中接受变更操作的对象；变更操作可以视情况为常见的删除、增加或者替换修改等等，变更操作的日志数据主要指对于该变更操作需要记录进日志文件中的数据。

相较现有技术中的直接将日志数据写入硬盘，本发明引入用于缓存日志数据的内存，在内存中有用于缓存日志数据的内存空间。在具体实施过程中，可以配置一个专门的内存，这个内存中的所有内存空间皆用于缓存日志数据；当然，也可以配置一个与其它数据缓存公用的内存。从提高资源利用率和节省成本的角度考虑，优选后者。

相较硬盘而言，内存具有较高的读写速度，即使频繁发起变更操作，也能保证较高的日志数据写入速度，同时也避免了频繁访问硬盘影响***性能的情况。

进一步地，本发明中的内存空间优选地采用非易失性内存空间，其中，就目前而言，非易失性内存(NonvolatileRAM，NVRAM)常被人们用来存储路由器的启动配置文件。其在路由器断电时，其内容仍能保持，并且非易失内存速度远远大于硬盘。在具体实施过程中，当出现比如掉电、宕机等不可抗拒的情况时，由于非易失性内存仍能保留其中的数据，因此，当非易失性内存空间出现掉电情况并重启时，可以利用非易失性内存空间中的缓存数据恢复目标数据文件中相应的数据。

本发明中，非易失性内存掉电后，变更操作可能会被中断，随之可能会导致写入目标数据文件中的变更数据不完整，由于非易失性内存空间中的缓存数据其实就是变更操作的日志数据，具体的日志数据能够协助恢复目标数据文件中与上述变更操作相对应的数据，比如视情况可以是完全恢复到执行该变更操作之前的状态，或者是能够将完整的变更数据写入目标数据文件等。这样能够保证目标数据文件的数据一致性和可靠性。关于更多的恢复部分的内容可以参考现有实际，本发明在此不做过多阐述。

实际上，目前，非易失内存已经开始慢慢的走出实验室，即将可能走向工业级别的应用。将来非易失内存会比传统内存更加便宜，还会比传统内存容量大得多并且会按照访问内存方式出现在将来的计算机中。但是，目前的操作***访问内存都是以DDRAM动态内存形式存在的，没有考虑到会有非易失性内存应该如何更好的去管理。本发明正好也弥补了这一缺陷。

另外，在将变更操作的日志数据缓存至非易失性内存空间之前，还需要先创建非易失性内存空间，并确定非易失性内存空间的内存地址。然后就可以根据内存地址，查找并定位非易失性内存空间；将日志数据缓存至定位到的非易失性内存空间。

在实际应用中，可以将非易失性内存作为一个单独的ZONE去管理，在***运行的过程中保留一定的非易失内存，在linux***可以用BOIS传递的地址，根据地址来预留一定大小的空间。然后做一个块设备的驱动来管理这个日志设备(或者修改内核的alloc_pages这样的函数分配)。这段内存不归操作***管理，是由驱动的来管理这段内存。然后，通过格式化工具(比如，mke2fs等)来格式化这个日志的设备。最后，改小***中***提交事务的定时器，因为此前日志数据是直接存在硬盘上，由于I/O延迟比较厉害，这个值不能太小。在非易失性内存上可以变小些(因为非易失内存速度远远大于硬盘)。这样***在发生宕机等情况时，日志数据可以更小粒度地恢复受损的目标数据文件。

步骤S101、判断内存空间中缓存数据的数据量是否达到预设的转存阈值，如果是，则进入步骤S103，否则，进入步骤S102。

步骤S102、判断计时器的计时是否达到预设时间阈值，如果是，则进入步骤S103，否则，返回步骤S101执行判断内存空间中缓存数据的数据量是否达到预设的转存阈值。

步骤S103、将当前内存空间中的缓存数据写入硬盘。

具体地，转存阈值可视情况设置为内存空间的1/2或者3/4等，当内存空间中缓存数据的数据量达到转存阈值时，将当下的所有缓存数据一次性写入硬盘，这样，即使频繁发起变更操作，一方面，由于内存支持的读写速度较高，在同样的时间段内，相较硬盘，其能被存入更多的日志数据，以此保证了较高的日志数据写入速度(即日志数据存入内存空间的速度)；另一方面，缓存在内存空间的日志数据(及缓存数据)是一批一批写入硬盘的，对于同样多的变更操作(对应同样多的日志数据)，本发明能够较少地访问硬盘，进而显著提升***性能。

当判定缓存数据的数据量达到转存阈值时，将当前内存空间中的缓存数据写入硬盘；实际上，对于缓存数据的数据量未达到转存阈值时继续进行判断操作主要是针对频繁发起变更操作的时候，在很少发起变更操作的情况下，继续执行判断操作会显得有些无效了，为了解决这个缺陷，本发明在步骤S100将变更操作的日志数据缓存至预设的内存空间时，启动定时器，并开始计时；当判定数据量未达到转存阈值且计时达到预设时间阈值时，将当前内存空间中的缓存数据写入硬盘。这样，在变更操作比较少的时候，即使缓存的日志数据的数据量还未达到转存阈值，到了某个时间阈值时，可及时将缓存的日志数据写入硬盘。

可以理解的是，当判定数据量未达到转存阈值且计时也未达到预设时间阈值时，返回步骤S101判断内存空间中缓存数据的数据量是否达到预设的转存阈值。

综上，本发明引入用来缓存日志数据的内存空间，相较硬盘而言内存具有较高的读写速度，即使频繁发起变更操作，也能保证较高的日志数据写入速度(即日志数据存入内存空间的速度)，同时也避免了频繁访问硬盘影响***性能的情况。可见，本发明有效解决了现有技术中当频繁发起变更操作时，频繁访问硬盘降低日志数据写入速度的问题。

基于上述本发明实施例提供的日志数据管理方法，本发明实施例还提供了一种日志数据管理***，参考图2，该***200可以包括如下内容：

缓存单元201，用于当检测到针对目标数据文件的变更操作时，将变更操作的日志数据缓存至预设的内存空间；

判断单元202，用于判断内存空间中缓存数据的数据量是否达到预设的转存阈值；

写入单元203，用于当判定数据量达到转存阈值时，将当前内存空间中的缓存数据写入硬盘。

本发明中，上述***200具体还包括计时单元，用于在将变更操作的日志数据缓存至预设的内存空间之后，启动定时器，并开始计时；

基于此，写入单元203具体还可以用于在判断内存空间中缓存数据的数据量是否达到预设的转存阈值之后，当判定数据量未达到转存阈值且计时达到预设时间阈值时，将当前内存空间中的缓存数据写入硬盘。

本发明中，内存空间为非易失性内存空间，该***200具体还可以包括：恢复单元，用于当非易失性内存空间出现掉电情况并重启时，利用非易失性内存空间中的缓存数据恢复目标数据文件中相应的数据。

本发明中，上述***200具体还包括创建单元，用于在将变更操作的日志数据缓存至预设的内存空间之前，创建非易失性内存空间，并确定非易失性内存空间的内存地址；

基于此，缓存单元201具体还可以用于将变更操作的日志数据缓存至预设的内存空间，具体用于：根据内存地址，查找并定位非易失性内存空间；将日志数据缓存至定位到的非易失性内存空间。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于***类实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种日志数据管理方法及***进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种日志数据管理方法，其特征在于，该方法包括：

当检测到针对目标数据文件的变更操作时，将所述变更操作的日志数据缓存至预设的内存空间；

判断所述内存空间中缓存数据的数据量是否达到预设的转存阈值；

当判定所述数据量达到所述转存阈值时，将当前所述内存空间中的所述缓存数据写入硬盘。

2.如权利要求1所述的方法，其特征在于，在所述将所述变更操作的日志数据缓存至预设的内存空间时，还包括：

启动定时器，并开始计时；

在所述判断所述内存空间中缓存数据的数据量是否达到预设的转存阈值之后，还包括：

当判定所述数据量未达到所述转存阈值且计时达到预设时间阈值时，将当前所述内存空间中的所述缓存数据写入所述硬盘。

3.如权利要求1或2所述的方法，其特征在于，所述内存空间为非易失性内存空间，该方法还包括：

当所述非易失性内存空间出现掉电情况并重启时，利用所述非易失性内存空间中的缓存数据恢复所述目标数据文件中相应的数据。

4.如权利要求3所述的方法，其特征在于，在所述将所述变更操作的日志数据缓存至预设的内存空间之前，还包括：

创建所述非易失性内存空间，并确定所述非易失性内存空间的内存地址；

所述将所述变更操作的日志数据缓存至预设的内存空间，包括：

根据所述内存地址，查找并定位所述非易失性内存空间；

将所述日志数据缓存至定位到的所述非易失性内存空间。

5.一种日志数据管理***，其特征在于，该***包括：

缓存单元，用于当检测到针对目标数据文件的变更操作时，将所述变更操作的日志数据缓存至预设的内存空间；

判断单元，用于判断所述内存空间中缓存数据的数据量是否达到预设的转存阈值；

写入单元，用于当判定所述数据量达到所述转存阈值时，将当前所述内存空间中的所述缓存数据写入硬盘。

6.如权利要求5所述的***，其特征在于，还包括：

计时单元，用于在所述将所述变更操作的日志数据缓存至预设的内存空间时，启动定时器，并开始计时；

所述写入单元还用于在所述判断所述内存空间中缓存数据的数据量是否达到预设的转存阈值之后，当判定所述数据量未达到所述转存阈值且计时达到预设时间阈值时，将当前所述内存空间中的所述缓存数据写入所述硬盘。

7.如权利要求5或6所述的***，其特征在于，所述内存空间为非易失性内存空间，该***还包括：

恢复单元，用于当所述非易失性内存空间出现掉电情况并重启时，利用所述非易失性内存空间中的缓存数据恢复所述目标数据文件中相应的数据。

8.如权利要求7所述的***，其特征在于，还包括：

创建单元，用于在所述将所述变更操作的日志数据缓存至预设的内存空间之前，创建所述非易失性内存空间，并确定所述非易失性内存空间的内存地址；

所述缓存单元用于将所述变更操作的日志数据缓存至预设的内存空间，具体用于：根据所述内存地址，查找并定位所述非易失性内存空间；将所述日志数据缓存至定位到的所述非易失性内存空间。