CN110515898A - 一种日志处理方法及装置 - Google Patents

Abstract

本发明提供一种日志处理方法及装置，该方法包括：根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的发生日志的时间截，确定满足一定要求的日志索引文件，将满足一定要求且预先存储于索引库的日志索引文件存储至分布式文件***，并通过预设规则对所述日志索引文件索引到的日志文件执行相关的处理操作。在本发明实施例中，将索引库中满足一定要求的日志索引文件迁移至分布式文件***，及对日志索引文件索引到日志文件进行管理。能够提高日志文件的运行效率及索引库的空间利用率。

Description

一种日志处理方法及装置

技术领域

本发明涉信息处理技术领域，尤其涉及一种日志处理方法及装置。

背景技术

随着科学技术的发展，计算机技术的发展也越来越快，为了了解和维护计算机***和应用的运行状况，常通过日志记录计算机***运行状况信息和应用处理数据信息，对记录的日志文件进行索引，并将索引的文件存储于本地空间。

在大数据平台上，计算机***和应用要处理数据的数量比较庞大，日志需要记录的计算机***运行状况信息和应用处理数据信息的数量的随之增加。一方面由于在索引日志文件的过程中没有对数据管理。导致日志的运行效率低。另一方面由于日志的本地空间的容量是有限的，不能够存储全部的数据，易造成数据丢失，从而导致日志的空间利用率低。

因此，如何提高日志的运行效率及空间利用率，是本发明亟待解决的问题。

发明内容

有鉴于此，本发明实施例提供一种日志处理方法及装置，以解决现有技术中日志的运行效率低和及空间利用率较低的问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明第一方面公开了一种日志处理方法，所述方法包括：

根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的发生日志的时间截，将预先存储于索引库的日志索引文件存储至分布式文件***；

根据预设规则对所述日志索引文件索引到的日志文件执行相关的处理操作。

可选的，所述预先在索引库存储日志索引文件的过程，包括：

收集日志，并按照日志类型建立日志文件；

根据日志文件中每一日志的基本信息，建立日志索引文件，其中，所述日志文件中每一日志的基本信息包括记录计算机***运行状况信息或应用处理数据信息的时间截、序号及日志的大小；

将所述日志索引文件存储至索引库。

可选的，所述根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的发生日志的时间截，将预先存储于索引库的日志索引文件存储至分布式文件***包括：

根据所述日志索引文件，获取日志的基本信息，所述日志的基本信息包括记录计算机***运行状况信息或应用处理数据信息的时间截；

遍历每一日志文件，索引与所述日志的基本信息对应的日志文件；

记录索引到所述日志的基本信息对应的日志文件所需的响应时间；

判断所述索引到日志的基本信息对应的日志文件所需的响应时间是否大于等于预设的响应时间；

当所述索引到日志的基本信息对应的日志文件所需的响应时间大于等于预设的响应时间时，根据预先设定所述分布式文件***的存储路径及名称，将所述日志文件对应的日志索引文件迁移至所述分布式文件***。

可选的，所述根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的发生日志的时间截，将预先存储于索引库的日志索引文件存储至分布式文件***包括：

根据所述日志索引文件，获取日志的基本信息，所述日志的基本信息包括记录计算机***运行状况信息或应用处理数据信息的时间截；

遍历每一日志文件，索引与所述日志的基本信息对应的日志文件；

记录索引到所述日志的基本信息对应的日志文件所需的响应时间；

判断所述记录的计算机***运行状况信息或应用处理数据信息的时间截是否小于预设的时间截；

当所述记录的计算机***运行状况信息或应用处理数据信息的时间截小于预设的时间截时，根据预先设定所述分布式文件***的存储路径及名称，将所述日志文件对应的日志索引文件迁移至所述分布式文件***。

可选的，所述根据预设规则对所述日志索引文件索引到的日志文件执行相关的处理操作，包括：

调用对外接口，生成数据参数；

匹配预先设定的数据库中与所述数据参数对应的操作参数；

根据所述操作参数对所述日志索引文件索引到的日志文件执行归档、清除或保存操作。

可选的，所述方法还包括：

当根据所述操作参数对所述日志索引文件索引到的日志文件执行归档或保存操作时，将所述日志文件归档或保存至预先指定存储位置的存储***。

可选的，所述方法还包括：

按照预设的超文本传输安全协议，显示所述日志文件和所述日志索引文件。

本发明第二方面公开了一种日志处理装置，所述装置包括：日志管理单元和日志索引单元；

所述日志索引单元，用于根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的发生日志的时间截，将预先存储于索引库的日志索引文件存储至分布式文件***；

所述日志管理单元，用于根据预设规则对所述日志索引文件索引到的日志文件执行相关的处理操作。

可选的，所述日志管理单元设置有对外接口，所述日志管理单元包括：

生成单元，用于调用对外接口，生成数据参数；

匹配单元，用于匹配预先设定的数据库中与所述数据参数对应的操作参数；

执行单元，用于根据所述操作参数对所述日志索引文件索引到的日志文件执行归档、清除或保存操作。

可选的，所述装置还包括：日志搜索界面单元；

所述日志搜索界面单元，用于按照预设的超文本传输安全协议，显示所述日志文件和所述日志索引文件。

基于上述本发明实施例提供的日志处理方法及装置，该方法包括：根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的发生日志的时间截，确定满足一定要求的日志索引文件，将满足一定要求且预先存储于索引库的日志索引文件存储至分布式文件***，并通过预设规则对所述日志索引文件索引到的日志文件执行相关的处理操作。在本发明实施例中，根据日志索引文件索引日志文件时记录的索引日志文件所需的响应时间，及日志索引文件中记录的发生日志的时间截，从而确定满足条件的日志索引文件，将索引库中满足一定要求的日志索引文件迁移至分布式文件***，并对日志索引文件索引到日志文件进行管理。从而提高日志文件的运行效率及索引库的空间利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种日志处理方法的流程示意图；

图2为本发明实施例提供的另一种日志处理方法的流程示意图；

图3为本发明实施例提供的具体将日志索引文件存储至HDFS的流程示意图；

图4为本发明实施例提供的另一具体将日志索引文件存储至HDFS的流程示意图；

图5为本发明实施提供的具体对日志文件执行相关的处理操作的流程示意图；

图6为本发明实施例提供的一种日志处理装置的结构示意图；

图7为本发明实施例提供的另一种日志处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

由上述背景技术可知，在大数据平台上，计算机***和应用要处理数据的数量比较庞大，日志需要记录的计算机***运行状况信息和应用处理数据信息的数量的随之增加。因此，一方面由于在索引日志文件的过程中没有对数据管理。导致日志的运行效率低。另一方面由于日志的本地空间的容量是有限的，不能够存储全部的数据，易造成数据丢失，从而导致日志的空间利用率低。

因此，本发明实施例提供一种日志处理方法及装置，根据日志索引文件索引日志文件的过程，对日志文件进行管理，且将索引库中满足一定要求的日志索引文件迁移至分布式文件***，从而提高日志文件的运行效率及索引库的空间利用率。

参见图1，为本发明实施例提供的一种日志处理方法的流程示意图，该方法包括以下步骤：

步骤S101：根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的发生日志的时间截，将预先存储于索引库的日志索引文件存储至分布式文件***(Hadoop Distributed File System，HDFS)。

在步骤S101中，所述日志索引文件包括：每一日志的内容、每一日志发生的时间截、每一日志的序号、每一日志序号对应的日志大小及每一日志的类型等用于表征日志文件属性的基本信息，对此可根据实际情况设定，本申请不加以限制。

需要说明的是，所述日志的序号包括排列顺序号和偏移量，所述偏移量是指把日志文件所存储的实际地址与该日志的段地址之间的距离。

在具体实现步骤S101的过程中，根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的计算机***运行状况信息或应用处理数据信息的时间截，来确定所述响应时间和所述时间截是否满足一定的条件，将满足一定条件的，且预先存储于索引库的日志索引文件迁移至HDFS。

需要说明的是，所述预先在索引库存储日志索引文件的过程，包括：

收集日志，并按照日志的类型建立日志文件。

其中，所述日志的类型包括错误类型、异常类型或启动类型等，可根据实际情况设定，本申请不加以限制。

根据日志文件中每一日志的基本信息，建立日志索引文件。

其中，所述日志文件中每一日志的基本信息包括记录计算机***运行状况信息或应用处理数据信息的时间截、序号及日志的大小。

将所述日志索引文件存储至索引库。

需要说明的是，所述索引库为本地数据存储库。

步骤S102：根据预设规则对所述日志索引文件索引到的日志文件执行相关的处理操作。

在具体实现步骤S102的过程中，根据预先规则对所述日志索引文件索引到的日志文件执行清除、保存或归档操作。

需要说明的是，所述日志文件包括日志的类型，计算机***运行状况信息或应用处理数据信息，日志的时间截，日志的偏移量等。

在本发明实施例中，通过日志索引文件索引日志文件所需的响应时间，或者，日志索引文件中记录的发生日志的时间截，确定满足一定要求的日志索引文件，将满足一定要求且预先存储于索引库的日志索引文件存储至分布式文件***，并通过预设规则对所述日志索引文件索引到的日志文件执行相关的处理操作。在本发明实施例中，根据日志索引文件索引日志文件时记录的索引日志文件所需的响应时间，及日志索引文件中记录的发生日志的时间截，从而确定满足条件的日志索引文件，将索引库中满足一定要求的日志索引文件迁移至分布式文件***，并对日志索引文件索引到日志文件进行管理。能够提高日志文件的运行效率及索引库的空间利用率。

基于上述本发明实施例图1示出的日志处理方法，在执行步骤S102根据预设规则对所述日志索引文件索引到的日志文件执行相关的处理操作的具体实现过程之后，结合图1，参考图2，所述日志处理方法还包括：

步骤S103：按照预设的超文本传输安全协议，显示所述日志文件和所述日志索引文件的内容。

在具体实现步骤S103的过程中，按照预设的超文本传输安全协议，将所述日志索引文件和所述日志文件进行加密，在用户需要浏览所述日志文件和所述日志索引文件的内容时，通过按照预设的超文本传输安全协议进行解密，并显示所述日志文件和所述日志索引文件的内容。

需要说明的是，预先设置超文本传输安全协议的过程包括：

根据密钥和证书工具生成密钥keystore文件和密钥truststore文件，在配置文件中引入密钥keystore文件和密钥truststore文件，，从而将用户界面(User Interface，UI)协议设定为超文本传输安全协议。

需要说明的是，密钥keystore文件保存生成的私钥证书，密钥truststore文件保存生成的公钥证书。

在本发明实施例中，通过设定超文本传输安全协议，使得用户可以在浏览器中浏览日志文件及日志索引文件的内容，从而提高日志索引界面的安全性。

基于上述本发明实施例图1示出的日志处理方法，在执行步骤S101根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的发生日志的时间截，将预先存储于索引库的日志索引文件存储至分布式文件***的过程中，如图3所示，包括以下步骤：

步骤S301：根据所述日志索引文件，获取日志的基本信息。

在步骤S301中，所述日志的基本信息至少包括记录计算机***运行状况信息或应用处理数据信息的时间截和序号。

步骤S302：遍历每一日志文件，索引与所述日志的基本信息对应的日志文件。

在具体实现步骤S302的过程中，通过顺序查找法查找每一日志文件，查找与所述日志的基本信息中的序号对应的日志文件。

步骤S303：记录索引到所述日志的基本信息对应的日志文件所需的响应时间。

步骤S304：判断所述索引到日志的基本信息对应的日志文件所需的响应时间是否大于等于预设的响应时间，当所述索引到日志的基本信息对应的日志文件所需的响应时间大于等于预设的响应时间时，执行步骤S305，反之，判断下一所述索引到的日志文件所需的响应时间是否大于等于预设的响应时间。

需要说明的是，所述预设的响应时间是预先多次试验的试验值。

步骤S305：按照预先设定所述分布式文件***的存储路径及名称，将所述日志文件对应的日志索引文件迁移至所述分布式文件***。

为了更好的理解上述图3示出的内容，下面进行举例说明。

假设分布式文件***的路径为计算机D盘，分布式文件***的名称为F，预设的响应时间为8ms。根据所述日志索引文件，获取日志a的序号1,3480，遍历每一日志文件，索引与所述日志的基本信息对应的日志文件A，记录索引到日志a的序号1,3480对应的日志文件A所需的响应时间为10ms，确定索引到日志a的基本信息对应的日志文件A所需的响应时间10ms大于等于预设的响应时间8ms，将该日志文件A对应的日志索引文件迁移至计算机D盘，名称为F的布式文件***中。

本发明实施例中，通过索引到日志的基本信息对应的日志文件所需的响应时间，确定响应时间的长短，将日志文件对应的日志索引文件迁移至所述分布式文件***。能够及时减少本地的数据库空间，从而提升本地空间利用率。

基于上述图3示出的根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的发生日志的时间截，将预先存储于索引库的日志索引文件存储至分布式文件***的过程，如图4所示，还可以通过以下方式将预先存储于索引库的日志索引文件存储至分布式文件***，具体执行过程包括以下步骤：

步骤S401：根据所述日志索引文件，获取日志的基本信息。

在步骤S401中，所述日志的基本信息包括记录计算机***运行状况信息或应用处理数据信息的时间截。

步骤S402：遍历每一日志文件，索引与所述日志的基本信息对应的日志文件。

需要说明的是，除了可以通过日志的基本信息中的序号查找对应的日志文件和日志的基本信息中计算机***运行状况信息或应用处理数据信息的时间截来查找对应的日志文件，还可以通过日志基本信息中其他的数据来查找对应的日志文件，对此本申请不加以限制。

步骤S403：记录索引到所述日志的基本信息对应的日志文件所需的响应时间。

步骤S404：判断所述记录的计算机***运行状况信息或应用处理数据信息的时间截是否小于预设的时间截。若所述记录的计算机***运行状况信息或应用处理数据信息的时间截小于预设的时间截，则执行步骤S405，反之，则判断下一所述索引到的日志文件所需的响应时间是否大于等于预设的响应时间。

在具体实现步骤S404的过程中，通过判断所述记录的计算机***运行状况信息或应用处理数据信息的时间截是否小于预设的时间截，从而确定所述记录的计算机***运行状况信息或应用处理数据信息的日志文件的查询时间，将查询时间小于预设的时间截的日志文件进行迁移。所述预设的时间截可设置为当前时间的前一年，可根据实际情况而定，本申请不加以限制。

步骤S405：按照预先设定所述分布式文件***的存储路径及名称，将所述日志文件对应的日志索引文件迁移至所述分布式文件***。

需要说明的是，所述日志索引文件中包括多个分布在不同节点的日志文件数据的索引分片。

需要说明的是，除了上述图3示出的确定日志索引文件索引日志文件所需的响应时间是否满足一定条件的方式，和上述图4示出的确定日志索引文件中记录的发生日志的时间截是否满足一定条件的方式去对预先存储于索引库的日志索引文件进行迁移外，还可以根据日志文件的类型，确定日志文件是否为告警类型的日志文件，从而确定不是告警类型的日志文件对应的日志索引文件，将预先存储于索引库的所述日志索引文件进行迁移。

进一步，需要说明的是，所述告警日志文件为实时监控的日志文件。

为了更好的理解上述图4示出的内容，下面进行举例说明。

假设分布式文件***的路径为计算机D盘，分布式文件***的名称为F，日志文件A中记录的数据库应用处理启动数据信息的时间截为2013年7月1日10时20分36秒；假设预设的时间截为2014年1月1日0时；确定日志文件A中记录的数据库应用处理启动数据信息的时间截2013年7月1日10时20分36秒小于预设的时间截2014年1月1日0，将该日志文件A对应的日志索引文件迁移至计算机D盘，名称为F的布式文件***中。

本发明实施例中，通过日志记录的计算机***运行状况信息或应用处理数据信息的时间截，从而确定时间截的大小，将日志文件对应的日志索引文件迁移至所述分布式文件***。能够及时减少本地的空间，从而提升本地空间利用率。

基于上述本发明实施例图1示出的日志处理方法，在执行步骤102根据预设规则对所述日志索引文件索引到的日志文件执行相关的处理操作，包括以下步骤：

步骤S501：调用对外接口，生成数据参数。

需要说明的是，所述数据参数包括：数据操作模式、数据源地址、过滤字段、读写操作及大小等，对此可根据实际情况而定，本申请不加以限制。

步骤S502：匹配预先设定的数据库中与所述数据参数对应的操作参数。

在具体实现步骤S502的过程中，预先在数据库设定与数据参数对应的操作参数，比如数据参数为数据操作模式made，对应的操作参数为delete，所述操作参数delete用于表征对日志文件进行删除操作。

步骤S503：根据所述操作参数对所述日志索引文件索引到的日志文件执行归档、清除或保存操作。

在具体实现步骤S503的过程中，若所述操作参数用于表征对日志文件进行清除操作，则将日志文件从本地存储***中清除。

需要说明的是，所述日志文件存储于本地存储***、HDFS等，可根据实际情况而定，本申请不加以限制。

比如，假设调用对外接口，生成数据参数数据操作模式mode，匹配预先设定的数据库中与所述数据参数对应的操作参数archive，所述操作参数archive用于表征对日志文件进行归档操作。

在本方明实施例中，通过确定数据参数对应的操作参数，并对日志文件执行操作参数对应的操作，能够实现对日志文件的管理，从而提高日志文件的运行效率及索引库的空间利用率。

基于上述本发明实施例图4所示的日志处理方法，在执行图5示出的步骤S503根据所述操作参数对所述日志索引文件索引到的日志文件执行归档、清除或保存操作之后，还包括：

当根据所述操作参数对所述日志索引文件索引到的日志文件执行归档或保存操作时，将所述日志文件归档或保存至预先指定存储位置的存储***。

实施中，确定所述操作参数所表征的操作，当所表征的操作为归档操作或保存操作时，将所述日志文件归档或保存至预先指定存储位置的存储***。比如：假设确定所述操作参数所表征的操作为保存操作，指定存储位置为计算机D盘，存储***为分布式文件***A，将所述日志文件保存至计算机D盘的分布式文件***中。

需要说明的是，所述存储***包括本地数据库和HDFS等支持多种文件存储的***，可根据实际情况设定，本申请不加以限制。

在本发明实施例中，确定所述操作参数所表征的操作为归档操作或保存操作时，将日志文件归档或保存至预先指定存储位置的存储***，能够明确日志文件的位置，使得更好的对日志文件进行管理。

与上述本发明实施例公开的日志处理方法相对应，本发明实施例还对应公开了一种日志处理装置，如图6所示，所述日志处理装置包括：日志管理单元601和日志索引单元602。

所述日志索引单元601，用于根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的发生日志的时间截，将预先存储于索引库的日志索引文件存储至分布式文件***；

所述日志管理单元602，用于根据预设规则对所述日志索引文件索引到的日志文件执行相关的处理操作。

需要说明的是，上述本发明实施例公开的日志处理装置中的各个单元具体的原理和执行过程，与上述本发明实施日志处理方法相同，可参见上述本发明实施例公开的日志处理方法中相应的部分，这里不再进行赘述。

在本发明实施例中，通过日志索引单元，根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的发生日志的时间截，确定满足一定要求的日志索引文件，将满足一定要求且预先存储于索引库的日志索引文件存储至分布式文件***，并通过日志管理单元，按照预设规则对所述日志索引文件索引到的日志文件执行相关的处理操作。在本发明实施例中，根据日志索引文件索引日志文件时记录的索引日志文件所需的响应时间，及日志索引文件中记录的发生日志的时间截，从而确定满足条件的日志索引文件，将索引库中满足一定要求的日志索引文件迁移至分布式文件***，并对日志索引文件索引到日志文件进行管理。从而提高日志文件的运行效率及索引库的空间利用率。

基于上述图6示出的日志处理装置，结合图6，参考图7，示出了本发明实施例提供的一种日志处理装置的结构框图，所述装置还包括：日志搜索界面单元603。

所述日志搜索UI单元603，用于按照预设的超文本传输安全协议，显示所述日志文件和所述日志索引文件。

本发明实施例中，通过日志索引UI单元引入超文本传输安全协议可以在浏览器浏览日志文件及日志索引文件的内容，从而提高日志索引UI的安全性。

基于上述图6示出的日志处理装置，所述日志管理单元601设置有对外接口，所述日志管理单元601包括：

生成单元，用于调用对外接口，生成数据参数。

匹配单元，用于匹配预先设定的数据库中与所述数据参数对应的操作参数。

执行单元，用于根据所述操作参数对所述日志索引文件索引到的日志文件执行归档、清除或保存操作。

在本发明实施例中，通过日志管理单元对日志文件执行操作参数对应的操作，能够实现对日志文件的管理，从而提高日志文件的运行效率及索引库的空间利用率。

进一步的，基于上述图6示出的日志处理装置，所述日志管理单元601还包括存储单元，所述存储单元设置在执行单元上。

所述存储单元，用于当根据所述操作参数对所述日志索引文件索引到的日志文件执行归档或保存操作时，将所述日志文件归档或保存至预先指定存储位置的存储***。

本发明实施例中，通过存储单元将日志文件归档或保存至预先指定存储位置的存储***，能够明确日志文件的位置，使得日志管理单元能够更好的对日志文件进行管理。

基于上述图6示出的日志处理装置，所述日志索引单元包括：

第一获取单元，用于根据所述日志索引文件，获取日志的基本信息，所述日志的基本信息包括记录计算机***运行状况信息或应用处理数据信息的时间截。

第一索引单元，用于遍历每一日志文件，索引与所述日志的基本信息对应的日志文件。

第一记录单元，用于记录索引到所述日志的基本信息对应的日志文件所需的响应时间。

第一判断单元，用于判断所述索引到日志的基本信息对应的日志文件所需的响应时间是否大于等于预设的响应时间。

第一迁移单元，用于当索引到日志的基本信息对应的日志文件所需的响应时间大于等于预设的响应时间时，按照预先设定所述分布式文件***的存储路径及名称，将所述日志文件对应的日志索引文件迁移至所述分布式文件***。

在本发明实施例中，通过记录单元记录的索引到日志的基本信息对应的日志文件所需的响应时间，从而确定响应时间的长短，将日志文件对应的日志索引文件迁移至所述分布式文件***。能够及时减少本地的空间，从而提升本地空间利用率。

基于上述图6示出的日志处理装置，所述日志索引单元还包括：

第二获取单元，用于根据所述日志索引文件，获取日志的基本信息，所述日志的基本信息包括记录计算机***运行状况信息或应用处理数据信息的时间截。

第二索引单元，用于遍历每一日志文件，索引与所述日志的基本信息对应的日志文件。

第二记录单元，用于记录索引到所述日志的基本信息对应的日志文件所需的响应时间。

第二判断单元，用于判断所述记录的计算机***运行状况信息或应用处理数据信息的时间截是否小于预设的时间截。

第二迁移单元，用于当所述记录的计算机***运行状况信息或应用处理数据信息的时间截小于预设的时间截时，按照预先设定所述分布式文件***的存储路径及名称，将所述日志文件对应的日志索引文件迁移至所述分布式文件***。

在本发明实施例中，通过第二获取单元获取的日志的基本信息中的计算机***运行状况信息或应用处理数据信息的时间截，从而确定时间截的大小，将日志文件对应的日志索引文件迁移至所述分布式文件***。能够及时减少本地的空间，从而提升本地空间利用率。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的***及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种日志处理方法，其特征在于，所述方法包括：

根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的发生日志的时间截，将预先存储于索引库的日志索引文件存储至分布式文件***；

根据预设规则对所述日志索引文件索引到的日志文件执行相关的处理操作。

2.根据权利要求1所述的方法，其特征在于，所述预先在索引库存储日志索引文件的过程，包括：

收集日志，并按照日志类型建立日志文件；

根据日志文件中每一日志的基本信息，建立日志索引文件，其中，所述日志文件中每一日志的基本信息包括记录计算机***运行状况信息或应用处理数据信息的时间截、序号及日志的大小；

将所述日志索引文件存储至索引库。

3.根据权利要求1所述的方法，其特征在于，所述根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的发生日志的时间截，将预先存储于索引库的日志索引文件存储至分布式文件***包括：

根据所述日志索引文件，获取日志的基本信息，所述日志的基本信息包括记录计算机***运行状况信息或应用处理数据信息的时间截；

遍历每一日志文件，索引与所述日志的基本信息对应的日志文件；

记录索引到所述日志的基本信息对应的日志文件所需的响应时间；

判断所述索引到日志的基本信息对应的日志文件所需的响应时间是否大于等于预设的响应时间；

当所述索引到日志的基本信息对应的日志文件所需的响应时间大于等于预设的响应时间时，根据预先设定所述分布式文件***的存储路径及名称，将所述日志文件对应的日志索引文件迁移至所述分布式文件***。

4.根据权利要求1所述的方法，其特征在于，所述根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的发生日志的时间截，将预先存储于索引库的日志索引文件存储至分布式文件***包括：

根据所述日志索引文件，获取日志的基本信息，所述日志的基本信息包括记录计算机***运行状况信息或应用处理数据信息的时间截；

遍历每一日志文件，索引与所述日志的基本信息对应的日志文件；

记录索引到所述日志的基本信息对应的日志文件所需的响应时间；

判断所述记录的计算机***运行状况信息或应用处理数据信息的时间截是否小于预设的时间截；

当所述记录的计算机***运行状况信息或应用处理数据信息的时间截小于预设的时间截时，根据预先设定所述分布式文件***的存储路径及名称，将所述日志文件对应的日志索引文件迁移至所述分布式文件***。

5.根据权利要求1所述的方法，其特征在于，所述根据预设规则对所述日志索引文件索引到的日志文件执行相关的处理操作，包括：

调用对外接口，生成数据参数；

匹配预先设定的数据库中与所述数据参数对应的操作参数；

根据所述操作参数对所述日志索引文件索引到的日志文件执行归档、清除或保存操作。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当根据所述操作参数对所述日志索引文件索引到的日志文件执行归档或保存操作时，将所述日志文件归档或保存至预先指定存储位置的存储***。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

按照预设的超文本传输安全协议，显示所述日志文件和所述日志索引文件。

8.一种日志处理装置，其特征在于，所述装置包括：日志管理单元和日志索引单元；

所述日志索引单元，用于根据日志索引文件索引日志文件所需的响应时间，或者，根据日志索引文件中记录的发生日志的时间截，将预先存储于索引库的日志索引文件存储至分布式文件***；

所述日志管理单元，用于根据预设规则对所述日志索引文件索引到的日志文件执行相关的处理操作。

9.根据权利要求1所述的装置，其特征在于，所述日志管理单元设置有对外接口，所述日志管理单元包括：

生成单元，用于调用对外接口，生成数据参数；

匹配单元，用于匹配预先设定的数据库中与所述数据参数对应的操作参数；

执行单元，用于根据所述操作参数对所述日志索引文件索引到的日志文件执行归档、清除或保存操作。

10.根据权利要求1所述的装置，其特征在于，所述装置还包括：日志搜索界面单元；

所述日志搜索界面单元，用于按照预设的超文本传输安全协议，显示所述日志文件和所述日志索引文件。