CN117829126A - 一种日志解析方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种日志解析方法、装置、设备及存储介质，能够应用于信息通信技术等领域。日志解析方法包括：获取日志压缩包的解析信息，所述解析信息指示了待解析日志文件的位置信息或名称信息；基于解析信息确定，所述待解析日志文件在所述日志压缩包中的文件路径；基于所述文件路径在所述日志压缩包中提取所述待解析日志文件；将提取出的所述待解析日志文件进行解析处理。利用日志文件的文件路径在日志压缩包中找到需要进行解析的日志文件，在日志压缩包中将该需要进行解析的日志文件进行解压缩提取，而无需对压缩包全部进行解压，省略大量无效文件的解压动作，能够有效提升日志解析效率，从而降低服务器存储资源以及计算资源的消耗量。

Description

一种日志解析方法、装置、设备及存储介质

技术领域

本发明涉及信息通信技术领域，特别是涉及一种日志解析方法、装置、设备及存储介质。

背景技术

目前，在信息通信技术领域，设备软硬件的日志内容分析是日常运维过程中必不可少的步骤。设备的问题定位、故障定界以及设备运行状态的获取，都离不开对设备所产生的大量日志内容的分析。并且随着维护设备的数量越来越多以及设备运行时长的累加，这些设备所产生的日志也会越来越大。

在对设备所产生的日志内容进行分析的过程中，由于日志往往是以压缩包形式存在的，大量日志内容存在于一个压缩包中，所以如果需要针对某一日志内容进行解析，需要对压缩包整体进行解压缩，在解压缩后的大量日志文件中查找需要进行解析的日志内容。然而随着设备所产生的日志数量的增加，解压缩所需要的时间也会越来越多，日志解析对服务器存储资源以及计算资源的消耗量增加，日志解析的效率较低。

因此，如何提升日志解析的效率，减轻日志解析时服务器存储资源以及计算资源的消耗量，成为本领域亟需解决的技术问题。

发明内容

基于上述问题，本申请实施例提供了一种日志解析方法、装置、设备及存储介质，目的是减轻日志解析对服务器存储资源以及计算资源的消耗量，提升日志解析的效率。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供了一种日志解析方法，所述方法包括：

获取日志压缩包的解析信息，所述解析信息指示了待解析日志文件的位置信息或名称信息；

基于所述解析信息确定，所述待解析日志文件在所述日志压缩包中的文件路径；

基于所述文件路径在所述日志压缩包中提取所述待解析日志文件；

将提取出的所述待解析日志文件进行解析处理。

利用日志文件的文件路径在日志压缩包中找到需要进行解析的日志文件，在日志压缩包中将该需要进行解析的日志文件进行解压缩提取，而无需对压缩包全部进行解压，省略大量无效文件的解压动作，能够有效提升日志解析效率，从而降低服务器存储资源以及计算资源的消耗量。

可选的，所述基于所述解析信息确定，所述待解析日志文件在所述日志压缩包中的文件路径，包括：

当所述解析信息指示了待解析日志文件的位置信息，确定所述位置信息在所述日志压缩包中指示的所述待解析日志文件的文件路径。

基于位置信息确定其所指示的待解析日志文件在日志压缩包中的文件路径，能够直接得到待解析日志文件的具***置，从而便于后续步骤中对待解析日志文件进行提取。

可选的，所述基于所述位置信息在所述日志压缩包中提取所述待解析日志文件，包括：

当所述解析信息指示了待解析日志文件的名称信息，查询在所述日志压缩包中的与所述名称信息对应的所述待解析日志文件；

确定所述待解析日志文件在所述日志压缩包中的文件路径。

通过待解析日志文件的名称信息，在没有待解析日志文件的位置信息的情况下，能够在日志压缩包中确定出待解析日志文件在日志压缩包中的文件路径，从而能够在后续步骤中对待解析日志文件进行提取。

可选的，所述名称信息包括普通字符和特殊字符，所述普通字符用于指示部分或者全部的文件名称；所述特殊字符用于指示未知内容，用于支持模糊查询。

在名称信息为完整的待解析日志文件名称时，可以仅包含有普通字符，从而根据普通字符指示的全部的文件名称确定出待解析日志文件在日志压缩包中的文件路径；而在名称信息为部分文件名称时，既包含有普通字符又包含有特殊字符，利用特殊字符指示部分文件名称中的未知内容，进行模糊查询，同样能够确定出待解析日志文件在日志压缩包中的文件路径。

可选的，所述查询在所述日志压缩包中的与所述名称信息对应的所述待解析日志文件，包括：

获取日志压缩包的目录信息；

基于所述名称信息在所述目录信息中查询与所述名称信息对应的所述待解析日志文件。

通过获取日志压缩包的目录信息能够得到日志压缩包中所包含的全部文件名称，从而能够基于名称信息在目录信息中找到相应名称所对应的待解析日志文件。

可选的，所述基于所述文件路径在所述日志压缩包中提取所述待解析日志文件，包括：

根据所述文件路径在所述日志压缩包中查找所述待解析日志文件；

在查询到所述待解析日志文件时，将所述待解析日志文件中的内容以byte数组的格式在内存中进行业务计算。

将待解析日志文件中的内容以byte数组的格式直接在内存中进行业务计算，可以直接将待解析日志文件的内容在内存中解析出来，能够直接得到解析结果，从而能够更为高效地解析日志。

可选的，所述方法还包括：

将解析后的日志文件进行结构化处理；

将结构化处理后的日志文件存入相应数据库。

对解析后的日志文件进行结构化处理，能够节约存储资源，而存储至相应的数据库中，则是可以在后续还需要使用该日志文件时，快速得到该日志文件。

第二方面，本申请实施例提供了一种日志解析装置，所述装置包括：

解析信息获取模块，用于获取日志压缩包的解析信息，所述解析信息指示了待解析日志文件的位置信息或名称信息；

文件路径确定模块，用于基于所述解析信息确定，所述待解析日志文件在所述日志压缩包中的文件路径；

日志文件获取模块，用于基于所述文件路径在所述日志压缩包中提取所述待解析日志文件；

日志文件解析模块，用于将提取出的所述待解析日志文件进行解析处理。

第三方面，本申请实施例提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述日志解析方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述日志解析方法的步骤。

相较于现有技术，本申请实施例具有以下有益效果：

本申请实施例提供的一种日志解析方法，包括：获取日志压缩包的解析信息，所述解析信息指示了待解析日志文件的位置信息或名称信息；基于所述解析信息确定，所述待解析日志文件在所述日志压缩包中的文件路径；基于所述文件路径在所述日志压缩包中提取所述待解析日志文件；将提取出的所述待解析日志文件进行解析处理。利用日志文件的文件路径直接在日志压缩包中找到需要进行解析的日志文件，在日志压缩包中仅将该需要进行解析的日志文件进行解压缩提取，而无需对压缩包全部进行解压，节省大量对非必要解析的文件的解压动作，能够有效提升日志解析效率，从而降低服务器存储资源以及计算资源的消耗量。

本申请实施例提供的一种日志解析装置、一种电子设备和一种计算机可读存储介质由于能够实现上述日志解析方法的步骤，从而同样具备上述有益效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种日志解析方法的应用环境示意图；

图2为本申请实施例提供的一种日志解析方法流程示意图；

图3为本申请实施例提供的又一种日志解析方法流程示意图；

图4为本申请实施例提供的另一种日志解析方法流程示意图；

图5为本申请实施例提供的再一种日志解析方法流程示意图；

图6为本申请实施例提供的又一种日志解析方法流程示意图；

图7A为本申请实施例提供的一种日志解析装置结构示意图；

图7B为本申请实施例提供的另一种日志解析装置结构示意图；

图7C为本申请实施例提供的又一种日志解析装置结构示意图；

图8为本申请实施例提供的一种电子设备结构示意图。

具体实施方式

目前在对设备所产生的日志内容进行分析的过程中，由于日志往往是以压缩包形式存在的，大量日志内容存在于一个压缩包中，所以如果需要针对某一日志内容进行解析，需要对压缩包整体进行解压缩，在解压缩后的大量日志文件中查找需要进行解析的日志内容。然而随着设备所产生的日志数量的增加，解压缩所需要的时间也会越来越多，随之带来的是对服务器存储资源以及计算资源的消耗量增加，会严重影响日志解析的效率。

本申请实施例提出了一种日志解析方法、装置、设备及存储介质，能够有效提升日志解析效率，从而降低服务器存储资源以及计算资源的消耗量。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。

为了便于理解本申请的技术方案，下面先对本申请所涉及的术语进行简单介绍。

日志文件：日志文件是指计算设备所指定对象的某些操作和其操作结果按时间有序的集合，一般来说，每个设备所生成的日志文件集合会以日志压缩包的形式存在。每个日志文件由日志记录组成，每条日志记录描述了一次单独的计算设备事件。日志文件针对计算设备的相关活动记录必要的，有价值的信息。具体地，日志文件中可以提供如下信息：监控计算设备资源，审计用户行为，确定故障范围，支持计算设备的恢复等。

日志压缩包：日志压缩包是指同一设备生成的多个日志文件经过压缩处理而形成的压缩包。一般来说，设备生成的日志文件会以日志压缩包的形式进行存储，以便节约存储空间，并且在后续设备出现问题时能够通过解析日志得到问题出现的原因或进行故障定位，从而解决问题。

需要说明的是，本申请实施例提供的日志解析方法，能够应用于如图1所示的应用环境中。图1为本申请实施例提供的一种日志解析方法的应用环境示意图，该应用环境可以包括：日志解析装置101和用户侧设备102。日志解析装置101和用户侧设备102之间互相连接。

其中，日志解析装置101可以应用于计算设备中。其中，这里所说的计算设备可以是多个计算设备组成的计算设备集群、或者单个计算设备、又或者计算机。日志解析装置101具体可以是计算设备中的处理器或处理芯片等。本申请实施例对上述计算设备的具体设备形态不作限制。图1中以日志解析装置101应用于单个计算设备为例示出。具体地，上述计算设备可以是服务器。

上述用户侧设备102可以是手机终端、计算机或者平板电脑等电子设备。本申请实施例对用户侧设备102的具体设备形态不作限制，图1中以用户侧设备102为计算机为例示出。该用户侧设备102在运行过程中可以产生日志文件，并导出待解析日志包发送至日志解析装置101。

在一些实施例中，用户侧设备102在运行过程中可以持续不断地产生日志。在需要进行日志解析时(例如出现故障)，用户可以在用户侧设备102上操作，通过配置待解析时间或待解析范围导出待解析日志包，并通过用户侧设备102将待解析日志包上传至日志解析装置101。进一步的，日志解析装置101可以获取日志压缩包的解析信息，基于解析规则确定所述解析信息指示的位置信息，基于所述位置信息在所述日志压缩包中提取所述待解析日志文件，将提取出的所述待解析日志文件进行解析处理。

上述实施例以生成日志的设备与解析日志的设备为同一个设备(用户侧设备102)为例示出，在另一些实施例中，上述生成日志的设备与解析日志的设备可以是不同的设备，本申请实施例对此不作具体限制。

方法实施例

参见图2，该图为本申请实施例提供的一种日志解析方法流程示意图，包括以下步骤：

S201，获取日志压缩包的解析信息。

需要说明的是，解析信息指示了待解析日志文件的位置信息或名称信息，其中位置信息可以是待解析日志文件的绝对位置，也可以是待解析日志文件在该日志压缩包中的相对位置；而名称信息可以是待解析日志文件的完整文件名称，也可以是待解析日志文件的部分文件名称。日志压缩包为各类设备在运行时所产生的日志内容，将这些日志内容通过压缩处理而形成的；日志压缩包的解析信息为用户根据任务目标所配置的与待解析日志文件相关的信息，也就是执行本次日志解析任务所需要通过解析获取的日志文件的相关信息。例如待解析日志文件的文件路径或待解析日志文件的文件名称等。

S202，基于所述解析信息确定，所述待解析日志文件在所述日志压缩包中的文件路径。

具体地，可以基于解析规则确定出解析信息指示的是待解析日志文件的位置信息还是名称信息，从而确定后续步骤具体应该根据待解析日志文件的位置信息进行处理，还是应该根据待解析日志文件的名称信息进行处理。当所述解析信息指示了待解析日志文件的位置信息，确定所述位置信息在所述日志压缩包中指示的所述待解析日志文件的文件路径；而当所述解析信息指示了待解析日志文件的名称信息，查询在所述日志压缩包中的与所述名称信息对应的所述待解析日志文件，确定所述待解析日志文件在所述日志压缩包中的文件路径。例如，在步骤S201中获取到的解析信息为待解析日志文件的文件名称“BIOS_df l.log”，那么在步骤S202中基于解析规则能够确定出该解析信息指示的是待解析日志文件的名称信息，并根据该名称信息查询在所述日志压缩包中的与所述名称信息对应的所述待解析日志文件，从而确定所述待解析日志文件在所述日志压缩包中的文件路径；又例如，在步骤S201中获取到的解析信息为待解析日志文件的文件路径“\dump_info\AppDump\BIOS\BIOS_df l.log”，那么在步骤S202中基于解析规则能够确定出该解析信息指示的是待解析日志文件的位置信息，并确定所述位置信息在所述日志压缩包中指示的所述待解析日志文件的文件路径。

S203，基于所述文件路径在所述日志压缩包中提取所述待解析日志文件。

由于在步骤S202中已经基于确定了解析信息所指示的是位置信息还是名称信息，并根据解析信息确定了待解析日志文件在日志压缩包中的文件路径，因此在步骤S203中可以基于该文件路径在日志文件压缩包中找到待解析日志文件并进行提取，也就是仅对待解析日志文件进行解压缩，无需对日志压缩包中的其他文件进行解压缩。与将日志压缩包全部进行解压缩相比，仅将待解析日志文件进行解压缩，所以能够提升日志解析的效率，从而降低解析所需的时间、服务器存储消耗量以及计算资源的消耗量。

具体地，在解析信息指示了待解析日志文件的名称信息，可以根据该名称信息通过模糊查询获取所述待解析日志文件的文件路径；而在解析信息指示了待解析日志文件的位置信息，则可以直接利用文件路径执行后续步骤。

在得到待解析日志文件的文件路径后，可以根据所述文件路径在所述日志压缩包中查找所述待解析日志文件，在查询到所述待解析日志文件时，仅将待解析日志文件通过解压缩提取至临时存储目录中；也可以根据所述文件路径在所述日志压缩包中查找所述待解析日志文件，在查询到所述待解析日志文件时，将所述待解析日志文件中的内容以byte数组的格式在内存中进行业务计算。需要说明的是，作为一种示例，将所述日志文件通过解压缩提取至临时存储目录可以适用于待解析日志文件数据量较大的情况，而将所述待解析日志文件中的内容以byte数组的格式在内存中进行业务计算可以适用于待解析日志文件数据量较小的情况。需要说明的是，数据量较大或较小的分界数值可以根据业内普遍认知进行设定，也可以根据业务实际需要进行设定。在数据量较小时，将待解析日志文件中的内容以byte数组的格式直接在内存中进行业务计算，也就是直接将待解析日志文件的内容在内存中解析出来，能够直接得到解析结果，从而能够更为高效地解析日志；而在数据量较大时，由于内存的算力有限，所以需要将待解析日志文件通过解压缩提取至临时存储目录，在之后的步骤中再对该日志文件进行解析处理，在解析完成后可以对临时存储目录进行清空处理，以节约存储资源。

需要说明的是，byte是Java基本数据类型之一，本申请实施例以byte数组的格式作为一种示例进行说明，在实际应用过程中，也可以根据实际业务类型，根据需要进行解析的业务类型将待解析日志文件转化为其他格式的数据进行计算。

S204，将提取出的所述待解析日志文件进行解析处理。

具体地，可以利用基于聚类的日志模式解析算法对日志文件进行解析处理，也可以基于频繁项挖掘的日志模式解析算法对日志文件进行解析处理，还可以基于启发的日志模式解析算法实现对待解析日志文件进行解析处理。

需要说明的是，在本申请提供的实施例中，在对待解析日志文件进行解析处理后，还可以将解析后的日志文件进行结构化处理，再将结构化处理后的日志文件存入相应数据库中，以便后续使用。结构化数据是由二维表结构来逻辑表达和实现的数据，结构化数据遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。对日志文件进行结构化处理再存入相应数据库是因为结构化数据易于输入、查询和分析，便于后续对该日志文件的使用。

以上介绍的本申请实施例提供的日志解析方法，通过获取日志压缩包的解析信息，所述解析信息指示了待解析日志文件的位置信息或名称信息，基于所述解析信息确定，所述待解析日志文件在所述日志压缩包中的文件路径，基于所述文件路径在所述日志压缩包中提取所述待解析日志文件，将提取出的所述待解析日志文件进行解析处理。利用日志文件的文件路径在日志压缩包中找到需要进行解析的日志文件，在日志压缩包中仅将该需要进行解析的日志文件进行提取，而无需对压缩包全部进行解压，省略大量无效文件的解压动作，从而有效提升日志解析效率，进而能够使得服务器存储以及计算资源的消耗量降低。

在本申请提供的实施例中，作为一种示例，解析信息可以指示了待解析日志文件的位置信息，也可以指示了待解析日志文件的名称信息。在解析信息指示了待解析日志文件的位置信息时，本申请实施例还提供了一种日志解析方法，参见图3，该图为本申请实施例提供的又一种日志解析方法流程示意图，包括以下步骤：

S301，基于位置信息确定待解析日志文件在日志压缩包中的文件路径。

需要说明的是，由于位置信息指示了待解析日志文件在日志压缩包中的文件路径，所以可以直接确定出待解析日志文件在日志压缩包中的文件路径。

S302，根据所述文件路径将所述待解析日志文件通过解压缩提取至临时存储目录中。

需要说明的是，在日志压缩包中找到待解析日志文件时，仅需将待解析日志文件通过解压缩提取到临时存储目录中，对于日志压缩包中的其他日志文件，则不需要进行解压缩处理。

S303，将提取出的所述待解析日志文件进行解析处理。

日志文件的解析过程，可以利用基于聚类的日志模式解析算法、基于频繁项挖掘的日志模式解析算法或基于启发的日志模式解析算法，实现对待解析日志文件进行解析处理，对于如何对提取出的待解析日志文件进行解析处理，本申请实施例并不进行限定。

本申请实施例提供的又一种日志解析方法，基于位置信息确定待解析日志文件在日志压缩包中的文件路径，根据所述文件路径将所述待解析日志文件通过解压缩提取至临时存储目录中，将提取出的所述待解析日志文件进行解析处理。能够在解析信息指示了待解析日志文件的位置信息的情况下，通过待解析日志文件的文件路径找到该待解析日志文件，只针对需要的文件进行解压，省略大量无效文件的解压动作，能够有效提升日志分析效率，以实现对日志文件进行高效解析。并且基于文件路径对待解析日志文件进行提取，能够更加快速、高效地找到待解析日志文件的位置，从而提升日志解析的效率，进一步降低服务器存储以及计算资源的消耗量。

本申请实施例还提供了一种更为具体地日志解析方法，参见图4，该图为本申请实施例提供的另一种日志解析方法流程示意图。首先，用户可以通过多种途径上传设备的日志压缩包，日志压缩包可以是rar,z ip,7z等多种格式；然后基于提前进行配置的待解析日志文件的位置信息，在日志压缩包中查找待解析日志文件；再通过文件装置提取日志压缩包中的待解析日志文件；在不解压全部日志压缩包的情况下，直接提取指定日志文件，进行文件转存；最后解析转存后的日志文件，并将数据结构化到数据库中，在解析完成时清理临时存储目录。

本申请实施例提供的另一种日志解析方法，通过日志文件解析前配置待解析日志文件的位置信息；对日志压缩包的处理则是不进行全部解压，而是直接在日志压缩包中找到待解析日志文件，将待解析日志文件解压出压缩包，进入具体地日志文件解析流程；在日志解析时，只针对需要的文件进行解压，省略大量无效文件的解压动作，极大提升日志解析效率，从而降低服务器存储以及计算资源的消耗量。

由于在实际使用过程中，可能存在需要对日志文件进行解析时并没有该日志文件的具体文件路径的情况，在此种情境下，如何提升日志解析的效率成为本领域亟需解决的技术问题。为此，本申请实施例还提供了一种日志解析方法，能够在没有待解析日志文件的具体文件路径的情况下，在需要对日志文件进行解析时提升日志解析的效率。具体参见图5，该图为本申请实施例提供的再一种日志解析方法流程示意图，包括以下步骤：

S501，确定解析信息指示了待解析日志文件的名称信息。

需要说明的是，图5示出的日志解析方法流程是在已经提前得到待解析日志文件的文件名称的情况下所进行的步骤，在日志文件解析前配置解析信息，该解析信息包含有待解析日志文件的名称信息。名称信息可以是完整的，也可以是部分的名称信息。

S502，根据所述名称信息通过模糊查询获取所述待解析日志文件的文件路径。

需要说明的是，在解析信息中配置了待解析日志文件的文件完整名称信息的情况下，基于解析规则可以确定出该解析信息指示的位置信息指示了待解析日志文件的文件名称，然后可以直接基于待解析日志文件的文件名称查询得到待解析日志文件的文件路径。具体地，可以通过获取日志压缩包的目录信息，基于所述文件名称在所述目录信息中查询所述待解析日志文件，以获取所述待解析日志文件的文件路径。

而在只有文件部分名称的情况下，可以使用通配符进行模糊查询，以获取待解析日志文件的文件路径。具体地，可以基于待解析日志文件的文件部分名称通过正则表达式的方式指定待解析日志文件，利用所述正则表达式进行模糊查询，以获取所述待解析日志文件的文件路径。例如，解析信息中所配置的信息为待解析日志文件存于“BIOS”目录下，而日志文件的格式名称为log，那么基于解析规则确定该解析信息指示的位置信息为待解析日志文件的文件名称，该待解析日志文件的文件名称为：该文件的前部分名称“BIOS_”以及该文件的后部分名称“.log”，基于这些信息，可以构建出正则表达式(BIOS_*.log)或(BIOS_？.log)，其中，“*”和“？”为通配符，再利用该正则表达式进行模糊查询，能够查询到文件名称为(BIOS_*.log)或(BIOS_？.log)中“*”或“？”位置为任意内容的文件，从而得到该待解析日志文件的文件路径。需要说明的是，正则表达式(Regular Expression)是一种文本模式，包括普通字符和特殊字符，可以用来描述和匹配字符串的特定模式，其中普通字符例如可以是a到z之间的字母，特殊字符，也称为元字符，例如可以是通配符“*”或“？”等；通配符则是指通用的字符，能够代表未知内容，以进行模糊查询。也就是说，将通配符使用到文件名称中构建正则表达式，对日志文件进行模糊查询，以获取待解析日志文件的文件路径。需要说明的是，除了利用正则表达式进行模糊查询外，还可以利用“like”语句进行模糊查询。

S503，根据所述文件路径在所述日志压缩包中查找所述待解析日志文件。

具体地，依据步骤S502中所查询得到的待解析日志文件的文件路径，可以直接在日志压缩包中找到待解析日志文件。

S504，在查询到所述待解析日志文件时，仅将所述日志文件通过解压缩提取至临时存储目录中。

需要说明的是，在日志压缩包中找到待解析日志文件时，仅需将待解析日志文件通过解压缩提取到临时存储目录中，对于日志压缩包中的其他日志文件，则不需要进行解压缩处理。

S505，将提取出的所述待解析日志文件进行解析处理。

日志文件的解析过程，可以利用基于聚类的日志模式解析算法、基于频繁项挖掘的日志模式解析算法或基于启发的日志模式解析算法实现对待解析日志文件进行解析处理，对于如何对提取出的待解析日志文件进行解析处理，本申请实施例并不进行限定。

本申请实施例提供的再一种日志解析方法，通过在解析信息中配置待解析日志文件的文件名称，根据所述文件名称通过模糊查询获取所述待解析日志文件的文件路径，根据所述文件路径在所述日志压缩包中查找所述待解析日志文件，在查询到所述待解析日志文件时，仅将所述日志文件通过解压缩提取至临时存储目录中，将提取出的所述待解析日志文件进行解析处理。通过日志文件的模糊匹配，能够实现在没有明确的文件路径或完整的文件名称时，有效提升日志解析的效率，并且能够覆盖更多非明确的日志文件，从而有效提升文件获取范围。

本申请实施例还提供了一种更为具体地日志解析方法，参见图6，该图为本申请实施例提供的又一种日志解析方法流程示意图。首先，用户可以通过多种途径上传设备的日志压缩包，日志压缩包可以是rar,zip,7z等多种格式；然后在解析信息中获取待解析日志文件的名称信息，从而根据名称信息得到待解析日志文件的路径信息，该路径信息可以是对名称信息进行模糊查询得到的，基于路径信息在日志压缩包中查找需要被解析的日志文件；若能够查询到，则直接提取指定文件进行文件转存，而若查询不到，则跳过当前文件，获取下一个待解析的文件名称或路径；最后解析转存后的日志文件，并将数据结构化到数据库中，在解析完成时清理临时存储目录。

本申请实施例提供的又一种日志解析方法，通过日志文件的模糊匹配，能够在没有明确的日志文件路径时，基于名称信息查询待解析日志文件，对日志文件路径进行获取，并且能够覆盖更多非明确的日志文件，从而提升文件获取范围和效率。

装置实施例

参见图7A，该图为本申请实施例提供的一种日志解析装置结构示意图，包括：解析信息获取模块701、文件路径确定模块702、日志文件获取模块703以及日志文件解析模块704。

其中，解析信息获取模块701，用于获取日志压缩包的解析信息，所述解析信息指示了待解析日志文件的位置信息或名称信息；

文件路径确定模块702，，用于基于所述解析信息确定，所述待解析日志文件在所述日志压缩包中的文件路径；

日志文件获取模块703，用于基于所述文件路径在所述日志压缩包中提取所述待解析日志文件；

日志文件解析模块704，用于将提取出的所述待解析日志文件进行解析处理。

参见图7B，该图为本申请实施例提供的另一种日志解析装置结构示意图，图7B示出了图7A中文件路径确定模块702、日志文件获取模块703以及日志文件解析模块704。在存在有具体文件路径时，执行步骤的具体子模块，包括：确定规则子模块、确定规则直接获取子模块以及文件处理及解析子模块。其中，文件路径确定模块702中的确定规则子模块，用于指定待解析日志文件在日志压缩包中的明确位置，即文件路径；日志文件获取模块703中的确定规则直接获取子模块，用于在日志压缩包中通过确定规则直接获取待解析日志文件；日志文件解析模块704中的文件处理及解析子模块，用于对获取到的日志文件进行处理和解析。

参见图7C，该图为本申请实施例提供的又一种日志解析装置结构示意图，图7C示出了图7A中文件路径确定模块702、日志文件获取模块703以及日志文件解析模块704。在没有具体文件路径和完整名称信息，需要进行模糊匹配时，执行步骤的具体子模块，包括：模糊匹配规则子模块、模糊规则扫描子模块以及文件处理及解析子模块。其中，文件路径确定模块702中的模糊匹配规则子模块，用于通过正则表达式的方式指定待解析日志文件，即通过模糊匹配查找待解析日志文件；日志文件获取模块703中的模糊规则扫描子模块，用于根据模糊规则在日志压缩包中扫描待解析日志文件，以获取待解析日志文件；日志文件解析模块704中的文件处理及解析子模块，用于对获取到的日志文件进行处理和解析。

可选地，文件路径确定模块702，包括：

第一文件路径确定子模块，用于当所述解析信息指示了待解析日志文件的位置信息，确定所述位置信息在所述日志压缩包中指示的所述待解析日志文件的文件路径。

可选的，在文件路径确定模块702包括：

查询子模块，用于当所述解析信息指示了待解析日志文件的名称信息，查询在所述日志压缩包中的与所述名称信息对应的所述待解析日志文件；

第二文件路径确定子模块，用于确定所述待解析日志文件在所述日志压缩包中的文件路径。

可选的，所述名称信息包括普通字符和特殊字符，所述普通字符用于指示部分或者全部的文件名称；所述特殊字符用于指示未知内容，用于支持模糊查询。

可选的，第二文件路径获取子模块，包括：

目录信息获取单元，用于获取日志压缩包的目录信息；

文件路径获取单元，用于基于所述名称信息在所述目录信息中查询与所述名称信息对应的所述待解析日志文件。

可选的，日志文件获取模块703，包括：

待解析日志文件查找子模块，用于根据所述文件路径在所述日志压缩包中查找所述待解析日志文件；

业务计算模块，用于在查询到所述待解析日志文件时，将所述待解析日志文件中的内容以byte数组的格式在内存中进行业务计算。

可选的，装置还包括：

日志文件结构化模块，用于将解析后的日志文件进行结构化处理；

日志文件存储单元，用于将结构化处理后的日志文件存入相应数据库。

本申请实施例提供的一种日志解析装置，利用解析信息获取模块、文件路径确定模块、日志文件获取模块以及日志文件解析模块，通过获取日志压缩包的解析信息，所述解析信息指示了待解析日志文件的位置信息或名称信息；基于所述解析信息确定，所述待解析日志文件在所述日志压缩包中的文件路径；基于所述文件路径在所述日志压缩包中提取所述待解析日志文件；将提取出的所述待解析日志文件进行解析处理。利用日志文件的文件路径直接在日志压缩包中找到需要进行解析的日志文件，在日志压缩包中仅将该需要进行解析的日志文件进行解压缩提取，而无需对压缩包全部进行解压，省略大量无效文件的解压动作，从而有效提升日志解析效率，进而能够使得服务器存储以及计算资源的消耗量降低。

电子设备实施例

参见图8，该图为本申请实施例提供的一种电子设备结构示意图，包括：

存储器11，用于存储计算机程序；

处理器12，用于执行所述计算机程序时实现上述任意方法实施例所述的日志解析方法的步骤。

在本实施例中，设备可以是车载电脑、PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、掌上电脑、便携计算机等终端设备。

该设备可以包括存储器11、处理器12和总线13。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是设备的内部存储单元，例如该设备的硬盘。存储器11在另一些实施例中也可以是设备的外部存储设备，例如设备上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于设备的应用软件及各类数据，例如执行日志解析方法的程序代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行日志解析方法的程序代码等。

该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，设备还可以包括网络接口14，网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该设备与其他电子设备之间建立通信连接。

可选地，该设备还可以包括用户接口15，用户接口15可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口15还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在设备中处理的信息以及用于显示可视化的用户界面。

图8仅示出了具有组件11-15的设备，本领域技术人员可以理解的是，图8示出的结构并不构成对设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

可读存储介质实施例

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例所述的日志解析方法的步骤。

其中，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置、电子设备及可读存储介质实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种日志解析方法，其特征在于，所述方法包括：

获取日志压缩包的解析信息，所述解析信息指示了待解析日志文件的位置信息或名称信息；

基于所述解析信息确定，所述待解析日志文件在所述日志压缩包中的文件路径；

基于所述文件路径在所述日志压缩包中提取所述待解析日志文件；

将提取出的所述待解析日志文件进行解析处理。

2.根据权利要求1所述的日志解析方法，其特征在于，所述基于所述解析信息确定，所述待解析日志文件在所述日志压缩包中的文件路径，包括：

当所述解析信息指示了待解析日志文件的位置信息，确定所述位置信息在所述日志压缩包中指示的所述待解析日志文件的文件路径。

3.根据权利要求1所述的日志解析方法，其特征在于，所述基于所述位置信息在所述日志压缩包中提取所述待解析日志文件，包括：

当所述解析信息指示了待解析日志文件的名称信息，查询在所述日志压缩包中的与所述名称信息对应的所述待解析日志文件；

确定所述待解析日志文件在所述日志压缩包中的文件路径。

4.根据权利要求3所述的方法，其特征在于，所述名称信息包括普通字符和特殊字符，所述普通字符用于指示部分或者全部的文件名称；所述特殊字符用于指示未知内容，用于支持模糊查询。

5.根据权利要求3所述的方法，其特征在于，所述查询在所述日志压缩包中的与所述名称信息对应的所述待解析日志文件，包括：

获取日志压缩包的目录信息；

基于所述名称信息在所述目录信息中查询与所述名称信息对应的所述待解析日志文件。

6.根据权利要求1所述的方法，其特征在于，所述基于所述文件路径在所述日志压缩包中提取所述待解析日志文件，包括：

根据所述文件路径在所述日志压缩包中查找所述待解析日志文件；

在查询到所述待解析日志文件时，将所述待解析日志文件中的内容以byte数组的格式在内存中进行业务计算。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将解析后的日志文件进行结构化处理；

将结构化处理后的日志文件存入相应数据库。

8.一种日志解析装置，其特征在于，所述装置包括：

解析信息获取模块，用于获取日志压缩包的解析信息，所述解析信息指示了待解析日志文件的位置信息或名称信息；

文件路径确定模块，用于基于所述解析信息确定，所述待解析日志文件在所述日志压缩包中的文件路径；

日志文件获取模块，用于基于所述文件路径在所述日志压缩包中提取所述待解析日志文件；

日志文件解析模块，用于将提取出的所述待解析日志文件进行解析处理。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1-7任一项所述日志解析方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述日志解析方法的步骤。