CN106130807A - 一种Nginx日志的提取和分析方法及装置 - Google Patents

Abstract

本发明公开了一种Nginx日志的提取和分析方法及装置，涉及网络安全管理领域。用于解决现有的Ngnix日志在使用过程中存在信息提取或者分析方法比较慢的问题。包括将Nginx日志输入到设定目录下，按照设定时间读取所述设定目录下存储的所述Ngnix日志的日志文件；根据所述日志文件中的$time_local起始时间和结束时间，确定时间间隔；根据所述时间间隔，对所述日志文件进行分析，并确定分析结果，将所述分析结果输出到设定接收端。

Description

一种Nginx日志的提取和分析方法及装置

技术领域

本发明涉及网络安全管理领域，更具体的涉及一种Nginx日志的提取和分析方法及装置。

背景技术

Ngnix是一种高性能的HTTP和反向代理程序，可运行在Windows和Linux操作***下，具有资源占用低、性能稳定、扩展性强的特点，通常作为运行在HTTP服务器使用。

Ngnix程序在运行的过程中，会根据配置记录运行日志，在运行日志中包含HTTP请求、HTTP响应信息，这些信息对调试Web程序非常重要。由于Ngnix采用追加的方式写运行日志，在出现大量访问请求时，运行日志文件通常很大，在使用的过程中具下面的问题：1)打开、浏览、查找、定位特定信息很慢；2)运行日志相关性不强，查看一个HTTP请求和响应记录非常不方便；3)无法直接从日志中获取结论，需要对多条可能不连续的记录进行检查，这对运维人员的要求较高。

发明内容

本发明实施例提供一种Nginx日志的提取和分析方法及装置，用于解决现有的Ngnix日志在使用过程中存在的问题。

本发明实施例提供一种Nginx日志的提取和分析方法，包括：

将Nginx日志输入到设定目录下，按照设定时间读取所述设定目录下存储的所述Ngnix日志的日志文件；

根据所述日志文件中的$time_local起始时间和结束时间，确定时间间隔；

根据所述时间间隔，对所述日志文件进行分析，并确定分析结果，将所述分析结果输出到设定接收端。

进一步地，所述按照设定时间读取所述设定目录下存储的所述Ngnix日志的日志文件，包括：

所述分析程序根据所述设定目录下存储的所述Ngnix日志，创建一个与所述Ngnix日志对应的副本文件，从所述副本文件内读取所述日志文件。

进一步地，所述根据所述时间间隔，对所述日志文件进行分析，包括：

在设定时间内获取所述日志文件中的非空白行数，根据所述非空白行数和所述时间间隔，确定所述设定时间内Nginx服务处理的请求数量；和/或

在设定时间内逐行读取所述日志文件中$body_bytes_sent参数对应的数值，获取所述$body_bytes_sent参数的第一累加值，根据所述第一累加值和所述时间间隔，确定所述设定时间Ngnix服务应答数据量；和/或

在设定时间内获取所述日志文件中$request的请求类型信息，根据所述请求类型信息获取所述日志文件包括的行的第二累加值，根据所述第二累加值和所述时间间隔，确定所述设定时间内不同请求类型的数量；和/或

在设定时间内获取所述日志文件中$http_user_agent中的浏览器信息，根据所述浏览器信息对所述日志文件包括的行进行累加，获取第三累加值，根据所述第三累加值和所述时间间隔，确定所述设定时间内不同浏览器的访问次数；和/或

在设定时间内获取所述日志文件中$http_user_agent中的操作***信息，根据所述操作***信息对所述日志文件包括的行进行累加，获取第四累加值，根据所述第四累加值和所述时间间隔，确定所述设定时间内不同操作***的访问次数；和/或

在设定时间内获取所述日志文件中每行包括的$status参数对应的数值，根据所述$status参数对应的数值对所述日志文件包括的行进行第一统计，根据所述第一统计结果和所述时间间隔，确定所述设定时间内Ngnix服务器的应答状态信息；和/或

在设定时间内获取所述日志文件中$remote_addr参数对应的数值，根据所述$remote_addr参数内包括的不同IP地址对所述日志文件中包括的行进行累加，获取第五累加值，根据所述第五累加值和所述时间间隔，确定所述设定时间内单个IP产生的日志记录数量；和/或

在设定时间内获取所述日志文件中$request参数对应的数值，根据所述$request参数内包括的URL地址对所述日志文件包括的行进行累加，获取第六累加值，根据所述第六累加值和所述时间间隔，确定所述设定时间内单个URL地址的访问数量。

本发明实施例还提供一种Nginx日志的提取和分析装置，包括：

读取单元，用于将Nginx日志输入到设定目录下，按照设定时间读取所述设定目录下存储的所述Ngnix日志的日志文件；

确定单元，用于根据所述日志文件中的$time_local起始时间和结束时间，确定时间间隔；

输出单元，用于根据所述时间间隔，对所述日志文件进行分析，并确定分析结果，将所述分析结果输出到设定接收端。

进一步地，所述读取单元还用于：

所述分析程序根据所述设定目录下存储的所述Ngnix日志，创建一个与所述Ngnix日志对应的副本文件，从所述副本文件内读取所述日志文件。

进一步地，所述输出单元还用于：

在设定时间内获取所述日志文件中的非空白行数，根据所述非空白行数和所述时间间隔，确定所述设定时间内Nginx服务处理的请求数量；和/或

在设定时间内逐行读取所述日志文件中$body_bytes_sent参数对应的数值，获取所述$body_bytes_sent参数的第一累加值，根据所述第一累加值和所述时间间隔，确定所述设定时间Ngnix服务应答数据量；和/或

在设定时间内获取所述日志文件中$request的请求类型信息，根据所述请求类型信息获取所述日志文件包括的行的第二累加值，根据所述第二累加值和所述时间间隔，确定所述设定时间内不同请求类型的数量；和/或

在设定时间内获取所述日志文件中$http_user_agent中的浏览器信息，根据所述浏览器信息对所述日志文件包括的行进行累加，获取第三累加值，根据所述第三累加值和所述时间间隔，确定所述设定时间内不同浏览器的访问次数；和/或

在设定时间内获取所述日志文件中$http_user_agent中的操作***信息，根据所述操作***信息对所述日志文件包括的行进行累加，获取第四累加值，根据所述第四累加值和所述时间间隔，确定所述设定时间内不同操作***的访问次数；和/或

在设定时间内获取所述日志文件中每行包括的$status参数对应的数值，根据所述$status参数对应的数值对所述日志文件包括的行进行第一统计，根据所述第一统计结果和所述时间间隔，确定所述设定时间内Ngnix服务器的应答状态信息；和/或

在设定时间内获取所述日志文件中$remote_addr参数对应的数值，根据所述$remote_addr参数内包括的不同IP地址对所述日志文件中包括的行进行累加，获取第五累加值，根据所述第五累加值和所述时间间隔，确定所述设定时间内单个IP产生的日志记录数量；和/或

在设定时间内获取所述日志文件中$request参数对应的数值，根据所述$request参数内包括的URL地址对所述日志文件包括的行进行累加，获取第六累加值，根据所述第六累加值和所述时间间隔，确定所述设定时间内单个URL地址的访问数量。

本发明实施例中，提供了一种Nginx日志的提取和分析方法及装置，包括将Nginx日志输入到设定目录下，按照设定时间读取所述设定目录下存储的所述Ngnix日志的日志文件；根据所述日志文件中的$time_local起始时间和结束时间，确定时间间隔；根据所述时间间隔，对所述日志文件进行分析，并确定分析结果，将所述分析结果输出到设定接收端。通过定义Ngnix输出运行日志的格式和采用特定的算法，提取Ngnix运行日志中的有效信息做分析，最后输出***运行情况到数据库、文件、内存对象等介质中，从而达到节约时间、降低分析难度、快速获取一段时间内的***运行信息的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种Nginx日志的提取和分析方法流程示意图；

图2为本发明实施例提供的一种Nginx日志的提取和分析装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示例性的示出了本发明实施例提供的一种Nginx日志的提取和分析方法流程示意图，该方法至少可以应用于软件开发技术中。

如图1所示，本发明实施例提供的一种Nginx日志的提取和分析方法包括以下步骤：

步骤101，将Nginx日志输入到设定目录下，按照设定时间读取所述设定目录下存储的所述Ngnix日志的日志文件；

步骤102，根据所述日志文件中的$time_local起始时间和结束时间，确定时间间隔；

步骤103，根据所述时间间隔，对所述日志文件进行分析，并确定分析结果，将所述分析结果输出到设定接收端。

需要说明的是，本发明实施例中，执行主体可以是服务器。

在步骤101中，将Nginx日志输入到设定目录下，按照设定时间读取所述设定目录下存储的所述Ngnix日志的日志文件。

在本发明实施例中，服务器可以按照设定时间，判断是否接收到分析程序，或者根据是否接收到触发信号，确定是否接收到分析程序，其中，触发信号是分析程序携带的某个信号。在本发明实施例中，对服务器判断是否接收到服务器时所采用的判断方法不做具体的限定。

进一步地，Nginx日志输入到设定在目录中之后，分析程序根据设定的时间对设定目录中的Nginx日志进行处理，具体地，分析程序根据输入到设定目录中的Nginx日志的先后顺序或者Nginx日志所占大小从设定目录中提取Nginx日志，为提取的Nginx日志依次创建一个与Nginx日志对应的的副本文件，在本发明实施例中，可以将创建的副本文件命名为F1，与副本文件对应的Nginx日志命名为F0，分析程序从副本文件中读取日志文件。

需要说明的是，在分析程序创建副本文件之后，可以将与副本文件对应的Nginx日志删除。

在步骤102中，分析程序根据日志文件中的参数$time_local起始时间和结束时间，确定Nginx日志的分析时间间隔。需要说明的是，在本发明实施例中，对确定的时间间隔的具体长度不做具体的限定。

在步骤103中，根据所述时间间隔，对所述日志文件进行分析，并确定分析结果，将所述分析结果输出到设定接收端，在本发明实施例中，获取的***运行信息可以包括以下但不限于以下内容：

1)、在设定时间内获取日志文件中的非空白行数，根据非空白行数和时间间隔，确定设定时间内Nginx服务处理的请求数量。

2)、在设定时间内逐行读取日志文件中$body_bytes_sent参数对应的数值，获取$body_bytes_sent参数的第一累加值，根据第一累加值和时间间隔，确定设定时间Ngnix服务应答数据量。

3)、在设定时间内获取日志文件中$request的请求类型信息，根据请求类型信息获取日志文件包括的行的第二累加值，根据第二累加值和时间间隔，确定设定时间内不同请求类型的数量。

4)、在设定时间内获取日志文件中$http_user_agent中的浏览器信息，根据浏览器信息对日志文件包括的行进行累加，获取第三累加值，根据第三累加值和时间间隔，确定设定时间内不同浏览器的访问次数。

5)、在设定时间内获取日志文件中$http_user_agent中的操作***信息，根据操作***信息对日志文件包括的行进行累加，获取第四累加值，根据第四累加值和时间间隔，确定设定时间内不同操作***的访问次数。

6)、在设定时间内获取日志文件中每行包括的$status参数对应的数值，根据$status参数对应的数值对日志文件包括的行进行第一统计，根据第一统计结果和时间间隔，确定设定时间内Ngnix服务器的应答状态信息。

7)、在设定时间内获取日志文件中$remote_addr参数对应的数值，根据$remote_addr参数内包括的不同IP地址对日志文件中包括的行进行累加，获取第五累加值，根据第五累加值和时间间隔，确定设定时间内单个IP产生的日志记录数量。

8)、在设定时间内获取日志文件中$request参数对应的数值，根据$request参数内包括的URL地址对日志文件包括的行进行累加，获取第六累加值，根据第六累加值和时间间隔，确定设定时间内单个URL地址的访问数量。

综上所述，本发明实施例通过通过定义Ngnix输出运行日志的格式和采用特定的算法，提取Ngnix运行日志中的有效信息做分析，最后输出***运行情况到数据库、文件、内存对象等介质中，从而达到节约时间、降低分析难度、快速获取一段时间内的***运行信息的目的。

基于同一发明构思，本发明实施例提供了一种Nginx日志的提取和分析装置，由于该装置解决技术问题的原理与一种Nginx日志的提取和分析方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

图2为本发明实施例提供的一种Nginx日志的提取和分析装置结构示意图，具体地，包括：

读取单元21，用于将Nginx日志输入到设定目录下，按照设定时间读取所述设定目录下存储的所述Ngnix日志的日志文件；

确定单元22，用于根据所述日志文件中的$time_local起始时间和结束时间，确定时间间隔；

输出单元23，用于根据所述时间间隔，对所述日志文件进行分析，并确定分析结果，将所述分析结果输出到设定接收端。

进一步地，所述读取单元21还用于：

所述分析程序根据所述设定目录下存储的所述Ngnix日志，创建一个与所述Ngnix日志对应的副本文件，从所述副本文件内读取所述日志文件。

进一步地，所述输出单元23还用于：

在设定时间内获取所述日志文件中的非空白行数，根据所述非空白行数和所述时间间隔，确定所述设定时间内Nginx服务处理的请求数量；和/或

在设定时间内逐行读取所述日志文件中$body_bytes_sent参数对应的数值，获取所述$body_bytes_sent参数的第一累加值，根据所述第一累加值和所述时间间隔，确定所述设定时间Ngnix服务应答数据量；和/或

在设定时间内获取所述日志文件中$request的请求类型信息，根据所述请求类型信息获取所述日志文件包括的行的第二累加值，根据所述第二累加值和所述时间间隔，确定所述设定时间内不同请求类型的数量；和/或

在设定时间内获取所述日志文件中$http_user_agent中的浏览器信息，根据所述浏览器信息对所述日志文件包括的行进行累加，获取第三累加值，根据所述第三累加值和所述时间间隔，确定所述设定时间内不同浏览器的访问次数；和/或

在设定时间内获取所述日志文件中$http_user_agent中的操作***信息，根据所述操作***信息对所述日志文件包括的行进行累加，获取第四累加值，根据所述第四累加值和所述时间间隔，确定所述设定时间内不同操作***的访问次数；和/或

在设定时间内获取所述日志文件中每行包括的$status参数对应的数值，根据所述$status参数对应的数值对所述日志文件包括的行进行第一统计，根据所述第一统计结果和所述时间间隔，确定所述设定时间内Ngnix服务器的应答状态信息；和/或

在设定时间内获取所述日志文件中$remote_addr参数对应的数值，根据所述$remote_addr参数内包括的不同IP地址对所述日志文件中包括的行进行累加，获取第五累加值，根据所述第五累加值和所述时间间隔，确定所述设定时间内单个IP产生的日志记录数量；和/或

在设定时间内获取所述日志文件中$request参数对应的数值，根据所述$request参数内包括的URL地址对所述日志文件包括的行进行累加，获取第六累加值，根据所述第六累加值和所述时间间隔，确定所述设定时间内单个URL地址的访问数量。

应当理解，以上一种Nginx日志的提取和分析装置包括的单元仅为根据该设备装置实现的功能进行的逻辑划分，实际应用中，可以进行上述单元的叠加或拆分。并且该实施例提供的一种Nginx日志的提取和分析装置所实现的功能与上述实施例提供的一种Nginx日志的提取和分析方法一一对应，对于该装置所实现的更为详细的处理流程，在上述方法实施例一中已做详细描述，此处不再详细描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种Nginx日志的提取和分析方法，其特征在于，包括：

将Nginx日志输入到设定目录下，按照设定时间读取所述设定目录下存储的所述Ngnix日志的日志文件；

根据所述日志文件中的$time_local起始时间和结束时间，确定时间间隔；

根据所述时间间隔，对所述日志文件进行分析，并确定分析结果，将所述分析结果输出到设定接收端。

2.如权利要求1所述的方法，其特征在于，所述按照设定时间读取所述设定目录下存储的所述Ngnix日志的日志文件，包括：

所述分析程序根据所述设定目录下存储的所述Ngnix日志，创建一个与所述Ngnix日志对应的副本文件，从所述副本文件内读取所述日志文件。

3.如权利要求1所述的方法，其特征在于，所述根据所述时间间隔，对所述日志文件进行分析，至少包括：

在设定时间内获取所述日志文件中的非空白行数，根据所述非空白行数和所述时间间隔，确定所述设定时间内Nginx服务处理的请求数量；和/或

在设定时间内逐行读取所述日志文件中$body_bytes_sent参数对应的数值，获取所述$body_bytes_sent参数的第一累加值，根据所述第一累加值和所述时间间隔，确定所述设定时间Ngnix服务应答数据量；和/或

在设定时间内获取所述日志文件中$request的请求类型信息，根据所述请求类型信息获取所述日志文件包括的行的第二累加值，根据所述第二累加值和所述时间间隔，确定所述设定时间内不同请求类型的数量；和/或

在设定时间内获取所述日志文件中$http_user_agent中的浏览器信息，根据所述浏览器信息对所述日志文件包括的行进行累加，获取第三累加值，根据所述第三累加值和所述时间间隔，确定所述设定时间内不同浏览器的访问次数；和/或

在设定时间内获取所述日志文件中$http_user_agent中的操作***信息，根据所述操作***信息对所述日志文件包括的行进行累加，获取第四累加值，根据所述第四累加值和所述时间间隔，确定所述设定时间内不同操作***的访问次数；和/或

在设定时间内获取所述日志文件中每行包括的$status参数对应的数值，根据所述$status参数对应的数值对所述日志文件包括的行进行第一统计，根据所述第一统计结果和所述时间间隔，确定所述设定时间内Ngnix服务器的应答状态信息；和/或

在设定时间内获取所述日志文件中$remote_addr参数对应的数值，根据所述$remote_addr参数内包括的不同IP地址对所述日志文件中包括的行进行累加，获取第五累加值，根据所述第五累加值和所述时间间隔，确定所述设定时间内单个IP产生的日志记录数量；和/或

在设定时间内获取所述日志文件中$request参数对应的数值，根据所述$request参数内包括的URL地址对所述日志文件包括的行进行累加，获取第六累加值，根据所述第六累加值和所述时间间隔，确定所述设定时间内单个URL地址的访问数量。

4.一种Nginx日志的提取和分析装置，其特征在于，包括：

读取单元，用于将Nginx日志输入到设定目录下，按照设定时间读取所述设定目录下存储的所述Ngnix日志的日志文件；

确定单元，用于根据所述日志文件中的$time_local起始时间和结束时间，确定时间间隔；

输出单元，用于根据所述时间间隔，对所述日志文件进行分析，并确定分析结果，将所述分析结果输出到设定接收端。

5.如权利要求4所述的装置，其特征在于，所述读取单元还用于：

所述分析程序根据所述设定目录下存储的所述Ngnix日志，创建一个与所述Ngnix日志对应的副本文件，从所述副本文件内读取所述日志文件。

6.如权利要求4所述的装置，其特征在于，所述输出单元还用于：

在设定时间内获取所述日志文件中的非空白行数，根据所述非空白行数和所述时间间隔，确定所述设定时间内Nginx服务处理的请求数量；和/或

在设定时间内逐行读取所述日志文件中$body_bytes_sent参数对应的数值，获取所述$body_bytes_sent参数的第一累加值，根据所述第一累加值和所述时间间隔，确定所述设定时间Ngnix服务应答数据量；和/或

在设定时间内获取所述日志文件中$request的请求类型信息，根据所述请求类型信息获取所述日志文件包括的行的第二累加值，根据所述第二累加值和所述时间间隔，确定所述设定时间内不同请求类型的数量；和/或

在设定时间内获取所述日志文件中$http_user_agent中的浏览器信息，根据所述浏览器信息对所述日志文件包括的行进行累加，获取第三累加值，根据所述第三累加值和所述时间间隔，确定所述设定时间内不同浏览器的访问次数；和/或

在设定时间内获取所述日志文件中$http_user_agent中的操作***信息，根据所述操作***信息对所述日志文件包括的行进行累加，获取第四累加值，根据所述第四累加值和所述时间间隔，确定所述设定时间内不同操作***的访问次数；和/或

在设定时间内获取所述日志文件中每行包括的$status参数对应的数值，根据所述$status参数对应的数值对所述日志文件包括的行进行第一统计，根据所述第一统计结果和所述时间间隔，确定所述设定时间内Ngnix服务器的应答状态信息；和/或

在设定时间内获取所述日志文件中$remote_addr参数对应的数值，根据所述$remote_addr参数内包括的不同IP地址对所述日志文件中包括的行进行累加，获取第五累加值，根据所述第五累加值和所述时间间隔，确定所述设定时间内单个IP产生的日志记录数量；和/或

在设定时间内获取所述日志文件中$request参数对应的数值，根据所述$request参数内包括的URL地址对所述日志文件包括的行进行累加，获取第六累加值，根据所述第六累加值和所述时间间隔，确定所述设定时间内单个URL地址的访问数量。