CN108989471A - 网络***中日志的管理方法和装置 - Google Patents

Abstract

本发明公开了一种网络***中日志的管理方法和装置。所述方法包括：当接收到客户端发送的日志下载请求后，获取所述下载请求对应的日志数据；确定所述日志数据的数据量的大小；将所述日志数据的数据量与预先设置的数据量阈值进行比较，得到比较结果；如果比较结果为大于所述数据量阈值，则将所述日志数据分批发送。

Description

网络***中日志的管理方法和装置

技术领域

本发明涉及信息处理领域，尤指一种网络***中日志的管理方法和装置。

背景技术

网络设备、***及服务程序等，在运作时都会产生一个叫log的事件记录；每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。

Windows网络操作***都设计有各种各样的日志文件，如应用程序日志，安全日志、***日志、Scheduler服务日志、FTP日志、WWW日志、DNS服务器日志等等，这些根据你的***开启的服务的不同而有所不同。我们在***上进行一些操作时，这些日志文件通常会记录下操作的一些相关内容，这些内容对***安全工作人员相当有用。比如说有人对***进行了IPC探测，***就会在安全日志里迅速地记下探测者探测时所用的IP、时间、用户名等，用FTP探测后，就会在FTP日志中记下IP、时间、探测所用的用户名等。

当然，日志数据对于实现网络安全的价值有多大取决于两个因素：第一，你的***和设备必须进行合适的设置以便记录你需要的数据。第二，你必须有合适的工具、培训和可用的资源来分析收集到的数据。

当前很多网站在下载日志的时候都是将日志一次性输出到一个excel中，当日志内容不是很多时，不会出现问题。但是随着网站的使用，日志越来越来，数据量越来越大，这时候如果再将大量的数据一次性输出到一个excel中，就很容易出现卡死、请求超时、内存溢出等问题。

发明内容

为了解决上述技术问题，本发明提供了一种网络***中日志的管理方法和装置。

为了达到本发明目的，本发明提供了一种网络***中日志的管理方法，包括：

当接收到客户端发送的日志下载请求后，获取所述下载请求对应的日志数据；

确定所述日志数据的数据量的大小；

将所述日志数据的数据量与预先设置的数据量阈值进行比较，得到比较结果；

如果比较结果为大于所述数据量阈值，则将所述日志数据分批发送。

其中，所述方法还具有如下特点：所述确定所述日志数据的数据量的大小包括：

获取所述下载请求中所请求的保存格式；

按照所请求的保存格式，生成存储该日志数据的临时文件；

确定所述临时文件的数据量大小。

其中，所述方法还具有如下特点：所述将所述日志数据分批发送之前，所述方法还包括：

发送将所述数据分批进行下载的提示信息；

接收对所述提示信息的确认操作；

其中，在接收到所述确认操作后，再执行所述将所述日志数据分批发送的操作。

其中，所述方法还具有如下特点：所述将所述日志数据分批发送之前，所述方法还包括：

获取所述客户端下载所述日志数据所使用的网络带宽信息；

根据所述网络带宽的大小，确定所述日志数据的分批次数以及每次发送的数据量；

其中，所述将所述日志数据分批发送包括：

按照确定的分批次数以及每批发送的数据量，将所述日志数据发送出去。

其中，所述方法还具有如下特点：所述将所述日志数据分批发送之前，所述方法还包括：

获取所述客户端下载所述日志数据所使用的网络带宽的占用状态；

在上一批日志数据发送完成后，根据所述网络带宽的状态，控制每批日志数据的发送时间；

其中，所述将所述日志数据分批发送包括：

在确定的发送时间，将对应的批次的日志数据发送出去。

为了达到本发明目的，本发明还提供了一种网络***中日志的管理装置，包括：

第一获取模块，用于当接收到客户端发送的日志下载请求后，获取所述下载请求对应的日志数据；

第一确定模块，用于确定所述日志数据的数据量的大小；

比较模块，用于将所述日志数据的数据量与预先设置的数据量阈值进行比较，得到比较结果；

第一发送模块，用于如果比较结果为大于所述数据量阈值，则将所述日志数据分批发送。

其中，所述装置还具有如下特点：所述确定模块包括：

获取单元，用于获取所述下载请求中所请求的保存格式；

生成单元，用于按照所请求的保存格式，生成存储该日志数据的临时文件；

确定单元，用于确定所述临时文件的数据量大小。

其中，所述装置还具有如下特点：所述装置还包括：

第二发送模块，用于在将所述日志数据分批发送之前，发送将所述数据分批进行下载的提示信息；

接收模块，用于接收对所述提示信息的确认操作；

其中，所述第一发送模块在接收到所述确认操作后，再执行所述将所述日志数据分批发送的操作。

其中，所述装置还具有如下特点：所述装置还包括：

第二获取模块，用于在将所述日志数据分批发送之前，获取所述客户端下载所述日志数据所使用的网络带宽信息；

第二确定模块，用于根据所述网络带宽的大小，确定所述日志数据的分批次数以及每次发送的数据量；

其中，所述第一发送模块按照确定的分批次数以及每批发送的数据量，将所述日志数据发送出去。

其中，所述装置还具有如下特点：所述装置还包括：

第三获取模块，用于在将所述日志数据分批发送之前，获取所述客户端下载所述日志数据所使用的网络带宽的占用状态；

控制模块，用于在上一批日志数据发送完成后，根据所述网络带宽的状态，控制每批日志数据的发送时间；

其中，所述第一发送模块在确定的发送时间，将对应的批次的日志数据发送出去。

本发明提供的实施例，当接收到客户端发送的日志下载请求后，获取所述下载请求对应的日志数据，与现有技术直接将日志数据下发给客户端不同的是，本发明首先确定所述日志数据的数据量的大小，并将所述日志数据的数据量与预先设置的数据量阈值进行比较，根据得到比较结果，确定是否将数据直接发送给客户端，在比较结果为大于所述数据量阈值，则将所述日志数据分批发送，降低卡死、请求超时、内存溢出等问题发生的概率，提升数据传输的稳定性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明提供的网络***中日志的管理方法的流程图；

图2为本发明提供的网络***中日志的管理装置的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明提供的网络***中日志的管理方法的流程图。图1所示方法包括：

步骤101、当接收到客户端发送的日志下载请求后，获取所述下载请求对应的日志数据；

步骤102、确定所述日志数据的数据量的大小；

步骤103、将所述日志数据的数据量与预先设置的数据量阈值进行比较，得到比较结果；

步骤104、如果比较结果为大于所述数据量阈值，则将所述日志数据分批发送。

本发明提供的方法实施例，当接收到客户端发送的日志下载请求后，获取所述下载请求对应的日志数据，与现有技术直接将日志数据下发给客户端不同的是，本发明首先确定所述日志数据的数据量的大小，并将所述日志数据的数据量与预先设置的数据量阈值进行比较，根据得到比较结果，确定是否将数据直接发送给客户端，在比较结果为大于所述数据量阈值，则将所述日志数据分批发送，降低卡死、请求超时、内存溢出等问题发生的概率，提升数据传输的稳定性。

下面对本发明提供的方法实施例作进一步说明：

本发明主要是为了解决大批量下载日志的时候，容易出现请求超时、卡死、内存溢出等问题。

本发明的方案的基本思想，具体如下：

1)大批量日志下载时分批下载；

2)服务端根据分批下载的请求分批返回数据。

在本发明提供的一个方法实施例中，所述确定所述日志数据的数据量的大小包括：

获取所述下载请求中所请求的保存格式；

按照所请求的保存格式，生成存储该日志数据的临时文件；

确定所述临时文件的数据量大小。

具体的，在用户配置所要下载的日志数据时，可以提示用户进行保存格式的设置，在用户完成设置后，触发下载请求操作，可以通过读取下载请求中用户配置的日志数据的保存格式；在将日志数据发送出去前，首先按照请求的下载格式，如excel、txt等，计算该日志数据以对应的保存格式进行发送时的数据量大小，最终确定要发送给用户的数据量，而不是该日志本身的数据量，以便更准确的得到用户需要接收的数据量。

通过上述方式，确定得到的数据量会更加准确地确定日志数据的数据量，能够更准确的判断数据量与数据量阈值之间的大小，保证操作的准确性。

其中，在将所述日志数据分批发送之前，所述方法还包括：

发送将所述数据分批进行下载的提示信息；

接收对所述提示信息的确认操作；

其中，在接收到所述确认操作后，再执行所述将所述日志数据分批发送的操作。

具体的，在服务器侧确定需要进行分批操作后，还要征询客户端侧的处理结果，以保证能够更好的完成网络服务，同时达到提示用户后续需通过分批传输的方式来获取日志数据，以保证用户能够等待接收全部的日志数据。

当然，如果用户未执行确认操作，则按照默认的传输方式进行数据的传输，如直接将日志数据发送出去。

其中，在分批发送日志数据时，为充分匹配服务器侧与客户端侧的网络资源，所述将所述日志数据分批发送之前，所述方法还包括：

获取所述客户端下载所述日志数据所使用的网络带宽信息；

根据所述网络带宽的大小，确定所述日志数据的分批次数以及每次发送的数据量；

其中，所述将所述日志数据分批发送包括：

按照确定的分批次数以及每批发送的数据量，将所述日志数据发送出去。

具体的，获取客户端的带宽大小，根据该带宽大小，确定每次能够通过该网络带宽的带宽资源传输的数据量，再进而根据每次传输的数据量，确定该日志数据的总数量需要分成的批次总数。

优选的，由于服务器侧与客户端侧的网络带宽往往还要传输其他数据，那么在进行日志数据的分批传输时，还要考虑当前网络带宽的占用情况，如果网络带宽处于空闲，则可以及时将该批次的数据量发送出去，而如果网络带宽处于忙碌状态，则控制推迟发送该批次的数据量的时间，等待网络带宽处于空闲状态时再进行发送。具体的实现方式如下：

其中，所述将所述日志数据分批发送之前，所述方法还包括：

获取所述客户端下载所述日志数据所使用的网络带宽的占用状态；

在上一批日志数据发送完成后，根据所述网络带宽的状态，控制每批日志数据的发送时间；

其中，所述将所述日志数据分批发送包括：

在确定的发送时间，将对应的批次的日志数据发送出去。

由上可以看出，结合网络带宽的状态控制分批发送的操作，可以在兼顾网络正常传输的同时，减少请求超时、卡死、内存溢出等问题的发生概率，有效提升传输稳定性。

下面以本发明提供的应用实例对本发明提到的方法作进一步说明：

一种下载大批量日志时，分批下载日志的方式。具体实施过程如下：

1)在下载日志前，获取日志的数据量；

2)根据获取到的日志数据量，判断是否需要分批次请求下载；

3)若数据量大，则依据数据量进行多次请求；

具体的，例如日志数据共有100万条数据，确定的分批下载策略为分10次请求下载，每次均为10万条数据；其中，每个请求都带有分批需要的参数：批次编号page和批次编号pageSize；

例如，第一个请求的参数pageSize:10万,page:1；第二个请求的参数pageSize:10万,page:2；依次类推；

4)服务端获取到请求以及参数，进行日志的返回。

本发明应用实例提供的方法，解决了大批量下载日志的时候，出现的请求超时、卡死、内存溢出等问题，增强了产品的稳定性，提高产品竞争力。

图2为本发明提供的网络***中日志的管理装置的结构图。图2所示装置包括：

第一获取模块201，用于当接收到客户端发送的日志下载请求后，获取所述下载请求对应的日志数据；

第一确定模块202，用于确定所述日志数据的数据量的大小；

比较模块203，用于将所述日志数据的数据量与预先设置的数据量阈值进行比较，得到比较结果；

第一发送模块204，用于如果比较结果为大于所述数据量阈值，则将所述日志数据分批发送。

在本发明提供的一个装置实施例中，所述确定模块202包括：

获取单元，用于获取所述下载请求中所请求的保存格式；

生成单元，用于按照所请求的保存格式，生成存储该日志数据的临时文件；

确定单元，用于确定所述临时文件的数据量大小。

在本发明提供的一个装置实施例中，所述装置还包括：

第二发送模块，用于在将所述日志数据分批发送之前，发送将所述数据分批进行下载的提示信息；

接收模块，用于接收对所述提示信息的确认操作；

其中，所述第一发送模块204在接收到所述确认操作后，再执行所述将所述日志数据分批发送的操作。

在本发明提供的一个装置实施例中，所述装置还包括：

第二获取模块，用于在将所述日志数据分批发送之前，获取所述客户端下载所述日志数据所使用的网络带宽信息；

第二确定模块，用于根据所述网络带宽的大小，确定所述日志数据的分批次数以及每次发送的数据量；

其中，所述第一发送模块204按照确定的分批次数以及每批发送的数据量，将所述日志数据发送出去。

在本发明提供的一个装置实施例中，所述装置还包括：

第三获取模块，用于在将所述日志数据分批发送之前，获取所述客户端下载所述日志数据所使用的网络带宽的占用状态；

控制模块，用于在上一批日志数据发送完成后，根据所述网络带宽的状态，控制每批日志数据的发送时间；

其中，所述第一发送模块204在确定的发送时间，将对应的批次的日志数据发送出去。

本发明提供的装置实施例，当接收到客户端发送的日志下载请求后，获取所述下载请求对应的日志数据，与现有技术直接将日志数据下发给客户端不同的是，本发明首先确定所述日志数据的数据量的大小，并将所述日志数据的数据量与预先设置的数据量阈值进行比较，根据得到比较结果，确定是否将数据直接发送给客户端，在比较结果为大于所述数据量阈值，则将所述日志数据分批发送，降低卡死、请求超时、内存溢出等问题发生的概率，提升数据传输的稳定性。

本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现，所述计算机程序可以存储于一计算机可读存储介质中，所述计算机程序在相应的硬件平台上(如***、设备、装置、器件等)执行，在执行时，包括方法实施例的步骤之一或其组合。

可选地，上述实施例的全部或部分步骤也可以使用集成电路来实现，这些步骤可以被分别制作成一个个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

上述实施例中的各装置/功能模块/功能单元可以采用通用的计算装置来实现，它们可以集中在单个的计算装置上，也可以分布在多个计算装置所组成的网络上。

上述实施例中的各装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。

Claims (10)

1.一种网络***中日志的管理方法，其特征在于，包括：

当接收到客户端发送的日志下载请求后，获取所述下载请求对应的日志数据；

确定所述日志数据的数据量的大小；

将所述日志数据的数据量与预先设置的数据量阈值进行比较，得到比较结果；

如果比较结果为大于所述数据量阈值，则将所述日志数据分批发送。

2.根据权利要求1所述的方法，其特征在于，所述确定所述日志数据的数据量的大小包括：

获取所述下载请求中所请求的保存格式；

按照所请求的保存格式，生成存储该日志数据的临时文件；

确定所述临时文件的数据量大小。

3.根据权利要求1所述的方法，其特征在于，所述将所述日志数据分批发送之前，所述方法还包括：

发送将所述数据分批进行下载的提示信息；

接收对所述提示信息的确认操作；

其中，在接收到所述确认操作后，再执行所述将所述日志数据分批发送的操作。

4.根据权利要求1或3所述的方法，其特征在于，所述将所述日志数据分批发送之前，所述方法还包括：

获取所述客户端下载所述日志数据所使用的网络带宽信息；

根据所述网络带宽的大小，确定所述日志数据的分批次数以及每次发送的数据量；

其中，所述将所述日志数据分批发送包括：

按照确定的分批次数以及每批发送的数据量，将所述日志数据发送出去。

5.根据权利要求4所述的方法，其特征在于，所述将所述日志数据分批发送之前，所述方法还包括：

获取所述客户端下载所述日志数据所使用的网络带宽的占用状态；

在上一批日志数据发送完成后，根据所述网络带宽的状态，控制每批日志数据的发送时间；

其中，所述将所述日志数据分批发送包括：

在确定的发送时间，将对应的批次的日志数据发送出去。

6.一种网络***中日志的管理装置，其特征在于，包括：

第一获取模块，用于当接收到客户端发送的日志下载请求后，获取所述下载请求对应的日志数据；

第一确定模块，用于确定所述日志数据的数据量的大小；

比较模块，用于将所述日志数据的数据量与预先设置的数据量阈值进行比较，得到比较结果；

第一发送模块，用于如果比较结果为大于所述数据量阈值，则将所述日志数据分批发送。

7.根据权利要求6所述的装置，其特征在于，所述确定模块包括：

获取单元，用于获取所述下载请求中所请求的保存格式；

生成单元，用于按照所请求的保存格式，生成存储该日志数据的临时文件；

确定单元，用于确定所述临时文件的数据量大小。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第二发送模块，用于在将所述日志数据分批发送之前，发送将所述数据分批进行下载的提示信息；

接收模块，用于接收对所述提示信息的确认操作；

其中，所述第一发送模块在接收到所述确认操作后，再执行所述将所述日志数据分批发送的操作。

9.根据权利要求6或8所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于在将所述日志数据分批发送之前，获取所述客户端下载所述日志数据所使用的网络带宽信息；

第二确定模块，用于根据所述网络带宽的大小，确定所述日志数据的分批次数以及每次发送的数据量；

其中，所述第一发送模块按照确定的分批次数以及每批发送的数据量，将所述日志数据发送出去。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

第三获取模块，用于在将所述日志数据分批发送之前，获取所述客户端下载所述日志数据所使用的网络带宽的占用状态；

控制模块，用于在上一批日志数据发送完成后，根据所述网络带宽的状态，控制每批日志数据的发送时间；

其中，所述第一发送模块在确定的发送时间，将对应的批次的日志数据发送出去。