CN113032355B - 一种Web应用批量收集日志的方法及装置 - Google Patents

Abstract

本发明公开了一种Web应用批量收集日志的方法及装置，所述方法包括如下步骤：步骤S1，实例化一日志容器；步骤S2，在Web应用运行过程中进行日志收集，对预先确定需要记录的状态信息进行收集整理，并写入日志容器；步骤S3，日志容器利用本地存储作为临时的日志存储空间，将日志文本暂时写入本地存储；步骤S4，遍历日志容器中的日志记录，将其导出为文本文件或导出至导出到日志分析服务器。

Description

一种Web应用批量收集日志的方法及装置

技术领域

本发明涉及Web应用开发技术领域，特别是涉及一种Web应用批量收集日志的方法及装置。

背景技术

目前，随着Web程序的功能结构日益复杂化，经常会发生用户在生产环境的使用过程中，遇到奇奇怪怪的bug。由于在生产环境中开发人员无法直接定位问题，这时候记录日志就非常有必要了。传统桌面应用中，日志一般是通过文件的形式保存在用户的硬盘上。但是，Web应用由于是运行在浏览器这样一个沙盒中，没有写入用户存储介质的权限。

现有的主流Web应用日志记录方式，普遍是通过监测异常状态，然后将异常数据通过http的方式发送到日志记录的服务器。对于这种日志记录方式，当日志比较密集的情况下，会频繁请求日志记录服务器，对Web应用的性能有一定的影响。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种Web应用批量收集日志的方法及装置，以实现定量收集日志的目的，降低日志记录对Web应用性能的影响。

为达上述目的，本发明提出一种Web应用批量收集日志的方法，包括如下步骤：

步骤S1，实例化日志容器以作为前端代码和本地存储之间通信的桥梁；

步骤S2，在Web应用运行过程中进行日志收集，对预先确定需要记录的状态信息进行收集整理，并写入日志容器；

步骤S3，日志容器利用本地存储作为临时的日志存储空间，将日志文本暂时写入本地存储；

步骤S4，遍历日志容器中的日志记录，将其导出为文本文件或导出至日志分析服务器。

优选地，于步骤S1中，实例化一个日志容器，根据需要配置日志记录数量限制、日志记录的格式、日志容器的大小限制。

优选地，于步骤S2之前，预先根据开发需求确定要记录哪些状态信息以及根据需求预先确定在程序的哪些过程中收集日志。

优选地，于步骤S2中，将收集的状态信息序列化为字符串的形式后写入所述日志容器。

优选地，所述日志容器提供接口由Web应用的主程序调用。

优选地，于步骤S3中，在写入日志之前，检查所述日志容器是否有剩余的空间可以写入日志，若没有，则将本地存储中最久的一批日志删除。

优选地，于步骤S4中，若要将日志记录导出为文本文件，首先实例化一个Blob对象，然后遍历所述日志容器中所有日志记录，将每一条日志写入该Blob对象，最后调用浏览器下载功能，按照文本文件的方式下载Blob对象。

优选地，若将日志记录导出至日志分析服务器，则遍历所述日志容器中所有日志记录，调用日志分析服务器的写入接口，将所有日志写入日志分析服务器。

优选地，根据时间、日志容器日志记录数、日志容器剩余字节数等设置条件来设置自动导出触发器，当触发导出动作后，遍历所述日志容器中所有日志记录，调用日志分析服务器的写入接口，将所有日志写入日志分析服务器。

为达到上述目的，本发明还提供一种Web应用批量收集日志的装置，包括：

日志容器实例化单元，用于实例化一个日志容器,以作为前端代码和本地存储之间通信的桥梁；

日志收集单元，用于在Web应用运行过程中进行日志收集，对预先确定需要记录的状态信息进行收集整理，并写入日志容器；

日志容器写入单元，用于利用本地存储作为临时的日志存储空间，将已序列化的日志文本暂时写入本地存储；

日志导出单元，用于遍历日志容器中的日志记录，将其导出为文本文件或导出至日志分析服务器。

与现有技术相比，本发明一种Web应用批量收集日志的方法及装置通过利用日志容器提供写入日志、读取日志、控制日志写入数量和大小等功能实现了定量收集日志的目的，由用户主动上报至日志收集服务器，或者导出为文本文件，甚至可以根据不同的触发方式自动收集日志，从而降低了日志记录对Web应用性能的影响。

附图说明

图1为本发明中Web应用、日志容器和本地存储localStorage之间的关系图；

图2为本发明一种Web应用批量收集日志的方法的步骤流程图；

图3为本发明一种Web应用批量收集日志的装置的***架构图；

图4为本发明实施例中日志收集的流程图；

图5为本发明实施例中日志导出的示意图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

在介绍本发明之前，先说明本发明所涉及的几个概念：

1、主程序，本发明中指在web运行的程序；

2、日志容器：本发明提供前端代码和本地存储localStorage之间通信的桥梁，提供写入日志、读取日志、控制日志写入数量和大小等功能，日志容器需要实例化后才能使用，本发明通过JavaScript实现日志容器；

3、本地存储localStorage：为浏览器的基本功能之一，可以在本地保存字符形式的数据。在本发明中，本地存储localStorage是日志的临时存放位置。

日志容器与本地存储localStorage之间的调用方式可以参考图1。

图2为本发明一种Web应用批量收集日志的方法的步骤流程图。如图2所示，本发明一种Web应用批量收集日志的方法，包括如下步骤：

步骤S1，实例化一个日志容器作为前端代码和本地存储localStorage之间通信的桥梁。

首先，通过JavaScript实现一个日志容器，以提供写入日志、读取日志以及控制日志写入数量和大小等功能，然后实例化一个日志容器，并根据需要配置一些基本限制，例如日志记录数量限制、日志记录的格式、日志容器的大小限制等等。

步骤S2，在Web应用运行过程中进行日志收集，对预先确定需要记录的状态信息进行收集整理，并写入日志容器。在本发明具体实施例中，将收集的状态信息序列化为字符串的形式后写入日志容器。

在本发明中，所述日志容器相当于是Web应用主程序和本地存储localstorage之间的桥梁，它可以提供友好的接口和丰富的功能来供Web应用的主程序调用，主程序对预先确定需要记录的状态信息进行收集整理后写入所述日志容器中。

具体地，首先需要预先根据开发需求确定要记录哪些状态信息，并根据需求预先确定在程序的哪些过程中收集日志；最后，将状态信息序列化为字符串的形式写入日志容器。

步骤S3，日志容器利用本地存储localstorage作为临时的日志存储空间，将已序列化的日志文本暂时写入本地存储localStorage。

优选地，在写入日志之前，检查日志容器是否有剩余的空间可以写入日志，如果没有，则将本地存储localStorage中最久的一批日志删除，这里一批的数量可以是一条，也可以是若干条，或者一周前的，若干天前的，可根据使用场景自由配置。具体地说，由于日志容器底层使用的本地存储localStorage有大小限制，因此日志容器相应的，也有写入内容大小的限制，因此，在写入日志之前，需要检查日志容器是否有剩余的空间可以写入日志，如果没有，则将本地存储localStorage中最久的一批日志删除。

主程序将序列化之后的日志记录写入日志容器，在写入的过程中，日志容器将日志记录暂存在本地存储localStorage中。序列化之后的日志记录为一段字符，而经过日志容器剩余空间的检查，已经可以确保日志容器有剩余空间，因此，直接将新的日志记录写入日志容器，即暂存至本地存储localStorage。

需说明的是，本发明中的本地存储localStorage只是日志容器临时保存内容的地方。在本发明中，他和主程序没有任何交互的操作。主程序对日志功能的操作都是调用日志容器的接口，只是日志容器具体实现时，会在底层调用localStorage来协助保存内容。

步骤S4，遍历日志容器中的日志记录，将其导出为文本文件或导出至日志分析服务器。

具体地，若将其导出为文本文件，首先实例化一个Blob对象，然后遍历日志容器中所有日志记录，将每一条日志写入该Blob对象，最后调用浏览器下载功能，按照文本文件的方式下载Blob对象。

若要将其导出至日志分析服务器，则遍历日志容器中所有日志记录，调用日志分析服务器的写入接口，将所有日志写入日志分析服务器。

优选地，在本发明中，还可以设置自动导出触发器，所述自动导出触发器可以根据时间、日志容器日志记录数、日志容器剩余字节数等设置条件来设置，当触发导出动作后，则遍历日志容器中所有日志记录，调用日志分析服务器的写入接口，将所有日志写入日志分析服务器。

可见，本发明通过日志容器对程序运行过程中的日志收集后集中导出，而不是一条一条处理，与传统的web日志收集方式相比(传统web日志收集方式对于运行过程中产生的日志，需要发送日志服务器去保存，N条则要发送N次)，本发明通过日志容器收集日志，不会立即去发送到日志服务器，而是保存在本地，只有在按照设定的触发方式触发之后，才会发送到日志服务器，因此，N条日志只需要远小于N次就可以发送到日志服务器，不仅如此，本发明还可以将日志导出成文件，这都是传统的日志收集方式无法做到的。

图3为本发明一种Web应用批量收集日志的装置的***架构图。如图3所示，本发明一种Web应用批量收集日志的装置，包括：

日志容器实例化单元101，用于实例化一个日志容器作为前端代码和本地存储localStorage之间通信的桥梁。

首先，日志容器实例化单元101通过JavaScript实现一个日志容器，以实现写入日志、读取日志的功能，然后需要实例化一个日志容器，根据需要配置一些基本限制，日志记录数量限制、日志记录的格式、日志容器的大小限制等等。

日志收集单元102，用于在Web应用运行过程中进行日志收集，对预先确定需要记录的状态信息进行收集整理，并写入日志容器。在本发明具体实施例中，将收集的状态信息序列化为字符串的形式后写入日志容器。

在本发明中，所述日志容器相当于是Web应用主程序和本地存储localstorage之间的桥梁，它可以提供友好的接口和丰富的功能来供Web应用的主程序调用，日志收集单元102通过主程序对预先确定需要记录的状态信息进行收集整理后写入所述日志容器中。

也就是说，首先需要预先根据开发需求确定要记录哪些状态信息，并根据需求预先确定在程序的哪些过程中收集日志；最后，将状态信息序列化为字符串的形式。

日志容器写入单元103，用于利用本地存储localstorage作为临时的日志存储空间，将已序列化的日志文本暂时写入本地存储localStorage。

优选地，在写入日志之前，检查日志容器是否有剩余的空间可以写入日志，如果没有，则将本地存储localStorage中最久的一批日志删除。具体地说，由于日志容器底层使用的本地存储localStorage有大小限制，因此日志容器相应的，也有写入内容大小的限制，因此，在写入日志之前，需要检查日志容器是否有剩余的空间可以写入日志，如果没有，则将本地存储localStorage中最久的一批日志删除。

主程序将序列化之后的日志记录写入日志容器，在写入的过程中，日志容器写入单元103将日志记录暂存在本地存储localStorage中。序列化之后的日志记录为一段字符，而经过日志容器剩余空间的检查，已经可以确保日志容器有剩余空间，因此，日志容器写入单元103直接将新的日志记录写入日志容器，即暂存至本地存储localStorage。

日志导出单元104，用于遍历日志容器中的日志记录，将其导出为文本文件或导出至日志分析服务器。

具体地，若将其导出为文本文件，日志导出单元104首先实例化一个Blob对象，然后遍历日志容器中所有日志记录，将每一条日志写入该Blob对象，最后调用浏览器下载功能，按照文本文件的方式下载Blob对象。

若要将其导出至日志分析服务器，日志导出单元104则遍历日志容器中所有日志记录，并调用日志分析服务器的写入接口，将所有日志写入日志分析服务器。

优选地，在本发明中，还可以设置自动导出触发器，所述自动导出触发器可以根据时间、日志容器日志记录数、日志容器剩余字节数等设置条件来设置，当触发导出动作后，日志导出单元104则遍历日志容器中所有日志记录，调用日志分析服务器的写入接口，将所有日志写入日志分析服务器。

实施例

在本实施例中，一种Web应用批量收集日志的方法的过程如下：

步骤一：初始化

初始化日志容器需要实例化一个日志容器，根据需要配置一些基本限制，日志记录数量限制、日志记录的格式、日志容器的大小限制等等。

步骤二：日志收集

日志收集，是指在程序运行的过程中，将一些状态信息整理收集，并写入到日志***，即日志容器中。

首先需要根据开发需要确定要记录哪些状态信息；其次，要确定在程序的哪些过程中收集日志，即程序什么时候收集日志，收集哪些日志；最后，将状态信息序列化为字符串的形式。收集过程可以参考图4。

步骤三：日志写入

本发明是利用localStorage作为临时的日志存储空间，因此在本步骤中，将步骤二中已序列化的日志文本写入localStorage：

1、检查日志容器是否已满

由于日志容器底层使用的localStorage有大小限制，因此日志容器相应的，也有写入内容大小的限制。这一步要检查日志容器是否有剩余的空间可以写入日志，如果没有，则将最久的一批日志删除；

2、将序列化之后的日志记录写入日志容器，日志记录由主程序写入日志容器，写入的过程中，日志容器会将内容暂存在localStorage中。序列化之后的日志记录为一段字符，而经过步骤1的检查，已经可以确保日志容器有剩余空间，因此，直接将新的日志记录写入容器。

步骤四：日志导出

在本实施例中，日志导出的场景主要有三种，可参考图5：

场景一、导出为文本文件

场景二、导出到日志分析服务器

场景三、自动导出到日志分析服务器

针对场景一：导出到文本文件，具体实施步骤如下：

步骤1，实例化一个Blob对象；

步骤2，遍历日志容器中所有日志记录，将每一条日志写入该Blob对象；

步骤3，调用浏览器下载功能，按照文本文件的方式下载Blob对象。

针对场景二：导出到日志分析服务器，具体实施步骤如下：

步骤1，遍历日志容器中所有日志记录。

步骤2，调用日志分析服务器的写入接口，将所有日志写入日志分析服务器。

针对场景三：自动导出到日志分析服务器，具体实施步骤如下：

步骤1，设置自动导出触发器：触发器可以根据时间、日志容器日志记录数、日志容器剩余字节数等设置条件来设置；

步骤2，触发导出动作后，遍历日志容器中所有日志记录；

步骤3，调用日志分析服务器的写入接口，将所有日志写入日志分析服务器。

综上所述，本发明一种Web应用批量收集日志的方法及装置通过利用日志容器提供写入日志、读取日志、控制日志写入数量和大小等功能实现了定量收集日志的目的，由用户主动上报至日志收集服务器，或者导出为文本文件，甚至可以根据不同的触发方式自动收集日志，从而降低了日志记录对Web应用性能的影响。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种Web应用批量收集日志的方法，包括如下步骤：

步骤S1，实例化一日志容器以作为前端代码和本地存储之间通信的桥梁；

步骤S2，在Web应用运行过程中进行日志收集，对预先确定需要收集记录的状态信息进行收集整理，并写入日志容器；

步骤S3，日志容器利用本地存储作为临时的日志存储空间，将日志文本暂时写入本地存储；

步骤S4，遍历日志容器中的日志记录，将其导出为文本文件或导出至日志分析服务器。

2.如权利要求1所述的一种Web应用批量收集日志的方法，其特征在于，于步骤S1中，实例化一个日志容器，根据需要配置日志记录数量限制、日志记录的格式以及日志容器的大小限制。

3.如权利要求2所述的一种Web应用批量收集日志的方法，其特征在于：于步骤S2之前，预先根据开发需求确定要记录哪些状态信息以及根据需求预先确定在程序的哪些过程中收集日志。

4.如权利要求3所述的一种Web应用批量收集日志的方法，其特征在于：于步骤S2中，将收集的状态信息序列化为字符串的形式后写入所述日志容器。

5.如权利要求4所述的一种Web应用批量收集日志的方法，其特征在于：所述日志容器提供接口由Web应用的主程序调用。

6.如权利要求5所述的一种Web应用批量收集日志的方法，其特征在于：于步骤S3中，在写入日志之前，检查所述日志容器是否有剩余的空间可以写入日志，若没有，则将本地存储中最久的一批日志删除。

7.如权利要求6所述的一种Web应用批量收集日志的方法，其特征在于：于步骤S4中，若要将日志记录导出为文本文件，首先实例化一个Blob对象，然后遍历所述日志容器中所有日志记录，将每一条日志写入该Blob对象，最后调用浏览器下载功能，按照文本文件的方式下载Blob对象。

8.如权利要求6所述的一种Web应用批量收集日志的方法，其特征在于：若将日志记录导出至日志分析服务器，则遍历所述日志容器中所有日志记录，调用日志分析服务器的写入接口，将所有日志写入日志分析服务器。

9.如权利要求6所述的一种Web应用批量收集日志的方法，其特征在于：根据时间、日志容器日志记录数、日志容器剩余字节数设置条件来设置自动导出触发器，当触发导出动作后，遍历所述日志容器中所有日志记录，调用日志分析服务器的写入接口，将所有日志写入日志分析服务器。

10.一种Web应用批量收集日志的装置，包括：

日志容器实例化单元，用于实例化一个日志容器,以作为前端代码和本地存储之间通信的桥梁；

日志收集单元，用于在Web应用运行过程中进行日志收集，对预先确定需要记录的状态信息进行收集整理，并写入日志容器；

日志容器写入单元，用于利用本地存储作为临时的日志存储空间，将已序列化的日志文本暂时写入本地存储；

日志导出单元，用于遍历日志容器中的日志记录，将其导出为文本文件或导出至日志分析服务器。

Images