CN111984618A

CN111984618A - 日志压缩方法和装置

Info

Publication number: CN111984618A
Application number: CN202010842915.2A
Authority: CN
Inventors: 车晓瑶; 王建华
Original assignee: Beijing Kingbase Information Technologies Co Ltd
Current assignee: Beijing Kingbase Information Technologies Co Ltd
Priority date: 2020-08-20
Filing date: 2020-08-20
Publication date: 2020-11-24

Abstract

本申请提供一种日志压缩方法和装置，日志压缩方法包括：将新生成的日志写入到内存中的日志缓冲区；在日志缓冲区填满的情况下，对日志缓冲区暂存的日志进行压缩，得到压缩日志文件；存储压缩日志文件，并清空日志缓冲区。本申请提供的日志压缩方法，将新生成的日志存储在内存的日志缓冲区，在日志缓冲区被填满后即对其存储的日志进行压缩、得到压缩日志文件，再将压缩日志文件存储到存储器中。因为仅在存储压缩日志时调用IO进程，所以无需如现有技术一样多次使用IO进程。因为压缩日志文件是已经被压缩的文件，占用IO进程时IO进程执行压缩日志文件存储的时间也较短。

Description

日志压缩方法和装置

技术领域

本申请涉及计算机数据处理技术领域，尤其涉及一种日志压缩方法和装置。

背景技术

在数据库运行而向外部提供服务时，服务器会记录各种操作行为而形成日志。在长时间运行、并且触发操作频繁的情况下，服务器会形成海量日志文件；日志文件存储在服务器硬盘中而消耗大量硬盘资源，并且为实现日志写入硬盘，需要频繁占用硬盘的IO服务，挤占正常业务对硬盘IO服务的使用。

为解决日志存储占用大量资源、影响服务器操作的问题，目前已有的方法是定期的对存储在硬盘中的累积的日志文件进行压缩，存储并压缩后文件。而对存储在硬盘中的大量日志文件进行压缩，需要占用硬盘进行读数据操作和占用硬盘进行写数据操作(也就是IO操作)；对大量日志文件存储后进行压缩将短时间内占用大量CPU资源而减小服务器对正常业务的处理及时性。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种日志压缩方法和装置。

一方面，本申请提供一种日志压缩方法，包括：

将新生成的日志写入到内存中的日志缓冲区；

在所述日志缓冲区填满的情况下，对所述日志缓冲区暂存的日志进行压缩，得到压缩日志文件；

存储所述压缩日志文件，并清空所述日志缓冲区。

所述日志缓冲区包括多个缓冲子区；

将新生成的日志写入到内存中的日志缓冲区包括：将新生成的、不同类型的日志写入到不同的所述缓冲子区，或者，将新生成的、不同应用对应的日志写入到不同的所述缓冲子区；

在所述日志缓冲区填满的情况下，对所述日志缓冲区暂存的日志进行压缩包括：在任一缓冲子区填满的情况下，对所述任一缓冲子区暂存的日志进行压缩；

所述清空所述日志缓冲区包括：清空所述缓冲子区。

同时开启多个压缩处理进程或者压缩处理线程；

在任一缓冲子区填满的情况下，对所述任一缓冲子区暂存的日志进行压缩，包括：使用一处于空闲状态的所述压缩处理进程或者所述压缩处理线程，对所述任一缓冲子区暂存的日志进行压缩。

还包括：

根据所述缓冲子区的数量和日志产生的速率，确定开启的所述压缩处理进程或者所述压缩处理线程的数量。

存储所述压缩日志文件，包括：采用一个IO进程存储所述压缩日志文件。

一种日志压缩装置，包括：

日志缓存单元，用于将新生成的日志写入到内存中的日志缓冲区；

日志压缩单元，用于在所述日志缓冲区填满的情况下，对所述日志缓冲区暂存的日志进行压缩，得到压缩日志文件；

存储单元，用于存储所述压缩日志文件；

日志清空单元，用于在所述存储单元存储所述压缩日志文件后，清空所述日志缓冲区。

所述日志缓冲区包括多个缓冲子区；

所述日志缓存单元将新生成的、不同类型的日志写入到不同的所述缓冲子区，或者，将新生成的、不同应用对应的日志写入到不同的所述缓冲子区；

所述日志压缩单元在任一缓冲子区填满的情况下，对所述任一缓冲子区暂存的日志进行压缩；

所述日志清空单元在所述存储单元存储所述压缩日志文件后清空所述日志缓冲子区。

所述日志压缩单元同时开启多个压缩处理进程或者压缩处理线程，以及，

使用一处于空闲状态的所述压缩处理进程或者所述压缩处理线程，对所述任一缓冲子区暂存的日志进行压缩。

本申请提供的日志压缩方法，将新生成的日志存储在内存日志缓冲区，在日志缓冲区被填满后即对其存储的日志进行压缩、得到压缩日志文件，再将压缩日志文件存储到存储器中。因为仅在存储压缩日志时调用IO进程，所以无需如现有技术一样多次使用IO进程。因为压缩日志文件是已经被压缩的文件，其文件尺寸相对较小，在占用IO 进程时IO进程执行压缩日志文件存储的时间也较短，单次日志压缩可以占用较小的CPU使用时间，减小对正常业务处理的影响，满足了服务器对正常业务处理的及时性需求。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的日志压缩方法的流程图；

图2是本申请实施例提供的日志压缩装置的结构示意图；

图3是本申请实施例提供的电子设备的结构示意图；

其中：11-日志缓存单元，12-日志压缩单元，13-存储单元，14-日志清空单元；21-处理器，22-存储器，23-通信接口，24-总线***。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

本申请实施例提供一种能够降低对存储器IO占用，同时能够减小在日志压缩时长时间占用CPU日志压缩方法；本申请实施例提供的日志压缩方法主要应用于短时间内即可能产生大量操作日志的服务器，以提高服务器的性能。

当然，本申请实施例中的日志压缩方法也可以应用在客户端设备，诸如个人用电脑等电子设备上；但是考虑到此类设备单次使用开机时间较短(此类设备一般不会处在长期带电运行状态)，并且每次开机使用时产生的操作日志量也较少，所以本申请实施例提供的日志压缩方法应用在此类设备上并不能有效地提高设备性能。

图1是本申请实施例提供的日志压缩方法的流程图。如图1所示，本申请实施例提供的日志压缩方法包括步骤S101-S104。

S101：将新生成的日志写入到内存中的日志缓冲区。

本申请实施例中，为了能够减小对存储器IO的占用，在内存中开设有专用的日志缓冲区；日志缓冲区是一仅能由写日志进程、日志压缩进程读取的缓冲区，并且写日志进程对日志缓冲区仅具有写权限、日志压缩进程对日志缓冲区具有读权限和删除权限，但没有改写权限。

在CPU根据操作生成新的日志后，CPU通过寻址确定日志缓冲区中尚未使用的内存地址，并将新生成的日志写入到尚未使用的内存地址中，以形成日志链表。

S102：判断日志缓冲区是否填满；若是，执行S103；若否，继续执行S101。

本申请实施例中，在每次执行S102后，服务器可以对日志缓冲区的填充状态做判断。

如果日志缓冲区已经被填满，此时日志缓冲区如果不被清空，将不能用于存储新生成的日志。根据生产作业要求，日志缓冲区中存储的日志在没有被存储的情况下并不能直接被清空，所以触发执行步骤 S103。

而如果日志缓冲区没有被填满，则此时还没有执行步骤S103的必要，还可以直接向未写入的内存地址写入随后生成的日志，因此继续执行S101。

S103：对日志缓冲区暂存的日志进行压缩，得到压缩日志文件。

步骤S103中，对日志缓冲区暂存的日志进行压缩，是读取缓冲的日志，并按照特定的压缩算法采用压缩进程对数据进行操作，得到压缩日志文件。

本申请实施例中，压缩算法可以采用zlib压缩函数库提供的压缩算法。用户可以根据日志的重要程度、存储器的存储容量以及服务器的CPU使用情况设定压缩级别(例如zlib中的1级至10级)，以能够在服务器性能损耗和存储空间占用量之间寻求最优。

S104：存储压缩日志文件，并清空日志缓冲区。

在步骤S103生成压缩日志文件后，服务器调用IO进程，将生成的压缩日志文件存储值存储器。

在压缩日志文件正确存储后，日志缓冲区中暂存的日志已经在存储器中备份，这些暂存的日志可以被清空，以使得日志缓冲区可以缓存新的日志。

本申请实施例提供的日志压缩方法，将新生成的日志存储在内存的日志缓冲区，在日志缓冲区被填满后即对其存储的日志进行压缩、得到压缩日志文件，再将压缩日志文件存储到存储器中。

因为仅在存储压缩日志时调用IO进程，所以无需如现有技术一样多次使用IO进程。因为压缩日志文件是已经被压缩的文件，其文件尺寸相对较小，在占用IO进程时IO进程执行压缩日志文件存储的时间也较短。

另外，因为是在日志缓冲区填满的情况下，即对其存储的日志进行压缩，而日志缓冲区的容量较小(常规应用中，日志缓冲区的容量在10M左右)，使得单次日志压缩可以占用较小的CPU使用时间，减小对正常业务处理的影响，满足了服务器对正常业务处理的及时性需求。

在本申请实施例一个具体应用中，为了能够精细化地实现日志的管理，日志缓冲区可以被划分为多个相互独立的缓冲子区。

对应地，步骤S101将新生成的日志写入到日志缓冲区可以为：根据新生成日志的日志类型，将新生成的日志存储至对应的缓冲子区中。例如，在一个应用中，日志分为读日志、写日志、改写日志，缓冲子区可以分为写日志子区、改写日志子区或者缓冲子区。对应的新生成的日志被写入到对应的日志缓冲区中。

在本申请的其他实施例中，也可以根据应用的不同将日志缓冲划分缓冲子区，即不同的应用对应不同的缓冲子区，某一应用对应的日志被存储在对应的缓冲子区中。

基于前述日志缓冲区被划分为多个相互独立的缓冲子区的情况，本申请实施例中，步骤S103可以细化为：在任一缓冲子区填满的情况下，对此缓冲子区暂存的日志进行压缩。也就是说，只要有一缓冲子区被填满对应类型的日志，即对此缓冲子区进行压缩操作，而不考虑日志缓冲区中其他缓冲子区是否填满。

相应地，步骤S104中的清空日志缓冲区则被细化为，清空已经对其中日志进行压缩，并且存储对应压缩日志文件的缓冲子区。

在日志缓冲区可以被划分为多个相互独立的缓冲子区，并且每个缓冲子区独立地进行压缩的情况下，本申请实施例中的电子设备可以开启多个压缩处理进程，利用多个压缩处理进程执行对日志的压缩操作。

具体的，本申请实施例中，在任一缓冲子区填满的情况下，则以利用处在空闲状态的压缩处理进程对某一子缓存区存满的日志进行压缩处理操作。实际应用中，因为各个缓冲子区从清空到再次填满的时间比压缩处理进程压缩处理的时间长很多，所以压缩处理进程开启的数量可以比缓冲子区的数量少。

在本申请实施例具体应用中，可以根据缓冲子区的数量以及日志产生的速率，确定开启的压缩处理进程的数量。例如，在服务器数据处理量较小的情况下，可以终止部分已经创建的进程，仅保留一个压缩处理进程；而在服务器处在大数据吞吐的情况下，可以根据日志产生的速率，启动满足应用需求(例如保证各个缓冲子区能够快速的清空，而不会是的日志处在CPU的二级缓存中)数量的压缩处理进程。

在实际操作中，也可以由管理员根据服务器的应用情况设定压缩处理进程的数量，以根据运行的硬件设备和环境，实现服务器性能的最优化。

本申请实施例中，通过日志压缩进程对多个缓冲子区进行压缩时，可以使得各个日志压缩进程采用轮询的方式逐个地判断缓冲子区是否填满。如果日志压缩进程轮询确定某个缓冲子区已满，则为次标记此缓冲子区添加互斥锁，并开始对其中的日志进行压缩；其他处在空闲状态的日志压缩进程查看到某一缓冲子区处在锁定状态，则不会对此缓冲子区进行处理。

前述实施例中，服务器开启多个压缩处理进程用于对填满日志的缓冲子区中的日志进行压缩处理；在其他实施例中，服务器也可以开启一个或多个压缩处理进程，并在各个压缩处理进程中开启多个压缩处理线程对缓存子区暂存的日志进行压缩。

本申请具体应用中，压缩处理日志而生成压缩日志文件需要较长时间，而存储一个压缩日志文件的速率较快、存储时间相比于压缩时间很短，因此在本申请实施例中，可以仅开启一个IO进程存储压缩日志文件。

除了提供前述的日志压缩方法外，本申请实施例还挺一种日志压缩装置。日志压缩装置和日志压缩方法采用相同的发明构思。下文对本申请实施例提供的日志压缩装置的结构做介绍。

图2是本申请实施例提供的日志压缩装置的结构示意图。如图2 所示，本申请实施例提供的日志压缩装置包括日志缓存单元11、日志压缩单元12、存储单元13和日志清空单元14。

日志缓存单元11用于将新生成的日志写入到内存中的日志缓冲区。日志缓冲区是一仅能由日志缓存单元11、日志压缩单元12读取的缓冲区，并且日志缓存单元11对日志缓冲区仅具有写权限、日志压缩单元12对日志缓冲区具有读权限和删除权限，但没有改写权限。

在CPU根据操作生成新的日志后，日志缓存单元11通过寻址确定日志缓冲区中尚未使用的内存地址，并将新生成的日志写入到尚未使用的内存地址中。如果此时日志缓冲区处在锁定状态，则CPU可以将新产生的日志存储在内存中的其他缓冲区，或者直接存储在二级缓存中。

日志压缩单元12用于在日志缓冲区填满的情况下，对日志缓冲区暂存的日志进行压缩，得到压缩日志文件。本申请实施例中，日志压缩单元12可以采用zlib压缩函数库提供的压缩算法。用户可以根据日志的重要程度、存储器的存储容量以及服务器的CPU使用情况设定压缩级别(例如zlib压缩函数库中的1-10级)，以能够在服务器性能损耗和存储空间占用量之间寻求最优。

存储单元13用于存储压缩日志文件。本申请实施例中，存储单元13为设置在非易失性存储器上，以能够在设备掉电的情况下仍能存储压缩日志文件，保证压缩日志文件不丢失。

日志清空单元14用于在存储单元13存储压缩日志文件后，清空日志缓冲区。在压缩日志文件正确存储后，日志缓冲区中暂存的日志已经在存储器中备份，这些暂存的日志可以被清空，以使得日志缓冲区可以缓存新的日志。

本申请实施例提供的日志压缩装置，将新生成的日志存储在内存的日志缓冲区，在日志缓冲区被填满后即对其存储的日志进行压缩、得到压缩日志文件，再将压缩日志文件存储到存储器中。

本申请实施例的一个具体应用中，日志缓冲区包括多个缓冲子区。

对应的，日志缓存单元11可以将新生成的、不同类型的日志写入到不同的缓冲子区，或者，将新生成的、不同应用对应的日志写入到不同的缓冲子区。

在日志缓冲区包括多个缓冲子区，并且各个缓冲子区相互独立的情况下，日志压缩单元12在任一缓冲子区填满的情况下，对任一缓冲子区暂存的日志进行压缩。

另外，在日志缓冲区包括多个缓冲子区，并且各个缓冲子区相互独立的情况下，日志清空单元14在存储单元13存储压缩日志文件后清空日志缓冲子区。

在本申请实施例中，日志压缩单元12可以同时开启多个压缩处理进程或者压缩处理线程，并使用一处于空闲状态的压缩处理进程或者压缩处理线程，对任一缓冲子区暂存的日志进行压缩。

具体的，在任一缓冲子区填满的情况下，日志压缩单元12则查找一处在空闲状态的压缩处理进程，以利用此进程对某一子缓存区存满的日志进行压缩处理操作。

在某些应用条件下，因为各个缓冲子区从清空到再次填满的时间比压缩处理进程压缩处理的时间长很多，所以压缩处理进程开启的数量可以比缓冲子区的数量少。

实际应用中，日志压缩单元12可以根据缓冲子区的数量以及日志产生的速率，确定开启的压缩处理进程的数量。例如，在服务器处在数据处理量较小的情况下，日志压缩单元12可以终止部分已经创建的进程；而在服务器处在大数据吞吐的情况下，日志压缩单元12可以根据日志产生的速率，启动满足应用需求(例如保证各个缓冲子区能够快速的清空，而不会是的日志处在CPU的二级缓存中)数量的压缩处理进程。

本申请具体应用中，日志压缩单元12通过日志压缩进程对多个缓冲子区进行压缩时，可以使各个日志压缩进程采用轮询的方式逐个地判断缓冲子区是否填满。如果日志压缩进程轮询确定某个缓冲子区已满，则标记此缓冲子区处在锁定状态，并开始对其中的日志进行压缩；其他处在空闲状态的日志压缩进程查看到某一缓冲子区处在锁定状态，则不会对此缓冲子区进行处理。

本申请具体应用中，压缩处理日志而生成压缩日志文件需要较长时间，而存储一个压缩日志文件的速率较快、存储时间相比于压缩时间很短，因此在本申请实施例中，存储单元13的数量仅为一个(实质应中，存储单元被实例化为一个存储进程)。

除了提供前述的日志压缩方法和日志压缩装置外，本申请实施例还提供可以实现前述方法的电子设备。如前所述，电子设备多为服务器。

图3是本申请实施例提供的电子设备的结构示意图。如图3所示，第一服务器包括至少一个处理器21、至少一个存储器22和至少一个通信接口23。通信接口23，用于与外部设备之间的信息传输。

第一服务器中的各个组件通过总线***24耦合在一起。可理解地，总线***24用于实现这些组件之间的连接通信。总线***24除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图3中将各种总线都标为总线***24。

可以理解，本实施例中的存储器22可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。在一些实施方式中，存储器22存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作***和应用程序。

其中，操作***，包含各种***程序，例如框架层、核心库层、驱动层等，用于实现各种基础任务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器 (Browser)等，用于实现各种应用任务。实现本公开实施例提供的日志压缩方法的程序可以包含在应用程序中。

在本公开实施例中，处理器21通过调用存储器22存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器21用于执行本公开实施例提供的日志压缩方法的各个步骤。

本公开实施例提供的解决天窗问题的方法可以应用于处理器21 中，或者由处理器21实现。处理器21可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器21中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器21可以是通用处理器、数字信号处理器(Digital Signal Processor， DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本公开实施例提供的日志压缩方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器22，处理器21读取存储器22中的信息，结合其硬件完成方法的步骤。

本公开实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行日志压缩方法各实施例的步骤，为避免重复描述，在此不再赘述。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种日志压缩方法，其特征在于，包括：

将新生成的日志写入到内存中的日志缓冲区；

存储所述压缩日志文件，并清空所述日志缓冲区。

2.根据权利要求1所述的日志压缩方法，其特征在于，所述日志缓冲区包括多个缓冲子区；

所述清空所述日志缓冲区包括：清空所述缓冲子区。

3.根据权利要求2所述的日志压缩方法，其特征在于，同时开启多个压缩处理进程或者压缩处理线程；

4.根据权利要求3所述的日志压缩方法，其特征在于，还包括：

5.根据权利要求1-4任一项所述的日志压缩方法，其特征在于，

6.一种日志压缩装置，其特征在于，包括：

存储单元，用于存储所述压缩日志文件；

7.根据权利要求6所述的日志压缩装置，其特征在于，所述日志缓冲区包括多个缓冲子区；

8.根据权利要求7所述的日志压缩装置，其特征在于，

9.一种电子设备，其特征在于，包括处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至5任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至5任一项所述方法的步骤。