CN110222020B - 日志文件管理方法、装置、计算机设备及存储介质 - Google Patents

日志文件管理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110222020B
CN110222020B CN201910375485.5A CN201910375485A CN110222020B CN 110222020 B CN110222020 B CN 110222020B CN 201910375485 A CN201910375485 A CN 201910375485A CN 110222020 B CN110222020 B CN 110222020B
Authority
CN
China
Prior art keywords
log
host
log file
strategy
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910375485.5A
Other languages
English (en)
Other versions
CN110222020A (zh
Inventor
李巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910375485.5A priority Critical patent/CN110222020B/zh
Publication of CN110222020A publication Critical patent/CN110222020A/zh
Application granted granted Critical
Publication of CN110222020B publication Critical patent/CN110222020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及云监控技术领域，通过对日志文件管理实现日志监控。具体公开了一种日志文件管理方法、装置、设备及存储介质，该方法包括：通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息；根据所述磁盘的使用信息确定日志采集策略和日志压缩策略；根据确定的日志采集策略采集所述主机产生的日志文件；根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件；将所述压缩日志文件上传至预设的云端进行存储。该方法可以减小磁盘的存储空间，进而提高数据库***的运行效率。

Description

日志文件管理方法、装置、计算机设备及存储介质
技术领域
本申请涉及互联网技术领域，尤其涉及一种日志文件管理方法、装置、计算机设备及存储介质。
背景技术
在数据库***中，日志是事务对数据库进行的各种操作的记录，是撤销事务和出现故障时恢复事务的依据以及用于时候故障查询，因此有必要对日志进行管理。数据库***均包括多台主机，随着数据库***复杂性的增长，会产生大量日志文件，且大部分日志文件都是存在本地磁盘中，如果本地磁盘存满之后就不能写入日志，现有的方式只能手动处理或者自动删除，影响了日志管理效率，给日志文件管理的带来了不便，因此有必要提供一种日志文件管理方法以解决上述问题。
发明内容
本申请提供了一种日志文件管理方法、装置、计算机设备及存储介质，提高了日志文件管理效率，同时减小了磁盘的存储空间，进而提高数据库***的运行效率。
第一方面，本申请提供了一种日志文件管理方法，所述方法包括：
获取收集管理平台和日志采集组件的安装包；
根据所述安装包将所述收集管理平台安装在所述数据库***的其中一台主机中以及将所述日志采集组件安装在所述数据库***的所有主机中；
通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息；
根据所述磁盘的使用信息确定日志采集策略和日志压缩策略；
根据确定的日志采集策略采集所述主机产生的日志文件；
根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件；以及
将所述压缩日志文件上传至预设的云端进行存储。
第二方面，本申请还提供了一种日志文件管理装置，所述装置包括：
安装包获取单元，用于获取收集管理平台和日志采集组件的安装包；
安装设置单元，用于根据所述安装包将所述收集管理平台安装在所述数据库***的其中一台主机中以及将所述日志采集组件安装在所述数据库***的所有主机中；
信息获取单元，用于通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息；
策略获取单元，用于根据所述磁盘的使用信息确定日志采集策略和日志压缩策略；
文件采集单元，用于根据确定的日志采集策略采集所述主机产生的日志文件；
文件压缩单元，用于根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件；以及
上传存储单元，用于将所述压缩日志文件上传至预设的云端进行存储。
第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的日志文件管理方法。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的日志文件管理方法。
本申请公开了一种日志文件管理方法、装置、设备及存储介质，通过获取主机的磁盘的使用信息，根据该使用信息确定日志采集策略和日志压缩策略；根据确定的日志采集策略采集主机产生的日志文件；再根据确定的日志压缩策略对采集的日志文件进行压缩处理以得到压缩后的日志文件；将得到的压缩日志文件上传至预设的云端服务器进行存储。该方法可以自动对主机产生的日志文件进行保存处理，提高了日志管理效率，减小了磁盘空间，同时又提高了数据库***的运行效率。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的实施例提供的日志文件管理方法的应用场景示意图；
图2是本申请的实施例提供的一种日志文件管理方法的示意流程图；
图3是图1中的日志文件管理方法的子步骤示意流程图；
图4是图1中的日志文件管理方法的子步骤示意流程图；
图5是本申请的实施例提供的预设显示界面的效果示意图；
图6是本申请的实施例提供的另一种日志文件管理方法的示意流程图；
图7为本申请的实施例提供的一种日志文件管理装置的示意性框图；
图8为本申请的实施例提供的另一种日志文件管理装置的示意性框图；
图9为本申请的实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请的实施例提供了一种日志文件管理方法、日志文件管理装置、计算机设备及存储介质。其中，该日志文件管理方法可以应用于服务器中，以实现对数据库***的日志文件管理，通过减小磁盘的存储空间，进而提高数据库***的运行效率。
请参阅图1所示，图1是本申请的实施例提供的日志文件管理方法的应用场景示意图。该日志文件管理方法应用于数据库***中，该数据库***包括多台服务器，也称为主机，即主机1、主机2、...主机N，其中该服务器可以为独立的服务器，也可以为服务器集群。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图2，图2是本申请的实施例提供的一种日志文件管理方法的示意流程图。如图2所示，该日志文件管理方法具体包括步骤S101至S107。
S101、获取收集管理平台和日志采集组件的安装包。
首先，基于日志文件管理方法可以开发出日志归档收集工具，该日志归档收集工具包括收集管理平台和日志采集组件。其中，日志采集组件用于采集主机产生的日志文件；收集管理平台用于收集各个日志采集组件采集的日志文件。将开发完成的日志归档收集工具的安装包保存在其中一台主机中，比如图1的主机1中，当然也可以是其他主机中，该安装包包括收集管理平台的安装包和日志采集组件的安装包。
在一个实施例中，该收集管理平台还提供了界面功能，具体为Web显示界面，用于与用户交互完成相应的功能，该Web显示界面包括：显示哪些主机安装了日志采集组件、主机磁盘空间、设置日志采集策略、设置日志压缩策略、手动上传日志和自动定时上传日志等功能按钮等。
在一个实施例中，获取收集管理平台和日志采集组件的安装包，包括：从数据库***中保存有日志归档收集工具的主机中获取收集管理平台和日志采集组件的安装包，并将该主机设为管理主机，管理主机需要安装收集管理平台和日志采集组件。
相应地，数据库***中的其他主机也从该管理主机中获取收集管理平台和日志采集组件的安装包，包括：获取日志采集组件的安装包。因此数据库其他主机只需要获取日志采集组件的安装包，进而可以减小数据库***中的主机之间的数据传输，同时有提高了安装效率。
S102、根据所述安装包将所述收集管理平台安装在所述数据库***的其中一台主机中以及将所述日志采集组件安装在所述数据库***的所有主机中。
具体地，将收集管理平台安装在数据库***的其中任意一台主机(服务器)中，将日志采集组件安装在数据库***中所有的主机中，包括安装有收集管理平台的主机，即安装收集管理平台的主机也需要安装日志采集组件，用于收集主机产生日志文件，并发送给收集管理平台以便保存至云存储中。
在一个实施例中，为了提高日志归档收集工具的安装效率以及日志文件的采集效率，如图3所示，步骤S102具体包括以下内容：
S102a、根据所述收集管理平台的安装包将所述收集管理平台安装在所述数据库***的其中一台主机中，并将所述主机与其他主机建立通信连接；S102b、获取需要安装所述日志采集组件的主机对应的主机标识；S102c、根据所述主机标识将所述日志采集组件的安装包发送至所述主机标识对应主机以使所述主机根据所述安装包自动完成注册安装并将注册信息发送所述收集管理平台。
譬如，如图1所示，根据收集管理平台的安装包先将收集管理平台安装在主机1中，并建立该主机1与数据库***中的其他主机的通信连接，用户可在收集管理平台中添加需要进行日志管理的主机标识，即获取需要安装所述日志采集组件的主机对应的主机标识，比如需要安装日志采集组件的主机标识分别为主机2、主机3、主机4和主机6等等，当然可以更多或者全部的主机，主机标识可以为主机名，当然也可以主机IP地址或其他标识等。根据主机标识将日志采集组件的安装包发送到该主机标识对应的主机中，比如发送主机2和主机3中，主机2和主机3收到安装包(JAR包)完成自动安装。然后收集管理平台可以根据注册后的信息在页面功能的界面上显示主机的名称、目录以及目录的空间等。
S103、通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息。
其中，通过每个主机中安装的日志采集组件采集该主机的磁盘信息，其中该磁盘信息包括磁盘的基本信息和使用信息，基本信息包括磁盘大小、磁盘类型、磁盘品牌、磁盘型号、已使用空间和未使用空间等等。磁盘的使用信息包括主机的总磁盘空间、磁盘剩余空间、磁盘空间的使用率、每天磁盘空间的使用率、预设周期内日志文件所占磁盘空间大小等等。
具体地，磁盘的使用信息可以根据磁盘的基本信息进行计算得到，因此可由日志采集组件采集该主机的磁盘的基本信息，并根据该基本信息计算磁盘的使用信息，比如根据磁盘空间、已使用空间和未使用空间计算磁盘空间的使用率。通过日志采集组件计算磁盘的使用信息并发送至收集管理平台，由此可以提高日志管理效率。
S104、根据所述磁盘的使用信息确定日志采集策略和日志压缩策略。
其中，所述日志采集策略是指采用不同的采集规则采集主机产生的日志文件，其中不同的采集规则包括：按照时间采集、按照频率采集、按照应用程序采集或按照主机空闲率采集等等，按照时间采集比如按照每天采集一次、或者每小时采集一次，按照频率采集可以为每周采集3次等，按照应用程序采集可以为按照不同的应用程序进行采集，按照主机空闲率采集为在主机空闲时进行采集。
其中，所述日志压缩策略是指采用不同的压缩算法对压缩采集的日志文件，其中压缩算法包括：字典算法、固定位长算法、游程编码(Run Length Encoding，RLE)算法、霍夫曼编码算法、Lempel-Ziv算法和Snappy算法等。不同的算法压缩的方式以及速度均不相同。
具体地，根据所述磁盘的使用信息确定日志采集策略和日志压缩策略，是指根据所述磁盘的使用信息确定与磁盘的使用信息对应的日志采集策略和日志压缩策略，可以同时确定对应的日志采集策略和日志压缩策略，或者分别确定对应的日志采集策略和日志压缩策略。
比如，先确定对应的日志采集策略，再根据日志采集策略对应的日志压缩策略，为了提高日志处理效率，预先将日志采集策略与相应的日志压缩策略建立对应关系，再确定好日志采集策略之后根据该对应关系确定其对应的日志压缩策略。
在一个实施例中，为了提高日志文件的处理效率以及减小磁盘空间，步骤S104具体包括以下内容：根据所述磁盘的使用信息匹配所述磁盘的使用等级范围；根据使用等级范围与预设的日志采集策略以及日志压缩策略之间的对应关系，确定匹配的使用等级范围对应的日志采集策略以及日志压缩策略。
例如，如表1所示，如果所述磁盘的使用信息匹配所述磁盘的使用等级范围为等级范围Ⅱ，则可以根据表1快速地匹配到日志采集策略以及日志压缩策略，分别：按照应用程序采集和按照霍夫曼编码压缩。
表1为预设对应关系表
使用等级范围 日志采集策略 日志压缩策略
等级范围Ⅰ 按照时间采集 按照固定位长算法压缩
等级范围Ⅱ 按照应用程序采集 按照霍夫曼编码压缩
等级范围Ⅲ 按照主机空闲率采集 按照Snappy算法压缩
需要说明的是，表1只是一个示例，目的是为了更好地解释本申请，并不构成对本申请的限定，具体也可以为其他方式，比如，如果等级范围Ⅰ对应日志采集策略为按照时间采集，但其对应的日志压缩策略也可能是“按照Snappy算法压缩”。
在另一个实施例中，为了提高用户的体验度以及日志处理效率，如图4所示，步骤S104具体包括以下内容：
S104a、根据所述磁盘的使用信息确定对应的多个日志采集策略和多个日志压缩策略；S104b、通过预设显示界面显示多个所述日志采集策略和多个所述日志压缩策略以供用户选择；S104c、获取用户选择的日志采集策略和日志压缩策略。
具体地，首先根据所述磁盘的使用信息确定对应的多个日志采集策略和多个日志压缩策略，比如采用表1的对应关系，当然也可以采用其他方式。再通过预设显示界面预设显示界面显示多个所述日志采集策略和多个所述日志压缩策略以供用户选择。
例如，根据磁盘的使用信息确定对应的多个日志采集策略和多个日志压缩策略，多个日志采集策略分别为按照时间采集、按照应用程序采集和按照主机空闲率采集；多个日志压缩策略分别为按照固定位长算法压缩、按照霍夫曼编码压缩和按照Snappy算法压缩。
具体地，如图5所示，预设显示界面为下拉框，分别包括请下来选择日志采集策略框和请下来选择日志压缩策略，当然也可以为其他显示界面，在检测到用户点击下拉时通过该下拉框显示多个日志采集策略和多个日志压缩策略以供用户选择，比如用户选择了按照应用程序采集和按照Snappy算法压缩，则获取用户选择的按照应用程序采集和按照Snappy算法压缩分别作为确定的日志采集策略和日志压缩策略。
此外，磁盘的使用信息框中还可显示磁盘的使用信息具体内容，由此不仅可以提供日志文件的处理效率，还可以让用户了解更多关于主机的相关信息，进而增加用户的体验。
S105、根据确定的日志采集策略采集所述主机产生的日志文件。
譬如，确定的日志采集策略为按照时间采集，具体比如为按照小时采集或者按照天采集等，则通过日志采集组件按照时间采集，即每个一小时采集一次日志文件，或每天采集一次日志文件。再或者，确定的日志采集策略为按照主机空闲率采集，日志采集组件按照主机空闲率采集，即在主机处于空闲时采集日志文件。
S106、根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件。
譬如，确定的日志压缩策略为按照霍夫曼编码压缩，则对日志文件进行霍夫曼编码压缩处理以得到压缩日志文件；再比如，确定的日志压缩策略为按照Snappy算法压缩，则采用Snappy算法对日志文件压缩处理，进而得到压缩日志文件。
需要说明的是，根据确定的日志压缩策略对采集的日志文件进行压缩处理以得到压缩日志文件，可以由收集管理平台完成，也可以由日志采集组件完成，或由日志采集组件指令相应的主机完成。再或者，可以根据安装日志采集组件的主机的空闲率或者安装收集管理平台的主机的空闲率，决定是由日志采集组件完成，还是由收集管理平台完成。
在一个实施例中，所述根据所述磁盘的使用信息确定日志采集策略和日志压缩策略之后，还包括：将确定的日志压缩策略同步至每个主机的日志采集组件中；监测所述日志采集组件对应的主机是否处于空闲状态；若所述日志采集组件对应的主机处于空闲状态，则通过日志采集组件控制该主机执行步骤S106和S107，完成日志文件的管理。
相应地，所述监测该日志采集组件对应的主机是否处于空闲状态之后，还包括：若该日志采集组件对应的主机未处于空闲状态，将根据确定的日志采集策略采集的日志文件发送至收集管理平台的主机，由收集管理平台的主机执行步骤S106和S107，完成日志文件的管理。
S107、将所述压缩日志文件上传至预设的云端进行存储。
具体地，如图1所示，收集管理平台的主机将得到压缩日志文件发送至预设的云端(Cloud)进行保存，当然也可以由其他主机将压缩日志文件发送至预设的云端进行保存，由此完成了对日志文件的云存储，同时收集管理平台记录保存该日志文件的对应的记录信息，以便后续用户查询，进而还提高了用户的体验。
上述实施例的日志文件管理方法通过获取主机的磁盘的使用信息，根据该使用信息确定日志采集策略和日志压缩策略；根据确定的日志采集策略采集主机产生的日志文件；再根据确定的日志压缩策略对采集的日志文件进行压缩处理以得到压缩后的日志文件；将得到的压缩日志文件上传至预设的云端服务器进行存储。该方法可以自动对主机产生的日志文件进行保存处理，进而减小磁盘空间，同时又提高了数据库***的运行效率
请参阅图6，图6是本申请的实施例提供的另一种日志文件管理方法的示意流程图。如图6所示，该日志文件管理方法具体包括步骤S201至S210。
S201、获取收集管理平台和日志采集组件的安装包。
具体地，是指分别获取收集管理平台的安装和日志采集组件的安装包。其中，日志采集组件用于采集主机产生的日志文件；收集管理平台用于收集各个日志采集组件采集的日志文件。
S202、根据所述安装包将所述收集管理平台安装在所述数据库***的其中一台主机中以及将所述日志采集组件安装在所述数据库***的所有主机中，并在所述主机的内存设置第一缓冲区和第二缓冲区。
具体地，在安装收集管理平台和日志采集组件之后，在所述主机的内存设置第一缓冲区和第二缓冲区，并为第一缓冲去和第二缓冲区设置相应的状态标签，该状态标签包括工作状态和归档状态。
S203、通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息。
其中，通过每个主机中安装的日志采集组件采集该主机的磁盘信息，其中该磁盘信息包括磁盘的基本信息和使用信息，比如基本信息磁盘大小、磁盘类型、磁盘品牌、磁盘型号、已使用空间、未使用空间等等。磁盘的使用信息包括主机的总磁盘空间、磁盘剩余空间、磁盘空间的使用率、每天磁盘空间的使用率、预设周期内日志文件所占磁盘空间大小等等。
S204、根据所述磁盘的使用信息确定日志采集策略和日志压缩策略。
其中，所述日志采集策略是指采用不同的采集规则采集主机产生的日志文件，其中不同的采集规则包括：按照时间采集、按照频率采集、按照应用程序采集或按照主机空闲率采集等等。所述日志压缩策略是指采用不同的压缩算法对压缩采集的日志文件，其中压缩算法包括：字典算法、固定位长算法、游程编码(Run Length Encoding，RLE)算法、霍夫曼编码算法、Lempel-Ziv算法和Snappy算法等。
S205、检测所述第一缓冲区和第二缓冲区的状态信息，所述状态信息包括工作状态或归档状态。
其中，状态信息是指第一缓冲区和第二缓冲区的当前标签。在所述工作状态下的缓冲区用于记录日志，在所述归档状态的缓冲区用于归档日志。由此利用第一缓冲区和第二缓冲区可以提供日志文件的处理效率。
S206、判断所述状态信息是否满足预设条件。
具体地，判断所述状态信息是否满足预设条件，当判断结果为：所述第一缓冲区处于工作状态且所述第二缓冲区处于归档状态，或者，所述第一缓冲区处于归档状态且所述第二缓冲区处于工作状态，则判定所述状态信息满足所述预设条件；当判断结果为其他情况时，则判定所述状态信息不满足所述预设条件。
S207、根据确定的日志采集策略利用所述第一缓冲区和第二缓冲区采集所述主机产生的日志文件。
具体地，若所述状态信息满足所述预设条件，根据确定的日志采集策略利用所述第一缓冲区和第二缓冲区采集所述主机产生的日志文件。
S208、将所述第一缓冲区的状态调整为工作状态，且将所述第二缓冲区的状态调整为归档状态。
具体地，若所述状态信息不满足所述预设条件，将所述第一缓冲区的状态调整为工作状态，且将所述第二缓冲区的状态调整为归档状态，并返回执行步骤S207。
S209、根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件。
比如，确定的日志压缩策略为按照霍夫曼编码压缩，则对日志文件进行霍夫曼编码以实现对日志文件的压缩处理以得到压缩日志文件；再比如，确定的日志压缩策略为按照Snappy算法压缩，则采用Snappy算法对日志文件压缩处理，进而得到压缩日志文件。
S210、将所述压缩日志文件上传至预设的云端进行存储。
具体地，由收集管理平台的主机将得到压缩日志文件发送至预设的云端(Cloud)进行保存，由此完成了对日志文件的云存储，同时收集管理平台记录保存该日志文件的对应的记录信息，以便后续用户查询，进而还提高了用户的体验。
此外，步骤S210之后，还包括：删除采集的日志文件。由此可节省了主机本地的磁盘空间，提供数据库***的处理效率。
上述方法实施例的日志文件管理方法通过获取主机的磁盘的使用信息，根据该使用信息确定日志采集策略和日志压缩策略；根据确定的日志采集策略采集主机产生的日志文件时利用预设的第一缓冲区和第二缓冲区；再根据确定的日志压缩策略对采集的日志文件进行压缩处理以得到压缩后的日志文件；将得到的压缩日志文件上传至预设的云端服务器进行存储。该方法可以自动对主机产生的日志文件进行快速保存处理，进而减小磁盘空间，同时又提高了数据库***的运行效率。
请参阅图7，图7是本申请的实施例提供一种日志文件管理装置的示意性框图，该日志文件管理装置用于执行前述的日志文件管理方法。其中，该日志文件管理装置可以配置于服务器。
如图7所示，该日志文件管理装置300，包括：安装包获取单元301、安装设置单元302、信息获取单元303、策略获取单元304、文件采集单元305、文件压缩单元306和上传存储单元307。
安装包获取单元301，用于获取收集管理平台和日志采集组件的安装包。
安装设置单元302，用于根据所述安装包将所述收集管理平台安装在所述数据库***的其中一台主机中以及将所述日志采集组件安装在所述数据库***的所有主机中。
在一个实施例中，安装设置单元302，包括：安装建立子单元3021、标识获取子单元3022和组件安装子单元3023。
安装建立子单元3021，用于根据所述收集管理平台的安装包将所述收集管理平台安装在所述数据库***的其中一台主机中，并将所述主机与其他主机建立通信连接；标识获取子单元3022，用于获取需要安装所述日志采集组件的主机对应的主机标识；组件安装子单元3023，用于根据所述主机标识将所述日志采集组件的安装包发送至所述主机标识对应主机以使所述主机根据所述安装包自动完成注册安装并将注册信息发送所述收集管理平台。
信息获取单元303，用于通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息。
策略获取单元304，用于根据所述磁盘的使用信息确定日志采集策略和日志压缩策略。
在一个实施例中，策略获取单元304包括：策略确定子单元3041、界面显示子单元3042和选择获取子单元3043。
策略确定子单元3041，用于根据所述磁盘的使用信息确定对应的多个日志采集策略和多个日志压缩策略；界面显示子单元3042，用于通过预设显示界面显示多个所述日志采集策略和多个所述日志压缩策略以供用户选择；选择获取子单元3043，用于获取用户选择的日志采集策略和日志压缩策略。
文件采集单元305，用于根据确定的日志采集策略采集所述主机产生的日志文件；
文件压缩单元306，用于根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件；以及
上传存储单元307，用于将所述压缩日志文件上传至预设的云端进行存储。
请参阅图8，图8是本申请的实施例提供另一种日志文件管理装置的示意性框图，该日志文件管理装置用于执行前述的日志文件管理方法。其中，该日志文件管理装置可以配置于服务器。
如图8所示，该日志文件管理装置400，包括：安装包获取单元401、安装设置单元402、信息获取单元403、策略获取单元404、状态检测单元405、条件判断单元406、文件采集单元407、状态调整单元408、文件压缩单元409和上传存储单元410。
安装包获取单元401，用于获取收集管理平台和日志采集组件的安装包。
安装设置单元402，用于根据所述安装包将所述收集管理平台安装在所述数据库***的其中一台主机中以及将所述日志采集组件安装在所述数据库***的所有主机中，并在所述主机的内存设置第一缓冲区和第二缓冲区。
信息获取单元403，用于通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息。
策略获取单元404，用于根据所述磁盘的使用信息确定日志采集策略和日志压缩策略。
状态检测单元405，用于检测所述第一缓冲区和第二缓冲区的状态信息。
其中，所述状态信息包括工作状态或归档状态，在所述工作状态下的缓冲区用于记录日志，在所述归档状态的缓冲区用于归档日志。
条件判断单元406，用于判断所述状态信息是否满足预设条件。
具体用于：当所述第一缓冲区处于工作状态且所述第二缓冲区处于归档状态，或者，当所述第一缓冲区处于归档状态且所述第二缓冲区处于工作状态，则判定所述状态信息满足所述预设条件。
文件采集单元407，用于若所述状态信息满足所述预设条件，根据确定的日志采集策略利用所述第一缓冲区和第二缓冲区采集所述主机产生的日志文件。
状态调整单元408，用于若所述状态信息不满足所述预设条件，将所述第一缓冲区的状态调整为工作状态，且将所述第二缓冲区的状态调整为归档状态。
其中，状态调整单元408在执行完之后，在返回调用文件采集单元407继续执行。
文件压缩单元409，用于根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件。
上传存储单元410，用于将所述压缩日志文件上传至预设的云端进行存储。
此外，日志文件管理装置，还包括文件删除单元，该文件删除单元用于：删除采集的日志文件。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9，图9是本申请的实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器。
参阅图9，该计算机设备包括通过***总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作***和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种日志文件管理方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种日志文件管理方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
获取收集管理平台和日志采集组件的安装包；根据所述安装包将所述收集管理平台安装在所述数据库***的其中一台主机中以及将所述日志采集组件安装在所述数据库***的所有主机中；通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息；根据所述磁盘的使用信息确定日志采集策略和日志压缩策略；根据确定的日志采集策略采集所述主机产生的日志文件；根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件；将所述压缩日志文件上传至预设的云端进行存储。
在一个实施例中，所述处理器在实现所述根据所述安装包将所述收集管理平台安装在所述数据库***的其中一台主机中以及将所述日志采集组件安装在所述数据库***的所有主机中时，用于实现：
根据所述收集管理平台的安装包将所述收集管理平台安装在所述数据库***的其中一台主机中，并将所述主机与其他主机建立通信连接；获取需要安装所述日志采集组件的主机对应的主机标识；根据所述主机标识将所述日志采集组件的安装包发送至所述主机标识对应主机以使所述主机根据所述安装包自动完成注册安装并将注册信息发送所述收集管理平台。
在一个实施例中，所述处理器在实现所述根据所述磁盘的使用信息确定日志采集策略和日志压缩策略时，用于实现：
根据所述磁盘的使用信息匹配所述磁盘的使用等级范围；根据使用等级范围与预设的日志采集策略以及日志压缩策略之间的对应关系，确定匹配的使用等级范围对应的日志采集策略以及日志压缩策略。
在一个实施例中，所述主机的内存设有第一缓冲区和第二缓冲区；所述处理器在实现所述根据确定的日志采集策略采集所述主机产生的日志文件时，用于实现：
检测所述第一缓冲区和第二缓冲区的状态信息，所述状态信息包括工作状态或归档状态，在所述工作状态下的缓冲区用于记录日志，在所述归档状态的缓冲区用于归档日志；判断所述状态信息是否满足预设条件；若所述状态信息满足所述预设条件，根据确定的日志采集策略利用所述第一缓冲区和第二缓冲区采集所述主机产生的日志文件。
在一个实施例中，所述处理器在实现所述判断所述状态信息是否满足预设条件之后，还用于实现：
若所述状态信息不满足所述预设条件，将所述第一缓冲区的状态调整为工作状态，且将所述第二缓冲区的状态调整为归档状态。
在一个实施例中，所述处理器在实现所述判断所述状态信息是否满足预设条件时，用于实现：
当所述第一缓冲区处于工作状态且所述第二缓冲区处于归档状态，或者，当所述第一缓冲区处于归档状态且所述第二缓冲区处于工作状态，则判定所述状态信息满足所述预设条件。
在一个实施例中，所述处理器在实现所述将所述压缩日志文件上传至预设的云端进行存储之后，还用于实现：删除采集的日志文件。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项日志文件管理方法。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种日志文件管理方法，应用于数据库***，其特征在于，包括：
获取收集管理平台和日志采集组件的安装包；
根据所述安装包将所述收集管理平台安装在所述数据库***的其中一台主机中,以及将所述日志采集组件安装在所述数据库***的所有主机中；
通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息；
根据所述磁盘的使用信息匹配所述磁盘的使用等级范围；根据所述使用等级范围与预设的日志采集策略以及日志压缩策略之间的对应关系，确定匹配的所述使用等级范围对应的日志采集策略以及日志压缩策略，其中，在所述对应关系中，不同的所述使用等级范围对应不相同的所述日志采集策略，以及对应不相同的所述日志压缩策略，所述日志采集策略包括：按照时间采集、按照频率采集、按照应用程序采集或按照主机空闲率采集；所述日志压缩策略为采用不同的压缩算法压缩采集的日志文件，其中，所述压缩算法包括：字典算法、固定位长算法、游程编码算法、霍夫曼编码算法、Lempel-Ziv算法和Snappy算法；
根据确定的日志采集策略采集所述主机产生的日志文件；
根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件；
将所述压缩日志文件上传至预设的云端进行存储。
2.根据权利要求1所述的日志文件管理方法，其特征在于，所述根据所述安装包将所述收集管理平台安装在所述数据库***的其中一台主机中以及将所述日志采集组件安装在所述数据库***的所有主机中，包括：
根据所述收集管理平台的安装包将所述收集管理平台安装在所述数据库***的其中一台主机中，并将所述主机与其他主机建立通信连接；
获取需要安装所述日志采集组件的主机对应的主机标识；
根据所述主机标识将所述日志采集组件的安装包发送至所述主机标识对应主机以使所述主机根据所述安装包自动完成注册安装并将注册信息发送所述收集管理平台。
3.根据权利要求1所述的日志文件管理方法，其特征在于，所述主机的内存设有第一缓冲区和第二缓冲区；
所述根据确定的日志采集策略采集所述主机产生的日志文件，包括：
检测所述第一缓冲区和第二缓冲区的状态信息，所述状态信息包括工作状态或归档状态，在所述工作状态下的缓冲区用于记录日志，在所述归档状态的缓冲区用于归档日志；
判断所述状态信息是否满足预设条件；
若所述状态信息满足所述预设条件，根据确定的日志采集策略利用所述第一缓冲区和第二缓冲区采集所述主机产生的日志文件。
4.根据权利要求3所述的日志文件管理方法，其特征在于，所述判断所述状态信息是否满足预设条件之后，还包括：
若所述状态信息不满足所述预设条件，将所述第一缓冲区的状态调整为工作状态，且将所述第二缓冲区的状态调整为归档状态。
5.根据权利要求3所述的日志文件管理方法，其特征在于，所述判断所述状态信息是否满足预设条件，包括：
当所述第一缓冲区处于工作状态且所述第二缓冲区处于归档状态，或者，当所述第一缓冲区处于归档状态且所述第二缓冲区处于工作状态，则判定所述状态信息满足所述预设条件。
6.根据权利要求1所述的日志文件管理方法，其特征在于，所述将所述压缩日志文件上传至预设的云端进行存储之后，还包括：
删除采集的日志文件。
7.一种日志文件管理装置，应用于数据库***，其特征在于，包括：
安装包获取单元，用于获取收集管理平台和日志采集组件的安装包；
安装设置单元，用于根据所述安装包将所述收集管理平台安装在所述数据库***的其中一台主机中以及将所述日志采集组件安装在所述数据库***的所有主机中；
信息获取单元，用于通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息；
策略获取单元，用于根据所述磁盘的使用信息匹配所述磁盘的使用等级范围；根据所述使用等级范围与预设的日志采集策略以及日志压缩策略之间的对应关系，确定匹配的所述使用等级范围对应的日志采集策略以及日志压缩策略，其中，在所述对应关系中，不同的所述使用等级范围对应不相同的所述日志采集策略，以及对应不相同的所述日志压缩策略，所述日志采集策略包括：按照时间采集、按照频率采集、按照应用程序采集或按照主机空闲率采集；所述日志压缩策略为采用不同的压缩算法对压缩采集的日志文件，其中，所述压缩算法包括：字典算法、固定位长算法、游程编码算法、霍夫曼编码算法、Lempel-Ziv算法和Snappy算法；
文件采集单元，用于根据确定的日志采集策略采集所述主机产生的日志文件；
文件压缩单元，用于根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件；以及
上传存储单元，用于将所述压缩日志文件上传至预设的云端进行存储。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至6中任一项所述的日志文件管理方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至6中任一项所述的日志文件管理方法。
CN201910375485.5A 2019-05-07 2019-05-07 日志文件管理方法、装置、计算机设备及存储介质 Active CN110222020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910375485.5A CN110222020B (zh) 2019-05-07 2019-05-07 日志文件管理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910375485.5A CN110222020B (zh) 2019-05-07 2019-05-07 日志文件管理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110222020A CN110222020A (zh) 2019-09-10
CN110222020B true CN110222020B (zh) 2023-12-19

Family

ID=67820637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910375485.5A Active CN110222020B (zh) 2019-05-07 2019-05-07 日志文件管理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110222020B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990335B (zh) * 2019-12-06 2023-07-18 深圳前海微众银行股份有限公司 日志归档方法、装置、设备及计算机可读存储介质
CN111414613B (zh) * 2020-03-18 2023-12-26 杭州迪普科技股份有限公司 一种日志处理的方法和装置
CN111444154B (zh) * 2020-03-26 2020-11-27 涵涡智航科技(玉溪)有限公司 一种在单片机***中高效存储日志文件的方法
CN112988511B (zh) * 2021-03-12 2023-02-21 山东英信计算机技术有限公司 一种日志信息收集方法、***、存储介质及设备
CN117271469B (zh) * 2023-11-20 2024-02-02 新风光电子科技股份有限公司 一种储能电站储能数据分布式存储方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108306771A (zh) * 2018-02-09 2018-07-20 腾讯科技（深圳）有限公司 日志上报方法、装置及***
CN109491881A (zh) * 2018-11-01 2019-03-19 郑州云海信息技术有限公司 一种收集日志的方法、装置、设备及可读存储介质
CN109688207A (zh) * 2018-12-11 2019-04-26 北京云中融信网络科技有限公司 日志传输方法、装置及服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108306771A (zh) * 2018-02-09 2018-07-20 腾讯科技（深圳）有限公司 日志上报方法、装置及***
CN109491881A (zh) * 2018-11-01 2019-03-19 郑州云海信息技术有限公司 一种收集日志的方法、装置、设备及可读存储介质
CN109688207A (zh) * 2018-12-11 2019-04-26 北京云中融信网络科技有限公司 日志传输方法、装置及服务器

Also Published As

Publication number Publication date
CN110222020A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN110222020B (zh) 日志文件管理方法、装置、计算机设备及存储介质
US8868727B2 (en) Methods and computer program products for storing generated network application performance data
US20110145659A1 (en) Log collecting apparatus, program, method, and system
US20110225582A1 (en) Snapshot management method, snapshot management apparatus, and computer-readable, non-transitory medium
US8583783B1 (en) Method and system for adaptive recovery of heap memory
KR20120102664A (ko) 미래 사용 추정에 기반한 저장 메모리 할당
US20100185875A1 (en) Background service process for local collection of data in an electronic discovery system
CN103092938A (zh) 一种智能清理Android手机SD卡垃圾文件的方法
CN109002424B (zh) 文件格式转换方法、装置、计算机设备及存储介质
US20100107156A1 (en) Local collector
US20140143625A1 (en) Computer-readable recording medium, failure prediction device and applicability determination method
US11102289B2 (en) Method for managing resource state information and system for downloading resource
US20220327039A1 (en) Creating statistical analyses of data for transmission to servers
US20200319954A1 (en) Webpage loading method, webpage loading system and server
CN111176967A (zh) 一种远程带外ssd日志信息的查询方法、装置及bmc
US20150370626A1 (en) Recording medium storing a data management program, data management apparatus and data management method
CN113903389A (zh) 一种慢盘检测方法、装置及计算机可读写存储介质
JP5794063B2 (ja) 機器管理システム、障害管理装置、機器管理装置、障害管理プログラム、及び機器管理プログラム
CN111342986B (zh) 分布式节点管理方法及装置、分布式***、存储介质
CN114610567A (zh) 容器监控方法、网络设备及存储介质
JP2015035160A (ja) 監視データ記憶装置、監視データ記憶方法およびプログラム
JP2004178336A (ja) 運用管理システム、管理計算機、監視対象計算機、運用管理方法及びプログラム
US9933966B2 (en) Storage control device and computer system
CN114116275A (zh) 终端异常修复方法、装置、存储介质及电子设备
CN112925686A (zh) 数据采集方法、服务器、***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant