CN107402863B - 一种用于通过日志***处理业务***的日志的方法与设备 - Google Patents

一种用于通过日志***处理业务***的日志的方法与设备 Download PDF

Info

Publication number
CN107402863B
CN107402863B CN201710193819.8A CN201710193819A CN107402863B CN 107402863 B CN107402863 B CN 107402863B CN 201710193819 A CN201710193819 A CN 201710193819A CN 107402863 B CN107402863 B CN 107402863B
Authority
CN
China
Prior art keywords
log
aggregation
information
processing
service system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710193819.8A
Other languages
English (en)
Other versions
CN107402863A (zh
Inventor
曹锋
林江彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of CN107402863A publication Critical patent/CN107402863A/zh
Application granted granted Critical
Publication of CN107402863B publication Critical patent/CN107402863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/805—Real-time

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请的目的是提供一种用于通过日志***处理业务***的日志的方法与设备。具体地，获取所述业务***输出的日志信息，其中，所述日志***包含于所述业务***；对所述日志信息进行过滤处理；对经过滤处理的所述日志信息进行聚合处理；输出经聚合处理的所述日志信息。与现有技术相比，本申请中包含于业务***中的日志***获取业务***输出的日志信息并进行过滤处理，进而对经过滤的日志信息进行聚合处理，最终输出经聚合处理的所述日志信息，从而实现在业务***中对输出日志进行的实时聚合分析。

Description

一种用于通过日志***处理业务***的日志的方法与设备
技术领域
本申请涉及计算机领域，尤其涉及一种用于通过日志***处理业务***的日志的技术。
背景技术
随着大数据时代的来临，分布式计算环境应用广泛，业务***一般通过日志***分析和解决问题，但是随着业务***复杂度的升高，通过关键词或者等级划分的日志的过滤管理方法往往会导致重要的信息点被淹没在无效的日志中，且大量的日志分析以及输出会对中央处理器、存储介质等造成不可预测的压力，进而影响到共用该中央处理器以及存储介质的业务***的关键性能指标。因此，现有技术会采用增加中央处理器、存储介质等硬件性能或将日志***和分析聚合功能模块分离在其它硬件上进行分析的方法进行日志分析的方式对业务***的日志进行分析。
然而，现有技术借助外部***进行日志分析的方法，因需要将日志转送外部***因此存在一定的延时缺陷，且外部***的部署较为复杂，无法胜任快速分析问题的需求，在本***增加硬件性能则会导致成本上升，且在硬件负担较小时会造成资源浪费。
发明内容
本申请的一个目的是提供一种用于通过日志***处理业务***的日志的方法与设备，用以解决在业务***中合理利用资源对日志实时分析的问题。
为实现上述目的，本申请提供了一种用于通过日志***处理业务***的日志的方法，该方法解决了在业务***中合理利用资源对日志实时分析的问题，该方法包括：
获取所述业务***输出的日志信息，其中，所述日志***包含于所述业
务***；
对所述日志信息进行过滤处理；
对经过滤处理的所述日志信息进行聚合处理；
输出经聚合处理的所述日志信息。
为实现上述目的，本申请还提供了一种用于通过日志***处理业务***的日志的设备，该设备解决了在业务***中合理利用资源对日志实时分析的问题，该设备包括：
获取装置，用于获取所述业务***输出的日志信息，其中，所述日志系
统包含于所述业务***；
过滤装置，用于对所述日志信息进行过滤处理；
聚合装置，用于对经过滤处理的所述日志信息进行聚合处理；
输出装置，用于输出经聚合处理的所述日志信息。
为实现上述目的，本申请还提供了一种用于通过日志***处理业务***的日志的设备，包括：
处理器；
以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取所述业务***输出的日志信息，其中，所述日志***包含于所述业务***；
对所述日志信息进行过滤处理；
对经过滤处理的所述日志信息进行聚合处理；
输出经聚合处理的所述日志信息。
与现有技术相比，本申请中包含于业务***中的日志***获取业务***输出的日志信息并进行过滤处理，进而对经过滤的日志信息进行聚合处理，最终输出经聚合处理的所述日志信息，从而实现在业务***中对输出日志进行的实时聚合分析。进一步地，部署压力探针调整聚合计算和日志输出，支持用户在不干扰业务***的情况下对日志***进行调节，提升了日志***的灵活性，达到了实时分析日志、灵活利用资源的目的
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种用于通过日志***处理业务***的日志的方法流程图；
图2示出根据本申请一个优选实施例的步骤S3的方法流程图；
图3示出根据本申请另一个优选实施例的步骤S3的方法流程图；
图4示出根据本申请另一个优选实施例的步骤S4的方法流程图；
图5示出根据本申请另一个方面的一种用于通过日志***处理业务***的日志的设备示意图；
图6示出根据本申请另一个优选实施例的聚合装置的设备示意图；
图7示出根据本申请另一个优选实施例的聚合装置的设备示意图；
图8示出根据本申请另一个优选实施例的输出装置的设备示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
图1示出根据本申请一个方面的一种用于通过日志***处理业务***的日志的方法流程图。所述方法包括步骤S1、步骤S2、步骤S3以及步骤S4。
其中，在步骤S1中设备1获取所述业务***输出的日志信息，其中，所述日志***包含于所述业务***；在步骤S2中设备1对所述日志信息进行过滤处理；在步骤S3中设备1对经过滤处理的所述日志信息进行聚合处理；在步骤S4中设备1输出经聚合处理的所述日志信息。
具体地，在步骤S1中设备1获取所述业务***输出的日志信息，其中，所述日志***包含于所述业务***。其中，所述业务***是指产生日志并需要进行日志分析的业务程序或业务进程等进行业务运行的***。所述日志信息是指所述业务***所产生的需要分析日志以及日志相关的在分析时可能用的其它信息。所述日志***是指对日志进行过滤以及聚合计算分析等日志处理操作的***。在此，所述日志***包含于所述业务***，即所述日志***内嵌于业务程序中，例如，将日志***作为一个库函数写入业务***中，当需要使用日志***时以调用函数的方式对日志***进行调用，从而启动日志***的相关功能。获取所述业务***输出的日志信息是指日志***在业务程序的启动后，业务程序调用日志***将产生的日志信息进行输入，或日志***在业务程序产生日志信息后对日志信息主动进行获取，从而在第一时间对日志信息进行后续处理工作，因为日志***包含于业务***，因此可以实时获取日志信息进行处理，保障了日志处理的实时性。
本领域技术人员应能理解上述日志***包含于业务***的方式，及日志***获取日志信息的方式仅为举例，其他现有的或今后可能出现的日志***包含于业务***的方式，及日志***获取日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
接着，在步骤S2中设备1对所述日志信息进行过滤处理。其中，所述过滤处理是指日志***在获取业务***所输出的日志信息后对根据一定的预先设置条件对日志信息进行过滤，从而筛选出分析日志信息时所需要的相关信息，其中，过滤条件包括但不限于根据时间过滤、根据日志源过滤以及根据日志级别过滤，例如，根据时间过滤，只打印分钟内前30秒的日志；根据日志源过滤，只打印内部某个模块的日志；根据日志级别过滤，只打印ERROR级别以上的日志。通过设置条件进行过滤，使得后续进行聚合分析的日志信息数据更加明确有针对性。
本领域技术人员应能理解上述过滤日志信息的方式仅为举例，其他现有的或今后可能出现的过滤日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
接着，在步骤S3中设备1对经过滤处理的所述日志信息进行聚合处理。其中所述聚合处理是指通过聚合算法对日志信息进行相应的处理，聚合算法例如，针对日志信息中的关键词及其值的与、或、平均值、最大、最小、数量统计等，但不限于此。将过滤处理后的日志信息进行聚合处理即对日志进行了实时分析，从而获得日志信息的实时分析结果。优选地，对于日志信息聚合计算包括但不限于一种类型，可并发进行多种聚合算法分析，更优选地，根据用户设置对聚合算法进行选择，例如用户配置只针对A模块的日志打印log最多的前5条日志。因为日志***在业务***中直接获取日志并过滤处理无需转存至别的***或硬件介质进行聚合分析，故而通过聚合处理将获得日志信息的实时分析结果，避免了因转至其他***导致的延时。
本领域技术人员应能理解上述聚合处理日志信息的方式仅为举例，其他现有的或今后可能出现的聚合处理日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
接着，在步骤S4中设备1输出经聚合处理的所述日志信息。是指在聚合处理完成后的日志信息通过I/O也就是输入输出端口流控模块输出到存储介质或其它用户可查阅到的单元，例如输出至磁盘以供用户查看。通过将所述日志信息输出，可将日志实时分析结果反馈给用户，从而及时查阅、发现、解决相关的问题。
本领域技术人员应能理解上述输出日志信息的方式仅为举例，其他现有的或今后可能出现的输出日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
图2示出根据本申请一个优选实施例的步骤S3的方法流程图。所述步骤S3包括步骤S31以及步骤S32。
其中，在步骤S31中设备1根据设定聚合容器配置信息确定经过滤处理的所述日志信息对应的聚合容器；在步骤S32中设备1通过多个所述聚合容器对经过滤处理的所述日志信息进行并行聚合处理，其中，每个聚合容器包含一个或多个聚合分析单元。
具体地，在步骤S31中设备1根据设定聚合容器配置信息确定经过滤处理的所述日志信息对应的聚合容器。其中，所述聚合容器是指包含了可对日志信息进行分析的聚合算法的管理模块，每种聚合容器可提供固定的聚合算法对日志信息进行聚合处理。所述设定聚合容器配置信息是指根据用户或***初始设置进行配置的对日志信息进行聚合处理的方法，即根据设定集合容器配置信息为经过过滤处理后的日志信息选择其所进行处理的聚合容器的种类，其中，不同种类的聚合容器包含了不同的一种或多种聚合算法组合，例如根据用户指令配置只针对A模块的日志打印日志内容最多的前五条日志信息，则日志信息就放入有相应聚合处理功能的聚合容器中进行处理。将日志信息放入对应的聚合容器进行处理，使得日志信息的聚合处理可以根据用户意愿或***设置的希望方向进行相应的聚合分析计算，从而得出更准确的聚合处理结果。
优选地，对于日志***设置控制层模块，控制层模块主要对日志***进行日志信息的控制操作，例如，在业务***产生日志信息后调用控制层模块将日志信息输入日志***，获取日志信息后控制层模块对日志信息进行过滤，后控制***根据设定聚合容器配置信息将经过过滤处理后的日志信息放入对应的聚合容器中进行聚合处理，控制层模块的设置使得日志***的运转得到良好的调控。
本领域技术人员应能理解上述根据设定聚合容器配置信息确定日志信息处理对应的聚合容器的方式仅为举例，其他现有的或今后可能出现的根据设定聚合容器配置信息确定日志信息处理对应的聚合容器的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
接着，在步骤S32中设备1通过多个所述聚合容器对经过滤处理的所述日志信息进行并行聚合处理，其中，每个聚合容器包含一个或多个聚合分析单元。其中，聚合分析单元是指包含于聚合容器中的聚合算法，不同的聚合分析单元对应不同的聚合算法。在此，并行聚合处理是指通过多个聚合容器中的一个或多个聚合分析单元也就是聚合算法的组合对日志信息进行相应的聚合处理，例如，不同的聚合容器或算法属于不同的线程，同时调用对应的线程即可并发进行聚合处理。每个容器提供固定的聚合分析单元对日志信息进行聚合处理，这些聚合分析单元通过并发的方式进行聚合处理的方法包括但不限于：对相同源或不同源日志信息进行计算，包括关联合并、特殊规则的稀疏、去重、找出符合特定规则的排名前几的日志等，其中，不同源的日志信息是指在一个业务***中会分成不同粒度的模块，这些模块在内嵌过程中日志***会针对这些模块提供标识，稀疏是指比如规定某个日志计划每秒输出1000条日志信息，但是实际产生的日志信息量为每秒输出10000条日志信息，这个时候可以根据特殊规则稀疏来丢掉9/10的日志信息。优选地，当日志***设置控制层模块时，可由控制层模块将经过过滤处理后的日志信息放入对应的多个聚合容器中进行并发的聚合处理。通过不同聚合分析单元以并发的方式聚合处理日志信息，使得日志聚合处理的方式多样化，日志分析结果更加准确和丰富。
本领域技术人员应能理解上述实现多个聚合容器并发聚合处理日志信息的方式仅为举例，其他现有的或今后可能出现的实现多个聚合容器并发聚合处理日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
优选地，所述设备1还包括步骤S5(未示出)，其中，在步骤S5中设备1通过所述日志***中的压力探针获取所述业务***对应的资源压力信息，其中，所述压力探针随所述业务***启动被启动。其中，所述压力探针是指用于获取业务***中存储介质、中央处理器等硬件运行相关参数信息的功能模块，日志或业务***通过分析压力探针所获取的资源压力信息可获得业务***运行时的硬件压力情况。例如，压力探针定时获取磁盘、CPU中央处理器的压力情况，并给予日志***反馈。在此，所述业务***对应的资源压力信息为存储介质、中央处理器等会在日志***运行时所使用的模块性能信息，包括但不限于磁盘中的每秒请求数量，磁盘队列长度和磁盘的请求响应时间，中央处理器中的内核态使用率，用户态使用率。进一步地，在业务***启动后直接调用压力探针模块，从而对业务***对应的资源压力进行实时监测，使得业务***运行尤其在日志***运行后的资源压力被实时获取。
优选地，为便于日志***在内部各模块以及与外部进行通讯，可设置通讯层，提供远程通讯接口，在业务程序启动后，日志***的控制层模块即发送监听命令至通讯层，从而通过通讯层传递监听命令至压力探针从而定期监听业务***与日志***所用存储介质和中央处理器等共用模块的资源压力信息并反馈至控制层模块，其中，定期监听压力信息的时间可由用户设置或***进行初始设置。
通过压力探针可实时获取业务***对应的资源压力信息，从而检测到日志***在运行中对资源运行的影响，便于进一步进行分析和基于资源压力信息对日志***或业务***的运行进行相应调整。
本领域技术人员应能理解上述通过压力探针获取压力信息的方式仅为举例，其他现有的或今后可能出现的通过压力探针获取压力信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
进一步地，基于步骤S6，所述步骤S3以及所述步骤S4可根据所述压力探针所探测的所述业务***对应的资源压力信息对日志的聚合分析以及输出过程进行调节，具体如图3以及图4所示。
图3示出根据本申请另一个优选实施例的步骤S3的方法流程图。所述步骤S3中包括步骤S33以及步骤S34。
其中，在步骤S33中设备1根据所述业务***对应的资源压力信息确定日志聚合控制参数；在步骤S34中设备1根据所述日志聚合控制参数对经过滤处理的所述日志信息进行聚合处理。
具体地，在步骤S33中设备1根据所述业务***对应的资源压力信息确定日志聚合控制参数。其中，所述日志聚合控制参数是指会在聚合处理运行时影响业务***对应的资源压力的相关参数，包括但不限于计算频率、算法复杂度、聚合容器的数量、日志信息的处理速度以及粒度。当所述日志聚合控制参数变大或变小时，业务***对应的资源压力会随之改变。因此，当所获取的业务***对应的资源压力信息所反映的业务***对应资源压力变大时，可对资源压力信息进行分析，并确定相应的需要调节的日志聚合控制参数的值，从而减缓资源压力，例如，设置计算频率、算法复杂度、聚合容器的数量、日志信息的处理速度以及粒度等参数对应的调节阈值，对资源压力信息如中央处理器内核态使用率设置上下限阈值，当其上升至阈值以上，则代表业务***资源压力较大，则将日志聚合控制参数如聚合容器的数量下调。反之，当所获取的业务***对应的资源压力信息所反映的业务***对应资源压力变小时，例如***压力不大但是日志信息输出流量陡增的情况下，可对资源压力信息进行分析，并确定相应的需要调节的日志聚合控制参数的值，从而更好利用空闲资源，保证激增的日志信息被有效聚合。优选地，当资源压力需要调节时，相关调节信息可反馈至日志***控制层模块，由控制层模块对所述日志聚合控制参数进行调节，同时设置集合分析算法管理器对聚合容器进行管理，提供聚合容器并接受控制层模块发送的日志聚合控制参数的调节指令对聚合处理过程进行调节，从而减少对中央处理器的消耗，例如，对相同关键词的日志进行不同比例的值的合并，对相同值的日志进行特定的排序输出，能够输出符合特定规则的排名前几的类型的日志等。
通过确定日志聚合控制参数并适应性根据资源压力信息对日志聚合控制参数进行调节，在资源压力过大时适当减少日志***的操作，在资源空闲时则充分利用资源进行日志***的相应计算和操作，使得业务***对应的资源得到灵活利用。
接着，在步骤S34中设备1根据所述日志聚合控制参数对经过滤处理的所述日志信息进行聚合处理。即在根据业务***对应的资源压力对日志聚合控制参数进行调节后，日志***根据调节后的日志聚合控制参数，例如计算频率、算法复杂度、聚合容器的数量等，对日志信息进行聚合处理，使得聚合处理减少或增大，从而缓解资源压力或利用空闲资源的目的。
本领域技术人员应能理解上述通过确定日志聚合控制参数从而调节业务***对应资源压力的方式仅为举例，其他现有的或今后可能出现的通过确定日志聚合控制参数从而调节业务***对应资源压力的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
图4示出根据本申请另一个优选实施例的步骤S4的方法流程图。所述步骤S4中包括步骤S41以及步骤S42。
其中，在步骤S41中设备1根据所述业务***对应的资源压力信息确定日志输出控制参数；在步骤S42中设备1根据所述日志输出控制参数输出经聚合处理的所述日志信息。
具体地，在步骤S41中设备1根据所述业务***对应的资源压力信息确定日志输出控制参数。其中，所述日志输出控制参数是指会在日志输出时影响业务***对应的资源压力的相关参数，包括但不限于输出至相应存储或查询模块的方式，以及日志聚合处理的速度和粒度等。当业务***对应的资源压力信息反应的资源压力过大或过小，则确定需要调节的日志输出控制参数并进行调节。例如，磁盘每秒请求数量，磁盘队列长度，磁盘请求响应时间等参数上升，则代表资源压力较大，尤其是I/O过大，据此确定调节I/O读写的日志输出控制参数是改变日志输出方式，进而更改日志输出方式为延迟、批量、压缩或稀疏，其中，稀疏是指比如规定某个日志计划每秒输出1K条日志，但是实际产生的日志量为每秒输出10K条日志，这个时候可以根据特殊规则稀疏来丢掉9/10的日志。通过确定日志输出参数，使得日志输出可以灵活调节，日志输出对应的资源被灵活利用，避免日志***运行压力过大引发的资源被占用的情况。
接着，在步骤S42中设备1根据所述日志输出控制参数输出经聚合处理的所述日志信息。即根据所确定的日志输出控制参数对其进行调节，并根据调节后的日志输出控制参数进行日志信息的输出，接上文举例，即采用延迟、批量、压缩或稀疏的方式进行日志输出，从而减小I/O读写压力。优选地，在日志***中设置I/O流控模块，在调节日志输出控制参数时控制层模块将调节信息发送至I/O流控模块，从而通过I/O流控模块对磁盘的输出频率进行自动调节，从而减少对I/O存储介质的消耗。
本领域技术人员应能理解上述通过确定日志输出控制参数从而调节业务***对应资源压力的方式仅为举例，其他现有的或今后可能出现的通过确定日志输出控制参数从而调节业务***对应资源压力的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
优选地，所述设备1还包括步骤S6(未示出)，其中，在步骤S6中设备1在所述业务***运行期间，获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志***的日志处理参数。其中，所述用户提交的调整指令信息是指用户通过外部通讯接口对日志***的相关参数进行调节的指令。所述日志处理参数是指会对日志***的运行产生影响的相关参数。在此，用户提交调整指令信息时业务***仍在正常运行，提交调整指令信息的途径例如在日志***设置控制层模块，将控制层模块写成业务***可调用的库函数形式，业务***通过调用控制层模块，对日志***中的日志处理参数，进而对各功能模块进行控制和调节。通过接受用户的调整指令信息并更新对应的日志处理参数，满足用户对不中断业务***调整日志处理参数的需求。
本领域技术人员应能理解上述获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志***的日志处理参数的方式仅为举例，其他现有的或今后可能出现的获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志***的日志处理参数的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
更优选地，所述日志处理参数包括以下至少任一项：用于日志过滤处理的日志过滤控制参数；用于日志聚合处理的日志聚合控制参数；用于日志输出处理的日志输出控制参数。其中，所述用于日志过滤处理的日志过滤控制参数例如日志的过滤条件，包括但不限于根据时间过滤，根据日志源过滤，根据日志级别过滤；用于日志聚合处理的日志聚合控制参数例如聚合分析算法，包括但不限于上文所有出现的关于聚合分析算法的举例；用于日志输出处理的日志输出控制参数例如相关资源压力信息的监控阈值，包括但不限于阈值的种类为支持int、double、bool、string。
图5示出根据本申请另一个方面的一种用于通过日志***处理业务***的日志的设备示意图。所述设备1包括获取装置11、过滤装置12、聚合装置13以及输出装置14。
其中，所述设备1中获取装置11获取所述业务***输出的日志信息，其中，所述日志***包含于所述业务***；过滤装置12对所述日志信息进行过滤处理；聚合装置13对经过滤处理的所述日志信息进行聚合处理；输出装置14输出经聚合处理的所述日志信息。
具体地，获取装置11获取所述业务***输出的日志信息，其中，所述日志***包含于所述业务***。其中，所述业务***是指产生日志并需要进行日志分析的业务程序或业务进程等进行业务运行的***。所述日志信息是指所述业务***所产生的需要分析日志以及日志相关的在分析时可能用的其它信息。所述日志***是指对日志进行过滤以及聚合计算分析等日志处理操作的***。在此，所述日志***包含于所述业务***，即所述日志***内嵌于业务程序中，例如，将日志***作为一个库函数写入业务***中，当需要使用日志***时以调用函数的方式对日志***进行调用，从而启动日志***的相关功能。获取所述业务***输出的日志信息是指日志***在业务程序的启动后，业务程序调用日志***将产生的日志信息进行输入，或日志***在业务程序产生日志信息后对日志信息主动进行获取，从而在第一时间对日志信息进行后续处理工作，因为日志***包含于业务***，因此可以实时获取日志信息进行处理，保障了日志处理的实时性。
本领域技术人员应能理解上述日志***包含于业务***的方式，及日志***获取日志信息的方式仅为举例，其他现有的或今后可能出现的日志***包含于业务***的方式，及日志***获取日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
接着，过滤装置12对所述日志信息进行过滤处理。其中，所述过滤处理是指日志***在获取业务***所输出的日志信息后对根据一定的预先设置条件对日志信息进行过滤，从而筛选出分析日志信息时所需要的相关信息，其中，过滤条件包括但不限于根据时间过滤、根据日志源过滤以及根据日志级别过滤，例如，根据时间过滤，只打印分钟内前30秒的日志；根据日志源过滤，只打印内部某个模块的日志；根据日志级别过滤，只打印ERROR级别以上的日志。通过设置条件进行过滤，使得后续进行聚合分析的日志信息数据更加明确有针对性。
本领域技术人员应能理解上述过滤日志信息的方式仅为举例，其他现有的或今后可能出现的过滤日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
接着，聚合装置13对经过滤处理的所述日志信息进行聚合处理。其中所述聚合处理是指通过聚合算法对日志信息进行相应的处理，聚合算法例如，针对日志信息中的关键词及其值的与、或、平均值、最大、最小、数量统计等，但不限于此。将过滤处理后的日志信息进行聚合处理即对日志进行了实时分析，从而获得日志信息的实时分析结果。优选地，对于日志信息聚合计算包括但不限于一种类型，可并发进行多种聚合算法分析，更优选地，根据用户设置对聚合算法进行选择，例如用户配置只针对A模块的日志打印log最多的前5条日志。因为日志***在业务***中直接获取日志并过滤处理无需转存至别的***或硬件介质进行聚合分析，故而通过聚合处理将获得日志信息的实时分析结果，避免了因转至其他***导致的延时。
本领域技术人员应能理解上述聚合处理日志信息的方式仅为举例，其他现有的或今后可能出现的聚合处理日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
接着，输出装置14输出经聚合处理的所述日志信息。是指在聚合处理完成后的日志信息通过I/O也就是输入输出端口流控模块输出到存储介质或其它用户可查阅到的单元，例如输出至磁盘以供用户查看。通过将所述日志信息输出，可将日志实时分析结果反馈给用户，从而及时查阅、发现、解决相关的问题。
本领域技术人员应能理解上述输出日志信息的方式仅为举例，其他现有的或今后可能出现的输出日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
图6示出根据本申请另一个优选实施例的聚合装置的设备示意图。所述聚合装置包括聚合容器确定单元131以及并行聚合处理单元132。
其中，所述聚合装置13中聚合容器确定单元131根据设定聚合容器配置信息确定经过滤处理的所述日志信息对应的聚合容器；并行聚合处理单元132通过多个所述聚合容器对经过滤处理的所述日志信息进行并行聚合处理，其中，每个聚合容器包含一个或多个聚合分析单元。
具体地，聚合容器确定单元131根据设定聚合容器配置信息确定经过滤处理的所述日志信息对应的聚合容器。其中，所述聚合容器是指包含了可对日志信息进行分析的聚合算法的管理模块，每种聚合容器可提供固定的聚合算法对日志信息进行聚合处理。所述设定聚合容器配置信息是指根据用户或***初始设置进行配置的对日志信息进行聚合处理的方法，即根据设定集合容器配置信息为经过过滤处理后的日志信息选择其所进行处理的聚合容器的种类，其中，不同种类的聚合容器包含了不同的一种或多种聚合算法组合，例如根据用户指令配置只针对A模块的日志打印日志内容最多的前五条日志信息，则日志信息就放入有相应聚合处理功能的聚合容器中进行处理。将日志信息放入对应的聚合容器进行处理，使得日志信息的聚合处理可以根据用户意愿或***设置的希望方向进行相应的聚合分析计算，从而得出更准确的聚合处理结果。
优选地，对于日志***设置控制层模块，控制层模块主要对日志***进行日志信息的控制操作，例如，在业务***产生日志信息后调用控制层模块将日志信息输入日志***，获取日志信息后控制层模块对日志信息进行过滤，后控制***根据设定聚合容器配置信息将经过过滤处理后的日志信息放入对应的聚合容器中进行聚合处理，控制层模块的设置使得日志***的运转得到良好的调控。
本领域技术人员应能理解上述根据设定聚合容器配置信息确定日志信息处理对应的聚合容器的方式仅为举例，其他现有的或今后可能出现的根据设定聚合容器配置信息确定日志信息处理对应的聚合容器的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
接着，并行聚合处理单元132通过多个所述聚合容器对经过滤处理的所述日志信息进行并行聚合处理，其中，每个聚合容器包含一个或多个聚合分析单元。其中，聚合分析单元是指包含于聚合容器中的聚合算法，不同的聚合分析单元对应不同的聚合算法。在此，并行聚合处理是指通过多个聚合容器中的一个或多个聚合分析单元也就是聚合算法的组合对日志信息进行相应的聚合处理，例如，不同的聚合容器或算法属于不同的线程，同时调用对应的线程即可并发进行聚合处理。每个容器提供固定的聚合分析单元对日志信息进行聚合处理，这些聚合分析单元通过并发的方式进行聚合处理的方法包括但不限于：对相同源或不同源日志信息进行计算，包括关联合并、特殊规则的稀疏、去重、找出符合特定规则的排名前几的日志等，其中，不同源的日志信息是指在一个业务***中会分成不同粒度的模块，这些模块在内嵌过程中日志***会针对这些模块提供标识，稀疏是指比如规定某个日志计划每秒输出1000条日志信息，但是实际产生的日志信息量为每秒输出10000条日志信息，这个时候可以根据特殊规则稀疏来丢掉9/10的日志信息。优选地，当日志***设置控制层模块时，可由控制层模块将经过过滤处理后的日志信息放入对应的多个聚合容器中进行并发的聚合处理。通过不同聚合分析单元以并发的方式聚合处理日志信息，使得日志聚合处理的方式多样化，日志分析结果更加准确和丰富。
本领域技术人员应能理解上述实现多个聚合容器并发聚合处理日志信息的方式仅为举例，其他现有的或今后可能出现的实现多个聚合容器并发聚合处理日志信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
优选地，所述设备1还包括压力探针装置15(未示出)，其中，所述压力探针装置15通过所述日志***中的压力探针获取所述业务***对应的资源压力信息，其中，所述压力探针随所述业务***启动被启动。其中，所述压力探针是指用于获取业务***中存储介质、中央处理器等硬件运行相关参数信息的功能模块，日志或业务***通过分析压力探针所获取的资源压力信息可获得业务***运行时的硬件压力情况。例如，压力探针定时获取磁盘、CPU中央处理器的压力情况，并给予日志***反馈。在此，所述业务***对应的资源压力信息为存储介质、中央处理器等会在日志***运行时所使用的模块性能信息，包括但不限于磁盘中的每秒请求数量，磁盘队列长度和磁盘的请求响应时间，中央处理器中的内核态使用率，用户态使用率。进一步地，在业务***启动后直接调用压力探针模块，从而对业务***对应的资源压力进行实时监测，使得业务***运行尤其在日志***运行后的资源压力被实时获取。
优选地，为便于日志***在内部各模块以及与外部进行通讯，可设置通讯层，提供远程通讯接口，在业务程序启动后，日志***的控制层模块即发送监听命令至通讯层，从而通过通讯层传递监听命令至压力探针从而定期监听业务***与日志***所用存储介质和中央处理器等共用模块的资源压力信息并反馈至控制层模块，其中，定期监听压力信息的时间可由用户设置或***进行初始设置。
通过压力探针可实时获取业务***对应的资源压力信息，从而检测到日志***在运行中对资源运行的影响，便于进一步进行分析和基于资源压力信息对日志***或业务***的运行进行相应调整。
本领域技术人员应能理解上述通过压力探针获取压力信息的方式仅为举例，其他现有的或今后可能出现的通过压力探针获取压力信息的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
进一步地，基于压力探针装置16，所述聚合装置13以及所述输出装置14可根据所述压力探针所探测的所述业务***对应的资源压力信息对日志的聚合分析以及输出过程进行调节，具体如图7以及图8所示。
图7示出根据本申请另一个优选实施例的聚合装置的设备示意图。所述聚合装置13中包括日志聚合控制参数确定单元133以及聚合处理单元134。
其中，日志聚合控制参数确定单元133根据所述业务***对应的资源压力信息确定日志聚合控制参数；聚合处理单元134根据所述日志聚合控制参数对经过滤处理的所述日志信息进行聚合处理。
具体地，日志聚合控制参数确定单元133根据所述业务***对应的资源压力信息确定日志聚合控制参数。其中，所述日志聚合控制参数是指会在聚合处理运行时影响业务***对应的资源压力的相关参数，包括但不限于计算频率、算法复杂度、聚合容器的数量、日志信息的处理速度以及粒度。当所述日志聚合控制参数变大或变小时，业务***对应的资源压力会随之改变。因此，当所获取的业务***对应的资源压力信息所反映的业务***对应资源压力变大时，可对资源压力信息进行分析，并确定相应的需要调节的日志聚合控制参数的值，从而减缓资源压力，例如，设置计算频率、算法复杂度、聚合容器的数量、日志信息的处理速度以及粒度等参数对应的调节阈值，对资源压力信息如中央处理器内核态使用率设置上下限阈值，当其上升至阈值以上，则代表业务***资源压力较大，则将日志聚合控制参数如聚合容器的数量下调。反之，当所获取的业务***对应的资源压力信息所反映的业务***对应资源压力变小时，例如***压力不大但是日志信息输出流量陡增的情况下，可对资源压力信息进行分析，并确定相应的需要调节的日志聚合控制参数的值，从而更好利用空闲资源，保证激增的日志信息被有效聚合。优选地，当资源压力需要调节时，相关调节信息可反馈至日志***控制层模块，由控制层模块对所述日志聚合控制参数进行调节，同时设置集合分析算法管理器对聚合容器进行管理，提供聚合容器并接受控制层模块发送的日志聚合控制参数的调节指令对聚合处理过程进行调节，从而减少对中央处理器的消耗，例如，对相同关键词的日志进行不同比例的值的合并，对相同值的日志进行特定的排序输出，能够输出符合特定规则的排名前几的类型的日志等。
通过确定日志聚合控制参数并适应性根据资源压力信息对日志聚合控制参数进行调节，在资源压力过大时适当减少日志***的操作，在资源空闲时则充分利用资源进行日志***的相应计算和操作，使得业务***对应的资源得到灵活利用。
接着，聚合处理单元134根据所述日志聚合控制参数对经过滤处理的所述日志信息进行聚合处理。即在根据业务***对应的资源压力对日志聚合控制参数进行调节后，日志***根据调节后的日志聚合控制参数，例如计算频率、算法复杂度、聚合容器的数量等，对日志信息进行聚合处理，使得聚合处理减少或增大，从而缓解资源压力或利用空闲资源的目的。
本领域技术人员应能理解上述通过确定日志聚合控制参数从而调节业务***对应资源压力的方式仅为举例，其他现有的或今后可能出现的通过确定日志聚合控制参数从而调节业务***对应资源压力的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
图8示出根据本申请另一个优选实施例的输出装置的设备示意图。所述输出装置14中包括日志输出控制参数确定单元141以及输出单元142。
其中，所述日志输出控制参数确定单元141根据所述业务***对应的资源压力信息确定日志输出控制参数；输出单元142根据所述日志输出控制参数输出经聚合处理的所述日志信息。
具体地，日志输出控制参数确定单元141根据所述业务***对应的资源压力信息确定日志输出控制参数。其中，所述日志输出控制参数是指会在日志输出时影响业务***对应的资源压力的相关参数，包括但不限于输出至相应存储或查询模块的方式，以及日志聚合处理的速度和粒度等。当业务***对应的资源压力信息反应的资源压力过大或过小，则确定需要调节的日志输出控制参数并进行调节。例如，磁盘每秒请求数量，磁盘队列长度，磁盘请求响应时间等参数上升，则代表资源压力较大，尤其是I/O过大，据此确定调节I/O读写的日志输出控制参数是改变日志输出方式，进而更改日志输出方式为延迟、批量、压缩或稀疏，其中，稀疏是指比如规定某个日志计划每秒输出1K条日志，但是实际产生的日志量为每秒输出10K条日志，这个时候可以根据特殊规则稀疏来丢掉9/10的日志。通过确定日志输出参数，使得日志输出可以灵活调节，日志输出对应的资源被灵活利用，避免日志***运行压力过大引发的资源被占用的情况。
接着，输出单元142根据所述日志输出控制参数输出经聚合处理的所述日志信息。即根据所确定的日志输出控制参数对其进行调节，并根据调节后的日志输出控制参数进行日志信息的输出，接上文举例，即采用延迟、批量、压缩或稀疏的方式进行日志输出，从而减小I/O读写压力。优选地，在日志***中设置I/O流控模块，在调节日志输出控制参数时控制层模块将调节信息发送至I/O流控模块，从而通过I/O流控模块对磁盘的输出频率进行自动调节，从而减少对I/O存储介质的消耗。
本领域技术人员应能理解上述通过确定日志输出控制参数从而调节业务***对应资源压力的方式仅为举例，其他现有的或今后可能出现的通过确定日志输出控制参数从而调节业务***对应资源压力的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
优选地，所述设备1还包括日志处理参数调整装置16(未示出)，其中，所述日志处理参数调整装置16在所述业务***运行期间，获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志***的日志处理参数。其中，所述用户提交的调整指令信息是指用户通过外部通讯接口对日志***的相关参数进行调节的指令。所述日志处理参数是指会对日志***的运行产生影响的相关参数。在此，用户提交调整指令信息时业务***仍在正常运行，提交调整指令信息的途径例如在日志***设置控制层模块，将控制层模块写成业务***可调用的库函数形式，业务***通过调用控制层模块，对日志***中的日志处理参数，进而对各功能模块进行控制和调节。通过接受用户的调整指令信息并更新对应的日志处理参数，满足用户对不中断业务***调整日志处理参数的需求。
本领域技术人员应能理解上述获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志***的日志处理参数的方式仅为举例，其他现有的或今后可能出现的获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志***的日志处理参数的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
更优选地，所述日志处理参数包括以下至少任一项：用于日志过滤处理的日志过滤控制参数；用于日志聚合处理的日志聚合控制参数；用于日志输出处理的日志输出控制参数。其中，所述用于日志过滤处理的日志过滤控制参数例如日志的过滤条件，包括但不限于根据时间过滤，根据日志源过滤，根据日志级别过滤；用于日志聚合处理的日志聚合控制参数例如聚合分析算法，包括但不限于上文所有出现的关于聚合分析算法的举例；用于日志输出处理的日志输出控制参数例如相关资源压力信息的监控阈值，包括但不限于阈值的种类为支持int、double、bool、string。
结合上述描述，本申请提供了可以在IO密集型或CPU密集型业务程序中使用的日志***，它可以根据当前存储介质或中央处理器的压力情况自动控制聚合处理量和调节日志输出量或频率，在前存储介质或中央处理器压力空闲时可充分利用资源做更复杂的聚合计算以及输出更细粒度的聚合结果，在前存储介质或中央处理器繁忙时通过降低聚合计算或输出频率来将对前存储介质或中央处理器的自身消耗控制在指定阈值内，并且用户可以在不中止业务***的情况下会根据情况动态调节聚合分析算法或者被聚合信息。通过这种动态调节、资源受控的日志输出方法可以让用户获得有效的信息，并能够避免内部日志输出泛滥而引发的前存储介质或中央处理器资源抢占影响业务性能指标的情况。
此外，本申请还提供了一种用于通过日志***处理业务***的日志的设备，包括：
处理器；
以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取所述业务***输出的日志信息，其中，所述日志***包含于所述业务***；
对所述日志信息进行过滤处理；
对经过滤处理的所述日志信息进行聚合处理；
输出经聚合处理的所述日志信息。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，不表示特定顺序。

Claims (13)

1.一种用于通过日志***处理业务***的日志的方法，包括：
获取所述业务***输出的日志信息，其中，所述日志***包含于所述业务***；
对所述日志信息进行过滤处理；
根据所述业务***对应的资源压力信息确定日志聚合控制参数；所述日志聚合控制参数包括以下至少一项：计算频率、算法复杂度、聚合容器的数量、日志信息的处理速度、日志信息的粒度；
根据所述日志聚合控制参数对经过滤处理的所述日志信息进行聚合处理；
输出经聚合处理的所述日志信息。
2.根据权利要求1所述的方法，其中，所述对经过滤处理的所述日志信息进行聚合处理包括：
根据设定聚合容器配置信息确定经过滤处理的所述日志信息对应的聚合容器；
通过多个所述聚合容器对经过滤处理的所述日志信息进行并行聚合处理，其中，每个聚合容器包含一个或多个聚合分析单元。
3.根据权利要求1所述的方法，其中，所述输出经聚合处理的所述日志信息包括：
根据所述业务***对应的资源压力信息确定日志输出控制参数；
根据所述日志输出控制参数输出经聚合处理的所述日志信息。
4.根据权利要求1所述的方法，其中，所述方法还包括：
通过所述日志***中的压力探针获取所述业务***对应的资源压力信息，其中，所述压力探针随所述业务***启动被启动。
5.根据权利要求1所述的方法，其中，所述方法还包括：
在所述业务***运行期间，获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志***的日志处理参数。
6.根据权利要求5所述的方法，其中，所述日志处理参数包括以下至少任一项：
用于日志过滤处理的日志过滤控制参数；
用于日志聚合处理的日志聚合控制参数；
用于日志输出处理的日志输出控制参数。
7.一种用于通过日志***处理业务***的日志的设备，包括：
获取装置，用于获取所述业务***输出的日志信息，其中，所述日志***包含于所述业务***；
过滤装置，用于对所述日志信息进行过滤处理；
聚合装置，用于对经过滤处理的所述日志信息进行聚合处理；
输出装置，用于输出经聚合处理的所述日志信息;
其中，所述聚合装置包括：
日志聚合控制参数确定单元，用于根据所述业务***对应的资源压力信息确定日志聚合控制参数；所述日志聚合控制参数包括以下至少一项：计算频率、算法复杂度、聚合容器的数量、日志信息的处理速度、日志信息的粒度；
聚合处理单元，用于根据所述日志聚合控制参数对经过滤处理的所述日志信息进行聚合处理。
8.根据权利要求7所述的设备，其中，所述聚合装置包括：
聚合容器确定单元，用于根据设定聚合容器配置信息确定经过滤处理的所述日志信息对应的聚合容器；
并行聚合处理单元，用于通过多个所述聚合容器对经过滤处理的所述日志信息进行并行聚合处理，其中，每个聚合容器包含一个或多个聚合分析单元。
9.根据权利要求7所述的设备，其中，所述输出装置包括：
日志输出控制参数确定单元，用于根据所述业务***对应的资源压力信息确定日志输出控制参数；
输出单元，用于根据所述日志输出控制参数输出经聚合处理的所述日志信息。
10.根据权利要求7所述的设备，其中，所述设备还包括：
压力探针装置，用于通过所述日志***中的压力探针获取所述业务***对应的资源压力信息，其中，所述压力探针随所述业务***启动被启动。
11.根据权利要求7所述的设备，其中，所述设备还包括：
日志处理参数调整装置，用于在所述业务***运行期间，获取用户提交的调整指令信息并根据所述调整指令信息更新所述日志***的日志处理参数。
12.根据权利要求11所述的设备，其中，所述日志处理参数包括以下至少任一项：
用于日志过滤处理的日志过滤控制参数；
用于日志聚合处理的日志聚合控制参数；
用于日志输出处理的日志输出控制参数。
13.一种用于通过日志***处理业务***的日志的设备，包括：
处理器；
以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
获取所述业务***输出的日志信息，其中，所述日志***包含于所述业务***；
对所述日志信息进行过滤处理；
根据所述业务***对应的资源压力信息确定日志聚合控制参数；所述日志聚合控制参数包括以下至少一项：计算频率、算法复杂度、聚合容器的数量、日志信息的处理速度、日志信息的粒度；
根据所述日志聚合控制参数对经过滤处理的所述日志信息进行聚合处理；
输出经聚合处理的所述日志信息。
CN201710193819.8A 2016-03-28 2017-03-28 一种用于通过日志***处理业务***的日志的方法与设备 Active CN107402863B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016101838621 2016-03-28
CN201610183862 2016-03-28

Publications (2)

Publication Number Publication Date
CN107402863A CN107402863A (zh) 2017-11-28
CN107402863B true CN107402863B (zh) 2021-03-09

Family

ID=60404323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710193819.8A Active CN107402863B (zh) 2016-03-28 2017-03-28 一种用于通过日志***处理业务***的日志的方法与设备

Country Status (1)

Country Link
CN (1) CN107402863B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110737727B (zh) * 2018-07-19 2023-09-29 华为云计算技术有限公司 一种数据处理的方法及***
CN109375871A (zh) * 2018-09-26 2019-02-22 郑州云海信息技术有限公司 一种日志处理方法、***及电子设备和存储介质
CN111555895B (zh) * 2019-02-12 2023-02-21 北京数安鑫云信息技术有限公司 一种分析网站故障的方法、装置、存储介质及计算机设备
CN111124906B (zh) * 2019-12-17 2022-06-28 蚂蚁财富(上海)金融信息服务有限公司 基于动态埋点的跟踪方法、编译方法、装置和电子设备
CN113886193A (zh) * 2021-10-26 2022-01-04 Oppo广东移动通信有限公司 日志数据处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018121A (zh) * 2007-03-15 2007-08-15 杭州华为三康技术有限公司 日志的聚合处理方法及聚合处理装置
CN103761173A (zh) * 2013-12-28 2014-04-30 华中科技大学 一种基于日志的计算机***故障诊断方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635651A (zh) * 2009-08-31 2010-01-27 杭州华三通信技术有限公司 一种网络日志数据管理方法、***及装置
US9319382B2 (en) * 2014-07-14 2016-04-19 Cautela Labs, Inc. System, apparatus, and method for protecting a network using internet protocol reputation information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018121A (zh) * 2007-03-15 2007-08-15 杭州华为三康技术有限公司 日志的聚合处理方法及聚合处理装置
CN103761173A (zh) * 2013-12-28 2014-04-30 华中科技大学 一种基于日志的计算机***故障诊断方法及装置

Also Published As

Publication number Publication date
CN107402863A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
CN107402863B (zh) 一种用于通过日志***处理业务***的日志的方法与设备
US10831562B2 (en) Method and system for operating a data center by reducing an amount of data to be processed
US9876673B2 (en) Self-learning automated remediation of changes that cause performance degradation of applications
US9058212B2 (en) Combining memory pages having identical content
US10826980B2 (en) Command process load balancing system
US8397048B2 (en) Memory leak detection during dynamic memory allocation
US9965327B2 (en) Dynamically scalable data collection and analysis for target device
US8904063B1 (en) Ordered kernel queue for multipathing events
CN112346829A (zh) 一种用于任务调度的方法及设备
CN109308170B (zh) 一种数据处理方法及装置
CN109358816B (zh) 一种分布式存储***的流控方法及装置
US20160019119A1 (en) Prioritizing backup of files
CN109726004B (zh) 一种数据处理方法及装置
US20220413965A1 (en) Data recovery method, apparatus and device, and readable storage medium
CN107688626B (zh) 慢查询日志处理方法、装置及电子设备
CN111324606B (zh) 数据分片的方法及装置
CN111190753A (zh) 分布式任务处理方法、装置、存储介质和计算机设备
US20200057714A1 (en) Testing data changes in production systems
US20230106369A1 (en) Dynamic policy adjustment based on resource consumption
US20120290789A1 (en) Preferentially accelerating applications in a multi-tenant storage system via utility driven data caching
US8769233B2 (en) Adjusting the amount of memory allocated to a call stack
CN114048027A (zh) 一种应用于超算集群调度的作业运行参数优化方法
US7962692B2 (en) Method and system for managing performance data
US20170017574A1 (en) Efficient cache warm up based on user requests
CN113590285A (zh) 一种用于线程池参数动态设置的方法、***及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant