CN114595363A - 一种基于轻量级架构的业务日志处理方法、***、存储介质及终端 - Google Patents

一种基于轻量级架构的业务日志处理方法、***、存储介质及终端 Download PDF

Info

Publication number
CN114595363A
CN114595363A CN202210122718.2A CN202210122718A CN114595363A CN 114595363 A CN114595363 A CN 114595363A CN 202210122718 A CN202210122718 A CN 202210122718A CN 114595363 A CN114595363 A CN 114595363A
Authority
CN
China
Prior art keywords
log
service
component
preprocessed
log component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210122718.2A
Other languages
English (en)
Inventor
甄诚
田猛
夏曙东
石四平
张志平
孙智彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Transwiseway Information Technology Co Ltd
Original Assignee
Beijing Transwiseway Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Transwiseway Information Technology Co Ltd filed Critical Beijing Transwiseway Information Technology Co Ltd
Priority to CN202210122718.2A priority Critical patent/CN114595363A/zh
Publication of CN114595363A publication Critical patent/CN114595363A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90344—Query processing by using string matching techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于轻量级架构的业务日志处理方法、***、存储介质及终端，轻量级架构包括promtail日志组件、loki日志组件和grafana日志组件，方法包括：通过promtail日志组件收集当前***中预处理后的业务日志进行标签化处理，生成标签化后的业务日志；根据loki日志组件将标签化后的业务日志进行存储，并将存储后的业务日志关联至grafana日志组件上进行日志分类统计，生成统计结果；将统计结果反馈至相应客户端进行展示。由于本申请通过promtail日志组件、loki日志组件和grafana日志组件对***的业务日志进行处理，从而降低了日志整理分析的复杂度，提高了日志分析效率。

Description

一种基于轻量级架构的业务日志处理方法、***、存储介质及 终端
技术领域
本发明涉及计算机技术领域，特别涉及一种基于轻量级架构的业务日志处理方法、***、存储介质及终端。
背景技术
日志是记录计算机***运行状态和事件的重要载体，如何更好地分析日志是查看***运行状态和追查问题的关键，而随着计算机***的应用场景不断增多，各个***产生的日志数量和种类开始超过人脑处理能力的上线。目前日志分析的技术通常用关键字搜索实现，搜索结果中可能包含多种不同类型的日志，观察和分析难度很大。
在现有技术中，目前kubernetes集群的日志管理方法主要是通过固定标签进行日志筛选，对筛选得到的日志进行相应处理，限制了搜索性能，导致日志整理分析难度大，日志可用性低，从而降低了业务日志的分析效率。
发明内容
本申请实施例提供了一种基于轻量级架构的业务日志处理方法、***、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种基于轻量级架构的业务日志处理方法，方法包括：
通过promtail日志组件收集当前***中预处理后的业务日志进行标签化处理，生成标签化后的业务日志；
根据loki日志组件将标签化后的业务日志进行存储，并将存储后的业务日志关联至grafana日志组件上进行日志分类统计，生成统计结果；
将统计结果反馈至相应客户端进行展示。
可选的，通过promtail日志组件收集当前***中预处理后的业务日志进行标签化处理之前，还包括：
实时获取针对***中不同域名的访问请求；
将针对***中不同域名的访问请求以日志的形式进行记录，生成业务日志；
根据预设分词词典对业务日志进行分词处理，生成多个待匹配字符串；
计算多个待匹配字符串中每个待匹配字符串与预设字符串库中各标准字符串之间的相似度，得到每个待匹配字符串对应的多个相似度；
将每个待匹配字符串对应的多个相似度中最高相似度对应的标准字符串确定为每个待匹配字符串的最终字符串；
根据每个待匹配字符串的最终字符串生成预处理后的业务日志。
可选的，通过promtail日志组件收集当前***中预处理后的业务日志进行标签化处理，生成标签化后的业务日志，包括：
通过promtail日志组件收集当前***中预处理后的业务日志；
加载针对预处理后的业务日志所设置的标签库；
根据标签库确定预处理后的业务日志对应的多个目标标签；
根据多个目标标签对预处理后的业务日志设置标签，生成标签化后的业务日志。
可选的，根据标签库确定预处理后的业务日志对应的多个目标标签，包括：
解析预处理后的业务日志，确定出预处理后的业务日志中所包含的多个服务属性值；
根据多个服务属性值从标签库中映射出多个服务属性值对应的多个目标标签。
可选的，根据loki日志组件将标签化后的业务日志进行存储，包括：
确定标签化后的业务日志中所包含的多个标签以及每个标签的日志数据；
将每个标签的日志数据压缩成chunks块，得到每个标签的chunks块；
采用关系抽取算法构建每个标签和与其对应的chunks块之间的映射关系，生成映射关系表；
优化映射关系表，得到优化后的映射关系表；
将每个标签的chunks块以及优化后的映射关系表进行存储。
可选的，优化映射关系表，得到优化后的映射关系表，包括：
识别映射关系表中的相同关系和关系数量小于预设阈值的关系；
将相同关系进行归并，并将关系数量小于预设阈值的关系进行剔除，得到优化后的映射关系表。
可选的，将存储后的业务日志关联至grafana日志组件上进行日志分类统计，生成统计结果，包括：
将每个标签的chunks块以及优化后的映射关系表关联至grafana日志组件上，以使grafana日志组件基于优化后的映射关系表进行日志分类统计，生成统计结果。
第二方面，本申请实施例提供了一种基于轻量级架构的业务日志处理***，轻量级架构包括promtail日志组件、loki日志组件和grafana日志组件，***包括：
业务日志标签化模块，用于通过promtail日志组件收集当前***中预处理后的业务日志进行标签化处理，生成标签化后的业务日志；
统计结果生成模块，用于根据loki日志组件将标签化后的业务日志进行存储，并将存储后的业务日志关联至grafana日志组件上进行日志分类统计，生成统计结果；
统计结果展示模块，用于将统计结果反馈至相应客户端进行展示。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，基于轻量级架构的业务日志处理***首先通过promtail日志组件收集当前***中预处理后的业务日志进行标签化处理，生成标签化后的业务日志，然后根据loki日志组件将标签化后的业务日志进行存储，并将存储后的业务日志关联至grafana日志组件上进行日志分类统计，生成统计结果，最后将统计结果反馈至相应客户端进行展示。由于本申请通过promtail日志组件、loki日志组件和grafana日志组件对***的业务日志进行处理，从而降低了日志整理分析的复杂度，提高了日志分析效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种基于轻量级架构的业务日志处理方法的流程示意图；
图2是本申请实施例提供的一种基于轻量级架构的业务日志处理架构图；
图3是本申请实施例提供的一种基于轻量级架构的业务日志处理***的结构示意图；
图4是本申请实施例提供的一种终端的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的***和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供了一种基于轻量级架构的业务日志处理方法、***、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请通过promtail日志组件、loki日志组件和grafana日志组件对***的业务日志进行处理，从而降低了日志整理分析的复杂度，提高了日志分析效率，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图2，对本申请实施例提供的基于轻量级架构的业务日志处理方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的基于轻量级架构的业务日志处理***上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
请参见图1，为本申请实施例提供了一种基于轻量级架构的业务日志处理方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：
S101，通过promtail日志组件收集当前***中预处理后的业务日志进行标签化处理，生成标签化后的业务日志；
其中，轻量级架构包括promtail日志组件、loki日志组件和grafana日志组件，promtail日志组件、loki日志组件和grafana日志组件为Loki日志***中的组件，Loki日志***是Grafana Labs团队的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合***。
通常，promtail日志组件是代理，loki日志组件是主服务器，grafana日志组件用于处理日志进行可视化展示。
在本申请实施例中，在通过promtail日志组件收集当前***中预处理后的业务日志进行标签化处理之前，还需要生成预处理后的业务日志。
具体的，在生成预处理后的业务日志时，首先实时获取针对***中不同域名的访问请求，再将针对***中不同域名的访问请求以日志的形式进行记录，生成业务日志，然后根据预设分词词典对业务日志进行分词处理，生成多个待匹配字符串，再计算多个待匹配字符串中每个待匹配字符串与预设字符串库中各标准字符串之间的相似度，得到每个待匹配字符串对应的多个相似度，其次将每个待匹配字符串对应的多个相似度中最高相似度对应的标准字符串确定为每个待匹配字符串的最终字符串，最后根据每个待匹配字符串的最终字符串生成预处理后的业务日志。
在一种可能的实现方式中，在生成标签化后的业务日志时，首先通过promtail日志组件收集当前***中预处理后的业务日志，再加载针对预处理后的业务日志所设置的标签库，然后根据标签库确定预处理后的业务日志对应的多个目标标签，最后根据多个目标标签对预处理后的业务日志设置标签，生成标签化后的业务日志。
进一步地，在根据标签库确定预处理后的业务日志对应的多个目标标签时，首先解析预处理后的业务日志，确定出预处理后的业务日志中所包含的多个服务属性值，然后根据多个服务属性值从标签库中映射出多个服务属性值对应的多个目标标签。
例如，用户进行相关操作时，将用户访问不同域名的操作以日志的形式进行记录，并在日志内进行数据格式化，得到预处理后的业务日志，例如：预处理后的业务日志例如为状态码，url，访问的时间，访问的所在地区等。再根据promtail日志组件从一系列目标中自动抓取日志进行分类(同步/异步)传输。且自动生成标签。为后期分析过滤提供有效的数据基础和维度。例如：可以用job标签自定义传输日志的属性，从而区分是nginx服务，应用服务，***服务等。用host标签自定义服务器ip，从而快速定位数据所在的服务器。
需要说明的是，根据promtail日志组件自动抓取方式，可以根据匹配来快速自动扩展。
S102，根据loki日志组件将标签化后的业务日志进行存储，并将存储后的业务日志关联至grafana日志组件上进行日志分类统计，生成统计结果；
在本申请实施例中，在根据loki日志组件将标签化后的业务日志进行存储时，首先确定标签化后的业务日志中所包含的多个标签以及每个标签的日志数据，然后将每个标签的日志数据压缩成chunks块，得到每个标签的chunks块，再采用关系抽取算法构建每个标签和与其对应的chunks块之间的映射关系，生成映射关系表，其次优化映射关系表，得到优化后的映射关系表，最后将每个标签的chunks块以及优化后的映射关系表进行存储。
具体的，在优化映射关系表，得到优化后的映射关系表时，首先识别映射关系表中的相同关系和关系数量小于预设阈值的关系，然后将相同关系进行归并，并将关系数量小于预设阈值的关系进行剔除，得到优化后的映射关系表。
需要说明的是，采用loki日志组件进行的存储方式，对比现有技术的优势最主要的体现就是将存储服务轻量化。loki服务只会对日志元数据(标签)进行索引，而不会对原始的日志数据进行全文索引。然后日志数据本身会被压缩，并以chunks(块)的形式存储在进行存储。这样既加快了查询速度，又降低了成本。
进一步地，在将存储后的业务日志关联至grafana日志组件上进行日志分类统计，生成统计结果时，首先将每个标签的chunks块以及优化后的映射关系表关联至grafana日志组件上，以使grafana日志组件基于优化后的映射关系表进行日志分类统计，生成统计结果。
需要说明的是，采用grafana日志组件可以实现模板化展示，标签化查询。可快速扩展，并增加维度。
在一种可能的实现方式中，loki日志组件将日志按照标签，时间戳，文本的形式进行存储。将loki内用户操作数据配置到granfana数据源内，通过页面进行分类统计展示，能够进行快速分析和诊断分布式应用架构下的性能瓶颈，能够对用户来源，访问地区，用户行为等进行统计分析。
S103，将统计结果反馈至相应客户端进行展示。
在一种可能的实现方式中，可以针对以下场景进行分析处理：
1)根据状态码进行分类统计：
实现方式：根据单位时间过滤标签日志，然后通过logql语言中json解析器进行json串转化，通过status状态码字段进行统计，相同状态码相同则+1。
优点：可以快速分析各状态的请求数量，对优化服务提供数据支持。
2)超过状态500以上的请求统计：
实现方式：根据单位时间过滤标签日志，然后通过logql语言中json解析器进行json串转化，判断status大于500的请求，出现则+1。
优点：可以快速定位当前域名是否存在异常，当此数值变大时，会出现服务延迟或阻塞情况。
3)访问域名客户端统计：
实现方式：根据单位时间过滤标签日志，然后通过logql语言中json解析器进行json串转化，通过remote_addr字段进行去重统计，全部累加。
特点：快速统计用户人数uv。
4)统计前10的url及请求量：
实现方式：根据单位时间过滤标签日志，然后通过logql语言中json解析器进行json串转化，去除空数据和垃圾字段，通过http_referer字段进行统计排序。
特点：可以快速快速分析用户访问的情况，了解用户对某些功能的依赖程度，根据url解析对应的服务进行调整和优化。
5)统计前10的用户浏览器及请求量：
实现方式：根据单位时间过滤标签日志，然后通过logql语言中json解析器进行json串转化，通过http_user_agent字段进行排序统计。
特点：首先可以根据统计情况进行相应的前端兼容性优化，还可以发现一些异常访问方式，例如：发现python脚本探测等。
6)统计前10的访问ip地址及请求量：
实现方式：根据单位时间过滤标签日志，然后通过logql语言中json解析器进行json串转化，通过remote_addr,geoip_country_code字段进行排序统计。
特点：可以快速定位用户的访问是否为正常访问，且根据ip访问量，分析活跃用户情况。
7)统计前10的访问地区及请求量：
实现方式：根据单位时间过滤标签日志，然后通过logql语言中json解析器进行json串转化，通过geoip_city,geoip_country_code字段进行排序统计。
特点：可以分析城市所在用户的访问情况，为业务拓展提供数据基础。还可以发现一些外国异常请求，推动及时防护。
8)业务日志总行数及出现关键字行数：
实现方式：根据单位时间过滤标签日志，统计总行数及关键字行数。
特点：可以快速分析多服务节点下日志关键字的出现情况，对研发运维排查故障提供数据支持
9)业务日志关键字出现比率：
实现方式：通过用出现关键字行数除以总行数，乘100进行百分比展示。
特点：可以快速直观的发现关键字的出现频率，例如error，一旦比率边高可以快速发现问题。
例如图2，图2是本申请提供的一种基于轻量级架构的业务日志处理架构图，(1)数据采集模块主要由nginx日志格式化(业务日志无需格式化)，promtail自定义传输组成。(2)数据存储模块主要loki存储组成。(3)数据分析展示模块主要由grfana数据分析，自定义数据展示组成。
在本申请实施例中，基于轻量级架构的业务日志处理***首先通过promtail日志组件收集当前***中预处理后的业务日志进行标签化处理，生成标签化后的业务日志，然后根据loki日志组件将标签化后的业务日志进行存储，并将存储后的业务日志关联至grafana日志组件上进行日志分类统计，生成统计结果，最后将统计结果反馈至相应客户端进行展示。由于本申请通过promtail日志组件、loki日志组件和grafana日志组件对***的业务日志进行处理，从而降低了日志整理分析的复杂度，提高了日志分析效率。
下述为本发明***实施例，可以用于执行本发明方法实施例。对于本发明***实施例中未披露的细节，请参照本发明方法实施例。
请参见图3，其示出了本发明一个示例性实施例提供的基于轻量级架构的业务日志处理***的结构示意图，轻量级架构包括promtail日志组件、loki日志组件和grafana日志组件。该基于轻量级架构的业务日志处理***可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该***1包括业务日志标签化模块10、统计结果生成模块20、统计结果展示模块30。
业务日志标签化模块10，用于通过promtail日志组件收集当前***中预处理后的业务日志进行标签化处理，生成标签化后的业务日志；
统计结果生成模块20，用于根据loki日志组件将标签化后的业务日志进行存储，并将存储后的业务日志关联至grafana日志组件上进行日志分类统计，生成统计结果；
统计结果展示模块30，用于将统计结果反馈至相应客户端进行展示。
需要说明的是，上述实施例提供的基于轻量级架构的业务日志处理***在执行基于轻量级架构的业务日志处理方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于轻量级架构的业务日志处理***与基于轻量级架构的业务日志处理方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，基于轻量级架构的业务日志处理***首先通过promtail日志组件收集当前***中预处理后的业务日志进行标签化处理，生成标签化后的业务日志，然后根据loki日志组件将标签化后的业务日志进行存储，并将存储后的业务日志关联至grafana日志组件上进行日志分类统计，生成统计结果，最后将统计结果反馈至相应客户端进行展示。由于本申请通过promtail日志组件、loki日志组件和grafana日志组件对***的业务日志进行处理，从而降低了日志整理分析的复杂度，提高了日志分析效率。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的基于轻量级架构的业务日志处理方法。
本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的基于轻量级架构的业务日志处理方法。
请参见图4，为本申请实施例提供了一种终端的结构示意图。如图4所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储***。如图4所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及基于轻量级架构的业务日志处理应用程序。
在图4所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的基于轻量级架构的业务日志处理应用程序，并具体执行以下操作：
通过promtail日志组件收集当前***中预处理后的业务日志进行标签化处理，生成标签化后的业务日志；
根据loki日志组件将标签化后的业务日志进行存储，并将存储后的业务日志关联至grafana日志组件上进行日志分类统计，生成统计结果；
将统计结果反馈至相应客户端进行展示。
在一个实施例中，处理器1001在执行通过promtail日志组件收集当前***中预处理后的业务日志进行标签化处理之前时，还执行以下操作：
实时获取针对***中不同域名的访问请求；
将针对***中不同域名的访问请求以日志的形式进行记录，生成业务日志；
根据预设分词词典对业务日志进行分词处理，生成多个待匹配字符串；
计算多个待匹配字符串中每个待匹配字符串与预设字符串库中各标准字符串之间的相似度，得到每个待匹配字符串对应的多个相似度；
将每个待匹配字符串对应的多个相似度中最高相似度对应的标准字符串确定为每个待匹配字符串的最终字符串；
根据每个待匹配字符串的最终字符串生成预处理后的业务日志。
在一个实施例中，处理器1001在执行通过promtail日志组件收集当前***中预处理后的业务日志进行标签化处理，生成标签化后的业务日志时，具体执行以下操作：
通过promtail日志组件收集当前***中预处理后的业务日志；
加载针对预处理后的业务日志所设置的标签库；
根据标签库确定预处理后的业务日志对应的多个目标标签；
根据多个目标标签对预处理后的业务日志设置标签，生成标签化后的业务日志。
在一个实施例中，处理器1001在执行根据标签库确定预处理后的业务日志对应的多个目标标签时，具体执行以下操作：
解析预处理后的业务日志，确定出预处理后的业务日志中所包含的多个服务属性值；
根据多个服务属性值从标签库中映射出多个服务属性值对应的多个目标标签。
在一个实施例中，处理器1001在执行根据loki日志组件将标签化后的业务日志进行存储时，具体执行以下操作：
确定标签化后的业务日志中所包含的多个标签以及每个标签的日志数据；
将每个标签的日志数据压缩成chunks块，得到每个标签的chunks块；
采用关系抽取算法构建每个标签和与其对应的chunks块之间的映射关系，生成映射关系表；
优化映射关系表，得到优化后的映射关系表；
将每个标签的chunks块以及优化后的映射关系表进行存储。
在一个实施例中，处理器1001在执行优化映射关系表，得到优化后的映射关系表时，具体执行以下操作：
识别映射关系表中的相同关系和关系数量小于预设阈值的关系；
将相同关系进行归并，并将关系数量小于预设阈值的关系进行剔除，得到优化后的映射关系表。
在一个实施例中，处理器1001在执行将存储后的业务日志关联至grafana日志组件上进行日志分类统计，生成统计结果时，具体执行以下操作：
将每个标签的chunks块以及优化后的映射关系表关联至grafana日志组件上，以使grafana日志组件基于优化后的映射关系表进行日志分类统计，生成统计结果。
在本申请实施例中，基于轻量级架构的业务日志处理***首先通过promtail日志组件收集当前***中预处理后的业务日志进行标签化处理，生成标签化后的业务日志，然后根据loki日志组件将标签化后的业务日志进行存储，并将存储后的业务日志关联至grafana日志组件上进行日志分类统计，生成统计结果，最后将统计结果反馈至相应客户端进行展示。由于本申请通过promtail日志组件、loki日志组件和grafana日志组件对***的业务日志进行处理，从而降低了日志整理分析的复杂度，提高了日志分析效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，基于轻量级架构的业务日志处理的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种基于轻量级架构的业务日志处理方法，其特征在于，所述轻量级架构包括promtail日志组件、loki日志组件和grafana日志组件，方法包括：
通过所述promtail日志组件收集当前***中预处理后的业务日志进行标签化处理，生成标签化后的业务日志；
根据所述loki日志组件将标签化后的业务日志进行存储，并将存储后的业务日志关联至所述grafana日志组件上进行日志分类统计，生成统计结果；
将所述统计结果反馈至相应客户端进行展示。
2.根据权利要求1所述的方法，其特征在于，所述通过所述promtail日志组件收集当前***中预处理后的业务日志进行标签化处理之前，还包括：
实时获取针对***中不同域名的访问请求；
将所述针对***中不同域名的访问请求以日志的形式进行记录，生成业务日志；
根据预设分词词典对所述业务日志进行分词处理，生成多个待匹配字符串；
计算所述多个待匹配字符串中每个待匹配字符串与预设字符串库中各标准字符串之间的相似度，得到每个待匹配字符串对应的多个相似度；
将所述每个待匹配字符串对应的多个相似度中最高相似度对应的标准字符串确定为每个待匹配字符串的最终字符串；
根据所述每个待匹配字符串的最终字符串生成预处理后的业务日志。
3.根据权利要求1所述的方法，其特征在于，所述通过所述promtail日志组件收集当前***中预处理后的业务日志进行标签化处理，生成标签化后的业务日志，包括：
通过所述promtail日志组件收集当前***中预处理后的业务日志；
加载针对预处理后的业务日志所设置的标签库；
根据所述标签库确定预处理后的业务日志对应的多个目标标签；
根据所述多个目标标签对预处理后的业务日志设置标签，生成标签化后的业务日志。
4.根据权利要求3所述的方法，其特征在于，所述根据所述标签库确定预处理后的业务日志对应的多个目标标签，包括：
解析预处理后的业务日志，确定出预处理后的业务日志中所包含的多个服务属性值；
根据所述多个服务属性值从所述标签库中映射出所述多个服务属性值对应的多个目标标签。
5.根据权利要求1所述的方法，其特征在于，所述根据所述loki日志组件将标签化后的业务日志进行存储，包括：
确定标签化后的业务日志中所包含的多个标签以及每个标签的日志数据；
将每个标签的日志数据压缩成chunks块，得到每个标签的chunks块；
采用关系抽取算法构建所述每个标签和与其对应的所述chunks块之间的映射关系，生成映射关系表；
优化所述映射关系表，得到优化后的映射关系表；
将所述每个标签的chunks块以及优化后的映射关系表进行存储。
6.根据权利要求5所述的方法，其特征在于，所述优化所述映射关系表，得到优化后的映射关系表，包括：
识别所述映射关系表中的相同关系和关系数量小于预设阈值的关系；
将所述相同关系进行归并，并将关系数量小于预设阈值的关系进行剔除，得到优化后的映射关系表。
7.根据权利要求5所述的方法，其特征在于，所述将存储后的业务日志关联至所述grafana日志组件上进行日志分类统计，生成统计结果，包括：
将所述每个标签的chunks块以及优化后的映射关系表关联至所述grafana日志组件上，以使所述grafana日志组件基于优化后的映射关系表进行日志分类统计，生成统计结果。
8.一种基于轻量级架构的业务日志处理***，其特征在于，所述轻量级架构包括promtail日志组件、loki日志组件和grafana日志组件，***包括：
业务日志标签化模块，用于通过所述promtail日志组件收集当前***中预处理后的业务日志进行标签化处理，生成标签化后的业务日志；
统计结果生成模块，用于根据所述loki日志组件将标签化后的业务日志进行存储，并将存储后的业务日志关联至所述grafana日志组件上进行日志分类统计，生成统计结果；
统计结果展示模块，用于将所述统计结果反馈至相应客户端进行展示。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任意一项的方法步骤。
10.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项的方法步骤。
CN202210122718.2A 2022-02-09 2022-02-09 一种基于轻量级架构的业务日志处理方法、***、存储介质及终端 Pending CN114595363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210122718.2A CN114595363A (zh) 2022-02-09 2022-02-09 一种基于轻量级架构的业务日志处理方法、***、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210122718.2A CN114595363A (zh) 2022-02-09 2022-02-09 一种基于轻量级架构的业务日志处理方法、***、存储介质及终端

Publications (1)

Publication Number Publication Date
CN114595363A true CN114595363A (zh) 2022-06-07

Family

ID=81804411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210122718.2A Pending CN114595363A (zh) 2022-02-09 2022-02-09 一种基于轻量级架构的业务日志处理方法、***、存储介质及终端

Country Status (1)

Country Link
CN (1) CN114595363A (zh)

Similar Documents

Publication Publication Date Title
US10205643B2 (en) Systems and methods for monitoring and analyzing performance in a computer system with severity-state sorting
US10761687B2 (en) User interface that facilitates node pinning for monitoring and analysis of performance in a computing environment
CN109034993B (zh) 对账方法、设备、***及计算机可读存储介质
US10469344B2 (en) Systems and methods for monitoring and analyzing performance in a computer system with state distribution ring
CN110362544B (zh) 日志处理***、日志处理方法、终端及存储介质
CN113360554B (zh) 一种数据抽取、转换和加载etl的方法和设备
CN103838867A (zh) 日志处理方法和装置
US20150341771A1 (en) Hotspot aggregation method and device
CN113254255B (zh) 一种云平台日志的分析方法、***、设备及介质
CN110912757B (zh) 业务的监控方法和服务器
CN112035534A (zh) 一种实时大数据处理方法、装置及电子设备
CN114116762A (zh) 一种离线数据模糊搜索方法、装置、设备和介质
CN113918532A (zh) 画像标签聚合方法、电子设备及存储介质
CN114428705A (zh) 一种网络数据的监测方法、装置、设备以及存储介质
EP3564833B1 (en) Method and device for identifying main picture in web page
CN110309206B (zh) 订单信息采集方法及***
CN112579552A (zh) 日志存储及调用方法、装置及***
CN115794744A (zh) 一种日志展示方法、装置、设备和存储介质
CN114116811B (zh) 日志处理方法、装置、设备及存储介质
CN115269519A (zh) 一种日志检测方法、装置及电子设备
CN116132448A (zh) 基于人工智能的数据分流方法及相关设备
CN114595363A (zh) 一种基于轻量级架构的业务日志处理方法、***、存储介质及终端
US11822578B2 (en) Matching machine generated data entries to pattern clusters
CN114168557A (zh) 一种访问日志的处理方法、装置、计算机设备和存储介质
CN114297236A (zh) 一种数据血缘分析方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination