CN116150120A - 一种日志信息的采集方法及*** - Google Patents

一种日志信息的采集方法及*** Download PDF

Info

Publication number
CN116150120A
CN116150120A CN202310349106.1A CN202310349106A CN116150120A CN 116150120 A CN116150120 A CN 116150120A CN 202310349106 A CN202310349106 A CN 202310349106A CN 116150120 A CN116150120 A CN 116150120A
Authority
CN
China
Prior art keywords
log
preset
information
acquisition
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310349106.1A
Other languages
English (en)
Inventor
容迪贞
曾伟刚
杨军红
刘浩
王家赞
陈振安
郑强
林中杰
张宇驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Guangdong Hong Kong Macao Dawan District Hard Science And Technology Innovation Research Institute
Original Assignee
Guangdong Guangdong Hong Kong Macao Dawan District Hard Science And Technology Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Guangdong Hong Kong Macao Dawan District Hard Science And Technology Innovation Research Institute filed Critical Guangdong Guangdong Hong Kong Macao Dawan District Hard Science And Technology Innovation Research Institute
Priority to CN202310349106.1A priority Critical patent/CN116150120A/zh
Publication of CN116150120A publication Critical patent/CN116150120A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志信息的采集方法及***，该方法包括：根据预设的日志采集信息，通过预设的配置文件拼接技术获得日志采集配置文件，通过预设的解析方法解析所述日志采集配置文件，获得对应的日志文件并通过预设的过滤规则对所述日志文件进行处理，采集所述日志文件对应的日志数据，根据所述日志数据，通过预设的日志分析方法对所述日志数据进行分析归类，动态采集日志信息、过滤无效日志、对特定日志格式进行分析，同时降低日志采集的资源占用、提高日志采集效率、降低了运维人员排查问题的难度。

Description

一种日志信息的采集方法及***
技术领域
本发明涉及计算机软件技术领域，尤其涉及一种日志信息的采集方法及***。
背景技术
软件运行日志主要的作用是记录各项操作，登录等信息。大到操作***，小到每一个软件都或多或少会产生日志信息。日志信息是我们分析软件运行状态的重要途经。而不同***、软件产生的日志信息分散存放、格式不统一，非常不利于排查问题。
目前市面上已经有一些日志采集方案，但是一般都是为了尽可能采集所有业务软件的日志内容，预设配置文件，采集的日志内容杂乱无章、数量庞大、格式不一，无法动态定制采集配置，无法在降低采集资源占用、提高采集性能的同时降低运维人员排查故障的难度，运维人员检索排查软件故障困难。
发明内容
本发明提供了一种日志信息的采集方法及***，动态采集日志信息、过滤无效日志、对特定日志格式进行分析，同时降低日志采集的资源占用、提高日志采集效率、降低了运维人员排查问题的难度。
为了实现上述目的，本发明提供了一种日志信息的采集方法，包括：
根据预设的日志采集信息，通过预设的配置文件拼接技术获得日志采集配置文件；
通过预设的解析方法解析所述日志采集配置文件，获得对应的日志文件并通过预设的过滤规则对所述日志文件进行处理，采集所述日志文件对应的日志数据；
根据所述日志数据，通过预设的日志分析方法对所述日志数据进行分析归类，获得日志信息。
本发明提供了一种日志信息的采集方法，首先根据预设的日志采集信息，通过预设的配置文件拼接技术动态定制所述日志采集信息对应的日志采集配置文件，便于根据用户需求采集对应的日志文件，提高日志信息采集的效率，接着根据所述日志采集配置文件，通过预设的解析方法解析所述配置文件便于获得用户需要采集的日志文件，然后利用所述预设的过滤规则对所述日志文件中包含的日志内容进行过滤，以使得过滤无效日志，提高采集效率的同时降低资源占用，根据所述过滤规则获得所述日志文件对应的日志数据，获得所述日志数据后，通过预设的日志分析方法对所述日志数据进行分析和归类，便于用户获得清晰明了的日志信息，降低了运维人员排查问题的难度。
作为优选例子，在所述通过预设的配置文件拼接技术获得日志采集配置文件，具体包括：
根据预设的日志采集信息，通过预设的数据库读取所述日志采集信息对应的配置文件格式；所述日志采集信息包括软件进程信息、日志路径、日志格式标识、过滤条件及日志编码格式；
根据所述配置文件格式，通过预设的配置文件拼接技术拼接所述日志采集信息及预设的日志拼接配置信息，获得所述日志采集配置文件；所述日志采集配置文件包括动态配置及静态配置；所述日志拼接配置信息包括日志输入部分、日志标识部分、日志过滤条件、日志格式处理及日志输出；所述日志输入部分包括日志编码格式、日志软件进程标识、服务器IP、配置文件ID、采集字段位置及日志格式标识。
本发明通过预设的数据库读取所述预设的日志采集信息对应的配置文件格式，并通过预设的配置文件拼接技术拼接所述日志信息及预设的日志采集配置信息，获得完整的日志采集配置文件，本发明根据所述预设的日志采集信息动态定制日志采集配置文件，并根据所述定制的日志采集配置文件进行后续的日志信息采集，实现精准采集，提高采集的效率。
作为优选例子，在所述通过预设的解析方法解析所述日志采集配置文件，获得对应的日志文件并通过预设的过滤规则对所述日志文件进行处理，具体包括：
通过预设的解析方法读取解析所述日志采集配置文件，并根据所述日志采集配置文件中的日志路径及编码格式获得对应的日志文件；
根据所述日志采集配置文件中的所述日志过滤条件，通过所述过滤规则对所述日志文件进行无效日志信息过滤，获得所述日志文件的日志内容。
本发明根据所述日志采集配置文件，通过预设的解析方法获得所述日志采集配置文件对应的日志文件，接着利用预设的过滤规则对所述日志文件中的第一日志内容进行过滤，获得日志内容，降低后续资源占用，提高日志采集效率。
作为优选例子，在所述采集所述日志文件对应的日志数据，具体包括：
通过预设在所述日志采集配置文件的所述动态配置对所述日志文件进行日志采集，获得第一日志数据；
通过预设在所述日志采集配置文件的所述静态配置及所动态配置对所述第一日志数据进行清理及格式修改，获得所述日志文件对应的日志数据。
本发明通过预设的所述日志配置采集文件中的日志标识部分及静态配置部分对所述日志文件中的数据进行采集及过滤，清理无效内容，提高后续的采集效率，并对过滤后的数据进行格式转换，便于统一采集的日志信息的格式，降低运维人员排查问题的难度。
作为优选例子，在所述通过预设的日志分析方法对所述日志数据进行分析归类，具体包括：
通过预设的日志分析方法读取所述日志数据的所述日志格式标识，并通过所述日志格式标识预设的正则表达式解析所述日志数据，获得所述日志数据对应的日志内容；
根据预设的时间格式统一所述日志内容的时间格式，并通过预设的多余字段清理技术及日志错误处理技术对所述日志内容进行处理，获得日志信息。
本发明通过预设的日志分析方法分析所述日志内容的日志格式标识，进而根据所述日志格式标识获取用于解析日志内容的正则表达式，进而获得日志内容，接着对所述日志内容进行时间格式统一，多余字段的清理及日志错误分析处理，最终获得用户需求的日志信息，本发明通过过滤无效日志、处理错误日志信息及对日志信息进行格式统一处理，降低了日志采集的资源占用、提高日志采集效率、降低了运维人员排查问题的难度。
作为优选例子，在所述获得日志信息，还包括：
通过预设的数据库保存所述日志信息。
本发明通过预设的数据库保存所述日志信息，便于后续用户快速查询日志，分析软件故障原因，迅速、准确地排查软件故障原因，及时处置故障，保障业务软件的正常运行。
另一方面，本发明公开了一种日志信息的采集***，包括拼接模块、采集模块及分析模块；
所述拼接模块用于根据预设的日志采集信息，通过预设的配置文件拼接技术获得日志采集配置文件；
所述采集模块用于通过预设的解析方法解析所述日志采集配置文件，获得对应的日志文件并通过预设的过滤规则对所述日志文件进行处理，采集所述日志文件对应的日志数据；
所述分析模块用于根据所述日志数据，通过预设的日志分析方法对所述日志数据进行分析归类，获得日志信息。
本发明公开的一种日志信息的采集***，首先根据预设的日志采集信息，通过预设的配置文件拼接技术动态定制所述日志采集信息对应的日志采集配置文件，便于根据用户需求采集对应的日志文件，提高日志信息采集的效率，接着根据所述日志采集配置文件，通过预设的解析方法解析所述配置文件便于获得用户需要采集的日志文件，然后利用所述预设的过滤规则对所述日志文件中包含的日志内容进行过滤，以使得过滤无效日志，提高采集效率的同时降低资源占用，根据所述过滤规则获得所述日志文件对应的日志数据，获得所述日志数据后，通过预设的日志分析方法对所述日志数据进行分析和归类，便于用户获得清晰明了的日志信息，降低了运维人员排查问题的难度。
作为优选例子，在所述拼接模块包括读取单元及配置单元；
所述读取单元用于根据预设的日志采集信息，通过预设的数据库读取所述日志采集信息对应的配置文件格式；所述日志采集信息包括软件进程信息、日志路径、日志格式标识、过滤条件及日志编码格式；
所述配置单元用于根据所述配置文件格式，通过预设的配置文件拼接技术拼接所述日志采集信息及预设的日志拼接配置信息，获得所述日志采集配置文件；所述日志采集配置文件包括动态配置及静态配置；所述日志拼接配置信息包括日志输入部分、日志标识部分、日志过滤条件、日志格式处理及日志输出；所述日志输入部分包括日志编码格式、日志软件进程标识、服务器IP、配置文件ID、采集字段位置及日志格式标识。
本发明通过预设的数据库读取所述预设的日志采集信息对应的配置文件格式，并通过预设的配置文件拼接技术拼接所述日志信息及预设的日志采集配置信息，获得完整的日志采集配置文件，本发明根据所述预设的日志采集信息动态定制日志采集配置文件，并根据所述定制的日志采集配置文件进行后续的日志信息采集，实现精准采集，提高采集的效率。
作为优选例子，在所述采集模块包括解析单元、过滤单元及采集单元；
所述解析单元用于通过预设的解析方法读取解析所述日志采集配置文件，并根据所述日志采集配置文件中的日志路径及编码格式获得对应的日志文件；
所述过滤单元用于根据所述日志采集配置文件中的所述日志过滤条件，通过所述过滤规则对所述日志文件进行无效日志信息过滤，获得所述日志文件的日志内容；
所述采集单元用于通过预设在所述日志采集配置文件的所述动态配置对所述日志文件进行日志采集，获得第一日志数据；通过预设在所述日志采集配置文件的所述静态配置及所述动态配置对所述第一日志数据进行清理及格式修改，获得所述日志文件对应的日志数据。
本发明根据所述日志采集配置文件，通过预设的解析方法获得所述日志采集配置文件对应的日志文件，接着利用预设的过滤规则对所述日志文件中的第一日志内容进行过滤，获得日志内容，降低后续资源占用，提高日志采集效率，同时通过预设的所述日志配置采集文件中的动态配置及静态配置对所述日志文件中的数据进行采集及过滤，清理无效内容，提高后续的采集效率，并对过滤后的数据进行格式转换，便于统一采集的日志信息的格式，降低运维人员排查问题的难度。
作为优选例子，在所述分析模块包括读取单元、处理单元及保存单元；
所述读取单元用于通过预设的日志分析方法读取所述日志数据的所述日志格式标识，并通过所述日志格式标识预设的正则表达式解析所述日志数据，获得所述日志数据对应的日志内容；
所述处理单元用于根据预设的时间格式统一所述日志内容的时间格式，并通过预设的多余字段清理技术及日志错误处理技术对所述日志内容进行处理，获得日志信息；
所述保存单元用于通过预设的数据库保存所述日志信息。
本发明通过预设的日志分析方法分析所述日志内容的日志格式标识，进而根据所述日志格式标识获取用于解析日志内容的正则表达式，进而获得日志内容，接着对所述日志内容进行时间格式统一，多余字段的清理及日志错误分析处理，最终获得用户需求的日志信息，本发明通过过滤无效日志、处理错误日志信息及对日志信息进行格式统一处理，降低了日志采集的资源占用、提高日志采集效率、降低了运维人员排查问题的难度，并通过预设的数据库保存所述日志信息，便于后续用户快速查询日志，分析软件故障原因，迅速、准确地排查软件故障原因，及时处置故障，保障业务软件的正常运行。
附图说明
图1：为本发明实施例提供的一种日志信息的采集方法的流程示意图；
图2：为本发明实施例提供的一种日志信息的采集***的结构示意图；
图3：为本发明另一实施例提供的一种日志信息的采集方法的流程示意图；
图4：为本发明另一实施例提供的一种用于配置采集信息的采集配置界面的示意图；
图5：为本发明另一实施例提供的一种用于配置采集信息的配制文件的示意图；
图6：为本发明另一实施例提供的一种配置文件的日志输入部分的示意图；
图7：为本发明另一实施例提供的一种配置文件的日志标识部分的示意图；
图8：为本发明另一实施例提供的一种配置文件的日志路径部分的示意图；
图9：为本发明另一实施例提供的一种配置文件的静态配置部分的示意图；
图10：为本发明另一实施例提供的一种配置文件的日志输出部分的示意图；
图11：为本发明另一实施例提供的一种根据配置文件采集到的日志内容的示意图；
图12：为本发明另一实施例提供的一种日志内容中信息字段的示意图；
图13：为本发明另一实施例提供的一种用于日志内容查询的查询界面的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供了一种日志信息的采集方法，该方法的具体实施流程请参照图1，主要包括步骤101至步骤103，每一个步骤具体包括：
步骤101：根据预设的日志采集信息，通过预设的配置文件拼接技术获得日志采集配置文件。
在本实施例中，该步骤主要包括：根据预设的日志采集信息，通过预设的数据库读取所述日志采集信息对应的配置文件格式；所述日志采集信息包括软件进程信息、日志路径、日志格式标识、过滤条件及日志编码格式；根据所述配置文件格式，通过预设的配置文件拼接技术拼接所述日志采集信息及预设的日志拼接配置信息，获得所述日志采集配置文件；所述日志采集配置文件包括动态配置及静态配置；所述日志拼接配置信息包括日志输入部分、日志标识部分、日志过滤条件、日志格式处理及日志输出；所述日志输入部分包括日志编码格式、日志软件进程标识、服务器IP、配置文件ID、采集字段位置及日志格式标识。
本步骤通过预设的数据库读取所述预设的日志采集信息对应的配置文件格式，并通过预设的配置文件拼接技术拼接所述日志信息及预设的日志采集配置信息，获得完整的日志采集配置文件，本发明根据所述预设的日志采集信息动态定制日志采集配置文件，并根据所述定制的日志采集配置文件进行后续的日志信息采集，实现精准采集，提高采集的效率。
步骤102：通过预设的解析方法解析所述日志采集配置文件，获得对应的日志文件并通过预设的过滤规则对所述日志文件进行处理，采集所述日志文件对应的日志数据。
在本实施例中，该步骤具体包括：通过预设的解析方法读取解析所述日志采集配置文件，并根据所述日志采集配置文件中的日志路径及编码格式获得对应的日志文件；根据所述日志采集配置文件中的所述日志过滤条件，通过所述过滤规则对所述日志文件进行无效日志信息过滤，获得所述日志文件的日志内容。
同时通过预设在所述日志采集配置文件的所述动态配置对所述日志文件进行日志采集，获得第一日志数据；通过预设在所述日志采集配置文件的所述静态配置及动态配置对所述第一日志数据进行清理及格式修改，获得所述日志文件对应的日志数据。
本步骤根据所述日志采集配置文件，通过预设的解析方法获得所述日志采集配置文件对应的日志文件，接着利用预设的过滤规则对所述日志文件中的第一日志内容进行过滤，获得日志内容，降低后续资源占用，提高日志采集效率。
步骤103：根据所述日志数据，通过预设的日志分析方法对所述日志数据进行分析归类，获得日志信息。
在本实施例中，该步骤具体包括：通过预设的日志分析方法读取所述日志数据的所述日志格式标识，并通过所述日志格式标识预设的正则表达式解析所述日志数据，获得所述日志数据对应的日志内容；根据预设的时间格式统一所述日志内容的时间格式，并通过预设的多余字段清理技术及日志错误处理技术对所述日志内容进行处理，获得日志信息，同时通过预设的数据库保存所述日志信息。
本步骤通过预设的日志分析方法分析所述日志内容的日志格式标识，进而根据所述日志格式标识获取用于解析日志内容的正则表达式，进而获得日志内容，接着对所述日志内容进行时间格式统一，多余字段的清理及日志错误分析处理，最终获得用户需求的日志信息，本发明通过过滤无效日志、处理错误日志信息及对日志信息进行格式统一处理，降低了日志采集的资源占用、提高日志采集效率、降低了运维人员排查问题的难度，同时通过预设的数据库保存所述日志信息，便于后续用户快速查询日志，分析软件故障原因，迅速、准确地排查软件故障原因，及时处置故障，保障业务软件的正常运行。
另一方面，本发明实施例还提供了一种日志信息的采集***，该***的主要结构请参照图2，主要包括拼接模块201、采集模块202及分析模块203。
所述拼接模块201用于根据预设的日志采集信息，通过预设的配置文件拼接技术获得日志采集配置文件。
所述采集模块202用于通过预设的解析方法解析所述日志采集配置文件，获得对应的日志文件并通过预设的过滤规则对所述日志文件进行处理，采集所述日志文件对应的日志数据。
所述分析模块203用于根据所述日志数据，通过预设的日志分析方法对所述日志数据进行分析归类，获得日志信息。
在本实施例中，所述拼接模块201包括读取单元及配置单元。
所述读取单元用于根据预设的日志采集信息，通过预设的数据库读取所述日志采集信息对应的配置文件格式；所述日志采集信息包括软件进程信息、日志路径、日志格式标识、过滤条件及日志编码格式。
所述配置单元用于根据所述配置文件格式，通过预设的配置文件拼接技术拼接所述日志采集信息及预设的日志拼接配置信息，获得所述日志采集配置文件；所述日志采集配置文件包括动态配置及静态配置；所述日志拼接配置信息包括日志输入部分、日志标识部分、日志过滤条件、日志格式处理及日志输出；所述日志输入部分包括日志编码格式、日志软件进程标识、服务器IP、配置文件ID、采集字段位置及日志格式标识。
在本实施例中，所述采集模块202包括解析单元、过滤单元及采集单元。
所述解析单元用于通过预设的解析方法读取解析所述日志采集配置文件，并根据所述日志采集配置文件中的日志路径及编码格式获得对应的日志文件。
所述过滤单元用于根据所述日志采集配置文件中的所述日志过滤条件，通过所述过滤规则对所述日志文件进行无效日志信息过滤，获得所述日志文件的日志内容。
所述采集单元用于通过预设在所述日志采集配置文件的所述动态配置对所述日志文件进行日志采集，获得第一日志数据；通过预设在所述日志采集配置文件的所述静态配置及所述静态配置对所述第一日志数据进行清理及格式修改，获得所述日志文件对应的日志数据。
在本实施例中，所述分析模块203包括读取单元、处理单元及保存单元。
所述读取单元用于通过预设的日志分析方法读取所述日志数据的所述日志格式标识，并通过所述日志格式标识预设的正则表达式解析所述日志数据，获得所述日志数据对应的日志内容。
所述处理单元用于根据预设的时间格式统一所述日志内容的时间格式，并通过预设的多余字段清理技术及日志错误处理技术对所述日志内容进行处理，获得日志信息。
所述保存单元用于通过预设的数据库保存所述日志信息。
本实施例提供的一种日志信息的采集方法及***，首先根据预设的日志采集信息，通过预设的配置文件拼接技术动态定制所述日志采集信息对应的日志采集配置文件，便于根据用户需求采集对应的日志文件，提高日志信息采集的效率，接着根据所述日志采集配置文件，通过预设的解析方法解析所述配置文件便于获得用户需要采集的日志文件，然后利用所述预设的过滤规则对所述日志文件中包含的日志内容进行过滤，以使得过滤无效日志，提高采集效率的同时降低资源占用，根据所述过滤规则获得所述日志文件对应的日志数据，获得所述日志数据后，通过预设的日志分析方法对所述日志数据进行分析和归类，便于用户获得清晰明了的日志信息，降低了运维人员排查问题的难度。
实施例二
本实施例提供了另外一种日志信息的采集方法，该方法的具体实施流程请参照图3，主要包括步骤301至步骤304，所述步骤具体包括：
步骤301：根据预先配置的采集信息，通过预设的配置文件拼接技术拼接日志采集信息，获得日志采集配置文件。
在本实施例中，该步骤具体包括：根据预设的日志采集信息，通过预设的数据库读取所述日志采集信息对应的配置文件格式，根据所述配置文件格式，通过预设的配置文件拼接技术拼接所述日志采集信息及预设的日志拼接配置信息，获得所述日志采集配置文件。
在本实施例中，该步骤具体为：所述预设配置的采集信息为通过预设的采集配置界面增加进程信息、日志路径、采集开关、采集标识、过滤条件、编码格式及输出方式等采集信息，所述采集配置界面请参照图4，其中所述进程信息包括进程名称、运行服务器、所属任务等，接着获得所述界面配置的采集信息后，先从数据库获取配置文件格式，通过预设的配置文件拼接技术及根据配置格式及输入信息拼接成完整的配置文件，所述配置文件的完整拼接过程为数据库获取配置文件格式后，拼接日志输入部分包括日志编码格式、日志软件进程标识、服务器IP、配置文件ID、采集字段位置及日志格式标识，接着拼接日志标识部分配置信息包括多行日志配置，拼接日志过滤条件配置信息、日志格式处理配置信息及日志输出配置信息，拼接完成后，发送到服务器中，获得完整的配置文件。
在本实施例中，所述完整的配置文件请参照图5，最后把配置文件发送到对应的服务器，启动filebeat进程采集日志信息，所述配置文件分为五部分：日志输入部分、日志标识部分、日志路径、静态配置部分、日志输出部分，在本实施例中，所述日志输入部分请参照图6，包含了日志采集的输入信息，用于打开日志文件、开始采集时配置日志格式标识、来源、服务器、软件id等固定信息以及编码格式、过滤方式等，fields_under_root用于配置采集后日志字段是否存放在根下，同时所述输入部分包括：encoding: 编码格式；from: 软件进程名称 ；ip: 服务器ip；tpIds: 软件进程；idfields_under_root：配置日志内容存放位置；tags：日志格式标识；include_lines：过滤规则；所述日志标识部分请参照图7，根据日志格式标识，从数据库中获取的固定处理格式，与日志格式标识深度绑定，包括多行日志处理等，所述日志路径部分请参照图8，是用于配置日志文件的存放路径。所述静态配置部分请参照图9，主要是通用配置，无需在界面配置，所有采集配置都会拼接。这部分配置主要是用于修改字段名称、清理多余字段等功能，所述日志输出部分请参照图10，是用于配置日志输出位置。
步骤302：根据所述配置文件，通过预设的解析方法及过滤规则，获得相关的日志内容。
在本实施例中，该步骤主要包括：通过预设的解析方法解析所述日志采集配置文件，获得对应的日志文件并通过预设的过滤规则对所述日志文件进行处理，采集所述日志文件对应的日志数据。
在本实施例中，该步骤具体为：所述预设的解析方法为通过filebeat读取解析配置文件，根据日志路径及编码格式获得对应的日志文件，接着根据日志标识部分，如多行日志配置等配置进行日志采集，同时根据过滤规则过滤日志内容，在过滤日志内容后，直接增加日志来源、进程id、服务器ip、日志格式标识等信息。根据静态配置部分及日志标识部分对日志进一步处理，清理无效内容，格式转化、修改字段名称等，最终把采集到的日志内容写入kafka。在本实施例中，filebeat采集到的日志内容请参照图11，其中日志内容中的关键字段为：@timestamp:采集时间；ip:服务器ip；tpIds：进程id；message:日志消息内容；tags :日志格式标识；from：日志来源；host_name:服务器主机名。
步骤303：通过预设的日志分析方法对所述日志内容进行处理，获得日志信息。
在本实施例中，该步骤具体包括：通过预设的日志分析方法读取所述日志数据的所述日志格式标识，并通过预设的正则表达式解析日志数据，获得所述日志数据对应的日志内容；根据预设的时间格式统一所述日志内容的时间格式，并通过预设的多余字段清理技术及日志错误处理技术对所述日志内容进行处理，获得日志信息。
在本实施例中，该步骤具体为：所述预设的日志分析方法为Logstash从kafka中获取日志数据，判断日志格式标识并根据日志格式标识获取用于解析日志内容的正则表达式、日志格式化方法、日志内容处理方法等，在本实施例中提供了一种日志格式标识为SMMACS的message字段日志消息内容格式，该字段日志消息内容格式为：
[2022-12-0800:00:00.043]ERROR org.springframework.amqp.rabbit.connection.CachingConnectionFactory log 1575 - Channel shutdown: channel error;protocol method: #method<channel.close>(reply-code=404, reply-text=NOT_FOUND- no exchange 'smmacs_fault_to_jd_exchange' in vhost '/', class-id=60,method-id=40)
所述message字段日志消息内容格式对应的正则表达式为：\[%{TIMESTAMP_ISO8601:generate_time}\]%{SPACE}%{LOGLEVEL:level}%{SPACE}%{JAVACLASS:filename}%{SPACE}(?<function>[a-zA-Z0-9_ .:-]+)%{SPACE}-%{SPACE}(?<content>.*)
通过所述正则表达式对所述内容格式进行处理，获得对应的字段，所述字段包括：generate_time 原始日志时间；level日志告警等级；filename 文件名称；function 方法；content 日志内容； 接着Logstash日志分析根据日志格式标识对日志进行分析、清理、归类等，由于不同日志中日志时间格式不一，故而需要进行一次日志时间的格式化，统一日志格式，每种日志格式标识都有定制的时间格式化方法，SMMACS的时间格式化方法为：
date {
match =>["generate_time","MMM d HH:mm:ss", "ISO8601"]
timezone =>"Asia/Shanghai"
target =>"publish_date"
}
此时会把所有日志时间统一为以下关键字段：publish_date：日志时间，最后再进行统一的多余字段清理及日志分析错误处理即可把最终结果存入elasticsearch数据库中，最终存储格式如下：
{"_index": "smmacs-2022.12.09", "_type": "_doc", "_id": "7lyK94QBtSJGSmg-QFBO","_version": 1, "_score": null,"_source": {"host_name":"kylin-02","generate_time": "2022-12-09 23:39:00.166", "level": "ERROR","function": "log 1575 ","log": { "offset": 24555642,
"file": {"path": "/data/logs/smmacs-api/system.log" }},
"publish_date": "2022-12-09T15:39:00.166Z", "tags": ["SMMACS"],"@timestamp": "2022-12-09T15:39:02.575Z",
"ip": "192.168.160.121", "content": "Channel shutdown: channel error;protocol method: #method<channel.close>(reply-code=404, reply-text=NOT_FOUND- no exchange 'smmacs_fault_to_jd_exchange' in vhost '/', class-id=60,method-id=40)", "tpIds": "_other_|1893|",
"filename":"org.springframework.amqp.rabbit.connection.CachingConnectionFactory", "from": ["SmmacsApiApplication.jar"],"@version": "1" }, "fields": {"publish_date": ["2022-12-09T15:39:00.166Z"],"@timestamp": ["2022-12-09T15:39:02.575Z"]},"sort": [1670600342575]}，
日志格式标识SMMACS类日志内容中包含的字段有：
tags、host_name、generate_time、level、function、publish_date、ip、content、tpIds、filename、from、@timestamp；
根据所有日志内容分析归纳，日志内容中所有信息字段请参照图12，包括日志时间、采集时间、服务器、主机名及数据来源等日志信息字段。
步骤304：通过预设的数据库保存所述日志信息并进行查询。
在本实施例中，该步骤具体为：当日志信息存入elasticsearch数据库后，运维人员即可从查询界面快速查询日志，所述查询界面请参照图13，分析软件故障原因，迅速、准确地排查软件故障原因，及时处置故障，保障业务软件的正常运行。
本实施例通过分段拼接配置文件的方法动态定制采集配置、filebeat采集、kafka持久化原始日志信息、logstash自动分析日志、elasticsearch存储分析结果、动态检索界面结合kibana界面检索，提高了采集效率与性能，降低了运维人员的故障排查难度。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种日志信息的采集方法，其特征在于，包括：
根据预设的日志采集信息，通过预设的配置文件拼接技术获得日志采集配置文件；
通过预设的解析方法解析所述日志采集配置文件，获得对应的日志文件并通过预设的过滤规则对所述日志文件进行处理，采集所述日志文件对应的日志数据；
根据所述日志数据，通过预设的日志分析方法对所述日志数据进行分析归类，获得日志信息。
2.如权利要求1所述的一种日志信息的采集方法，其特征在于，所述通过预设的配置文件拼接技术获得日志采集配置文件，具体包括：
根据预设的日志采集信息，通过预设的数据库读取所述日志采集信息对应的配置文件格式；所述日志采集信息包括软件进程信息、日志路径、日志格式标识、过滤条件及日志编码格式；
根据所述配置文件格式，通过预设的配置文件拼接技术拼接所述日志采集信息及预设的日志拼接配置信息，获得所述日志采集配置文件；所述日志采集配置文件包括动态配置及静态配置；所述日志拼接配置信息包括日志输入部分、日志标识部分、日志过滤条件、日志格式处理及日志输出；所述日志输入部分包括日志编码格式、日志软件进程标识、服务器IP、配置文件ID、采集字段位置及日志格式标识。
3.如权利要求2所述的一种日志信息的采集方法，其特征在于，所述通过预设的解析方法解析所述日志采集配置文件，获得对应的日志文件并通过预设的过滤规则对所述日志文件进行处理，具体包括：
通过预设的解析方法读取解析所述日志采集配置文件，并根据所述日志采集配置文件中的日志路径及编码格式获得对应的日志文件；
根据所述日志采集配置文件中的所述日志过滤条件，通过所述过滤规则对所述日志文件进行无效日志信息过滤，获得所述日志文件的日志内容。
4.如权利要求2所述的一种日志信息的采集方法，其特征在于，所述采集所述日志文件对应的日志数据，具体包括：
通过预设在所述日志采集配置文件的所述动态配置对所述日志文件进行日志采集，获得第一日志数据；
通过预设在所述日志采集配置文件的所述静态配置及所述动态配置对所述第一日志数据进行清理及格式修改，获得所述日志文件对应的日志数据。
5.如权利要求2所述的一种日志信息的采集方法，其特征在于，所述通过预设的日志分析方法对所述日志数据进行分析归类，具体包括：
通过预设的日志分析方法读取所述日志数据的所述日志格式标识，并通过所述日志格式标识预设的正则表达式解析所述日志数据，获得所述日志数据对应的日志内容；
根据预设的时间格式统一所述日志内容的时间格式，并通过预设的多余字段清理技术及日志错误处理技术对所述日志内容进行处理，获得日志信息。
6.如权利要求1所述的一种日志信息的采集方法，其特征在于，所述获得日志信息，还包括：
通过预设的数据库保存所述日志信息。
7.一种日志信息的采集***，其特征在于，包括拼接模块、采集模块及分析模块；
所述拼接模块用于根据预设的日志采集信息，通过预设的配置文件拼接技术获得日志采集配置文件；
所述采集模块用于通过预设的解析方法解析所述日志采集配置文件，获得对应的日志文件并通过预设的过滤规则对所述日志文件进行处理，采集所述日志文件对应的日志数据；
所述分析模块用于根据所述日志数据，通过预设的日志分析方法对所述日志数据进行分析归类，获得日志信息。
8.如权利要求7所述的一种日志信息的采集***，其特征在于，所述拼接模块包括读取单元及配置单元；
所述读取单元用于根据预设的日志采集信息，通过预设的数据库读取所述日志采集信息对应的配置文件格式；所述日志采集信息包括软件进程信息、日志路径、日志格式标识、过滤条件及日志编码格式；
所述配置单元用于根据所述配置文件格式，通过预设的配置文件拼接技术拼接所述日志采集信息及预设的日志拼接配置信息，获得所述日志采集配置文件；所述日志采集配置文件包括动态配置及静态配置；所述日志拼接配置信息包括日志输入部分、日志标识部分、日志过滤条件、日志格式处理及日志输出；所述日志输入部分包括日志编码格式、日志软件进程标识、服务器IP、配置文件ID、采集字段位置及日志格式标识。
9.如权利要求8所述的一种日志信息的采集***，其特征在于，所述采集模块包括解析单元、过滤单元及采集单元；
所述解析单元用于通过预设的解析方法读取解析所述日志采集配置文件，并根据所述日志采集配置文件中的日志路径及编码格式获得对应的日志文件；
所述过滤单元用于根据所述日志采集配置文件中的所述日志过滤条件，通过所述过滤规则对所述日志文件进行无效日志信息过滤，获得所述日志文件的日志内容；
所述采集单元用于通过预设在所述日志采集配置文件的所述动态配置对所述日志文件进行日志采集，获得第一日志数据；
通过预设在所述日志采集配置文件的所述静态配置及所述动态配置对所述第一日志数据进行清理及格式修改，获得所述日志文件对应的日志数据。
10.如权利要求8所述的一种日志信息的采集***，其特征在于，所述分析模块包括读取单元、处理单元及保存单元；
所述读取单元用于通过预设的日志分析方法读取所述日志数据的所述日志格式标识，并通过所述日志格式标识预设的正则表达式解析所述日志数据，获得所述日志数据对应的日志内容；
所述处理单元用于根据预设的时间格式统一所述日志内容的时间格式，并通过预设的多余字段清理技术及日志错误处理技术对所述日志内容进行处理，获得日志信息；
所述保存单元用于通过预设的数据库保存所述日志信息。
CN202310349106.1A 2023-04-04 2023-04-04 一种日志信息的采集方法及*** Pending CN116150120A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310349106.1A CN116150120A (zh) 2023-04-04 2023-04-04 一种日志信息的采集方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310349106.1A CN116150120A (zh) 2023-04-04 2023-04-04 一种日志信息的采集方法及***

Publications (1)

Publication Number Publication Date
CN116150120A true CN116150120A (zh) 2023-05-23

Family

ID=86340951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310349106.1A Pending CN116150120A (zh) 2023-04-04 2023-04-04 一种日志信息的采集方法及***

Country Status (1)

Country Link
CN (1) CN116150120A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116760682A (zh) * 2023-08-22 2023-09-15 深圳前海环融联易信息科技服务有限公司 一种日志采集过滤方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296400A (zh) * 2016-08-10 2017-01-04 中国农业银行股份有限公司 一种日志记录的方法及***
CN108153647A (zh) * 2017-12-26 2018-06-12 广东欧珀移动通信有限公司 日志处理方法、装置、终端设备及存储介质
CN109299042A (zh) * 2018-11-12 2019-02-01 郑州云海信息技术有限公司 一种日志处理方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296400A (zh) * 2016-08-10 2017-01-04 中国农业银行股份有限公司 一种日志记录的方法及***
CN108153647A (zh) * 2017-12-26 2018-06-12 广东欧珀移动通信有限公司 日志处理方法、装置、终端设备及存储介质
CN109299042A (zh) * 2018-11-12 2019-02-01 郑州云海信息技术有限公司 一种日志处理方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116760682A (zh) * 2023-08-22 2023-09-15 深圳前海环融联易信息科技服务有限公司 一种日志采集过滤方法、装置、设备及介质
CN116760682B (zh) * 2023-08-22 2023-12-05 深圳前海环融联易信息科技服务有限公司 一种日志采集过滤方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US8055661B2 (en) Device and method for automatically generating ontology instance
CN110597651A (zh) 业务异常排查方法、装置、设备及计算机可读存储介质
CN109710439B (zh) 故障处理方法和装置
CN116150120A (zh) 一种日志信息的采集方法及***
CN111367760A (zh) 日志采集方法及装置、计算机设备、存储介质
CN111753070A (zh) 一种服务器监控日志处理的***和方法
CN109902070B (zh) 一种面向WiFi日志数据的解析存储搜索方法
CN117453280B (zh) 一种代码拓扑和业务拓扑生成方法、装置、设备及介质
CN111966339B (zh) 埋点参数的录入方法、装置、计算机设备和存储介质
CN108228417A (zh) 车联网日志处理方法及处理装置
US20100153783A1 (en) Method and apparatus for system analysis
CN116881100A (zh) 日志检测方法、日志告警方法、***、设备及存储介质
CN113380414B (zh) 基于大数据的数据采集方法及***
CN115391279A (zh) 一种日志处理方法、装置、电子设备及存储介质
CN115757045A (zh) 一种交易日志分析方法、***及装置
CN114996080A (zh) 数据处理方法、装置、设备及存储介质
CN114153869A (zh) 一种微服务架构智能数据库分析适配方法
CN112269825A (zh) 一种etl解析异常数据留存的方法及装置
CN115168297A (zh) 绕行日志审计方法及装置
CN117971605B (zh) 基于数据库异常的自动化日志信息收集方法及***
US11835989B1 (en) FPGA search in a cloud compute node
CN117714317A (zh) 数据采集方法、装置、设备及存储介质
CN1543611A (zh) 用于生成上下文描述消息的方法和装置
CN117499283A (zh) 一种埋点协议测试方法
CN118200197A (zh) 一种气象数据协同传输监测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230523