CN104850666A - 一种日志文件自动分析方法 - Google Patents

一种日志文件自动分析方法 Download PDF

Info

Publication number
CN104850666A
CN104850666A CN201510327645.0A CN201510327645A CN104850666A CN 104850666 A CN104850666 A CN 104850666A CN 201510327645 A CN201510327645 A CN 201510327645A CN 104850666 A CN104850666 A CN 104850666A
Authority
CN
China
Prior art keywords
journal file
automatic analysis
information
parameter
log file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510327645.0A
Other languages
English (en)
Inventor
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Feixun Data Communication Technology Co Ltd
Original Assignee
Shanghai Feixun Data Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Feixun Data Communication Technology Co Ltd filed Critical Shanghai Feixun Data Communication Technology Co Ltd
Priority to CN201510327645.0A priority Critical patent/CN104850666A/zh
Publication of CN104850666A publication Critical patent/CN104850666A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种日志文件自动分析方法，首先编译日志文件自动分析脚本，然后日志文件自动分析脚本装载待分析的日志文件，将需要分析的参数输入日志文件自动分析脚本并设置对应的参数阈值，接着日志文件自动分析脚本根据输入的参数，从待分析的日志文件中过滤出匹配信息，再根据设置的参数阈值，对匹配信息进行分析判断，得到分析结果。本发明可以对大量日志文件进行自动分析，提高了分析效率，节省了人力。

Description

一种日志文件自动分析方法
技术领域
本发明涉及一种日志文件自动分析方法。
背景技术
随着互联网技术的发展，服务端程序越来越庞大，也越来越复杂，一个应用往往会有很多的服务在后台运行，这些后台服务运行时会产生大量的日志文件（Log）信息，Log通常是一种以文本形式存在的文件，其中记录了程序运行时所产生的事件信息，这些信息包括：时间、事件类型、位置和输出值等，事件类型又包括：严重错误、一般错误、警告和提示信息。当***发生故障时，这些log是分析和定位问题最有效的证据。
现在分析log普遍都是靠技术人员手动去分析，通过文本工具的编辑和查找功能来定位出想要的信息。面对大量的log信息，手动分析是比较繁琐的，效率比较低。
发明内容
本发明提供一种日志文件自动分析方法，可以对大量日志文件进行自动分析，提高了分析效率，节省了人力。
为了达到上述目的，本发明提供一种日志文件自动分析方法，包含以下步骤：
步骤S1、编译日志文件自动分析脚本；
步骤S2、日志文件自动分析脚本装载待分析的日志文件；
步骤S3、将需要分析的参数输入日志文件自动分析脚本并设置对应的参数阈值；
步骤S4、日志文件自动分析脚本根据输入的参数，从待分析的日志文件中过滤出匹配信息；
步骤S5、日志文件自动分析脚本根据设置的参数阈值，对匹配信息进行分析判断，得到分析结果。
所述的待分析的日志文件包含：单个服务端的日志文件，或者，多个服务端的多个相关联的日志文件；所述的相关联是指：一个服务端产生一个或多个事件，会引起另一个服务端产生一个或多个事件。
所述的参数输入包含：输入单个日志文件的待分析参数、以及输入多个相关联的日志文件的待联合分析的参数。
所述的单个日志文件的待分析参数包含：
严重错误关键字；
一般错误关键字；
告警信息；
提示信息。
所述的输入多个相关联的日志文件的待联合分析的参数包含：
分别输入每个日志文件中的所有事件类型和该事件类型对应的关键字；
所述的关键字包含：
严重错误；
一般错误；
告警信息；
提示信息。
所述的设置对应的参数阈值包含：设置单个日志文件的参数阈值、以及设置多个相关联的日志文件的参数阈值。
所述的单个日志文件的参数阈值包含：告警信息的阈值范围和提示信息的阈值范围。
所述的多个相关联的日志文件的参数阈值包含：分别发生在两个服务端中的两个相关联事件的发生时间之间的最大时延值T。
针对单个日志文件，如果告警信息的输出值和提示信息的输出值落入阈值范围内，则将告警信息的输出值和提示信息的输出值反馈给用户；
针对多个相关联的日志文件，如果在最大时延值T内发生了相关联的两个事件，则认为正常，如果在最大时延值T内发生的事件个数不对，或者没有发生任何事件，则认为异常。
日志文件自动分析脚本将分析结果以文本的形式输出给用户。
本发明可以对大量日志文件进行自动分析，提高了分析效率，节省了人力。
附图说明
图1是本发明的流程图。
具体实施方式
以下根据图1具体说明本发明的较佳实施例。
本发明提出的一种日志文件自动分析方法，可以将需要分析的日志文件的信息参数预先输入自动分析脚本中，然后自动分析脚本开始自动分析log文件，最终将用户需要的分析结果输出给用户。该自动分析方法还支持多个log文件同时分析，因为多服务端程序同时运行的情况下，它们之间的运行往往是互相配合的，多个服务端程序之间的事件往往都是联系在一起的，一台服务端产生一个或数个事件必然会使得另一台服务端产生一个或数个事件，比如服务端1有事件A发生，服务端2应该会有事件B发生，而且发生的前后时间也应该是有限定的，如果这两台服务端的事件不是一一对应的，缺少了或者增多了，都是异常情况，自动分析脚本能同时分析这些log文件。
如图1所示，本发明提供一种日志文件自动分析方法，包含以下步骤：
步骤S1、编译log文件自动分析脚本；本实施例中，采用Java语言编译log文件自动分析脚本；
步骤S2、log文件自动分析脚本装载待分析的log文件；
所述的待分析的log文件可以包含单个服务端的log文件（例如，文件logfile），也可以包含多个服务端的多个相关联的log文件（例如，文件logfile 1和logfile 2）；
步骤S3、log文件自动分析脚本判断待分析的log文件的数量，如果数量等于1，进行步骤S4，如果数量大于1，进行步骤S5；
步骤S4、将单个log文件的待分析参数输入log文件自动分析脚本并设置单个log文件的参数阈值，进行步骤S6；
所述的单个log文件的待分析参数包含：
严重错误关键字（Serious fault）；
一般错误关键字（Common fault）；
告警信息（Waring）；
提示信息（Tips）；
所述的单个log文件的参数阈值包含：告警信息的阈值范围和提示信息的阈值范围（例如，将告警信息的阈值范围和提示信息的阈值范围都设置为大于等于20且小于等于30）；
步骤S5、将多个相关联的log文件的待联合分析的参数输入log文件自动分析脚本并设置多个相关联的log文件的参数阈值，进行步骤S6；
所述的输入多个相关联的log文件的待联合分析的参数包含：分别输入每个log文件中的所有事件类型和该事件类型对应的关键字；
例如：在文件logfile 1中增加事件类型1，事件类型1对应的关键字A1，增加事件类型2，事件类型2对应的关键字A2，如果有更多以此类推；
在文件logfile 2中增加事件类型2，事件类型2对应的关键字B1，增加事件类型2，事件类型2对应的关键字B2，如果有更多也以此类推；
所述的关键字包含：
严重错误（A Error）；
一般错误（B Error）；
告警信息（C Info）；
提示信息（D Message）；
所述的多个相关联的log文件的参数阈值包含：
分别发生在两个服务端中的两个相关联事件的发生时间之间的最大时延值T；
步骤S6、log文件自动分析脚本根据输入的参数，从待分析的log文件中过滤出匹配信息；
步骤S7、log文件自动分析脚本根据设置的参数阈值，对匹配信息进行分析判断，得到分析结果；
针对单个log文件，由于某些告警信息和提示信息往往不是最重要的信息，应该将每条告警信息和提示信息的输出值与阈值范围进行比较，如果告警信息的输出值和提示信息的输出值落入阈值范围内，则将告警信息的输出值和提示信息的输出值反馈给用户；
针对多个相关联的log文件，同时分析两个不同的log文件中，不同的事件，如果在最大时延值T内发生了相关联的两个事件，则认为正常，如果在最大时延值T内发生的事件个数不对，或者没有发生任何事件，则认为异常，将结果反馈给用户；
步骤S8、log文件自动分析脚本将分析结果以文本的形式输出给用户。
本发明可以对大量日志文件进行自动分析，提高了分析效率，节省了人力。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种日志文件自动分析方法，其特征在于，包含以下步骤：
编译日志文件自动分析脚本；
日志文件自动分析脚本装载待分析的日志文件；
将需要分析的参数输入日志文件自动分析脚本并设置对应的参数阈值；
日志文件自动分析脚本根据输入的参数，从待分析的日志文件中过滤出匹配信息；
日志文件自动分析脚本根据设置的参数阈值，对匹配信息进行分析判断，得到分析结果。
2.如权利要求1所述的日志文件自动分析方法，其特征在于，所述的待分析的日志文件包含：单个服务端的日志文件，或者，多个服务端的多个相关联的日志文件；所述的相关联是指：一个服务端产生一个或多个事件，会引起另一个服务端产生一个或多个事件。
3.如权利要求2所述的日志文件自动分析方法，其特征在于，所述的参数输入包含：输入单个日志文件的待分析参数、以及输入多个相关联的日志文件的待联合分析的参数。
4.如权利要求3所述的日志文件自动分析方法，其特征在于，所述的单个日志文件的待分析参数包含：
严重错误关键字；
一般错误关键字；
告警信息；
提示信息。
5.如权利要求3所述的日志文件自动分析方法，其特征在于，所述的输入多个相关联的日志文件的待联合分析的参数包含：分别输入每个日志文件中的所有事件类型和该事件类型对应的关键字；
所述的关键字包含：
严重错误；
一般错误；
告警信息；
提示信息。
6.如权利要求4或5所述的日志文件自动分析方法，其特征在于，所述的设置对应的参数阈值包含：设置单个日志文件的参数阈值、以及设置多个相关联的日志文件的参数阈值。
7.如权利要求6所述的日志文件自动分析方法，其特征在于，所述的单个日志文件的参数阈值包含：告警信息的阈值范围和提示信息的阈值范围。
8.如权利要求6所述的日志文件自动分析方法，其特征在于，所述的多个相关联的日志文件的参数阈值包含：分别发生在两个服务端中的两个相关联事件的发生时间之间的最大时延值T。
9.如权利要求7或8所述的日志文件自动分析方法，其特征在于，
针对单个日志文件，如果告警信息的输出值和提示信息的输出值落入阈值范围内，则将告警信息的输出值和提示信息的输出值反馈给用户；
针对多个相关联的日志文件，如果在最大时延值T内发生了相关联的两个事件，则认为正常，如果在最大时延值T内发生的事件个数不对，或者没有发生任何事件，则认为异常。
10.如权利要求9所述的日志文件自动分析方法，其特征在于，日志文件自动分析脚本将分析结果以文本的形式输出给用户。
CN201510327645.0A 2015-06-15 2015-06-15 一种日志文件自动分析方法 Pending CN104850666A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510327645.0A CN104850666A (zh) 2015-06-15 2015-06-15 一种日志文件自动分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510327645.0A CN104850666A (zh) 2015-06-15 2015-06-15 一种日志文件自动分析方法

Publications (1)

Publication Number Publication Date
CN104850666A true CN104850666A (zh) 2015-08-19

Family

ID=53850310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510327645.0A Pending CN104850666A (zh) 2015-06-15 2015-06-15 一种日志文件自动分析方法

Country Status (1)

Country Link
CN (1) CN104850666A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106681930A (zh) * 2017-01-23 2017-05-17 北京思特奇信息技术股份有限公司 分布式自动检测应用运行异常方法及***
CN106844139A (zh) * 2016-12-19 2017-06-13 广州视源电子科技股份有限公司 一种日志文件分析方法及装置
CN107148033A (zh) * 2017-05-02 2017-09-08 惠州Tcl移动通信有限公司 一种定位过程分析方法、存储设备及移动终端
CN107479994A (zh) * 2016-06-07 2017-12-15 阿里巴巴集团控股有限公司 一种基于分布式软件***的日志文件处理方法、装置
CN107506558A (zh) * 2017-09-05 2017-12-22 郑州云海信息技术有限公司 一种采用断言和脚本提高统计功能覆盖率效率的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645336A (zh) * 2005-01-20 2005-07-27 上海复旦光华信息科技股份有限公司 基于模板的异构日志信息自动提取与分析方法
CN101192227A (zh) * 2006-11-30 2008-06-04 阿里巴巴公司 一种基于分布式计算网络的日志文件分析方法和***
JP4600327B2 (ja) * 2006-03-27 2010-12-15 日本電気株式会社 ログ解析システム、ログ解析ツール設定方法およびプログラム
CN103544298A (zh) * 2013-10-30 2014-01-29 曙光信息产业(北京)有限公司 组件的日志分析方法和分析装置
CN103577307A (zh) * 2013-11-07 2014-02-12 浙江中烟工业有限责任公司 基于xml规则模型的防火墙日志自动提取与分析方法
CN104636241A (zh) * 2015-01-20 2015-05-20 卡斯柯信号有限公司 基于需求建模的车载控制器日志数据自动分析方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1645336A (zh) * 2005-01-20 2005-07-27 上海复旦光华信息科技股份有限公司 基于模板的异构日志信息自动提取与分析方法
JP4600327B2 (ja) * 2006-03-27 2010-12-15 日本電気株式会社 ログ解析システム、ログ解析ツール設定方法およびプログラム
CN101192227A (zh) * 2006-11-30 2008-06-04 阿里巴巴公司 一种基于分布式计算网络的日志文件分析方法和***
CN103544298A (zh) * 2013-10-30 2014-01-29 曙光信息产业(北京)有限公司 组件的日志分析方法和分析装置
CN103577307A (zh) * 2013-11-07 2014-02-12 浙江中烟工业有限责任公司 基于xml规则模型的防火墙日志自动提取与分析方法
CN104636241A (zh) * 2015-01-20 2015-05-20 卡斯柯信号有限公司 基于需求建模的车载控制器日志数据自动分析方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479994A (zh) * 2016-06-07 2017-12-15 阿里巴巴集团控股有限公司 一种基于分布式软件***的日志文件处理方法、装置
CN106844139A (zh) * 2016-12-19 2017-06-13 广州视源电子科技股份有限公司 一种日志文件分析方法及装置
CN106681930A (zh) * 2017-01-23 2017-05-17 北京思特奇信息技术股份有限公司 分布式自动检测应用运行异常方法及***
CN106681930B (zh) * 2017-01-23 2021-05-04 北京思特奇信息技术股份有限公司 分布式自动检测应用运行异常方法及***
CN107148033A (zh) * 2017-05-02 2017-09-08 惠州Tcl移动通信有限公司 一种定位过程分析方法、存储设备及移动终端
CN107506558A (zh) * 2017-09-05 2017-12-22 郑州云海信息技术有限公司 一种采用断言和脚本提高统计功能覆盖率效率的方法

Similar Documents

Publication Publication Date Title
CN104850666A (zh) 一种日志文件自动分析方法
CN105721187B (zh) 一种业务故障诊断方法及装置
KR102016812B1 (ko) 데이터 불균형 환경에서 머신러닝 모델을 통해 공정 불량 원인을 도출하고 시각화하는 방법
CN103235759A (zh) 测试用例生成方法和装置
CN105022691A (zh) 一种基于uml图的高度自动化软件测试方法
CN102662828A (zh) 一种实现软件自动测试的方法及装置
US20200117587A1 (en) Log File Analysis
CN109918296B (zh) 软件自动化测试方法及装置
WO2020071054A1 (ja) 故障要因優先度提示装置
CN110262978B (zh) 一种基于长流程自动化测试的接口重试方法及设备
CN110750426A (zh) 服务状态监测方法、装置、电子设备及可读存储介质
CN103049367A (zh) 一种软件自动化测试的方法
CN103488562A (zh) 自动化测试方法和装置
Maeyens et al. Process mining on machine event logs for profiling abnormal behaviour and root cause analysis
CN111611154B (zh) 一种回归测试的方法、装置和设备
CN106407246B (zh) Sql执行计划管理的方法及装置
CN109359748A (zh) 维修数据库的管理方法、终端及计算机可读存储介质
CN111193631B (zh) 信息处理方法、***和计算机可读存储介质
CN112596938A (zh) 一种异常监控方法及装置
CN112256532A (zh) 测试界面生成方法、装置、计算机设备及可读存储介质
CN113285824B (zh) 一种监控网络配置命令安全性的方法及装置
JP6116052B2 (ja) 組込みシステムのテスト方法
CN109800170B (zh) 一种基于api测试平台的测试方法，设备及可读存储介质
CN113111009A (zh) 一种软件测试装置及测试方法
CN102486795B (zh) 动态文件平衡性核查方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150819

WD01 Invention patent application deemed withdrawn after publication