CN111106965A - 用于复杂***的日志智能分析方法、工具、设备及介质 - Google Patents
用于复杂***的日志智能分析方法、工具、设备及介质 Download PDFInfo
- Publication number
- CN111106965A CN111106965A CN201911358342.XA CN201911358342A CN111106965A CN 111106965 A CN111106965 A CN 111106965A CN 201911358342 A CN201911358342 A CN 201911358342A CN 111106965 A CN111106965 A CN 111106965A
- Authority
- CN
- China
- Prior art keywords
- log
- time
- analysis
- managed object
- complex system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 112
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 238000012163 sequencing technique Methods 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 6
- 239000004744 fabric Substances 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 abstract description 14
- 238000013024 troubleshooting Methods 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 239000003818 cinder Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种用于复杂***的日志智能分析方法、工具、设备及介质，包括：通过配置与管理模块定义复杂***中各子***作为受管对象，各受管对象的日志文件，以及日志记录的格式和错误关键字，建立日志相关性组，同时指定待监控的日志文件作为触发点；通过日志记录时间校准模块周期性地将各受管对象的日期时间进行时间基准同步处理；在同一日志相关性组里，当出现错误关键字时，通过日志信息收集模块收集当前经基准后的时间段内各受管对象中产生的日志记录；通过日志分析输出模块创建分析请求，对收集的日志记录进行搜索排序分析，并生成可视化联动展示的报告。这样可以将复杂IT***各子***日志关联，实现智能联动，提高排查问题的效率。
Description
技术领域
本发明涉及日志分析领域，特别是涉及一种用于复杂***的日志智能分析方法、工具、设备及介质。
背景技术
目前，传统的互联网(Internet Technology，简称IT)***功能单一，当需要涉及多***联动时，往往通过人工方式实现，出错时相对容易定位，但这种方式效率较低。随着虚拟化、云计算等相关IT技术的发展，当前可以通过应用程序接口(ApplicationProgramming Interface，简称API)，消息队列等多种方式实现***的自动联动，提高了***的易用性和办公效率。但随之而来的是当出现问题时，由于多***复杂，需要切换不同***排查错误，加上各***的错误信息格式可能不一致，造成不太容易快速定位的问题。
因此，如何提高复杂IT***各子***日志问题的排查效率，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种用于复杂***的日志智能分析方法、工具、设备及介质，可以将复杂***各子***日志关联，实现智能联动，提高排查问题的效率。其具体方案如下：
一种用于复杂***的日志智能分析方法，包括：
通过配置与管理模块定义所述复杂***中各子***作为受管对象，定义各所述受管对象的日志文件、每种所述日志文件中日志记录的格式和错误关键字，以及建立日志相关性组，同时指定待监控的日志文件作为触发点；
通过日志记录时间校准模块周期性地将各所述受管对象的日期时间进行时间基准同步处理；
在同一所述日志相关性组里，当所述触发点出现所述错误关键字时，通过日志信息收集模块收集当前经基准后的时间段内各所述受管对象中产生的日志记录；
通过日志分析输出模块创建分析请求，根据所述分析请求对收集的所述日志记录进行搜索排序分析，并生成可视化联动展示的报告。
优选地，在本发明实施例提供的上述用于复杂***的日志智能分析方法中，周期性地将各所述受管对象的日期时间进行时间基准同步处理，具体包括：
从各所述受管对象与本地宿主机中同时导出当前日期时间；
以所述本地宿主机的时间为基准时间，周期性地对各所述受管对象进行时间差值的计算，以使每个所述受管对象包括基准后的时间、当前源***时间、基准时间差。
优选地，在本发明实施例提供的上述用于复杂***的日志智能分析方法中，当所述触发点出现所述错误关键字时，收集经基准后的当前时间段内各所述受管对象中产生的日志记录，具体包括：
对指定的所述触发点进行定时扫描监控；
当监控到在某一所述受管对象中所产生的日志记录里包含定义的所述错误关键字时，则将所述日志记录回传并生成对应的ID号保存至本地数据库；
同时，将经所述日志记录时间校准模块校正处理后的同一时间段内在其它所述受管对象中所产生的日志记录回传并生成对应的ID号保存至本地数据库。
优选地，在本发明实施例提供的上述用于复杂***的日志智能分析方法中，所有保存至所述本地数据库的日志记录时间均为经过所述日志记录时间校准模块基准后的时间。
优选地，在本发明实施例提供的上述用于复杂***的日志智能分析方法中，创建分析请求，具体包括：
通过选择或字符输入的方式创建分析请求；所述分析请求包括多个分析项和输出展示方式；所述分析项包括选择的日志文件相关性组、所要分析的时间段或关键字、日志的级别或类型、是否日志去重、是否日志裁剪；所述输出展示方式包括日志记录字段、展示风格、错误日志展示形式、静态显示或动态显示。
优选地，在本发明实施例提供的上述用于复杂***的日志智能分析方法中，所述展示风格包括记录颜色、是否高亮；
所述错误日志展示形式包括同一页面展示、垂直对比展示和树形展示；
所述动态显示包括按时间顺序逐条显示某个时间点各个相关日志文件中的记录。
优选地，在本发明实施例提供的上述用于复杂***的日志智能分析方法中，所述受管对象包括PowerVC云平台宿主机、硬件管理控制台、VIOS操作***、存储光纤交换机及存储设备。
本发明实施例还提供了一种用于复杂***的日志智能分析工具，包括：
配置与管理模块，用于定义所述复杂***中各子***作为受管对象，定义各所述受管对象的日志文件、每种所述日志文件中日志记录的格式和错误关键字，以及建立日志相关性组，同时指定待监控的日志文件作为触发点；
日志记录时间校准模块，用于周期性地将各所述受管对象的日期时间进行时间基准同步处理；
日志信息收集模块，用于在同一所述日志相关性组里，当所述触发点出现所述错误关键字时，收集当前经基准后的时间段内各所述受管对象中产生的日志记录；
日志分析输出模块，用于通过日志分析输出模块创建分析请求，根据所述分析请求对收集的所述日志记录进行搜索排序分析，并生成可视化联动展示的报告。
本发明实施例还提供了一种用于复杂***的日志智能分析设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述用于复杂***的日志智能分析方法。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述用于复杂***的日志智能分析方法。
从上述技术方案可以看出，本发明所提供的一种用于复杂***的日志智能分析方法、工具、设备及介质，包括：通过配置与管理模块定义复杂***中各子***作为受管对象，定义各受管对象的日志文件、每种日志文件中日志记录的格式和错误关键字，以及建立日志相关性组，同时指定待监控的日志文件作为触发点；通过日志记录时间校准模块周期性地将各受管对象的日期时间进行时间基准同步处理；在同一日志相关性组里，当触发点出现错误关键字时，通过日志信息收集模块收集当前经基准后的时间段内各受管对象中产生的日志记录；通过日志分析输出模块创建分析请求，根据分析请求对收集的日志记录进行搜索排序分析，并生成可视化联动展示的报告。
本发明通过软件可视化的方式，为复杂IT***环境下关联日志的分析提供了一种有效的分析方法，可以通过配置与管理模块、日志记录时间校准模块、日志信息收集模块和日志分析输出模块，预先配置管理受管对象，建立日志相关性组，日志时间差自动调整，在特定条件下收集日志，通过指定方式关联日志展示与分析等，解决当前问题日志分析处理过程中，每个日志单独分析，人工拼接相关数据导致的效率低下问题，以及由于***时钟差异，日志时间不同步，导致的分析差错问题，实现复杂***中各子***日志的智能联动，提高排查问题的效率，从而提升故障分析的工作效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的用于复杂***的日志智能分析方法的流程图；
图2为使用本发明实施例提供的用于复杂***的日志智能分析方法的整体架构示意图；
图3为本发明实施例提供的经配置与管理模块操作后的框架示意图；
图4为本发明实施例提供的错误日志展示方式中垂直对比展示的示意图；
图5为本发明实施例提供的错误日志展示方式中同一页面展示的示意图；
图6为本发明实施例提供的错误日志展示方式中树形展示的示意图之一；
图7为本发明实施例提供的错误日志展示方式中树形展示的示意图之二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种用于复杂***的日志智能分析方法，如图1所示，包括以下步骤：
S101、通过配置与管理模块定义复杂***中各子***作为受管对象，定义各受管对象的日志文件、每种日志文件中日志记录的格式和错误关键字，以及建立日志相关性组，同时指定待监控的日志文件作为触发点；
需要理解的是，每个受管对象涉及了一些日志文件，这些日志文件作为其对象属性被进行配置定义。如图2所示，在WEB图形界面上发起，后台可以通过配置与管理模块分别将多个子***定义为受管对象；受管对象定义完成后，继续定义每个受管对象的日志文件。接下来，可为每种日志文件中的日志记录进行定义格式，即每条日志记录是由若干个字段组成的，如：时间、错误源、错误标签、内容、错误等级等，每条日志记录可按照时间轴自动排序；还可以为日志文件定义自动化收集时用到的错误关键字。另外，在WEB图形界面上通过拖动方式，进行在不同受管对象间的日志文件相关性定义，同时指定日志文件相关性组里哪些日志文件可作为触发点(如图3示出的黑色底框中的日志文件)，所谓触发点指的是被监控的日志文件，一旦该文件有满足条件的日志记录产生，将在同一日志相关性组里开展日志记录的收集；
S102、通过日志记录时间校准模块周期性地将各受管对象的日期时间进行时间基准同步处理；
由于很多日志文件来源于不同的***或设备，这些***或设备上配置的日期时间很可能是不同的，因此需要将各子***的时间进行时差对齐设置，设置好后就可以自动将日志进行预处理并导入至后台存储介质，方便后续处理；
S103、在同一日志相关性组里，当触发点出现错误关键字时，通过日志信息收集模块收集当前经基准后的时间段内各受管对象中产生的日志记录；
需要说明的是，该收集方式可以是自动收集或者人工导入等方式，其中自动收集的效率更高；
S104、通过日志分析输出模块创建分析请求，根据分析请求对收集的日志记录进行搜索排序分析，并生成可视化联动展示的报告；
需要注意的是，创建分析请求，可理解为在WEB图形界面上设置日志联动方式(包括多个分析项)和输出展示方式，如时间、事件、关键字或组合方式等，在创建完分析请求后就可以对日志进行处理分析并保存。
在本发明实施例提供的上述用于复杂***的日志智能分析方法中，通过配置与管理模块、日志记录时间校准模块、日志信息收集模块和日志分析输出模块，预先配置管理受管对象，建立日志相关性组，日志时间差自动调整，在特定条件下收集日志，通过指定方式关联日志展示与分析等，解决当前问题日志分析处理过程中，每个日志单独分析，人工拼接相关数据导致的效率低下问题，以及由于***时钟差异，日志时间不同步，导致的分析差错问题，实现复杂***中各子***日志的智能联动，提高排查问题的效率，从而提升故障分析的工作效率和准确性。
在具体实施时，在本发明实施例提供的上述用于复杂***的日志智能分析方法中，如图2所示，受管对象可以包括PowerVC云平台宿主机、硬件管理控制台、VIOS操作***、存储光纤交换机及存储设备。其中，PowerVC是基于开源openstack而推出的针对Power服务器的云管平台；VIOS是虚拟IO服务器(Virtual IO Server)，主要用于实现Power服务器上IO资源的虚拟化；硬件管理控制台(Hardware Management Console，HMC)是一个硬件设备，用于配置和管理一个或多个受管Power小型机。需要说明的是，如图2所示，由配置与管理模块、日志记录时间校准模块、日志信息收集模块和日志分析输出模块组成的可视化智能日志分析工具可通过SSH方式或其它可连接方式连接到各所述受管对象。
图3示出了PowerVC云平台宿主机和VIOS操作***均包含Nova.log日志文件、Cinder.log日志文件、RabbitMQ.log日志文件等，HMC包含HMC.log日志文件、HardWare.err日志文件等，SAN交换机包含Zone.info日志文件、DeviceStatus.out日志文件等；可以将Nova.log日志文件、HMC.log日志文件、DeviceStatus.out日志文件建立为日志文件组1，将Cinder.log日志文件、errorlog日志文件、Ismap.out日志文件、Zone.info日志文件建立为日志文件组2；同时可以指定Nova.log日志文件、Cinder.log日志文件、errorlog日志文件作为触发点。一旦这些触发点中的文件有满足条件的日志记录(如存在错误关键字)产生，将在同一日志相关性组里开展日志记录的收集。
在具体实施时，在本发明实施例提供的上述用于复杂***的日志智能分析方法中，步骤S102周期性地将各受管对象的日期时间进行时间基准同步处理，具体可以包括：从各受管对象与本地宿主机中同时导出当前日期时间；以本地宿主机的时间为基准时间，周期性地对各受管对象进行时间差值的计算，以使每个受管对象包括基准后的时间、当前源***时间、基准时间差。
在实际应用中，假设PowerVC云平台宿主机与基准时间差为+60s，VIOS操作***与基准时间差为-600s；PowerVC云平台宿主机上的nova.log日志文件被监控，在10：13：12nova.log日志文件出现错误信息，即是触发点的当前时间为10：13：12，经基准后的时间为：10：14：12，对应到VIOS的操作***时间则为10：04：12，因此将会在VIOS操作***上收集该时间点前后的日志记录。
在具体实施时，在本发明实施例提供的上述用于复杂***的日志智能分析方法中，步骤S103当触发点出现错误关键字时，收集经基准后的当前时间段内各受管对象中产生的日志记录，具体可以包括：对指定的触发点进行定时扫描监控；当监控到在某一受管对象中所产生的日志记录里包含定义的错误关键字时，则将日志记录回传并生成对应的ID号保存至本地数据库；同时，将经日志记录时间校准模块校正处理后的同一时间段内在其它受管对象中所产生的日志记录回传并生成对应的ID号保存至本地数据库。
需要注意的是，以上收集方式是自动收集，当然，关于日志的收集方式也可以是手工导入，主要通过WEB图形界面选择要到导入的本地日志文件，在后台调用日志收集模块将这些日志文件经时间基准后存至本地数据库。
进一步地，在具体实施时，为了提高工作效率，所有保存至本地数据库的日志记录时间均可以为经过日志记录时间校准模块基准后的时间。
在具体实施时，在本发明实施例提供的上述用于复杂***的日志智能分析方法中，步骤S104创建分析请求，具体可以包括：通过选择或字符输入的方式创建分析请求；分析请求包括多个分析项和输出展示方式；分析项包括选择的日志文件相关性组、所要分析的时间段或关键字、日志的级别或类型、是否日志去重、是否日志裁剪；输出展示方式包括日志记录字段、展示风格、错误日志展示形式、静态显示或动态显示。
需要说明的是，选择的日志相关性组是指某个错误可能相关的日志文件，例如***可能有A、B、C、D四种日志，但具体到错误Error1，根据经验认为应该只与A、B、C相关，就可指定相关组为A、B、C，而实际展示时就不用处理D的日志文件；
所要分析的时间段是指因为每个错误的发生与后台的事件相关，所以只需要关注对应事件处理的起始和结束时间段即可；通过指定该时间段，在展示错误日志时就可以根据时间排除(或过滤)大量不相关日志或不关心的日志内容；所要分析的关键字亦是如此；
日志级别是指通常***的日志都会分级，如info，error，warning，debug等多种，由于日志量经常非常大，尤其是添加debug日志后，可以通过指定级别排除大量日志内容，如仅选error，展示是将自动会将其它级别的日志过滤掉；
日志去重是指很多***，如PowerVC云平台宿主机，在处理一个请求时，如果第一次发生失败，会持续再尝试2次，这样将会产生相同3份错误日志，通过去重，在读日志文件时，如果发现新的待展示的日志内容已经展示，可以忽略掉；
日志裁剪是指对单条日志文件进行裁剪，将过长的日志文件不重要的信息裁剪掉，方便用户阅读。
进一步地，在具体实施时，在本发明实施例提供的上述用于复杂***的日志智能分析方法中，上述展示风格可以包括记录颜色、是否高亮；如图4至图7所示，错误日志展示形式可以包括同一页面展示、垂直对比展示和树形展示；动态显示可以包括按时间顺序逐条显示某个时间点各个相关日志文件中的记录。
需要说明的是，本发明以设置的输出展示方式对日志文件进行联动展示，如果对当前的展示效果不满意，可以动态切换展示方式；另外为了提高效果，可以对重点时间段、重点事件类型、重点子***等进行不同颜色的高亮显示以方便日志排查。
基于同一发明构思，本发明实施例还提供了一种用于复杂***的日志智能分析工具，由于该用于复杂***的日志智能分析工具解决问题的原理与前述一种用于复杂***的日志智能分析方法相似，因此该用于复杂***的日志智能分析工具的实施可以参见用于复杂***的日志智能分析方法的实施，重复之处不再赘述。
在具体实施时，本发明实施例提供的用于复杂***的日志智能分析工具，具体包括以下功能模块：
配置与管理模块，用于定义复杂***中各子***作为受管对象，定义各受管对象的日志文件、每种日志文件中日志记录的格式和错误关键字，以及建立日志相关性组，同时指定待监控的日志文件作为触发点；
日志记录时间校准模块，用于周期性地将各受管对象的日期时间进行时间基准同步处理；
日志信息收集模块，用于在同一日志相关性组里，当触发点出现错误关键字时，收集当前经基准后的时间段内各受管对象中产生的日志记录；
日志分析输出模块，用于通过日志分析输出模块创建分析请求，根据分析请求对收集的日志记录进行搜索排序分析，并生成可视化联动展示的报告。
在本发明实施例提供的上述用于复杂***的日志智能分析工具中，可以通过上述四个模块的相互作用，预先配置管理受管对象，建立日志相关性组，日志时间差自动调整，在特定条件下收集日志，通过指定方式的关联日志集中展示，快速分析定位等，实现复杂***中各子***日志的智能联动，提高排查问题的效率，从而提升故障分析的工作效率和准确性。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
相应的，本发明实施例还公开了一种用于复杂***的日志智能分析设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的用于复杂***的日志智能分析方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的用于复杂***的日志智能分析方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的工具、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
综上，本发明实施例提供的一种用于复杂***的日志智能分析方法、工具、设备及介质，包括：通过配置与管理模块定义复杂***中各子***作为受管对象，定义各受管对象的日志文件、每种日志文件中日志记录的格式和错误关键字，以及建立日志相关性组，同时指定待监控的日志文件作为触发点；通过日志记录时间校准模块周期性地将各受管对象的日期时间进行时间基准同步处理；在同一日志相关性组里，当触发点出现错误关键字时，通过日志信息收集模块收集当前经基准后的时间段内各受管对象中产生的日志记录；通过日志分析输出模块创建分析请求，根据分析请求对收集的日志记录进行搜索排序分析，并生成可视化联动展示的报告。这样通过软件可视化的方式，为复杂IT***环境下关联日志的分析提供了一种有效的分析方法，可以通过配置与管理模块、日志记录时间校准模块、日志信息收集模块和日志分析输出模块，预先配置管理受管对象，建立日志相关性组，日志时间差自动调整，在特定条件下收集日志，通过指定方式关联日志展示与分析等，解决当前问题日志分析处理过程中，每个日志单独分析，人工拼接相关数据导致的效率低下问题，以及由于***时钟差异，日志时间不同步，导致的分析差错问题，实现复杂***中各子***日志的智能联动，提高排查问题的效率，从而提升故障分析的工作效率和准确性。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的用于复杂***的日志智能分析方法、工具、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种用于复杂***的日志智能分析方法，其特征在于，包括：
通过配置与管理模块定义所述复杂***中各子***作为受管对象，定义各所述受管对象的日志文件、每种所述日志文件中日志记录的格式和错误关键字，以及建立日志相关性组，同时指定待监控的日志文件作为触发点；
通过日志记录时间校准模块周期性地将各所述受管对象的日期时间进行时间基准同步处理；
在同一所述日志相关性组里，当所述触发点出现所述错误关键字时，通过日志信息收集模块收集当前经基准后的时间段内各所述受管对象中产生的日志记录；
通过日志分析输出模块创建分析请求，根据所述分析请求对收集的所述日志记录进行搜索排序分析，并生成可视化联动展示的报告。
2.根据权利要求1所述的用于复杂***的日志智能分析方法，其特征在于，周期性地将各所述受管对象的日期时间进行时间基准同步处理，具体包括：
从各所述受管对象与本地宿主机中同时导出当前日期时间；
以所述本地宿主机的时间为基准时间，周期性地对各所述受管对象进行时间差值的计算，以使每个所述受管对象包括基准后的时间、当前源***时间、基准时间差。
3.根据权利要求2所述的用于复杂***的日志智能分析方法，其特征在于，当所述触发点出现所述错误关键字时，收集经基准后的当前时间段内各所述受管对象中产生的日志记录，具体包括：
对指定的所述触发点进行定时扫描监控；
当监控到在某一所述受管对象中所产生的日志记录里包含定义的所述错误关键字时，则将所述日志记录回传并生成对应的ID号保存至本地数据库；
同时，将经所述日志记录时间校准模块校正处理后的同一时间段内在其它所述受管对象中所产生的日志记录回传并生成对应的ID号保存至本地数据库。
4.根据权利要求3所述的用于复杂***的日志智能分析方法，其特征在于，所有保存至所述本地数据库的日志记录时间均为经过所述日志记录时间校准模块基准后的时间。
5.根据权利要求4所述的用于复杂***的日志智能分析方法，其特征在于，创建分析请求，具体包括：
通过选择或字符输入的方式创建分析请求；所述分析请求包括多个分析项和输出展示方式；所述分析项包括选择的日志文件相关性组、所要分析的时间段或关键字、日志的级别或类型、是否日志去重、是否日志裁剪；所述输出展示方式包括日志记录字段、展示风格、错误日志展示形式、静态显示或动态显示。
6.根据权利要求4所述的用于复杂***的日志智能分析方法，其特征在于，所述展示风格包括记录颜色、是否高亮；
所述错误日志展示形式包括同一页面展示、垂直对比展示和树形展示；
所述动态显示包括按时间顺序逐条显示某个时间点各个相关日志文件中的记录。
7.根据权利要求1至6任一项所述的用于复杂***的日志智能分析方法，其特征在于，所述受管对象包括PowerVC云平台宿主机、硬件管理控制台、VIOS操作***、存储光纤交换机及存储设备。
8.一种用于复杂***的日志智能分析工具，其特征在于，包括：
配置与管理模块，用于定义所述复杂***中各子***作为受管对象，定义各所述受管对象的日志文件、每种所述日志文件中日志记录的格式和错误关键字，以及建立日志相关性组，同时指定待监控的日志文件作为触发点；
日志记录时间校准模块，用于周期性地将各所述受管对象的日期时间进行时间基准同步处理；
日志信息收集模块，用于在同一所述日志相关性组里，当所述触发点出现所述错误关键字时，收集当前经基准后的时间段内各所述受管对象中产生的日志记录；
日志分析输出模块，用于通过日志分析输出模块创建分析请求，根据所述分析请求对收集的所述日志记录进行搜索排序分析，并生成可视化联动展示的报告。
9.一种用于复杂***的日志智能分析设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的用于复杂***的日志智能分析方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的用于复杂***的日志智能分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911358342.XA CN111106965B (zh) | 2019-12-25 | 2019-12-25 | 用于复杂***的日志智能分析方法、工具、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911358342.XA CN111106965B (zh) | 2019-12-25 | 2019-12-25 | 用于复杂***的日志智能分析方法、工具、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111106965A true CN111106965A (zh) | 2020-05-05 |
| CN111106965B CN111106965B (zh) | 2023-04-07 |
Family
ID=70424769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911358342.XA Active CN111106965B (zh) | 2019-12-25 | 2019-12-25 | 用于复杂***的日志智能分析方法、工具、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111106965B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112000806A (zh) * | 2020-08-25 | 2020-11-27 | 携程旅游信息技术（上海）有限公司 | 异常日志监控分析方法、***、设备及存储介质 |
| CN112819336A (zh) * | 2021-02-03 | 2021-05-18 | 国家电网有限公司 | 一种基于电力监控***网络威胁的量化方法及*** |
| CN113608849A (zh) * | 2021-07-29 | 2021-11-05 | 上海德拓信息技术股份有限公司 | 基于Cinder组件的信息流优化方法 |
| CN116755992A (zh) * | 2023-08-17 | 2023-09-15 | 青岛民航凯亚***集成有限公司 | 一种基于OpenStack云计算的日志分析方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512012A (zh) * | 2015-12-09 | 2016-04-20 | 浪潮电子信息产业股份有限公司 | 一种ssr集中管理平台的日志接收压力测试的方法 |
| CN105589800A (zh) * | 2015-12-25 | 2016-05-18 | ***股份有限公司 | 预测复杂***故障的应用*** |
| CN106980627A (zh) * | 2016-01-18 | 2017-07-25 | 中兴通讯股份有限公司 | 日志内容的显示方法及装置 |
| US20190108112A1 (en) * | 2017-10-05 | 2019-04-11 | Hcl Technologies Limited | System and method for generating a log analysis report from a set of data sources |
-
2019
- 2019-12-25 CN CN201911358342.XA patent/CN111106965B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512012A (zh) * | 2015-12-09 | 2016-04-20 | 浪潮电子信息产业股份有限公司 | 一种ssr集中管理平台的日志接收压力测试的方法 |
| CN105589800A (zh) * | 2015-12-25 | 2016-05-18 | ***股份有限公司 | 预测复杂***故障的应用*** |
| CN106980627A (zh) * | 2016-01-18 | 2017-07-25 | 中兴通讯股份有限公司 | 日志内容的显示方法及装置 |
| US20190108112A1 (en) * | 2017-10-05 | 2019-04-11 | Hcl Technologies Limited | System and method for generating a log analysis report from a set of data sources |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112000806A (zh) * | 2020-08-25 | 2020-11-27 | 携程旅游信息技术（上海）有限公司 | 异常日志监控分析方法、***、设备及存储介质 |
| CN112819336A (zh) * | 2021-02-03 | 2021-05-18 | 国家电网有限公司 | 一种基于电力监控***网络威胁的量化方法及*** |
| CN113608849A (zh) * | 2021-07-29 | 2021-11-05 | 上海德拓信息技术股份有限公司 | 基于Cinder组件的信息流优化方法 |
| CN116755992A (zh) * | 2023-08-17 | 2023-09-15 | 青岛民航凯亚***集成有限公司 | 一种基于OpenStack云计算的日志分析方法及*** |
| CN116755992B (zh) * | 2023-08-17 | 2023-12-01 | 青岛民航凯亚***集成有限公司 | 一种基于OpenStack云计算的日志分析方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111106965B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111106965B (zh) | 用于复杂***的日志智能分析方法、工具、设备及介质 | |
| CN110245078B (zh) | 一种软件的压力测试方法、装置、存储介质和服务器 | |
| EP3165984B1 (en) | An event analysis apparatus, an event analysis method, and an event analysis program | |
| US20140344119A1 (en) | Apparatus and method for generating a chronological timesheet | |
| US20190163553A1 (en) | Automated problem diagnosis on logs using anomalous telemetry analysis | |
| US20230104928A1 (en) | Executable network troubleshooting procedure | |
| US8732199B2 (en) | System, method, and computer readable media for identifying a user-initiated log file record in a log file | |
| KR20120115477A (ko) | 트랜잭션을 논리적 서브시스템들의 맵을 통하는 흐름들로서 시각화하는 방법 | |
| KR20130019366A (ko) | 분산 환경에서 효율적으로 트랜젝션-분리 메트릭들을 수집하는 방법 | |
| EP2932393B1 (en) | Automated correlation and analysis of callstack and context data | |
| US10860454B2 (en) | Analyzing large-scale data processing jobs | |
| CN102571403A (zh) | 通用数据质量管控适配器的实现方法和装置 | |
| WO2014145818A1 (en) | A graphic user interface based network management system to define and execute troubleshooting procedure | |
| CN108768790A (zh) | 分布式搜索集群监控方法及装置、计算设备、存储介质 | |
| CN114443854A (zh) | 多源异构数据的处理方法、装置、计算机设备及存储介质 | |
| CN108363654B (zh) | ***日志的协处理方法、***及电子设备 | |
| JP6174469B2 (ja) | 事故分析活用支援装置および方法 | |
| US8140504B2 (en) | Report generation system and method | |
| CN113032281A (zh) | 一种代码覆盖率实时获取方法及装置 | |
| Rebuge et al. | A process mining analysis on a virtual electronic patient record system | |
| CN117077592B (zh) | 回归数据监控方法、监控装置及监控*** | |
| CN112463438B (zh) | 存储产品的配置信息生成方法、装置及可读存储介质 | |
| JP2011118575A (ja) | 障害対策情報取得方法および管理サーバ | |
| CN112837049A (zh) | 基于u盾的网银使用问题上报方法及装置 | |
| CN115982261A (zh) | 轨道信号日志提取方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |