CN111221702A - 基于日志分析的异常处理方法、***、终端及介质 - Google Patents

基于日志分析的异常处理方法、***、终端及介质 Download PDF

Info

Publication number
CN111221702A
CN111221702A CN201911127824.4A CN201911127824A CN111221702A CN 111221702 A CN111221702 A CN 111221702A CN 201911127824 A CN201911127824 A CN 201911127824A CN 111221702 A CN111221702 A CN 111221702A
Authority
CN
China
Prior art keywords
log
analysis
index
indexes
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911127824.4A
Other languages
English (en)
Other versions
CN111221702B (zh
Inventor
李腾达
沈琼玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weidi Information Technology Co Ltd
Original Assignee
Shanghai Weidi Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weidi Information Technology Co Ltd filed Critical Shanghai Weidi Information Technology Co Ltd
Priority to CN201911127824.4A priority Critical patent/CN111221702B/zh
Publication of CN111221702A publication Critical patent/CN111221702A/zh
Application granted granted Critical
Publication of CN111221702B publication Critical patent/CN111221702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供的基于日志分析的异常处理方法，包括以下步骤：读取数据库中存储的日志；根据预设的日志模板对所述日志进行解析，以获得解析日志；根据预设的日志指标提取所述解析日志中相应的指标；当检测到所述指标异常时，进行告警。该方法能够对日志进行分析，根据日志分析***运维的异常情况，结合日志实现自动化异常数据处理，提高了***运维监控的即时性。

Description

基于日志分析的异常处理方法、***、终端及介质
技术领域
本发明属于计算机技术领域，具体涉及基于日志分析的异常处理方法、***、终端及介质。
背景技术
***运维监控主要是通过各种技术工具，如Tivoli、Zabbix、APM、网络抓包、应用埋点监控等，来采集各种监控指标，从而来对***运维进行监控。这些指标通常被存储为时序数据(即包含采集时间和指标值)。
由于在日常***运维时，通常会采用日志的方式记录监控数据，工作人员通过查看相应的日志来了解***的运行情况，当***出现异常时，及时对异常情况进行处理，但是这种异常处理方法效率较低，需要工作人员人工查看，即时性较差。
发明内容
针对现有技术中的缺陷，本发明提供一种基于日志分析的异常处理方法、***、终端及介质，能够结合日志实现自动化异常数据处理，提高了***运维监控的即时性。
第一方面，一种基于日志分析的异常处理方法，包括以下步骤：
读取数据库中存储的日志；
根据预设的日志模板对所述日志进行解析，以获得解析日志；
根据预设的日志指标提取所述解析日志中相应的指标；
当检测到所述指标异常时，进行告警。
优选地，所述日志包括***日志和应用日志。
优选地，所述日志模板的设置方法包括以下步骤：
从内部存储器或网络中获取日志样例；
根据日志样例中的行首匹配模式进行多行合并，以得到合并模板；
通过正则表达式提取所述合并模块中的日志指标，以得到提取模板；
定义所述提取模板为所述日志模板。
优选地，所述日志指标的类别包括一种或多种组合：
应用交易类、中间件类、数据库类、操作***类、网络类、服务器类、安全设备类和存储设备类。
优选地，所述当检测到所述指标异常时，进行告警具体包括：
当解析日志中提取到的指标满足预设的告警规则时，进行告警；
获取与所述告警关联的关联告警，对所述关联告警进行压缩。
优选地，该方法在所述当检测到所述指标异常时，进行告警之后，还包括：
根据所述解析日志中提取的指标和预设的标准指标之间的线性关系，建立预测模型；
将所述解析日志带入所述预测模型，按照时间预测各个时间节点的指标使用率，指标使用率超标的时间节点。
第二方面，一种基于日志分析的异常处理***，包括：
采集单元：用于读取数据库中存储的日志；
解析单元：用于根据预设的日志模板对所述日志进行解析，以获得解析日志；
提取单元：根据预设的日志指标提取所述解析日志中相应的指标；
处理单元：用于当检测到所述指标异常时，进行告警。
第三方面，一种终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行第一方面所述的方法。
第四方面，一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行第一方面所述的方法。
由上述技术方案可知，本发明提供的基于日志分析的异常处理方法、***、终端及介质，能够对日志进行分析，根据日志分析***运维的异常情况，结合日志实现自动化异常数据处理，提高了***运维监控的即时性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明实施例一提供的异常处理方法的流程图。
图2为本发明实施例二提供的异常处理***的模块框图。
图3为本发明实施例三提供的终端的模块框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
实施例一：
一种基于日志分析的异常处理方法，参见图1，包括以下步骤：
S1：读取数据库中存储的日志；
优选地，所述日志包括***日志和应用日志。具体地，该方法可以分析***日志和应用日志。
S2：根据预设的日志模板对所述日志进行解析，以获得解析日志；
优选地，所述日志模板的设置方法包括以下步骤：
S11：从内部存储器或网络中获取日志样例；
S12：根据日志样例中的行首匹配模式进行多行合并，以得到合并模板；
S13：通过正则表达式提取所述合并模块中的日志指标，以得到提取模板；
S14：定义所述提取模板为所述日志模板。
具体地，该方法需要确定日志样例中的行首匹配模式，判断是否需要进行多行合并。
S3：根据预设的日志指标提取所述解析日志中相应的指标；
优选地，所述日志指标的类别包括一种或多种组合：
应用交易类、中间件类、数据库类、操作***类、网络类、服务器类、安全设备类和存储设备类。
具体地，应用交易类主要包括交易相关日志的时间、交易操作代码、成功失败标记、交易耗时等等。中间件类主要包括Tomcat等日志的时间、日志级别、本地IP、http发送数据量、远程IP、请求协议、请求方式、请求URL等等。数据库类主要包括数据库日志的日志级别、实例名、主机名、pid等等。操作***类主要包括操作***、虚拟化的相关性能数据，如CPU、内存等等；网络类主要包括网络相关的数据，如：源IP、目的IP、源端口、目的端口、协议类型等等。服务器类、安全设备类主要包括服务器、安全设备等硬件相关的性能数据，如硬件温度、SSL硬件性能等等。存储设备类主要包括存储相关数据，如：存储空间使用情况等等。
S4：当检测到所述指标异常时，进行告警。
优选地，所述当检测到所述指标异常时，进行告警具体包括：
当解析日志中提取到的指标满足预设的告警规则时，进行告警；
获取与所述告警关联的关联告警，对所述关联告警进行压缩。
具体地，告警主要注意以下几点：
1)规则引擎；
规则引擎主要针对日志等非结构化数据进行告警管理，支持按照关键字搜索结果定义告警规则，根据规则匹配的结果决定是否告警以及告警级别。
2)指标管理；
指标管理是阙值设定的前提，指标管理除了包含基本的性能指标之外，还包含基于基本数据聚合而成的指标，例如最近5分钟的错误交易次数，或者最近5分钟的平均交易耗时。聚合指标的定义采用了查询引擎提供的查询接口来生成。只要是查询引擎支持的统计聚合语句都可以另存为指标。
3)阙值管理；
阙值的定义依赖于指标，阙值管理支持分时间段设置不同的告警值，例如对CPU利用率这一指标设置为上午8点到晚上8点的告警值为0.8，其他时段为0.9，方便用户根据实际的业务情况灵活定义告警阙值。
4)调度引擎；
告警启动后，需要根据告警定义时的时间周期去实时计算对应指标或者规则，运维大数据平台需要支持的并行实时计算的指标/规则到百万级别，***需要提供高效的调度，并行的去实时监控百万级的指标。
告警引擎的框架基于AKKA Cluster实现，每个启动的告警管理项都是一个Actor，其是一个轻量级的并行模型，比线程更轻量级，告警的规则，需要计算的指标，告警的阙值，计算的周期等信息都在Actor创建时确定存储在Actor内部，每个Actor都被实时监控管理，当出现异常时，可以自动重启或者重新创建。一台4g的虚拟机，可以轻松创建百万级别的Actor，且支持通过增加节点的方式来提高AKKA Cluster的整体吞吐量。
5)告警压缩；
实际运行的IT组件之间有紧密的关联关系，底层组件的异常除了会自身产生告警外，也会导致其所支撑的上层组件或者服务的告警，如果没有告警压缩，则会产生告警风暴，***需要根据其所掌握和识别的组件之间的关联关系，自动识别出最底层的告警，找出相关联的告警，对其进行压缩，其组件间关联关系的维护存储在Neo4j图数据库中。
6)告警预测；
依赖于底层的分析引擎提供的特征模型，可以对***的整体运行状况提供智能预判，当***的运行不符合底层分析引擎提供的模型时，可以进行告警预测。
7)关键字告警；
选择后会进入指标告警界面，我们可以设置某一指标的固定阈值配置告警，如下图，我们设置了最大Duration指标的阈值告警，连续出现3次以上超出300秒的情况，设置为危机告警；连续出现3次以上超出100秒的情况，设置为一般告警；连续3次超出50秒设置为信息告警等。
该基于日志分析的异常处理方法，能够对日志进行分析，根据日志分析***运维的异常情况，结合日志实现自动化异常数据处理，提高了***运维监控的即时性。
优选地，该方法在所述当检测到所述指标异常时，进行告警之后，还包括：
根据所述解析日志中提取的指标和预设的标准指标之间的线性关系，建立预测模型；
将所述解析日志带入所述预测模型，按照时间预测各个时间节点的指标使用率，指标使用率超标的时间节点。
具体地，容量预测通过分析指标与指标之间的线性关系，建立预测模型，使用多元线性回归模型。容量预测通过捕获现有***中的性能相关数据，区分用户、事务和***的工作量和业务相关的指标。使用容量预测，可以得到以下结果：
1)将部分指标按照时间进行分析预测，预测到某个时间节点，指标使用率会达到多少；预测指标到多少时，时间点在什么时候。
2)对部分重要指标作交易情况和指标之间的关联性分析，分析出两者之间的数学公式，可以根据TPS、每日交易总量进行指标使用率的预估；可以根据指标使用率预估服务器可以负载的最大交易情况。
实施例二：
一种基于日志分析的异常处理***，参见图2，包括：
采集单元：用于读取数据库中存储的日志；
解析单元：用于根据预设的日志模板对所述日志进行解析，以获得解析日志；
提取单元：根据预设的日志指标提取所述解析日志中相应的指标；
处理单元：用于当检测到所述指标异常时，进行告警。
该基于日志分析的异常处理***，能够对日志进行分析，根据日志分析***运维的异常情况，结合日志实现自动化异常数据处理，提高了***运维监控的即时性。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例所提供的***，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。
实施例三：
一种终端，参见图3，包括处理器801、输入设备802、输出设备803和存储器804，所述处理器801、输入设备802、输出设备803和存储器804通过总线805相互连接，其中，所述存储器804用于存储计算机程序，所述计算机程序包括程序指令，所述处理器801被配置用于调用所述程序指令，执行上述的方法。
应当理解，在本发明实施例中，所称处理器801可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备802可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备803可以包括显示器(LCD等)、扬声器等。
该存储器804可以包括只读存储器和随机存取存储器，并向处理器801提供指令和数据。存储器804的一部分还可以包括非易失性随机存取存储器。例如，存储器804还可以存储设备类型的信息。
本发明实施例所提供的终端，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。
实施例四：
一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述的方法。
所述计算机可读存储介质可以是前述任一实施例所述的终端的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本发明实施例所提供的介质，为简要描述，实施例部分未提及之处，可参考前述方法实施例中相应内容。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (9)

1.一种基于日志分析的异常处理方法，其特征在于，包括以下步骤：
读取数据库中存储的日志；
根据预设的日志模板对所述日志进行解析，以获得解析日志；
根据预设的日志指标提取所述解析日志中相应的指标；
当检测到所述指标异常时，进行告警。
2.根据权利要求1所述基于日志分析的异常处理方法，其特征在于，
所述日志包括***日志和应用日志。
3.根据权利要求1所述基于日志分析的异常处理方法，其特征在于，
所述日志模板的设置方法包括以下步骤：
从内部存储器或网络中获取日志样例；
根据日志样例中的行首匹配模式进行多行合并，以得到合并模板；
通过正则表达式提取所述合并模块中的日志指标，以得到提取模板；
定义所述提取模板为所述日志模板。
4.根据权利要求1所述基于日志分析的异常处理方法，其特征在于，
所述日志指标的类别包括一种或多种组合：
应用交易类、中间件类、数据库类、操作***类、网络类、服务器类、安全设备类和存储设备类。
5.根据权利要求4所述基于日志分析的异常处理方法，其特征在于，
所述当检测到所述指标异常时，进行告警具体包括：
当解析日志中提取到的指标满足预设的告警规则时，进行告警；
获取与所述告警关联的关联告警，对所述关联告警进行压缩。
6.根据权利要求1所述基于日志分析的异常处理方法，其特征在于，该方法在所述当检测到所述指标异常时，进行告警之后，还包括：
根据所述解析日志中提取的指标和预设的标准指标之间的线性关系，建立预测模型；
将所述解析日志带入所述预测模型，按照时间预测各个时间节点的指标使用率，指标使用率超标的时间节点。
7.一种基于日志分析的异常处理***，其特征在于，包括：
采集单元：用于读取数据库中存储的日志；
解析单元：用于根据预设的日志模板对所述日志进行解析，以获得解析日志；
提取单元：根据预设的日志指标提取所述解析日志中相应的指标；
处理单元：用于当检测到所述指标异常时，进行告警。
8.一种终端，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法。
CN201911127824.4A 2019-11-18 2019-11-18 基于日志分析的异常处理方法、***、终端及介质 Active CN111221702B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911127824.4A CN111221702B (zh) 2019-11-18 2019-11-18 基于日志分析的异常处理方法、***、终端及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911127824.4A CN111221702B (zh) 2019-11-18 2019-11-18 基于日志分析的异常处理方法、***、终端及介质

Publications (2)

Publication Number Publication Date
CN111221702A true CN111221702A (zh) 2020-06-02
CN111221702B CN111221702B (zh) 2024-02-27

Family

ID=70810157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911127824.4A Active CN111221702B (zh) 2019-11-18 2019-11-18 基于日志分析的异常处理方法、***、终端及介质

Country Status (1)

Country Link
CN (1) CN111221702B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798237A (zh) * 2020-06-30 2020-10-20 中国工商银行股份有限公司 基于应用日志的异常交易诊断方法及***
CN112015653A (zh) * 2020-08-31 2020-12-01 中移（杭州）信息技术有限公司 问题定位方法、服务器及存储介质
CN112100047A (zh) * 2020-09-22 2020-12-18 北京思特奇信息技术股份有限公司 一种服务性能监控分析方法及装置
CN112269730A (zh) * 2020-11-05 2021-01-26 北京小米松果电子有限公司 异常日志检测方法、异常日志检测装置及存储介质
CN112463432A (zh) * 2020-12-08 2021-03-09 广州品唯软件有限公司 基于指标数据的巡检方法、装置及***
CN112559300A (zh) * 2020-12-14 2021-03-26 中国工商银行股份有限公司 一种故障原因确定***、方法及装置
CN112667464A (zh) * 2020-12-22 2021-04-16 国网甘肃省电力公司 一种信息***状态智能化分析方法、***及设备
CN112905429A (zh) * 2021-02-20 2021-06-04 北京物芯科技有限责任公司 一种***仿真的监控方法及装置
CN113190415A (zh) * 2021-05-27 2021-07-30 北京京东拓先科技有限公司 互联网医院***监控方法、设备、存储介质及程序产品
CN113220543A (zh) * 2021-04-15 2021-08-06 新浪网技术(中国)有限公司 一种业务自动报警方法及装置
CN113254293A (zh) * 2021-05-28 2021-08-13 广州绿怡信息科技有限公司 指纹功能检测方法及装置
CN113312321A (zh) * 2021-05-31 2021-08-27 中国民航信息网络股份有限公司 一种业务量的异常监测方法及相关设备
CN113391990A (zh) * 2021-06-30 2021-09-14 未鲲(上海)科技服务有限公司 ***日志的监控方法、装置、设备及存储介质
CN113448798A (zh) * 2020-12-30 2021-09-28 北京新氧科技有限公司 日志数据监控方法及相关设备
CN113485901A (zh) * 2021-07-06 2021-10-08 中国工商银行股份有限公司 基于日志和指标的***评价方法、装置、设备和介质
CN113590371A (zh) * 2021-08-09 2021-11-02 北京科银京成技术有限公司 一种事件分析器及事件分析方法
CN113760645A (zh) * 2021-03-10 2021-12-07 京东科技控股股份有限公司 ***操作日志监控方法和装置、电子设备和存储介质
CN113762765A (zh) * 2021-09-02 2021-12-07 南方电网数字电网研究院有限公司 指标分析方法、***、电子设备及存储介质
CN115357470A (zh) * 2022-10-21 2022-11-18 北京国电通网络技术有限公司 信息生成方法、装置、电子设备和计算机可读介质
CN115913896A (zh) * 2022-11-09 2023-04-04 中国联合网络通信集团有限公司 设备检测方法、服务器及介质
CN116471174A (zh) * 2023-05-05 2023-07-21 北京优特捷信息技术有限公司 一种日志数据监测***、方法、装置和存储介质
CN116542558A (zh) * 2023-04-27 2023-08-04 上海数禾信息科技有限公司 业务指标计算方法、装置、计算机设备和存储介质

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070198312A1 (en) * 2006-02-21 2007-08-23 Sugato Bagchi Data quality management using business process modeling
US20080005265A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Method for automatic parsing of variable data fields from textual report data
CN103346912A (zh) * 2013-06-29 2013-10-09 华为技术有限公司 告警相关性分析的方法、装置及***
CN103856339A (zh) * 2012-12-04 2014-06-11 ***通信集团广西有限公司 一种对告警信息进行压缩的方法和设备
CN105049247A (zh) * 2015-07-06 2015-11-11 中国科学院信息工程研究所 一种网络安全日志模板抽取方法及装置
US20170139806A1 (en) * 2015-11-18 2017-05-18 Nec Laboratories America, Inc. Automated Anomaly Detection Service on Heterogeneous Log Streams
CN107491382A (zh) * 2017-07-21 2017-12-19 北京京东尚科信息技术有限公司 日志输出方法和装置
CN107493275A (zh) * 2017-08-08 2017-12-19 北京盛华安信息技术有限公司 异构网络安全日志信息的自适应提取和分析方法及***
US20180165147A1 (en) * 2016-12-08 2018-06-14 Nec Laboratories America, Inc. Structure-level anomaly detection for unstructured logs
CN108712294A (zh) * 2018-06-05 2018-10-26 陈艳 一种基于Syslog知识库实现网络设备监控告警的方法
CN108829558A (zh) * 2018-05-22 2018-11-16 郑州云海信息技术有限公司 一种数据中心告警智能运维管理方法及***
CN109189736A (zh) * 2018-08-01 2019-01-11 中国联合网络通信集团有限公司 一种告警关联规则的生成方法和装置
CN109634818A (zh) * 2018-10-24 2019-04-16 中国平安人寿保险股份有限公司 日志分析方法、***、终端及计算机可读存储介质
CN109714187A (zh) * 2018-08-17 2019-05-03 平安普惠企业管理有限公司 基于机器学习的日志分析方法、装置、设备及存储介质
US20190163553A1 (en) * 2017-11-29 2019-05-30 Riverbed Technology, Inc. Automated problem diagnosis on logs using anomalous telemetry analysis
CN109933633A (zh) * 2019-04-02 2019-06-25 北京睿至大数据有限公司 一种基于时间和场景维度的运维知识图谱构建方法
CN110166307A (zh) * 2019-07-02 2019-08-23 中国工商银行股份有限公司 对告警信息进行处理的方法和装置
CN110245045A (zh) * 2019-05-23 2019-09-17 平安科技（深圳）有限公司 一种基于日志的关键字告警方法及装置
CN110362453A (zh) * 2019-05-27 2019-10-22 中国平安人寿保险股份有限公司 日志统计告警方法及装置、终端及存储介质
CN110399278A (zh) * 2019-07-24 2019-11-01 江苏物联网研究发展中心 基于数据中心异常监控的告警融合***及方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070198312A1 (en) * 2006-02-21 2007-08-23 Sugato Bagchi Data quality management using business process modeling
US20080005265A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Method for automatic parsing of variable data fields from textual report data
CN103856339A (zh) * 2012-12-04 2014-06-11 ***通信集团广西有限公司 一种对告警信息进行压缩的方法和设备
CN103346912A (zh) * 2013-06-29 2013-10-09 华为技术有限公司 告警相关性分析的方法、装置及***
CN105049247A (zh) * 2015-07-06 2015-11-11 中国科学院信息工程研究所 一种网络安全日志模板抽取方法及装置
US20170139806A1 (en) * 2015-11-18 2017-05-18 Nec Laboratories America, Inc. Automated Anomaly Detection Service on Heterogeneous Log Streams
US20180165147A1 (en) * 2016-12-08 2018-06-14 Nec Laboratories America, Inc. Structure-level anomaly detection for unstructured logs
CN107491382A (zh) * 2017-07-21 2017-12-19 北京京东尚科信息技术有限公司 日志输出方法和装置
CN107493275A (zh) * 2017-08-08 2017-12-19 北京盛华安信息技术有限公司 异构网络安全日志信息的自适应提取和分析方法及***
US20190163553A1 (en) * 2017-11-29 2019-05-30 Riverbed Technology, Inc. Automated problem diagnosis on logs using anomalous telemetry analysis
CN108829558A (zh) * 2018-05-22 2018-11-16 郑州云海信息技术有限公司 一种数据中心告警智能运维管理方法及***
CN108712294A (zh) * 2018-06-05 2018-10-26 陈艳 一种基于Syslog知识库实现网络设备监控告警的方法
CN109189736A (zh) * 2018-08-01 2019-01-11 中国联合网络通信集团有限公司 一种告警关联规则的生成方法和装置
CN109714187A (zh) * 2018-08-17 2019-05-03 平安普惠企业管理有限公司 基于机器学习的日志分析方法、装置、设备及存储介质
CN109634818A (zh) * 2018-10-24 2019-04-16 中国平安人寿保险股份有限公司 日志分析方法、***、终端及计算机可读存储介质
CN109933633A (zh) * 2019-04-02 2019-06-25 北京睿至大数据有限公司 一种基于时间和场景维度的运维知识图谱构建方法
CN110245045A (zh) * 2019-05-23 2019-09-17 平安科技（深圳）有限公司 一种基于日志的关键字告警方法及装置
CN110362453A (zh) * 2019-05-27 2019-10-22 中国平安人寿保险股份有限公司 日志统计告警方法及装置、终端及存储介质
CN110166307A (zh) * 2019-07-02 2019-08-23 中国工商银行股份有限公司 对告警信息进行处理的方法和装置
CN110399278A (zh) * 2019-07-24 2019-11-01 江苏物联网研究发展中心 基于数据中心异常监控的告警融合***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡沐创;: "大数据日志分析平台应用探索与实践", 金融科技时代, no. 01, 10 January 2018 (2018-01-10) *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798237B (zh) * 2020-06-30 2023-08-25 中国工商银行股份有限公司 基于应用日志的异常交易诊断方法及***
CN111798237A (zh) * 2020-06-30 2020-10-20 中国工商银行股份有限公司 基于应用日志的异常交易诊断方法及***
CN112015653A (zh) * 2020-08-31 2020-12-01 中移（杭州）信息技术有限公司 问题定位方法、服务器及存储介质
CN112100047A (zh) * 2020-09-22 2020-12-18 北京思特奇信息技术股份有限公司 一种服务性能监控分析方法及装置
CN112269730A (zh) * 2020-11-05 2021-01-26 北京小米松果电子有限公司 异常日志检测方法、异常日志检测装置及存储介质
CN112463432A (zh) * 2020-12-08 2021-03-09 广州品唯软件有限公司 基于指标数据的巡检方法、装置及***
CN112559300A (zh) * 2020-12-14 2021-03-26 中国工商银行股份有限公司 一种故障原因确定***、方法及装置
CN112559300B (zh) * 2020-12-14 2024-03-01 中国工商银行股份有限公司 一种故障原因确定***、方法及装置
CN112667464A (zh) * 2020-12-22 2021-04-16 国网甘肃省电力公司 一种信息***状态智能化分析方法、***及设备
CN113448798A (zh) * 2020-12-30 2021-09-28 北京新氧科技有限公司 日志数据监控方法及相关设备
CN112905429A (zh) * 2021-02-20 2021-06-04 北京物芯科技有限责任公司 一种***仿真的监控方法及装置
CN113760645A (zh) * 2021-03-10 2021-12-07 京东科技控股股份有限公司 ***操作日志监控方法和装置、电子设备和存储介质
CN113220543A (zh) * 2021-04-15 2021-08-06 新浪网技术(中国)有限公司 一种业务自动报警方法及装置
CN113220543B (zh) * 2021-04-15 2024-02-23 新浪技术（中国）有限公司 一种业务自动报警方法及装置
CN113190415A (zh) * 2021-05-27 2021-07-30 北京京东拓先科技有限公司 互联网医院***监控方法、设备、存储介质及程序产品
CN113254293A (zh) * 2021-05-28 2021-08-13 广州绿怡信息科技有限公司 指纹功能检测方法及装置
CN113312321A (zh) * 2021-05-31 2021-08-27 中国民航信息网络股份有限公司 一种业务量的异常监测方法及相关设备
CN113391990A (zh) * 2021-06-30 2021-09-14 未鲲(上海)科技服务有限公司 ***日志的监控方法、装置、设备及存储介质
CN113485901A (zh) * 2021-07-06 2021-10-08 中国工商银行股份有限公司 基于日志和指标的***评价方法、装置、设备和介质
CN113485901B (zh) * 2021-07-06 2022-11-22 中国工商银行股份有限公司 基于日志和指标的***评价方法、装置、设备和介质
CN113590371B (zh) * 2021-08-09 2023-10-10 北京科银京成技术有限公司 一种事件分析器及事件分析方法
CN113590371A (zh) * 2021-08-09 2021-11-02 北京科银京成技术有限公司 一种事件分析器及事件分析方法
CN113762765A (zh) * 2021-09-02 2021-12-07 南方电网数字电网研究院有限公司 指标分析方法、***、电子设备及存储介质
CN115357470A (zh) * 2022-10-21 2022-11-18 北京国电通网络技术有限公司 信息生成方法、装置、电子设备和计算机可读介质
CN115913896A (zh) * 2022-11-09 2023-04-04 中国联合网络通信集团有限公司 设备检测方法、服务器及介质
CN116542558A (zh) * 2023-04-27 2023-08-04 上海数禾信息科技有限公司 业务指标计算方法、装置、计算机设备和存储介质
CN116542558B (zh) * 2023-04-27 2024-06-04 上海数禾信息科技有限公司 业务指标计算方法、装置、计算机设备和存储介质
CN116471174A (zh) * 2023-05-05 2023-07-21 北京优特捷信息技术有限公司 一种日志数据监测***、方法、装置和存储介质
CN116471174B (zh) * 2023-05-05 2024-02-09 北京优特捷信息技术有限公司 一种日志数据监测***、方法、装置和存储介质

Also Published As

Publication number Publication date
CN111221702B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN111221702B (zh) 基于日志分析的异常处理方法、***、终端及介质
CN107992398B (zh) 一种业务***的监控方法和监控***
CN110708204B (zh) 一种基于运维知识库的异常处理方法、***、终端及介质
KR101388319B1 (ko) 보안 이벤트들을 관리하기 위한 방법 및 디바이스
CN110223146B (zh) 客户购电服务全过程监控***及方法
CN111190876A (zh) 日志管理***及其运行方法
CN108063699B (zh) 网络性能监控方法、装置、电子设备、存储介质
US20060074621A1 (en) Apparatus and method for prioritized grouping of data representing events
CN111694718A (zh) 内网用户异常行为识别方法、装置、计算机设备及可读存储介质
WO2015136624A1 (ja) アプリケーション性能監視方法および装置
CN113448812A (zh) 微服务场景下的监控告警方法及装置
CN112800061B (zh) 一种数据存储方法、装置、服务器及存储介质
CN107562601A (zh) 一种告警方法及装置
US9116804B2 (en) Transient detection for predictive health management of data processing systems
CN112001443A (zh) 网络行为数据的监控方法、装置、存储介质及电子设备
CN110874291A (zh) 一种异常容器实时检测方法
CN115103157A (zh) 基于边云协同的视频分析方法、装置、电子设备及介质
CN106951360B (zh) 数据统计完整度计算方法和***
CN105471938B (zh) 服务器负载管理方法及装置
CN111339052A (zh) 一种非结构化日志数据处理方法及装置
CN111581258A (zh) 一种安全数据分析方法、装置、***、设备及存储介质
CN114785616A (zh) 数据风险检测方法、装置、计算机设备及存储介质
CN112948223A (zh) 一种监测运行情况的方法和装置
CN112256548B (zh) 异常数据的监听方法、装置、服务器及存储介质
CN111782488B (zh) 消息队列监控方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant