CN109460341A - 一种日志数据的告警方法及装置 - Google Patents

一种日志数据的告警方法及装置 Download PDF

Info

Publication number
CN109460341A
CN109460341A CN201811236165.3A CN201811236165A CN109460341A CN 109460341 A CN109460341 A CN 109460341A CN 201811236165 A CN201811236165 A CN 201811236165A CN 109460341 A CN109460341 A CN 109460341A
Authority
CN
China
Prior art keywords
daily record
record data
log feature
characteristic information
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811236165.3A
Other languages
English (en)
Inventor
段谊海
郭锋
陈春风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811236165.3A priority Critical patent/CN109460341A/zh
Publication of CN109460341A publication Critical patent/CN109460341A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种日志数据的告警方法及装置，所述方法包括：通过日志特征提取器获取日志数据的特征信息，将所述特征信息输入发育网络的输入层，根据所述发育网络输出层的结果，确定是否进行故障告警。本申请实施例提出的方法及装置，基于发育网络分析日志数据，可以提高数据中心设备运行的稳定性，保证各种业务的正常运行。

Description

一种日志数据的告警方法及装置
技术领域
本发明涉及日志数据分析技术，尤指一种日志数据的告警方法及装置。
背景技术
随着互联网的飞速发展，数据中心承载着各种数据的采集、存储及分析等功能，并随着业务的增加，业务主机会出现各种软件或者硬件的故障，影响着业务的稳定运行，传统监控只能通过标准接口去监控设备的运行状态，能够获取到设备的信息有限，对于内部的故障不能够监控，已经不能够满足客户需求。
发明内容
为了解决上述技术问题，本申请实施例提供了一种日志数据的告警方法及装置，基于发育网络分析日志数据，可以提高数据中心设备运行的稳定性，保证各种业务的正常运行。
根据本申请的一个方面，提供了一种日志数据的告警方法，包括：
通过日志特征提取器获取日志数据的特征信息；
将所述特征信息输入发育网络的输入层；
根据所述发育网络输出层的结果，确定是否进行故障告警。
可选地，其中所述通过日志特征提取器获取日志数据的特征信息，包括：
根据预设的日志特征关键词设置日志特征提取器；
对所述日志数据按段落进行分割，利用分词器对每一段落进行分词，用日志特征提取器提取日志数据中与预设日志特征关键词匹配的特征信息。
可选地，其中所述用日志特征提取器提取日志数据中与预设日志特征关键词匹配的特征信息，包括：
根据所述预设日志特征关键词，对分词后的日志数据进行匹配，如果匹配成功，所述日志特征提取器输出结果为逻辑真，如果匹配不成功，所述日志特征提取器输出结果为逻辑假；
输出结果组成所述日志数据的特征信息。
可选地，所述发育网络采用以下方式进行训练：
根据所述日志特征提取器获取日志数据的特征信息，构造所述发育网络的输入层矩阵，作为训练样本，指定输出层的响应结果，对所述发育网络按照预设算法进行训练，获取所述发育网络隐藏层中神经元的权值。
可选地，所述日志特征包括：风扇特征、电源特征、电压特征、温度特征、磁盘特征、BIOS特征、RAID卡特征、以及内存特征；
所述根据所述发育网络输出层的结果，确定是否进行故障告警，包括：
根据所述发育网络输出层中能量最大的神经元的位置，确定对应的告警类型，进行故障告警。
根据本申请的另一方面，还提供了一种日志数据的告警装置，包括：
信息获取模块，用于通过日志特征提取器获取日志数据的特征信息；
信息输入模块，用于将所述信息获取模块获取的特征信息输入发育网络的输入层；
故障告警模块，用于根据所述发育网络输出层的结果，确定是否进行故障告警。
可选地，其中所述信息获取模块具体用于：
根据预设的日志特征关键词设置日志特征提取器；
对所述日志数据按段落进行分割，利用分词器对每一段落进行分词，用日志特征提取器提取日志数据中与预设日志特征关键词匹配的特征信息。
可选地，其中所述用日志特征提取器提取日志数据中与预设日志特征关键词匹配的特征信息，包括：
根据所述预设日志特征关键词，对分词后的日志数据进行匹配，如果匹配成功，所述日志特征提取器输出结果为逻辑真，如果匹配不成功，所述日志特征提取器输出结果为逻辑假；
输出结果组成所述日志数据的特征信息。
可选地，所述发育网络采用以下方式进行训练：
根据所述日志特征提取器获取日志数据的特征信息，构造所述发育网络的输入层矩阵，作为训练样本，指定输出层的响应结果，对所述发育网络按照预设算法进行训练，获取所述发育网络隐藏层中神经元的权值。
可选地，所述日志特征包括：风扇特征、电源特征、电压特征、温度特征、磁盘特征、BIOS特征、RAID卡特征、以及内存特征；
所述故障告警模块具体用于：
根据所述发育网络输出层中能量最大的神经元的位置，确定对应的告警类型，进行故障告警。
本申请实施例提供的基于发育网络的日志数据告警方法及装置，通过日志特征提取器从日志数据中获取特征信息，输入到发育网络的输入层，然后根据发育网络输出层的结果，确定是否进行故障告警，可以提高数据中心设备运行的稳定性，保证各种业务的正常运行。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获取。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为发育网络基本架结构示意图；
图2为本申请实施例一提供的一种日志数据的告警方法示意图；
图3为本申请实施例二提供的一种日志数据的告警装置示意图；
图4为本申请提供的一种示范性实施例。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为发育网络的基本架构示意图。
该发育网络有3个区域，X，Y和Z，这三个区域类似于一般神经元网络的输入层，隐含层和输出层。X通常作为传感器与外界环境接触，Y层作为发育网络的大脑，通常是隐含的，不能直接与外界环境接触，只能通过与X、Z区域的连接获得信息。作为执行器层，Z层可以是输入也可以是输出，当Z处于外界监督状态时，作为网络的输入，否则，Z输出一个向量来驱动执行器(肌肉或腺体)作用于真实世界。X，Y，Z三个区域由低到高，例如，X→Y，
该发育网络的基本工作原理如下：
(1)在t＝0时刻，对A＝{X，Y，Z}中的任一区域，初始化N和反应向量r，其中N＝(V,G)，V是突触权值，G是神经元的年龄，r是权值与输入相乘后的值。
(2)在t＝1,2,...时刻,对A中的任一区域，不断重复下面的两个步骤：
①利用面积函数f进行如下计算：
(r′,N′)＝f(b,t,N) 公式(1)
其中b(bottom-up)和t(top-down)分别是自下而上和自上而下的输入，r′是其新的响应向量；
②进行如下替代:N←N′,r←r′.
对于区域A中的任一神经元都有权值向量v＝(vb,vt)，对应于区域的输入为p＝(b,t)。vb和vt分别对应于自下而上的输入b和自上而下的输入t的权值。区域Y中每一个神经元激活之前的能量定义如下所示的两个归一化后的向量内积的和：
其中：是归一化后的突触向量的单位向量，是归一化后的输入向量的单位向量。内积测量了两个单位向量和匹配的程度，因为r(vb,b,vt,t)＝cosθ，θ是两个单位向量和之间的夹角。激活前的能量值处于[-1,1]之间。
激活神经元的位置可通过如下式得到：
其中，j代表响应值最大的神经元，激活后，其与X和Z之间的连接权值更新如下：：
其中，ω2(nj)是与激活年龄(激活次数)相关的学习率，ω1(nj)是保持率，ω1(nj)+ω2(nj)≡1，yi是Y激活后的响应向量。
下式给出了输入采样均值的递归计算方法：
其中，ti是神经元的激活时间，激活神经元的年龄加1，即nj←nj+1。
基于上述发育网络，本申请实施例一提供了一种日志数据的告警方法，如图2所示，包括：
步骤S02：通过日志特征提取器获取日志数据的特征信息；
步骤S04：将所述特征信息输入发育网络的输入层；
步骤S06：根据所述发育网络输出层的结果，确定是否进行故障告警。
本申请实施例提出了一种基于发育网络的日志数据告警方法，通过日志特征提取器从日志数据中获取特征信息，输入到发育网络的输入层，然后根据发育网络输出层的结果，确定是否进行故障告警，可以提高数据中心设备运行的稳定性，保证各种业务的正常运行。
可选地，上述方法中，所述通过日志特征提取器获取日志数据的特征信息，包括：
根据预设的日志特征关键词设置日志特征提取器；
对所述日志数据按段落进行分割，利用分词器对每一段落进行分词，用日志特征提取器提取日志数据中与预设日志特征关键词匹配的特征信息。
根据本申请的实施例，可以根据日志数据的特点和需要分析的特征，设置日志特征关键词(包括关键词或者短语)；对日志进行按照段落进行分割，对每一个段落安装空格进行分词，然后利用日志特征提取器提取日志数据中与预设日志特征关键词匹配的特征信息。
可选地，上述方法中，所述用日志特征提取器提取日志数据中与预设日志特征关键词匹配的特征信息，包括：
根据所述预设日志特征关键词，对分词后的日志数据进行匹配，如果匹配成功，所述日志特征提取器输出结果为逻辑真，如果匹配不成功，所述日志特征提取器输出结果为逻辑假；输出结果组成所述日志数据的特征信息。
本实施例中，可以将分割后的日志数据依次通过各个特征提取器，各个特征提取器分别进行关键词和/或短语的匹配，包括正则匹配，如果匹配上相应的关键词和/或短语，该特征提取器输出置为逻辑真，例如可以置为1，匹配不上关键词和/或短语，则该特征提取器的输出置为逻辑假，例如可以置为0。
例如：风扇特征提取器可以设计为：
[“fan；critical”,“fan；warning”,“fan；exceed*speed limit”]；
当一条日志数据中出现fan和critical；或者fan和warning；或者fan和能够正则匹配上exceed*speed limit时，则认为该特征提取到该特征信息，输出置为1。
可选地，所述发育网络采用以下方式进行训练：
根据所述日志特征提取器获取日志数据的特征信息，构造所述发育网络的输入层矩阵，作为训练样本，指定输出层的响应结果，对所述发育网络按照预设算法进行训练，获取所述发育网络隐藏层中神经元的权值。
根据本申请提供的实施例，在确定日志特征提取器后，即可根据日志特征提取器构造发育网络的输入层矩阵，作为训练样本，指定输出层的响应结果，对所述发育网络按照预设算法进行训练，获取所述发育网络隐藏层中神经元的权值。
发育网络的基本训练过程如下：
如图1，X层为构造的输入矩阵，Y层和Z层为随机初始化的神经元。在本实施例中，X层的输入矩阵可以由多个日志特征提取器构成。
发育网络训练分为两步：X层和Y层之间的计算、Y层和Z层之间的计算。
X层和Y层的计算：首先按照公式2，求Y层各个神经元的能量，然后按照公式3，求出Y层神经元中能量最大的那个神经元j，认为神经元j被激活，其次是被激活的Y层的神经元j的权值，按照公式4进行更新权值，其他的神经元不进行任何操作，最后神经元j的年龄加1。此时，Y层的神经元的输出只有神经元j的输出为1，其他神经元的输出为0，作为Z层的输入。
Y层和Z层的计算：Y层的输出作为Z层的输入，假设训练指定的是Z层第k个神经元响应，则Z层神经元k，按照公式4进行更新权值，其他神经元不进行更新，最后神经元k的年龄加1。
训练结束后，发育网络隐藏层(Y层)中神经元的权值不再改变。
可选地，上述方法中，所述日志特征包括一下一种或多种：风扇特征、电源特征、电压特征、温度特征、磁盘特征、BIOS特征、RAID卡特征、以及内存特征；
所述根据所述发育网络输出层的结果，确定是否进行故障告警，包括：
根据所述发育网络输出层中能量最大的神经元的位置，确定对应的告警类型，进行故障告警。
根据本申请提供的实施例，在利用发育网络进行日志数据的分类告警时，日志特征提取器可以由风扇特征提取器、电源特征提取器、电压特征提取器、温度特征提取器、磁盘特征提取器、BIOS特征提取器、RAID卡特征提取器、以及内存特征提取器的一种或多种构成列矩阵，作为X层的构造的输入矩阵，经过训练的发育网络的权值(即：发育网络隐藏层中神经元的权值)不再改变。
按照公式2进行计算Y层神经元的能量，然后按照公式3，计算出能量最大的那个神经元的位置，其次Y层能量最大的神经元的输出设置为1，其他的神经元的输出设置为0，把Y层神经元的输出，作为Z层神经元的输入，然后，Z层神经元按照公式3，计算出Z层最大的那个神经元的位置i，则认为最终的日志告警分类为Z层神经元i对应的告警类型。
本申请提供的基于发育网络的日志数据告警方法，可以对日志数据按照文本段落进行分割，每一段日志为一条数据，每一条数据采用空格作为分词器进行分割，将分割后的日志数据分别采用不同的特征提取器进行提取，获取日志数据的特征信息，输入到发育网络的输入层，根据经过训练的发育网络的输出层结果，确定是否进行故障告警，可以提高数据中心设备运行的稳定性，保证各种业务的正常运行。
如图3所示，本申请实施例二还提供了一种日志数据的告警装置，包括：
信息获取模块12，用于通过日志特征提取器获取日志数据的特征信息；
信息输入模块14，用于将所述信息获取模块获取的特征信息输入发育网络的输入层；
故障告警模块16，用于根据所述发育网络输出层的结果，确定是否进行故障告警。
可选地，所述信息获取模块具体用于：
根据预设的日志特征关键词设置日志特征提取器；
对所述日志数据按段落进行分割，利用分词器对每一段落进行分词，用日志特征提取器提取日志数据中与预设日志特征关键词匹配的特征信息。
可选地，所述用日志特征提取器提取日志数据中与预设日志特征关键词匹配的特征信息，包括：
根据所述预设日志特征关键词，对分词后的日志数据进行匹配，如果匹配成功，所述日志特征提取器输出结果为逻辑真，如果匹配不成功，所述日志特征提取器输出结果为逻辑假；
输出结果组成所述日志数据的特征信息。
可选地，所述发育网络采用以下方式进行训练：
根据所述日志特征提取器获取日志数据的特征信息，构造所述发育网络的输入层矩阵，作为训练样本，指定输出层的响应结果，对所述发育网络按照预设算法进行训练，获取所述发育网络隐藏层中神经元的权值。
可选地，所述装置的所述日志特征包括：风扇特征、电源特征、电压特征、温度特征、磁盘特征、BIOS特征、RAID卡特征、以及内存特征；
所述故障告警模块具体用于：
根据所述发育网络输出层中能量最大的神经元的位置，确定对应的告警类型，进行故障告警。
本申请提供的基于发育网络的日志数据告警装置，可以对日志数据按照文本段落进行分割，每一段日志为一条数据，每一条数据采用空格作为分词器进行分割，将分割后的日志数据分别采用不同的特征提取器进行提取，获取日志数据的特征信息，输入到发育网络的输入层，根据经过训练的发育网络的输出层结果，确定是否进行故障告警，可以提高数据中心设备运行的稳定性，保证各种业务的正常运行。
下面通过一个示范性实施例进一步说明本申请。
如图4所示，主要包括日志数据分割、日志数据的特征提取、构造输入矩阵、训练发育网络，意见获取分类或告警结果几个步骤。日志数据可以通过服务器http下周日志(sel日志、***日志、黑盒日志)；也可以通过日志转发(***自带转发功能)，平台通过logstash进行日志的收集。相关步骤如下：
日志数据分割步骤：包括对日志数据按照段落进行分割，对每一个段落安装空格进行分词。
日志数据的特征提取步骤：包括将经过分割的日志数据依次通过风扇特征提取器、电源特征提取器、电压特征提取器、温度特征提取器、磁盘特征提取器、基本输入输出(Basic Input Output System)BIOS特征提取器、磁盘阵列(Redundant Arrays ofIndependent Drives)RAID卡特征提取器、以及内存特征提取器等等提取器，提取器主要是对分词后的段落进行关键词匹配和/或关键短语匹配，包括采用正则匹配。如果匹配上关键词匹配和/或关键短语，则输出置为1，匹配不上关键词匹配和/或关键短语置为0。
例如：风扇特征提取器可以设计为：
[“fan；critical”,“fan；warning”,”fan；exceed*speed limit”]；
当一条数据日志中出现fan和critical；或者fan和warning；或者fan和能够正则匹配上exceed*speed limit时，则该特征提取到该风扇特征信息，输出置为1
相应地，
电源特征提取器可以设计为：
[“power；critical”,“power；warning”,“power；Undervoltage”,“PSU；critical”,“PSU；warning”]；
磁盘特征提取器可以设计为：
[“disk；offline”,“disk；rebuilding”,“disk；degraded”,“disk；unknown”,“disk；missing”,“disk；failed”]；等等。
构造输入矩阵步骤：将各个特征提取器的输出依次排列，组成发育网络的输入矩阵(X层矩阵)。
样本训练步骤：本实施例采用三层发育网络，构造的输入矩阵是发育网络的输入层，Y层为隐含层，Z层为输出层，Z层的输出即为分类结果。
先根据上述各个特征提取器，对分割后的数据进行特征的提取，将提取的特征信息构造网络的输入矩阵，作为训练样本，使用大量的训练样本对发育网络进行训练，对日志数据进行故障分类。训练结束后，发育网络的权值(即：发育网络隐藏层中神经元的权值)不再改变。
分类告警步骤：在日志数据的分析过程中，按照公式2进行计算Y层神经元的能量，然后按照公式3，计算出能量最大的那个神经元的位置，其次Y层能量最大的神经元的输出设置为1，其他的神经元的输出设置为0，把Y层神经元的输出，作为Z层神经元的输入，然后，Z层神经元按照公式3，计算出Z层最大的那个神经元的位置i，则认为最终的日志告警分类为Z层神经元i对应的告警类型。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种日志数据的告警方法，其特征在于，包括：
通过日志特征提取器获取日志数据的特征信息；
将所述特征信息输入发育网络的输入层；
根据所述发育网络输出层的结果，确定是否进行故障告警。
2.根据权利要求1所述的告警方法，其特征在于，所述通过日志特征提取器获取日志数据的特征信息，包括：
根据预设的日志特征关键词设置日志特征提取器；
对所述日志数据按段落进行分割，利用分词器对每一段落进行分词，用日志特征提取器提取日志数据中与预设日志特征关键词匹配的特征信息。
3.根据权利要求2所述的告警方法，其特征在于，
所述用日志特征提取器提取日志数据中与预设日志特征关键词匹配的特征信息，包括：
根据所述预设日志特征关键词，对分词后的日志数据进行匹配，如果匹配成功，所述日志特征提取器输出结果为逻辑真，如果匹配不成功，所述日志特征提取器输出结果为逻辑假；
输出结果组成所述日志数据的特征信息。
4.根据权利要求2所述的告警方法，其特征在于，所述发育网络采用以下方式进行训练：
根据所述日志特征提取器获取日志数据的特征信息，构造所述发育网络的输入层矩阵，作为训练样本，指定输出层的响应结果，对所述发育网络按照预设算法进行训练，获取所述发育网络隐藏层中神经元的权值。
5.根据权利要求1-4任意一项所述的告警方法，其特征在于，
所述日志特征包括：风扇特征、电源特征、电压特征、温度特征、磁盘特征、BIOS特征、RAID卡特征、以及内存特征；
所述根据所述发育网络输出层的结果，确定是否进行故障告警，包括：
根据所述发育网络输出层中能量最大的神经元的位置，确定对应的告警类型，进行故障告警。
6.一种日志数据的告警装置，其特征在于，包括：
信息获取模块，用于通过日志特征提取器获取日志数据的特征信息；
信息输入模块，用于将所述信息获取模块获取的特征信息输入发育网络的输入层；
故障告警模块，用于根据所述发育网络输出层的结果，确定是否进行故障告警。
7.根据权利要求6所述的告警装置，其特征在于，所述信息获取模块具体用于：
根据预设的日志特征关键词设置日志特征提取器；
对所述日志数据按段落进行分割，利用分词器对每一段落进行分词，用日志特征提取器提取日志数据中与预设日志特征关键词匹配的特征信息。
8.根据权利要求7所述的告警装置，其特征在于，
所述用日志特征提取器提取日志数据中与预设日志特征关键词匹配的特征信息，包括：
根据所述预设日志特征关键词，对分词后的日志数据进行匹配，如果匹配成功，所述日志特征提取器输出结果为逻辑真，如果匹配不成功，所述日志特征提取器输出结果为逻辑假；
输出结果组成所述日志数据的特征信息。
9.根据权利要求7所述的告警装置，其特征在于，所述发育网络采用以下方式进行训练：
根据所述日志特征提取器获取日志数据的特征信息，构造所述发育网络的输入层矩阵，作为训练样本，指定输出层的响应结果，对所述发育网络按照预设算法进行训练，获取所述发育网络隐藏层中神经元的权值。
10.根据权利要求6-9任意一项所述的告警装置，其特征在于，
所述日志特征包括：风扇特征、电源特征、电压特征、温度特征、磁盘特征、BIOS特征、RAID卡特征、以及内存特征；
所述故障告警模块具体用于：
根据所述发育网络输出层中能量最大的神经元的位置，确定对应的告警类型，进行故障告警。
CN201811236165.3A 2018-10-23 2018-10-23 一种日志数据的告警方法及装置 Withdrawn CN109460341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811236165.3A CN109460341A (zh) 2018-10-23 2018-10-23 一种日志数据的告警方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811236165.3A CN109460341A (zh) 2018-10-23 2018-10-23 一种日志数据的告警方法及装置

Publications (1)

Publication Number Publication Date
CN109460341A true CN109460341A (zh) 2019-03-12

Family

ID=65608165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811236165.3A Withdrawn CN109460341A (zh) 2018-10-23 2018-10-23 一种日志数据的告警方法及装置

Country Status (1)

Country Link
CN (1) CN109460341A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245045A (zh) * 2019-05-23 2019-09-17 平安科技（深圳）有限公司 一种基于日志的关键字告警方法及装置
CN110399238A (zh) * 2019-06-27 2019-11-01 浪潮电子信息产业股份有限公司 一种磁盘故障预警方法、装置、设备及可读存储介质
CN110677271A (zh) * 2019-08-16 2020-01-10 平安科技（深圳）有限公司 基于elk的大数据告警方法、装置、设备及存储介质
CN112395156A (zh) * 2020-11-06 2021-02-23 微民保险代理有限公司 故障的告警方法和装置、存储介质和电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245045A (zh) * 2019-05-23 2019-09-17 平安科技（深圳）有限公司 一种基于日志的关键字告警方法及装置
CN110245045B (zh) * 2019-05-23 2022-06-07 平安科技（深圳）有限公司 一种基于日志的关键字告警方法及装置
CN110399238A (zh) * 2019-06-27 2019-11-01 浪潮电子信息产业股份有限公司 一种磁盘故障预警方法、装置、设备及可读存储介质
CN110399238B (zh) * 2019-06-27 2023-09-22 浪潮电子信息产业股份有限公司 一种磁盘故障预警方法、装置、设备及可读存储介质
CN110677271A (zh) * 2019-08-16 2020-01-10 平安科技（深圳）有限公司 基于elk的大数据告警方法、装置、设备及存储介质
CN112395156A (zh) * 2020-11-06 2021-02-23 微民保险代理有限公司 故障的告警方法和装置、存储介质和电子设备

Similar Documents

Publication Publication Date Title
Cheng et al. Risk prediction with electronic health records: A deep learning approach
Huang et al. Multi-view intact space clustering
US11475143B2 (en) Sensitive data classification
Chawla et al. Host based intrusion detection system with combined CNN/RNN model
CN109460341A (zh) 一种日志数据的告警方法及装置
US11675896B2 (en) Using multimodal model consistency to detect adversarial attacks
Budalakoti et al. Anomaly detection and diagnosis algorithms for discrete symbol sequences with applications to airline safety
Xue et al. Malware classification using probability scoring and machine learning
KR102036955B1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
KR102310487B1 (ko) 속성 단위 리뷰 분석 장치 및 방법
Suo et al. A simple and robust correlation filtering method for text-based person search
US20180113982A1 (en) Systems and techniques for recommending personalized health care based on demographics
EP3916597B1 (en) Detecting malware with deep generative models
US8719191B2 (en) Training and verification using a correlated boosted entity model
Ding et al. A visualizable evidence-driven approach for authorship attribution
US11645500B2 (en) Method and system for enhancing training data and improving performance for neural network models
Usmani et al. A review of unsupervised machine learning frameworks for anomaly detection in industrial applications
Nebgen et al. A neural network for determination of latent dimensionality in non-negative matrix factorization
Zhang et al. Cagfuzz: coverage-guided adversarial generative fuzzing testing for image-based deep learning systems
US20240037187A1 (en) Video domain adaptation via contrastive learning
Anandhi et al. Malware visualization and detection using DenseNets
Pei et al. A two-stream network based on capsule networks and sliced recurrent neural networks for DGA botnet detection
CN117011737A (zh) 一种视频分类方法、装置、电子设备和存储介质
US11164658B2 (en) Identifying salient features for instances of data
CN116776889A (zh) 一种基于图卷积网络和外部知识嵌入的粤语谣言检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190312

WW01 Invention patent application withdrawn after publication