CN116244646A - 一种基于机器学***台故障诊断方法及*** - Google Patents

一种基于机器学***台故障诊断方法及*** Download PDF

Info

Publication number
CN116244646A
CN116244646A CN202211705102.4A CN202211705102A CN116244646A CN 116244646 A CN116244646 A CN 116244646A CN 202211705102 A CN202211705102 A CN 202211705102A CN 116244646 A CN116244646 A CN 116244646A
Authority
CN
China
Prior art keywords
model
fault diagnosis
data platform
fault
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211705102.4A
Other languages
English (en)
Inventor
孙亮亮
张栋
魏金雷
胡清
李国涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202211705102.4A priority Critical patent/CN116244646A/zh
Publication of CN116244646A publication Critical patent/CN116244646A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

本发明公开了一种基于机器学***台故障诊断方法及***，属于机器学***台运行问题，解决大数据平台组件问题排查难，排查周期长，提高解决问题的能力，为大数据平台智能维保提供有益决策，并以此为基础预测设备的剩余使用寿命，从而制定积极主动的设备维护保障措施。本发明能够自动诊断***故障，使维护变得更加简单。

Description

一种基于机器学***台故障诊断方法及***
技术领域
本发明公开一种基于机器学***台故障诊断方法及***，涉及机器学习技术领域。
背景技术
随着新工业革命时代的开启，物联网、工业互联网、人工智能等技术成为舞台上最受瞩目的新星。
贝叶斯网络(BN)是一种用于描述变量间不确定性因果关系的图形网络模型,用于不确定性***建模和推理,处理涉及到预测智能推理、诊断、决策风险及可靠性分析的问题。
大数据平台此处特指hadoop平台,其涉及的技术组件繁多，维护需要的专业技术种类多种多样，对于技术人员的技术水平要求较高。为了提高问题排查效率，预防问题产生，基于机器学习的故障诊断应运而生。
早期的故障诊断通常依赖于技术人员的经验知识。例如，一个专业的工程师可以通过查看大数据平台中某一组件的状态诊断平台服务的故障原因，或者通过运行日志分析报错信息来判定运行的问题。显然，这种依赖人工判断的方法在准确度、扩展性、实时性等方面都存在较大的问题。近年来，利用机器学习模型来建立故障分类器成为目前故障诊断研究的最热门的领域。这类数据驱动的诊断方法能自动根据设备的运行状态数据诊断设备的故障类型，在准确度、扩展性、实时性等方面都比人工方法更有优势。
故现发明一种基于机器学***台故障诊断方法及***，以解决上述问题。
发明内容
本发明针对现有技术的问题，提供一种基于机器学***台故障诊断方法及***，所采用的技术方案为：一种基于机器学***台故障诊断方法，所述方法进行建模，建立故障诊断模型；
所述方法在故障诊断模型的训练阶段：获取训练样本，将有标记的训练样本输入机器学***台属于的故障类型，对训练样本数据进行归一化处理，通过最小化模型分类错误来优化模型参数，从而得到最优的故障诊断模型；
所述方法在故障诊断模型的工作阶段：将不带标记的样本输入到故障诊断模型，计算当前大数据平台的故障类型。
所述方法在故障诊断模型的训练阶段，具体方法如下：
S11数据处理，采集大数据平台中的***信息、软件服务的监控信息，检索***运行日志，以及局域网内的网络信息包括流量大小、网络连通情况；
S12特征预处理，对采集到的频域数据、时域数据、时频数据进行预处理，以使其适用于机器学习和模型学习；
S13故障诊断模型建模，采用深度卷积神经网络模型，通过softmax函数来完成故障分类，利用卷积提取特征，利用池化去除特征中德冗余信息，降低特征的维度。
所述方法在故障诊断模型的工作阶段，利用TANd分类器对大数据平台产品进行故障诊断，具体方法如下：
S21将预处理后的故障数据和常规数据组合构成训练集，根据训练集生成TANd分类器模型；
S22利用生成的TANd分类器模型对大数据平台产品进行故障诊断。
所述TANd分类器模型计算不同属性质之间的条件信息函数，在属性间条件弧，建立一个有向无环图。
一种基于机器学***台故障诊断***，所述***进行建模，建立故障诊断模型；
所述***在故障诊断模型的训练阶段：获取训练样本，将有标记的训练样本输入机器学***台属于的故障类型，对训练样本数据进行归一化处理，通过最小化模型分类错误来优化模型参数，从而得到最优的故障诊断模型；
所述***在故障诊断模型的工作阶段：将不带标记的样本输入到故障诊断模型，计算当前大数据平台的故障类型。
所述***在故障诊断模型的训练阶段，具体包括：
数据处理模块，采集大数据平台中的***信息、软件服务的监控信息，检索***运行日志，以及局域网内的网络信息包括流量大小、网络连通情况；
特征预处理模块，对采集到的频域数据、时域数据、时频数据进行预处理，以使其适用于机器学习和模型学习；
故障诊断模型建模模块，采用深度卷积神经网络模型，通过softmax函数来完成故障分类，利用卷积提取特征，利用池化去除特征中德冗余信息，降低特征的维度。
所述***在故障诊断模型的工作阶段，利用TANd分类器对大数据平台产品进行故障诊断，具体包括：
数据组合模块：将预处理后的故障数据和常规数据组合构成训练集，根据训练集生成TANd分类器模型；
诊断处理模块：利用生成的TANd分类器模型对大数据平台产品进行故障诊断。
所述TANd分类器模型计算不同属性质之间的条件信息函数，在属性间条件弧，建立一个有向无环图。
本发明的有益效果为：本发明方法用以快速处理大数据平台运行问题，解决大数据平台组件问题排查难，排查周期长，提高解决问题的能力，为大数据平台智能维保提供有益决策，并以此为基础预测设备的剩余使用寿命，从而制定积极主动的设备维护保障措施。本发明能够自动诊断***故障，使维护变得更加简单。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法实施例基于机器学习的故障诊断两阶段示意图；
图2是本发明方法实施例的基本流程示意图；
图3是本发明方法实施例中深度卷积神经网络的故障诊断模型结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一：
一种基于机器学***台故障诊断方法，所述方法进行建模，建立故障诊断模型；
基于机器学习的故障诊断方法通常被建模为一个有监督的多分类问题,如图1所示。方法分为如下两个阶段：
所述方法在故障诊断模型的训练阶段：在训练阶段，获取训练样本，样本数据包括大数据平台的***运行参数数据、监控数据、运行日志数据、网络数据等。将有标记的训练样本输入机器学***台属于的故障类型，对训练样本数据进行归一化处理，通过最小化模型分类错误来优化模型参数，从而得到最优的故障诊断模型。
所述方法在故障诊断模型的工作阶段：在诊断阶段，将不带标记的样本输入到故障诊断模型，计算当前大数据平台的故障类型。其中的关键点主要集中在两个方面：第一个关键点是如何构造样本，即大数据平台的哪些状态参数作为样本特征；第二个关键点是如何设计机器学习模型的结构，以取得最准确的分类结果。
进一步的，所述方法在故障诊断模型的训练阶段，基于有标签样本集建立多分类器的基本流程如图2所示，包括数据收集、特征预处理、建模如下3个步骤：
S11数据处理，采集大数据平台中的***信息、软件服务的监控信息，检索***运行日志，以及局域网内的网络信息包括流量大小、网络连通情况；
S12特征预处理，主要是采集大数据平台中的***信息、各种软件服务的监控信息，检索***运行日志，以及局域网内的网络信息包括流量大小、网络连通情况等。
S13故障诊断模型建模，随着深度神经网络在自然语言处理和图像识别方面取得巨大成功。深度神经网络也被引入设备故障的智能诊断中。此方案的模型采用深度卷积神经网络模型，它是一种局部连接和权重共享的深度前馈神经网络，如图3所示。它包括若干卷积层和池化层，最后通过一个softmax函数来完成故障分类。卷积的作用是提取特征，池化可以去除特征中的冗余信息，降低特征的维度。
本发明采用的计算原理为贝叶斯定理。设试验E的样本空间为S,A为E的事件，B1,B2,…,Bn为S的一个划分，且P(A)>0,P(Bi)>0(i＝1,2,…,n)则贝叶斯公式为
Figure BDA0004026065580000051
对于给定的样本x，P(x)与类标无关，P(c)称为类先验概率，p(x|c)称为类条件概率。
先验概率：根据以往经验和分析得到的概率。
后验概率：后验概率是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。
对于类先验概率p(c)，p(c)就是样本空间中各类样本所占的比例，根据大数定理(当样本足够多时，频率趋于稳定等于其概率)，这样当训练样本充足时，p(c)可以使用各类出现的频率来代替。因此只剩下类条件概率p(x|c)，它表达的意思是在类别c中出现x的概率，它涉及到属性的联合概率问题，若只有一个离散属性还好，当属性多时采用频率估计起来就十分困难，因此这里一般采用极大似然法进行估计。
不难看出，原始的贝叶斯分类器最大的问题在于联合概率密度函数的估计，首先需要根据经验来假设联合概率分布，其次当属性很多时，训练样本往往覆盖不够，参数的估计会出现很大的偏差。为了避免这个问题，朴素贝叶斯分类器(naiveBayesclassifier)采用了“属性条件独立性假设”，即样本数据的所有属性之间相互独立。这样类条件概率p(x|c)可以改写为：
Figure BDA0004026065580000061
这样，为每个样本估计类条件概率变成为每个样本的每个属性估计类条件概率。
模型建模过程中将判别类条件贝叶斯网络模型与TAN分类器相结合，(TAN分类器是朴素贝叶斯分类器的一种改进模型)通过最大化条件对数似然函数，获得各节点的参数，并使用量子粒子群优化算法最大化目标函数。此分类器记为TANd分类器。TANd分类器在数据量较小时分类优势不够明显，但是当数据量的规模增加，各参数的属性之间的独立性假设条件不再被满足时，普通的贝叶斯网络分类器的分类精度会大幅下降，而TANd分类器的分类效果依然能够保持很高的分类精度,对于分类问题更加高效。
进一步的，所述方法在故障诊断模型的工作阶段，利用TANd分类器对大数据平台产品进行故障诊断，具体方法如下：
S21将预处理后的故障数据和常规数据组合构成训练集，根据训练集生成TANd分类器模型；
S22利用生成的TANd分类器模型对大数据平台产品进行故障诊断。
再进一步的，所述TANd分类器模型计算不同属性质之间的条件信息函数，在属性间条件弧，建立一个有向无环图。
由于大数据平台的各项参数之间并非完全相互独立，各属性参数之间存在一定的联系。TANd分类器通过计算不同属性之间的条件互信息函数，在属性间添加弧，建立一个有向无环图。由此根据贝叶斯理论和最大后验概率原则对训练集进行分类，判断是否属于故障数据，或者是故障中的哪一类。
数据预处理：选取hadoop的4组故障数据为NameNode异常、HDFS磁盘异常、HBase异常、ResourceManager异常。为提高分类精度和优化速度，选取其中易发生故障的部分组件的相应参数，作为参与分类的最终属性参数。为提高分类及优化效率可以采用如下公式对数据进行归一化处理：
Figure BDA0004026065580000062
公式中，Xij为第i个样本的第j个属性的值，Xj为数据样本中的第j属性的均值
采用训练集为完整数据训练集，包含正常运行的数据和4种故障数据，共计5个类变量，得到集合为{NameNode异常、HDFS磁盘异常、HBase异常、ResourceManager异常、正常}记为{Fautl1,Fautl2,Fautl3,Fautl4,Normal}。
数据结果如下
Figure BDA0004026065580000071
其中TPRate表示被模型预测为正的正样本率，FPRate表示被模型预测为正的负样本率,Precision为查准率,Recall为召回率,F-Measure为Precision和Recall的加权调和平均，其值越接近1，表明诊断方法越有效。
Figure BDA0004026065580000072
采用QPSO优化算法不依赖于粒子的速度、粒子的位置及概率密度由波函数产生。在粒子位置有界的情况下，算法满足全局收敛性条件，能够依概率收敛至全局最优解,从而优化贝叶斯公式的参数,使得训练更为准确。
实施例二：
一种基于机器学***台故障诊断***，所述***进行建模，建立故障诊断模型；
所述***在故障诊断模型的训练阶段：获取训练样本，将有标记的训练样本输入机器学***台属于的故障类型，对训练样本数据进行归一化处理，通过最小化模型分类错误来优化模型参数，从而得到最优的故障诊断模型；
所述***在故障诊断模型的工作阶段：将不带标记的样本输入到故障诊断模型，计算当前大数据平台的故障类型。
进一步的，所述***在故障诊断模型的训练阶段，具体包括：
数据处理模块，采集大数据平台中的***信息、软件服务的监控信息，检索***运行日志，以及局域网内的网络信息包括流量大小、网络连通情况；
特征预处理模块，对采集到的频域数据、时域数据、时频数据进行预处理，以使其适用于机器学习和模型学习；
故障诊断模型建模模块，采用深度卷积神经网络模型，通过softmax函数来完成故障分类，利用卷积提取特征，利用池化去除特征中德冗余信息，降低特征的维度。
进一步的，所述***在故障诊断模型的工作阶段，利用TANd分类器对大数据平台产品进行故障诊断，具体包括：
数据组合模块：将预处理后的故障数据和常规数据组合构成训练集，根据训练集生成TANd分类器模型；
诊断处理模块：利用生成的TANd分类器模型对大数据平台产品进行故障诊断。
再进一步的，所述TANd分类器模型计算不同属性质之间的条件信息函数，在属性间条件弧，建立一个有向无环图。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于机器学***台故障诊断方法，其特征是所述方法进行建模，建立故障诊断模型；
所述方法在故障诊断模型的训练阶段：获取训练样本，将有标记的训练样本输入机器学***台属于的故障类型，对训练样本数据进行归一化处理，通过最小化模型分类错误来优化模型参数，从而得到最优的故障诊断模型；
所述方法在故障诊断模型的工作阶段：将不带标记的样本输入到故障诊断模型，计算当前大数据平台的故障类型。
2.根据权利要求1所述的方法，其特征是所述方法在故障诊断模型的训练阶段，具体方法如下：
S11数据处理，采集大数据平台中的***信息、软件服务的监控信息，检索***运行日志，以及局域网内的网络信息包括流量大小、网络连通情况；
S12特征预处理，对采集到的频域数据、时域数据、时频数据进行预处理，以使其适用于机器学习和模型学习；
S13故障诊断模型建模，采用深度卷积神经网络模型，通过softmax函数来完成故障分类，利用卷积提取特征，利用池化去除特征中德冗余信息，降低特征的维度。
3.根据权利要求2所述的方法，其特征是所述方法在故障诊断模型的工作阶段，利用TANd分类器对大数据平台产品进行故障诊断，具体方法如下：
S21将预处理后的故障数据和常规数据组合构成训练集，根据训练集生成TANd分类器模型；
S22利用生成的TANd分类器模型对大数据平台产品进行故障诊断。
4.根据权利要求3所述的方法，其特征是所述TANd分类器模型计算不同属性质之间的条件信息函数，在属性间条件弧，建立一个有向无环图。
5.一种基于机器学***台故障诊断***，其特征是所述***进行建模，建立故障诊断模型；
所述***在故障诊断模型的训练阶段：获取训练样本，将有标记的训练样本输入机器学***台属于的故障类型，对训练样本数据进行归一化处理，通过最小化模型分类错误来优化模型参数，从而得到最优的故障诊断模型；
所述***在故障诊断模型的工作阶段：将不带标记的样本输入到故障诊断模型，计算当前大数据平台的故障类型。
6.根据权利要求5所述的***，其特征是所述***在故障诊断模型的训练阶段，具体包括：
数据处理模块，采集大数据平台中的***信息、软件服务的监控信息，检索***运行日志，以及局域网内的网络信息包括流量大小、网络连通情况；
特征预处理模块，对采集到的频域数据、时域数据、时频数据进行预处理，以使其适用于机器学习和模型学习；
故障诊断模型建模模块，采用深度卷积神经网络模型，通过softmax函数来完成故障分类，利用卷积提取特征，利用池化去除特征中德冗余信息，降低特征的维度。
7.根据权利要求6所述的***，其特征是所述***在故障诊断模型的工作阶段，利用TANd分类器对大数据平台产品进行故障诊断，具体包括：
数据组合模块：将预处理后的故障数据和常规数据组合构成训练集，根据训练集生成TANd分类器模型；
诊断处理模块：利用生成的TANd分类器模型对大数据平台产品进行故障诊断。
8.根据权利要求7所述的***，其特征是所述TANd分类器模型计算不同属性质之间的条件信息函数，在属性间条件弧，建立一个有向无环图。
CN202211705102.4A 2022-12-29 2022-12-29 一种基于机器学***台故障诊断方法及*** Pending CN116244646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211705102.4A CN116244646A (zh) 2022-12-29 2022-12-29 一种基于机器学***台故障诊断方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211705102.4A CN116244646A (zh) 2022-12-29 2022-12-29 一种基于机器学***台故障诊断方法及***

Publications (1)

Publication Number Publication Date
CN116244646A true CN116244646A (zh) 2023-06-09

Family

ID=86634084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211705102.4A Pending CN116244646A (zh) 2022-12-29 2022-12-29 一种基于机器学***台故障诊断方法及***

Country Status (1)

Country Link
CN (1) CN116244646A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117232577A (zh) * 2023-09-18 2023-12-15 杭州奥克光电设备有限公司 一种光缆交接箱承载内部监测方法、***和光缆交接箱

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117232577A (zh) * 2023-09-18 2023-12-15 杭州奥克光电设备有限公司 一种光缆交接箱承载内部监测方法、***和光缆交接箱
CN117232577B (zh) * 2023-09-18 2024-04-05 杭州奥克光电设备有限公司 一种光缆交接箱承载内部监测方法、***和光缆交接箱

Similar Documents

Publication Publication Date Title
KR101984730B1 (ko) 서버 장애 자동 예측 시스템 및 자동 예측 방법
CN113496262B (zh) 数据驱动的有源配电网异常状态感知方法及***
CN105391579B (zh) 基于关键告警集和监督分类的电力通信网故障定位方法
US20100030521A1 (en) Method for analyzing and classifying process data
CN110335168B (zh) 基于gru优化用电信息采集终端故障预测模型的方法及***
CN112217674B (zh) 基于因果网络挖掘和图注意力网络的告警根因识别方法
CN112906775B (zh) 一种设备故障预测方法及***
CN116244646A (zh) 一种基于机器学***台故障诊断方法及***
CN115791174B (zh) 一种滚动轴承异常诊断方法、***、电子设备及存储介质
CN114266301A (zh) 基于图卷积神经网络的电力设备故障智能预测方法
Tian et al. Software defect prediction based on machine learning algorithms
CN116361059A (zh) 一种银行业务异常根因诊断方法及诊断***
CN111327480A (zh) 移动边缘环境下的Web服务多元QoS监控方法
CN113884807A (zh) 基于随机森林和多层架构聚类的配电网故障预测方法
CN115438190B (zh) 一种配电网故障辅助决策知识抽取方法及***
JP2002169611A (ja) 故障診断システムおよびその自動設計方法
CN112613227B (zh) 基于混合机器学习的航空发动机剩余使用寿命预测模型
Qiu et al. A fusion of bayesian and fuzzy analysis for print faults diagnosis.
KR20230075150A (ko) 시스템 건전성을 관리하기 위한 방법 및 장치
CN113807704A (zh) 一种城市轨道交通数据的智能算法平台构建方法
Mbuli et al. Root causes analysis and fault prediction in intelligent transportation systems: coupling unsupervised and supervised learning techniques
CN113049249A (zh) 一种电机轴承故障诊断方法及***
Balaram et al. Software Fault Detection using Multi-Distinguished-Features Sampling with Ensemble Random Forest Classifier.
Yin et al. Cascaded fault detection system of error back-propagation network based on node association degree
Wang et al. Operating Condition Identification of Complete Wind Turbine using DBN and Improved DDPG-SOM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination