CN111191726A - 一种基于弱监督学习多层感知器的故障分类方法 - Google Patents

一种基于弱监督学习多层感知器的故障分类方法 Download PDF

Info

Publication number
CN111191726A
CN111191726A CN201911418196.5A CN201911418196A CN111191726A CN 111191726 A CN111191726 A CN 111191726A CN 201911418196 A CN201911418196 A CN 201911418196A CN 111191726 A CN111191726 A CN 111191726A
Authority
CN
China
Prior art keywords
sample
label
layer
network
mlp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911418196.5A
Other languages
English (en)
Other versions
CN111191726B (zh
Inventor
葛志强
廖思奋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201911418196.5A priority Critical patent/CN111191726B/zh
Publication of CN111191726A publication Critical patent/CN111191726A/zh
Application granted granted Critical
Publication of CN111191726B publication Critical patent/CN111191726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于弱监督学习多层感知器的过程数据故障分类方法，它由多层感知器，BatchNormalization层，Dropout层和Softmax输出层组成的有监督分类网络和用于获取样本标签不准确情况的高斯混合模型组成；多层感知器能够从不准确标签数据中学习数据的特征表示，此外，高斯混合模型对多层感知器提取的特征进行无监督聚类，聚类的结果可以用于估计各类样本不准确标签与潜在的样本真实标签的关系，即标签概率转移矩阵，并且利用估计的标签概率转移矩阵修正网络损失函数对分类网络进行第二次训练，提高网络对不准确标签样本的分类精度。本发明可以适用工业过程数据样本部分标签标注错误，即不准确标签的故障分类的情形。

Description

一种基于弱监督学习多层感知器的故障分类方法
技术领域
本发明属于工业过程故障诊断和分类领域，具体地涉及一种基于弱监督学习多层感知器的故障分类方法。
背景技术
在工业过程监测中，当检测到故障发生后，需要对故障信息进行进一步分析，而故障分类是其中的一个重要环节，获得发生故障类别，有利于进行工业过程的恢复。
在传统的故障分类中，都假设获取的数据样本标签是精确的，从而进行模型训练，然而，工业过程数据的标签通过外部知识库、规则库或者人工标定等方式生成，样本的标签可能不准确。此外，不准确标签样本相比准确标签样本更容易获得，成本更低。样本标签并不准确已成为模型不可忽视的特点。因此，在实际中对不准确标签样本进行弱监督学习建模，能有利于提高模型对故障样本的分类精度。
发明内容
针对目前工业过程中样本标签可能并不准确等问题，本发明提出了一种基于弱监督学习多层感知器的故障分类方法。
本发明的目的是通过如下技术方案实现的：一种基于弱监督学习的多层感知器的过程数据故障分类方法，所述基于弱监督学习的多层感知器包括：两层感知器MLP、Softmax输出层和高斯混合模型GMM。所述过程数据故障分类方法具体包括如下步骤：
步骤一：收集历史工业过程中含有不准确标签的样本作为训练数据集
Figure BDA0002351692900000011
其中,
Figure BDA0002351692900000012
为不准确标签数据样本，
Figure BDA0002351692900000013
为该样本的标签，
Figure BDA0002351692900000014
N表示训练数据集的样本个数,K为样本类别数。
步骤二：将步骤一中收集到的训练数据集D标准化，即将有标签样本集X每个变量映射为均值为0，方差为1的样本集Xstd，并通过one-hot编码将标签集Y每个样本标签转化为一维向量，得到标准化数据集
Figure BDA0002351692900000015
步骤三：首先将新数据集Dstd作为输入，对感知器MLP的网络进行第一次有监督训练，在Softmax输出层得到样本集Xstd属于其标签
Figure BDA0002351692900000016
的后验概率。
步骤四：将步骤三得到的后验概率作为高斯混合模型GMM的输入，并训练高斯混合模型，用训练完成后的高斯混合模型参数
Figure BDA0002351692900000021
来估计标签概率转移矩阵T，得到估计矩阵
Figure BDA0002351692900000022
步骤五：根据
Figure BDA0002351692900000023
来修正步骤三感知器MLP拟合不准确标签样本的损失函数，以步骤二得到的数据集Dstd作为输入，第二次有监督训练步骤三感知器MLP，完成弱监督学习，得到训练好的WS-MLP网络；
步骤六：收集新的未知故障类别的工业过程数据，按照步骤二的方法将过程数据标准化，得到数据集dstd,输入到步骤五训练好的WS-MLP网络，求取样本对应每个故障类别的后验概率，把后验概率最大的类别，作为该样本的类别，实现样本的故障分类。
进一步地，步骤三具体包括如下步骤：
(3.1)构建感知器MLP的网络，所述感知器MLP的网络由依次连接的第一层隐层、BatchNormalization层、Dropout层、第二层隐层、BatchNormalization层、Dropout层和Softmax层组成。其中，第一层隐层和第二层隐层的权重矩阵和偏置向量分别为W1,b1,W2,b2,第二层隐层到Softmax层的权重矩阵和偏置向量分别为W3,b3，将这些网络参数表示为θ＝{W1,b1,W2,b2,W3,b3}。
(3.2)标准化后样本集Dstd作为输入，对感知器MLP的网络进行有监督训练，其中使用交叉熵损失函数：
Figure BDA0002351692900000024
其中，
Figure BDA0002351692900000025
是MLP网络的最后一层的表示。
损失函数通过反向传播算法(BP)对整个感知器MLP的网络进行参数调整，经过多次迭代损失收敛后，得到整个网络的参数，完成训练。
进一步地，步骤四具体包括如下步骤：
(4.1)不准确标签样本集的每类样本由标签准确的样本和标签错误的样本组成，作出以下假设：假设不准确标签的产生与输入独立，即某类样本标记成其他类别的概率相同。并且假设MLP网络具有感知一致性，即MLP网络对每个类别中标签准确的样本和标签错误的样本的特征表示分别服从高斯分布。
根据假设，可以得到：
Figure BDA0002351692900000026
Figure BDA0002351692900000027
Figure BDA0002351692900000031
Figure BDA0002351692900000032
其中，
Figure BDA0002351692900000033
是样本集Dstd的一个样本表示，y是该样本潜在的真实标签，p(·)表示概率，ei,i∈{1,2,L,K}表示在
Figure BDA0002351692900000034
空间上，第i个元素为1，其他元素为0的向量，θ表示MLP网络中所有的权重矩阵和偏置向量参数，μ,Σ分别表示高斯分布未知的均值向量和协方差矩阵，
Figure BDA0002351692900000035
和
Figure BDA0002351692900000036
分别表示所有样本和类别为i样本的高斯分布密度，T表示标签概率转移矩阵，并且定义
Figure BDA0002351692900000037
(4.2)对于不同类别样本子集
Figure BDA0002351692900000038
使用高斯混合模型建模：
Figure BDA0002351692900000039
Figure BDA00023516929000000310
其中，xi表示属于数据集
Figure BDA00023516929000000311
的样本数据，
Figure BDA00023516929000000312
表示
Figure BDA00023516929000000313
┐i表示除类别i外的其他类别。
(4.3)建立两组分的高斯混合模型，使用最大期望化(EM)算法完成高斯混合模型的参数估计，求解出
Figure BDA00023516929000000314
即
Figure BDA00023516929000000315
期望步(E步)时，计算Q函数：
Figure BDA00023516929000000316
其中t为迭代次数。
计算模型对于观测数据
Figure BDA00023516929000000317
的责任度
Figure BDA00023516929000000318
Figure BDA00023516929000000319
其中，
Figure BDA00023516929000000320
表示xi的第n个样本。
极大步(M步)时，估计高斯分布平均值μm和混合系数αm。
Figure BDA0002351692900000041
Figure BDA0002351692900000042
Figure BDA0002351692900000043
其中，Si表示
Figure BDA0002351692900000044
样本个数。
E步和M步交替迭代到模型参数收敛或者预设的最大迭代次数。求解出
Figure BDA0002351692900000045
即
Figure BDA0002351692900000046
(4.4)根据公式
Figure BDA0002351692900000047
求解得到混合系数
Figure BDA0002351692900000048
并用此来得到标签概率转移矩阵T的估计值
Figure BDA0002351692900000049
Figure BDA00023516929000000410
Figure BDA00023516929000000411
其中，
Figure BDA00023516929000000412
表示估计矩阵
Figure BDA00023516929000000413
的第i行第k列的元素。
进一步地，步骤五中，感知器MLP的网络第二次训练使用修正损失函数为：
Figure BDA00023516929000000414
与现有技术相比，本发明的有益效果是，本发明可以在获得有标签样本标签不准确场景进行建模，通过对不准确标签样本进行标签概率转移矩阵评估，并用于修正分类网络的损失函数，完成弱监督学习，从而提升模型对不准确标签样本的分类精度。
附图说明
图1是TennesseeEastman(TE)过程流程图；
图2是MLP网络和基于弱监督学习的多层感知器(WS-MLP)对9类TE过程故障情况在5种标签噪声比例下的分类精度对比图。
具体实施方式
下面结合具体实施方式对本发明基于弱监督学习多层感知器的故障分类方法作进一步的详述。
一种基于弱监督学习的多层感知器的过程数据故障分类方法，其特征在于，所述基于弱监督学习的多层感知器包括：两层感知器MLP、Softmax输出层和高斯混合模型GMM。所述过程数据故障分类方法具体包括如下步骤：
步骤一：收集历史工业过程中含有不准确标签的样本作为训练数据集
Figure BDA0002351692900000051
其中,
Figure BDA0002351692900000052
为不准确标签数据样本，
Figure BDA0002351692900000053
为该样本的标签，
Figure BDA0002351692900000054
N表示训练数据集的样本个数,K为样本类别数。
步骤二：将步骤一中收集到的训练数据集D标准化，即将有标签样本集X每个变量映射为均值为0，方差为1的样本集Xstd，并通过one-hot编码将标签集Y每个样本标签转化为一维向量，得到标准化数据集
Figure BDA0002351692900000055
步骤三：首先将新数据集Dstd作为输入，对感知器MLP的网络进行第一次有监督训练，在Softmax输出层得到样本集Xstd属于其标签
Figure BDA0002351692900000056
的后验概率。该过程具体包括以下子步骤：
(3.1)构建感知器MLP的网络，所述感知器MLP的网络由依次连接的第一层隐层、BatchNormalization层、Dropout层、第二层隐层、BatchNormalization层、Dropout层和Softmax层组成。其中，第一层隐层和第二层隐层的权重矩阵和偏置向量分别为W1,b1,W2,b2,第二层隐层到Softmax层的权重矩阵和偏置向量分别为W3,b3，将这些网络参数表示为θ＝{W1,b1,W2,b2,W3,b3}。
(3.2)标准化后样本集Dstd作为输入，对感知器MLP的网络进行有监督训练，其中使用交叉熵损失函数：
Figure BDA0002351692900000057
其中，
Figure BDA0002351692900000058
是MLP网络的最后一层的表示。
损失函数通过反向传播算法(BP)对整个感知器MLP的网络进行参数调整，经过多次迭代损失收敛后，得到整个网络的参数，完成训练。
步骤四：将步骤三得到的后验概率作为高斯混合模型GMM的输入，并训练高斯混合模型，用训练完成后的高斯混合模型参数
Figure BDA0002351692900000059
来估计标签概率转移矩阵T，得到估计矩阵
Figure BDA00023516929000000510
一般标签概率转移矩阵是难于获得的，根据假设不准确标签的产生与输入独立，和MLP网络具有感知一致性，并利用高斯混合模型能对MLP网络第一次训练结果进行无监督学习，从而将高斯混合模型学习到的混合系数近似标签概率转移矩阵中的元素，具体包括以下步骤：
(4.1)不准确标签样本集的每类样本由标签准确的样本和标签错误的样本组成，作出以下假设：假设不准确标签的产生与输入独立，即某类样本标记成其他类别的概率相同。并且假设MLP网络具有感知一致性，即MLP网络对每个类别中标签准确的样本和标签错误的样本的特征表示分别服从高斯分布。
根据假设，可以得到：
Figure BDA0002351692900000061
Figure BDA0002351692900000062
Figure BDA0002351692900000063
Figure BDA0002351692900000064
其中，
Figure BDA0002351692900000065
是样本集Dstd的一个样本表示，y是该样本潜在的真实标签，p(·)表示概率，ei,i∈{1,2,…,K}表示在
Figure BDA0002351692900000066
空间上，第i个元素为1，其他元素为0的向量，θ表示MLP网络中所有的权重矩阵和偏置向量参数，μ,Σ分别表示高斯分布未知的均值向量和协方差矩阵，
Figure BDA0002351692900000067
和
Figure BDA0002351692900000068
分别表示所有样本和类别为i样本的高斯分布密度，T表示标签概率转移矩阵，并且定义
Figure BDA0002351692900000069
(4.2)对于不同类别样本子集
Figure BDA00023516929000000610
使用高斯混合模型建模：
Figure BDA00023516929000000611
Figure BDA00023516929000000612
其中，xi表示属于数据集
Figure BDA00023516929000000613
的样本数据，
Figure BDA00023516929000000614
表示
Figure BDA00023516929000000615
┐i表示除类别i外的其他类别。
(4.3)建立两组分的高斯混合模型，使用最大期望化(EM)算法完成高斯混合模型的参数估计，求解出
Figure BDA00023516929000000616
即
Figure BDA00023516929000000617
期望步(E步)时，计算Q函数：
Figure BDA0002351692900000071
其中t为迭代次数。
计算模型对于观测数据
Figure BDA0002351692900000072
的责任度
Figure BDA0002351692900000073
Figure BDA0002351692900000074
其中，
Figure BDA0002351692900000075
表示xi的第n个样本。
极大步(M步)时，估计高斯分布平均值μm和混合系数αm。
Figure BDA0002351692900000076
Figure BDA0002351692900000077
Figure BDA0002351692900000078
其中，Si表示
Figure BDA0002351692900000079
样本个数。
E步和M步交替迭代到模型参数收敛或者预设的最大迭代次数。求解出
Figure BDA00023516929000000710
即
Figure BDA00023516929000000711
(4.4)根据公式
Figure BDA00023516929000000712
求解得到混合系数
Figure BDA00023516929000000713
并用此来得到标签概率转移矩阵T的估计值
Figure BDA00023516929000000714
Figure BDA00023516929000000715
Figure BDA00023516929000000716
其中，
Figure BDA00023516929000000717
表示估计矩阵
Figure BDA00023516929000000718
的第i行第k列的元素。
步骤五：根据
Figure BDA0002351692900000081
来修正步骤三感知器MLP拟合不准确标签样本的损失函数，以步骤二得到的数据集Dstd作为输入，第二次有监督训练步骤三感知器MLP的网络，完成弱监督学习，得到训练好的WS-MLP网络。
第二次感知器MLP的网络训练使用修正损失函数为：
Figure BDA0002351692900000082
步骤六：收集新的未知故障类别的工业过程数据，按照步骤二的方法将过程数据标准化，得到数据集dstd,输入到步骤五训练好的WS-MLP网络，求取样本对应每个故障类别的后验概率，把后验概率最大的类别，作为该样本的类别，实现样本的故障分类。
为了评价该故障分类模型的分类效果，定义某类故障对应的分类F1指标，计算公式如下：
Figure BDA0002351692900000083
precision＝TP/(TP+FP)
recall＝TP/(TP+FN)
其中，TP为该类故障样本分类正确的样本数；FP为将其他类别样本误分为该类故障的样本数，FN为该类故障样本分类错误的样本数。
实施例
以下结合一个具体的TE过程的例子来说明基于弱监督学习的多层感知器的故障分类方法的性能。TE过程是故障诊断与故障分类领域常用的标准数据集，整个数据集包括53个过程变量，其工艺流程如图1所示。该流程由气液分离塔，连续搅拌式反应釜，分凝器，离心式压缩机，再沸器等5个操作单元组成。
选取TE过程中的9种故障，表1给出了选取的这9类故障的具体情况。
表1：TE过程故障列表
Figure BDA0002351692900000084
Figure BDA0002351692900000091
针对该过程，将22种过程测量变量和12种控制变量共34个变量作为建模变量，在9类故障工况数据上测试分类性能。
MLP网络由依次连接的第一层隐层、BatchNormalization层、Dropout层、第二层隐层、BatchNormalization层、Dropout层和Softmax层组成。MLP网络的的输入节点数为34，两个隐含层节点数分别为200,100，最后Softmax层节点数为9，BatchNormalization层的动量值均设为0.5，Dropout层节点丢失的比例均为0.5，使用初始学习率为0.001的Adam优化器，批次大小为110，迭代次数为30次。
在图2中，展示了MLP网络和基于弱监督学习多层感知器(WS-MLP)两种模型在F1指标下的分类效果对比，将两种网络的MLP隐层节点保持一致，通过调整输入样本的标签不准确率，分别设置了0％，10％，20％，30％，40％，50％比例的样本标签是标错，进行观察分类指标F1的变化情况。可以看出WS-MLP除了在样本标签是准确(即0％的样本标签标错)，在其他情形都是比MLP网络的分类效果好，验证了本方法中高斯混合模型估计标签概率转移矩阵及利用其进行MLP网络损失函数修正所带来的分类性能提升；同时可以看出，WS-MLP模型在标签准确的情况分类性能和MLP网络接近，说明WS-MLP不仅适用于不准确标签样本，也适合准确标签样本的故障分类中。

Claims (4)

1.一种基于弱监督学习的多层感知器的过程数据故障分类方法，其特征在于，所述基于弱监督学习的多层感知器包括：两层感知器MLP、Softmax输出层和高斯混合模型GMM。所述过程数据故障分类方法具体包括如下步骤：
步骤一：收集历史工业过程中含有不准确标签的样本作为训练数据集
Figure FDA0002351692890000011
其中,
Figure FDA0002351692890000012
为不准确标签数据样本，
Figure FDA0002351692890000013
为该样本的标签，
Figure FDA0002351692890000014
N表示训练数据集的样本个数,K为样本类别数。
步骤二：将步骤一中收集到的训练数据集D标准化，即将有标签样本集X每个变量映射为均值为0，方差为1的样本集Xstd，并通过one-hot编码将标签集Y每个样本标签转化为一维向量，得到标准化数据集
Figure FDA0002351692890000015
步骤三：首先将新数据集Dstd作为输入，对感知器MLP的网络进行第一次有监督训练，在Softmax输出层得到样本集Xstd属于其标签
Figure FDA0002351692890000016
的后验概率。
步骤四：将步骤三得到的后验概率作为高斯混合模型GMM的输入，并训练高斯混合模型，用训练完成后的高斯混合模型参数
Figure FDA0002351692890000017
Figure FDA0002351692890000018
来估计标签概率转移矩阵T，得到估计矩阵
Figure FDA0002351692890000019
步骤五：根据
Figure FDA00023516928900000110
来修正步骤三感知器MLP拟合不准确标签样本的损失函数，以步骤二得到的数据集Dstd作为输入，第二次有监督训练步骤三感知器MLP，完成弱监督学习，得到训练好的WS-MLP网络；
步骤六：收集新的未知故障类别的工业过程数据，按照步骤二的方法将过程数据标准化，得到数据集dstd,输入到步骤五训练好的WS-MLP网络，求取样本对应每个故障类别的后验概率，把后验概率最大的类别，作为该样本的类别，实现样本的故障分类。
2.根据权利要求1所述故障分类方法，其特征在于，步骤三具体包括如下步骤：
(3.1)构建感知器MLP的网络，所述感知器MLP的网络由依次连接的第一层隐层、BatchNormalization层、Dropout层、第二层隐层、BatchNormalization层、Dropout层和Softmax层组成。其中，第一层隐层和第二层隐层的权重矩阵和偏置向量分别为W1,b1,W2,b2,第二层隐层到Softmax层的权重矩阵和偏置向量分别为W3,b3，将这些网络参数表示为θ＝{W1,b1,W2,b2,W3,b3}。
(3.2)标准化后样本集Dstd作为输入，对感知器MLP的网络进行有监督训练，其中使用交叉熵损失函数：
Figure FDA0002351692890000021
其中，
Figure FDA0002351692890000022
是MLP网络的最后一层的表示。
损失函数通过反向传播算法(BP)对整个感知器MLP的网络进行参数调整，经过多次迭代损失收敛后，得到整个网络的参数，完成训练。
3.根据权利要求1所述的故障分类方法，其特征在于，步骤四具体包括如下步骤：
(4.1)不准确标签样本集的每类样本由标签准确的样本和标签错误的样本组成，作出以下假设：假设不准确标签的产生与输入独立，即某类样本标记成其他类别的概率相同。并且假设MLP网络具有感知一致性，即MLP网络对每个类别中标签准确的样本和标签错误的样本的特征表示分别服从高斯分布。
根据假设，可以得到：
Figure FDA0002351692890000023
Figure FDA0002351692890000024
Figure FDA0002351692890000025
Figure FDA0002351692890000026
其中，
Figure FDA00023516928900000213
是样本集Dstd的一个样本表示，y是该样本潜在的真实标签，p(·)表示概率，ei,i∈{1,2,L,K}表示在
Figure FDA0002351692890000027
空间上，第i个元素为1，其他元素为0的向量，θ表示MLP网络中所有的权重矩阵和偏置向量参数，μ,Σ分别表示高斯分布未知的均值向量和协方差矩阵，
Figure FDA0002351692890000028
和
Figure FDA0002351692890000029
分别表示所有样本和类别为i样本的高斯分布密度，T表示标签概率转移矩阵，并且定义
Figure FDA00023516928900000210
(4.2)对于不同类别样本子集
Figure FDA00023516928900000211
使用高斯混合模型建模：
Figure FDA00023516928900000212
Figure FDA0002351692890000031
其中，xi表示属于数据集
Figure FDA0002351692890000038
的样本数据，
Figure FDA0002351692890000039
表示
Figure FDA00023516928900000310
Figure FDA00023516928900000311
表示除类别i外的其他类别。
(4.3)建立两组分的高斯混合模型，使用最大期望化(EM)算法完成高斯混合模型的参数估计，求解出
Figure FDA00023516928900000312
即
Figure FDA00023516928900000313
期望步(E步)时，计算Q函数：
Figure FDA0002351692890000032
其中t为迭代次数。
计算模型对于观测数据
Figure FDA00023516928900000314
的责任度
Figure FDA00023516928900000315
Figure FDA0002351692890000033
其中，
Figure FDA00023516928900000316
表示xi的第n个样本。
极大步(M步)时，估计高斯分布平均值μm和混合系数αm。
Figure FDA0002351692890000034
Figure FDA0002351692890000035
Figure FDA0002351692890000036
其中，Si表示
Figure FDA00023516928900000317
样本个数。
E步和M步交替迭代到模型参数收敛或者预设的最大迭代次数。求解出
Figure FDA00023516928900000320
即
Figure FDA00023516928900000321
(4.4)根据公式
Figure FDA0002351692890000037
求解得到混合系数
Figure FDA00023516928900000319
并用此来得到标签概率转移矩阵T的估计值
Figure FDA00023516928900000318
Figure FDA0002351692890000041
Figure FDA0002351692890000042
其中，
Figure FDA0002351692890000044
表示估计矩阵
Figure FDA0002351692890000045
的第i行第k列的元素。
4.根据权利要求1所述的故障分类方法，其特征在于，步骤五中，感知器MLP的网络第二次训练使用修正损失函数为：
Figure FDA0002351692890000043
CN201911418196.5A 2019-12-31 2019-12-31 一种基于弱监督学习多层感知器的故障分类方法 Active CN111191726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911418196.5A CN111191726B (zh) 2019-12-31 2019-12-31 一种基于弱监督学习多层感知器的故障分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911418196.5A CN111191726B (zh) 2019-12-31 2019-12-31 一种基于弱监督学习多层感知器的故障分类方法

Publications (2)

Publication Number Publication Date
CN111191726A true CN111191726A (zh) 2020-05-22
CN111191726B CN111191726B (zh) 2023-07-21

Family

ID=70709761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911418196.5A Active CN111191726B (zh) 2019-12-31 2019-12-31 一种基于弱监督学习多层感知器的故障分类方法

Country Status (1)

Country Link
CN (1) CN111191726B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814962A (zh) * 2020-07-09 2020-10-23 平安科技（深圳）有限公司 识别模型的参数获取方法、装置、电子设备及存储介质
CN112989971A (zh) * 2021-03-01 2021-06-18 武汉中旗生物医疗电子有限公司 一种不同数据源的心电数据融合方法及装置
CN114925196A (zh) * 2022-03-01 2022-08-19 健康云(上海)数字科技有限公司 多层感知网络下糖尿病血检异常值辅助剔除方法
CN116090872A (zh) * 2022-12-07 2023-05-09 湖北华中电力科技开发有限责任公司 一种配电台区健康状态评价方法
CN117347788A (zh) * 2023-10-17 2024-01-05 国网四川省电力公司电力科学研究院 一种配电网单相接地故障类别概率预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875771A (zh) * 2018-03-30 2018-11-23 浙江大学 一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法
WO2019048324A1 (en) * 2017-09-07 2019-03-14 Nokia Solutions And Networks Oy METHOD AND DEVICE FOR MONITORING A TELECOMMUNICATION NETWORK
CN110472665A (zh) * 2019-07-17 2019-11-19 新华三大数据技术有限公司 模型训练方法、文本分类方法及相关装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019048324A1 (en) * 2017-09-07 2019-03-14 Nokia Solutions And Networks Oy METHOD AND DEVICE FOR MONITORING A TELECOMMUNICATION NETWORK
CN108875771A (zh) * 2018-03-30 2018-11-23 浙江大学 一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法
CN110472665A (zh) * 2019-07-17 2019-11-19 新华三大数据技术有限公司 模型训练方法、文本分类方法及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VAHID GOLMAH，ET AL: "Developing A Fault Diagnosis Approach Based On Artificial Neural Network And Self Organization Map For Occurred ADSL Faults" *
肖涵: "基于高斯混合模型与子空间技术的故障识别研究" *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814962A (zh) * 2020-07-09 2020-10-23 平安科技（深圳）有限公司 识别模型的参数获取方法、装置、电子设备及存储介质
WO2021151345A1 (zh) * 2020-07-09 2021-08-05 平安科技（深圳）有限公司 识别模型的参数获取方法、装置、电子设备及存储介质
CN111814962B (zh) * 2020-07-09 2024-05-10 平安科技（深圳）有限公司 识别模型的参数获取方法、装置、电子设备及存储介质
CN112989971A (zh) * 2021-03-01 2021-06-18 武汉中旗生物医疗电子有限公司 一种不同数据源的心电数据融合方法及装置
CN112989971B (zh) * 2021-03-01 2024-03-22 武汉中旗生物医疗电子有限公司 一种不同数据源的心电数据融合方法及装置
CN114925196A (zh) * 2022-03-01 2022-08-19 健康云(上海)数字科技有限公司 多层感知网络下糖尿病血检异常值辅助剔除方法
CN114925196B (zh) * 2022-03-01 2024-05-21 健康云(上海)数字科技有限公司 多层感知网络下糖尿病血检异常值辅助剔除方法
CN116090872A (zh) * 2022-12-07 2023-05-09 湖北华中电力科技开发有限责任公司 一种配电台区健康状态评价方法
CN117347788A (zh) * 2023-10-17 2024-01-05 国网四川省电力公司电力科学研究院 一种配电网单相接地故障类别概率预测方法
CN117347788B (zh) * 2023-10-17 2024-06-11 国网四川省电力公司电力科学研究院 一种配电网单相接地故障类别概率预测方法

Also Published As

Publication number Publication date
CN111191726B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN111079836B (zh) 基于伪标签方法和弱监督学习的过程数据故障分类方法
CN111191726B (zh) 一种基于弱监督学习多层感知器的故障分类方法
CN106355030B (zh) 一种基于层次分析法和加权投票决策融合的故障检测方法
CN107274020B (zh) 一种基于协同过滤思想的学习者学科总测成绩预测***及方法
CN112200104B (zh) 一种基于增强主成分分析新型贝叶斯框架的化工故障诊断方法
CN108875772B (zh) 一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型及方法
CN112085252B (zh) 一种关于集合类型决策效果的反事实预测方法
CN106845526B (zh) 一种基于大数据融合聚类分析的关联参数故障分类方法
CN106897774B (zh) 基于蒙特卡洛交叉验证的多个软测量算法集群建模方法
CN111046961B (zh) 基于双向长短时记忆单元和胶囊网络的故障分类方法
CN108875771A (zh) 一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法
CN108090515B (zh) 一种基于数据融合的环境等级评估方法
CN111343147B (zh) 一种基于深度学习的网络攻击检测装置及方法
CN111768000A (zh) 在线自适应微调深度学习的工业过程数据建模方法
CN110880369A (zh) 基于径向基函数神经网络的气体标志物检测方法及应用
CN110352389A (zh) 信息处理装置及信息处理方法
CN109240276B (zh) 基于故障敏感主元选择的多块pca故障监测方法
CN112116002A (zh) 一种检测模型的确定方法、验证方法和装置
CN111950195B (zh) 一种基于画像***与深度回归模型的工程进度预测方法
CN115757103A (zh) 基于树结构的神经网络测试用例生成方法
CN113283288A (zh) 基于lstm-cnn的核电站蒸发器涡流信号类型识别方法
CN115096627A (zh) 一种液压成形智能装备制造过程故障诊断与运维方法及***
CN112149884A (zh) 一种面向大规模学员的学业预警监测方法
CN116930042A (zh) 建筑防水材料性能检测设备及方法
CN110717602A (zh) 一种基于噪音数据的机器学习模型鲁棒性评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant