CN113591954A - 一种工业***中缺失的时序数据的填充方法 - Google Patents

一种工业***中缺失的时序数据的填充方法 Download PDF

Info

Publication number
CN113591954A
CN113591954A CN202110818499.7A CN202110818499A CN113591954A CN 113591954 A CN113591954 A CN 113591954A CN 202110818499 A CN202110818499 A CN 202110818499A CN 113591954 A CN113591954 A CN 113591954A
Authority
CN
China
Prior art keywords
data
missing
generator
original
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110818499.7A
Other languages
English (en)
Other versions
CN113591954B (zh
Inventor
戴运桃
梁源
彭立章
王淑娟
曾占魁
沈继红
谭思超
赵富龙
关昊夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202110818499.7A priority Critical patent/CN113591954B/zh
Publication of CN113591954A publication Critical patent/CN113591954A/zh
Application granted granted Critical
Publication of CN113591954B publication Critical patent/CN113591954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种工业***中缺失的时序数据的填充方法，包括步骤一：数据预处理；步骤二：针对缺失的多元时序数据，以边界平衡生成对抗网络BEGAN模型为基础，构建生成对抗网络模型BiGRU‑BEGAN；步骤三：训练BiGRU‑BEGAN网络模型；步骤四：用训练好的BiGRU‑BEGAN模型生成完整的人工数据并填充原始缺失数据。本发明通过生成对抗网络与双向循环神经网络结合的模型，最大化利用真实存在的数据信息，生成符合原始缺失数据特征分布规律的完整人工数据，再将缺失数据填充完整。利用填充好的完整数据进行后续的故障分类任务，增加缺失数据的分类准确率。

Description

一种工业***中缺失的时序数据的填充方法
技术领域
本发明属于缺失数据填补领域，涉及一种工业***中缺失的时序数据的填充方法，特别是基于生成对抗网络和双向循环神经网络的算法。
背景技术
在复杂的大型工业***中，***装置失效和各类故障工况是无法完全避免的。在运行过程中，需要通过观察仪表参数对运行状态进行监测，判断各类瞬态工况。有效的***故障诊断技术，能够帮助操作员实时地掌握运行工况，及时发现仪器故障，做出有效应对，从而提高***运行的安全性。
在工业***历史数据的提取过程中，部分测量仪器获取的数据存在缺失的情况，对后续的故障诊断任务可能会有影响。尤其是缺失时间较长，缺失的数据量较多时，会带来较大的诊断误差。因此，在进行故障诊断之前，建立一个针对多元时序缺失数据的填充模型是很有必要的。基于国内外的研究现状，现在已有的缺失值填充方法主要是考虑一些特定的数据缺失类型，并且少有考虑数据的时序信息，而在工业***中，获取到的通常是数据类型众多的时序数据。因此考虑到在工业***中监测到的数据的缺失值所产生的复杂影响因素和时序性，对现有的生成对抗网络模型进行了改进，并结合双向循环神经网络，充分利用数据缺失位置的前后信息，建立针对缺失的时序数据的填充模型。
发明内容
针对上述现有技术，本发明要解决的技术问题是提供一种工业***中缺失的时序数据的填充方法，解决工业***故障诊断中多元时序数据的缺失问题。
为解决上述技术问题，本发明的一种工业***中缺失的时序数据的填充方法，包括以下步骤：
步骤一：数据预处理：获取工业***历史运行过程中的完整数据作为故障诊断的原始数据集X，X中有n种类型的故障数据，对完整数据进行随机丢失处理，即规定丢失事件发生的可能性概率为p0，则不发生的概率为1-p0；
步骤二：针对缺失的多元时序数据，以边界平衡生成对抗网络BEGAN模型为基础，构建生成对抗网络模型BiGRU-BEGAN，包括判别器D和生成器G，所述判别器D是一个自编码器模型，包括Encoder表示编码器和Decoder表示解码器，所述生成器G采用双向循环神经网络BiGRU，BiGRU网络模型分为前向循环神经网络层和后向循环神经网络层，每一次训练序列向前和向后分别是两个门控循环神经网络，网络中的隐状态均取决于前一时刻的隐状态和输入值，而且这两个神经网络都连接着一个输出层；
步骤三：训练BiGRU-BEGAN网络模型；
步骤四：用训练好的BiGRU-BEGAN模型生成完整的人工数据并填充原始缺失数据：在训练好的模型中输入从原始缺失数据提取的特征向量z|t，生成完整的时序数据，再将生成的数据插补至原始缺失数据的对应缺失位置。
本发明还包括：
1.步骤三所述训练BiGRU-BEGAN网络模型具体为：
S3.1：参数设置：设定训练数据的批次batchsize、迭代次数epoch和超参数学习率α，Loss1损失函数系数θ，更新的学习率λ以及生成数据的重构损失权值系数kt；
S3.2：训练判别器D：提取原始缺失数据的特征z|t作为生成器输入的低维向量，通过生成器生成数据G(z|t)，再将原始缺失数据x|t以及生成数据G(z|t)作为判别器的输入，计算判别器的损失函数LD＝L(x|t)-ktL(G(z|t))，根据Adam优化算法更新判别器的权重参数：
dw←▽w[L(x|t)-ktL(G(z|t))]
wd←wd-α*Adam(wd,dw)
kt+1←kt+λ(rL(x|t)-L(G(z|t)))
kt＝min(max(k,0),1)
其中，kt是生成数据重构损失的权重系数，λ为kt更新的学习率；x|t表示原始缺失数据，G(z|t)表示生成数据；L(x|t)、L(G(z|t))分别表示原始数据和生成数据的重构损失，wd表示判别器的权重参数，dw是对判别器的参数wd所求的梯度；
S3.3：训练生成器G：将由原始数据特征生成的低维向量z|t作为生成器的输入，生成数据G(z|t)，计算生成器的损失函数LG＝L(G(z|t))+θLoss1，根据Adam优化算法去更新生成器的权重参数：
gw←▽w[L(G(z|t))+θLoss1]
wg←wg-α*Adam(wg,gw)
其中L(G(z|t))表示生成数据的重构损失，θ为权值系数，wg表示生成器的权重参数，gw表示对生成器的参数所求的梯度。Loss1表示真实数据和生成数据之间的L1范数，其数学表达式为：
Loss1＝||G(z|t)-x|t||1
S3.4：交替训练判别器和生成器，至Mgloable损失函数值趋于稳定不再下降，Mgloable损失函数如下：
Mgloable＝L(x|t)+||rL(x|t)-L(G(z|t))||1
其中，r表示多样性比率，用于调节生成器和判别器之间的平衡，公式如下：
Figure BDA0003171124030000031
当E(L(x|t))＝E(L(G(z|t)))时，则判别器和生成器达到平衡。
2.步骤二所述门控循环神经网络包括更新门和重置门，更新门zt定义了前面记忆的信息保存到当前时刻的量，控制当前时刻的输出状态ht中要保留多少历史状态ht-1，以及保留多少当前时刻的候选状态
Figure BDA0003171124030000032
重置门rt决定当前t时刻的候选状态
Figure BDA0003171124030000033
是否需要依赖上一时刻的网络状态ht-1以及依赖程度，其更新公式为：
Figure BDA0003171124030000034
Figure BDA0003171124030000035
zt＝σ(Wzxt+Uzht-1+bz)
rt＝σ(Wrxt+Urht-1+br)
其中，
Figure BDA0003171124030000036
是当前候选状态信息，xt为当前时刻的输入，ht是当前隐含状态信息，ht-1是上一时刻的隐含状态信息，zt表示更新门，rt表示重置门，Wr,Ur,br是重置门的权重和偏置参数，Wz,Uz,bz是更新门的权重和偏置参数，Wc,Uc,bc是更新当前候选状态信息的权重和偏置参数，σ是sigmoid函数，在更新记忆单元时使用了tanh函数，具体函数公式为：
Figure BDA0003171124030000037
本发明的有益效果：与现有技术相比，本发明针对工业故障诊断中多元时序数据的缺失情况，采用生成对抗网络与双向循环神经网络结合的形式，建立BiGRU-BEGAN模型，生成完整的人工数据，并将原始缺失数据填充完整。优势在于：(1)模型包括编码器和解码器，其中编码器对缺失的原始数据进行特征提取，提取的特征向量作为生成数据时的输入，省去寻找合适的低维向量的步骤。(2)生成时序数据时，使用双向循环神经网络BiGRU，在对时序数据进行处理时，既能够考虑当前输出和前一时刻信息之间的关系，又能同时考虑与后一时刻信息之间的关系，其生成效果及后续分类任务中的表现优于门控神经网络GRU。(3)在损失函数中加入了原始缺失数据与生成数据之间的L1范数，能够有效地使得生成数据在数值距离和分布趋势上均能逼近原始数据，生成的完整人工数据更符合我们的预期。
附图说明
图1为本发明BiGRU-BEGAN生成对抗网络框架结构图；
图2为边界平衡生成对抗网络BEGAN中自编码器模型示意图；
图3为双向循环神经网络BiGRU按时间展开的示意图；
图4为本发明缺失时序数据填充及故障诊断模型结构图；
图5(a)为生成器分别使用GRU网络和BiGRU网络填充的数据在均值上与原始数据的对比；
图5(b)为生成器分别使用GRU网络和BiGRU网络填充的数据在方差上与原始数据的对比；
图6为生成器分别使用GRU网络和BiGRU网络填充的数据与原始数据之间的MRE对比；
图7为本发明数据填充后的数据集与原始完整数据集分别迭代2500次的训练集分类准确率对比；
图8为本发明数据填充后的数据集与原始完整数据集分别迭代2500次的验证集分类准确率对比。
具体实施方式
下面结合说明书附图和具体实施方式对本发明做进一步说明。
本发明通过生成对抗网络与双向循环神经网络结合的模型，最大化利用真实存在的数据信息，生成符合原始缺失数据特征分布规律的完整人工数据，再将缺失数据填充完整。利用填充好的完整数据进行后续的故障分类任务，增加缺失数据的分类准确率。
本发明是这样实现的：
步骤一：数据预处理。获取工业***历史运行过程中的完整数据作为故障诊断的原始数据集X，X中有n种类型的故障数据，利用算法对完整数据进行随机丢失处理，即规定丢失事件发生的可能性概率为p0，则不发生的概率为1-p0。
步骤二：针对缺失的多元时序数据，以边界平衡生成对抗网络BEGAN模型为基础，构建生成对抗网络模型BiGRU-BEGAN，其网络结构见图1。BiGRU-BEGAN模型的主要框架是边界平衡生成对抗网络BEGAN，包括判别器D和生成器G两部分，其中判别器D是一个自编码器模型。如图2所示，其中Encoder表示编码器，Decoder表示解码器，本质上是一个映射过程。边界平衡生成对抗网络BEGAN以自编码模型为判别器计算真实数据与生成数据重构损失之间的误差，若真实数据与生成数据的重构损失相近则表示真实数据和生成数据分布相近，通过Wasserstein距离去优化真实数据和生成数据的pixel-wise损失之间距离的下界来训练模型。生成器G由双向循环神经网络(Bi-directional Gated Recurrent Units，BiGRU)构成，双向循环神经网络BiGRU分为前向循环神经网络层和后向循环神经网络层，该网络的基本思想是每一次训练序列向前和向后分别是两个门控循环神经网络(GRU)，网络中的隐状态均取决于前一时刻的隐状态和输入值，而且这两个神经网络都连接着一个输出层，图3展示了双向循环神经网络按时间步展开的示意图。
双向循环神经网络BiGRU模型中的门控循环神经网络(GRU)由更新门(updategate)和重置门(reset gate)组成，更新门zt定义了前面记忆的信息保存到当前时刻的量，控制当前时刻的输出状态ht中要保留多少历史状态ht-1，以及保留多少当前时刻的候选状态
Figure BDA0003171124030000051
重置门rt决定了如何将新的输入信息与前面的记忆信息相结合，其作用是决定当前t时刻的候选状态
Figure BDA0003171124030000052
是否需要依赖上一时刻的网络状态ht-1以及需要依赖多少，rt的值决定了候选状态
Figure BDA0003171124030000053
对上一时刻的状态ht-1的依赖程度。其更新公式为
Figure BDA0003171124030000054
Figure BDA0003171124030000055
zt＝σ(Wzxt+Uzht-1+bz)
rt＝σ(Wrxt+Urht-1+br)
其中，
Figure BDA0003171124030000056
是当前候选状态信息，xt为当前时刻的输入，ht是当前隐含状态信息，ht-1是上一时刻的隐含状态信息，zt表示更新门，rt表示重置门，Wr,Ur,br是重置门的权重和偏置参数，Wz,Uz,bz是更新门的权重和偏置参数。Wc,Uc,bc是更新当前候选状态信息的权重和偏置参数，σ是sigmoid函数。这里为了克服梯度消失问题，在更新记忆单元时使用了tanh函数，具体函数公式为
Figure BDA0003171124030000061
步骤三：训练BiGRU-BEGAN网络模型，步骤如下：
(1)参数设置。设定训练数据的批次batchsize、迭代次数epoch和超参数学习率α，Loss1损失函数系数θ，更新的学习率λ以及生成数据的重构损失权值系数kt。
(2)训练判别器D。提取原始缺失数据的特征z|t作为生成器输入的低维向量，通过生成器生成数据G(z|t)，再将原始缺失数据x|t以及生成数据G(z|t)作为判别器的输入，计算判别器的损失函数LD＝L(x|t)-ktL(G(z|t))，根据Adam优化算法更新判别器的权重参数：
Figure BDA0003171124030000062
wd←wd-α*Adam(wd,dw)
kt+1←kt+λ(rL(x|t)-L(G(z|t)))
kt＝min(max(k,0),1)
其中，kt是生成数据重构损失的权重系数，λ为kt更新的学习率；x|t表示原始缺失数据，G(z|t)表示生成数据；L(x|t)、L(G(z|t))分别表示原始数据和生成数据的重构损失。wd表示判别器的权重参数，dw是对判别器的参数wd所求的梯度。
(3)训练生成器G。将由原始数据特征生成的低维向量z|t作为生成器的输入，生成数据G(z|t)，计算生成器的损失函数LG＝L(G(z|t))+θLoss1，并根据Adam优化算法去更新生成器的权重参数：
Figure BDA0003171124030000063
wg←wg-α*Adam(wg,gw)
其中L(G(z|t))表示生成数据的重构损失，θ为权值系数，wg表示生成器的权重参数，gw表示对生成器的参数所求的梯度。Loss1表示真实数据和生成数据之间的L1范数，其数学表达式为
Loss1＝||G(z|t)-x|t||1
(4)交替训练判别器和生成器，至Mgloable损失函数值趋于稳定不再下降，Mgloable损失函数如下：
Mgloable＝L(x|t)+||rL(x|t)-L(G(z|t))||1
其中，r表示多样性比率，用于调节生成器和判别器之间的平衡，公式如下：
Figure BDA0003171124030000071
当E(L(x|t))＝E(L(G(z|t)))时，则判别器和生成器达到平衡。
步骤四：用训练好的BiGRU-BEGAN模型生成完整的人工数据并填充原始缺失数据。在训练好的模型中输入从原始缺失数据提取的特征向量z|t，生成完整的时序数据，再将生成的数据插补至原始缺失数据的对应缺失位置。
下面结合具体参数给出具体实施例：
本发明基于边界平衡生成对抗网络BEGAN，充分考虑时间序列数据的上下时刻信息，提出一种结合边界平衡生成对抗网络和双向循环神经网络的模型BiGRU-BEGAN，整体结构如图1所示。边界平衡生成对抗网络BEGAN所使用的判别器D是一个自编码器模型，如图2所示。基于自编码器可对数据特征进行提取的特点，将原始缺失数据x|t输入编码器，输出的真实数据特征p作为隐含向量引至生成器的输入，指导变量z|t的分布(Fc)能够逼近真实数据的分布，从而使得生成数据的分布趋势接近真实数据。生成器G使用双向循环神经网络BiGRU，图3展示的是一个沿着时间展开的双向循环神经网络。在损失函数上，将原始缺失数据和生成数据之间的L1范数作为生成器的损失函数的一部分，目的是为了让生成数据在数值上和整体分布趋势上逼近原始数据。最后利用端到端的BiGRU-BEGAN模型去训练缺失数据，得到生成的完整人工数据，对原始缺失数据进行填充，再用填充完整的数据进行分类任务，与原始完整数据集的分类效果进行对比，图4为本发明中针对缺失的时序数据填充及故障诊断的模型结构。
本发明的一种针对工业故障诊断时序数据缺失的填充方法，包括以下步骤：
步骤一：数据预处理。获取工业***运行过程中的完整数据作为故障诊断的原始数据集X，X中有6种数据类型，取其中Fault1数据集做缺失处理，利用算法对原始完整的Fault1数据进行随机丢失处理，即规定丢失事件发生的可能性概率为p0，则不发生的概率为1-p0(本次随机丢失设定p0＝50％)。为了充分考虑到长时缺失的情况，在这里手动去除三组分别为连续5s、连续10s、连续15s长度的数据，和一组五行五列、一组十行十列的数据，缺失的部分用0来占位，得到所需训练数据集；
步骤二：针对缺失的多元时序数据，以边界平衡生成对抗网络BEGAN模型为基础，构建BiGRU-BEGAN模型，边界平衡生成对抗网络BEGAN包括判别器D和生成器G，判别器D是一个自编码器模型，生成器使用双向循环神经网络(Bi-directional Gated RecurrentUnits，BiGRU)，BiGRU网络模型由全连接层和GRU网络层组成。根据输入的数据设置GRU网络层的input_size，即输入数据的特征值的数目，hidden_size，即隐藏层的特征数量，和num_layers，即循环神经网络的层数，设置为1。设置GRU网络中Bidirectional为True，即为本发明所使用的双向循环神经网络BiGRU。
步骤三：训练BiGRU-BEGAN网络模型，步骤如下：
(1)参数设置。设定训练数据的路径，训练批次batchsize(120)、迭代次数epoch(50000)和超参数学习率α(0.0001)，Loss1损失函数系数θ(1)，更新的学习率λ(0.001)以及生成数据的重构损失权值系数kt(初始值为0)。训练时对输入的数据采用批归一化处理。
(2)训练判别器。提取原始缺失数据的低维特征向量z|t输入生成器，通过生成器生成数据G(z|t)，再将原始缺失数据x以及生成数据G(z|t)作为判别器的输入，计算判别器的损失函数LD＝L(x|t)-ktL(G(z|t))，根据Adam优化算法更新判别器的权重参数：
Figure BDA0003171124030000081
wd←wd-α*Adam(wd,dw)
kt+1←kt+λ(rL(x|t)-L(G(z|t)))
kt＝min(max(k,0),1)
其中，kt是生成数据重构损失的权重系数，λ为kt更新的学习率，x表示原始缺失数据，G(z|t)表示生成数据，L(x|t)、L(G(z|t))分别表示原始数据和生成数据的重构损失。wd表示判别器的权重参数，dw是对判别器的参数wd所求的梯度。
(3)训练生成器G。将由原始数据特征生成的低维向量z|t作为生成器的输入，生成数据G(z|t)，计算生成器的损失函数LG＝L(G(z|t))+θLoss1，并根据Adam优化算法去更新生成器的权重参数：
Figure BDA0003171124030000082
wg←wg-α*Adam(wg,gw)
其中L(G(z|t))表示生成数据的重构损失，θ为权值系数，wg表示生成器的权重参数，gw表示对生成器的参数gw所求的梯度。Loss1表示真实数据和生成数据之间的L1范数，其数学表达式为
Loss1＝||G(z|t)-x|t||1
(4)交替训练判别器和生成器，至Mgloable损失函数值趋于稳定不再下降，Mgloable损失函数如下：
Mgloable＝L(x|t)+||rL(x|t)-L(G(z|t))||1
其中，r表示多样性比率，用于调节生成器和判别器之间的平衡，公式如下：
Figure BDA0003171124030000091
当E(L(x|t))＝E(L(G(z|t)))时，则判别器和生成器达到平衡。
步骤四：用训练好的BiGRU-BEGAN模型生成完整数据并将原始缺失数据填充完整。在训练好的模型中输入从原始缺失数据提取的特征向量z|t，生成完整的人工时序数据，再将生成的完整数据在原始数据的对应缺失位置填充进去，根据填充后的数据集建立1D/2D-CNN故障诊断模型，观察分类效果。
核电站热工水力***故障诊断实验结果分析：
结合具体参数实施例，数据来自核电站热工水力***故障诊断的仿真数据集，如表1所示，包含5种故障状态的时序工况数据集和一个正常状态数据集，我们以Fault1数据集作为填充实验数据集，根据构建的BEGAN-BiGRU网络模型及训练方式进行训练。图5(a)和图5(b)展示了生成器分别使用BiGRU网络和GRU网络对原始缺失数据进行填充后的数据均值、方差与原始完整数据的对比，图6展示了生成器分别使用BiGRU网络和GRU网络对原始缺失数据进行填充后与原始完整数据之间的MRE(平均相对误差)对比，MRE的计算公式如下
Figure BDA0003171124030000092
其中x'为生成数据，x为原始数据。表2展示了生成器分别使用BiGRU网络和GRU网络插补后的数据与原始数据的测试集分类准确率。从上述的指标中可以看出，本发明所填充的数据在均值、方差上非常接近原始数据，并且使用BiGRU网络作为生成器填充的数据与原始数据之间的MRE值更小，反映出填充后的数据与原始数据之间的误差更小。综上，本发明所构建的BiGRU-BEGAN模型对于时序数据的生成和填充在数据质量上效果较好。
基于BiGRU-BEGAN模型填充后的Fault1数据，将其替换入原始数据集中进行六分类任务，观察故障分类准确率。表3为分类过程所使用的训练集、测试集和验证集的数据样本数量，图7和图8分别是迭代2500次时，使用原始完整数据和将Fault1数据替换为使用本发明所填充数据在进行六分类时的训练集和验证集分类准确率的对比图，其中点虚线代表原始完整数据的分类准确率，实线代表使用该模型填充数据的分类准确率。从图可看出分类准确率在迭代2500次时趋于稳定，并且插补数据的分类准确率十分接近原始数据的分类准确率，说明在本例中数据缺失率为50％且有长时缺失的情况下，使用该模型填充的数据分类准确率与原始完整数据的分类准确率十分接近，可以使用本方法填充的数据进行故障分类任务。
表1核电站数据类型及数据样本数量
Figure BDA0003171124030000101
表2测试集分类准确率对比
Figure BDA0003171124030000102
表3数据样本数量
Figure BDA0003171124030000103

Claims (3)

1.一种工业***中缺失的时序数据的填充方法，其特征在于，包括以下步骤：
步骤一：数据预处理：获取工业***历史运行过程中的完整数据作为故障诊断的原始数据集X，X中有n种类型的故障数据，对完整数据进行随机丢失处理，即规定丢失事件发生的可能性概率为p0，则不发生的概率为1-p0；
步骤二：针对缺失的多元时序数据，以边界平衡生成对抗网络BEGAN模型为基础，构建生成对抗网络模型BiGRU-BEGAN，包括判别器D和生成器G，所述判别器D是一个自编码器模型，包括Encoder表示编码器和Decoder表示解码器，所述生成器G采用双向循环神经网络BiGRU，BiGRU网络模型分为前向循环神经网络层和后向循环神经网络层，每一次训练序列向前和向后分别是两个门控循环神经网络，网络中的隐状态均取决于前一时刻的隐状态和输入值，而且这两个神经网络都连接着一个输出层；
步骤三：训练BiGRU-BEGAN网络模型；
步骤四：用训练好的BiGRU-BEGAN模型生成完整的人工数据并填充原始缺失数据：在训练好的模型中输入从原始缺失数据提取的特征向量z|t，生成完整的时序数据，再将生成的数据插补至原始缺失数据的对应缺失位置。
2.根据权利要求1所述的一种工业***中缺失的时序数据的填充方法，其特征在于：步骤三所述训练BiGRU-BEGAN网络模型具体为：
S3.1：参数设置：设定训练数据的批次batchsize、迭代次数epoch和超参数学习率α，Loss1损失函数系数θ，更新的学习率λ以及生成数据的重构损失权值系数kt；
S3.2：训练判别器D：提取原始缺失数据的特征z|t作为生成器输入的低维向量，通过生成器生成数据G(z|t)，再将原始缺失数据x|t以及生成数据G(z|t)作为判别器的输入，计算判别器的损失函数LD＝L(x|t)-ktL(G(z|t))，根据Adam优化算法更新判别器的权重参数：
Figure FDA0003171124020000011
wd←wd-α*Adam(wd,dw)
kt+1←kt+λ(rL(x|t)-L(G(z|t)))
kt＝min(max(k,0),1)
其中，kt是生成数据重构损失的权重系数，λ为kt更新的学习率；x|t表示原始缺失数据，G(z|t)表示生成数据；L(x|t)、L(G(z|t))分别表示原始数据和生成数据的重构损失，wd表示判别器的权重参数，dw是对判别器的参数wd所求的梯度；
S3.3：训练生成器G：将由原始数据特征生成的低维向量z|t作为生成器的输入，生成数据G(z|t)，计算生成器的损失函数LG＝L(G(z|t))+θLoss1，根据Adam优化算法去更新生成器的权重参数：
Figure FDA0003171124020000021
wg←wg-α*Adam(wg,gw)
其中L(G(z|t))表示生成数据的重构损失，θ为权值系数，wg表示生成器的权重参数，gw表示对生成器的参数所求的梯度。Loss1表示真实数据和生成数据之间的L1范数，其数学表达式为：
Loss1＝||G(z|t)-x|t||1
S3.4：交替训练判别器和生成器，至Mgloable损失函数值趋于稳定不再下降，Mgloable损失函数如下：
Mgloable＝L(x|t)+||rL(x|t)-L(G(z|t))||1
其中，r表示多样性比率，用于调节生成器和判别器之间的平衡，公式如下：
Figure FDA0003171124020000022
当E(L(x|t))＝E(L(G(z|t)))时，则判别器和生成器达到平衡。
3.根据权利要求1或2所述的一种工业***中缺失的时序数据的填充方法，其特征在于：步骤二所述门控循环神经网络包括更新门和重置门，更新门zt定义了前面记忆的信息保存到当前时刻的量，控制当前时刻的输出状态ht中要保留多少历史状态ht-1，以及保留多少当前时刻的候选状态
Figure FDA0003171124020000023
重置门rt决定当前t时刻的候选状态
Figure FDA0003171124020000024
是否需要依赖上一时刻的网络状态ht-1以及依赖程度，其更新公式为：
Figure FDA0003171124020000025
Figure FDA0003171124020000026
zt＝σ(Wzxt+Uzht-1+bz)
rt＝σ(Wrxt+Urht-1+br)
其中，
Figure FDA0003171124020000027
是当前候选状态信息，xt为当前时刻的输入，ht是当前隐含状态信息，ht-1是上一时刻的隐含状态信息，zt表示更新门，rt表示重置门，Wr,Ur,br是重置门的权重和偏置参数，Wz,Uz,bz是更新门的权重和偏置参数，Wc,Uc,bc是更新当前候选状态信息的权重和偏置参数，σ是sigmoid函数，在更新记忆单元时使用了tanh函数，具体函数公式为：
Figure FDA0003171124020000031
CN202110818499.7A 2021-07-20 2021-07-20 一种工业***中缺失的时序数据的填充方法 Active CN113591954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110818499.7A CN113591954B (zh) 2021-07-20 2021-07-20 一种工业***中缺失的时序数据的填充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110818499.7A CN113591954B (zh) 2021-07-20 2021-07-20 一种工业***中缺失的时序数据的填充方法

Publications (2)

Publication Number Publication Date
CN113591954A true CN113591954A (zh) 2021-11-02
CN113591954B CN113591954B (zh) 2023-10-27

Family

ID=78248342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110818499.7A Active CN113591954B (zh) 2021-07-20 2021-07-20 一种工业***中缺失的时序数据的填充方法

Country Status (1)

Country Link
CN (1) CN113591954B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935252A (zh) * 2021-12-17 2022-01-14 清华大学 旋转机械缺失故障特征恢复方法及***
CN114579546A (zh) * 2022-02-22 2022-06-03 南京信息工程大学 基于多变量对抗生成网络的地理大数据缺值补入方法
CN116543603A (zh) * 2023-07-07 2023-08-04 四川大学 一种考虑空域态势和局部优化的航迹补全预测方法及装置
CN117034142A (zh) * 2023-10-07 2023-11-10 之江实验室 一种不平衡医疗数据缺失值填充方法及***
CN117034143A (zh) * 2023-10-10 2023-11-10 南京邮电大学 一种基于机器学习的分布式***故障诊断方法及装置
CN117524318A (zh) * 2024-01-05 2024-02-06 深圳新合睿恩生物医疗科技有限公司 新抗原异质数据整合方法及装置、设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110597799A (zh) * 2019-09-17 2019-12-20 上海仪电（集团）有限公司中央研究院 一种时序数据缺失值自动填补方法、***和设备
CN111259393A (zh) * 2020-01-14 2020-06-09 河南信息安全研究院有限公司 一种基于生成对抗网络的恶意软件检测器抗概念漂移方法
CN112328588A (zh) * 2020-11-27 2021-02-05 哈尔滨工程大学 一种工业故障诊断非平衡时序数据扩充方法
CN112381303A (zh) * 2020-11-19 2021-02-19 北京嘀嘀无限科技发展有限公司 一种任务指标数据预测方法和***
US20210197335A1 (en) * 2019-12-26 2021-07-01 Dalian University Of Technology Data Augmentation Method Based On Generative Adversarial Networks In Tool Condition Monitoring

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110597799A (zh) * 2019-09-17 2019-12-20 上海仪电（集团）有限公司中央研究院 一种时序数据缺失值自动填补方法、***和设备
US20210197335A1 (en) * 2019-12-26 2021-07-01 Dalian University Of Technology Data Augmentation Method Based On Generative Adversarial Networks In Tool Condition Monitoring
CN111259393A (zh) * 2020-01-14 2020-06-09 河南信息安全研究院有限公司 一种基于生成对抗网络的恶意软件检测器抗概念漂移方法
CN112381303A (zh) * 2020-11-19 2021-02-19 北京嘀嘀无限科技发展有限公司 一种任务指标数据预测方法和***
CN112328588A (zh) * 2020-11-27 2021-02-05 哈尔滨工程大学 一种工业故障诊断非平衡时序数据扩充方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋维;高超;赵?;赵燕东;: "基于LSTM的活立木茎干水分缺失数据填补方法", 林业科学, no. 02 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935252A (zh) * 2021-12-17 2022-01-14 清华大学 旋转机械缺失故障特征恢复方法及***
CN114579546A (zh) * 2022-02-22 2022-06-03 南京信息工程大学 基于多变量对抗生成网络的地理大数据缺值补入方法
CN116543603A (zh) * 2023-07-07 2023-08-04 四川大学 一种考虑空域态势和局部优化的航迹补全预测方法及装置
CN116543603B (zh) * 2023-07-07 2023-09-29 四川大学 一种考虑空域态势和局部优化的航迹补全预测方法及装置
CN117034142A (zh) * 2023-10-07 2023-11-10 之江实验室 一种不平衡医疗数据缺失值填充方法及***
CN117034142B (zh) * 2023-10-07 2024-02-09 之江实验室 一种不平衡医疗数据缺失值填充方法及***
CN117034143A (zh) * 2023-10-10 2023-11-10 南京邮电大学 一种基于机器学习的分布式***故障诊断方法及装置
CN117034143B (zh) * 2023-10-10 2023-12-15 南京邮电大学 一种基于机器学习的分布式***故障诊断方法及装置
CN117524318A (zh) * 2024-01-05 2024-02-06 深圳新合睿恩生物医疗科技有限公司 新抗原异质数据整合方法及装置、设备、存储介质
CN117524318B (zh) * 2024-01-05 2024-03-22 深圳新合睿恩生物医疗科技有限公司 新抗原异质数据整合方法及装置、设备、存储介质

Also Published As

Publication number Publication date
CN113591954B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN113591954A (zh) 一种工业***中缺失的时序数据的填充方法
CN113887787B (zh) 一种基于长短时记忆网络和nsga-ii算法的洪水预报模型参数多目标优化方法
CN109784480B (zh) 一种基于卷积神经网络的电力***状态估计方法
CN110119854A (zh) 基于代价敏感lstm循环神经网络的稳压器水位预测方法
CN110689171A (zh) 一种基于e-lstm的汽轮机健康状态预测方法
CN110942194A (zh) 一种基于tcn的风电预测误差区间评估方法
CN111292525A (zh) 基于神经网络的交通流预测方法
CN114861533A (zh) 基于时间卷积网络的风功率超短期预测方法
CN109242200B (zh) 一种贝叶斯网络预测模型的风电功率区间预测方法
CN112215279B (zh) 一种基于免疫rbf神经网络的电网故障诊断方法
CN113988210A (zh) 结构监测传感网失真数据修复方法、装置及存储介质
CN116840720A (zh) 燃料电池剩余寿命预测方法
CN116431966A (zh) 一种增量式特征解耦自编码器的堆芯温度异常检测方法
CN104732067A (zh) 一种面向流程对象的工业过程建模预测方法
CN115755219A (zh) 基于stgcn的洪水预报误差实时校正方法及***
CN115345222A (zh) 一种基于TimeGAN模型的故障分类方法
CN114118401A (zh) 基于神经网络的配电网络流量预测方法、***、装置及存储介质
CN117477544A (zh) 融合时间模式特征的lstm超短期光伏功率预测方法及***
CN112836876A (zh) 一种基于深度学习的配电网线路负荷预测方法
CN116883199A (zh) 一种基于人工掩码卷积自编码器的多元负荷数据补全方法
CN107276093A (zh) 基于场景削减的电力***概率潮流计算方法
CN114819382B (zh) 一种基于lstm的光伏功率预测方法
CN116316629A (zh) 一种考虑拓扑特征学习的数据驱动最优潮流计算方法
CN116307139A (zh) 一种优化与改进极限学习机的风电功率超短期预测方法
CN114638421A (zh) 一种发电机组备件需求的预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant