CN114580285B - 一种基于cae网络的双曲型***模型约简方法 - Google Patents
一种基于cae网络的双曲型***模型约简方法 Download PDFInfo
- Publication number
- CN114580285B CN114580285B CN202210217132.4A CN202210217132A CN114580285B CN 114580285 B CN114580285 B CN 114580285B CN 202210217132 A CN202210217132 A CN 202210217132A CN 114580285 B CN114580285 B CN 114580285B
- Authority
- CN
- China
- Prior art keywords
- network
- time
- cae
- low
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000009467 reduction Effects 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 23
- 239000013598 vector Substances 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 12
- 210000002569 neuron Anatomy 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 16
- 238000000513 principal component analysis Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000012886 linear function Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100353526 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) pca-2 gene Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种基于CAE网络的双曲型***模型约简方法,所述方法包括如下步骤:步骤1:采集传感器时空数据,并对时空数据进行预处理;步骤2:对高维时空数据进行模型约简,训练CAE网络,获得编码器网络和解码器网络,由此计算***的低维表示;步骤3:训练GRU网络,建立***低维表示的低维时间序列模型;步骤4:将***最近的时空数据经标准化后送入CAE编码器获得双曲型***的低维表示,利用低维时间序列模型预测下一时刻低维表示的输出值,再由CAE解码器进行解码,重构未来输出的预测值,进行反标准化得到***原始传感器时空数据的预测值。该方法通过使用CAE网络,提高了双曲型***的模型约简精度。
Description
技术领域
本发明涉及一种双曲型***模型约简方法,具体涉及一种基于CAE(Convolutional AutoEncoder,卷积自编码器)网络的双曲型***模型约简方法。
背景技术
在实际工业控制***中,广泛存在着一类具有时空耦合的非线性***,其***动态特性可以由PDE(Partial Differential Equation,偏微分方程)描述,这类***可以被称为分布参数***。由于这类复杂***存在无限维空间分布特性,往往还会存在非线性和不确定性,对其进行精确建模具有一定的挑战性。一般情况下,首先要对***进行模型约简,先降低原始***的维数,建立模型,随后再进行控制器的设计。
模型约简通常可分为时空离散化和时空分解两类。对于抛物型***,由于动态特性可以划分为慢模态和快模态,采用基于PCA(Principal Component Analysis,主成分分析法)等时空分解方法可通过忽略快模态将高维***用一组表征慢模态的空间基函数转化为求解相应的低维时间系数的***辨识问题。然而,对于另一类广泛存在的双曲型***,不存在主导基函数(慢模态),采用传统方法(如谱方法、PCA等)无法找到其低维表示,只能采用有限差分或特征线法等时空离散化方法进行模型约简,这就导致双曲型***的模型阶数偏高。
近年来,深度学习理论发展迅速,已经有学者尝试将数据分析中的降维算法引入到分布参数***的建模问题中。然而,目前所采用的算法在处理双曲型***时仍存在模型精度偏低、训练过程复杂等不足。
发明内容
本发明针对过程工业中常见的双曲型***,提供了一种基于CAE网络的双曲型***模型约简方法。该方法通过使用CAE网络,提高双曲型***的模型约简精度,并给出一种基于GRU(Gated Recurrent Unit,门控循环单元)网络的低维时间序列预测模型。
本发明的目的是通过以下技术方案实现的:
一种基于CAE网络的双曲型***模型约简方法,包括如下步骤:
步骤1:采集足够获得双曲型***全部动态特性的传感器时空数据,并对采集的时空数据进行预处理,具体步骤如下:
(1)由如下一阶双曲型PDE描述双曲型***动态特性:
初始条件和边界条件满足:
Ys(x,0)=y0(x);
Ys(a,t)=L(t);
其中,x表示空间变量,t表示时间变量,Ys(x,t)表示关于空间变量x和时间变量t的时空数据,f(x,t)和g(Ys,x,t)是关于空间变量x和时间变量t的光滑非线性函数,y0(x)表示***的初始状态,a表示***的左边界,L(t)表示关于时间变量t的连续光滑函数;
(2)假设在空间上布置足够采集双曲型***全部动态特征的M个传感器,采用合适的采样时间ts对***时空数据进行采集,共采集N个时刻的时空数据 表示***在xm位置上第tn时刻的采样值,m=0,1,...,M-1,n=0,1,...,N-1,表示***在tn时刻所有传感器测量值组成的列向量,被称为***输出在tn时刻的闪点,表示***的第m个传感器测量的全部采样值,上角标T表示矩阵转置;
步骤2:对高维时空数据进行模型约简,训练CAE网络,获得编码器网络T+和解码器网络T-,并由此计算双曲型***的低维表示,具体步骤如下:
(1)进行CAE网络初始化,设定层数p,每一层的卷积核个数mp-1,其中:
所述CAE网络包含编码器、解码器两部分,均采用堆叠卷积层M-m1-…-mp-2-m的形式,每层所有卷积核的宽度均设置为1,卷积核长度由该层输入数据的维度决定,卷积层输出数据的维度等于卷积核个数,编码器通过逐层减少卷积核个数,最终实现数据的降维;解码器网络结构m-mp-2-…-m1-M与编码器网络结构完全对称,卷积核个数与之相反达到扩张维度的目的,便于下一步计算重构损失;
(2)使用BP(Back Propagation,反向传播)算法对CAE网络进行训练,选择Adam(Adaptive momentum,自适应矩估计)作为优化器,采用RMSE(Root Mean Square Error,均方根误差)作为评价指标,更新CAE网络权值直至网络收敛,获得编码器网络T+和解码器网络T-,由此计算出双曲型***的低维表示y=T+(Y),其中,T+表示编码器网络,y∈Rm×N表示***低维表示;
步骤3:训练GRU网络,建立双曲型***低维表示的低维时间序列模型,具体步骤如下:
(1)初始化GRU网络,划分前N1个数据为训练集,后N2个数据为测试集,N1+N2=N,训练GRU网络获得低维时间序列模型,其中:
更新门:Zt=σ(Wz[ht-1,yt]+bz);
重置门:rt=σ(Wr[ht-1,yt]+br);
其中,表示当前时刻的输入向量,表示上一时刻的隐藏状态向量,ν表示GRU层神经元数量,Wz和bz分别表示更新门的权值矩阵和偏置向量,σ表示Sigmoid函数,Zt表示更新门的激活向量,rt表示重置门,Wr与br分别表示重置门的权值矩阵和偏置向量,⊙表示Hadamard乘积运算;隐藏状态在一个单元输出之后传导至下一个单元,最后一个时刻的隐藏状态即为GRU层的输出;在这之后接全连接层匹配低维表示的维度,全连接层公式如下:
(2)设GRU层的层数为c,每层节点数为d,则GRU网络结构为d0-d1-…-dc-1,应用滑动窗格法,设滑窗宽度为l+1,滑窗的步长为1,使用BP算法对GRU网络进行训练,更新GRU网络权值直至网络收敛,得到低维表示的未来预测值
步骤4:将双曲型***最近的时空数据经标准化后送入CAE编码器获得双曲型***的低维表示,利用低维时间序列模型预测下一时刻低维表示的输出值,再由CAE解码器进行解码,重构未来输出的预测值,进行反标准化得到双曲型***原始传感器时空数据的预测值,具体步骤如下:
依次将双曲型***最近的时空数据Ys|t经标准化为Y|t后送入CAE编码器获得***的低维表示yt,利用低维时间序列模型G预测下一时刻低维表示的输出值再由CAE解码器进行解码,从而获得***未来输出的预测值
yt=T+(Y|t);
相比于现有技术,本发明具有如下优点:
本发明采用CAE网络实现双曲型***的模型约简,相比于传统SAE(StackAutoEncoder,堆叠自编码器),使用一维卷积方式对输入信号进行线性变换,其权重是共享的,能够更好地挖掘***的抽象特征,再通过逐层深度学习的方式,可以更好地提取到高维***的本质特征,降低了***维数,同时利用GRU网络获得低维时间序列精确模型,有效地提高了双曲型***预测模型的重构精度,弥补了现有技术无法获得双曲型***精确低维模型的问题。
附图说明
图1为基于CAE和GRU网络的双曲型***建模方法;
图2为平流***数值解;
图3为基于PCA方法的***重建时空数据;
图4为基于SAE方法的***重建时空数据;
图5为基于CAE方法的***重构时空数据;
图6为基于GRU网络的***低维表示;
图7为基于CAE和GRU网络的***时空数据预测值。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明,但并不局限于此,凡是对本发明技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖在本发明的保护范围中。
本发明提供了一种基于CAE网络的双曲型***模型约简方法,包括如下步骤:
步骤1:采集足够获得双曲型***全部动态特性的传感器时空数据,并对采集的时空数据进行预处理。
本步骤中,不失一般性,选择一阶双曲型***进行说明,考虑***动态特性可以由如下一阶双曲型PDE描述:
初始条件和边界条件满足:
Ys(x,0)=y0(x) (2);
Ys(a,t)=L(t) (3);
其中,x表示空间变量,t表示时间变量,Ys(x,t)表示关于空间变量x和时间变量t的时空数据,f(x,t)和g(Ys,x,t)是关于空间变量x和时间变量t的光滑非线性函数,y0(x)表示***的初始状态,a表示***的左边界,L(t)表示关于时间变量t的连续光滑函数。
假设在空间上布置足够采集***全部动态特征的M个传感器,采用合适的采样时间ts对***时空数据进行采集,共采集N个时刻的时空数据表示***在xm位置上第tn时刻的采样值,m=0,1,...,M-1,n=0,1,...,N-1,表示***在tn时刻所有传感器测量值组成的列向量,被称为***输出在tn时刻的闪点,表示***的第m个传感器测量的全部采样值,上角标T表示矩阵转置。将采集的时空数据进行预处理,得到标准化至[0,1]区间的时空数据
步骤2:对高维时空数据进行模型约简,训练CAE网络,获得编码器网络T+和解码器网络T-,并由此计算双曲型***的低维表示。
本步骤中,进行CAE网络初始化,设定层数p,每一层的卷积核个数mp-1。
可选的:激活函数可以选择线性整流函数,其数学表达式为:
可选的,激活函数可以选择一种具有单侧抑制特点和稀疏激活性的改进的线性整流函数ELU函数,其数学表达式为:
其中,α是预先给定的超参数。
本发明所提方法中,所述CAE网络包含编码器、解码器两部分,均采用堆叠卷积层M-m1-…-mp-2-m的形式,每层所有卷积核的宽度均设置为1,卷积核长度由该层输入数据的维度决定,则实际的第一层卷积核大小为M×1,第二层卷积核大小m1×1,以此类推。卷积层输出数据的维度等于卷积核个数,编码器通过逐层减少卷积核个数,最终实现数据的降维。解码器网络结构m-mp-2-…-m1-M与编码器网络结构完全对称,卷积核个数与之相反达到扩张维度的目的,便于下一步计算重构损失。为便于说明,编码和解码过程分别用T+和T-抽象表达,则该过程可表示为:
y=T+(Y) (7);
选择衡量损失的评价指标为:
使用BP算法对网络进行训练,更新CAE网络权值直至网络收敛。
可选的,优化器选择Adam,学习率设置为0.001。
步骤3:训练GRU网络,建立双曲型***低维表示的低维时间序列模型。
本步骤中,建立基于GRU网络独立的低维时间序列模型。初始化GRU网络,划分前N1个数据为训练集,后N2个数据为测试集,N1+N2=N,训练GRU网络获得低维时间序列模型。GRU网络由GRU层与全连接层组成,GRU层包含2个门和2个状态,分别是更新门Zt、重置门rt、候选状态和隐藏状态ht:
更新门:Zt=σ(Wz[ht-1,yt]+bz) (10);
重置门:rt=σ(Wr[ht-1,yt]+br) (11);
其中,表示当前时刻的输入向量,表示上一时刻的隐藏状态向量,ν表示GRU层神经元数量,Wz和bz分别表示更新门的权值矩阵和偏置向量,σ表示Sigmoid函数,Zt表示更新门的激活向量,rt表示重置门,Wr与br分别表示重置门的权值矩阵和偏置向量,⊙表示Hadamard乘积运算。隐藏状态在一个单元输出之后传导至下一个单元,最后一个时刻的隐藏状态即为GRU层的输出。在这之后需要接全连接层来匹配低维表示的维度,全连接层公式如下:
其中,Wy表示维度匹配矩阵,ht表示输出层神经元向量,表示GRU网络的最终输出,即低维表示的未来预测值。设GRU层的层数为c,每层节点数为d,则GRU网络结构为d0-d1-…-dc-1。应用滑动窗格法,设滑窗宽度为l+1,滑窗的步长为1,使用BP算法对网络进行训练,更新GRU网络权值直至网络收敛。
可选的:优化器选择Adam,学习率设置为0.001。
步骤4:将双曲型***最近的时空数据经标准化后送入CAE编码器获得双曲型***的低维表示,利用低维时间序列模型预测下一时刻低维表示的输出值,再由CAE解码器进行解码,重构未来输出的预测值,进行反标准化得到双曲型***原始传感器时刻数据的预测值。
本步骤中,依次将***最近的时空数据Ys|t经标准化为Y|t后送入CAE编码器获得***的低维表示yt,利用低维时间序列模型G预测下一时刻低维表示的输出值再由CAE解码器进行解码,从而获得***未来输出的预测值
yt=T+(Y|t) (15);
本发明采用CAE网络对双曲型***进行模型约简同现有方法相比,在相同降阶维度下,具有更优秀的建模精度,更少的网络训练时间和简单的网络结构。
实施例:
本实施例提供了一种基于CAE网络模型约简方法的具体应用,并给出一种基于GRU网络的低维时间序列预测模型。如图1所示,包括以下步骤:
步骤S01:考虑由一阶双曲型PDE描述的平流输运过程建模问题,假设在***轴向等间隔设置足够的传感器,选择合适的采样时间采集***的闪点值,并对获得的数据进行预处理。
在本实施例中,平流输运过程可由如下一阶双曲型PDE描述:
初始条件:
其中,Y(x,t)表示关于时间t和空间x上的某物理量(如热量、湿度或盐度)的函数,s表示该物理量的输运速度;当s为常数时,可以得到方程的行波解为:
当α=5,s=1,x∈[-2,2],t∈[-2,2]时,传感器位置间隔Δx=0.04,采样时间为ts=0.001,取方程的行波解在100个传感器位置上的4000个采样值作为***的真实输出值Ys(xm,tn)∈R100×4000,按式(4)的方法对数据Ys进行预处理后的数据为Y(xm,tn),如图2所示。
步骤S02:对高维时空数据进行模型约简,采用Adam优化器训练CAE网络,获得编码器网络T+和解码器网络T-,并由此计算平流***的低维表示;同时,采用相同的编解码器网络结构训练SAE网络和PCA降维算法作为估计所提方法性能的对比算法。
在本实施例中,设编码器结构为100-20-10-2,解码器结构为2-10-20-100,卷积层均使用ELU函数作为激活函数,α=1。使用BP算法对网络进行训练,选择Adam作为优化器,采用评价指标(9),更新CAE网络权值直至网络收敛,获得编码器网络T+和解码器网络T-,由此计算出平流***Y的低维表示y。基于PCA方法、SAE方法和CAE方法的***重构时空数据分别如图3-图5所示。
步骤S03:训练GRU网络,建立平流***低维表示的时间序列模型G。
在本实施例中,初始化GRU网络,划分训练集N1=2500和测试集N2=1500,设置GRU层神经元数量v=100,全连接层结构为100-80-2,滑窗宽度l=5。根据式(10)-(14)使用BP算法对网络进行训练,选择Adam作为优化器,对GRU网络进行训练,得到***的未来预测值***低维表示和基于GRU网络的预测输出如图6所示。
步骤S04:将平流***最近的时空数据经标准化后送入CAE编码器获得***的低维表示,利用低维时间序列模型预测下一时刻低维表示的输出值,再由CAE解码器进行解码,重构未来输出的预测值,进行反标准化得到平流***原始传感器时刻数据的预测值。
在本实施例中,依次将***最近的5个时刻的时空数据Ys|t-4…Ys|t送入CAE编码器T+获得平流***的低维表示yt-4…yt,利用低维时间序列模型(16)预测下一时刻低维表示的输出值再由CAE解码器T-进行解码,根据式(17)重构未来输出的预测值对其进行反标准化得到平流***原始的基于CAE和GRU网络的***时空数据预测值如图7所示。
将本发明所提CAE网络模型约简方法同PCA和SAE模型约简方法对比,降阶后的维数均选择2维,比较网络性能如表1所示。本实验环境应用Intel酷睿i56300HQ 2.8GHz处理器,12GB内存空间,Nvidia GTX 960M 2GB显卡,Windows 10操作***以及Pytorch 1.6深度学习平台。
表1网络性能比较
采用方法 | 模型阶数 | 循环次数 | 训练时间 | RMSE |
PCA | 2 | 1 | 1.0325s | 0.2542 |
SAE | 2 | 15000 | 36.5625s | 0.0358 |
CAE | 2 | 3500 | 14.1821s | 0.0031 |
从表1和图2中可以看出,PCA方法虽然计算简单用时少,但是在低阶模型上表现很差,损失较大,以致无法在实际问题中应用。从表1和图3中可以看出,SAE网络相比本发明所提方法达到稳定的循环次数多,训练时间长,精度低。SAE网络RMSE达到0.0358,误差最大值0.13,达到原始值的13%。
从表1和图4中可以看出,本发明所提方法RMSE仅为0.0031,误差最大值0.03,仅为原始值的3%。从仿真结果可以看出,本发明所提的CAE网络可以很好地对双曲型***进行模型降阶,模型精度高,实现简单。
本发明还给出了一种基于GRU网络的低维表示建模方法。从图6中可以看出,GRU网络对低维时间序列的预测值与真实值接近,训练集和测试集RMSE分别为0.0078和0.0204,在训练集和测试集上都能很好地体现低维时间序列的动态变化规律。从图7可以看出通过CAE网络模型降阶和GRU网络时间序列预测后***重建时空数据可以很好地复现原始数据,证明了本发明所提方法具有良好的建模效果。
本发明采用CAE网络实现双曲型***的模型约简,相比于传统SAE,使用一维卷积方式对输入信号进行线性变换,其权重是共享的,能够更好地挖掘***的抽象特征,再通过逐层深度学习的方式,可以更好地提取到高维***的本质特征,降低了***维数,同时利用GRU网络获得低维时间序列精确模型,有效地提高了双曲型***预测模型的重构精度,弥补了现有技术无法获得双曲型***精确低维模型的问题。
Claims (5)
1.一种基于CAE网络的双曲型***模型约简方法,其特征在于所述方法包括如下步骤:
步骤1:考虑由一阶双曲型PDE描述的平流输运过程建模问题,采集足够获得平流***全部动态特性的传感器时空数据,并对采集的时空数据进行预处理,具体步骤如下:
步骤1.1:由如下一阶双曲型PDE描述平流***动态特性:
初始条件满足:
其中,x表示空间变量,t表示时间变量,Y(x,t)表示关于时间变量t和空间变量x上的热量、湿度或盐度的函数,s表示热量、湿度或盐度的输运速度,a表示***的左边界;
步骤1.2:假设在空间上布置足够采集平流***全部动态特征的M个传感器,采用采样时间ts对***时空数据进行采集,共采集N个时刻的时空数据 表示***在xm位置上第tn时刻的采样值,m=0,1,...,M-1,n=0,1,...,N-1,表示***在tn时刻所有传感器测量值组成的列向量,被称为***输出在tn时刻的闪点,表示***的第m个传感器测量的全部采样值,上角标T表示矩阵转置;
步骤2:对高维时空数据进行模型约简,训练CAE网络,获得编码器网络T+和解码器网络T-,并由此计算平流***的低维表示,具体步骤如下:
步骤2.1:进行CAE网络初始化,设定层数p,每一层的卷积核个数mp-1;
步骤2.2:使用BP算法对CAE网络进行训练,选择Adam作为优化器,采用RMSE作为评价指标,更新CAE网络权值直至网络收敛,获得编码器网络T+和解码器网络T-,由此计算出平流***的低维表示y=T+(Y),其中,T+表示编码器网络,表示***低维表示;
所述CAE网络包含编码器、解码器两部分,均采用堆叠卷积层的形式,每层所有卷积核的宽度均设置为1,卷积核长度由该层输入数据的维度决定,卷积层输出数据的维度等于卷积核个数,编码器通过逐层减少卷积核个数,最终实现数据的降维;解码器网络结构与编码器网络结构完全对称,卷积核个数与之相反达到扩张维度的目的,便于下一步计算重构损失;
步骤3:训练GRU网络,建立平流***低维表示的低维时间序列模型;
步骤4:将平流***最近的时空数据经标准化后送入CAE编码器获得平流***的低维表示,利用低维时间序列模型预测下一时刻低维表示的输出值,再由CAE解码器进行解码,重构未来输出的预测值,进行反标准化得到平流***原始传感器时空数据的预测值。
4.根据权利要求3所述的基于CAE网络的双曲型***模型约简方法,其特征在于所述GRU网络由GRU层与全连接层组成,GRU层包含2个门和2个状态,分别是更新门Zt、重置门rt、候选状态和隐藏状态ht:
更新门:Zt=σ(Wz[ht-1,yt]+bz);
重置门:rt=σ(Wr[ht-1,yt]+br);
其中,表示当前时刻的输入向量,表示上一时刻的隐藏状态向量,ν表示GRU层神经元数量,Wz和bz分别表示更新门的权值矩阵和偏置向量,σ表示Sigmoid函数,rt表示重置门,Wr与br分别表示重置门的权值矩阵和偏置向量,⊙表示Hadamard乘积运算;隐藏状态在一个单元输出之后传导至下一个单元,最后一个时刻的隐藏状态即为GRU层的输出;在这之后接全连接层匹配低维表示的维度,全连接层公式如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210217132.4A CN114580285B (zh) | 2022-03-07 | 2022-03-07 | 一种基于cae网络的双曲型***模型约简方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210217132.4A CN114580285B (zh) | 2022-03-07 | 2022-03-07 | 一种基于cae网络的双曲型***模型约简方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114580285A CN114580285A (zh) | 2022-06-03 |
CN114580285B true CN114580285B (zh) | 2022-11-01 |
Family
ID=81778085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210217132.4A Active CN114580285B (zh) | 2022-03-07 | 2022-03-07 | 一种基于cae网络的双曲型***模型约简方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114580285B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765338A (zh) * | 2018-05-28 | 2018-11-06 | 西华大学 | 基于卷积自编码卷积神经网络的空间目标图像复原方法 |
CN109862585A (zh) * | 2019-01-31 | 2019-06-07 | 湖北工业大学 | 一种基于深度时空神经网络的动态异构网络流量预测方法 |
CN110133610A (zh) * | 2019-05-14 | 2019-08-16 | 浙江大学 | 基于时变距离-多普勒图的超宽带雷达动作识别方法 |
CN110321603A (zh) * | 2019-06-18 | 2019-10-11 | 大连理工大学 | 一种用于航空发动机气路故障诊断的深度计算模型 |
WO2019197450A1 (en) * | 2018-04-11 | 2019-10-17 | Pie Medical Imaging Bv | Method and system for assessing vessel obstruction based on machine learning |
WO2021069945A1 (en) * | 2019-10-09 | 2021-04-15 | Toyota Motor Europe | Method for recognizing activities using separate spatial and temporal attention weights |
CN112836808A (zh) * | 2021-03-22 | 2021-05-25 | 哈尔滨理工大学 | 基于深度学习的分布式参数***建模的时空耦合学习方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11604956B2 (en) * | 2017-10-27 | 2023-03-14 | Salesforce.Com, Inc. | Sequence-to-sequence prediction using a neural network model |
-
2022
- 2022-03-07 CN CN202210217132.4A patent/CN114580285B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019197450A1 (en) * | 2018-04-11 | 2019-10-17 | Pie Medical Imaging Bv | Method and system for assessing vessel obstruction based on machine learning |
CN108765338A (zh) * | 2018-05-28 | 2018-11-06 | 西华大学 | 基于卷积自编码卷积神经网络的空间目标图像复原方法 |
CN109862585A (zh) * | 2019-01-31 | 2019-06-07 | 湖北工业大学 | 一种基于深度时空神经网络的动态异构网络流量预测方法 |
CN110133610A (zh) * | 2019-05-14 | 2019-08-16 | 浙江大学 | 基于时变距离-多普勒图的超宽带雷达动作识别方法 |
CN110321603A (zh) * | 2019-06-18 | 2019-10-11 | 大连理工大学 | 一种用于航空发动机气路故障诊断的深度计算模型 |
WO2021069945A1 (en) * | 2019-10-09 | 2021-04-15 | Toyota Motor Europe | Method for recognizing activities using separate spatial and temporal attention weights |
CN112836808A (zh) * | 2021-03-22 | 2021-05-25 | 哈尔滨理工大学 | 基于深度学习的分布式参数***建模的时空耦合学习方法 |
Non-Patent Citations (5)
Title |
---|
基于卷积自编码与密集时间卷积网络的回转支承退化趋势预测;张典震 等;《振动与冲击》;20211227;第40卷(第23期);9-16 * |
基于卷积自编码网络的BPSK信号降噪;彭峰等;《信息通信》;20200815(第08期);46-49 * |
基于自编码网络特征降维的轻量级入侵检测模型;高妮等;《电子学报》;20170315(第03期);221-230 * |
基于非监督预训练的结构优化卷积神经网络;刘庆等;《工程科学与技术》;20170630;213-218 * |
多标记学习自编码网络无监督维数约简;杨文元;《智能***学报》;20180611(第05期);140-149 * |
Also Published As
Publication number | Publication date |
---|---|
CN114580285A (zh) | 2022-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263479B (zh) | 一种大气污染因子浓度时空分布预测方法及*** | |
CN107832787B (zh) | 基于双谱自编码特征的雷达辐射源识别方法 | |
CN114220271B (zh) | 基于动态时空图卷积循环网络的交通流预测方法、设备及存储介质 | |
CN110909926A (zh) | 基于tcn-lstm的太阳能光伏发电预测方法 | |
CN110377942B (zh) | 一种基于有限高斯混合模型的多模型时空建模方法 | |
CN111047078B (zh) | 交通特征预测方法、***及存储介质 | |
CN112016242B (zh) | 一种基于数据驱动的分布参数热过程温度预测方法 | |
CN114611798A (zh) | 一种基于动态超图卷积神经网络的od客流预测方法 | |
CN111488498A (zh) | 基于图神经网络的“节点-图”跨层图匹配方法及*** | |
CN113962262B (zh) | 一种基于连续学习的雷达信号智能分选方法 | |
CN113221450B (zh) | 一种针对稀疏不均匀时序数据的航位预测方法及*** | |
CN113988415A (zh) | 一种中长期电力负荷预测方法 | |
CN114580285B (zh) | 一种基于cae网络的双曲型***模型约简方法 | |
Flores et al. | Model for time series imputation based on average of historical vectors, fitting and smoothing | |
CN113569993A (zh) | 一种聚合反应过程质量预测模型构建方法 | |
CN114065996A (zh) | 基于变分自编码学习的交通流预测方法 | |
CN115481816A (zh) | 基于互补集成经验模分解的时空卷积短时交通流预测方法 | |
CN115688602A (zh) | 一种融合时间特征和交叉注意力的短期风速预测方法 | |
CN114819325A (zh) | 基于图神经网络的成绩预测方法、***、装置及存储介质 | |
CN113850202A (zh) | 一种基于深度学习的半监督高光谱影像混合像元分解方法 | |
CN113435243A (zh) | 一种高光谱真实下采样模糊核估计方法 | |
CN114004421B (zh) | 一种基于时空集成学习的交通数据缺失值插补方法 | |
CN115544309B (zh) | 基于gcn的改进最近邻数据互联方法 | |
CN113469331B (zh) | 基于全局和局部时空图卷积的车辆尾气预测方法及*** | |
CN113469450B (zh) | 一种数据分类方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230803 Address after: Room 403, Unit 3, Building 12, Enterprise Accelerator, Science and Technology Innovation City, Harbin High tech Industrial Development Zone, Harbin, Heilongjiang Province, 150028 Patentee after: Harbin LIANGSU Agricultural Technology Co.,Ltd. Address before: No. 52 Xuefu Road, Nangang District, Harbin, Heilongjiang Province Patentee before: HARBIN University OF SCIENCE AND TECHNOLOGY |