CN116432697A - 一种融合长短期记忆网络与注意力机制的时间序列预测方法 - Google Patents
一种融合长短期记忆网络与注意力机制的时间序列预测方法 Download PDFInfo
- Publication number
- CN116432697A CN116432697A CN202310027489.0A CN202310027489A CN116432697A CN 116432697 A CN116432697 A CN 116432697A CN 202310027489 A CN202310027489 A CN 202310027489A CN 116432697 A CN116432697 A CN 116432697A
- Authority
- CN
- China
- Prior art keywords
- time
- attention
- layer
- time sequence
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000007787 long-term memory Effects 0.000 title claims abstract description 14
- 239000013598 vector Substances 0.000 claims abstract description 32
- 230000006870 function Effects 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000010606 normalization Methods 0.000 claims abstract description 13
- 230000004913 activation Effects 0.000 claims abstract description 9
- 230000015654 memory Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 5
- 238000011160 research Methods 0.000 abstract description 3
- 210000004027 cell Anatomy 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007797 non-conventional method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种融合长短期记忆网络与注意力机制的时间序列预测方法,包括:(1)输入数据编码,对输入的时间序列数据使用长短期记忆网络LSTM进行编码处理,并对输出向量进行批量归一化处理;(2)注意力权重计算,对编码层输出的当前时刻的隐藏状态数据,计算当前时刻的注意力权重,得到注意力层的输出向量;(3)时间序列数据预测,对注意力层输出向量通过解码器计算得到初始输入时间序列所对应的预测输出值,再通过全连接层的relu激活函数计算得到预测时间序列;(4)在真实时间序列数据集上使用本发明融合长短期记忆网络与注意力机制的时间序列的模型与主流时间序列预测模型进行对比,以此验证本发明时间序列预测模型的性能优劣。研究结果表明,本发明提出的融合长短期记忆网络与注意力机制的时间序列预测模型比目前主流的时间序列预测模型预测效果要好。
Description
技术领域
本发明涉及时间序列预测领域,具体涉及一种融合长短期记忆网络与注意力机制的时间序列预测方法。
背景技术
在工业大数据领域中,因为物联网设备产生的数据越来越多,而这些产生的数据往往是以时间序列数据为主,所以需要研究一些新的方法来对时间序列数据进行处理和预测,这些方法可以更好地对于一些实际的场景进行预测,比如日常生活中的交通情况、天气情况和股票的价格波动情况等等。然而对于这些时间序列数据的预测却并不简单,由于时间序列数据在产生的过程中往往包含噪音和缺失值,所以这对于数据的质量将会大打折扣,数据质量将影响到数据的预测。此外,对于时间序列的研究还需要使用高性能的GPU服务器,一方面GPU的昂贵导致研究成本很高;另一方面,由于计算资源和数据规模的影响,暂时还无法实现实时计算,这就导致运行效率较慢。
目前对于时间序列数据的预测的方法有很多,可以分为传统方法和非传统方法这两类。典型的传统方法有自回归(AR)模型、移动平均(MA)模型、自回归移动平均(ARMA)模型和差分自回归移动平均(ARIMA)模型等,然而这些传统的方法在预测中通常存在缺陷,这些方法往往对于数据的要求相对严格,因为这些方法都只能处理一些平稳的数据,但是在现实生活中的时间序列数据基本都是不平稳的,所以传统的方法对于数据的预测的准确性不高。非传统方法包括机器学习和深度学习,机器学习中主流的有支持向量机(SVM)、聚类和神经网络等。深度学习中有循环神经网络(RNN)、长短期记忆网络(LSTM)和门控循环单元网络(GRU)等。这些非传统的方法相比于传统方法预测性能虽然有所提升,但是预测的准确率普遍不高。
发明内容
要解决的技术问题
为解决目前的方法对于时间序列预测的准确率不高的问题,本发明提出一种融合长短期记忆网络与注意力机制的时间序列预测方法,从而解决了现有技术中存在的前述问题。
技术方案
一种融合长短期记忆网络与注意力机制的时间序列预测方法,其特征在于步骤如下:
步骤1:获取时间序列预测问题的样本数据集,包括输入时间序列X和预测输出的时间序列Y,作为时间序列预测的初始阶段。
步骤2:对步骤1获取的原始的时间序列数据进行最大最小归一化处理,并将数据转化成[样本,时间步长,特征]样式的三维数据,对其中的异常值和缺失值进行处理。
步骤3:超参数初始化,随机初始化一组超参数,包括迭代参数、batch_size、LSTM中的隐藏层数量和模型的学习率。
步骤4:根据设定的超参数,建立LSTM-attention-LSTM模型的候选模型;LSTM-attention-LSTM模型依次包括编码层、注意力层和解码层。本发明编码层选用的是LSTM模型,就是将输入序列转化成多个时间序列向量。首先对输入的三维向量X进行编码处理,经过编码层之后会对输出的向量进行丢弃处理和批量归一化处理,丢弃处理的做法是在模型训练时随机选出部分神经元将其设置为0;批量归一化主要是利用小批量上的均值和标准差,不断调整模型的中间输出,从而使各层的中间输出数值更稳定,两者的都是为了防止模型过拟合。编码层处理完成后结果输出到注意力层。在注意力层,注意力机制会计算序列j时刻对i时刻的注意力权重αij,再根据注意力权重得到输出向量C’i。通过注意力机制得到的C’i作为输入序列输入到下一层的解码层当中,本发明使用LSTM作为解码器,通过解码层计算得到i时刻的预测输出值yi,yi再通过全连接层的relu激活函数计算得到最终预测序列Y。
步骤5:对本发明提出的时间序列预测模型进行性能验证,在真实时间序列数据集上使用本发明融合长短期记忆网络与注意力机制的时间序列的模型与主流时间序列预测模型进行对比,以此验证本发明时间序列预测模型的性能优劣。
有益效果
本发明提出的一种融合长短期记忆网络与注意力机制的时间序列预测方法,基于LSTM-attention-LSTM模型用于时间序列预测,该模型依次包括编码层、注意力层和解码层,其中编码层和解码层为LSTM网络,注意力层为注意力机制。一方面,LSTM-attention-LSTM模型是一个非线性模型,所以能够学***稳的时间序列数据。另一方面,输入的特征向量不止一个,可以是多个变量,因此能够为预测提供更多的数据,大大提高了模型预测的准确率。本发明所提出的融合长短期记忆网络与注意力机制的时间序列预测方法,在利用模型预测前,首先会对时间序列进行预处理,包括最大最小归一化处理和时间步长设置。通过归一化处理将数据映射在0~1之间,使得模型的误差降低更快;通过调整时间步长,能够扩充训练数据,提高数据质量。本发明采用了编码器解码器的结构,并在编码器解码器的基础上引入了注意力机制,从而解决了模型中注意力不集中的问题。本发明提出的LSTM-attention-LSTM模型在均方根误差(RMSE)指标上表现良好,比LSTM、堆叠LSTM(stacked-LSTM)、双向LSTM(BiLSTM)和编码解码LSTM(encoder-decoder-LSTM)等主流模型泛化性更好。
附图说明
图1为本发明实施例提供的融合长短期记忆网络与注意力机制的时间序列预测方法流程图
图2为本发明实施例提供的融合长短期记忆网络与注意力机制的时间序列预测模型结构图
图3为本发明实施例提供的融合长短期记忆网络与注意力机制的时间序列预测的注意力分配概率计算示意图
图4-图7与主流时间序列预测模型的均方根误差(RMSE)对比图
图8为本发明提出的模型与主流时间序列预测模型的均方根误差(RMSE)值对比图
具体实施方式
现结合实施例、附图对发明作进一步描述:
本发明提出一种基于LSTM和注意力机制的时间序列预测方法,LSTM-attention-LSTM模型的流程图见图1,解决其技术问题所采用的技术方案包括以下内容:
1.获取时间序列预测问题的样本数据集
样本数据集的获取,具体包括输入时间序列X={X1,X2,…,Xt}和预测输出的时间序列Y={Y1,Y2,…,Yt},其中t为截止时刻。
2.最大最小归一化处理
对原始的时间序列数据进行最大最小归一化处理,并将数据转化成[样本,时间步长,特征]样式的三维数据。然后对其中的异常值和缺失值进行处理,对于缺失值的处理使用均值填充的方法,对于异常值直接删除。最大最小归一化的方法如下:
其中Xmax,Xmin分别表示序列中的最大值和最小值,X’表示归一化后的结果。
3.超参数初始化
随机初始化一组超参数,包括迭代参数、batch_size、LSTM中的隐藏层数量和模型的学习率。
4.时间序列模型构建
根据设定的超参数,建立LSTM-attention-LSTM模型的候选模型;LSTM-attention-LSTM模型依次包括编码层、注意力层和解码层。
编码层:本发明编码层选用的是LSTM模型,就是将输入序列转化成多个时间序列向量。LSTM-attention-LSTM模型首先对输入的三维向量X={X1,X2,…,Xt}进行编码处理,本发明中编码层使用的是LSTM模型。在LSTM中,当前时间的隐藏状态是由上一时间的状态和当前时间输入决定的,具体:
fi=δ(Wf[ht-1,Xi]+bf) (2)
it=δ(Wi[ht-1,Xt]+bi) (3)
Lt=tanh(Wc[ht-1,Xt]+bc) (4)
Ci=fi*Ci-1+ii*Li (5)
Oi=δ(Wo[hi-1,Xi]+bo) (6)
hi=Oi*tanh(Ci) (7)
其中hi表示经过编码层计算输出i时刻的隐藏状态,hi-1表示i-1时刻的隐藏状态,fi、ii和Oi分别表示遗忘门、输入门和输出门,Li和Ci表示细胞状态的更新,Ci-1为i-1时刻的细胞状态,δ为sigmoid激活函数,Wf、Wi、Wc、Wo和bf、bi、bc、bo分别表示输入的权重和偏置值。
注意力层,将注意力机制加入到encoder-decoder模型当中,加入了注意力机制之后,模型就不再将编码器的输出序列都输入进一个固定的向量中,而是有多个向量来分担这一份工作,解决了模型中注意力不集中的问题。
原始的编码解码模型本身存在一些局限性的,就是在编码和解码模型之间只有一个联系,而且这个联系是一个固定长度的向量,所以这就会导致当输入的序列很长时,前面先输入的序列会被后面输入的序列遗忘掉,另外该固定长度的向量无法完全表示整个的序列。为了解决这个问题,本发明将注意力机制加入到编码解码模型当中。
经过编码层之后会对输出的向量进行丢弃处理和批量归一化处理,丢弃处理的做法是在模型训练时随机选出部分神经元将其设置为0;批量归一化主要是利用小批量上的均值和标准差,不断调整模型的中间输出,从而使各层的中间输出数值更稳定,两者的都是为了防止模型过拟合。之后就进入到注意力层,注意力机制会计算序列j时刻对i时刻的注意力权重αij,再根据注意力权重得到输出向量C’i。
在引入了注意力机制后,那么在时间序列预测时就会体现出某个时间点的序列对于预测当前时间点的序列不同的影响程度。假设首先输入一个时间步长为4的时间序列X(X1,X2,X3,X4),一开始序列X经过编码层中的输入门、遗忘门和输出门的计算得出i时刻的输出向量hi。然后需要先计算每个时刻该序列的注意力分配概率分布值,注意力分配概率分布值的计算如图3所示。
因为本发明使用LSTM作为解码器,那么在预测i时刻的值yi时,是可以知道在yi之前由解码器得到的隐藏层节点的输出值Hi,所以就可以用i时刻的隐藏层节点状态Hi去和输入序列中的编码器得到的j时刻的隐藏层状态hj进行对比,也就是通过函数F(hj,Hi)来计算每个时刻序列的注意力权重αij,注意力权重αij的计算公式如下所示:
eij=a(hi-1,hj) (8)
其中αij表示注意力权重,eij表示j时刻对i时刻的注意力互相关系数。非线性函数a的作用是把编码器中j时刻输入序列Xj对应的隐藏状态hj和解码器中生成序列yi的前一时刻的隐藏状态hi-1进行对比,从而计算出每个输入序列Xj和生成序列yi之间的匹配程度。匹配程度越高,eij和αij就越大,就表示i时刻输出在j时刻输入上分配的注意力越多,那么i受j的影响也会越大,通过加入注意力机制对于编码解码模型的优化提升明显。
例如通过计算得出序列X(X1,X2,X3,X4)的注意力权重α4j:(X1,0.2)(X2,0.2)(X3,0.2)(X4,0.4),即表示注意力分配模型分配给每个时间点对于预测时间点序列X4的注意力大小。同理,目标序列中的每个时间点序列也会学习其对应的原序列的注意力分配概率信息,所以在生成每个时间点序列yi的时候,之前的固定语义向量C就会被替换成根据当前生成序列而不断变化的C’i。所以对于概率分布{(X1,0.2)(X2,0.2)(X3,0.2)(X4,0.4)}来说,其对应的时间点序列X4的信息为:
C’4=g(0.2*h1,0.2*h2,0.2*h3,0.4*h4) (10)
其中,h1、h2、h3和h4为编码层在每个时间点的输出值,g函数则代表编码器将每个时间点的序列整合成一个时间步长时间序列的变换函数,可以表示为:
所以g函数本质上就是一个加权求和函数,C’i为i时刻的注意力层的输出向量,hj为j时刻的隐藏状态,αij表示j时刻对i时刻的注意力权重,t为时间步长。
解码层:本发明解码层选用的也是LSTM模型,将注意力层的输出向量作为解码层的输入值,计算得到预测值和评估分数RMSE,具体如下:
通过注意力机制得到的C’i将作为输入序列输入到下一层的解码层当中,通过解码层计算得到yi,公式表示为:
fi=δ(Wf[yi-1,hi,C’i]+bf) (12)
ii=δ(Wi[yi-1,hi,C’i]+bi) (13)
Li=tanh(Wc[yi-1,hi,C’i]+bc) (14)
Ci=fi*Ci-1+ii*Li (15)
Oi=δ(Wo[yi-1,hi,C’i]+bo) (16)
yi=Oi*tanh(Ci) (17)
其中fi、ii和Oi分别表示遗忘门、输入门和输出门,Li和Ci表示细胞状态的更新,Ci-1为i-1时刻的细胞状态,δ为sigmoid激活函数,Wf、Wi、Wc、Wo和bf、bi、bc、bo分别表示输入的权重和偏置值,yi-1为解码器中i-1时刻的预测输出值,hi为解码器中i时刻的隐藏状态,C’i为i时刻的注意力层的输出向量。通过解码器输出得到i时刻的预测输出值yi,yi再通过全连接层的relu激活函数计算得到最终预测序列Y(Y1,Y2,Y3,Y4)。
通过解码层计算得到预测值Y,然后使用均方根误差(RMSE)作为评估标准,RMSE的计算计算公式如下:
其中,Yreal,i为序列中第i个数据的真实值,Ypre,i为序列中第i个数据的预测值,T为序列的长度。因此RMSE值越小,说明该模型的预测效果越好。
5.对融合长短期记忆网络与注意力机制的时间序列预测模型进行性能验证
通过均方根误差(RMSE)指标进行比较,分析本发明的LSTM-attention-LSTM模型与LSTM、堆叠LSTM(stacked-LSTM)、双向LSTM(BiLSTM)、编码解码LSTM(encoder-decoder-LSTM)模型的性能优劣。图8可以看出本发明的模型在四个数据集中的RMSE数值都是最小的,并且明显优于其他当前流行的模型,尤其是在Electricity、Stock和Gold这三个数据集中效果十分明显,比其他模型中最低的RMSE还分别降低了0.13、0.127和2.094。
通过图4、图5、图6和图7对比本发明提出模型的RMSE和其它几个主流模型每个时间点的RMSE分布,容易看出LSTM-attention-LSTM在大部分时间点的RMSE都是比其他模型更小,说明本发明的模型的预测准确率比其它模型高,表现出了良好的鲁棒性,这对于现实的实际应用,如天气预测和交通规划有一定的意义。总体来说,本发明提出的LSTM-attention-LSTM模型比目前主流的时间序列预测模型预测效果更好。
Claims (4)
1.一种融合长短期记忆网络与注意力机制的时间序列预测方法,其特征在于步骤如下:
步骤1:获取时间序列预测问题的样本数据集,包括输入时间序列X={X1,X2,…,Xt}和预测输出的时间序列Y={Y1,Y2,…,Yt},其中t为截止时刻;
步骤2:对原始的时间序列数据进行最大最小归一化处理,并将数据转化成[样本,时间步长,特征]样式的三维数据,对其中的异常值和缺失值进行处理;
步骤3:随机初始化一组超参数,包括迭代参数、batch_size、LSTM中的隐藏层数量和模型的学习率;
步骤4:根据设定的超参数,建立LSTM-attention-LSTM模型的候选模型;LSTM-attention-LSTM模型依次包括编码层、注意力层和解码层;
步骤5:时间序列数据编码,对输入一定时间步长的时间序列数据使用长短期记忆网络LSTM进行编码处理,并对输出向量进行丢弃处理和批量归一化处理,得到当前时刻的隐藏状态;
步骤6:注意力权重计算,对编码层输出的当前时刻的隐藏状态数据和解码层计算得到的隐藏状态进行对比,计算当前时刻的注意力权重,最后得到注意力层的输出向量;
步骤7:时间序列数据预测,对注意力层输出向量通过解码器计算得到初始输入时间序列所对应的预测输出值,再通过全连接层的relu激活函数计算得到最终的预测时间序列。
2.根据权利要求1所述的输入数据编码方法,其特征在于,模型首先对输入的时间序列三维向量X进行编码处理,编码器由LSTM构成,通过遗忘门、输入门、输出门计算,对计算结果即输出的向量进行丢弃处理和批量归一化处理,得到处理后的当前时刻i的隐藏状态向量hi。
3.根据权利要求1所述的注意力权重计算方法,其特征在于,首先计算待预测时刻i时间序列向量X的注意力分配概率分布值,用解码层计算得到的i时刻的隐藏层节点状态Hi去和输入序列X中的编码器得到的j时刻的隐藏层状态hj进行对比,通过注意力权重计算函数F计算每个时刻序列的注意力权重αij,使用αij对向量Hi的每个元素加权求和,得到注意力层的输出向量C’i。
4.根据权利要求1所述的时间序列数据预测方法,其特征在于,以上一时刻的预测输出值yi-1和解码器i时刻的隐藏状态hi和注意力层的输出向量C’i作为输入,经过遗忘门、输入门、输出门计算,并对细胞状态更新,将更新后的细胞状态作为激活函数tanh的输入,通过计算激活函数tanh的结果与输出门的结果的乘积得到i时刻预测输出值yi,以yi为输入通过全连接层的relu激活函数计算得到最终预测序列Y。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310027489.0A CN116432697A (zh) | 2023-01-09 | 2023-01-09 | 一种融合长短期记忆网络与注意力机制的时间序列预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310027489.0A CN116432697A (zh) | 2023-01-09 | 2023-01-09 | 一种融合长短期记忆网络与注意力机制的时间序列预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116432697A true CN116432697A (zh) | 2023-07-14 |
Family
ID=87087890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310027489.0A Pending CN116432697A (zh) | 2023-01-09 | 2023-01-09 | 一种融合长短期记忆网络与注意力机制的时间序列预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116432697A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116933055A (zh) * | 2023-07-21 | 2023-10-24 | 重庆邮电大学 | 一种基于大数据的短视频用户点击预测方法 |
CN117195734A (zh) * | 2023-09-18 | 2023-12-08 | 安徽工程大学 | 融合时间序列与太赫兹特征的热生长氧化层演变预测方法 |
-
2023
- 2023-01-09 CN CN202310027489.0A patent/CN116432697A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116933055A (zh) * | 2023-07-21 | 2023-10-24 | 重庆邮电大学 | 一种基于大数据的短视频用户点击预测方法 |
CN116933055B (zh) * | 2023-07-21 | 2024-04-16 | 重庆邮电大学 | 一种基于大数据的短视频用户点击预测方法 |
CN117195734A (zh) * | 2023-09-18 | 2023-12-08 | 安徽工程大学 | 融合时间序列与太赫兹特征的热生长氧化层演变预测方法 |
CN117195734B (zh) * | 2023-09-18 | 2024-04-16 | 安徽工程大学 | 融合时间序列与太赫兹特征的热生长氧化层演变预测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109754113B (zh) | 基于动态时间规整与长短时间记忆的负荷预测方法 | |
CN109284506B (zh) | 一种基于注意力卷积神经网络的用户评论情感分析***及方法 | |
CN112001498B (zh) | 基于量子计算机的数据识别方法、装置及可读存储介质 | |
CN116432697A (zh) | 一种融合长短期记忆网络与注意力机制的时间序列预测方法 | |
CN111191841A (zh) | 一种电力负荷预测方法、装置、计算机设备及存储介质 | |
CN110751318B (zh) | 一种基于ipso-lstm的超短期电力负荷预测方法 | |
Shinde et al. | Extracting classification rules from modified fuzzy min–max neural network for data with mixed attributes | |
CN108197736A (zh) | 一种基于变分自编码器和极限学习机的空气质量预测方法 | |
CN112733444A (zh) | 基于CycleGAN神经网络的多步长时间序列预测方法 | |
CN108876044B (zh) | 一种基于知识增强神经网络的线上内容流行度预测方法 | |
CN110766060B (zh) | 基于深度学习的时间序列相似度的计算方法、***及介质 | |
CN111160163B (zh) | 一种基于区域关系建模和信息融合建模的表情识别方法 | |
CN111626764A (zh) | 基于Transformer+LSTM神经网络模型的商品销量预测方法及装置 | |
Wu et al. | Optimized deep learning framework for water distribution data-driven modeling | |
CN116227560A (zh) | 基于DTW-former的时间序列预测模型及方法 | |
CN112508286A (zh) | 一种基于Kmeans-BiLSTM-DMD模型的短期负荷预测方法 | |
CN112766603A (zh) | 一种交通流量预测方法、***、计算机设备及存储介质 | |
CN114417852A (zh) | 基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法 | |
CN112529638A (zh) | 基于用户分类和深度学习的服务需求动态预测方法及*** | |
CN114897274A (zh) | 一种提升时间序列预测效果的方法和*** | |
CN117828308A (zh) | 基于局部分段的时间序列预测方法 | |
CN117094451B (zh) | 一种耗电量的预测方法、装置及终端 | |
CN114118267A (zh) | 基于半监督生成对抗网络的文物感知数据缺失值插补方法 | |
CN116543289B (zh) | 一种基于编码器-解码器及Bi-LSTM注意力模型的图像描述方法 | |
CN117034060A (zh) | 基于ae-rcnn的洪水分级智能预报方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |