CN114817773A - 一种基于多级分解和融合的时序预测***及方法 - Google Patents
一种基于多级分解和融合的时序预测***及方法 Download PDFInfo
- Publication number
- CN114817773A CN114817773A CN202210512772.8A CN202210512772A CN114817773A CN 114817773 A CN114817773 A CN 114817773A CN 202210512772 A CN202210512772 A CN 202210512772A CN 114817773 A CN114817773 A CN 114817773A
- Authority
- CN
- China
- Prior art keywords
- sequence
- seasonal
- decomposition
- component
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明提供一种基于多级分解和融合的时序预测***及方法,该***基于Transformer的神经网络,遵循编码器‑解码器结构,所述编码器包含多个相同的编码器块,所述解码器包含多个相同的解码器块。依据预测任务设置初始序列,编码器的每一个编码器块将得到的初始编码序列进行两次混合时序分解和两次交叉融合,得到季节信息经过两次增强的编码序列。解码器的每一个解码器块将得到的初始解码序列进行三次混合时序分解和一次交叉融合,得到季节信息经过再一次增强的解码序列,本申请通过在编码器和解码器内部进行多级的混合时序分解与交叉融合策略,可以增强***模型学习时序特征的能力,有效提升模型进行时序预测任务的性能。
Description
技术领域
本申请涉及基于神经网络算法的深度学习技术领域,尤其涉及一种基于多级分解和融合的时序预测***及方法。
背景技术
在大数据时代,各类数据的规模迎来爆发式增长,面对海量且持续更新的时间序列数据,构建有效的准确性高的预测模型具有重要的研究意义。时间序列预测作为人工智能、数据挖掘的重要技术,已被广泛应用于生产生活中并产生了巨大的经济和社会效益,例如气象预报、新能源发电、金融股市、市场营销、城市交通等。上述例子都以时间序列作为数据形式,却存在着各自的时序特性,如气象数据因为地球的公转和自转具有明显的季节性(以一定频率上下波动),新能源发电受生产要素即风和光资源特性的影响时序差异明显,金融数据由于交易方博弈、业绩和政策等影响极易波动。时间序列的数值是许多外界因素综合作用的结果,因此其具备一定的随机性,对时间序列的准确分析与预测一直是学界和业界的研究重点。
近年来,深度学习在许多领域的优势逐渐凸显,特别是基于Transformer架构的神经网络在自然语言处理、计算机视觉、时间序列预测等人工智能主要领域中相继取得突破性进展。相比于传统方法,深度神经网络具有强大的特征提取和非线性拟合能力,已成为时间序列预测的首选模型。
但当前的方法仍不能很好地应对时序预测中一些问题,例如难以准确地预测长时间序列,随着预测步长的增加,模型所产生的误差可能累积到使得预测失去意义的程度,这种缺陷使得大多数模型仅能用于短期预测。此外,一个时间序列往往是几种模式(Patterns)的叠加或耦合,对于时间序列中存在的多种潜在模式,通常会使用时间序列分解方法显式提取。但是这些分解往往仅作为特征工程方法与神经网络预测模型结合使用,没有深层次的融合,它们作为独立的参数无法通过反向传播参与全局优化,因此当前的混合模型仍难以有效提取复杂的全局时序特征和模式。
发明内容
本发明目的在于提供一种基于多级分解和融合的时序预测***和方法,基于小波分解、季节性-趋势分解两种常见的序列分解思想对***内部编码器和解码器进行改进,并通过多级分解与交叉融合策略增强模型学习时序特征及模式的能力,有效提升了模型进行时序预测任务的性能。
本发明提供一种基于多级分解和融合的时序预测***,包括:
编码器,包含多个相同的编码器块;所述编码器的每一个编码器块包含:
第一级编码器时序分解及融合单元,包含第一个多头自注意力模块(Multi-HeadSelf-Attention),第一个用于神经网络的小波分解模块(WTDU1),第一个用于神经网络的季节性-趋势分解模块(STDU1);所述第一级编码器时序分解及融合单元获取上一级编码器块的输出序列做为第一编码序列;所述第一个多头自注意力模块基于所述第一编码序列提取相关性得到第二编码序列;所述WTDU1将所述第一编码序列分解得到第一高频分量和第一低频分量;所述STDU1将所述第一编码序列与所述第二编码序列相加得到的序列分解得到第一季节分量;采用交叉融合策略将所述第一高频分量、所述第一低频分量融合到所述第一季节分量进行连接,得到第一次季节信息增强表达的序列;将所述第一次季节信息增强表达的序列与所述第一季节分量进行相加后得到第三编码序列,将所述第一次季节信息增强表达的序列与所述第一低频分量进行相加后得到第四编码序列;
第二级编码器时序分解及融合单元,包含第二个用于神经网络的小波分解模块(WTDU2),第二个用于神经网络的季节性-趋势分解模块(STDU2);所述WTDU2将所述第四编码序列分解得到第二高频分量和第二低频分量;所述STDU2将所述第三码序列分解得到第二季节分量;采用交叉融合策略将所述第一高频分量、所述第二高频分量和所述第二低频分量融合到所述第二季节分量进行连接,得到第二次季节信息增强表达的编码序列;所述第二次季节信息增强表达的编码序列为所述每一个编码器块的输出序列。
本发明提供一种基于多级分解和融合的时序预测***,其特征在于,所述***包括:
解码器,包含多个相同的解码器块;所述解码器的每一个解码器块包含:
第一级解码器时序分解单元,包含第二个多头自注意力模块,第三个用于神经网络的小波分解模块(WTDU3),第三个用于神经网络的季节性-趋势分解模块(STDU3);所述第一级解码器时序分解单元获取上一级解码器块的输出序列做为第一解码序列;所述第二个多头自注意力模块基于所述第一解码序列提取相关性得到第二解码序列;所述WTDU3将所述第一解码序列分解得到第三高频分量和第三低频分量;所述STDU3将所述第一解码序列和所述第二解码序列相加得到的序列分解得到的第三季节分量和第三趋势分量;
第二级解码器时序分解及融合单元,包含一个多头交叉注意力模块(Multi-HeadCross-Attention),第四个用于神经网络的小波分解模块(WTDU4),第四个用于神经网络的季节性-趋势分解模块(STDU4);所述多头交叉注意力模块基于所述第三季节分量提取相关性得到第三解码序列;所述WTDU4将所述第三低频分量分解得到第四高频分量和第四低频分量;所述STDU4将所述第三季节分量和所述第三解码序列相加得到的序列分解得到第四季节分量和第四趋势分量;采用交叉融合策略将所述第三高频分量、所述第四高频分量和所述第四低频分量融合到所述第四季节分量进行连接,得到季节信息再次增强表达的序列;将所述季节信息再次增强表达的序列与所述第四低频分量进行相加后得到第四解码序列;将所述季节信息再次增强表达的序列与所述第四季节分量进行相加后得到第五解码序列;
第三级解码器时序分解单元,包含第五个用于神经网络的小波分解模块(WTDU5),第五个用于神经网络的季节性-趋势分解模块(STDU5);所述WTDU5将所述第四解码序列分解得到第五高频分量和第五低频分量;所述STDU5将所述第五解码序列分解得到的第五季节分量和第五趋势分量;将所述第三趋势分量、所述第四趋势分量、所述第五趋势分量、所述第五高频分量和所述第五低频分量求和得到所述每一个编码器块的趋势分量;所述第五季节分量做为所述每一个解码器块的输出序列。
优选的,所述时序预测***基于Transformer的神经网络,所述神经网络遵循编码器-解码器结构;所述多头自注意力模块和多头交叉注意力模块都有三个输入向量:Query、Key、和Value,基于所述三个输入向量的相关性加权求和得到输出;
所述第一个多头自注意力模块将所述第一编码序列做为Query、Key和Value向量;
所述第二个多头自注意力模块将所述第一解码序列做为Query、Key和Value向量;
所述多头交叉注意力模块将所述第三季节分量作为Query向量,所述编码器的输出做为Key和Value向量;
所述编码器的输出为所述编码器的最后一个编码器块的所述第二次季节信息增强表达的编码序列。
优选的,依据预测任务设置初始序列,做为所述编码器的第一个编码器块的初始输入;
可选的,取所述编码器的第一个编码器块的初始输入的后一半做为所述解码器的第一个解码器块的初始输入。
优选的,所述用于神经网络的小波分解模块设计了两种线性层来行使小波变换的功能,并且线性层的权重矩阵、偏置为可学习参数;其中,两个可学习参数权重矩阵为Wh,Wl∈RL×L,分别对应着高频和低频滤波器,L为序列长度,其滤波系数采用如下方法对其进行初始化:
Wi,i+j=fj,i∈[0,L-1],j∈[0,F-1],
其中,f∈RF为离散小波的高频或低频滤波器系数,F为滤波器长度,F<L,为了不影响滤波器的主要功能,α为放缩因子,可以确保其他位置的值被随机初始化为远小于滤波器中的任意值,将两个所述线性层的权重矩阵替换为初始化后的Wh和Wl,同时它们在模型训练时仍然根据反向传播进行参数的优化,对于一个输入序列X∈RL×d,
其中,H,L∈RL×d分别为序列的高频和低频信号分量,σ为Sigmoid激活函数,为了方便表示,上述过程简化为:
H,L=WTDU(X),
所述用于神经网络的小波分解模块内部参数的初始化以及优化过程均是独立的,且权重矩阵的初始化可以根据需要选择其他小波。
优选的,所述用于神经网络的季节性-趋势分解模块将输入序列分解为季节部分和趋势部分;因为不包含短期扰动,所述趋势部分相比于原始序列通常更加平滑,用移动平均(Moving Average)来消除短期不平稳因素,得到序列的趋势部分;根据加法分解的规则,去除平滑的趋势部分后,包含了短期和周期性扰动的剩余部分被认为是季节部分,具体的分解过程如下:
T=MovingAvg(Padding(X)),
S=X-T,
其中,X,S,T∈RL×d分别为输入、季节和趋势部分,使用Padding保证子序列和输入序列具有相同的长度。将上述过程简化为:
S,T=STDU(X)。
优选的,所述交叉融合(Cross-Fusion)策略在季节部分和多级频率信息间建立连接,用于加强分解分量之间的信息交互,其设计理论为序列的季节部分本质上是一种频率分量,因此将季节部分与多级频率信息进行交叉融合,有助于下一级的分解,对于需要交叉融合的N个分量,有如下过程:
Y=Conv1(ConcatConcat([X1,X2,…,XN])),
Y=Conv2(ReLU(Y)),
其中,Conv1和Conv2均为核大小为1的卷积操作,ReLU为激活函数,当其输出作为下一层输入时,可以省去式Y=Conv2(ReLU(Y))以减少模型的计算量,将上述策略简化为:
Y&=CrossFusionCrossFusion([X1,X2,…,XN])。
定义第i级分解为:
Hi,Li=WTDU(Li-1),
Si,Ti=STDU(Si-1),
如果在第i+1级分解时使用交叉融合策略,则有:
本发明提供一种基于多级分解和融合的时序预测方法,遵循编码器-解码器结构,所述方法包括:
依据预测任务设置初始序列;
通过编码器对所述初始序列进行编码,获得包含增强季节信息的向量序列;
通过解码器对所述向量序列进行解码,获得预测任务场景所需要的时间序列。
本发明提供一种基于多级分解和融合的时序预测***和方法,基于小波分解、季节性-趋势分解两种常见的序列分解思想对***内部的编码器和解码器结构进行改进,并通过多级分解与交叉融合策略增强模型学习时序特征及模式的能力,有效提升了模型进行时序预测任务的性能。
附图说明
为了更简单说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中基于多级分解和融合的时序预测***的Transformer模型示意图;
图2为本申请实施例中基于多级分解和融合的时序预测***的编码器结构示意图;
图3为本申请实施例中基于多级分解和融合的时序预测***的解码器结构示意图;
图4为本申请实施例中基于多级分解和融合的时序预测方法的流程示意图;
图5为本申请实施例中基于多级分解和融合的时序预测结果与真实值的对比图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了便于更好的理解本发明,在实施例中,作为一种可选方案,采用基于seq2seq(Sequence to Sequence)架构的Transformer模型完成对时间序列的预测。Transformer模型可以完成NLP(Natural Language Processing)领域的一些典型任务,如机器翻译,文本生成,同时又可以通过构建预训练语言模型,用于不同任务的迁移学习。
如图1所示,Transformer模型可以分为四个模块:输入模块、编码器、解码器和输出模块。输入模块:是为了将文本中词汇的数字表示转变为向量表示,希望在高维向量空间中捕捉词汇间的关系。编码器:由N个编码器块(Encoder Block,或称Encoder Layer)堆叠而成,作为编码器的组成单元,每个编码器块完成一次对输入的特征提取过程,即编码过程。解码器:由N个解码器块(Decoder Block,或称Decoder Layer)堆叠而成,作为解码器的组成单元,每个解码器块根据给定的输入向目标方向进行特征提取操作,即解码过程。根据编码器的结果以及上一次预测的结果,对下一次可能出现的‘值’进行特征表示。输出模块结构:通过对上一步的线性变化得到指定维度的输出。
在一个实施例中,编码器由多个相同的编码器块堆叠而成,每一个编码器块包含:
第一级编码器时序分解及融合单元,包含第一个多头自注意力模块(Multi-HeadSelf-Attention),第一个用于神经网络的小波分解模块(WTDU1),第一个用于神经网络的季节性-趋势分解模块(STDU1);所述第一级编码器时序分解及融合单元获取上一级编码器块的输出序列做为第一编码序列;所述第一个多头自注意力模块基于所述第一编码序列提取相关性得到第二编码序列;所述WTDU1将所述第一编码序列分解得到第一高频分量和第一低频分量;所述STDU1将所述第一编码序列与所述第二编码序列相加得到的序列分解得到第一季节分量;采用交叉融合策略将所述第一高频分量、所述第一低频分量融合到所述第一季节分量进行连接,得到第一次季节信息增强表达的序列;将所述第一次季节信息增强表达的序列与所述第一季节分量进行相加后得到第三编码序列,将所述第一次季节信息增强表达的序列与所述第一低频分量进行相加后得到第四编码序列;
第二级编码器时序分解及融合单元,包含第二个用于神经网络的小波分解模块(WTDU2),第二个用于神经网络的季节性-趋势分解模块(STDU2);WTDU2将第四编码序列分解得到第二高频分量和第二低频分量;STDU2将第三编码序列分解得到第二季节分量;采用交叉融合策略将第一高频分量、第二高频分量和第二低频分量融合到第二季节分量进行连接,得到第二次季节信息增强表达的编码序列;第二次季节信息增强表达的编码序列为每一个编码器块的输出序列。
在一个实施例中,解码器由多个相同的解码器块堆叠而成,每一个解码器块包含:
第一级解码器时序分解单元,包含第二个多头自注意力模块,第三个用于神经网络的小波分解模块(WTDU3),第三个用于神经网络的季节性-趋势分解模块(STDU3);所述第一级解码器时序分解单元获取上一级解码器块的输出序列做为第一解码序列;所述第二个多头自注意力模块基于所述第一解码序列提取相关性得到第二解码序列;所述WTDU3将所述第一解码序列分解得到第三高频分量和第三低频分量;所述STDU3将所述第一解码序列和所述第二解码序列相加得到的序列分解得到的第三季节分量和第三趋势分量;
第二级解码器时序分解及融合单元,包含一个多头交叉注意力模块(Multi-HeadCross-Attention),第四个用于神经网络的小波分解模块(WTDU4),第四个用于神经网络的季节性-趋势分解模块(STDU4);所述多头交叉注意力模块基于所述第三季节分量提取相关性得到第三解码序列;所述WTDU4将所述第三低频分量分解得到第四高频分量和第四低频分量;所述STDU4将所述第三季节分量和所述第三解码序列相加得到的序列分解得到第四季节分量和第四趋势分量;采用交叉融合策略将所述第三高频分量、所述第四高频分量和所述第四低频分量融合到所述第四季节分量进行连接,得到季节信息再次增强表达的序列;将所述季节信息再次增强表达的序列与所述第四低频分量进行相加后得到第四解码序列;将所述季节信息再次增强表达的序列与所述第四季节分量进行相加后得到第五解码序列;
第三级解码器时序分解单元,包含第五个用于神经网络的小波分解模块(WTDU5),第五个用于神经网络的季节性-趋势分解模块(STDU5);WTDU5将第四解码序列分解得到第五高频分量和第五低频分量;STDU5将第五解码序列分解得到的第五季节分量和第五趋势分量;将第三趋势分量、第四趋势分量、第五趋势分量、第五高频分量和第五低频分量求和得到每一个编码器块的趋势分量;第五季节分量即为每一个解码器块的输出序列。
在一个实施例中,时序预测***基于Transformer的神经网络,神经网络遵循编码器-解码器结构;多头自注意力模块和多头交叉注意力模块都有三个输入向量:Query、Key、和Value,基于三个输入向量的相关性加权求和得到输出;
第一个多头自注意力模块将第一编码序列做为Query、Key和Value向量;
第二个多头自注意力模块将第一解码序列做为Query、Key和Value向量;
多头交叉注意力模块将第三季节分量作为Query向量,编码器的输出做为Key和Value向量;
编码器的输出为编码器的最后一个编码器块的第二次季节信息增强表达的编码序列。
在一个实施例中,依据预测任务设置初始序列,做为编码器的第一个编码器块的初始输入;
可选的,取编码器的第一个编码器块的初始输入的后一半做为解码器的第一个解码器块的初始输入。
在一个实施例中,用于神经网络的小波分解模块设计了两种线性层来行使小波变换的功能,并且线性层的权重矩阵、偏置为可学习参数;其中,两个可学习参数权重矩阵为Wh,Wl∈RL×L,分别对应着高频和低频滤波器,L为序列长度,其滤波系数采用如下方法对其进行初始化:
Wi,i+j=fj,i∈[0,L-1],j∈[0,F-1],
具体的,f∈RF为离散小波的高频或低频滤波器系数,F为滤波器长度,F<L,为了不影响滤波器的主要功能,α为放缩因子,可以确保其他位置的值被随机初始化为远小于滤波器中的任意值,将两个所述线性层的权重矩阵替换为初始化后的Wh和Wl,同时它们在模型训练时仍然根据反向传播进行参数的优化,对于一个输入序列X∈RL×d,
具体的,H,L∈RL×d分别为序列的高频和低频信号分量,σ为Sigmoid激活函数,为了方便表示,上述过程简化为:
H,L=WTDU(X),
用于神经网络的小波分解模块内部参数的初始化以及优化过程均是独立的,且权重矩阵的初始化可以根据需要选择其他小波。
在一个实施例中,用于神经网络的季节性-趋势分解模块将输入序列分解为季节部分和趋势部分;因为不包含短期扰动,趋势部分相比于原始序列通常更加平滑,用移动平均(Moving Average)来消除短期不平稳因素,得到序列的趋势部分;根据加法分解的规则,去除平滑的趋势部分后,包含了短期和周期性扰动的剩余部分被认为是季节部分,具体的分解过程如下:
T=MovingAvg(Padding(X)),
S=X-T,
其中,X,S,T∈RL×d分别为输入、季节和趋势部分,使用Padding保证子序列和输入序列具有相同的长度。将上述过程简化为:
S,T=STDU(X)。
在一个实施例中,交叉融合(Cross-Fusion)策略在季节部分和多级频率信息间建立连接,用于加强分解分量之间的信息交互,其设计理论为序列的季节部分本质上是一种频率分量,因此将季节部分与多级频率信息进行交叉融合,有助于下一级的分解,对于需要交叉融合的N个分量,有如下过程:
Y=Conv1(ConcatConcat([X1,X2,…,XN])),
Y=Conv2(ReLU(Y)),
其中,Conv1和Conv2均为核大小为1的卷积操作,ReLU为激活函数,当其输出作为下一层输入时,可以省去式Y=Conv2(ReLU(Y))以减少模型的计算量,将上述策略简化为:
Y&=CrossFusionCrossFusion([X1,X2,…,XN])。
定义第i级分解为:
Hi,Li=WTDU(Li-1),
Si,Ti=STDU(Si-1),
如果在第i+1级分解时使用交叉融合策略,则有:
图2中,提供了一种基于多级分解和融合的时序预测***的编码器结构示意图,编码器由Len个相同的编码器块堆叠而成。每个编码器块内部包含一个多头自注意力模块,2次的混合时序分解和2次交叉融合。每级混合时序分解由STDU和WTDU并行进行分解,实线矩形框表示实施交叉融合策略。
在一个实施例中,Transformer模型编码器初始输入长度为历史1天,比如,96个时间点的数据。
具体的,进行第一次进行编码混合时序分解,在第l个编码器块中,作为第一编码序列输入到多头自注意力模块中,一路由多头自注意力模块提取相关性得到第二编码序列,将第一编码序列和第二编码序列之和输入到第1级STDU中,分解出季节分量S1和趋势分量T1;另一路输入到第1级WTDU中分解出高频分量H1和低频分量L1。在进入第1级混合时序分解过后,使用第1次交叉融合:Y=Conv2(ReLU(Y)),将第1级WTDU产生的两极频率信号H1、L1融和到S1进行连接,得到季节信息增强表达的将分别与S1、L1分别进行相加后得到第三编码序列、第四编码序列。
具体的,多头自注意力模块有三个输入向量:Query、Key、和Value,基于三个输入向量的相关性加权求和得到输出。
可选的,将第一编码序列做为多头自注意力模块的Query、Key和Value向量;
再次进行编码混合时序分解,将第三编码序列输入到第2级STDU分解出季节分量S2和趋势分量T2,将第四编码序列输入到第2级WTDU分解出高频分量H2和低频分量L2,使用第2次交叉融合:Y=Conv2(ReLU(Y)),将第1级和第2级WTDU产生的三极频率信号H1、H2和L2融和到S2进行连接,得到季节信息增强表达的做为第l个编码器块的输出,输入到下一个编码器块中,即作为第l+1个编码器块的输入。
图3中,提供了一种基于多级分解和融合的时序预测***的解码器结构示意图,解码器由Lde个相同的解码器块堆叠而成。每个解码器块内部包含一个多头自注意力模块,一个多头交叉注意力模块,3次的混合时序分解和1次交叉融合。每级混合时序分解由STDU和WTDU并行进行分解,实线矩形框表示实施交叉融合策略。
可选的,取编码器初始输入的后一半作为解码器的初始输入。
具体的,进行第一次解码混合时序分解,在第l个解码器块中,作为第一解码序列,一路由多头自注意力模块提取相关性得到第二解码序列,将第一解码序列和第二解码序列之和输入到第3级STDU中分解为季节分量S3和趋势分量T3。由多头交叉注意力模块基于季节分量S3提取相关性得到第三解码序列;另一路输入到第1级WTDU中分解出高频分量H3和低频分量L3。
具体的,多头自注意力模块、多头交叉注意力模块都有三个输入向量:Query、Key、和Value,基于三个输入向量的相关性加权求和得到输出。
可选的,将第一解码序列做为多头自注意力模块的Query、Key和Value向量。
可选的,将S3做为多头交叉注意力模块的Query向量,编码器的输出Sen做为多头交叉注意力模块的Key、Value向量。
进一步的,进行第二次解码混合时序分解及融合,将季节分量S3与第三解码序列之和输入到第4级STDU分解出季节分量S4和趋势分量T4,将低频分量L3输入到第4级WTDU分解出高频分量H4和低频分量L4,使用第3次交叉融合:Y=Conv2(ReLU(Y)),将第3级和第4级WTDU产生的三极频率信号H3、H4和T4融和到S4进行连接,得到季节信息再次增强表达的将与季节分量S4进行相加得到第五解码序列,将与低频分量L4进行相加得到第四解码序列。
进一步的,进行第三次解码混合时序分解,将第五解码序列输入到第5级STDU分解出季节分量S5和趋势分量T5,将第四解码序列输入到第5级WTDU分解出高频分量H5和低频分量L5。对于每一级解码STDU产生的趋势分量T3、T4、T5和第5级WTDU产生的频率分量H5、L5,将它们相加后得到其和第5级STDU产生的季节分量S5做为第l个解码器块的输出做为第l个解码器块的输出,输入到下一个解码器块中,即作为第l+1个解码器块的输入。
当l=Lde时,此时即为Transformer模型解码器的最后一个解码器块。为最后一个解码器块输出的季节分量,为各解码器块输出的趋势分量的和。将Sde+Tde作为最终预测(Prediction)的时间序列。
其中,具体的细节为:在第4级STDU分解前使用多头交叉注意力以利用编码器学习的季节信息,之后将第二次解码混合时序分解的结果进行交叉融合。与编码器块不同的是,解码器块对解码序列总共使用了3次混合时序分解,并且最后一次分解后没有进一步交叉融合这3级的高、低频分量。这是因为第5级得到的H5、L5已是相对低频的信号,并不适合与季节分量S5融合。另外趋势本质上是一种受低频因素影响的变化曲线,因此将3次混合时序分解得到的趋势分量和第5级的频率信号叠加以得到低频增强的趋势表达。
本发明可以用于多个典型的时序预测场景。
图4中,本发明提供一种基于多级分解和融合的时序预测方法,遵循编码器-解码器结构,包括:
步骤S410,依据预测任务设置初始序列;
步骤S420,通过编码器对所述初始序列进行编码,获得包含增强季节信息的向量序列;
步骤S430,通过解码器对所述向量序列进行解码,获得预测任务场景所需要的时间序列。
本实施例以Transformer模型进行说明,将多级分解和融合思想引入到Transformer中,结合可用于神经网络的小波单元和季节性-趋势分解单元改进其编码器、解码器和内部构造。
图5中,基于本领域一个公开常用的数据集——电力变压器数据集(ETT)对本发明进行具体说明。该数据集记录了含有2个电力变压器的数据,包括了时间、各类负载、油温等特征,时间分辨率为15分钟,本实施例选取其中的油温进行预测。
在对数据集进行初步的预处理后,按照时间顺序以7:1:2的比例将数据集划分为训练集、验证集和测试集。对训练集进行归一化,以消除数据中各属性的数量级差异,便于模型训练与收敛。设置模型相关的超参数,如确定Adam为优化算法、选取均方误差(MSE)作为损失函数、训练时输入的批处理大小为32、模型编码器层数为2、模型解码器层数为1等。
训练时,输入长度为历史1天(96个时间点)的数据,模型基于给出的未来96个时间点的真实数据与自身的预测结果进行误差计算,并回传误差以对自身的参数进行优化。训练过程中,通过验证集选择最优的模型参数。训练完成后,在测试集上分析模型在该任务场景下的预测性能。最后,可将训练好的模型应用于目标场景的实际预测任务中。
参考图1-4为本实施例中基于transformer架构时序预测模型的原理框图和方法图,得到电力变压器油温数据的预测值,由图5可知,油温数据的预测值与样本值十分接近,样本值就是参数样本对应的油温数据实际值。因此,所述油温数据时序预测模型能准确的按照时间顺序进行油温数据的预测,满足实际电力变压器的生产要求,有利于推动成产过程的绿色制造和智能制造。
本发明提出一种基于多级分解和融合的时序预测方法和***,基于多级时序分解和融合的通用时序预测Transformer模型,相比于其他模型,具有更高的时序预测性能。可在神经网络内部工作的时序分解单元WTDU与STDU能够直接参与到全局参数优化中,并提升模型对季节性、趋势、高低频信息的提取能力。带有交叉融合策略的多级分解可以在季节性和频率信息之间建立连接,将多级的频率信息融入到季节分量中,增强了模型对季节信息的表达。
需要说明的是,在此提供的方法和***不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本发明也不针对任何特定的编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明内容,并且上面对特定语言、***功能模块的调用所做的描述仅仅是为了披露发明的最佳实施方式。
在此处所提供的说明书中,说明了大量的具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下完成实现。在一些示例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若对本发明的这些修改和变型属于本发明权利要去及其同等技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种基于多级分解和融合的时序预测***,其特征在于,所述***包括:
编码器,包含多个相同的编码器块;所述编码器的每一个编码器块包含:
第一级编码器时序分解及融合单元,包含第一个多头自注意力模块(Multi-HeadSelf-Attention),第一个用于神经网络的小波分解模块(WTDU1),第一个用于神经网络的季节性-趋势分解模块(STDU1);所述第一级编码器时序分解及融合单元获取上一级编码器块的输出序列做为第一编码序列;所述第一个多头自注意力模块基于所述第一编码序列提取相关性得到第二编码序列;所述WTDU1将所述第一编码序列分解得到第一高频分量和第一低频分量;所述STDU1将所述第一编码序列与所述第二编码序列相加得到的序列分解得到第一季节分量;采用交叉融合策略将所述第一高频分量、所述第一低频分量融合到所述第一季节分量进行连接,得到第一次季节信息增强表达的序列;将所述第一次季节信息增强表达的序列与所述第一季节分量进行相加后得到第三编码序列,将所述第一次季节信息增强表达的序列与所述第一低频分量进行相加后得到第四编码序列;
第二级编码器时序分解及融合单元,包含第二个用于神经网络的小波分解模块(WTDU2),第二个用于神经网络的季节性-趋势分解模块(STDU2);所述WTDU2将所述第四编码序列分解得到第二高频分量和第二低频分量;所述STDU2将所述第三编码序列分解得到第二季节分量;采用交叉融合策略将所述第一高频分量、所述第二高频分量和所述第二低频分量融合到所述第二季节分量进行连接,得到第二次季节信息增强表达的编码序列;所述第二次季节信息增强表达的编码序列为所述每一个编码器块的输出序列。
2.一种基于多级分解和融合的时序预测***,其特征在于,所述***包括:
解码器,包含多个相同的解码器块;所述解码器的每一个解码器块包含:
第一级解码器时序分解单元,包含第二个多头自注意力模块,第三个用于神经网络的小波分解模块(WTDU3),第三个用于神经网络的季节性-趋势分解模块(STDU3);所述第一级解码器时序分解单元获取上一级解码器块的输出序列做为第一解码序列;所述第二个多头自注意力模块基于所述第一解码序列提取相关性得到第二解码序列;所述WTDU3将所述第一解码序列分解得到第三高频分量和第三低频分量;所述STDU3将所述第一解码序列和所述第二解码序列相加得到的序列分解得到的第三季节分量和第三趋势分量;
第二级解码器时序分解及融合单元,包含一个多头交叉注意力模块(Multi-HeadCross-Attention),第四个用于神经网络的小波分解模块(WTDU4),第四个用于神经网络的季节性-趋势分解模块(STDU4);所述多头交叉注意力模块基于所述第三季节分量提取相关性得到第三解码序列;所述WTDU4将所述第三低频分量分解得到第四高频分量和第四低频分量;所述STDU4将所述第三季节分量和所述第三解码序列相加得到的序列分解得到第四季节分量和第四趋势分量;采用交叉融合策略将所述第三高频分量、所述第四高频分量和所述第四低频分量融合到所述第四季节分量进行连接,得到季节信息再次增强表达的序列;将所述季节信息再次增强表达的序列与所述第四低频分量进行相加后得到第四解码序列;将所述季节信息再次增强表达的序列与所述第四季节分量进行相加后得到第五解码序列;
第三级解码器时序分解单元,包含第五个用于神经网络的小波分解模块(WTDU5),第五个用于神经网络的季节性-趋势分解模块(STDU5);所述WTDU5将所述第四解码序列分解得到第五高频分量和第五低频分量;所述STDU5将所述第五解码序列分解得到的第五季节分量和第五趋势分量;将所述第三趋势分量、所述第四趋势分量、所述第五趋势分量、所述第五高频分量和所述第五低频分量求和得到所述每一个编码器块的趋势分量;所述第五季节分量做为所述每一个解码器块的输出序列。
3.根据权利要求1-2所述的时序预测***,其特征在于,所述时序预测***基于Transformer的神经网络,所述神经网络遵循编码器-解码器结构;所述多头自注意力模块和多头交叉注意力模块都有三个输入向量:Query、Key、和Value,基于所述三个输入向量的相关性加权求和得到输出;
所述第一个多头自注意力模块将所述第一编码序列做为Query、Key和Value向量;
所述第二个多头自注意力模块将所述第一解码序列做为Query、Key和Value向量;
所述多头交叉注意力模块将所述第三季节分量作为Query向量,所述编码器的输出做为Key和Value向量;
所述编码器的输出为所述编码器的最后一个编码器块的所述第二次季节信息增强表达的编码序列。
4.根据权利要求1-2所述的时序预测***,其特征在于,依据预测任务设置初始序列,做为所述编码器的第一个编码器块的初始输入;
可选的,取所述编码器的第一个编码器块的初始输入的后一半做为所述解码器的第一个解码器块的初始输入。
6.根据权利要求1-2所述的时序预测***,其特征在于,所述用于神经网络的小波分解模块设计了两种线性层来行使小波变换的功能,并且线性层的权重矩阵、偏置为可学习参数;其中,两个可学习参数权重矩阵为Wh,Wl∈RL×L,分别对应着高频和低频滤波器,L为序列长度,其滤波系数采用如下方法对其进行初始化:
Wi,i+j=fj,i∈[0,L-1],j∈[0,F-1],
其中,f∈RF为离散小波的高频或低频滤波器系数,F为滤波器长度,F<L,为了不影响滤波器的主要功能,α为放缩因子,可以确保其他位置的值被随机初始化为远小于滤波器中的任意值,将两个所述线性层的权重矩阵替换为初始化后的Wh和Wl,同时它们在模型训练时仍然根据反向传播进行参数的优化,对于一个输入序列X∈RL×d,
其中,H,L∈RL×d分别为序列的高频和低频信号分量,σ为Sigmoid激活函数,为了方便表示,上述过程简化为:
H,L=WTDU(X),
所述用于神经网络的小波分解模块内部参数的初始化以及优化过程均是独立的,且权重矩阵的初始化可以根据需要选择其他小波。
7.根据权利要求1-2所述的时序预测***,其特征在于,所述用于神经网络的季节性-趋势分解模块将输入序列分解为季节部分和趋势部分;因为不包含短期扰动,所述趋势部分相比于原始序列通常更加平滑,用移动平均(Moving Average)来消除短期不平稳因素,得到序列的趋势部分;根据加法分解的规则,去除平滑的趋势部分后,包含了短期和周期性扰动的剩余部分被认为是季节部分,具体的分解过程如下:
T=MovingAvg(Padding(X)),
S=X-T,
其中,X,S,T∈RL×d分别为输入、季节和趋势部分,使用Padding保证子序列和输入序列具有相同的长度。将上述过程简化为:
S,T=STDU(X)。
8.根据权利要求1-2所述的时序预测***,其特征在于,所述交叉融合(Cross-Fusion)策略在季节部分和多级频率信息间建立连接,用于加强分解分量之间的信息交互,其设计理论为序列的季节部分本质上是一种频率分量,因此将季节部分与多级频率信息进行交叉融合,有助于下一级的分解,对于需要交叉融合的N个分量,有如下过程:
Y=Conv1(ConcatConcat([X1,X2,...,XN])),
Y=Conv2(ReLU(Y)),
其中,Conv1和Conv2均为核大小为1的卷积操作,ReLU为激活函数,当其输出作为下一层输入时,可以省去式Y=Conv2(ReLU(Y))以减少模型的计算量,将上述策略简化为:
Y&=CrossFusionCrossFusion([X1,X2,...,XN]),
定义第i级分解为:
Hi,Li=WTDU(Li-1),
Si,Ti=STDU(Si-1),
如果在第i+1级分解时使用交叉融合策略,则有:
9.一种基于多级分解和融合的时序预测方法,遵循编码器-解码器结构,所述方法包括:
依据预测任务设置初始序列;
通过编码器对所述初始序列进行编码,获得包含增强季节信息的向量序列;
通过解码器对所述向量序列进行解码,获得预测任务场景所需要的时间序列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210512772.8A CN114817773A (zh) | 2022-05-11 | 2022-05-11 | 一种基于多级分解和融合的时序预测***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210512772.8A CN114817773A (zh) | 2022-05-11 | 2022-05-11 | 一种基于多级分解和融合的时序预测***及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114817773A true CN114817773A (zh) | 2022-07-29 |
Family
ID=82514138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210512772.8A Pending CN114817773A (zh) | 2022-05-11 | 2022-05-11 | 一种基于多级分解和融合的时序预测***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114817773A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115080964A (zh) * | 2022-08-16 | 2022-09-20 | 杭州比智科技有限公司 | 基于图深度学习的数据流转异常检测方法及*** |
CN115440390A (zh) * | 2022-11-09 | 2022-12-06 | 山东大学 | 一种传染病病例数量预测方法、***、设备及存储介质 |
CN117438023A (zh) * | 2023-10-31 | 2024-01-23 | 灌云县南岗镇卫生院 | 基于大数据的医院信息管理方法及*** |
-
2022
- 2022-05-11 CN CN202210512772.8A patent/CN114817773A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115080964A (zh) * | 2022-08-16 | 2022-09-20 | 杭州比智科技有限公司 | 基于图深度学习的数据流转异常检测方法及*** |
CN115080964B (zh) * | 2022-08-16 | 2022-11-15 | 杭州比智科技有限公司 | 基于图深度学习的数据流转异常检测方法及*** |
CN115440390A (zh) * | 2022-11-09 | 2022-12-06 | 山东大学 | 一种传染病病例数量预测方法、***、设备及存储介质 |
CN117438023A (zh) * | 2023-10-31 | 2024-01-23 | 灌云县南岗镇卫生院 | 基于大数据的医院信息管理方法及*** |
CN117438023B (zh) * | 2023-10-31 | 2024-04-26 | 灌云县南岗镇卫生院 | 基于大数据的医院信息管理方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114817773A (zh) | 一种基于多级分解和融合的时序预测***及方法 | |
CN113905391A (zh) | 集成学习网络流量预测方法、***、设备、终端、介质 | |
CN110570035B (zh) | 同时建模时空依赖性和每日流量相关性的人流量预测*** | |
CN109583588B (zh) | 一种短期风速预测方法及*** | |
CN111242377A (zh) | 一种集成深度学习和数据去噪的短期风速预测方法 | |
Ren et al. | Short‐Term Traffic Flow Prediction: A Method of Combined Deep Learnings | |
CN113361559A (zh) | 基于深宽度联合神经网络的多模态数据知识信息提取方法 | |
CN116957698A (zh) | 一种基于改进时序模式注意力机制的电价预测方法 | |
CN115034496A (zh) | 基于GCN-Transformer的城市轨道交通节假日短时客流预测方法 | |
Wang | A stock price prediction method based on BiLSTM and improved transformer | |
CN116843083A (zh) | 基于混合神经网络模型的碳排放预测***及方法 | |
CN113312843B (zh) | 一种大型多变压器极限负载预测***和装置 | |
CN114186412A (zh) | 基于自注意力机制的水电站水轮机顶盖长序列水位预测***及方法 | |
CN116502774B (zh) | 一种基于时间序列分解和勒让德投影的时间序列预测方法 | |
CN115856425B (zh) | 一种基于隐空间概率预测的频谱异常检测方法及装置 | |
CN116613740A (zh) | 基于transform与TCN组合模型的智能负荷预测方法 | |
Ren | The advance of generative model and variational autoencoder | |
CN113377907B (zh) | 基于记忆掩码自注意力网络的端到端任务型对话*** | |
CN115270917A (zh) | 一种两阶段处理多模态服装图像生成方法 | |
CN111967577B (zh) | 一种基于变分自编码器的能源互联网场景生成方法 | |
CN110909254B (zh) | 基于深度学习模型针对问答社区进行问题热度预测的方法和*** | |
Zhang et al. | A fast evolutionary knowledge transfer search for multiscale deep neural architecture | |
Kang et al. | TiCTok: Time-Series Anomaly Detection with Contrastive Tokenization | |
CN113032778A (zh) | 一种基于行为特征编码的半监督网络异常行为检测方法 | |
CN117010459B (zh) | 基于模块化和序列化自动生成神经网络的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |