CN116579447A - 一种基于分解机制和注意力机制的时间序列预测方法 - Google Patents
一种基于分解机制和注意力机制的时间序列预测方法 Download PDFInfo
- Publication number
- CN116579447A CN116579447A CN202211636814.5A CN202211636814A CN116579447A CN 116579447 A CN116579447 A CN 116579447A CN 202211636814 A CN202211636814 A CN 202211636814A CN 116579447 A CN116579447 A CN 116579447A
- Authority
- CN
- China
- Prior art keywords
- sequence
- time
- component
- representing
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000007246 mechanism Effects 0.000 title claims abstract description 34
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000001932 seasonal effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 10
- 230000000295 complement effect Effects 0.000 claims description 9
- 238000010008 shearing Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 230000002779 inactivation Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 2
- 230000002441 reversible effect Effects 0.000 abstract description 7
- 238000005065 mining Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Strategic Management (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于分解机制和注意力机制的时间序列预测方法，属于时间序列预测领域，获取目标数据的历史数据，对历史数据进行预处理，将预处理过的历史数据输入到训练完成的时间序列预测模型中，得到预测序列；所述时间序列预测模型包括可逆标准化模块、时间序列分解模块、时间卷积网络、多头自注意力模块；本发明将时间序列分解模块、时间卷积网络和多头自注意力机制相结合，利用时间序列分解模块获取趋势信息和季节信息，利用多头自注意力机制获取注意力信息，合理设置时间卷积网络结构，实现了对历史时间序列关系的高效挖掘和预测，同时采用可逆标准化模块，增强了数据的分布一致性，能够很好的进行多变量时间序列预测。
Description
技术领域
本发明属于时间序列预测领域，涉及一种基于分解机制和注意力机制的时间序列预测方法
背景技术
时间序列是指一组按照时间上发生的先后顺序进行排列的数据序列，在金融、能源、气象、医疗等领域存在着大量的时间序列数据。挖掘数据与数据之间的关系可以让我们灵活运用已有数据为未来决策提供技术支持。研究如何从大规模、高维度的时间序列数据中获取相关信息，具有很高的实用价值。时间序列预测指的是通过分析时间序列的历史情况，找出时间序列的变化趋势，并根据得出的结论预测未来时间节点下的时间序列数值。
当前的时间序列预测方法主要分为传统时间序列预测方法、基于机器学习的时间序列预测方法、基于深度学习的时间序列预测方法三大类。对于传统时间序列预测方法而言，该类方法是基于历史时间序列的统计特征来对建立统计学模型并求解，存在着参数敏感性高、依赖专业领域知识等缺点；对于基于机器学习的时间序列预测方法而言，现有的方法过度依赖于机器学习模型的选择和特征的发现选择，因此难以进行使用场景的迁移；对于基于深度学习的时间序列预测方法而言，该类方法目前以神经网络类模型为主，但存在着计算复杂度高、历史数据利用不充分等缺点。
发明内容
有鉴于此，本发明的目的在于提供一种基于分解机制和注意力机制的时间序列预测方法。
为达到上述目的，本发明提供如下技术方案：
一种基于分解机制和注意力机制的时间序列预测方法，包括以下步骤：
S1：获取原始时间序列数据集，并对数据集中的数据进行标准化处理，按照比例划分为训练集、验证集、测试集；
S2：对训练集中的时间序列样本进行正标准化处理，得到标准化时间序列；
S3：将标准化时间序列进行时间序列分解，得到初始季节分量和初始趋势分量；
S4：统一输出维度与目标序列相同，将初始季节分量和初始趋势分量处理得到最终季节分量和最终趋势分量；
S5：将标准化时间序列输入到时间卷积网络中，通过多个时间卷积块得到初始预测序列；
S6：将标准化时间序列输入到多头自注意力模块中，得到注意力预测序列；
S7：将最终季节分量、最终趋势分量、初始预测序列、注意力预测序列相加，得到最终预测序列；
S8：对最终预测序列进行逆标准化处理，得到标准化预测序列；
S9：根据标准化预测序列和真实时间序列计算时间序列预测模型的MSE损失函数；
S10：设置初始学习率，使用分段常数衰减调整学习率；
S11：使用Adam算法优化模型，根据学习率动态调整模型参数，当损失函数最小时，完成模型训练；
S12：利用测试集、验证集对训练好的模型进行测试和验证无误后，对时间序列关系进行预测。
进一步，步骤S2所述对训练集中的时间序列样本进行正标准化处理，公式如下：
其中，表示输入序列的平均值，xi表示第i时刻的时间序列值，N表示输入的时间序列长度；σ表示输入序列的标准差，/>表示经过正标准化处理后的第i时刻的时间序列值。
进一步，步骤S4中所述将初始季节分量和初始趋势分量输入到线性层，统一输出维度与目标序列相同，得到最终季节分量和最终趋势分量，具体包括以下步骤：
S41：根据平均核大小调整数据两端的补全数据，对补全后的数据进行一维平均池化，获得初始趋势分量；
S42：将补全数据与初始趋势分量相减，获得初始季节分量。
进一步，步骤S5所述的时间卷积网络包括六个串联的时间卷积块，每个时间卷积块包含两个一维扩张卷积层、两个剪切层；
步骤S5中所述将标准化时间序列输入到时间卷积网络中，通过多个时间卷积块得到初始预测序列，具体包括：
将标准化时间序列输入到一维扩张卷积层中，然后经过剪切层剪切首部多余的数据，保证预测的信息流传递是单向的，再依次输入一维扩张卷积层和剪切层；采用时间卷积网络提取长短期特征的计算公式为：
其中，表示经过正标准化处理后的时间序列样本，Conv表示一维扩张卷积，Chomp表示剪切层，Dropout表示随机失活函数，ReLU表示非线性激活函数，Ft表示经过一个基本扩张卷积单元处理过的时间序列，Fc表示经过一个时间卷积块处理过的时间序列，Conv1D表示一维卷积，FT表示经过时间卷积网络提取的时间特征。
进一步，步骤S6所述的将标准化时间序列输入到多头自注意力模块中，得到注意力预测序列，具体包括以下步骤：
S61：将标准化时间序列输入线性层，获得初始时间序列分量；
S62：将初始时间序列分量分别输入三个不同的线性层，获得最终查询分量、最终键值分量、最终数值分量；
S63：对最终查询分量、最终键值分量、最终数值分量进行自注意力运算，得到自注意力预测分量；
S64：将自注意力预测分量输入线性层，调整输出维度，得到注意力预测序列。
进一步，步骤S64中所述得到注意力预测序列的公式如下：
Q＝WQxt
K＝WKxt
V＝WVxt
其中，表示经过正标准化处理后的时间序列样本，Linear表示线性层，xt表示初始时间序列分量，Q、K、V分别表示查询分量、键值分量、数值分量，Wq、WK、WV分别表示查询分量、键值分量、数值分量对应的权值矩阵，FA表示注意力预测序列，Softmax表示归一化指数函数，KT表示键值分量的转置分量，dk表示模型尺度。
进一步，步骤S8所述的对最终预测序列进行逆标准化处理公式如下：
其中，表示最终预测序列，σ表示输入序列的标准差，/>表示输入序列的平均值，表示标准化预测序列。
进一步，步骤S9所述MSE损失函数为：
其中，N表示预测序列的长度，yp表示预测时间序列值，yt表示真实时间序列值。
本发明的有益效果在于：本发明设计的时间序列预测方法将时间序列分解模块、时间卷积网络和多头自注意力机制相结合，利用时间序列分解模块获取趋势信息和季节信息，利用多头自注意力机制获取注意力信息，合理设置时间卷积网络结构，实现了对历史时间序列关系的高效挖掘和预测，同时采用了可逆标准化模块，增强了数据的分布一致性，能够很好的进行多变量时间序列预测。与现有技术相比，本发明提出的方法在预测效果上有显著提升，其中，均方误差(MSE)和平均绝对误差(MAE)平均分别提升了15.64％和11.99％，每轮平均训练时间减少了57.15％。本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明的一种优选实施例的时间序列预测方法的结构图；
图2为本发明的一种可逆标准化模块结构图；
图3为本发明的一种时间序列分解模块结构图；
图4为本发明的一种时间卷积网络结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
请参阅图1～图4，本发明提供一种基于分解机制和注意力机制的时间序列预测方法，
该方法包括：获取历史时间序列，对历史数据进行预处理，将预处理过的历史数据输入到训练完成的时间序列预测模型中，得到预测序列；所述时间序列预测模型包括可逆标准化模块、时间序列分解模块、时间卷积网络、多头自注意力模块。
对时间序列预测模型进行训练的过程包括：
S1：获取原始时间序列数据集，并对数据集中的时间序列进行标准化处理，得到训练集、验证集和测试集。所述原始时间序列数据集为Weather、Electricity、ETT、Illness、Traffic、Exchange，所述标准化处理是将计算每列时间序列的均值和标准差，重新对时间序列进行赋值，使其符合高斯分布；
S2：将标准化后的训练集中的时间序列数据样本输入到可逆标准化模块中，进行样本数据的正标准化，得到标准化时间序列；
S3：将标准化时间序列输入到时间序列分解模块中，进行时间序列分解，得到初始季节分量和初始趋势分量；
S4：对初始季节分量和初始趋势分量输入到线性层，统一输出维度与目标序列相同，得到最终季节分量和最终趋势分量；
S5：将标准化时间序列输入到时间卷积网络中，通过多个时间卷积块得到初始预测序列；
S6：将标准化时间序列输入到多头自注意力模块中，得到注意力预测序列；
S7：将最终季节分量、最终趋势分量、初始预测序列、注意力预测序列相加，得到最终预测序列；
S8：将最终预测序列输入到可逆标准化模块，对最终预测序列进行逆标准化处理，得到标准化预测序列；
S9：根据标准化预测序列和真实时间序列计算时间序列预测模型的MSE损失函数；
S10：设置初始学习率，使用分段常数衰减调整学习率；
S11：使用Adam算法优化模型，根据学习率动态调整模型参数，当损失函数最小时，完成模型训练。
对时间序列数据集中的时间序列进行划分，对于ETT数据集，训练集、验证集和测试集分别为12、4、4个月的数据，其余数据集按照7:1:2划分为训练集、验证集和测试集，训练集用于时间序列模型的训练，验证集用于在训练过程中对时间序列模型的效果进行检验，测试集用于最终对时间序列模型的预测效果进行评估。
对训练集中的时间序列样本进行正标准化处理的计算公式为：
其中，xi表示第i时刻的时间序列值，N表示输入的时间序列长度，表示输入序列的平均值，σ表示输入序列的标准差，/>表示经过正标准化处理后的第i时刻的时间序列值。
得到初始趋势分量和初始季节分量的过程包括：
S41：根据平均核大小调整数据两端的补全数据，对补全后的数据进行一维平均池化，获得初始趋势分量；
S42：将补全数据与初始趋势分量相减，获得初始季节分量。
时间卷积网络包括六个串联的时间卷积块，一个时间卷积块包含两个一维扩张卷积层、两个剪切层，将标准化时间序列输入到一维扩张卷积层中，然后经过剪切层剪切首部多余的数据，保证预测的信息流传递是单向的，再依次输入一维扩张卷积层和剪切层；六个时间卷积块中的时间卷积扩张率依次为1、2、4、8、16、32，中间的卷积层通道数依次为32、64、128、64、32，首尾卷积层通道数与输入数据保持一致，采用时间卷积网络提取长短期特征的计算公式为：
其中，表示经过正标准化处理后的时间序列样本，Conv表示一维扩张卷积，Chomp表示剪切层，Dropout表示随机失活函数，ReLU表示非线性激活函数，Ft表示经过一个基本扩张卷积单元处理过的时间序列，Fc表示经过一个时间卷积块处理过的时间序列，Conv1D表示一维卷积，FT表示经过时间卷积网络提取的时间特征。
得到注意力预测序列的过程包括：
S61：将标准化时间序列输入线性层，获得初始时间序列分量；
S62：将初始时间序列分量分别输入三个不同的线性层，获得最终查询分量、最终键值分量、最终数值分量；
S63：对最终查询分量、最终键值分量、最终数值分量进行自注意力运算，得到自注意力预测分量；
S64：将自注意力预测分量输入线性层，调整输出维度，得到注意力预测序列。
得到注意力预测序列的公式：
Q＝WQxt
K＝WKxt
V＝WVxt
其中，表示经过正标准化处理后的时间序列样本，Linear表示线性层，xt表示初始时间序列分量，Q、K、V分别表示查询分量、键值分量、数值分量，WQ、WK、WV分别表示查询分量、键值分量、数值分量对应的权值矩阵，FA表示注意力预测序列，Softmax表示归一化指数函数，KT表示键值分量的转置分量，dk表示模型尺度。
对最终预测序列进行逆标准化处理得到标准化预测序列：
其中，表示最终预测序列，σ表示输入序列的标准差，/>表示输入序列的平均值，表示标准化预测序列。
根据真实时间序列值和模型预测时间序列值计算时间序列预测模型的MSE损失函数；其表达式为：
其中，N表示预测序列的长度，yp表示预测时间序列值，yt表示真实时间序列值。
为了验证本发明提出方法的有效性，将本发明提出的方法与Autoformer和Informer算法在Weather、Electricity、ETT、Illness、Traffic、Exchange数据集进行预测效果的对比，使用MSE和MAE进行评估，MAE表达式为：
其中，N表示预测序列的长度，yp表示预测时间序列值，yt表示真实时间序列值。对于Illness数据集，输入序列长度设置为36，输出序列长度分别为24、36、48、60；对于其他数据集，输入序列长度设置为96，输出序列长度分别为96、192、336、720；结果如表1所示：
表1
此外，将本发明提出的方法与Autoformer和Informer算法在Traffic数据集进行模型效率的对比，使用平均每轮训练时间进行评估，结果如表2所示：
表2
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (8)
1.一种基于分解机制和注意力机制的时间序列预测方法，其特征在于：包括以下步骤：
S1：获取原始时间序列数据集，并对数据集中的数据进行标准化处理，按照比例划分为训练集、验证集、测试集；
S2：对训练集中的时间序列样本进行正标准化处理，得到标准化时间序列；
S3：将标准化时间序列进行时间序列分解，得到初始季节分量和初始趋势分量；
S4：统一输出维度与目标序列相同，将初始季节分量和初始趋势分量处理得到最终季节分量和最终趋势分量；
S5：将标准化时间序列输入到时间卷积网络中，通过多个时间卷积块得到初始预测序列；
S6：将标准化时间序列输入到多头自注意力模块中，得到注意力预测序列；
S7：将最终季节分量、最终趋势分量、初始预测序列、注意力预测序列相加，得到最终预测序列；
S8：对最终预测序列进行逆标准化处理，得到标准化预测序列；
S9：根据标准化预测序列和真实时间序列计算时间序列预测模型的MSE损失函数；
S10：设置初始学习率，使用分段常数衰减调整学习率；
S11：使用Adam算法优化模型，根据学习率动态调整模型参数，当损失函数最小时，完成模型训练；
S12：利用测试集、验证集对训练好的模型进行测试和验证无误后，对时间序列关系进行预测。
2.根据权利要求1所述的基于分解机制和注意力机制的时间序列预测方法，其特征在于：步骤S2所述对训练集中的时间序列样本进行正标准化处理，公式如下：
其中，表示输入序列的平均值，xi表示第i时刻的时间序列值，N表示输入的时间序列长度；σ表示输入序列的标准差，/>表示经过正标准化处理后的第i时刻的时间序列值。
3.根据权利要求1所述的基于分解机制和注意力机制的时间序列预测方法，其特征在于：步骤S4中所述将初始季节分量和初始趋势分量输入到线性层，统一输出维度与目标序列相同，得到最终季节分量和最终趋势分量，具体包括以下步骤：
S41：根据平均核大小调整数据两端的补全数据，对补全后的数据进行一维平均池化，获得初始趋势分量；
S42：将补全数据与初始趋势分量相减，获得初始季节分量。
4.根据权利要求1所述的基于分解机制和注意力机制的时间序列预测方法，其特征在于：步骤S5所述的时间卷积网络包括六个串联的时间卷积块，每个时间卷积块包含两个一维扩张卷积层、两个剪切层；
步骤S5中所述将标准化时间序列输入到时间卷积网络中，通过多个时间卷积块得到初始预测序列，具体包括：
将标准化时间序列输入到一维扩张卷积层中，然后经过剪切层剪切首部多余的数据，保证预测的信息流传递是单向的，再依次输入一维扩张卷积层和剪切层；采用时间卷积网络提取长短期特征的计算公式为：
其中，表示经过正标准化处理后的时间序列样本，Conv表示一维扩张卷积，Chomp表示剪切层，Dropout表示随机失活函数，ReLU表示非线性激活函数，Ft表示经过一个基本扩张卷积单元处理过的时间序列，Fc表示经过一个时间卷积块处理过的时间序列，Conv1D表示一维卷积，FT表示经过时间卷积网络提取的时间特征。
5.根据权利要求1所述的基于分解机制和注意力机制的时间序列预测方法，其特征在于：步骤S6所述的将标准化时间序列输入到多头自注意力模块中，得到注意力预测序列，具体包括以下步骤：
S61：将标准化时间序列输入线性层，获得初始时间序列分量；
S62：将初始时间序列分量分别输入三个不同的线性层，获得最终查询分量、最终键值分量、最终数值分量；
S63：对最终查询分量、最终键值分量、最终数值分量进行自注意力运算，得到自注意力预测分量；
S64：将自注意力预测分量输入线性层，调整输出维度，得到注意力预测序列。
6.根据权利要求5所述的基于分解机制和注意力机制的时间序列预测方法，其特征在于：步骤S64中所述得到注意力预测序列的公式如下：
Q＝WQxt
K＝WKxt
V＝WVxt
其中，表示经过正标准化处理后的时间序列样本，Linear表示线性层，xt表示初始时间序列分量，Q、K、V分别表示查询分量、键值分量、数值分量，WQ、WK、WV分别表示查询分量、键值分量、数值分量对应的权值矩阵，FA表示注意力预测序列，Softmax表示归一化指数函数，KT表示键值分量的转置分量，dk表示模型尺度。
7.根据权利要求1所述的基于分解机制和注意力机制的时间序列预测方法，其特征在于：步骤S8所述的对最终预测序列进行逆标准化处理公式如下：
其中，表示最终预测序列，v表示输入序列的标准差，/>表示输入序列的平均值，/>表示标准化预测序列。
8.根据权利要求1所述的基于分解机制和注意力机制的时间序列预测方法，其特征在于：步骤S9所述MSE损失函数为：
其中，N表示预测序列的长度，yp表示预测时间序列值，yt表示真实时间序列值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211636814.5A CN116579447A (zh) | 2022-12-15 | 2022-12-15 | 一种基于分解机制和注意力机制的时间序列预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211636814.5A CN116579447A (zh) | 2022-12-15 | 2022-12-15 | 一种基于分解机制和注意力机制的时间序列预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116579447A true CN116579447A (zh) | 2023-08-11 |
Family
ID=87540111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211636814.5A Pending CN116579447A (zh) | 2022-12-15 | 2022-12-15 | 一种基于分解机制和注意力机制的时间序列预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116579447A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116916362A (zh) * | 2023-09-12 | 2023-10-20 | 中国铁路设计集团有限公司 | 一种多目标优化的lte-r基站通信质量预测方法 |
| CN117522416A (zh) * | 2023-12-28 | 2024-02-06 | 北京芯盾时代科技有限公司 | 一种交易账号的识别方法及装置 |
-
2022
- 2022-12-15 CN CN202211636814.5A patent/CN116579447A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116916362A (zh) * | 2023-09-12 | 2023-10-20 | 中国铁路设计集团有限公司 | 一种多目标优化的lte-r基站通信质量预测方法 |
| CN116916362B (zh) * | 2023-09-12 | 2023-12-12 | 中国铁路设计集团有限公司 | 一种多目标优化的lte-r基站通信质量预测方法 |
| CN117522416A (zh) * | 2023-12-28 | 2024-02-06 | 北京芯盾时代科技有限公司 | 一种交易账号的识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116579447A (zh) | 一种基于分解机制和注意力机制的时间序列预测方法 | |
| CN109492748B (zh) | 一种基于卷积神经网络的电力***的中长期负荷预测模型建立方法 | |
| CN113344288B (zh) | 梯级水电站群水位预测方法、装置及计算机可读存储介质 | |
| CN106548270A (zh) | 一种光伏电站功率异常数据辨识方法及装置 | |
| CN111882157A (zh) | 一种基于深度时空神经网络的需求预测方法、***及计算机可读存储介质 | |
| CN111985719A (zh) | 一种基于改进的长短期记忆网络的电力负荷预测方法 | |
| CN111709790B (zh) | 一种日前市场异常电价辨识方法、装置、设备和存储介质 | |
| CN115936180A (zh) | 光伏发电功率预测方法、装置和计算机设备 | |
| CN115358437A (zh) | 基于卷积神经网络的供电负荷预测方法 | |
| CN116169670A (zh) | 一种基于改进神经网络的短期非居民负荷预测方法及*** | |
| Zhao et al. | Short-term microgrid load probability density forecasting method based on k-means-deep learning quantile regression | |
| CN113762591B (zh) | 一种基于gru和多核svm对抗学习的短期电量预测方法及*** | |
| CN115409369A (zh) | 基于机理和数据混合驱动的综合能源***可靠性评估方法 | |
| CN114970357A (zh) | 节能效果评价方法、***、装置及存储介质 | |
| CN112836876B (zh) | 一种基于深度学习的配电网线路负荷预测方法 | |
| CN114548494A (zh) | 一种可视化造价数据预测智能分析*** | |
| Wang et al. | A transformer-based multi-entity load forecasting method for integrated energy systems | |
| CN114091776A (zh) | 一种基于K-means的多分支AGCNN短期电力负荷预测方法 | |
| CN113469570A (zh) | 信息质量评价模型构建方法、装置、设备及存储介质 | |
| CN115481788B (zh) | 相变储能***负荷预测方法及*** | |
| CN116843012A (zh) | 一种融合个性化上下文和时域动态特征的时序预测方法 | |
| CN117033923A (zh) | 一种基于可解释性机器学习的犯罪数量预测方法及*** | |
| CN114638421A (zh) | 一种发电机组备件需求的预测方法 | |
| CN114861967A (zh) | 一种电力负荷预测方法、***、装置及存储介质 | |
| CN111143774B (zh) | 一种基于影响因素多状态模型的电力负荷预测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |