CN111460913A - 一种自适应的时序信号方向性预测方法 - Google Patents

一种自适应的时序信号方向性预测方法 Download PDF

Info

Publication number
CN111460913A
CN111460913A CN202010174003.2A CN202010174003A CN111460913A CN 111460913 A CN111460913 A CN 111460913A CN 202010174003 A CN202010174003 A CN 202010174003A CN 111460913 A CN111460913 A CN 111460913A
Authority
CN
China
Prior art keywords
network
net
sub
stm
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010174003.2A
Other languages
English (en)
Inventor
马旭
房震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010174003.2A priority Critical patent/CN111460913A/zh
Publication of CN111460913A publication Critical patent/CN111460913A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/06—Asset management; Financial planning or analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Finance (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Technology Law (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种自适应的时序信号方向性预测方法，采用LSTM网络结合BN层和全连接层，既适用于线性信号模型，也适用于非线性信号模型，尤其适用于具有显著时域连续性的时序信号，能够有效提高网络对方向剧烈变化的时间点的预测能力；此外，本发明还采用多个独立训练的LSTM‑BN网络对时序信号的方向性进行独立预测，再对多个预测结果进行投票的方法，显著提高了预测准确率和稳定性。

Description

一种自适应的时序信号方向性预测方法
技术领域
本发明属于时序信号预测、深度学习技术领域，尤其涉及一种自适应的时序信号方向性预测方法。
背景技术
随着社会信息化程度的提高，对时序数据进行高效分析和精准预测的重要性日益凸显。时序信号涉及到的领域十分广泛，如GPS数据、天气数据、国家外汇储备数据和股票价格数据等等。在涉及到时序数据分析和预测的很多领域中，需要对时序信号进行精准预测。
时序信号的预测模型可大致分为两种类型，线性模型和非线性模型。针对线性模型有很多行之有效的预测方法，如传统的时间序列预测方法中的带控项的自回归模型(CAR)、滑动平均模型(MA)以及自回归滑动平均模型(ARMA)。CAR、MA和ARMA等都属于统计学范畴的线性模型，适用于具有季节性、周期性等特征平稳的时间序列预测。但是，在实际生产生活中，人们涉及到的大部分时间序列信号都是非线性的，具有非线性、非平稳甚至随机性的特点。由于线性模型不能全面反映时间序列的复杂变化特性，因此利用现有的线性模型进行非线性时序信号的预测，往往得不到有价值的预测结果。
近年来，随着神经网络和深度学习相关研究的推进，利用BP(back propagation,BP)神经网络或循环神经网络(recurrent neural network,RNN)进行非线性时序信号预测的方法被广泛研究。人工神经网络在非线性时序信号预测中表现出了良好的学习能力，并且不需要先验知识的积累，比较适合于实际工作中的非线性时序信号预测。
相关研究表明，RNN特别是其中的长短时记忆神经网络(long short-term memorynetwork,LSTM-Net)可以解决梯度消失问题，并且能够学习到时序信号之间的长期依赖关系，在具有高度时间依赖性的时序信号的预测中表现出了较高的预测性能。
但是，针对非线性程度很高的时序信号，单纯地使用LSTM-Net进行回归或者分类预测，很难得到一个稳定的预测结果，并且过拟合现象较为严重。即便是对非线性程度不是很高的时序信号进行预测时，网络在信号发生剧烈变化的时刻的预测结果也并不理想，并且网络的预测结果整体上会表现出一定的“延迟”性。
同时，尽管LSTM-Net可以学习到时序信号之间的长期依赖关系，但是在如股票价格数据、天气数据等具有显著时间持续性的非线性时序信号的预测中，随着训练数据集与测试数据集的时间间隔不断增大，网络的预测能力会呈现一个下降的趋势。
综上，针对具有显著时域连续性、非线性和非平稳特性的时序信号，需要提出一种自适应的时序信号方向性预测方法，以提升现有预测方法的性能。
发明内容
为解决上述问题，本发明提供一种自适应的时序信号方向性预测方法，能够显著提高了预测准确率和稳定性。
一种自适应的时序信号方向性预测方法，包括以下步骤：
S1：采用s个独立训练的LSTM-BN网络分别对时序信号的方向性进行预测，得到s个独立的预测值，其中，LSTM-BN网络包括LSTM网络、BN层、激活层以及全连接层，方向性包括上升与下降，s为大于或等于3的奇数；
S2：对s个独立的预测值进行投票操作，投票占多数的预测值为时序信号的最终预测结果。
进一步地，所述LSTM-BN网络的训练方法为：
S101：根据下式计算原始时序信号数据X对应的原始变化率数据R：
Figure BDA0002410171620000031
其中，Xt代表X中第t天的时序信号数据，Xt-1代表第t-1天的时序信号数据；Rt为原始变化率数据R中的元素，代表第t天数据相对于第t-1天数据的变化率；
S102：对原始变化率数据R进行数据分割，得到具有时域连续性的子训练集和子测试集；
S103：为子训练集中的每个样本标注两个标签，其中，两个标签分别为各训练样本所对应的下一时刻的时序信号数据的变化率和变化方向；
S104：分别初始化s个LSTM-BN网络的网络参数，其中，网络参数包括权重参数与偏置值参数，且各LSTM-BN网络分别记为Net_1,…，Net_s；
S105：利用子训练集X_Train_1独立地训练各LSTM-BN网络，得到s个具有相同网络结构，但具有不同网络参数的LSTM-BN网络，并分别记为Net_1_1,…，Net_s_1；
S106：根据子训练集X_Train_1中各样本的标签，采用自适应的Ada_loss_function损失函数计算网络Net_1_1,…，Net_s_1对应的损失值loss_1_1,…,loss_s_1；
S107：根据损失值loss_1_1,…,loss_s_1，利用深度学习中的学习算法分别更新每个LSTM-BN网络的网络参数，同时根据子测试集X_Test_1得到本次更新后每个LSTM-BN网络对应的预测值；
S108：判断更新后每个LSTM-BN网络对应的预测值的正确率是否达到预定阈值，若未达到，则进入步骤S109；若达到，则结束训练，得到子训练集X_Train_1对应的LSTM-BN网络；
S109：重复步骤S106～S108，直至网络对训练集分类的正确率达到预定阈值。
进一步地，所述Net_1_1的损失值的计算公式如下：
Figure BDA0002410171620000041
其中，C为所述方向性对应的类别数量，C＝2；F(Y_Train_R_1)代表对第一个子训练集对应的下一时刻的时序信号数据的变化率做预设函数变换；Y_Train_U_1为第一个子训练集所对应的下一时刻时序信号数据的变化方向，(log_softmax(Pre_1_1))i表示为：
Figure BDA0002410171620000042
其中，Pre_1_1为网络Net_1_1对应的预测值，(Pre_1_1)i为Pre_1_1中的第i个数。
进一步地，对原始变化率数据R进行数据分割，得到两个以上具有时域连续性的子训练集和子测试集，除第一个子训练集X_Train_1和第一个子测试集X_Test_1外，其余子训练集和子测试集继续进行训练，其中，训练具体包括以下步骤：
S110：利用第二个子训练集X_Train_2在继承Net_1_1,…，Net_s_1的网络参数基础上训练LSTM-BN网络，重新得到s个具有相同网络结构，但具有不同网络参数的LSTM-BN网络，并分别记为Net_1_2,…，Net_s_2；
S111：在自适应的Ada_loss_function损失函数中增加一个和网络Net_1_1,…，Net_s_1的网络参数相关的惩罚项后，根据第二个子训练集X_Train_2中各样本的标签计算网络Net_1_2,…，Net_s_2对应的损失值loss_1_2,…,loss_s_2；
S112：根据损失值loss_1_2,…,loss_s_2，利用深度学习中的学习算法分别更新每个LSTM-BN网络的网络参数，同时根据第二个子测试集X_Test_2得到本次更新后每个LSTM-BN网络对应的预测值；
S113：判断更新后每个LSTM-BN网络对应的预测值的正确率是否达到预定阈值，若未达到，则进入步骤S114；若达到，则结束训练，得到第二个子训练集X_Train_2对应的网络；
S114：重复S111-S113，直至网络对训练集分类的正确率达到预定阈值；
S115：以此类推，重复步骤S110～S114，得到剩余子训练集对应的网络。
进一步地，在进行X_Train_j的训练时，损失值的计算方式为：
Figure BDA0002410171620000051
其中，j＝2,…,s，λ为设定的权重因子，θz代表在训练网络Net_1_j时，网络Net_1_j待训练的权重参数；
Figure BDA0002410171620000061
代表网络Net_1_j-1的网络权重参数，在训练网络Net_1_j的过程中
Figure BDA0002410171620000062
为固定值，C为分类器对应的类别数量，且C＝2，F(Y_Train_R_j)代表对第j个子训练集对应的下一时刻的时序信号数据的变化率做函数变换；Y_Train_U_j为第一个子训练集所对应的下一时刻时序信号数据的变化方向，(log_softmax(Pre_1_j))i表示为：
Figure BDA0002410171620000063
其中，Pre_1_j为网络Net_1_j对应的预测值，(Pre_1_j)i为Pre_1_j中的第i个数。
进一步地，对步骤S101中的原始变化率数据R进行数据预处理操作，得到预处理操作后的变化率数据
Figure BDA0002410171620000064
后，再对变化率数据
Figure BDA0002410171620000065
进行数据分割，然后执行后续步骤。
有益效果：
1、本发明提供一种自适应的时序信号方向性预测方法，采用LSTM网络结合BN层和全连接层，既适用于线性信号模型，也适用于非线性信号模型，尤其适用于具有显著时域连续性的时序信号，能够有效提高网络对方向剧烈变化的时间点的预测能力；此外，本发明还采用多个独立训练的LSTM-BN网络对时序信号的方向性进行独立预测，再对多个预测结果进行投票的方法，显著提高了预测准确率和稳定性。
2、本发明提供一种自适应的时序信号方向性预测方法，得到初始LSTM-BN网络后，采用继承性分段训练方法获取剩余子训练集对应的LSTM-BN网络，无需完全重复网络训练过程，即可针对不同时间段的测试集更新网络参数，从而对时序信号的长期有效预测。
附图说明
图1为本发明提供的一种自适应的时序信号方向性预测方法的流程图；
图2为本发明提供的LSTM-BN网络结构示意图；
图3为本发明提供的自适应的LSTM-BN网络的训练方法示意图；
图4为本发明提供的自适应的时序信号方向性预测方法示意图；
图5为本发明提供的利用继承性分段训练方法训练网络以实现长期预测的示意图；
图6为本发明提供的选用某种股票的原始价格数据曲线示意图；
图7(a)为本发明提供的股票价格所对应的收益率曲线示意图；
图7(b)为本发明提供的对收益率曲线做数据预处理后的曲线示意图；
图8(a)为本发明提供的只使用交叉熵函数的LSTM-Net在测试集上的回报曲线示意图；
图8(b)为本发明提供的采用自适应损失函数、投票操作和分段继承性训练方法的LSTM-BN网络在测试集上的回报曲线示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，一种自适应的时序信号方向性预测方法，其特征在于，包括以下步骤：
S1：采用s个独立训练的LSTM-BN网络分别对时序信号的方向性进行预测，得到s个独立的预测值，其中，如图2所示，LSTM-BN网络包括LSTM网络、BN层、激活层以及全连接层，方向性包括上升与下降，s为大于或等于3的奇数。
需要说明的是，本发明基于适合处理时序信号的LSTM网络，增加了BN层和全连接层，创建了前向深度分类网络LSTM-BN，其中，该前向深度分类网络LSTM-BN可视为一种分类器，则分类器的输入是经过数据预处理的给定时序信号的变化程度，输出为输入样本下一时刻的预测变化方向。
S2：对s个独立的预测值进行投票操作，投票占多数的预测值为时序信号的最终预测结果。
由此可见，本发明提供了一种基于投票机制的预测方法，采用对多个网络独立训练、独立预测，再对得到的多组预测结果进行投票以获得最终预测结果的方法，提高了网络的预测准确率和稳定性。对相同的时域连续的训练集X_Train和同样的网络结构设置，独立地训练多个LSTM-BN网络，可以记为Net_1,…，Net_s，在网络训练结束并进行测试集X_Test预测时，使用Net_1,…，Net_s独立地得到多组预测值Pre_1,…，Pre_s；将多组预测值Pre_1,…，Pre_s中所有的对应点进行投票操作，投票占多数的预测值即为X_Test的最终预测结果Pre_fin。
进一步地，本发明一种自适应的LSTM-BN网络训练方法，可以提高网络对方向剧烈变化的时间点的预测能力。设时间连续的训练集X_Train所对应的时序信号的变化率为R_Train、变化方向为U_Train(增为1，减为0)，在网络训练过程中，当X_Train通过网络完成前向传播得到预测值Pre(输入样本的增减变化方向)后，损失值的计算方法为，由C_Train和Pre计算出的交叉熵损失值乘上对R_Train进行某种函数变换后的值，即损失函数Ada_loss_function，并由Pre和U_Train计算预测正确率P；然后，利用深度学习算法通过最小化损失值对网络进行迭代训练，当P达到某一个预定阈值时停止训练。如图3所示，所述LSTM-BN网络的训练方法具体包括以下步骤：
S101：根据下式计算原始时序信号数据X对应的原始变化率数据R：
Figure BDA0002410171620000091
其中，Xt代表向量X中第t天的时序信号数据，Xt-1代表向量X中第t-1天的时序信号数据；Rt为向量原始变化率数据R中的元素，代表第t天数据相对于第t-1天数据的变化率，其中，Rt＜0代表时序信号数据在第t天的值相对第t-1天是下降的，Rt≥0代表时序信号数据在第t天的值相对第t-1天是增长或没有变化(等于0，代表二者相等)的；
需要说明的是，对原始变化率数据R进行数据预处理操作，如归一化，得到预处理操作后的变化率数据
Figure BDA0002410171620000092
后，再对变化率数据
Figure BDA0002410171620000093
进行数据分割，然后执行后续步骤；其中，对原始变化率数据R进行数据预处理操作，能够使数据分布相对更加集中，有利于网络训练时收敛，避免过拟合或欠拟合的情况发生。
Figure BDA0002410171620000094
其中，
Figure BDA0002410171620000095
代表做了数据预处理后的变化率数据，h(·)代表本次实验中所采用的数据预处理操作。
S102：对变化率数据
Figure BDA0002410171620000096
进行数据分割，得到两个以上具有时域连续性的子训练集和子测试集，即两个相邻的训练集之间存在部分相同的样本；其中，子训练集和子测试集的数量相同，均为两个以上；
Figure BDA0002410171620000101
其中，
Figure BDA0002410171620000102
代表第i个子训练集X_Train_i中的第j个样本，且第i个子训练集有ni个训练样本，对应的子测试集包括ki个样本。
S103：为子训练集中的每个样本标注两个标签，其中，两个标签分别为各训练样本所对应的下一时刻的时序信号数据的变化率Rt和变化方向；
需要说明的是，可以由原始变化率数据R中每一个时间点的变化率数据的正负计算出该时刻时序信号相对上一时刻是增长或下降的变化方向数据
Figure BDA0002410171620000103
Figure BDA0002410171620000104
其中，Ut为向量变化方向数据
Figure BDA0002410171620000105
中的元素，其中，Ut＝0代表时序信号在第t天的值相对第t-1天是下降的，Ut＝1代表时序信号在第t天的值相对第t-1天是增长或者保持不变的。
S104：分别初始化s个LSTM-BN网络的网络参数，其中，网络参数包括权重参数与偏置值参数，且各LSTM-BN网络分别记为Net_1,…，Net_s；
S105：利用第一个子训练集X_Train_1独立地训练各LSTM-BN网络，得到s个具有相同网络结构，但具有不同网络参数的LSTM-BN网络，并分别记为Net_1_1,…，Net_s_1；
需要说明的是，训练集样本首先经过一个多层LSTM结构，再经过BN层和激活层，最后经过一个多层全连接结构得到维度为2×1网络输出值。
S106：根据第一个子训练集X_Train_1中各样本的标签，采用自适应的Ada_loss_function损失函数计算网络Net_1_1,…，Net_s_1对应的损失值loss_1_1,…,loss_s_1；
例如，网络Net_1_1的损失值loss_1_1的计算公式如下：
Figure BDA0002410171620000111
其中，C为分类器对应的类别数量，C＝2，其中，分类器用于判别时序信号的方向性是上升还是下降，因此，C也是方向性对应的类别数量，且方向性对应的类别为上升和下降；F(Y_Train_R_1)代表对第一个子训练集对应的下一时刻的时序信号数据的变化率做函数变换；Y_Train_U_1为第一个子训练集所对应的下一时刻时序信号数据的变化方向，(log_softmax(Pre_1_1))i表示为：
Figure BDA0002410171620000112
其中，Pre_1_1为网络Net_1_1对应的预测值，(Pre_1_1)i为Pre_1_1中的第i个数。
同理可以计算其他网络的损失值，本发明对此不作赘述。
S107：根据损失值loss_1_1,…,loss_s_1，利用深度学习中的学习算法，如Adam算法分别更新每个LSTM-BN网络的网络参数，同时根据第一个子测试集X_Test_1得到本次更新后每个LSTM-BN网络对应的预测值；
S108：判断更新后每个LSTM-BN网络对应的预测值的正确率是否达到预定阈值，若未达到，则进入步骤S109；若达到，则结束训练，得到第一个子训练集X_Train_1对应的LSTM-BN网络；
S109：重复步骤S106～S108，直至网络对训练集分类的正确率达到预定阈值。
需要说明的是，网络训练结束后，利用Net_1_1,…，Net_s_1独立地对测试集X_Test_1进行预测得到测试集样本所在类别的分类结果，即预测值Pre_1_1,…，Pre_s_1；然后将所得到的s组预测值Pre_1_1,…，Pre_s_1中相同时刻点的数据进行投票操作，投票占多数的类别即为X_Test_1最终的预测结果，即Pre_1。
由此可见，根据步骤S101～S109可以得到第一个子训练集X_Train_1对应的LSTM-BN网络；进一步地，在获取剩余子训练集对应的LSTM-BN网络时，本发明提供一种继承性分段训练方法，无需完全重复网络训练过程，即可针对不同时间段的测试集更新网络参数，从而对时序信号的长期有效预测；也就是说，当对时序信号进行长期预测时，首先基于起始时间点向过去选取足够长度的训练集时间区间用来生成包含多个训练样本的训练集X_Train_1，使用X_Train_1训练得到网络Net_1_1，…，Net_s_1后，仅对一个短时间区间K1进行预测得到预测值Pre_1_1，…，Pre_s_1，再执行投票操作得到对K1区间的最终预测结果Pre_fin_1；例如，从起始时间点选取的区间为1-100，短时间区间K1为101-120；然后，选取的训练集时间区间向前移动，当刚好将K1区间的信息包括在内时，采取相同的方法划分出新的训练集X_Train_2，如训练集X_Train_2对应的时间区间为20-120；那么，针对X_Train_2进行训练时，首先继承已有网络Net_1_1,…，Net_s_1的网络参数，以此为基础，在损失函数中添加一个与已有的Net_1_1,…，Net_s_1的网络参数有关的罚函数项，并最小化损失值，最终可以得到网络Net_1_2,…，Net_s_2的参数，再对新的短时间区间K2，如121-140进行预测并执行投票操作，得到预测值Pre_fin_2；重复上述操作，可以获得连续的长时间区间[K1,…,Kp]的预测结果，实现了对时序信号变化方向的长期有效预测，同时降低了网络参数更新的计算复杂度。
具体的，一种继承性分段训练方法，具体包括以下步骤：
S110：利用第二个子训练集X_Train_2在继承Net_1_1,…，Net_s_1的网络参数基础上训练LSTM-BN网络，重新得到s个具有相同网络结构，但具有不同网络参数的LSTM-BN网络，并分别记为Net_1_2,…，Net_s_2；
S111：在自适应的Ada_loss_function损失函数中增加一个和网络Net_1_1,…，Net_s_1的网络参数相关的惩罚项后，根据第二个子训练集X_Train_2中各样本的标签计算网络Net_1_2,…，Net_s_2对应的损失值loss_1_2,…,loss_s_2；
损失值loss_1_2的计算方法为：
Figure BDA0002410171620000131
其中，λ为一个权重因子；θz代表在训练Net_1_2时，网络待训练的权重参数；
Figure BDA0002410171620000132
代表Net_1_1的网络权重参量，
Figure BDA0002410171620000133
在训练Net_1_2的过程中是固定值，C代表类别。
进一步地，在进行X_Train_j的训练时，各损失值的通用计算方式为：
Figure BDA0002410171620000141
其中，j＝2,…,s，λ为设定的权重因子，θz代表在训练网络Net_1_j时，网络Net_1_j待训练的权重参数，Z为网络中的所有权重和偏置参数的数量(网络中的每一层都包括很多权重和偏置参数)；
Figure BDA0002410171620000142
代表网络Net_1_j-1的网络权重参数，在训练网络Net_1_j的过程中
Figure BDA0002410171620000143
为固定值，C为分类器对应的类别数量，且C＝2，F(Y_Train_R_j)代表对第j个子训练集对应的下一时刻的时序信号数据的变化率做函数变换；Y_Train_U_j为第一个子训练集所对应的下一时刻时序信号数据的变化方向，(log_softmax(Pre_1_j))i表示为：
Figure BDA0002410171620000144
其中，Pre_1_j为网络Net_1_j对应的预测值，(Pre_1_j)i为Pre_1_j中的第i个数。
S112：根据损失值loss_1_2,…,loss_s_2，利用深度学习中的学习算法分别更新每个LSTM-BN网络的网络参数，同时根据第二个子测试集X_Test_2得到本次更新后每个LSTM-BN网络对应的预测值；
S113：判断更新后每个LSTM-BN网络对应的预测值的正确率是否达到预定阈值，若未达到，则进入步骤S114；若达到，则结束训练，得到第二个子训练集X_Train_2对应的网络；
S114：重复S111-S113，直至网络对训练集分类的正确率达到预定阈值；
S115：以此类推，重复步骤S110～S114，得到剩余子训练集对应的网络。
需要说明的是，网络训练结束后，利用Net_1_2,…，Net_s_2独立地对测试集X_Test_2进行预测得到测试集样本所在类别的分类结果，即预测值Pre_1_2,,…，Pre_s_2；然后，将所得到的s组预测值Pre_1_2,,…，Pre_s_2中所有的对应点进行投票操作，投票占多数的类别即为X_Test_2最终的预测结果，即Pre_2。
进一步地，不断重复上述步骤，得到X_Test_3,…,X_Test_p的预测结果，即Pre_3,…，Pre_p；然后，将Pre_1,…，Pre_p拼接起就实现了对时序信号变化方向的长期高效有效预测，如图4、图5所示。
下面以股票价格为例，对本发明提供的一种自适应的时序信号方向性预测方法进行说明：
其中，图6为以股票价格为例进行实验时，所选用的某种股票的原始价格数据曲线。图7(a)为股票价格所对应的收益率曲线，图7(b)为对收益率曲线做了数据预处理操作后的曲线。图8(a)为LSTM-Net网络结合交叉熵损失函数时的回报曲线图，图8(b)为LSTM-BN网络结合自适应损失函数、投票操作和分段继承性训练方法得到的回报曲线图。
股票市场中的回报值的定义如下：
Figure BDA0002410171620000151
当采用网络的预测值绘制回报曲线时，回报值的定义如下：
Figure BDA0002410171620000161
从图8(b)中，可以发现采用了本发明中所提出的自适应损失函数、投票操作和分段继承性训练方法的LSTM-BN网络相较与只使用了交叉熵损失函数的LSTM-Net在对同样的测试集进行预测时，预测正确率有7％左右的提高；回报曲线的终值从1.21提高到了1.51，有24％左右的提升；回报曲线走势更加平滑稳定，在测试样本发生剧烈方向变化的时间点上的预测效果较优。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种自适应的时序信号方向性预测方法，其特征在于，包括以下步骤：
S1：采用s个独立训练的LSTM-BN网络分别对时序信号的方向性进行预测，得到s个独立的预测值，其中，LSTM-BN网络包括LSTM网络、BN层、激活层以及全连接层，方向性包括上升与下降，s为大于或等于3的奇数；
S2：对s个独立的预测值进行投票操作，投票占多数的预测值为时序信号的最终预测结果。
2.如权利要求1所述的一种自适应的时序信号方向性预测方法，其特征在于，所述LSTM-BN网络的训练方法为：
S101：根据下式计算原始时序信号数据X对应的原始变化率数据R：
Figure FDA0002410171610000011
其中，Xt代表X中第t天的时序信号数据，Xt-1代表第t-1天的时序信号数据；Rt为原始变化率数据R中的元素，代表第t天数据相对于第t-1天数据的变化率；
S102：对原始变化率数据R进行数据分割，得到具有时域连续性的子训练集和子测试集；
S103：为子训练集中的每个样本标注两个标签，其中，两个标签分别为各训练样本所对应的下一时刻的时序信号数据的变化率和变化方向；
S104：分别初始化s个LSTM-BN网络的网络参数，其中，网络参数包括权重参数与偏置值参数，且各LSTM-BN网络分别记为Net_1,…，Net_s；
S105：利用子训练集X_Train_1独立地训练各LSTM-BN网络，得到s个具有相同网络结构，但具有不同网络参数的LSTM-BN网络，并分别记为Net_1_1,…，Net_s_1；
S106：根据子训练集X_Train_1中各样本的标签，采用自适应的Ada_loss_function损失函数计算网络Net_1_1,…，Net_s_1对应的损失值loss_1_1,…,loss_s_1；
S107：根据损失值loss_1_1,…,loss_s_1，利用深度学习中的学习算法分别更新每个LSTM-BN网络的网络参数，同时根据子测试集X_Test_1得到本次更新后每个LSTM-BN网络对应的预测值；
S108：判断更新后每个LSTM-BN网络对应的预测值的正确率是否达到预定阈值，若未达到，则进入步骤S109；若达到，则结束训练，得到子训练集X_Train_1对应的LSTM-BN网络；
S109：重复步骤S106～S108，直至网络对训练集分类的正确率达到预定阈值。
3.如权利要求2所述的一种自适应的时序信号方向性预测方法，其特征在于，所述Net_1_1的损失值的计算公式如下：
Figure FDA0002410171610000021
其中，C为所述方向性对应的类别数量，C＝2；F(Y_Train_R_1)代表对第一个子训练集对应的下一时刻的时序信号数据的变化率做预设函数变换；Y_Train_U_1为第一个子训练集所对应的下一时刻时序信号数据的变化方向，(log_softmax(Pre_1_1))i表示为：
Figure FDA0002410171610000031
其中，Pre_1_1为网络Net_1_1对应的预测值，(Pre_1_1)i为Pre_1_1中的第i个数。
4.如权利要求2所述的一种自适应的时序信号方向性预测方法，其特征在于，对原始变化率数据R进行数据分割，得到两个以上具有时域连续性的子训练集和子测试集，除第一个子训练集X_Train_1和第一个子测试集X_Test_1外，其余子训练集和子测试集继续进行训练，其中，训练具体包括以下步骤：
S110：利用第二个子训练集X_Train_2在继承Net_1_1,…，Net_s_1的网络参数基础上训练LSTM-BN网络，重新得到s个具有相同网络结构，但具有不同网络参数的LSTM-BN网络，并分别记为Net_1_2,…，Net_s_2；
S111：在自适应的Ada_loss_function损失函数中增加一个和网络Net_1_1,…，Net_s_1的网络参数相关的惩罚项后，根据第二个子训练集X_Train_2中各样本的标签计算网络Net_1_2,…，Net_s_2对应的损失值loss_1_2,…,loss_s_2；
S112：根据损失值loss_1_2,…,loss_s_2，利用深度学习中的学习算法分别更新每个LSTM-BN网络的网络参数，同时根据第二个子测试集X_Test_2得到本次更新后每个LSTM-BN网络对应的预测值；
S113：判断更新后每个LSTM-BN网络对应的预测值的正确率是否达到预定阈值，若未达到，则进入步骤S114；若达到，则结束训练，得到第二个子训练集X_Train_2对应的网络；
S114：重复S111-S113，直至网络对训练集分类的正确率达到预定阈值；
S115：以此类推，重复步骤S110～S114，得到剩余子训练集对应的网络。
5.如权利要求4所述的一种自适应的时序信号方向性预测方法，其特征在于，在进行X_Train_j的训练时，损失值的计算方式为：
Figure FDA0002410171610000041
其中，j＝2,…,s，λ为设定的权重因子，θz代表在训练网络Net_1_j时，网络Net_1_j待训练的权重参数，Z为网络中的所有权重和偏置参数的数量；
Figure FDA0002410171610000042
代表网络Net_1_j-1的网络权重参数，在训练网络Net_1_j的过程中
Figure FDA0002410171610000043
为固定值，C为分类器对应的类别数量，且C＝2，F(Y_Train_R_j)代表对第j个子训练集对应的下一时刻的时序信号数据的变化率做函数变换；Y_Train_U_j为第一个子训练集所对应的下一时刻时序信号数据的变化方向，(log_softmax(Pre_1j_)i)表示为：
Figure FDA0002410171610000044
其中，Pre_1_j为网络Net_1_j对应的预测值，(Pre_1_j)i为Pre_1_j中的第i个数。
6.如权利要求2所述的一种自适应的时序信号方向性预测方法，其特征在于，对步骤S101中的原始变化率数据R进行数据预处理操作，得到预处理操作后的变化率数据
Figure FDA0002410171610000045
后，再对变化率数据
Figure FDA0002410171610000046
进行数据分割，然后执行后续步骤。
CN202010174003.2A 2020-03-13 2020-03-13 一种自适应的时序信号方向性预测方法 Pending CN111460913A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010174003.2A CN111460913A (zh) 2020-03-13 2020-03-13 一种自适应的时序信号方向性预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010174003.2A CN111460913A (zh) 2020-03-13 2020-03-13 一种自适应的时序信号方向性预测方法

Publications (1)

Publication Number Publication Date
CN111460913A true CN111460913A (zh) 2020-07-28

Family

ID=71685874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010174003.2A Pending CN111460913A (zh) 2020-03-13 2020-03-13 一种自适应的时序信号方向性预测方法

Country Status (1)

Country Link
CN (1) CN111460913A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122790A (zh) * 2017-03-15 2017-09-01 华北电力大学 基于混合神经网络和集成学习的非侵入式负荷识别算法
CN107958257A (zh) * 2017-10-11 2018-04-24 华南理工大学 一种基于深度神经网络的中药材识别方法
CN108900346A (zh) * 2018-07-06 2018-11-27 西安电子科技大学 基于lstm网络的无线网络流量预测方法
WO2019056499A1 (zh) * 2017-09-20 2019-03-28 平安科技（深圳）有限公司 预测模型训练方法、数据监控方法、装置、设备及介质
CN109859469A (zh) * 2019-02-15 2019-06-07 重庆邮电大学 一种基于集成lstm神经网络的车流量预测方法
JP2019212131A (ja) * 2018-06-06 2019-12-12 シャープ株式会社 予測装置、電気機器、管理システム、予測方法、及び制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122790A (zh) * 2017-03-15 2017-09-01 华北电力大学 基于混合神经网络和集成学习的非侵入式负荷识别算法
WO2019056499A1 (zh) * 2017-09-20 2019-03-28 平安科技（深圳）有限公司 预测模型训练方法、数据监控方法、装置、设备及介质
CN107958257A (zh) * 2017-10-11 2018-04-24 华南理工大学 一种基于深度神经网络的中药材识别方法
JP2019212131A (ja) * 2018-06-06 2019-12-12 シャープ株式会社 予測装置、電気機器、管理システム、予測方法、及び制御プログラム
CN108900346A (zh) * 2018-07-06 2018-11-27 西安电子科技大学 基于lstm网络的无线网络流量预测方法
CN109859469A (zh) * 2019-02-15 2019-06-07 重庆邮电大学 一种基于集成lstm神经网络的车流量预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王硕等: "基于深层长短期记忆网络与批规范化的间歇过程故障检测方法", 计算机应用 *

Similar Documents

Publication Publication Date Title
CN110223517B (zh) 基于时空相关性的短时交通流量预测方法
CN110363282B (zh) 一种基于图卷积网络的网络节点标签主动学习方法和***
CN111860989B (zh) 一种基于蚁群算法优化的lstm神经网络短时交通流量预测方法
CN109143408B (zh) 基于mlp的动态区域联合短时降水预报方法
CN113012766B (zh) 一种基于在线选择性集成的自适应软测量建模方法
CN111160650B (zh) 一种基于Adaboost算法的交通流特性分析与预测方法
CN108734220A (zh) 基于k线聚类和强化学习的自适应金融时间序列预测方法
CN112765894B (zh) 一种基于k-lstm的铝电解槽状态预测方法
CN111553535A (zh) 一种基于ae-lstm-bo车流量预测的导航参考方法
CN108241872A (zh) 基于多特征因子的隐马尔科夫模型的自适应股票预测方法
CN112257847A (zh) 一种基于CNN和LSTM预测地磁Kp指数的方法
Suryo et al. Improved time series prediction using LSTM neural network for smart agriculture application
CN105913078A (zh) 改进自适应仿射传播聚类的多模型软测量方法
CN112766603A (zh) 一种交通流量预测方法、***、计算机设备及存储介质
CN114154647A (zh) 一种基于多粒度联邦学习的方法
CN115510322A (zh) 一种基于深度学习的多目标优化推荐方法
CN113988415A (zh) 一种中长期电力负荷预测方法
CN111667694B (zh) 一种基于改进dtw-knn的短时交通流预测方法
CN111582567B (zh) 一种基于递阶集成的风电功率概率预测方法
CN113255963A (zh) 基于路元拆分和深度学习模型lstm的路面使用性能预测方法
CN111460913A (zh) 一种自适应的时序信号方向性预测方法
CN111797979A (zh) 基于lstm模型的振动传递***
CN110674883A (zh) 一种基于k近邻和概率选择主动学习方法
CN111160419B (zh) 一种基于深度学习的电子式互感器数据分类预测方法及装置
CN115062759A (zh) 一种基于改进型长短记忆神经网络的故障诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination