CN113158582A - 基于复数值前向神经网络的风速预测方法 - Google Patents
基于复数值前向神经网络的风速预测方法 Download PDFInfo
- Publication number
- CN113158582A CN113158582A CN202110565347.0A CN202110565347A CN113158582A CN 113158582 A CN113158582 A CN 113158582A CN 202110565347 A CN202110565347 A CN 202110565347A CN 113158582 A CN113158582 A CN 113158582A
- Authority
- CN
- China
- Prior art keywords
- complex
- neural network
- forward neural
- training
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 87
- 239000013598 vector Substances 0.000 claims abstract description 81
- 238000005457 optimization Methods 0.000 claims abstract description 75
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 40
- 230000006870 function Effects 0.000 claims description 67
- 210000002569 neuron Anatomy 0.000 claims description 66
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 20
- 210000002364 input neuron Anatomy 0.000 claims description 17
- 230000003595 spectral effect Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000003121 nonmonotonic effect Effects 0.000 claims description 4
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/04—Constraint-based CAD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/08—Fluids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Feedback Control In General (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于复数值前向神经网络的风速预测方法,包括:获取用于风速预测的训练集和预测集,构建复数值前向神经网络并初始化参数向量;在复数值前向神经网络训练的目标函数中引入GroupLasso正则化项,并将训练转化为约束优化问题的求解,采用训练集和定制复数值投影拟牛顿算法训练复数值前向神经网络,直到满足预设的条件结束训练,得到训练好的复数值前向神经网络,将预测集输入训练好的复数值前向神经网络得到风速预测结果。本发明通过引入GroupLasso正则化项和使用定制复数值投影拟牛顿算法训练复数值前向神经网络实现网络结构和参数的优化,使网络结构紧凑、泛化性能强,同时提高风速预测的准确性。
Description
技术领域
本发明涉及风速预测技术领域,具体涉及一种基于复数值前向神经网络的风速预测方法。
背景技术
相比于石油等一些传统的不可再生能源,风能作为一种绿色、环保的可再生能源吸引了越来越多人的关注,发展风能已经成为当前的一种趋势。但是,由于风速具有随机性和间歇性等特点,风速的不稳定性会对电网***的安全性和稳定性构成威胁。因此,精确预测风速在风能开发中扮演着至关重要的角色。
目前,风速预测方法主要有基于天气预报数据的物理模型预测法和基于历史数据的风速预测法两种方法。然而,由于数值气象信息的缺乏,基于天气预报数据进行风速预测的物理模型和预测方法使用相对较少,因此更多的是利用历史数据预测风速的动态变化。基于历史数据预测风速的动态变化在风电场中得到了广泛的应用,其中常见的方法有通过人工神经网络、支持向量机和卡尔曼滤波等来预测风速的动态变化。
人工神经网络作为一种简单有效的建模方法具有优异的非线性映射和逼近能力,近年来被广泛地用于风速预测及与之相关的应用中。但是,在利用人工神经网络模型进行风速预测时,经常会出现由于网络结构设计不合理导致在风速预测中难以达到预期性能的情况。因此,对于人工神经网络方法而言,选择一个合适的网络结构就是一个急需解决的问题,其中最为简单的方法就是通过人工不断试错直至确定一个较为合适的结构,但是该方法既费时又费力。同时,为了获得合适的网络权值和偏置等参数,梯度下降法被广泛用于前向神经网络的训练过程中,但是梯度下降法容易出现陷入局部极小值、收敛速度缓慢等问题。因此,如何设计合适的训练方法寻找合适的网络结构和参数也值得进一步研究。
发明内容
为此,本发明所要解决的技术问题在于克服现有技术中的不足,提出一种可以同时实现网络结构和参数优化的基于复数值前向神经网络的风速预测方法。
为解决上述技术问题,本发明提供了一种基于复数值前向神经网络的风速预测方法,包括以下步骤:
步骤1:获取用于风速预测的数据并整理成数据集,将数据集分为训练集和预测集;
步骤2:构建复数值前向神经网络,初始化复数值前向神经网络中的参数向量ψ,参数向量ψ由包括神经元之间的连接权值、神经元的偏置和激活函数的增益系数的可调参数构成;
步骤3:引入GroupLasso正则化项构建复数值前向神经网络训练时的目标函数,将复数值前向神经网络的训练转化为约束优化问题的求解;
采用训练集和定制复数值投影拟牛顿算法训练复数值前向神经网络,直到满足预设的迭代结束条件停止训练;
步骤4:得到训练好的复数值前向神经网络,将预测集输入训练好的复数值前向神经网络得到风速预测结果。
进一步地,所述步骤2中构建复数值前向神经网络,构建的复数值前向神经网络包括P个输入神经元、N个隐层神经元和Q个输出神经元,复数值前向神经网络中的所述参数向量ψ为列向量,所有可调参数按顺序排列为参数向量ψ:
其中,wp表示第p个输入神经元和隐层神经元之间的连接权值组成的复向量,b1是所有隐层神经元的偏置构成的复向量,σ1表示隐层神经元激活函数的增益系数构成的复向量,vn表示第n个隐层神经元和输出层神经元之间的连接权值组成的复向量,b2是所有输出层神经元的偏置构成的复向量,σ2表示输出层神经元激活函数的增益系数构成的复向量,上标T表示转置;上标R表示对应复向量的实部构成的向量,上标I表示对应复向量的虚部构成的向量,
所述复数值前向神经网络的隐层输出向量hj=fC(Wzj+b1),输出层的输出向量oj=fC(Vhj+b2);其中fC(·)表示激活函数,W=[w1,w2,...,wP]为输入层和隐层神经元之间的权值矩阵,zj是复数值前向神经网络的第j个输入样本;V=[v1,v2,...,vN]为隐层和输出层神经元之间的权值矩阵。
进一步地,所述步骤3的具体过程为:
步骤3.1:在传统的均方误差函数E'中引入GroupLasso正则化项RGL得到复数值前向神经网络训练时的目标函数E;
步骤3.3:使用和矩阵计算近似海塞矩阵Η(m)并得到近似带约束条件的二次优化问题;其中τ为常数,表示保留最近τ次的参数变化量s(i)和梯度变化量r(i);表示第i+1次迭代时的参数向量值,表示第i次迭代时的参数向量值,表示目标函数E在处的梯度,表示目标函数E在处的梯度,S表示由从第m-τ到m-1次迭代时参数变化量s(i)组成的矩阵,R表示由从第m-τ到m-1次迭代时梯度变化量r(i)组成的矩阵,m表示第m次迭代;
步骤3.5:利用近似带约束条件的二次优化问题的解计算原约束优化问题s.t.||ψa||≤ρa,a=1,2,...,A在第m迭代时可行下降方向d(m),并使用Armijo线性搜索确定合适的学习步长η(m);
步骤3.7:重复步骤3.3~步骤3.6,直到满足预设的迭代结束条件停止复数值前向神经网络的训练。
其中为传统的均方误差函数,J是训练样本的总数,oj表示第j个训练样本的实际输出,yj表示第j个训练样本的期望输出,上标H表示共轭转置;λ为正则化系数,a=1,2,...,A,A=P+N+2表示可能被惩罚的神经元总个数,即输入神经元个数P、隐层神经元个数N以及偏置节点个数的总和;|·|表示向量的维数,||·||为欧几里得范数,ψa表示复数值前向神经网络中第a个神经元与下一层所有神经元之间的连接权值所构成的向量。
进一步地,所述步骤3.3的具体过程为:
步骤3.3.1:近似海塞矩阵Η(m)的计算公式为:
H(m)=σ(m)I-NM-1NT,
步骤3.3.2:利用近似海塞矩阵Η(m)得到第m次迭代时的近似带约束条件的二次优化问题:
s.t.||ψa||≤ρa,a=1,2,...,A
进一步地,所述步骤3.4的具体过程为:
步骤3.4.2:利用投影算子
进一步地,所述步骤3.5中可行下降方向d(m)的计算方法为:
在定制复数值投影拟牛顿算法的第m次迭代时,首先利用谱投影梯度算法计算带约束条件的二次优化问题的解然后根据式得到原约束优化问题s.t||ψa||≤ρa,a=1,2,...,A在第m次迭代时的可行下降方向d(m)。
进一步地,所述步骤3.5中使用Armijo线性搜索确定合适的学习步长η(m),具体为:
在定制复数值投影拟牛顿算法的第m次迭代时使用Armijo线性搜索确定合适的学习步长η(m):
进一步地,所述步骤3中预设的迭代结束条件,具体为:
本发明的上述技术方案相比现有技术具有以下优点:
(1)本发明的训练过程中,通过在传统的均方误差函数中引入Group Lasso正则化项得到复数值前向神经网络训练时的目标函数,使得在训练过程中可以有效删除冗余的输入神经元和隐层神经元,实现网络结构和参数向量的优化。
(2)采用定制复数值投影拟牛顿算法训练复数值前向神经网络,将激活函数的增益系数作为可调参数一并优化,克服了由于激活函数陷入饱和区域对训练过程造成的不良影响。同时,复数值前向神经网络中冗余神经元的权值会被直接置零,无需预先设置阈值,冗余神经元可以直接删除,并且对模型的最终输出无任何影响,即可以同时实现网络结构和参数向量的优化。
(3)通过引入GroupLasso正则化项和使用定制复数值投影拟牛顿算法训练复数值前向神经网络,同时实现网络结构和参数的优化,从而使复数值前向神经网络的结构紧凑、增强网络模型的泛化性能,并且使得复数值前向神经网络在预测风速时的误差更小、提高预测准确性。
附图说明
为了使本发明的内容更容易被清楚的理解,下面根据本发明的具体实施例并结合附图,对本发明作进一步详细的说明。
图1是本发明的流程图。
图2是本发明中采用定制复数值投影拟牛顿算法训练复数值前向神经网络的示意图。
图3是本发明中定制复数值投影拟牛顿算法训练方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
在本发明的描述中,需要理解的是,术语“包括”意图在于覆盖不排他的包含,例如包含了一系列步骤或单元的过程、方法、***、产品或设备,没有限定于已列出的步骤或单元而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
参照图1流程图所示,本发明一种基于复数值前向神经网络的风速预测方法的实施例,包括以下步骤:
步骤1:获取用于风速预测的数据并整理成数据集,将数据集分为训练集和预测集;数据集z=[z1,z2,…,zP]T,P表示输入的维数,包括风速平均值、风向平均值、标准差、气压、温度和湿度六组参数。数据集为采集到的历史数据,本实施例中P取值为六,z=[z1,z2,…,zP]T中的各维数据分别对应风速平均值、风向平均值、标准差、气压、温度和湿度。
步骤2:构建复数值前向神经网络模型,复数值前向神经网络中的参数向量ψ由包括神经元之间的连接权值、神经元的偏置和激活函数的增益系数的可调参数构成。所述复数值前向神经网络模型包括P个输入神经元(输入神经元的个数P与数据集的维数P保持一致)、N个隐层神经元和Q个输出神经元,复数值前向神经网络中的所述参数向量ψ为列向量,所有可调参数按顺序排列为参数向量ψ:
其中,wp表示第p个输入神经元和隐层神经元之间的连接权值组成的复向量,b1是所有隐层神经元的偏置构成的复向量,σ1表示隐层神经元激活函数的增益系数构成的复向量,vn表示第n个隐层神经元和输出层神经元之间的连接权值组成的复向量,b2是所有输出层神经元的偏置构成的复向量,σ2表示输出层神经元激活函数的增益系数构成的复向量,上标T表示转置;上标R表示对应复向量的实部构成的向量,上标I表示对应复向量的虚部构成的向量,将激活函数的增益系数作为可调参数一并优化,避免了隐层神经元激活函数陷入饱和区域,克服了由于激活函数陷入饱和区域对训练过程造成的不良影响。
当输入为第j个训练样本时,所述复数值前向神经网络的隐层的输出向量为hj=fC(Wzj+b1),输出层的输出向量为oj=fC(Vhj+b2);其中fC(·)表示激活函数,W=[w1,w2,...,wP]为输入层和隐层神经元之间的权值矩阵,zj是复数值前向神经网络的第j个输入样本;V=[v1,v2,...,vN]为隐层和输出层神经元之间的权值矩阵。
初始化复数值前向神经网络模型中由神经元之间的连接权值、神经元的偏置和激活函数的增益系数构成的参数向量ψ。
步骤3:引入Group Lasso正则化项构建复数值前向神经网络训练的目标函数,并将复数值前向神经网络模型的训练转化为约束优化问题的求解;采用训练集和定制复数值投影拟牛顿算法进行迭代训练,删除冗余的输入神经元和隐层神经元,达到同时实现网络结构和参数向量优化的目的。
如图2-3所示,步骤3的具体过程为:
步骤3.1:在传统的均方误差函数E′中引入Group Lasso正则化项RGL得到训练时的目标函数E;
其中为传统的均方误差函数,J是训练样本的总数,oj表示第j个训练样本的实际输出,yj表示第j个训练样本的期望输出,上标H表示共轭转置;λ为正则化系数,a=1,2,...,A,A=P+N+2表示可能被惩罚的神经元总个数,即输入神经元个数P、隐层神经元个数N以及偏置节点个数的总和;|·|表示向量的维数,||·||为欧几里得范数,ψa表示复数值前向神经网络中第a个神经元与下一层所有神经元之间的连接权值所构成的向量。
在复传统的均方误差函数中引入GroupLasso正则化项得到复数值前向神经网络训练时的目标函数,使得在训练过程中可以有效删除冗余的输入神经元和隐层神经元,实现网络结构和参数向量的优化,增强模型的泛化性能。
步骤3.3:使用训练集和定制复数值投影拟牛顿算法迭代训练复数值前向神经网络,使用和矩阵计算近似海塞矩阵Η(m)并得到近似带约束条件的二次优化问题;其中τ为常数,表示保留最近τ次的参数变化量s(i)和梯度变化量r(i);表示第i+1次迭代时的参数向量值,表示第i次迭代时的参数向量值,表示目标函数E在处的梯度,表示目标函数E在处的梯度,S表示由从第m-τ到m-1次迭代时参数变化量s(i)组成的矩阵,R表示由从第m-τ到m-1次迭代时梯度变化量r(i)组成的矩阵,m表示第m次迭代;
步骤3.3.1:近似海塞矩阵Η(m)的计算公式为:
H(m)=σ(m)I-NM-1NT,其中I为单位矩阵,N=[σ(m)S R],L为由元素组成的矩阵,D=diag[(s(m-τ))T(r(m-τ)),...,(s(m-1))T(r(m-1))]为对角矩阵;
步骤3.3.2:利用近似海塞矩阵Η(m)得到第m次迭代时的近似带约束条件的二次优化问题:
s.t||ψa||≤ρa,a=1,2,...,A
对每一组神经元的参数进行修正以满足约束条件。例如,对于第一个输入神经元的权值向量ψ1=ri(w1)及参数ρ1,如果||ψ1||≤ρ1,则该神经元的权值参数不需要修正,即为上式的第一种情形;如果||ψ1||>ρ1且||ψ1||+ρ1>0,则采用投影算子修正为从而满足约束条件;如果||ψ1||>ρ1且||ψ1||+ρ1≤0,则采用投影算子将该神经元的参数修正为(0,0),即上式的第三种情形。此时,采用得到求解近似带约束条件的二次优化问题的可行下降方向其中为对中每组神经元参数按照上述投影操作后得到的解。
为了更加直观地说明谱投影梯度算法,谱投影梯度算法的具体流程总结如下:
步骤3.4.2:利用投影算子
通过使用投影算子将复数值前向神经网络中冗余神经元的权值直接置零,无需预先设置阈值即可直接删除冗余神经元,并且对模型的最终输出无任何影响,同时实现网络结构和参数向量的优化的选择,从而使复数值前向神经网络的结构紧凑。
步骤3.5:利用近似带约束条件的二次优化问题的解计算原约束优化问题s.t.||ψa||≤ρa,a=1,2,...,A在第m迭代时可行下降方向d(m),并使用Armijo线性搜索确定合适的学习步长η(m);
步骤3.5.1:在定制复数值投影拟牛顿算法的第m次迭代时,首先利用谱投影梯度算法计算带约束条件的二次优化问题的解然后根据式得到原约束优化问题s.t||ψa||≤ρa,a=1,2,...,A在第m次迭代的可行下降方向d(m);
步骤3.5.2:在定制复数值投影拟牛顿算法的第m次迭代时使用Armijo线性搜索确定合适的学习步长η(m):
步骤3.7:重复步骤3.3~步骤3.6的定制复数值投影拟牛顿算法进行迭代训练,直到满足预设的迭代结束条件停止复数值前向神经网络的训练,完成对的迭代训练。预设的迭代结束条件具体为:复数值前向神经网络训练时的目标函数的评估次数达到预设的最大评估次数或者连续两次迭代中复数值前向神经网络训练时的目标函数值的变化量小于预设的阈值或者中可调参数的最大变化量小于预设的阈值(即进入停滞状态)。如果满足迭代结束条件则停止训练,并将训练好的复数值前向神经网络用于风速预测,如果不满足迭代结束条件则转到步骤3.3继续训练复数值前向神经网络。
步骤4:得到训练好的复数值前向神经网络,将预测集输入训练好的复数值前向神经网络得到风速预测结果。期望输出为风速和风向构成的复数y。
为了进一步说明本发明的有益效果,本实施例中选取2000个样本用于训练含20个隐层神经元的复数值前向神经网络,并用另外100个样本测试复数值前向神经网络的性能。将本发明(SC_PQN)与***式梯度下降训练方法(SCBPG)、全复数梯度下降训练方法(FCBPG)进行比较,训练和测试的结果如表1所示:
SCBPG | FCBPG | SC_PQN | |
平均训练误差 | 0.0663 | 0.0904 | 0.0656 |
平均测试误差 | 0.1246 | 0.1605 | 0.0840 |
删除的隐层神经元个数 | 0 | 0 | 14 |
删除的输入神经元个数 | 0 | 0 | 2 |
表1 SC_PQN、SCBPG、FCBPG训练和测试的结果比较表
从表1可以看出本发明使用定制复数值投影拟牛顿算法时,平均训练误差和平均测试误差都最小,取得了最好的训练和预测效果。并且,相比于其它训练方法,本发明都有删除的隐层神经元个数和删除的输入神经元的个数,删除了这些冗余神经元可以优化网络结构,得到一个结构更加紧凑的复数值前向神经网络模型,增强模型的泛化性能。
本发明的上述技术方案相比现有技术具有以下优点:本发明所述的基于复数值前向神经网络的风速预测方法(1)在训练过程中,通过在传统的均方误差函数中引入GroupLasso正则化项得到复数值前向神经网络训练时的目标函数,使得在训练过程中可以有效删除冗余的输入神经元和隐层神经元,实现网络结构和参数向量的优化。(2)采用定制复数值投影拟牛顿算法训练复数值前向神经网络,将激活函数的增益系数作为可调参数一并优化,克服了由于激活函数陷入饱和区域对训练过程造成的不良影响。同时,复数值前向神经网络中冗余神经元的权值会被直接置零,无需预先设置阈值,冗余神经元可以直接删除,并且对模型的最终输出无任何影响,即可以同时实现网络结构和参数向量的优化。(3)通过引入GroupLasso正则化项和使用定制复数值投影拟牛顿算法训练复数值前向神经网络,同时实现网络结构和参数的优化,从而使复数值前向神经网络的结构紧凑、增强网络模型的泛化性能,并且使得复数值前向神经网络在预测风速时的误差更小、提高预测准确性。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种基于复数值前向神经网络的风速预测方法,其特征在于:包括以下步骤:
步骤1:获取用于风速预测的数据并整理成数据集,将数据集分为训练集和预测集;
步骤2:构建复数值前向神经网络,初始化复数值前向神经网络中的参数向量ψ,参数向量ψ由包括神经元之间的连接权值、神经元的偏置和激活函数的增益系数的可调参数构成;
步骤3:引入Group Lasso正则化项构建复数值前向神经网络训练时的目标函数,将复数值前向神经网络的训练转化为约束优化问题的求解;
采用训练集和定制复数值投影拟牛顿算法训练复数值前向神经网络,直到满足预设的迭代结束条件停止训练;
步骤4:得到训练好的复数值前向神经网络,将预测集输入训练好的复数值前向神经网络得到风速预测结果。
2.根据权利要求1所述的基于复数值前向神经网络的风速预测方法,其特征在于:所述步骤2中构建复数值前向神经网络,构建的复数值前向神经网络包括P个输入神经元、N个隐层神经元和Q个输出神经元,复数值前向神经网络中的所述参数向量ψ为列向量,所有可调参数按顺序排列为参数向量ψ:
其中,wp表示第p个输入神经元和隐层神经元之间的连接权值组成的复向量,b1是所有隐层神经元的偏置构成的复向量,σ1表示隐层神经元激活函数的增益系数构成的复向量,vn表示第n个隐层神经元和输出层神经元之间的连接权值组成的复向量,b2是所有输出层神经元的偏置构成的复向量,σ2表示输出层神经元激活函数的增益系数构成的复向量,上标T表示转置;上标R表示对应复向量的实部构成的向量,上标I表示对应复向量的虚部构成的向量,
所述复数值前向神经网络的隐层输出向量hj=fC(Wzj+b1),输出层的输出向量oj=fC(Vhj+b2);其中fC(·)表示激活函数,W=[w1,w2,...,wP]为输入层和隐层神经元之间的权值矩阵,zj是复数值前向神经网络的第j个输入样本;V=[v1,v2,...,vN]为隐层和输出层神经元之间的权值矩阵。
3.根据权利要求1所述的基于复数值前向神经网络的风速预测方法,其特征在于:所述步骤3的具体过程为:
步骤3.1:在传统的均方误差函数E'中引入Group Lasso正则化项RGL得到复数值前向神经网络训练时的目标函数E;
步骤3.3:使用和矩阵计算近似海塞矩阵Η(m)并得到近似带约束条件的二次优化问题;其中τ为常数,表示保留最近τ次的参数变化量s(i)和梯度变化量r(i); 表示第i+1次迭代时的参数向量值,表示第i次迭代时的参数向量值,表示目标函数E在处的梯度,表示目标函数E在处的梯度,S表示由从第m-τ到m-1次迭代时参数变化量s(i)组成的矩阵,R表示由从第m-τ到m-1次迭代时梯度变化量r(i)组成的矩阵,m表示第m次迭代;
步骤3.5:利用近似带约束条件的二次优化问题的解计算原约束优化问题s.t.||ψa||≤ρa,a=1,2,...,A在第m迭代时可行下降方向d(m),并使用Armijo线性搜索确定合适的学习步长η(m);
步骤3.7:重复步骤3.3~步骤3.6,直到满足预设的迭代结束条件停止复数值前向神经网络的训练。
6.根据权利要求3所述的基于复数值前向神经网络的风速预测方法,其特征在于:所述步骤3.4的具体过程为:
步骤3.4.2:利用投影算子
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110565347.0A CN113158582A (zh) | 2021-05-24 | 2021-05-24 | 基于复数值前向神经网络的风速预测方法 |
PCT/CN2021/116621 WO2022247049A1 (zh) | 2021-05-24 | 2021-09-06 | 基于复数值前向神经网络的风速预测方法 |
US17/789,038 US20230316069A1 (en) | 2021-05-24 | 2021-09-06 | Wind speed prediction method based on forward complex-valued neural network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110565347.0A CN113158582A (zh) | 2021-05-24 | 2021-05-24 | 基于复数值前向神经网络的风速预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113158582A true CN113158582A (zh) | 2021-07-23 |
Family
ID=76877094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110565347.0A Pending CN113158582A (zh) | 2021-05-24 | 2021-05-24 | 基于复数值前向神经网络的风速预测方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230316069A1 (zh) |
CN (1) | CN113158582A (zh) |
WO (1) | WO2022247049A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113705724A (zh) * | 2021-09-13 | 2021-11-26 | 苏州大学 | 基于自适应l-bfgs算法的深度神经网络的批量学习方法 |
WO2022247049A1 (zh) * | 2021-05-24 | 2022-12-01 | 苏州大学 | 基于复数值前向神经网络的风速预测方法 |
WO2023216383A1 (zh) * | 2022-05-13 | 2023-11-16 | 苏州大学 | 基于复值神经网络的复值时序信号预测方法 |
WO2023236260A1 (zh) * | 2022-06-09 | 2023-12-14 | 苏州大学 | 基于复数值加速算法的短期风速预测方法 |
CN117933499A (zh) * | 2024-03-22 | 2024-04-26 | 中国铁建电气化局集团有限公司 | 高速铁路接触网的入侵风险预测方法、装置和存储介质 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116211458B (zh) * | 2022-12-12 | 2023-10-03 | 高峰医疗器械(无锡)有限公司 | 种植体规划方法、装置、设备及存储介质 |
CN117371299B (zh) * | 2023-12-08 | 2024-02-27 | 安徽大学 | 一种托卡马克新经典环向粘滞力矩的机器学习方法 |
CN117408164B (zh) * | 2023-12-13 | 2024-03-22 | 西安热工研究院有限公司 | 储能辅助黑启动的风速智能预测方法及*** |
CN117454233B (zh) * | 2023-12-22 | 2024-03-22 | 厦门锋联信息技术有限公司 | 基于定位识别的安全生产管理方法及*** |
CN117454124B (zh) * | 2023-12-26 | 2024-03-29 | 山东大学 | 一种基于深度学习的船舶运动预测方法及*** |
CN118171583B (zh) * | 2024-05-14 | 2024-07-23 | 南昌工程学院 | 一种通过机器学习确定矩形植被堰流量的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106875002A (zh) * | 2017-02-20 | 2017-06-20 | 中国石油大学(华东) | 基于梯度下降法与广义逆的复值神经网络训练方法 |
US20200160113A1 (en) * | 2018-11-19 | 2020-05-21 | Google Llc | Training image-to-image translation neural networks |
CN111950711A (zh) * | 2020-08-14 | 2020-11-17 | 苏州大学 | 复值前向神经网络的二阶混合构建方法及*** |
CN112598106A (zh) * | 2020-12-17 | 2021-04-02 | 苏州大学 | 基于复数值前向神经网络的复信道均衡器设计方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105243259A (zh) * | 2015-09-02 | 2016-01-13 | 上海大学 | 基于极限学习机的脉动风速快速预测方法 |
CN106295794A (zh) * | 2016-07-27 | 2017-01-04 | 中国石油大学(华东) | 基于光滑Group Lasso惩罚项的分数阶的神经网络建模方法 |
CN111160520A (zh) * | 2019-12-06 | 2020-05-15 | 南京理工大学 | 一种基于遗传算法优化的bp神经网络风速预测方法 |
CN113158582A (zh) * | 2021-05-24 | 2021-07-23 | 苏州大学 | 基于复数值前向神经网络的风速预测方法 |
-
2021
- 2021-05-24 CN CN202110565347.0A patent/CN113158582A/zh active Pending
- 2021-09-06 US US17/789,038 patent/US20230316069A1/en active Pending
- 2021-09-06 WO PCT/CN2021/116621 patent/WO2022247049A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106875002A (zh) * | 2017-02-20 | 2017-06-20 | 中国石油大学(华东) | 基于梯度下降法与广义逆的复值神经网络训练方法 |
US20200160113A1 (en) * | 2018-11-19 | 2020-05-21 | Google Llc | Training image-to-image translation neural networks |
CN111950711A (zh) * | 2020-08-14 | 2020-11-17 | 苏州大学 | 复值前向神经网络的二阶混合构建方法及*** |
CN112598106A (zh) * | 2020-12-17 | 2021-04-02 | 苏州大学 | 基于复数值前向神经网络的复信道均衡器设计方法 |
Non-Patent Citations (2)
Title |
---|
张欣等: "基于迟滞神经网络的风速时间序列预测", 《天津工业大学学报》 * |
张雨浓等: "改造前向神经网络结构以求网络权值直接确定――Jacobi正交基神经网络实例", 《自动化与信息工程》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022247049A1 (zh) * | 2021-05-24 | 2022-12-01 | 苏州大学 | 基于复数值前向神经网络的风速预测方法 |
CN113705724A (zh) * | 2021-09-13 | 2021-11-26 | 苏州大学 | 基于自适应l-bfgs算法的深度神经网络的批量学习方法 |
WO2023216383A1 (zh) * | 2022-05-13 | 2023-11-16 | 苏州大学 | 基于复值神经网络的复值时序信号预测方法 |
WO2023236260A1 (zh) * | 2022-06-09 | 2023-12-14 | 苏州大学 | 基于复数值加速算法的短期风速预测方法 |
CN117933499A (zh) * | 2024-03-22 | 2024-04-26 | 中国铁建电气化局集团有限公司 | 高速铁路接触网的入侵风险预测方法、装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20230316069A1 (en) | 2023-10-05 |
WO2022247049A1 (zh) | 2022-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113158582A (zh) | 基于复数值前向神经网络的风速预测方法 | |
CN110059878B (zh) | 基于cnn lstm光伏发电功率预测模型及其构建方法 | |
CN110909926A (zh) | 基于tcn-lstm的太阳能光伏发电预测方法 | |
CN111860982A (zh) | 一种基于vmd-fcm-gru的风电场短期风电功率预测方法 | |
CN107330514B (zh) | 一种基于集成极限学习机的空气质量预测方法 | |
CN113705877B (zh) | 基于深度学习模型的实时月径流预报方法 | |
CN111144644B (zh) | 基于变分异方差高斯过程回归的短期风速预测方法 | |
CN107609667B (zh) | 基于Box_cox变换和UFCNN的供热负荷预测方法及*** | |
CN108052793A (zh) | 一种基于模糊加权elm的移动污染源排放浓度预测方法 | |
CN114462718A (zh) | 基于时间滑动窗口的cnn-gru风电功率预测方法 | |
CN112508299A (zh) | 一种电力负荷预测方法、装置、终端设备及存储介质 | |
CN113919221A (zh) | 一种基于bp神经网络的风机载荷预测及分析方法、装置及存储介质 | |
CN110738363B (zh) | 一种光伏发电功率预测方法 | |
CN111382581B (zh) | 一种机器翻译中的一次剪枝压缩方法 | |
CN113052373A (zh) | 一种基于改进elm模型的月径流变化趋势预测方法 | |
CN112378619A (zh) | 具有ReMD-OSELM的FER-FSE在风洞试验冲压阶段总压实时建模中的应用 | |
CN114117852B (zh) | 一种基于有限差分工作域划分的区域热负荷滚动预测方法 | |
CN114357870A (zh) | 基于局部加权偏最小二乘的计量设备运行性能预测分析方法 | |
CN114692507A (zh) | 基于堆叠泊松自编码器网络的计数数据软测量建模方法 | |
CN111192158A (zh) | 一种基于深度学习的变电站日负荷曲线相似度匹配方法 | |
Li et al. | Filter pruning via probabilistic model-based optimization for accelerating deep convolutional neural networks | |
CN110276478B (zh) | 基于分段蚁群算法优化svm的短期风电功率预测方法 | |
CN113128666A (zh) | 基于Mo-S-LSTMs模型的时间序列多步预测方法 | |
CN116047753B (zh) | 光学***正交优化模型的构建及优化方法 | |
CN116341720A (zh) | 基于动态图卷积和transformer的多风机风速风向预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210723 |