CN112733076B - 基于神经网络常微分方程在非持续激励下的***辨识方法 - Google Patents
基于神经网络常微分方程在非持续激励下的***辨识方法 Download PDFInfo
- Publication number
- CN112733076B CN112733076B CN202110038650.5A CN202110038650A CN112733076B CN 112733076 B CN112733076 B CN 112733076B CN 202110038650 A CN202110038650 A CN 202110038650A CN 112733076 B CN112733076 B CN 112733076B
- Authority
- CN
- China
- Prior art keywords
- neural network
- data
- differential equation
- identification method
- ordinary differential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
- G06F17/13—Differential equations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/20—Hydro energy
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Feedback Control In General (AREA)
Abstract
本发明提供一种基于神经网络常微分方程在非持续激励下的***辨识方法,主要解决***辨识需要持续激励或大量输入输出数据的问题。该辨识方法,主要分为用于数据拓展的神经网络常微分方程和用于模型辨识的线性神经网络。采样的非持续激励数据用于优化神经网络常微分方程,神经网络常微分方程用于产生同分布数据;线性神经网络拟合神经网络常微分方程所产生的随机数据,辨识对象模型。本发明提出的辨识方法引入神经网络微分方程避免了持续激烈的采样条件,同时降低了所需数据量,达到了现有辨识方法相近的效果。
Description
技术领域
本发明涉及时间序列建模以及***辨识方法技术领域,尤其涉及一种基于神经网络常微分方程在非持续激励下的***辨识方法。
背景技术
***辨识是在对输入输出观测的基础上,建立对象的数学模型的方法,在不同的学科领域都有广泛的使用。时间序列是按照时间顺序排列而成的数列,广泛存在于金融、气象和电力等行业。随着数据挖掘技术的发展,时间序列分析和建模的方法也达到相应的发展。以脉冲相应、最小二乘法和极大似然估计为代表的传统***辨识方法已经得到了广泛的应用;神经网络、模糊逻辑和遗传算法等新兴***辨识方法以其优异的数据拟合能力和参数搜索能力得到大量的研究。
传统***辨识方法在线性***辨识中对噪声有良好的性能和理论保证,已经发展的比较成熟和完善,然而,传统***辨识的方法依然存在不足和限制。首先,传统辨识方法需要对象输入的持续激励(PE,Persistent Excitation),或输入信号可以充分激发***的动态响应。在某些动态预测***和过程控制***中,***的输入往往不允许随意改变,因此这些传统的方法不便直接应用;其次,传统辨识方法在非线性***辨识领域效果欠佳,***的结构与参数的偏差导致得不到全局最优解。
新型***辨识方法具有优秀的数据拟合与近似能力、参数搜索能力和非线性函数逼近能力,以长短期记忆网络为代表的循环神经网络模型在时间序列建模和预测问题取得了良好的效果。但是为了取得良好的模型泛化效果,通常需要使用大量高质量的输入输出数据,这对于前置的数据预处理有较高的要求。同时,新型***辨识方法往往采用过量参数模型,对硬件的计算能力有更高的要求。
发明内容
(一)要解决的技术问题
基于上述问题,本发明提供一种基于神经网络常微分方程在非持续激励下的***辨识方法,解决***辨识方法需要持续输入激励条件或大量高质量输入输出数据的问题。
(二)技术方案
基于上述的技术问题,本发明提供基于神经网络常微分方程在非持续激励下的***辨识方法,包括:
S1、在非激励条件下采样稳态数据:采集辨识工控***即水轮电机***在平稳运行状态下的输入输出数据,输入数据为工控***执行器的控制变量,包括液压放大器输入信号;输出数据为可观测被控变量,包括水轮机转速;分为训练数据集和测试数据集;
所述水轮电机***的状态空间描述为:
式中en,ey,eh,egh,eqh,eqy为水轮机传递函数;y1为机组转速,y2机组转速辅助观测量;Ta,Tb为机组惯性时间常数;Tw为液压惯性时间常数,Ty为进水惯性时间;u为液压放大器输入信号;
将所述输入输出数据分为训练数据集Dtrain和测试数据集Dtest,采样点数分别为n、m,采样条数为k、l,输入维度为a,输出维度为b,满足以下条件:
其中,ui为训练数据集的输入数据,yi为训练数据集的输出数据,uj为训练数据集的输入数据,yj为训练数据集的输出数据。
S2、根据所述稳态数据优化第一神经网络的常微分方程:建立第一神经网络,所述第一神经网络为多层神经网络,第一神经网络层数和神经元数量依照经验进行确定,任意初始化神经网络权重θ,第一神经网络输出为:
并使用常微分数值求解器计算预测输出,即:
S3、建立目标函数即第一误差函数L(y′i,yi),通过计算梯度,优化第一神经网络权重θ;
S4、判断是否训练集的第一误差函数的计算值小于设定值,若否,则返回步骤S1,若是,则进入步骤S5;
S5、初始化第二神经网络,所述第二神经网络为一个线性单层神经网络,对第二神经网络的微分方程进行随机采样;第二神经网络的神经元数量依照经验确定,随机初始化权重参数为w、v,输出为:
ym(t+1)=w×ym(t)+v×u(t);
S6、设定第二误差函数L′,对第二神经网络进行迭代优化,使用梯度下降法优化第二神经网络直到L′不再减小;
S7、再次从所述测试数据集采集数据,验证模型误差是否在允许范围内,若是则结束,否则返回步骤S1重新开始。
进一步的,所述水轮电机***离散化为:
进一步的,所述第一误差函数为:
L(yi,y′i)=∑(y′i-yi)2。
进一步的,步骤S3中所述梯度的计算公式为:
进一步的,所述梯度下降法为
进一步的,所述第二误差函数为
L′(ym,y′i)=||ym-y′i||2。
(三)有益效果
本发明的上述技术方案具有如下优点:
本发明提出的***辨识方法,引入了神经网络常微分方程,可以在非持续激励条件下采样数据,使用采样数据优化神经网络常微分方程参数后,其可以近似输出相同分布的数据,用于拓展数据数量,随后使用多元线性函数神经网络辨识***模型。本发明不需要辨识对象持续激励产生数据,使用平稳历史数据即可完成辨识,同时由于扩展了数据范围,对于输入输出数据的数量要求也有所下降。并且这种方法具有普适性,适用于部分非线性对象辨识。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1是本发明基于神经网络常微分方程在非激励条件下拓展数据的***辨识方法流程图;
图2是本发明多层神经网络和常微分数值求解器结构图;
图3是本发明线性神经网络结构图;
图4是本发明实施例一阶跃响应对比图;
图5是本发明实施例一模型误差曲线。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
本发明实施例一以水轮电机机组稳态工作模型作为辨识对象,模型使用状态空间描述为:
式中en,ey,eh,egh,eqh,eqy为水轮机传递函数;y1为机组转速,y2机组转速辅助观测量;Ta,Tb为机组惯性时间常数;Tw为液压惯性时间常数,Ty为进水惯性时间;u为液压放大器输入信号。
代入相应参数后并离散化,结果为:
基于神经网络常微分方程在非持续激励下的***辨识方法如图1所示,包括以下步骤:
S1、采集辨识工控***平稳运行状态下的输入输出数据,输入数据通常为工控***执行器的控制变量,包括液压放大器输入信号等;输出数据为可观测被控变量,包括水轮机转速等;采样时间保持不变并将其分为训练数据集Dtrain和测试数据集Dtest,采样点数分别为n、m,采样条数为k、l,输入维度为a,输出维度为b,满足以下条件:
其中,ui为训练数据集的输入数据,yi为训练数据集的输出数据,uj为训练数据集的输入数据,yj为训练数据集的输出数据;
S2、根据所述稳态数据优化第一神经网络的常微分方程:建立第一神经网络,所述第一神经网络为多层神经网络,第一神经网络层数和第一神经元数量依照经验进行确定,任意初始化第一神经网络权重为θ,第一神经网络输出可以表示为:
并使用常微分数值求解器计算预测输出,完整结构图参考附图2,可以表示为:
S3、建立目标函数即误差函数L(y′i,yi),计算梯度优化神经网络权重θ;
误差函数通常为采样输出和模型预测输出均方差等二次型函数,可以依据实际需求进行选择二次型(y′i-yi)2,绝对值型|y′i-yi|等。
若损失函数为:
使用数据集Dtrain和计算梯度:
S4、判断是否训练集的误差函数计算值小于设定值,若否,则返回步骤S1,若是,则表示测试集误差函数计算值不再减小,进入步骤S5;
本实施例中,采集液压放大器输入信号un为稳态工作点分别为1、-1、0、2、-2时的数据及相应输出的机组转速和辅助观测量数据,并将其分为Dtrain、Dtest两个数据集,采样点数均为1500,输入维度为1,输出维度为2,Dtrain采样60条,Dtest采样20条,故满足:
建立2层前向神经网络,神经元个数均为52,第一层神将网络选用tanh激活函数,任意初始化神经网络权重为θ,常微分方程求解器选用四阶龙格-库塔求解,误差函数设置为:
L(yi,y′i)=∑(y′i-yi)2
使用数据集Dtrain和计算梯度:
使用梯度优化参数θ直到小于某值,且/>不再下降为止,优化方法使用梯度法:
S5、初始化第二神经网络,对第二神经网络的微分方程进行随机采样:
建立一个线性单层神经网络,神经元数量依照经验确定,随机初始化权重参数为w、v,结构参考附图3,此时输出可表示为:
ym(t+1)=w×ym(t)+v×u(t)
并设定第二误差函数为L′(ym,y′i)=||ym-y′i||2,随机生成输入u∈RL×a×K,初值y0∈Rb×K。
S6、设定第二误差函数,对第二线性神经网络进行迭代优化:
设定误差函数为L′(ym,y′i)=||ym-y′i||2,随机生成输入u∈RL×a×K,初值y0∈Rb×K,使用梯度下降法优化神经网络直到L′不在显著减小。
在本实施例中,建立的第二线性神经网络为一个线性单层神经网络,神经元数量为3,参数为w,v,此时输出可表示为:
ym(t+1)=w×ym(t)+v×u(t)
并设定第二误差函数为L′(ym,y′i)=||ym-y′i||2,随机生成输入u∈R1000×1×1500,初值y0∈R2×1000,使用梯度下降法优化神经网络直到L′不再显著减小。
S7、再次采集数据,验证模型误差是否在允许范围内,若是则结束,否则返回步骤S1重新开始。
在本实施例中,再次采集数据验证模型,模型阶跃响应对比如附图4,均为恒定输入时的输出曲线,随机输入时的输出曲线及两个输出的模型误差曲线如附图5所示。
在本实施例中,在非持续激励条件下采样数据并优化神经网络常微分方程参数,使用神经网络常微分方程参数进行随机数据采样和生成,得到大量相同动态数据用于后续神经网络模型优化。结果表明,本发明的辨识效果与传统辨识方法效果相当,但不需要持续激励。
综上可知,通过上述的一种基于神经网络常微分方程在非持续激励下的***辨识方法,具有以下有益效果:
本发明提出的***辨识方法,引入了神经网络常微分方程,可以在非持续激励条件下采样数据,使用采样数据优化神经网络常微分方程参数后,其可以近似输出相同分布的数据,用于拓展数据数量,随后使用多元线性函数神经网络辨识***模型。本发明不需要辨识对象持续激励产生数据,使用平稳历史数据即可完成辨识,同时由于扩展了数据范围,对于输入输出数据的数量要求也有所下降。并且这种方法具有普适性,适用于部分非线性对象辨识。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (6)
1.一种基于神经网络常微分方程在非持续激励下的***辨识方法,其特征在于,所述方法包括:
S1、在非激励条件下采样稳态数据:采集辨识工控***即水轮电机***在平稳运行状态下的输入输出数据,输入数据为工控***执行器的控制变量,包括液压放大器输入信号;输出数据为可观测被控变量,包括水轮机转速;分为训练数据集和测试数据集;
所述水轮电机***的状态空间描述为:
式中en,ey,eh,egh,eqh,eqy为水轮机传递函数;y1为机组转速,y2机组转速辅助观测量;Ta,Tb为机组惯性时间常数;Tw为液压惯性时间常数,Ty为进水惯性时间;u为液压放大器输入信号;
将所述输入输出数据分为训练数据集Dtrain和测试数据集Dtest,采样点数分别为n、m,采样条数为k、1,输入维度为a,输出维度为b,满足以下条件:
其中,ui为训练数据集的输入数据,yi为训练数据集的输出数据,uj为训练数据集的输入数据,yj为训练数据集的输出数据;
S2、根据所述稳态数据优化第一神经网络的常微分方程:建立第一神经网络,所述第一神经网络为多层神经网络,第一神经网络层数和神经元数量依照经验进行确定,任意初始化神经网络权重θ,第一神经网络输出为:
并使用常微分数值求解器计算预测输出,即:
S3、建立目标函数即第一误差函数L(y′i,yi),通过计算梯度,优化第一神经网络权重θ;
S4、判断是否训练集的第一误差函数的计算值小于设定值,若否,则返回步骤S1,若是,则进入步骤S5;
S5、初始化第二神经网络,所述第二神经网络为一个线性单层神经网络,对第二神经网络的微分方程进行随机采样;第二神经网络的神经元数量依照经验确定,随机初始化权重参数为w、v,输出为:
ym(t+1)=w×ym(t)+v×u(t);
S6、设定第二误差函数L′,对第二神经网络进行迭代优化,使用梯度下降法优化第二神经网络直到L′不再减小;
S7、再次从所述测试数据集采集数据,验证模型误差是否在允许范围内,若是则结束,否则返回步骤S1重新开始。
2.根据权利要求1所述的基于神经网络常微分方程在非持续激励下的***辨识方法,其特征在于,所述水轮电机***离散化为:
3.根据权利要求1所述的基于神经网络常微分方程在非持续激励下的***辨识方法,其特征在于,所述第一误差函数为:
L(yi,y′i)=∑(y′i-yi)2。
4.根据权利要求1所述的基于神经网络常微分方程在非持续激励下的***辨识方法,其特征在于,步骤S3中所述梯度的计算公式为:
5.根据权利要求1所述的基于神经网络常微分方程在非持续激励下的***辨识方法,其特征在于,所述梯度下降法为
6.根据权利要求1所述的基于神经网络常微分方程在非持续激励下的***辨识方法,其特征在于,所述第二误差函数为
L′(ym,y′i)=||ym-y′i||2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110038650.5A CN112733076B (zh) | 2021-01-12 | 2021-01-12 | 基于神经网络常微分方程在非持续激励下的***辨识方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110038650.5A CN112733076B (zh) | 2021-01-12 | 2021-01-12 | 基于神经网络常微分方程在非持续激励下的***辨识方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112733076A CN112733076A (zh) | 2021-04-30 |
CN112733076B true CN112733076B (zh) | 2023-08-04 |
Family
ID=75591464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110038650.5A Active CN112733076B (zh) | 2021-01-12 | 2021-01-12 | 基于神经网络常微分方程在非持续激励下的***辨识方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112733076B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116364163B (zh) * | 2023-04-17 | 2023-11-10 | 武汉喻芯半导体有限公司 | 一种基于nand闪存控制器的纠错方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101814180A (zh) * | 2009-10-23 | 2010-08-25 | 北京工业大学 | 基于局部耦合神经振子网络的简单灰度图像分割方法 |
CN105760344A (zh) * | 2016-01-29 | 2016-07-13 | 杭州电子科技大学 | 一种化学放热反应的分布式主元分析神经网络建模方法 |
CN106682728A (zh) * | 2016-09-30 | 2017-05-17 | 河南理工大学 | 基于Duhem的压电执行器的神经网络参数辨识方法 |
CN111415010A (zh) * | 2020-03-20 | 2020-07-14 | 广东电网有限责任公司阳江供电局 | 一种基于贝叶斯神经网络的风电机组参数辨识方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11138513B2 (en) * | 2017-06-13 | 2021-10-05 | Princeton University | Dynamic learning system |
US10985951B2 (en) * | 2019-03-15 | 2021-04-20 | The Research Foundation for the State University | Integrating Volterra series model and deep neural networks to equalize nonlinear power amplifiers |
-
2021
- 2021-01-12 CN CN202110038650.5A patent/CN112733076B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101814180A (zh) * | 2009-10-23 | 2010-08-25 | 北京工业大学 | 基于局部耦合神经振子网络的简单灰度图像分割方法 |
CN105760344A (zh) * | 2016-01-29 | 2016-07-13 | 杭州电子科技大学 | 一种化学放热反应的分布式主元分析神经网络建模方法 |
CN106682728A (zh) * | 2016-09-30 | 2017-05-17 | 河南理工大学 | 基于Duhem的压电执行器的神经网络参数辨识方法 |
CN111415010A (zh) * | 2020-03-20 | 2020-07-14 | 广东电网有限责任公司阳江供电局 | 一种基于贝叶斯神经网络的风电机组参数辨识方法 |
Non-Patent Citations (1)
Title |
---|
A Mean-Field Voltage Control Approach for Active Distribution Networks With Uncertainties;Boyuan Wei等;《IEEE TRANSACTIONS ON SMART GRID》;第12卷(第2期);第1455-1466页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112733076A (zh) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766583B (zh) | 基于无标签、不均衡、初值不确定数据的航空发动机寿命预测方法 | |
CN115270956B (zh) | 基于持续学习的跨设备增量轴承故障诊断方法 | |
CN112101480B (zh) | 一种多变量聚类与融合的时间序列组合预测方法 | |
CN114484731A (zh) | 一种基于stacking融合算法的中央空调故障诊断方法及装置 | |
CN116448419A (zh) | 基于深度模型高维参数多目标高效寻优的零样本轴承故障诊断方法 | |
CN115618733B (zh) | 针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法 | |
WO2019144384A1 (zh) | 一种航空发动机启动过程排气温度预测方法 | |
Sarkar et al. | Symbolic dynamic analysis of transient time series for fault detection in gas turbine engines | |
CN114548592A (zh) | 一种基于cemd和lstm的非平稳时间序列数据预测方法 | |
CN113777931B (zh) | 结冰翼型气动模型构造方法、装置、设备及介质 | |
CN110083910B (zh) | 一种基于nsga-ⅱ的混沌时间序列预测样本获取方法 | |
CN112733076B (zh) | 基于神经网络常微分方程在非持续激励下的***辨识方法 | |
CN111190429A (zh) | 一种基于强化学习的无人机主动容错控制方法 | |
CN114777192A (zh) | 基于数据关联和深度学习的二级网供热自主优化调控方法 | |
CN117388709A (zh) | 一种基于鲸鱼优化核极限学习机的储能电池故障诊断方法 | |
Zhao et al. | Ensemble adaptive convolutional neural networks with parameter transfer for rotating machinery fault diagnosis | |
CN109894495B (zh) | 一种基于能耗数据和贝叶斯网络的挤压机异常检测方法及*** | |
CN116383608A (zh) | 一种小样本装备故障在线预测方法 | |
Yao et al. | Fault diagnosis based on RseNet-LSTM for industrial process | |
Li et al. | A CM&CP framework with a GIACC method and an ensemble model for remaining useful life prediction | |
Du et al. | IoT intelligent agent based cloud management system by integrating machine learning algorithm for HVAC systems | |
CN113807496A (zh) | 构建神经网络模型的方法、装置、设备、介质和程序产品 | |
CN116168770A (zh) | 分子数据的处理方法、装置电子设备以及存储介质 | |
CN115481665A (zh) | 一种用于不同规格滚动轴承故障诊断的联邦模型迁移学习方法及*** | |
CN111913462B (zh) | 一种基于广义多块独立元分析模型的化工故障监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |