CN117826580B - 基于td3算法的阀控液压缸强化学习分数阶控制方法及*** - Google Patents
基于td3算法的阀控液压缸强化学习分数阶控制方法及*** Download PDFInfo
- Publication number
- CN117826580B CN117826580B CN202410246853.7A CN202410246853A CN117826580B CN 117826580 B CN117826580 B CN 117826580B CN 202410246853 A CN202410246853 A CN 202410246853A CN 117826580 B CN117826580 B CN 117826580B
- Authority
- CN
- China
- Prior art keywords
- hydraulic cylinder
- valve
- control
- fractional order
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000002787 reinforcement Effects 0.000 title claims abstract description 18
- 238000013178 mathematical model Methods 0.000 claims abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000013016 damping Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 239000007788 liquid Substances 0.000 claims description 3
- 239000003921 oil Substances 0.000 description 7
- 239000003795 chemical substances by application Substances 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 125000003275 alpha amino acid group Chemical group 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000010720 hydraulic oil Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B11/00—Automatic controllers
- G05B11/01—Automatic controllers electric
- G05B11/36—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential
- G05B11/42—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential for obtaining a characteristic which is both proportional and time-dependent, e.g. P. I., P. I. D.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种基于TD3算法的阀控液压缸强化学习分数阶控制方法及***,根据阀控液压缸控制原理,建立阀控液压缸的数学模型;设计加入干扰观测器的分数阶PID控制器对阀控液压缸***进行控制;通过改进的TD3算法对分数阶PID控制器的参数进行优化调整;通过优化后的分数阶PID控制器对阀控液压缸进行控制。通过设计干扰观测器,提升***的抗干扰能力,提升了控制***鲁棒性,进一步通过改进的TD3算法不仅加快了网络的收敛性而且能更加有效的对分数阶PID的参数进行在线优化调整,使控制器能更好的发挥适应性与控制性能。
Description
技术领域
本发明涉及阀控液压缸控制,具体是涉及一种基于TD3算法的阀控液压缸强化学习分数阶控制方法及***。
背景技术
阀控液压缸是一种常见的液压执行元件,在工业和机械控制领域具有广泛的应用。它具有高力密度、平稳运动、高可靠性以及适应性强等优点。阀控液压缸能够提供高力输出,适用于需要大功率输出的应用。通过精确的液压控制实现平稳、精确的运动,具有较高的运动控制精度。阀控液压缸的结构简单、操作可靠,具有较长的使用寿命和稳定的性能。可以适应不同负载和工况条件下的工作,能够实现力、速度的调节和控制。
分数阶PID控制器是一种新型的PID控制器,它可以更好地描述分数阶动力学***。与传统的PID控制器不同,分数阶PID控制器的控制器输出与误差的分数阶次之间存在比例关系。采用分数阶PID控制器可以对阀控液压缸进行优化控制,但是优化分数阶PID控制器的参数仍是一项非常具有挑战性的任务。
发明内容
发明目的:针对以上缺点,本发明提供一种更好控制效果的TD3算法的阀控液压缸强化学习分数阶控制方法及***。
技术方案:为解决上述问题,本发明采用一种基于TD3算法的阀控液压缸强化学习分数阶控制方法,包括以下步骤:
(1)根据阀控液压缸控制原理,建立阀控液压缸的数学模型;
(2)设计加入干扰观测器的分数阶PID控制器对阀控液压缸***进行控制;
(3)通过改进的TD3算法对分数阶PID控制器的参数进行优化调整;所述改进的TD3算法中的奖励信号的表达式为:
;
其中,为当前环境状态信号,/>为Actor网络输出的动作信号,/>为阀控液压缸***的误差信号;
(4)通过优化后的分数阶PID控制器对阀控液压缸进行控制。
进一步的,所述步骤(1)中阀控液压缸数学模型的动态特性方程式为:
;
;
;
其中,为液压缸活塞作用面积,/>为负载位移,/>为对/>求一阶导,/>为对求二阶导,/>为液压缸总的内泄漏系数,/>为液压缸两腔压差,/>为液压缸油腔总的体积,/>为油液体积弹性模量,/>液压缸的压力-流量方程,/>为滑阀的流量增益,/>为滑阀的流量压力放大系数,/>为伺服阀阀芯输入位移,/>为控制窗口处的流系数,/>为伺服阀节流口面积梯度,/>为油液密度,/>为供油压力,/>是活塞及负载折算到活塞上的总质量,/>是活塞及负载的粘性阻尼系数,/>是弹簧度,/>为阀控液压缸***未知摩擦力和未知干扰力,/>是控制器增益,/>是伺服阀增益,/>是控制信号。
进一步的,所述干扰观测器为:
,
其中,为干扰观测器辅助向量,/>为干扰观测器增益,/>为/>对求一阶导;
定义状态变量,阀控液压缸的***状态方程为:
,
其中,,/>,,/>为阀控液压缸的***复合扰动,/>是无控制器情况下的伺服阀增益,/>为对/>求一阶导,/>为对/>求一阶导,/>为对/>求一阶导。
进一步的,所述分数阶PID控制器的表达式为:
,
其中,为比例系数,/>为积分系数,/>为积分算子,/>为积分阶次,/>为微分系数,/>为微分算子,/>为微分阶次。
进一步的,所述改进的TD3算法中的时序误差为:
,
其中,为在策略/>下的Critic网络输出,/>为Critic网络参数,/>为折扣率,。
进一步的,所述改进的TD3算法包括Actor网络与双Critic网络,以及根据Critic网络的网络结构与参数构建的Target Critic网络,根据Actor网络的网络结构与参数构建的Target Actor网络;所述Critic网络的损失函数为:
,
其中,为样本数;/>为Target Critic网络的目标值;/>为第/>个样本中第/>个Critic网络的输出值。
进一步的,所述Actor网络的损失函数为:
,
其中,为当前状态与动作下的价值期望值,/>表示当前时刻奖励,/>为权重参数,/>为度量策略分布不确定性的指标。
进一步的,所述Critic网络参数采用梯度下降进行更新,更新算法为:
,
其中,为Critic网络更新学习率,/>为关于/>参数求取梯度;
所述Actor网络参数采用梯度下降进行更新,更新算法为:
,
其中,为Actor网络更新学习率,/>为关于/>参数求取梯度。
进一步的,所述Target Critic网络和Target Actor网络的网络参数进行软更新;具体为:
,
,
其中,为网络参数的更新移动量。
本发明还采用一种上述基于TD3算法的阀控液压缸强化学习分数阶控制方法的控制***,包括:
模型建立模块,用于根据阀控液压缸控制原理,建立阀控液压缸的数学模型,设计加入干扰观测器的分数阶PID控制器对阀控液压缸***进行控制;
优化模块,用于通过改进的TD3算法对分数阶PID控制器的参数进行优化调整;
控制模块,用于通过优化后的分数阶PID控制器对阀控液压缸进行控制。
有益效果:本发明相对于现有技术,其显著优点是通过设计干扰观测器,提升***的抗干扰能力,提升了控制***鲁棒性,进一步通过改进的TD3算法不仅加快了网络的收敛性而且能更加有效的对分数阶PID的参数进行在线优化调整,使控制器能更好的发挥适应性与控制性能。
附图说明
图1为本发明控制方法的流程示意图。
具体实施方式
如图1所示,本实施例中的一种基于TD3算法的阀控液压缸强化学习分数阶控制方法,包括以下步骤:
步骤1:根据阀控液压缸控制原理,建立阀控液压缸的数学模型。
阀控液压缸***中的单向阀、定量泵、电机和油箱为对整个***供油的元件,溢流阀起到定压溢流作用;双出杆对称液压缸为作动器,位移信号通过位移传感器进行反馈;控制器基于位移误差对伺服阀进行控制,最终实现作动器的位移跟踪控制。
阀控液压缸的数学模型的动态特性方程式为:
(1),
(2),
(3),
其中,是滑阀的流量增益,/>是滑阀的流量压力放大系数,/>是活塞及负载折算到活塞上的总质量,/>是弹簧度,/>是控制器增益,/>是伺服阀增益,/>是控制信号。
活塞位移与控制信号/>之间的函数关系可以写成:
(4),
其中,是伺服放大器增益,/>是伺服阀增益,/>是滑阀的流量增益,/>是液压油弹性模量,/>是液压缸的活塞作用面积,/>是活塞及负载折算到活塞上的总质量,/>是液压缸两腔总面积,/>是滑阀的流量压力放大系数,/>是活塞及负载的粘性阻尼系数,/>是弹簧度,/>是***未知摩擦力和未知干扰力,/>是活塞位移,/>是阀芯输入位移,是控制信号。
定义状态变量,***状态方程为:
(5),
其中,;/>;;/>。
定义***复合扰动:,由于粘性摩擦系数/>、油液体积弹性模量/>等参数无法得到其准确值,所以/>为根据这些近似参数得到的近似值,/>为其误差。
步骤2、设计分数阶PID控制器对阀控液压缸***进行控制。
采用Riemann-Liouville定义的分数阶PID控制器对***进行控制,与传统的整数阶PID控制器相比,它能够更好地适应非线性和时变***。它的基本概念如下:
(6),
FOPID控制器的结构包括一个比例环节、一个积分环节和一个微分环节,其中比例环节、积分环节和微分环节分别对应着分数阶微积分的比例、积分和微分。 为比例环节,/>为比例系数;/>为分数阶积分环节,/>为分数阶积分系数;/>为分数阶微分环节,/>为分数阶微分系数;其中/>表示***的误差函数,即,即希望输出/>与实际输出/>之间的差值。
相比于传统的整数阶PID控制器,分数阶PID控制器具有更好的适应性与记忆性,故可以更好地应对非线性和时变***,提高控制***的稳定性和鲁棒性。
步骤3、根据阀控液压缸特点设计对应的干扰观测器。
为解决***状态在工程应用中难以测定问题,在所提出控制器设计过程中使用干扰观测器:
(7),
其中,为干扰观测器辅助向量,/>为干扰观测器增益,且/>,/>为对干扰的估计量。
根据所设计干扰观测器特点,假设干扰及其导数有界,即满足,,定义干扰的估计误差为:
(8),
可得,对于所提出的分数阶干扰观测器,其对于干扰的估计误差是有界的,即存在一个正常数/>,使得:
(9),
证明:对干扰的估计误差求导数可得:
(10),
取可得微分方程:
(11),
对上式求解可得:
(12),
对上式取范数,并且由于,所以/>,可得:
(13),
取,可以证明所设计的干扰观测器对于干扰的估计误差是有界的。
为证明干扰观测器观测误差在有限时间内趋于零,取Lypunov函数为:
(14),
对Lyapunov函数求导,并结合假设1与引理可得:
(15),
可知,干扰观测器误差最终将趋于零,即所设计的干扰观测器对于干扰信号的观测是有效的。
步骤4、将双延迟深度确定性策略梯度算法(TD3算法)用于分数阶PID五个参数的优化调整。
TD3算法用于分数阶PID五个参数的优化调整。TD3算法是一种改进的DDPG算法,通过Actor-Critic群网络的运算法能较好的抑制Actor-Critic方法的自举。在TD3算法中,对于折扣回报可以有以下定义:
(16),
在式(16)中,为奖励信号,由当前Actor网络输出/>与环境状态/>共同决定,即。/>是一个值函数,表示***在/>时刻以后一个连续过程中所期望获得的奖励的总和,其中/>表示折扣率。
根据Bellman方程,在时刻可得:
(17),
对式(17)两侧基于此刻的状态与动作求取期望,可得下式:
(18),
对于式(18)结果则有:
(19),
其中,为动作价值函数,表示在当前状态/>下,智能体Agent做出动作/>的优劣性,智能体Agent包括Actor-Critic群网络。
由于在实际操作中,动作价值函数与Agent动作均由网络进行逼近,故式(19)存在误差,因此,基于Bellman方程,时序误差(TD error)可以定义为式(19)两边的差值,即如下式:
(20),
其中,为Critic网络参数。
在本设计中,环境状态与奖励信号均由***误差计算而来,其中环境状态信号定义为/>,奖励信号/>可以定义为:
(21),
其中,Actor输出的动作信号是一个五维向量,即;
为了解决传统的AC算法存在高估现象,TD3算法主要采用两个措施来尽量减小高估。首先,构建两个结构与参数相同的Critic网络,分别称为Critic1网络与Critic2网络/>,再构建一套与Critic网络结构与参数完全相同的TargetCritic网络,分别称为Target Critic1网络/>与Target Critic2网络。
在计算目标值时,会选取两个TargetCritic网络的最小值,即:
(22),
在此基础上按式(20)所示计算时,对于q值的选取则是在Critic1网络输出与Critic2网络输出/>中进行随机选择。基于这种机制在很大程度上弱化了智能体的高估现象。
其次,采用了策略平滑正则性减小估计的误差并增加对于动作空间的探索,通过在Target Actor网络输出动作中添加均值为零的随机噪声并在小批量样本中求平均值来实现的:
(23),
其中,添加的噪声服从正态分布,并且进行了裁剪使目标更接近原始动作。
对于Critic网络与Actor网络的更新分别基于两个网络的损失函数进行,根据式(20)所示时序误差的定义,从经验池选取N个样本,采用均方误差的形式设计改进的Critic网络的损失函数为:
(24),
为第/>个样本中第/>个Critic网络的输出值;对于Actor网络损失函数的构建要考虑两个问题,一方面为实现当前状态下未来所有期望回报的最大化即,另一方面为构建的损失函数能提高actor网络对动作空间的探索性防止陷入局部最优解,因此构建改进的损失函数为:
(25),
其中,为当前状态与动作下的价值期望值,/>表示当前时刻奖励,/>是一个度量策略分布不确定性的指标,/>为该项的权重参数。
通过式(24)与式(25)定义的损失函数形式,对于Critic网络与Actor网络的参数,/>采用梯度下降法进行更新:
(26),
(27),
对于Target网络参数进行软更新,即将之前的目标网络参数和对应网络更新后的参数做加权平均,赋值给新的目标网络,具体如下式:
(28),
其中,为网络参数的更新移动量。/>
Claims (9)
1.一种基于TD3算法的阀控液压缸强化学习分数阶控制方法,其特征在于,包括以下步骤:
(1)根据阀控液压缸控制原理,建立阀控液压缸的数学模型;
(2)设计加入干扰观测器的分数阶PID控制器对阀控液压缸***进行控制;所述干扰观测器为:
,
其中,为干扰观测器辅助向量,/>为干扰观测器增益,/>为对/>求一阶导;
定义状态变量,阀控液压缸的***状态方程为:
,
其中,,/>,,/>为阀控液压缸的***复合扰动,/>是无控制器情况下的伺服阀增益,/>为对/>求一阶导,/>为对/>求一阶导,/>为对/>求一阶导,/>为液压缸活塞作用面积,/>为油液体积弹性模量,/>是活塞及负载折算到活塞上的总质量,/>为液压缸油腔总的体积,/>是活塞及负载的粘性阻尼系数,/>为控制窗口处的流系数,/>为伺服阀节流口面积梯度,/>为供油压力,/>为液压缸两腔压差,/>为油液密度,/>是控制信号;
(3)通过改进的TD3算法对分数阶PID控制器的参数进行优化调整;所述改进的TD3算法中的奖励信号的表达式为:
;
其中,为当前环境状态信号,/>为Actor网络输出的动作信号,/>为阀控液压缸***的误差信号;
(4)通过优化后的分数阶PID控制器对阀控液压缸进行控制。
2.根据权利要求1所述的阀控液压缸强化学习分数阶控制方法,其特征在于,所述步骤(1)中阀控液压缸数学模型的动态特性方程式为:;
;
;
其中,为液压缸活塞作用面积,/>为负载位移,/>为对/>求一阶导,/>为对/>求二阶导,/>为液压缸总的内泄漏系数,/>为液压缸两腔压差,/>为液压缸油腔总的体积,/>为油液体积弹性模量,/>液压缸的压力-流量方程,/>为滑阀的流量增益,/>为滑阀的流量压力放大系数,/>为伺服阀阀芯输入位移,/>为控制窗口处的流系数,/>为伺服阀节流口面积梯度,/>为油液密度,/>为供油压力,/>是活塞及负载折算到活塞上的总质量,/>是活塞及负载的粘性阻尼系数,/>是弹簧度,/>为阀控液压缸***未知摩擦力和未知干扰力,/>是控制器增益,/>是伺服阀增益,/>是控制信号。
3.根据权利要求2所述的阀控液压缸强化学习分数阶控制方法,其特征在于,所述分数阶PID控制器的表达式为:
,
其中,为比例系数,/>为积分系数,/>为积分算子,/>为积分阶次,/>为微分系数,为微分算子,/>为微分阶次。
4.根据权利要求3所述的阀控液压缸强化学习分数阶控制方法,其特征在于,所述改进的TD3算法中的时序误差为:
,
其中,为在策略/>下的Critic网络输出,/>为Critic网络参数,/>为折扣率,。
5.根据权利要求4所述的阀控液压缸强化学习分数阶控制方法,其特征在于,所述改进的TD3算法包括Actor网络与双Critic网络,以及根据Critic网络的网络结构与参数构建的Target Critic网络,根据Actor网络的网络结构与参数构建的Target Actor网络;所述Critic网络的损失函数为:
,
其中,为样本数;/>为Target Critic网络的目标值;/>为第/>个样本中第/>个Critic网络的输出值。
6.根据权利要求5所述的阀控液压缸强化学习分数阶控制方法,其特征在于,所述Actor网络的损失函数为:
,
其中,为当前状态与动作下的价值期望值,/>表示当前时刻奖励,为权重参数,/>为度量策略分布不确定性的指标。
7.根据权利要求5所述的阀控液压缸强化学习分数阶控制方法,其特征在于,所述Critic网络参数采用梯度下降进行更新,更新算法为:
,
其中,为Critic网络更新学习率,/>为关于/>参数求取梯度;
所述Actor网络参数采用梯度下降进行更新,更新算法为:
,
其中,为Actor网络更新学习率,/>为关于/>参数求取梯度。
8.根据权利要求7所述的阀控液压缸强化学习分数阶控制方法,其特征在于, 所述Target Critic网络和Target Actor网络的网络参数进行软更新;具体为:
,
,
其中,为网络参数的更新移动量。
9.一种采用权利要求1所述基于TD3算法的阀控液压缸强化学习分数阶控制方法的控制***,其特征在于,包括:
模型建立模块,用于根据阀控液压缸控制原理,建立阀控液压缸的数学模型,设计加入干扰观测器的分数阶PID控制器对阀控液压缸***进行控制;
优化模块,用于通过改进的TD3算法对分数阶PID控制器的参数进行优化调整;
控制模块,用于通过优化后的分数阶PID控制器对阀控液压缸进行控制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410246853.7A CN117826580B (zh) | 2024-03-05 | 2024-03-05 | 基于td3算法的阀控液压缸强化学习分数阶控制方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410246853.7A CN117826580B (zh) | 2024-03-05 | 2024-03-05 | 基于td3算法的阀控液压缸强化学习分数阶控制方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117826580A CN117826580A (zh) | 2024-04-05 |
CN117826580B true CN117826580B (zh) | 2024-06-07 |
Family
ID=90517644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410246853.7A Active CN117826580B (zh) | 2024-03-05 | 2024-03-05 | 基于td3算法的阀控液压缸强化学习分数阶控制方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117826580B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106125553A (zh) * | 2016-08-24 | 2016-11-16 | 南京理工大学 | 一种考虑状态约束的液压***自适应控制方法 |
CN111258231A (zh) * | 2020-01-20 | 2020-06-09 | 北京航空航天大学 | 仿猛禽视觉导航的自主空中加油对接半物理***及其方法 |
CN113541545A (zh) * | 2020-04-09 | 2021-10-22 | 中南大学 | 永磁同步电机分数阶矢量控制方法及*** |
CN115167102A (zh) * | 2022-05-18 | 2022-10-11 | 上海电力大学 | 一种基于并行优势动作评价的强化学习自适应pid控制方法 |
WO2022269641A1 (en) * | 2021-06-25 | 2022-12-29 | Sh Forhealth Solutions Private Limited | Intelligent lower-limb orthosis system for exercise therapy and method therefor |
CN116225055A (zh) * | 2023-01-06 | 2023-06-06 | 南京航空航天大学 | 一种复杂环境下基于状态分解的无人机自主航迹规划算法 |
CN116661294A (zh) * | 2023-08-02 | 2023-08-29 | 南京航空航天大学 | 基于强化学习的阀控液压缸分数阶控制方法及控制*** |
CN116719320A (zh) * | 2023-06-21 | 2023-09-08 | 南华大学 | 轮式机器人轨迹跟踪控制与避障方法和*** |
CN116714411A (zh) * | 2023-05-24 | 2023-09-08 | 重庆大学 | 基于td3算法的电动汽车空调与乘客舱热管理控制方法 |
CN117335700A (zh) * | 2023-09-14 | 2024-01-02 | 南京航空航天大学 | 半闭环场景下基于深度强化学习的电动伺服位置反馈动态调优方法 |
-
2024
- 2024-03-05 CN CN202410246853.7A patent/CN117826580B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106125553A (zh) * | 2016-08-24 | 2016-11-16 | 南京理工大学 | 一种考虑状态约束的液压***自适应控制方法 |
CN111258231A (zh) * | 2020-01-20 | 2020-06-09 | 北京航空航天大学 | 仿猛禽视觉导航的自主空中加油对接半物理***及其方法 |
CN113541545A (zh) * | 2020-04-09 | 2021-10-22 | 中南大学 | 永磁同步电机分数阶矢量控制方法及*** |
WO2022269641A1 (en) * | 2021-06-25 | 2022-12-29 | Sh Forhealth Solutions Private Limited | Intelligent lower-limb orthosis system for exercise therapy and method therefor |
CN115167102A (zh) * | 2022-05-18 | 2022-10-11 | 上海电力大学 | 一种基于并行优势动作评价的强化学习自适应pid控制方法 |
CN116225055A (zh) * | 2023-01-06 | 2023-06-06 | 南京航空航天大学 | 一种复杂环境下基于状态分解的无人机自主航迹规划算法 |
CN116714411A (zh) * | 2023-05-24 | 2023-09-08 | 重庆大学 | 基于td3算法的电动汽车空调与乘客舱热管理控制方法 |
CN116719320A (zh) * | 2023-06-21 | 2023-09-08 | 南华大学 | 轮式机器人轨迹跟踪控制与避障方法和*** |
CN116661294A (zh) * | 2023-08-02 | 2023-08-29 | 南京航空航天大学 | 基于强化学习的阀控液压缸分数阶控制方法及控制*** |
CN117335700A (zh) * | 2023-09-14 | 2024-01-02 | 南京航空航天大学 | 半闭环场景下基于深度强化学习的电动伺服位置反馈动态调优方法 |
Non-Patent Citations (6)
Title |
---|
Research on Active Disturbance Rejection Control Based on Position Disturbance Electro-hydraulic Servo Force;Dingxuan Zhao;《2020 39th Chinese Control Conference (CCC)》;20200909;全文 * |
一种改进的残差χ~2检验方法在联邦UKF滤波器中的应用;刘建业;李丹;熊智;;仪器仪表学报;20091215(第12期);全文 * |
基于CPSS平行***懒惰强化学习算法的实时发电调控;殷林飞;陈吕鹏;余涛;张孝顺;;自动化学报;20181011(第04期);全文 * |
基于MATLAB的PID控制器参数整定及仿真;何东健;刘忠超;范灵燕;;西安科技大学学报;20061230(第04期);全文 * |
基于干扰观测器的数字液压缸控制研究;王慧;《控制工程》;20190920;全文 * |
带观测器的RBF分数阶PID在四旋翼飞行器中应用;员乾乾;付兴建;;佳木斯大学学报(自然科学版);20180115(01);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117826580A (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108873702B (zh) | 一种电液位置伺服控制***的线性自抗扰控制方法及装置 | |
CN110703608B (zh) | 一种液压伺服执行机构智能运动控制方法 | |
CN108303895B (zh) | 一种电液位置伺服***多模型鲁棒自适应控制方法 | |
CN112415891B (zh) | 一种电液伺服***自适应输出反馈渐近控制方法 | |
CN112925355A (zh) | 一种负载口独立液压***的非线性流量建模与补偿方法 | |
CN112096696B (zh) | 泵控非对称液压位置***自适应反演控制方法 | |
CN112925208A (zh) | 一种数据驱动的水井钻机电液伺服***扰动补偿方法 | |
CN111352450B (zh) | 一种数字比例阀流量控制***及方法 | |
CN116661294B (zh) | 基于强化学习的阀控液压缸分数阶控制方法及控制*** | |
CN117826580B (zh) | 基于td3算法的阀控液压缸强化学习分数阶控制方法及*** | |
CN113625547A (zh) | 一种控制器的主阀位置控制方法 | |
CN110647111B (zh) | 考虑输出离散性的电液伺服***非线性自抗扰控制方法 | |
CN112947057A (zh) | 一种基于差分进化算法的电液伺服***pid参数优化方法 | |
CN115236974B (zh) | 一种复合抗扰控制器及其控制参数优化方法 | |
CN116382088A (zh) | 一种基于数字孪生的水下节流阀自主控制方法、*** | |
CN110578737B (zh) | 基于非线性神经网络的液压伺服***mrac控制方法 | |
Bai | Adaptive dead zone inverses for possibly nonlinear control systems | |
CN113219841B (zh) | 基于自适应鲁棒的水下多关节液压机械臂非线性控制方法 | |
Meng et al. | Active Disturbance Rejection Decoupling Control for Independent-Metering Electro-Hydraulic System With Online Compensation Information | |
Wang et al. | An energy‐saving output feedback control of single‐rod electrohydraulic servo system with disturbance observer | |
CN117289612B (zh) | 一种液压机械臂自适应神经网络控制方法 | |
CN116357645A (zh) | 一种高阶阀控缸***的消隙控制方法 | |
CN118068714A (zh) | 一种考虑未知液动力补偿的智能阀阀芯位移控制方法 | |
CN118295249A (zh) | 一种基于diarc的深海eha位置跟踪方法 | |
CN117823496A (zh) | 一种先导式比例伺服阀鲁棒输出反馈复合控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |