CN113219829B - 一种液压驱动单元的位置控制方法及*** - Google Patents

一种液压驱动单元的位置控制方法及*** Download PDF

Info

Publication number
CN113219829B
CN113219829B CN202110452940.4A CN202110452940A CN113219829B CN 113219829 B CN113219829 B CN 113219829B CN 202110452940 A CN202110452940 A CN 202110452940A CN 113219829 B CN113219829 B CN 113219829B
Authority
CN
China
Prior art keywords
control signal
time point
drive unit
sampling time
hydraulic drive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110452940.4A
Other languages
English (en)
Other versions
CN113219829A (zh
Inventor
巴凯先
宋颜和
张艺杰
陈馨
付承伟
俞滨
高正杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202110452940.4A priority Critical patent/CN113219829B/zh
Publication of CN113219829A publication Critical patent/CN113219829A/zh
Priority to NL2031309A priority patent/NL2031309B1/en
Application granted granted Critical
Publication of CN113219829B publication Critical patent/CN113219829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1638—Programme controls characterised by the control loop compensation for arm bending/inertia, pay load weight/inertia
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/43—Programme-control systems fluidic
    • G05B19/46—Programme-control systems fluidic hydraulic

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明涉及一种液压驱动单元的位置控制方法及***，所述方法包括如下步骤：获取液压驱动单元的位置误差；根据所述位置误差，基于拟牛顿算法确定用于控制液压驱动单元的初始控制信号；根据所述位置误差，基于模糊规则确定控制信号优化步长的搜索方向；在所述搜索方向上，采用Armijo‑Goldstein准则确定控制信号优化步长；利用所述控制信号优化步长对初始控制信号进行优化，并基于优化后的控制信号对所述液压驱动单元进行控制，本申请在确定初始控制信号的基础上，利用模糊、Armijo‑Goldstein准则等对初始控制信号进行优化，提升了液压驱动单元的控制***的自适应能力和稳定性。

Description

一种液压驱动单元的位置控制方法及***
技术领域
本发明涉及工业控制技术领域，特别是涉及一种液压驱动单元的位置控制方法及***。
背景技术
足式机器人相对传统轮式、履带式移动型机器人，在复杂任务环境中具有更好的适应能力。液压足式机器人依托其足式仿生结构和独特的驱动方式，能够在承受大负载的同时在未知、非结构环境中实现行走、跑动等多种运动姿态，可担任野外作战辅助、核事故后建筑物内侦查、生化武器毁伤范围内救援等极限任务。液压足式机器人腿部作为机器人的动力来源，由仿生机械结构和液压驱动单元组成，其中液压驱动单元作为腿部“肌肉”，其位置控制精度及稳定性直接决定机器人的性能。
国内外控制科学的学者提出了多种改善液压驱动单元位置控制性能的方法，以反馈、顺馈控制为代表的经典方法在各类控制***中表现出一定的通用性，参数调整得当的情况下能够取得良好的控制精度；以模型预测控制(MPC，Model Predictive Control)、自抗扰控制(ADRC，Active Disturbance Rejection Control)为代表的现代控制方法则在保证精度的同时，提高了***的自适应性和鲁棒性；以模糊控制、神经网络控制为代表的智能控制算法的运用则进一步提高了控制***的自适应性。然而这些控制方法均为基于***模型和人类先验知识所设计，足式机器人工作环境复杂，液压驱动单元工作条件未知、多变，控制方法在设计之初不能考虑到所有工作状况，在某些运动工况下会出现响应变慢、精度降低等影响机器人运动控制性能的问题，进而造成机器人运动不平稳，甚至整机倾覆等事故。
因此，迫切需要一种高性能位置控制方法，提升液压驱动单元的控制***的自适应能力和稳定性。
发明内容
本发明的目的是提供一种液压驱动单元的位置控制方法及***，以提升液压驱动单元的控制***的自适应能力和稳定性。
为实现上述目的，本发明提供了如下方案：
本发明提供一种液压驱动单元的位置控制方法，所述方法包括如下步骤：
获取液压驱动单元的位置误差，所述位置误差为期望位置与液压驱动单元的实际输出位置的差值；
根据所述位置误差，基于拟牛顿算法确定用于控制液压驱动单元的初始控制信号；
根据所述位置误差，基于模糊规则确定控制信号优化步长的搜索方向；
在所述搜索方向上，采用Armijo-Goldstein准则确定控制信号优化步长；
利用所述控制信号优化步长对初始控制信号进行优化；
基于优化后的控制信号对所述液压驱动单元进行控制，当下一个采样时间点到达时，返回步骤“获取液压驱动单元的位置误差”。
可选的，所述根据所述位置误差，基于模糊规则确定控制信号优化步长的搜索方向，之前还包括：
判断所述初始控制信号的TD误差是否小于误差阈值，获得判断结果；
若所述判断结果为是，则利用所述初始控制信号对所述液压驱动单元进行控制；当下一个采样时间点到达时，返回步骤“获取液压驱动单元的位置误差”。
可选的，所述根据所述位置误差，基于拟牛顿算法确定用于控制液压驱动单元的初始控制信号，具体包括：
利用近似Hessian矩阵的迭代公式，确定当前采样时间点的近似Hessian矩阵；
根据当前采样时间点的近似Hessian矩阵和所述位置误差，利用控制液压驱动单元的传递函数的泰勒展开公式计算用于控制液压驱动单元的初始控制信号。
可选的，所述近似Hessian矩阵的迭代公式为：
Figure GDA0003139391110000031
其中，Bk和Bk-1分别表示当前采样时间点k和前一个采样时间点k-1的近似Hessian矩阵，yk-1和sk-1分别表示前一个采样时间点k-1的初始控制信号和位置误差。
可选的，控制液压驱动单元的传递函数的泰勒展开公式为：
Figure GDA0003139391110000032
其中，s表示位置误差，当计算当前采样时间点k的初始控制信号时，s＝sk，sk-1分别表示前一个采样时间点k-1的位置误差，Bk表示当前采样时间点k的近似Hessian矩阵；f(·)表示控制液压驱动单元的传递函数的泰勒展开公式，f(sk-1)表示前一个采样时间点k-1的控制液压驱动单元的传递函数的泰勒展开公式的函数值。
可选的，所述在所述搜索方向上，采用Armijo-Goldstein准则确定控制信号优化步长，具体包括：
在所述搜索方向上，采用Armijo-Goldstein准则，求解不等式
Figure GDA0003139391110000033
确定控制信号优化步长；
其中，f(·)表示控制液压驱动单元的传递函数的泰勒展开公式，αk表示当前采样时间点k的控制信号优化步长，dk表示当前采样时间点k的搜索方向，gk为控制液压驱动单元的传递函数对当前采样时间点k的位置误差的偏导数，ρ为常数。
可选的，所述利用所述控制信号优化步长对初始控制信号进行优化，具体包括：
利用公式y'k←yk+α[rk+γyk-yk-1]对所述控制信号的控制值进行优化，直到所述控制信号的控制值的TD误差小于误差阈值；
其中，y'k为当前采样时间点k的优化后的控制信号、yk和yk-1分别表示当前采样时间点k和前一个采样时间点的初始控制信号；α为控制信号优化步长，[rk+γyk-yk-1]为TD误差计算式，rk表示当前采样时间点k的控制值的反馈，γ为折扣率。
一种液压驱动单元的位置控制***，所述***包括：
位置误差获取模块，用于获取液压驱动单元的位置误差，所述位置误差为期望位置与液压驱动单元的实际输出位置的差值；
初始控制信号确定模块，用于根据所述位置误差，基于拟牛顿算法确定用于控制液压驱动单元的初始控制信号；
搜索方向确定模块，用于根据所述位置误差，基于模糊规则确定控制信号优化步长的搜索方向；
控制信号优化步长确定模块，用于在所述搜索方向上，采用Armijo-Goldstein准则确定控制信号优化步长；
优化控制模块，用于利用所述控制信号优化步长对初始控制信号进行优化，并基于优化后的控制信号对所述液压驱动单元进行控制。
可选的，所述控制***还包括：
判断模块，用于判断所述初始控制信号的TD误差是否小于误差阈值，获得判断结果；
控制模块，用于若所述判断结果为是，则利用所述初始控制信号对所述液压驱动单元进行控制；当下一个采样时间点到达时，返回步骤“获取液压驱动单元的位置误差”。
可选的，所述初始控制信号确定模块，具体包括：
近似Hessian矩阵确定子模块，用于利用近似Hessian矩阵的迭代公式，确定当前采样时间点的近似Hessian矩阵；
初始控制信号计算子模块，用于根据当前采样时间点的近似Hessian矩阵和所述位置误差，利用控制液压驱动单元的传递函数的泰勒展开公式计算用于控制液压驱动单元的初始控制信号。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种液压驱动单元的位置控制方法，所述方法包括如下步骤：获取液压驱动单元的位置误差；根据所述位置误差，基于拟牛顿算法确定用于控制液压驱动单元的初始控制信号；根据所述位置误差，基于模糊规则确定控制信号优化步长的搜索方向；在所述搜索方向上，采用Armijo-Goldstein准则确定控制信号优化步长；利用所述控制信号优化步长对初始控制信号进行优化，并基于优化后的控制信号对所述液压驱动单元进行控制，本申请在确定初始控制信号的基础上，利用模糊、Armijo-Goldstein准则等对初始控制信号进行优化，提升了液压驱动单元的控制***的自适应能力和稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种液压驱动单元的位置控制方法的流程图；
图2为传统DDPG算法的结构框架图；
图3为基于传统的DDPG的液压驱动单元控制***框图；
图4为本发明具体实施例提供的改进的DDPG算法的流程图；
图5为本发明具体实施例提供的液压驱动单元性能测试实验台的控制结构实物图，其中，图5a为控制器实物图，图5b为电器柜实物图；
图6为本发明具体实施例提供的液压驱动单元性能测试实验台的实物图；
图7为本发明具体实施例提供的实验工况示意图；
图8为本发明具体实施例提供的液压驱动单元性能测试实验台在第一种工况下的实验结果图；其中，图8a为第一种工况下的位置误差，图8b为第一种工况下的控制信号；
图9为本发明具体实施例提供的液压驱动单元性能测试实验台在第二种工况下的实验结果图；其中，图9a为第二种工况下的位置误差，图9b为第二种工况下的控制信号；
图10为本发明具体实施例提供的液压驱动单元性能测试实验台在第三种工况下的实验结果图；其中，图10a为第三种工况下的位置误差，图10b为第三种工况下的控制信号；
图11为本发明具体实施例提供的机器人单腿试验台的实物图；
图12为本发明提供的控制液压驱动单元的传递函数的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种液压驱动单元的位置控制方法及***，以提升液压驱动单元的控制***的自适应能力和稳定性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1和2所示，本发明提供本发明提供一种液压驱动单元的位置控制方法，所述方法包括如下步骤：
步骤101，获取液压驱动单元的位置误差。
位置误差为期望位置与液压驱动单元的实际输出位置的差值。
步骤102，根据所述位置误差，基于拟牛顿算法确定用于控制液压驱动单元的初始控制信号。
步骤102所述根据所述位置误差，基于拟牛顿算法确定用于控制液压驱动单元的初始控制信号，具体包括：
利用近似Hessian矩阵的迭代公式，确定当前采样时间点的近似Hessian矩阵。所述近似Hessian矩阵的迭代公式为：
Figure GDA0003139391110000061
其中，Bk和Bk-1分别表示当前采样时间点k和前一个采样时间点k-1的近似Hessian矩阵，yk-1和sk-1分别表示前一个采样时间点k-1的初始控制信号和位置误差。
根据当前采样时间点的近似Hessian矩阵和所述位置误差，利用控制液压驱动单元的传递函数的泰勒展开公式计算用于控制液压驱动单元的初始控制信号。控制液压驱动单元的传递函数的泰勒展开公式为：
Figure GDA0003139391110000071
其中，s表示位置误差，当计算当前采样时间点k的初始控制信号时，s＝sk，sk-1分别表示前一个采样时间点k-1的位置误差，Bk表示当前采样时间点k的近似Hessian矩阵；f(·)表示控制液压驱动单元的传递函数的泰勒展开公式，f(sk-1)表示前一个采样时间点k-1的控制液压驱动单元的传递函数的泰勒展开公式的函数值。
其中，控制液压驱动单元的传递函数的框图如图12所示。
图中，Kaxv为伺服阀增益(m/V)，ζ为伺服阀阻尼比；ω为伺服阀固有频率(rad/s)，xv为伺服阀阀芯位移(m)，ps为***供油压力(Pa)，p2为伺服缸右腔压力(Pa)，p0为***回油压力(Pa)，Kd为折算流量系数，Cd为伺服阀滑阀节流口流量系数，W为面积梯度(m)，ρ为液压油密度(Kg/m3)，Ap1为伺服缸活塞左腔有效面积(m2)，Ap2为伺服缸活塞右腔有效面积(m2)，Δxp为伺服缸活塞位移相对于其初始位置变化量(m)，Cip为伺服缸内泄漏系数[m3/(s·Pa)]，Cep为伺服缸外泄漏系数[m3/(s·Pa)]，βe为有效体积模量(Pa)，V1为进油腔容积(m3)，V2为回油腔容积(m3)，L0为伺服缸活塞初始位置(m)，xp为伺服缸活塞位移(m)，V01为进油腔初始容积(m3)，Vg1为伺服阀与伺服缸进油连接流道容积(m3)，V02为回油腔初始容积(m3)，Vg2为伺服阀与伺服缸回油连接流道容积(m3)，K为负载刚度(N/m)，mt1为液压驱动单元折算到伺服缸活塞上总质量(Kg)，mt2为负载质量(Kg)，Bp1为液压驱动单元黏性阻尼系数[N/(m/s)]，Bp2为负载阻尼系数[N/(m/s)]，Ff1为液压驱动单元内部库仑摩擦力(N)，Ff2为负载端库仑摩擦力(N)，FL为外负载力(N)，p1为伺服缸左腔压力(Pa)。
近似Hessian矩阵的迭代公式的推导过程为：
L(θ)为神经网络的损失函数(评估模型的拟合精度，显示模型对***输出参数拟合的误差，损失函数越小，网络性能越好)，θ为神经网络参数，神经网络的学习问题可以表示为，在确定的数据集下的无约束极小值问题：
Figure GDA0003139391110000072
对f(θ)进行泰勒展开，仅保留二阶及二阶以下项，可得：
Figure GDA0003139391110000081
其中，
Figure GDA0003139391110000082
为f的梯度，表达式为：
Figure GDA0003139391110000083
Figure GDA0003139391110000084
为f的Hessian矩阵，表达式为：
Figure GDA0003139391110000085
将
Figure GDA0003139391110000086
与
Figure GDA0003139391110000087
分别记为：g和H。
求极值的必要条件为：
f′(θ)＝0 (6)
联立(5)和(6)两式，且H为非奇异矩阵，可得：
Figure GDA0003139391110000088
给定初值θ0，可得到牛顿法的迭代公式：
Figure GDA0003139391110000089
拟牛顿法构造近似Hessian矩阵的正定矩阵，免去了计算Hessian的复杂计算。
对f(θ)进行泰勒展开，仅保留二阶及二阶以下项，可得：
Figure GDA00031393911100000810
式(9)两边同时取梯度，可得：
gk+1-gk≈Hk+1·(θk+1-θk) (10)
令sk＝θk+1-θk，yk＝gk+1-gk，得到拟牛顿条件为：
Figure GDA0003139391110000091
该算法的核心思想是寻求矩阵Bk逼近Hessian矩阵Hk
Bk+1＝Bk+ΔBk (12)
下面的主要工作为求校正矩阵ΔBk，假设是对称矩阵：
ΔBk＝αuuT+βvvT (13)
联立式(11)、(12)、(13)可得：
yk＝Bksk+(αuTsk)u+(βvTsk)v (14)
通过上式，令αuTsk＝1，βvTsk＝-1，u＝yk，v＝Bksk可得：
Figure GDA0003139391110000092
可得校正矩阵为：
Figure GDA0003139391110000093
综上得到近似Hessian矩阵的迭代公式为：
Figure GDA0003139391110000094
令位置误差xr-xp＝θ，则通过公式(17)可以得到
Figure GDA0003139391110000095
的近似迭代计算矩阵，既：
Figure GDA0003139391110000096
将公式(18)的计算结果代入公式(9)，即可求得目标输出函数μ＝f(θ)的当次计算结果。
步骤103，根据所述位置误差，基于模糊规则确定控制信号优化步长的搜索方向。
所述模糊规则为：不同的位置误差对应的不同的误差等级；每个所述误差等级对应一个不同的随机过程均值；每个所述误差等级对应一个不同的随机过程变化范围。
具体的，根据输入的位置误差和输出随机UO过程的均值、变化范围的信息，隶属度函数均采用三角隶属度，解模糊方式采用重心法，设计模糊规则表如表1和表2所示。
表1 UO随机过程均值模糊规则表
Figure GDA0003139391110000101
表2 UO随机过程变化范围模糊规则表
Figure GDA0003139391110000102
模糊语言的表达如下：
{负大、负中、负小、零、正小、正中、正大}
在算法中常用其英文缩写：
{NB,NM,NS,ZO,PS,PM,PB}
本申请的模糊规则为：不同的位置误差对应的不同的反馈误差等级；每个所述反馈误差等级对应一个不同阶数的Armijo-Goldstein准则表达式。
步骤104，在所述搜索方向上，采用Armijo-Goldstein准则确定控制信号优化步长。
Armijo-Goldstein搜索准则是一种不精确搜索过程，整体收敛速度较快，占用计算资源也相对较少。
步骤104所述在所述搜索方向上，采用Armijo-Goldstein准则确定控制信号优化步长，具体包括：
在所述搜索方向上，采用Armijo-Goldstein准则，求解不等式
Figure GDA0003139391110000111
确定控制信号优化步长。
其中，f(·)表示控制液压驱动单元的传递函数的泰勒展开公式，αk表示当前采样时间点k的控制信号优化步长，dk表示当前采样时间点k的搜索方向，gk为控制液压驱动单元的传递函数对当前采样时间点k的位置误差的偏导数，ρ为常数。
步骤105，利用所述控制信号优化步长对初始控制信号进行优化。
步骤105所述利用所述控制信号优化步长对初始控制信号进行优化，具体包括：
利用公式y'k←yk+α[rk+γyk-yk-1]对所述控制信号的控制值进行优化，直到所述控制信号的控制值的TD误差小于误差阈值；
其中，y'k为当前采样时间点k的优化后的控制信号、yk和yk-1分别表示当前采样时间点k和前一个采样时间点的初始控制信号；α为控制信号优化步长，[rk+γyk-yk-1]为TD误差计算式，rk表示当前采样时间点k的控制值的反馈，γ为折扣率。
rk的计算过程为：令s＝xr-xp，sk为当前采样时间点k的位置误差。则rk计算公式为：
rt＝r1+r2
Figure GDA0003139391110000112
Figure GDA0003139391110000113
具体的，将确定出的***输出参数输入TD算法中进行迭代更新运算，当TD误差小于设定值时，认为得到了***最优输出参数。TD算法是一种单步更新的无模型学习算法，具有较高计算效率和稳定性相，其实现形式如下：
v(St)←v(St)+α[rt+1+γv(St+1)-v(St)] (19)
其中，α为学习率，即迭代步长。[rt+1+γv(St+1)-v(St)]称为TD误差。当TD误差越来越小时，学习过程趋于收敛，v(St)既越来越接近真实值。既通过多次迭代来减少TD误差，使***输出参数接近最优值。
rt是对***输出v(St)的反馈，γ为折扣率，为[0,1]的常值，既令将当次计算的μ＝ν(St)，通过不断迭代减少TD误差，来获得较为准确的输出值μ。
步骤106，基于优化后的控制信号对所述液压驱动单元进行控制，当下一个采样时间点到达时，返回步骤101。该控制为控制液压驱动单元的活塞的运动。
作为一种优选的实施方式，步骤103所述根据所述位置误差，基于模糊规则确定控制信号优化步长的搜索方向，之前还包括：
判断所述初始控制信号的TD误差是否小于误差阈值，获得判断结果。
若所述判断结果为是，则利用所述初始控制信号对所述液压驱动单元进行控制；当下一个采样时间点到达时，返回步骤“获取液压驱动单元的位置误差”。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供一种液压驱动单元的位置控制方法，通过设计基于模糊优化的智能体探索策略、基于Armijo-Goldstein准则与BFGS方法的神经网络训练算法和智能体更新策略，优化DDPG深度学习算法，提高算法性能，提升算法与液压驱动单元***的契合程度。本发明使基于DDPG的深度学习算法成功应用于液压驱动单元位置控制***中，极大的提升了液压驱动单元在面对未知工况时的自适应能力及位置控制精度。
一种液压驱动单元的位置控制***，所述***包括：
位置误差获取模块，用于获取液压驱动单元的位置误差；
搜索方向确定模块，用于根据所述位置误差，基于模糊规则确定用于控制液压驱动单元的控制信号的搜索方向；
控制值确定模块，用于在所述搜索方向上，采用基于拟牛顿算法改进的Armijo-Goldstein准则确定所述控制信号的控制值；
控制模块，用于基于所述控制信号的控制值对所述液压驱动单元进行控制。
可选的，所述模糊规则为：不同的位置误差对应的不同的反馈误差等级；每个所述反馈误差等级对应一个不同阶数的Armijo-Goldstein准则表达式。
可选的，所述控制值确定模块，具体包括：
近似Hessian矩阵确定子模块，用于利用近似Hessian矩阵的迭代公式，确定使Armijo-Goldstein准则表达式稳定时的近似Hessian矩阵；
控制值的计算公式确定子模块，用于将所述近似Hessian矩阵带入所述Armijo-Goldstein准则表达式得到用于计算所述控制信号在所述搜索方向上的控制值的计算公式；
控制值计算子模块，用于利用所述计算公式计算所述控制信号在所述搜索方向上的控制值。
可选的，所述近似Hessian矩阵的迭代公式为：
Figure GDA0003139391110000131
其中，Bk和Bk+1分别表示第k次迭代和第k+1次迭代时的近似Hessian矩阵，yk和sk分别表示第k次迭代时的Armijo-Goldstein准则表达式的输出值和输入值。
为了说明本发明的技术效果，本发明还提供了如下具体的实施例。
图2为传统DDPG算法结构框架，深度强化学习方法凭借其类人脑学习过程的算法结构，能够在与外界环境的交互中通过环境反馈信号获得有效的学习信息，在探索与学习中逐渐达到既定目标，目前已经在多个领域崭露头角，体现出不同于其他机器学习方法的优势。将深度强化学习用于液压驱动单元位置控制***中，能够从根本上对控制***建立状态转移概率模型，建立***状态、控制量与***性能之间的关系，根据***每一时刻的状态进行实时控制，且具备自学习能力，对于训练时没有遇到的工作状态，能够通过自我探索来改善控制策略，达到高精度的位置控制性能。
但由于液压***的强非线性、参数模型复杂等特点，传统深度强化学习算法无法应用于液压驱动单元位置控制***中。
为了提高学习算法在实际***中的稳定性，降低实验风险，保证人身与设备安全，将DDPG智能体的输出乘以***当前误差作为最终的控制量输出给液压***。那么，DDPG控制模块输入为位置误差e、速度误差de、加速度误差dde，输出为增益系数，***的控制律为：
u＝A(s)·(xr-xp) (21)
其中，A为策略目标网络构成的映射，s为DDPG智能体输入，xr为***期望位置，xp为***实际位置，图3为基于传统的DDPG的液压驱动单元控制***框。
学习过程中，智能体会不断进行随机探索，在确定性策略强化学习中，常用UO(Uhlenbeck-Ornstein)随机过程生成噪声，该方法具有很好的时序性，生成的随机信号在时间上具有很强的关联，适合智能体探索控制***等具备动量属性的环境。
但要实现效率最高的学习过程仅凭随机探索是不够的，需要有一个导师指引，将智能体的探索引导向最优解的方向，增大智能体发现更好动作的概率。因此考虑将模糊思想用于改进智能体探索方向，综合考虑当前***状态，将智能体的探索引向相对容易获得更多回报的方向。模糊探索的基本原理是，当***实际位置超前于期望位置时，应当减小控制量，使液压缸运动速度降低；当***实际位置落后于期望位置时，应当增大控制量，增加液压缸运动速度，缩小于期望位置的差距；当误差较大时，应当扩大探索范围，以寻找更优的动作；当误差较小时，应缩小探索范围，具体模糊规则设计如下：
在模糊***中，通过模糊语言来表达对数量的模糊认知，构建模糊评价规则，一般使用“大”、“中”、“小”等日常生活用语。在控制***中，输入量和输出量一般有正负方向之分，因此，考虑“正负”，模糊语言的表达如下：
{负大、负中、负小、零、正小、正中、正大}
在算法中常用其英文缩写：
{NB,NM,NS,ZO,PS,PM,PB}
整个探索过程以UO随机过程为基础，用模糊规则改变随机过程输出值的均值与变化范围，模糊规则输入为位置误差e，输出为智能体随机UO过程的均值mu与变化范围sig。
本发明针对的液压驱动单元正弦运动的位置跟随误差一般在10-1mm量级，考虑到学习初期误差会比较大，所以设定位置误差e的基本论域为[-2mm,2mm]，为方便用模糊语言表达，将基本论域按照如下边界值分为7个部分：
{-2,-1,-0.4,-0.1,0.1,0.4,1,2}
当实际情况超过其范围时，取最大值2或最小值-2。
设定UO随机过程的均值mu的基本论域为[-3,3]，将基本论域按照如下边界值分为7个部分：
{-3,-2,-1,-0.5,0.5,1,2,3}
设定UO随机过程的变化范围sig的基本论域为[0,1]，将基本论域按照如下边界值分为4个部分：
{0,0.15,0.3,0.6,1}
首先令位置误差e＝xr-xp，下面以一个具体例子演示结合过程：
假设在t时刻得到的位置误差e＝1mm，根据本发明专利划分的基本论域等级，其应属于模糊语言中的PM等级。此时为进行随机探索所附加的UO噪声的均值mu＝2，噪声幅值变化范围为sig＝0.6，既此时输入到Armijo-Goldstein准则中的输入量xk为[e+mu-sig,e+mu+sig]＝[2.4，,3.6]中的随机一个值，通过Armijo-Goldstein准则确定出满足不等式关系的最优步长αk。
此时输入到BFGS中的θk＝sk，利用公式(18)计算出近似Hessian矩阵Bk的值，再将Bk值代入公式(9)，即可求得第k次目标函数值f(θk)＝μk。
将最优步长αk、控制值μk以及反馈rt+1代入公式(19)对控制信号优化，进行误差迭代更新计算，当误差满足设计要求时，即可获得较为准确的控制信号μ。
神经网络的学习过程实际上是一个非线性优化问题，通过迭代优化改变网络权值，理想目标是损失函数为0。最普遍的方法是定步长梯度下降法，实现简单，但学习过程中性能波动较大，学习方差偏大，不能保证每一步都向收敛的方向前进，需要采用一些搜索方法来提高收敛性。搜索方法分为精确搜索和不精确搜索，精确搜索精度最高，但工作量大，需要很多计算资源，不精确搜索，每一步不要求达到精确最小，搜索步数相对增加，但整体收敛速度较快，占用计算资源也相对较少。
Armijo-Goldstein搜索准则是一种不精确搜索过程，其核心思想主要为：(1)目标函数值要有足够的下降，离目标要有足够的接近；(2)搜索步长不能太小。BFGS法是一种拟牛顿算法，它的提出针对牛顿法需要计算Hessian矩阵占用计算资源高的缺点进行改进，构造近似Hessian来降低计算量，是目前平衡了收敛性能和计算资源需求的最佳算法。
结合Armijo-Goldstein准则与BFGS算法，本发明神经网络的训练算法步骤如下：
1.初始化网络参数，给定收敛精度；
2.确定搜索方向；
3.根据Armijo-Goldstein准则进行搜索，确定最优步长；
4计算近似Hessian矩阵；
5根据给定条件判断是否收敛，若是，结束算法，若否，回到步骤2。
本发明的改进DDPG算法的运行过程如图4所示。
将本发明的改进DDPG算法下载至试验台的控制器，进行验证。
图5为控制器及电器柜，对液压驱动单元性能测试实验台进行控制，试验台主要由两个液压驱动单元组成，按照对顶形式安装，左侧的液压驱动单元利用位移传感器进行位置闭环，右侧的液压驱动单元采用力传感器进行零力伺服控制，图6为液压对顶的液压驱动单元性能测试实验台，其中实际位移信号与期望唯一信号偏差为控制***学习的对象，通过控制***不断学习，输出控制信号控制伺服阀进而实现控制***对液压伺服***的控制。
图7为DDPG算法在试验台所设计实验工况，图8、9、10为三种工况所对应实验曲线，可见在智能体收敛后具备良好的控制效果，能够高精度控制液压驱动单元。
在对顶实验平台试验后，可将算法移植入机器人单腿试验台，图11，进行实验。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种液压驱动单元的位置控制方法，其特征在于，所述方法包括如下步骤：
获取液压驱动单元的位置误差，所述位置误差为期望位置与液压驱动单元的实际输出位置的差值；
根据所述位置误差，基于拟牛顿算法确定用于控制液压驱动单元的初始控制信号；
根据所述位置误差，基于模糊规则确定控制信号优化步长的搜索方向；
在所述搜索方向上，采用Armijo-Goldstein准则确定控制信号优化步长；利用所述控制信号优化步长对初始控制信号进行优化，并基于优化后的控制信号对所述液压驱动单元进行控制；
当下一个采样时间点到达时，返回步骤“获取液压驱动单元的位置误差”；
所述根据所述位置误差，基于拟牛顿算法确定用于控制液压驱动单元的初始控制信号，具体包括：
利用近似Hessian矩阵的迭代公式，确定当前采样时间点的近似Hessian矩阵；
根据当前采样时间点的近似Hessian矩阵和所述位置误差，利用控制液压驱动单元的传递函数的泰勒展开公式计算用于控制液压驱动单元的初始控制信号；
所述近似Hessian矩阵的迭代公式为：
Figure FDA0003883847190000011
其中，Bk和Bk-1分别表示当前采样时间点k和前一个采样时间点k-1的近似Hessian矩阵，yk-1和sk-1分别表示前一个采样时间点k-1的初始控制信号和位置误差；
控制液压驱动单元的传递函数的泰勒展开公式为：
Figure FDA0003883847190000012
其中，s表示位置误差，当计算当前采样时间点k的初始控制信号时，s＝sk，sk-1表示前一个采样时间点k-1的位置误差，Bk表示当前采样时间点k的近似Hessian矩阵；f(·)表示控制液压驱动单元的传递函数的泰勒展开公式，f(sk-1)表示前一个采样时间点k-1的控制液压驱动单元的传递函数的泰勒展开公式的函数值。
2.根据权利要求1所述的液压驱动单元的位置控制方法，其特征在于，所述根据所述位置误差，基于模糊规则确定控制信号优化步长的搜索方向，之前还包括：
判断所述初始控制信号的TD误差是否小于误差阈值，获得判断结果；
若所述判断结果为是，则利用所述初始控制信号对所述液压驱动单元进行控制；当下一个采样时间点到达时，返回步骤“获取液压驱动单元的位置误差”。
3.根据权利要求1所述的液压驱动单元的位置控制方法，其特征在于，所述在所述搜索方向上，采用Armijo-Goldstein准则确定控制信号优化步长，具体包括：
在所述搜索方向上，采用Armijo-Goldstein准则，求解不等式
Figure FDA0003883847190000021
确定控制信号优化步长；
其中，f(·)表示控制液压驱动单元的传递函数的泰勒展开公式，αk表示当前采样时间点k的控制信号优化步长，dk表示当前采样时间点k的搜索方向，gk为控制液压驱动单元的传递函数对当前采样时间点k的位置误差的偏导数，ρ为常数。
4.根据权利要求1所述的液压驱动单元的位置控制方法，其特征在于，所述利用所述控制信号优化步长对初始控制信号进行优化，具体包括：
利用公式y'k←yk+α[rk+γyk-yk-1]对所述控制信号的控制值进行优化，直到所述控制信号的控制值的TD误差小于误差阈值；
其中，y'k为当前采样时间点k的优化后的控制信号、yk和yk-1分别表示当前采样时间点k和前一个采样时间点的初始控制信号；α为控制信号优化步长，[rk+γyk-yk-1]为TD误差计算式，rk表示当前采样时间点k的控制值的反馈，γ为折扣率。
5.一种液压驱动单元的位置控制***，其特征在于，所述***包括：
位置误差获取模块，用于获取液压驱动单元的位置误差，所述位置误差为期望位置与液压驱动单元的实际输出位置的差值；
初始控制信号确定模块，用于根据所述位置误差，基于拟牛顿算法确定用于控制液压驱动单元的初始控制信号；
搜索方向确定模块，用于根据所述位置误差，基于模糊规则确定控制信号优化步长的搜索方向；
控制信号优化步长确定模块，用于在所述搜索方向上，采用Armijo-Goldstein准则确定控制信号优化步长；
优化控制模块，用于利用所述控制信号优化步长对初始控制信号进行优化，并基于优化后的控制信号对所述液压驱动单元进行控制；
所述初始控制信号确定模块，具体包括：
近似Hessian矩阵确定子模块，用于利用近似Hessian矩阵的迭代公式，确定当前采样时间点的近似Hessian矩阵；
初始控制信号计算子模块，用于根据当前采样时间点的近似Hessian矩阵和所述位置误差，利用控制液压驱动单元的传递函数的泰勒展开公式计算用于控制液压驱动单元的初始控制信号；
所述近似Hessian矩阵的迭代公式为：
Figure FDA0003883847190000031
其中，Bk和Bk-1分别表示当前采样时间点k和前一个采样时间点k-1的近似Hessian矩阵，yk-1和sk-1分别表示前一个采样时间点k-1的初始控制信号和位置误差；
控制液压驱动单元的传递函数的泰勒展开公式为：
Figure FDA0003883847190000041
其中，s表示位置误差，当计算当前采样时间点k的初始控制信号时，s＝sk，sk-1表示前一个采样时间点k-1的位置误差，Bk表示当前采样时间点k的近似Hessian矩阵；f(·)表示控制液压驱动单元的传递函数的泰勒展开公式，f(sk-1)表示前一个采样时间点k-1的控制液压驱动单元的传递函数的泰勒展开公式的函数值。
6.根据权利要求5所述的液压驱动单元的位置控制***，其特征在于，所述控制***还包括：
判断模块，用于判断所述初始控制信号的TD误差是否小于误差阈值，获得判断结果；
控制模块，用于若所述判断结果为是，则利用所述初始控制信号对所述液压驱动单元进行控制；当下一个采样时间点到达时，返回步骤“获取液压驱动单元的位置误差”。
CN202110452940.4A 2021-04-26 2021-04-26 一种液压驱动单元的位置控制方法及*** Active CN113219829B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110452940.4A CN113219829B (zh) 2021-04-26 2021-04-26 一种液压驱动单元的位置控制方法及***
NL2031309A NL2031309B1 (en) 2021-04-26 2022-03-16 Position control method and system of hydraulic drive unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110452940.4A CN113219829B (zh) 2021-04-26 2021-04-26 一种液压驱动单元的位置控制方法及***

Publications (2)

Publication Number Publication Date
CN113219829A CN113219829A (zh) 2021-08-06
CN113219829B true CN113219829B (zh) 2022-12-16

Family

ID=77089082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110452940.4A Active CN113219829B (zh) 2021-04-26 2021-04-26 一种液压驱动单元的位置控制方法及***

Country Status (2)

Country Link
CN (1) CN113219829B (zh)
NL (1) NL2031309B1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5835721B2 (ja) * 2011-08-26 2015-12-24 ボルボ コンストラクション イクイップメント アーベー 油圧機械式作業機械を動作させる駆動制御方法及びシステム
CN106078750B (zh) * 2016-07-08 2019-06-25 燕山大学 一种足式机器人液压驱动单元主动柔顺控制方法
CN110030233B (zh) * 2019-04-09 2020-04-14 燕山大学 用于液压驱动单元位置控制***的复合控制方法及***
CN111810493A (zh) * 2020-07-29 2020-10-23 中国人民解放军陆军装甲兵学院 一种四足机器人液压***仿真建模方法
CN112180732B (zh) * 2020-10-14 2021-11-30 燕山大学 一种液压驱动单元滑模控制的足式机器人驱动方法及***

Also Published As

Publication number Publication date
NL2031309A (en) 2022-11-04
NL2031309B1 (en) 2023-11-16
CN113219829A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
Feng et al. A new adaptive sliding mode controller based on the RBF neural network for an electro-hydraulic servo system
Won et al. Nonlinear control with high-gain extended state observer for position tracking of electro-hydraulic systems
CN111290273B (zh) 基于外骨骼机器人柔性作动器的位置跟踪优化控制方法
CN110703608B (zh) 一种液压伺服执行机构智能运动控制方法
CN107193210B (zh) 一种非线性***的自适应学习预设性能控制方法
CN106483844A (zh) 基于非线性鲁棒的电液伺服***自适应位置控制器的实现方法
CN109848990B (zh) 基于pso的膝关节外骨骼增益可变无模型角度控制方法
Dahunsi et al. System identification and neural network based PID control of servo-hydraulic vehicle suspension system
CN115157238A (zh) 一种多自由度机器人动力学建模和轨迹跟踪方法
Kong et al. Force control compensation method with variable load stiffness and damping of the hydraulic drive unit force control system
CN112096696A (zh) 泵控非对称液压位置***自适应反演控制方法
Fierro et al. Practical point stabilization of a nonholonomic mobile robot using neural networks
Yang et al. Adaptive neural network-based sliding mode control for a hydraulic rotary drive joint
CN113219829B (zh) 一种液压驱动单元的位置控制方法及***
Zhu et al. Sliding mode robust control of hydraulic drive unit of hydraulic quadruped robot
Miao et al. Artificial-neural-network-based optimal Smoother design for oscillation suppression control of underactuated overhead cranes with distributed mass beams
Ling et al. ANFIS modeling and Direct ANFIS Inverse control of an Electro-Hydraulic Actuator system
Al-Dabooni et al. Mobile robot control based on hybrid neuro-fuzzy value gradient reinforcement learning
Unluturk et al. Machine learning based self-balancing and motion control of the underactuated mobile inverted pendulum with variable load
CN115229798A (zh) 前馈补偿与变阻尼建模相融合的力阻抗控制方法
Xie et al. Online whole-stage gait planning method for biped robots based on improved Variable Spring-Loaded Inverted Pendulum with Finite-sized Foot (VSLIP-FF) model
Fei et al. Adaptive global fast terminal sliding mode control of MEMS gyroscope using fuzzy-neural-network
Lee Sliding innovation filtering: Theory and applications
Li et al. Three‐dimensional dead reckoning of wall‐climbing robot based on information fusion of compound extended Kalman filter
Yu et al. Force tracking control for electrohydraulic servo system based on adaptive neuro-fuzzy inference system (ANFIS) controller

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant