CN110488759A - 一种基于Actor-Critic算法的数控机床进给控制补偿方法 - Google Patents

Abstract

一种基于Actor‑Critic算法的数控机床进给控制补偿方法，首先，根据伺服***特点，即运行上升过程中存在延时与超调的问题，在伺服***中设计补偿环节；然后，根据控制需要设计评价指标，利用评价指标设计Actor‑Critic算法奖励函数，并根据控制补偿环节确定Actor‑Critic算法动作参数，确定算法迭代终止条件；最后，运行Actor‑Critic算法，确定最优补偿参数；本发明在PID环节之后施加补偿，通过Actor‑Critic学习算法得到最优化补偿参数，提高响应速度，同时减小超调量，提高进给速度与精度。

Description

一种基于Actor-Critic算法的数控机床进给控制补偿方法

技术领域

本发明属于机电一体化与智能控制技术领域，具体涉及一种基于Actor-Critic算法的数控机床进给控制补偿方法。

背景技术

随着现代控制与智能控制理论以及机电一体化技术的不断深入发展，数控机床产业迅猛发展，以伺服***为基础的现代数控机床得到了越来越广泛的应用，现在已广泛应用于航空、航天、电子产品、汽车等各个行业的生产加工中，成为工业生产实现自动化与智能化的基础。

伺服***作为数控机床的核心部件，由于PID控制器存在滞后性、以及***本身的鲁棒性差等瓶颈问题，现阶段伺服***在可靠性、控制精度、功能完备性、稳定性等面仍有待提高，这将会降低数控机床在实际应用中的调节速度与控制精度，最终导致产品生产精度的降低和工业生产线生产效率的下降，并影响机床的使用寿命。通过对现有控制环节施加补偿将会明显改善上述问题。但在施加补偿的过程中需要对补偿参数进行合理高效地整定，以实现自适应、自学习的参数补偿。

Actor-Critic强化学习算法是深度强化学习领域新一代算法，目的在于解决最优决策问题，是Q-learning和Policy Gradient算法的结合。在算法中Actor是一个策略网络，需要奖惩信息来进行调节不同状态下采取各种动作的概率；Critic是一个以价值为基础的网络，根据状态特征输出每一个状态的奖惩信息。二者相结合，Actor网络选择动作，Critic网络与Actor网络进行数据传递判断选择的动作是否合适。在这一过程中，Actor不断迭代，得到每一个状态下选择每一动作的合理概率，Critic也不断迭代，不断完善每个状态下选择每一个动作的奖惩值。现阶段Actor-Critic算法在工业控制、仿真模拟和游戏博弈等领域得到了广泛的应用。虽然Actor-Critic强化学习算法体现出了强大的寻优能力，但在伺服***补偿与参数整定领域尚未开展应用。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供了一种基于Actor-Critic算法的数控机床进给控制补偿方法，在PID环节之后施加补偿，通过Actor-Critic学习算法得到最优化补偿参数，提高响应速度，同时减小超调量，提高进给速度与精度。

为实现上述目的，本发明采取的技术方案是：

一种基于Actor-Critic算法的数控机床进给控制补偿方法，首先，根据伺服***特点，即运行上升过程中存在延时与超调的问题，在伺服***中设计补偿环节；然后，根据控制需要设计评价指标，利用评价指标设计Actor-Critic算法奖励函数，并根据控制补偿环节确定Actor-Critic算法动作参数，确定算法迭代终止条件；最后，运行Actor-Critic算法，确定最优补偿参数。

一种基于Actor-Critic算法的数控机床进给控制补偿方法，包括以下步骤：

步骤1)通过Simulink仿真模型对数控机床进给***进行建模，模型包括PID控制器、逆变器、永磁同步电机和检测环节，其中被控对象为进给轴位置，检测环节包括增量式编码器、电流传感器与电机输出扭矩传感器，检测环节检测的物理量包括位置、速度、电流和扭矩；

步骤2)运行初始进给伺服***Simulink模型，获取进给轴调节过程位置、速度、扭矩、电流信号时域波形，通过时域波形计算调整时间、超调量、上升时间、峰值时间、电流与扭矩有效值之比的时间响应性能指标；

步骤3)从步骤2)的时间响应性能指标中选择参数指标作为评价指标，针对不同的补偿优化目标所选择的参数指标不同，当补偿目标为提高响应速度时，应选择调解时间、上升时间、峰值时间作为评价指标；当补偿目标是抑制超调时，应选择超调量作为评价指标；当补偿目标为提高电机效率时，则选择电流与扭矩有效值之比即效率指标作为评价指标；

将所选择的参数指标作为评价指标向量，组成状态向量S_t，

S_t＝{s₁,s₂,…s_i,…,s_n}

其中，S_i为状态向量中各个评价指标，i＝1,2,…,n；

对状态向量中各元素进行归一化处理，处理过程如下:

其中，s_imin为第i个参数指标最小值，s_imax为样本最大超调，所有参数指标最大值及最小值均通过伺服***多次运行采样得到；

将归一化后的向量S_t ^a作为Actor网络的输入向量；

步骤4)选择补偿放大增益K作为算法输出动作，作为Actor网络的输出；状态向量S_t与Actor输出动作放大增益K作为Critic网络的输入；同时根据所选择指标设计Actor-Critic算法奖励函数R(s_t,a)

R(s_t,a)＝R_ref-S_t ^a

R_ref＝[-0.65；0.7；-0.2]

步骤5)根据输入状态向量及动作分别设计Actor-Critic算法中Actor与Critic参数化网络参数φ(s)，选择RBF神经网络作为参数化手段，随机选择神经网络中心；根据所设计参数配置网络，配置算法学习率α＝0.0001，作为参数反馈更新的折扣；参数更新方式如下

其中为价值梯度，用来更新Critic网络参数梯度；为策略梯度，用来更新Actor网络参数；

步骤6)设置补偿函数形式为一元线性函数，函数形式为：

y＝K(τx+1)

其中，τ为补偿截止时间常数，为补偿信号截止时间的负倒数，K为补偿增益，补偿截止时间应根据补偿评价指标在补偿环节中设置，补偿截止时间应小于调节时间t；设计算法终止条件，设置算法最大迭代次数T作为终止条件；

步骤7)运行Actor-Critic算法进行迭代，如果价值函数R在最后100回合的变化ΔR₁₀≤2，则认为算法收敛；如果算法不收敛，则将迭代步数加大50％，重复步骤4)-7)，运行补偿后的伺服***验证补偿结果。

所述的步骤2)中的伺服***为以永磁同步电机为执行器的伺服***，工作模式为位置控制模式，包括PID控制、Park变化、Clark变换、SVPWM、逆变器、永磁同步电机模块。

所述步骤5)中的Actor-Critic算法，是通过在构建并运行Actor和Critic两个网络，并将网络与模型环境相结合，在每个回合更新网络参数而实现的。

本发明的有益效果为

1.本发明对数控***进给***进行补偿，提高进给调节速度，和稳定性，提高进给响应过程效率，同时起到抑制超调的作用，显著提高数控***进给***动态性能。

2.本发明通过强化学习的手段对伺服***进行补偿，有利于寻找到最优化补偿参数，充分发挥进给效率，延长使用寿命。

附图说明

图1是本发明方法的流程图。

图2是数控机床进给***补偿Simulink模型。

图3是基于Actor-Critic算法的数控机床进给***补偿结构示意图。

图4是本发明实施例的位置补偿之前进给位置响应时域波形图。

图5是本发明实施例的位置补偿之后进给位置响应时域波形图。

图6是本发明实施例的位置补偿前后进给位置响应时域波形对比图。

图7是本发明实施例的进给位置补偿价值函数波形图。

具体实施方式

以下结合附图和实施例对本发明进一步的详细说明。

实施例，参照图1，一种基于Actor-Critic算法的数控机床进给控制补偿方法，包括以下步骤：

步骤1)通过Simulink仿真模型对数控机床进给伺服***进行建模，如图2所示，模型包括PID控制器、逆变器、永磁同步电机和检测环节，其中被控对象为进给轴位置，检测环节包括增量式编码器、电流传感器与电机输出扭矩传感器，检测环节检测的物理量包括位置、速度、电流、扭矩；

参照图3，本实施例采用以永磁同步电机为执行器的数控机床进给伺服***，由PID控制器、逆变器、永磁同步电机、监测***几个部分组成，其中，永磁同步电机极数为8，预设位置参考为1000，初始补偿增益为0；

步骤2)运行初始状态下的永磁同步电机模型，获取电机位置、速度、扭矩信号时间幅值序列{P_t}，{V_t}，{T_t}，{t＝1,2,…,N}，N为采样点数，本实施例中N＝100K；

步骤3)本实施例目的在于减小超调，提高调节速度，并提高电机效率的多目标优化，所以选择超调量σ％、调节时间t_sp、电机效率η作为评价指标；通过时域响应信号得到取电机上升时间t_r、峰值时间t_p、超调量σ％三个时间响应性能指标；

对评价指标向量进行简化，最终得到状态向量S_t

S_t＝{σ％,t_sp,η_s}

其中，

t_sp＝t′_98％

其中，c(tp)为伺服***位置时域响应最大偏离值，c(∞)为伺服***位置时域响应终值，t'_98％为伺服***位置时域响应稳定至终值的98％所用的时间，T_rms为伺服***扭矩时域响应有效值，I_rms为伺服***电流时域响应有效值；

对状态向量中各元素进行归一化处理，处理过程如下:

其中，σ_min％为样本最小超调量，取值为0，σ_max％为样本最大超调，t_smin为样本最小调节时间，t_smax为最大调节时间，η_smin为样本最小效率指标，η_smax为样本最大效率指标，所有样本指标均通过伺服***多次运行采样得到；

将状态向量作为Actor网络的S_ta，补偿增益K作为Actor网络产生的动作A_t，将S_t与A_t组合，作为Critic网络的输入S_tc

S_tc＝{σ％,t_sp,η_s,A_t}

本实施例中，补偿前的±2％调节时间为t_sp＝4.154s，超调量σ％为0，效率指标为0.2320；将状态向量作为Actor网络的输入S_ta；

步骤4)选择补偿放大增益K作为算法输出动作，作为Actor网络的输出；状态向量S_t与Actor输出动作放大增益K作为Critic网络的输入；同时根据所选择指标设计Actor-Critic算法奖励函数R(s_t,a)

R(s_t,a)＝R_ref-S_t ^a

设置R_ref＝[-0.65；0.7；-0.2]

步骤5)根据输入状态向量及动作分别设计Actor-Critic算法中Actor与Critic参数化网络参数φ(s)，选择RBF神经网络作为参数化手段，随机选择神经网络中心；根据所设计参数配置网络，配置算法学习率α＝0.0001，作为参数反馈更新的折扣；参数更新方式如下

其中为价值梯度，用来更新Critic网络参数梯度；为策略梯度，用来更新Actor网络参数；

步骤6)设置补偿函数形式为一元线性函数，函数形式为

y＝K(τx+1)

其中，τ为补偿截止时间常数，为补偿信号截止时间的负倒数，K为补偿增益，即Actor网络产生的动作；根据补偿评价指标在补偿环节中设置补偿截止时间，补偿截止时间t^d应小于调节时间t_s；本实施例中设置截止时间为2s，确定最大迭代回合数T＝10000；

步骤7)迭代Actor-Critic算法进行迭代，如果价值函数R在最后100回合的变化ΔR₁₀≤2，认为算法收敛；如果算法不收敛，则将迭代步数加大50％，重复步骤4)-7)，运行补偿后的伺服***验证补偿结果。

参照图4，补偿前的±2％调节时间为t_sp＝4.154s，超调为0，效率指标为0.2320。参照图5，补偿后的±2％调节时间为t_sp＝4.4355s，超调为0，效率指标为0.2459。参照图6，补偿之后在没有引入超调的前提下，±2％的上升时间缩短6.77％，效率指标提高5.99％。参照图7，本发明实施例在大约3050回合价值函数收敛至最大值，最大价值函数值约为-23.9，最优补偿增益为K＝53.0687。

Claims (4)

1.一种基于Actor-Critic算法的数控机床进给控制补偿方法，其特征在于：首先，根据伺服***特点，即运行上升过程中存在延时与超调的问题，在伺服***中设计补偿环节；然后，根据控制需要设计评价指标，利用评价指标设计Actor-Critic算法奖励函数，并根据控制补偿环节确定Actor-Critic算法动作参数，确定算法迭代终止条件；最后，运行Actor-Critic算法，确定最优补偿参数。

2.根据权利要求1所述的一种基于Actor-Critic算法的数控机床进给控制补偿方法，其特征在于，包括以下步骤：

步骤1)通过Simulink仿真模型对数控机床进给***进行建模，模型包括PID控制器、逆变器、永磁同步电机和检测环节，其中被控对象为进给轴位置，检测环节包括增量式编码器、电流传感器与电机输出扭矩传感器，检测环节检测的物理量包括位置、速度、电流和扭矩；

步骤2)运行初始进给伺服***Simulink模型，获取进给轴调节过程位置、速度、扭矩、电流信号时域波形，通过时域波形计算调整时间、超调量、上升时间、峰值时间、电流与扭矩有效值之比的时间响应性能指标；

步骤3)从步骤2)的时间响应性能指标中选择参数指标作为评价指标，针对不同的补偿优化目标所选择的参数指标不同，当补偿目标为提高响应速度时，应选择调解时间、上升时间、峰值时间作为评价指标；当补偿目标是抑制超调时，应选择超调量作为评价指标；当补偿目标为提高电机效率时，则选择电流与扭矩有效值之比即效率指标作为评价指标；

将所选择的参数指标作为评价指标向量，组成状态向量S_t，

S_t＝{s₁,s₂,…s_i,…,s_n}

其中，s_i为状态向量中各个评价指标,i＝1,2,…,n；

对状态向量中各元素进行归一化处理，处理过程如下:

其中，s_{i min}为第i个参数指标最小值，s_{i max}为样本最大超调，所有参数指标最大值及最小值均通过伺服***多次运行采样得到；

将归一化后的向量S_t ^a作为Actor网络的输入向量；

步骤4)选择补偿放大增益K作为算法输出动作，作为Actor网络的输出；状态向量S_t与Actor输出动作放大增益K作为Critic网络的输入；同时根据所选择指标设计Actor-Critic算法奖励函数R(s_t,a)

R(s_t,a)＝R_ref-S_t ^a

R_ref＝[-0.65；0.7；-0.2]

步骤5)根据输入状态向量及动作分别设计Actor-Critic算法中Actor与Critic参数化网络参数φ(s)，选择RBF神经网络作为参数化手段，随机选择神经网络中心；根据所设计参数配置网络，配置算法学习率α＝0.0001，作为参数反馈更新的折扣；参数更新方式如下

其中为价值梯度，用来更新Critic网络参数梯度；为策略梯度，用来更新Actor网络参数；

步骤6)设置补偿函数形式为一元线性函数，函数形式为：

y＝K(τx+1)

其中，τ为补偿截止时间常数，为补偿信号截止时间的负倒数，K为补偿增益，补偿截止时间应根据补偿评价指标在补偿环节中设置，补偿截止时间应小于调节时间t；设计算法终止条件，设置算法最大迭代次数T作为终止条件；

步骤7)运行Actor-Critic算法进行迭代，如果价值函数R在最后100回合的变化ΔR₁₀≤2，则认为算法收敛；如果算法不收敛，则将迭代步数加大50％，重复步骤4)-7)，运行补偿后的伺服***验证补偿结果。

3.根据权利要求2所述的一种基于Actor-Critic算法的数控机床进给控制补偿方法，其特征在于：所述的步骤2)中的伺服***为以永磁同步电机为执行器的伺服***，工作模式为位置控制模式，包括PID控制、Park变化、Clark变换、SVPWM、逆变器、永磁同步电机模块。

4.根据权利要求2所述的一种基于Actor-Critic算法的数控机床进给控制补偿方法，其特征在于：所述步骤5)中的Actor-Critic算法，是通过在构建并运行Actor和Critic两个网络，并将网络与模型环境相结合，在每个回合更新网络参数而实现的。