CN111515961B - 一种适用于移动机械臂的强化学习奖励方法 - Google Patents

Abstract

本发明公开一种适用于移动机械臂的强化学习奖励方法，包括如下步骤：S1、设计任务场景，初始化算法和移动机械臂的各项参数以及算法对应的深度网络模型；S2、重构并栅格化移动机械臂上信息采集设备发送的环境信息，明确移动机械臂的起始位置和目标位置；S3、与环境交互，收集训练数据存放于经验池；S4、从经验池中采样一个批次的数据，通过奖励函数的处理得到额外设计的反思奖励用于后续的训练；S5、结合原始奖励和额外奖励，使用深度强化学习算法训练移动机械臂在规划空间内完成目标任务；S6、记录相关训练数据和最后训练完成的模型参数，得到相对应的最优策略。

Description

一种适用于移动机械臂的强化学习奖励方法

技术领域

本发明涉及一种适用于移动机械臂的强化学习奖励方法，将强化学习用于传统的机械臂控制任务中，并重新设计奖励信号的构造方式，解决现有方法奖励设置的缺陷，取得了更好的控制性能。

背景技术

在传统的控制领域中，对于移动机械臂的控制与运动规划通常都是对机械臂进行运动学建模并求解末端位姿和对应各个关节的角度值。随着实际应用环境的复杂性不断提高，传统的基于模型和规则的控制方法对于环境的建模和机械臂的运动学求解也会越来越复杂，并且需要大量人为经验去设计相应的规则。

设计规则和建模都需要耗费很大的精力，并且多数场景下机械臂不能及时适应外部环境的变化。此时强化学习作为人工智能的一个重要研究方向，在处理这一类序列决策问题时就显示出了独特的优势并且不需要人为设计规则和建模就可以对移动机械臂进行正向的运动学求解。因此将强化学习应用于移动机械臂的训练是可行的。在强化学习中一个科学的奖励信号设置尤为重要，现有方法奖励信号设置过于简单，我们充分利用获得的历史奖励序列中的信息，结合心理学的峰终定律(Peak-EndRule)和势能函数理论重新构造奖励信号，使得被训练对象在联合奖励下能更快地找到最优策略。最后本发明使用深度强化学习算法和提出的奖励函数设计方法来训练移动机械臂完成相应的控制任务。

发明内容

本发明的目的主要是针对传统移动机械臂控制方案的不足，传统控制方法在实际应用环境变得越来越复杂后，使得机械臂的运动学求解也变得越来越困难。本发明提出了一种适用于移动机械臂的强化学习奖励方法，并在现有方法的基础上重新构造奖励函数，最终实现更好的控制性能。

技术方案：一种适用于移动机械臂的强化学习奖励方法，其特征在于，包括如下步骤：

S1、设计任务场景，初始化算法和移动机械臂的各项参数以及算法对应的深度网络模型；

S2、重构并栅格化移动机械臂上信息采集设备发送的环境信息，明确移动机械臂的初始位姿和相应自由度的位姿；

S3、与环境交互，收集训练数据存放于经验池；

S4、从经验池中采样一个批次的数据，通过奖励函数的处理得到额外设计的反思奖励用于后续的训练；

S5、结合原始奖励和额外设计的反思奖励，使用深度强化学习算法训练移动机械臂在规划空间内完成目标任务；

S6、记录相关训练数据和最后训练完成的模型参数，得到相对应的最优策略。

本发明技术方案进一步限定的技术方案为：在步骤S6中，所述策略的函数π^*：

其中：s为环境状态；

表示从状态s转移到状态s′的概率，Q^π(s′,a′)表示在策略π下，Q表中状态s′下选择某一动作a′的状态动作价值，r(s,a)表示在状态s下选取动作a所得回报奖励。

作为优选，所述步骤S1中，初始化各项参数的步骤包括：

步骤1.1，根据采用的强化学习算法模型设置基本的超参数、一次训练迭代所用的数据批次的大小k、步长η、初始化经验池的周期K、经验池的大小N，以及训练迭代次数T；其中k用于控制训练机械臂时一次所输入的数据的batchsize，步长η用于控制神经网络参数的更新幅度，初始化经验池的周期K为步骤3中使用随机策略与环境交互的次数，从而获得初始的训练数据；N用来控制经验池的大小，即总共能存储的数据量；

步骤1.2，对机械臂对应模块和控制器的参数进行初始化，获得移动机械臂的初始位置和相应的关节变量、末端位姿；

步骤1.3，设计环境状态的输入和移动机械臂的动作输出，具体包括：

a、训练机械臂时直接输入机械臂传感器和摄像头采集后的经过栅格化处理的图像观测和对应目标试管在世界坐标系的坐标作为环境的状态输入；

b、整个移动机械臂的动作输出至少包括两种不同形式：

(1)、移动机械臂末端对应在水平和竖直方向上的移动，并在合适的时机采取夹取的动作；

(2)当整个机械臂部分在动作空间内无法到达目标位置时，四轮移动机器人再进行相应的移动，四轮移动机器人只在水平方向上移动或停止。

作为优选，所述步骤S2包括以下几步：

步骤2.1，利用移动机械臂自带的双目视觉摄像头和相关传感器采集环境信息，明确移动机械臂的初始位姿和相应自由度的位姿；

假设移动机械臂的几何中心为M，移动机械臂自身坐标系为xoy，对应的世界坐标系为XOY；移动机械臂的运动方向角为φ，则对应的移动机械臂在世界坐标系中的初始位姿，可以表示为：

p＝[x_M,y_M,φ]^T (2)

初始状态下的运动方向角可以认为φ＝0；对应的移动机械臂坐标系和世界坐标系之间的转换矩阵为：

由此可以得到对应的六轴机械臂末端坐标系在世界坐标系中的转换矩阵：

其中，M对应移动机械臂自身坐标系，W代表世界坐标系，数字0到6对应机械臂每个自由度的坐标系；对应的

P₁＝[e,0,f]^T此时就可根据移动机械臂位姿和各个关节的角度得到末端位姿；

步骤2.2，对图像进行灰度处理并将图像的大小调整至合适尺寸，将灰度图等间隔等大小划分为若干正方形栅格，以便于表示出目标点的坐标作为环境状态的输入。

作为优选，所述步骤S3包括以下几个步骤：

步骤3.1，先使用合理的随机策略让机械臂去尝试完成控制任务，记录相应的数据并保存起来用于后续的训练；

步骤3.2，机械臂在完成控制任务时利用强化学习算法输出得到末端位姿和逆向运动学求解对应各个关节的角度值，避免机械臂的姿态出现不合理的情况。

作为优选，所述步骤S4包括以下几个步骤：

步骤4.1，设置原始奖励，所述原始奖励可以表示为：

R＝R_dis+R_p (5)

其中：

p_t表示的是目标试管在世界坐标系下的坐标，p_m表示当前机械臂末端在世界坐标系下的坐标，对应的惩罚项为：

步骤4.2，根据对应的采样优先级从经验池中先获取一个批次的训练数据，其中的采样优先级可以看成一个满足下述条件的概率分布：

P(i)即为采样的概率分布，δ_i为强化学习算法模型的TD-error，rank(i)是采样每个样本的优先级，p_i为对应的概率；

步骤4.3，采样得到数据后，对于数据的历史奖励序列可以表示为：

R＝[r₀,r₁,r₂,…,r_t,r_t+1,…,r_N] (10)

其中：N为经验池的大小，在得到一个批次的数据后，计算当前奖励r_t相对于过去时间段内的变化r_d，得到奖励序列R_d:

步骤4.4，使用signal函数对R_d序列中的奖励进行处理得到R_sgn＝f(R_d)，signal函数具体表达式为：

步骤4.5，定义反思奖励，这里的反思奖励函数F＝γΦ(s′)-Φ(s)满足势能函数的设定，使得在新MDP(马尔科夫决策过程)中学习到的最优策略仍然是原始MDP中的最优策略，保证不会因为奖励函数的重新构造而学习到错误的控制策略：

F＝γΦ(s′)-Φ(s) (15)

作为优选，所述步骤S5主要包括以下几个步骤：

步骤5.1，训练和测试机械臂完成控制任务；

步骤5.2，输出对应动作空间的每个动作的估计Q值，根据Q值选取回报最大的动作进行执行；对应的神经网络模型输出两部分Q值，分别对应机械臂和移动机器人部分的值函数；

步骤5.3，根据优先级从事先准备的经验池中采样相应的数据(S_t,A_t,R_t,S_t+1)_j，

采样一个批次的数据作为神经网络的输入进行训练；

步骤5.4，根据值函数的定义，移动机械臂计算方式如下：

Q(s,a)＝E[R^union|s_t,a_t,π]

＝E_s′[r_union+γE_{a′～π(s′)}[Q(s′,a′)]] (16)

其中:r_union＝r+r_intro，r为原始设定的奖励信号，r_intro为额外添加的反思奖励，对应的目标函数为：

L_i(θ_i)＝E_s,a,r,s′[(y_i-Q(s,a；θ_i))²] (17)

其中：

表示的是对应的目标网络的参数，目标网络的参数按设定周期进行参数更新；

步骤5.5，计算对应的TD-error用于后续更新采样优先级：

步骤5.6，根据梯度计算网络参数的改变量Δ：

步骤5.7，更新网络参数θ←θ+ηΔ，并重置

同时判断是否要更新目标网络参数。

有益效果：与现有技术相比，本发明所提出的适用于移动机械臂的强化学习奖励方法使用强化学习方法实现移动机械臂的正向运动学求解，并训练移动机械臂完成相应的控制任务；本发明在现有方法奖励函数设置的基础上，结合峰终定律和势能函数理论重新构造奖励信号，使得被训练智能体在联合奖励的指导下学习最优控制策略，有效的提高了学习的效率和最终性能。

附图说明

图1为本发明的简要任务场景图。

图2为本发明实施例采用的移动机械臂***示例图。

图3为本发明实施例的算法整体框架图。

图4为本发明实施例在强化学习基准仿真环境中对比同类算法的实验效果图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明。

如附图1所示：本实施例提供一种适用于移动机械臂的强化学***和竖直方向上进行移动；和机械臂相连的是一个四轮移动机器人，该机器人在任务设定中只在水平方向上移动。本实施例设计的任务场景是利用移动机械臂完成相对应的化学实验任务，任务流程主要是利用移动机械臂按照指定的方式获取相关原料并将原料加入已放置好的试管内。因此任务分为两个阶段，首先是取到相关原料，然后将原料放入指定试管。本实施例所述的适用于移动机械臂的强化学习奖励方法，如图3所示：至少包括以下几个步骤：

步骤S1、设计任务场景，初始化算法和移动机械臂的各项参数，然后再初始化算法对应的深度网络模型，具体包括以下步骤：

步骤1.1，根据采用的强化学习算法模型设置基本的超参数，一次训练迭代所用的数据批次的大小k，步长η，初始化经验池的周期K，经验池的大小N，以及训练迭代次数T；其中k用于控制训练机械臂时一次所输入的数据的batchsize，步长η用于控制神经网络参数的更新幅度，初始化经验池的周期K指的是步骤3中使用随机策略与环境交互的次数，从而获得初始的训练数据；N用来控制经验池的大小，即总共能存储的数据量。

步骤1.2，在初始化算法相关参数后对机械臂对应模块和控制器的参数进行初始化，获得移动机械臂的初始位置和相应的关节变量、末端位姿；

步骤1.3，设计环境状态的输入和移动机械臂的动作输出，具体包括：

a、训练机械臂时直接输入机械臂传感器和摄像头采集后的经过栅格化处理的图像观测和对应目标试管在世界坐标系的坐标作为环境的状态输入；

b、整个移动机械臂的动作输出至少包括两种不同形式：

(1)、移动机械臂末端对应在水平和竖直方向上的移动，并在合适的时机采取夹取的动作；

(2)当整个机械臂部分在动作空间内无法到达目标位置时，四轮移动机器人再进行相应的移动，四轮移动机器人只在水平方向上移动或停止。

步骤S2、利用移动机械臂自带的传感器和摄像头采集并处理环境信息，对环境信息进行重构并做栅格化处理，明确起始位置和目标位置，具体步骤如下：

步骤2.1，利用移动机械臂自带的双目视觉摄像头和相关传感器采集环境信息，明确移动机械臂的初始位姿和相应自由度的位姿；

假设移动机械臂的几何中心为M，移动机械臂自身坐标系为xoy，对应的世界坐标系为XOY；移动机械臂的运动方向角为φ，则对应的移动机械臂在世界坐标系中的初始位姿，可以表示为：

p＝[x_M,y_M,φ]^T (2)

初始状态下的运动方向角可以认为φ＝0；对应的移动机械臂坐标系和世界坐标系之间的转换矩阵为：

由此可以得到对应的六轴机械臂末端坐标系在世界坐标系中的转换矩阵：

其中M对应移动机械臂自身坐标系，W代表世界坐标系，数字0到6对应机械臂每个自由度的坐标系；对应的

P₁＝[e,0,f]^T，此时就可根据移动机械臂位姿和各个关节的角度得到末端位姿；

步骤2.2，采集到环境的图像信息后，对图像进行灰度处理并将图像的大小调整为84*84的尺寸；同时将灰度图等间隔等大小划分为若干正方形栅格，以便于表示出目标点的坐标作为环境状态的输入。

步骤S3、使用随机策略与环境交互收集训练数据，初始化经验池，这里的经验池用来存放训练所需要的数据和相关历史信息，具体包括以下步骤：

步骤3.1，先使用合理的随机策略让机械臂去尝试完成控制任务，记录相应的数据并保存起来用于后续的训练，此阶段的主要目的是学会基本的控制技能；

步骤3.2，机械臂在完成控制任务时利用强化学习算法输出得到末端位姿和逆向运动学求解对应各个关节的角度值，使机械臂的姿态不会出现拉伸、扭曲等不合理的情况；

步骤S4、根据当前奖励信号和历史奖励序列计算反思奖励，具体包括以下步骤：

步骤4.1，设置原始奖励，其中原始奖励分为两部分，一部分与机械臂末端距离目标的欧氏距离有关，另一部分是对相应的不合理的情况给出相应的惩罚，可以表示为：

R＝R_dis+R_p (5)

其中：

p_t表示的是目标试管在世界坐标系下的坐标，p_m表示当前机械臂末端在世界坐标系下的坐标，对应的惩罚项为：

步骤4.2，根据对应的采样优先级从经验池中先获取一个批次的训练数据，其中的采样优先级可以看成一个满足下述条件的概率分布：

P(i)即为采样的概率分布，δ_i为强化学习算法模型的TD-error，采样的优先级正是由这个误差来决定；这个时候采样的概率分布是一个幂律分布，并且相对于|δ_i|是单调的，∈是一个很小的正数，用来保证每一个样本数据都会被采样到,rank(i)是采样每个样本的优先级，p_i为对应的概率；

步骤4.3，采样得到数据后，对于数据的历史奖励序列可以表示为：

R＝[r₀,r₁,r₂,…,r_t,r_t+1,…,r_N] (10)

N为经验池的大小，在得到一个批次的数据后，计算当前奖励r_t相对于过去时间段内的变化r_d，得到奖励序列R_d:

在现有算法中，训练机械臂只利用了当前得到的奖励，并没有考虑到奖励在过去时间内的变化趋势和整体情况，类似心理学峰终定律描述人类做评价往往是依据峰值体验和距离现在时间最近的体验。利用历史奖励序列中的二阶信息，使得被训练对象除了知道当前决策的优劣，也可以有效的学习到当前决策相对过去整体的优劣。

步骤4.4，在经过步骤4.3的处理后，使用signal函数对R_d序列中的奖励进行处理得到R_sgn＝f(R_d)，signal函数具体表达式为：

步骤4.5，定义反思奖励(introspection-reward)，这里的反思奖励函数F＝γΦ(s′)-Φ(s)满足势能函数的设定，使得在新MDP(马尔科夫决策过程)中学习到的最优策略仍然是原始MDP中的最优策略，保证不会因为奖励函数的重新构造而学习到错误的控制策略：

F＝γΦ(s′)-Φ(s) (15)

步骤S5，结合原始奖励和反思奖励，使用深度强化学习算法训练移动机械臂在规划空间内完成目标任务：

步骤5.1，使用深度Q学习算法(DQN)作为基准来训练和测试机械臂完成控制任务；算法的输入是移动机械臂采集环境信息后进行重构的栅格化图像和目标位置的坐标，其输出对应机械臂末端和四轮移动机器人的可执行动作以达到目标位置；同时根据末端需要到达目标位置调节各个关节对应的姿态，根据关节姿态和末端在规划空间内的位置来判断任务的完成情况并给予相应的奖励和惩罚；

步骤5.2，输入图像组合直到当前的4帧画面，经过卷积层和全连接层的处理最后输出对应动作空间的每个动作的估计Q值；随后根据Q值选取回报最大的动作进行执行；对应的神经网络模型输出两部分Q值，分别对应机械臂和移动机器人部分的值函数；

步骤5.3，根据优先级从事先准备的经验池中采样相应的数据(S_t,A_t,R_t,S_t+1)_j，

采样一个批次的数据作为神经网络的输入进行训练；

步骤5.4，根据值函数的定义，对于移动机械臂自然有如下计算方式：

Q(s,a)＝E[R^union|s_t,a_t,π]

＝E_s′[r_union+γE_{a′～π(s′)}[Q(s′,a′)]] (16)

这里r_union＝r+r_intro，其中r为原始设定的奖励信号，r_intro为额外添加的反思奖励，对应的目标函数为：

L_i(θ_i)＝E_s,a,r,s′[(y_i-Q(s,a；θ_i))²] (17)

其中：

表示的是对应的目标网络的参数，目标网络的参数并不是每一轮都更新，会设定一个周期，每过一个周期更新一次参数；

步骤5.5，计算对应的TD-error用于后续更新采样优先级：

步骤5.6，根据梯度计算网络参数的改变量Δ：

步骤5.7，更新网络参数θ←θ+ηΔ，并重置

同时判断是否要更新目标网络参数。

步骤S6，记录相关训练数据和最后训练完成的模型参数，得到相对应的最优策略π^*：

s为环境状态；

表示从状态s转移到状态s′的概率，Q^π(s′,a′)表示在策略π下，Q表中状态s′下选择某一动作a′的状态动作价值，r(s,a)表示在状态s下选取动作a所得回报奖励。

本实施中对比了本发明公开的方法与DQN系列算法的效果，结果对比如图3所示，从图中可以看出，本发明公开的方法在一系列强化学习基准测试环境中取得了更好的效果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (5)

1.一种适用于移动机械臂的强化学习奖励方法，其特征在于，包括如下步骤：

S1、设计任务场景，初始化算法和移动机械臂的各项参数以及算法对应的深度网络模型；

S2、重构并栅格化移动机械臂上信息采集设备发送的环境信息，明确移动机械臂的初始位姿和相应自由度的位姿；

S3、与环境交互，收集训练数据存放于经验池；

S4、从经验池中采样一个批次的数据，通过奖励函数的处理得到额外设计的反思奖励用于后续的训练；

S5、结合原始奖励和额外设计的反思奖励，使用深度强化学习算法训练移动机械臂在规划空间内完成目标任务；

S6、记录相关训练数据和最后训练完成的模型参数，得到相对应的最优策略；

所述步骤S4包括以下几个步骤：

步骤4.1，设置原始奖励，所述原始奖励可以表示为：

R＝R_dis+R_p (1)

其中：

p_t表示的是目标试管在世界坐标系下的坐标，p_m表示当前机械臂末端在世界坐标系下的坐标，对应的惩罚项为：

步骤4.2，根据对应的采样优先级从经验池中先获取一个批次的训练数据，其中的采样优先级可以看成一个满足下述条件的概率分布：

p(i)即为采样的概率分布，δ_i为强化学习算法模型的TD-error，rank(i)是采样每个样本的优先级，p_i为对应的概率；

步骤4.3，采样得到数据后，对于数据的历史奖励序列可以表示为：

R＝[r₀,r₁,r₂,…,r_t,r_t+1,…,r_N] (10)

其中：N为经验池的大小，在得到一个批次的数据后，计算当前奖励r_t相对于过去时间段内的变化r_d，得到奖励序列R_d:

步骤4.4，使用signal函数对R_d序列中的奖励进行处理得到R_sgn＝f(R_d)，signal函数具体表达式为：

步骤4.5，定义反思奖励，这里的反思奖励函数F＝γΦ(s′)-Φ(s)满足势能函数的设定，使得在新MDP(马尔科夫决策过程)中学习到的最优策略仍然是原始MDP中的最优策略，保证不会因为奖励函数的重新构造而学习到错误的控制策略：

F＝γΦ(s′)-Φ(s) (15)。

2.根据权利要求1所述的适用于移动机械臂的强化学习奖励方法，其特征在于，

在步骤S6中，所述策略的函数π^*：

s为环境状态；

表示从状态s转移到状态s′的概率，Q^π(s′,a′)表示在策略π下，Q表中状态s′下选择某一动作a′的状态动作价值，r(s,a)表示在状态s下选取动作a所得回报奖励。

3.根据权利要求1所述的适用于移动机械臂的强化学习奖励方法，其特征在于，所述步骤S1中，初始化各项参数的步骤包括：

步骤1.1，根据采用的强化学习算法模型设置基本的超参数、一次训练迭代所用的数据批次的大小k、步长η、初始化经验池的周期K、经验池的大小N，以及训练迭代次数T；其中k用于控制训练机械臂时一次所输入的数据的batchsize，步长η用于控制神经网络参数的更新幅度，初始化经验池的周期K为步骤3中使用随机策略与环境交互的次数，从而获得初始的训练数据；N用来控制经验池的大小，即总共能存储的数据量；

步骤1.2，对机械臂对应模块和控制器的参数进行初始化，获得移动机械臂的初始位置和相应的关节变量、末端位姿；

步骤1.3，设计环境状态的输入和移动机械臂的动作输出，具体包括：

a、训练机械臂时直接输入机械臂传感器和摄像头采集后的经过栅格化处理的图像观测和对应目标试管在世界坐标系的坐标作为环境的状态输入；

b、整个移动机械臂的动作输出至少包括两种不同形式：

(1)、移动机械臂末端对应在水平和竖直方向上的移动，并在合适的时机采取夹取的动作；

(2)当整个机械臂部分在动作空间内无法到达目标位置时，四轮移动机器人再进行相应的移动，四轮移动机器人只在水平方向上移动或停止。

4.根据权利要求1所述的适用于移动机械臂的强化学习奖励方法，其特征在于，所述步骤S2包括以下几步：

步骤2.1，利用移动机械臂自带的双目视觉摄像头和相关传感器采集环境信息，明确移动机械臂的初始位姿和相应自由度的位姿；

假设移动机械臂的几何中心为M，移动机械臂自身坐标系为xoy，对应的世界坐标系为XOY；移动机械臂的运动方向角为φ，则对应的移动机械臂在世界坐标系中的初始位姿，可以表示为：

p＝[x_M,y_M,φ]^T (5)

初始状态下的运动方向角可以认为φ＝0；对应的移动机械臂坐标系和世界坐标系之间的转换矩阵为：

由此可以得到对应的六轴机械臂末端坐标系在世界坐标系中的转换矩阵：

其中，M对应移动机械臂自身坐标系，W代表世界坐标系，数字0到6对应机械臂每个自由度的坐标系；对应的

P₁＝[e,0,f]^T，此时就可根据移动机械臂位姿和各个关节的角度得到末端位姿；

步骤2.2，对图像进行灰度处理并将图像的大小调整至合适尺寸，将灰度图等间隔等大小划分为若干正方形栅格，以便于表示出目标点的坐标作为环境状态的输入。

5.根据权利要求1所述的适用于移动机械臂的强化学习奖励方法，其特征在于，所述步骤S3包括以下几个步骤：

步骤3.1，先使用合理的随机策略让机械臂去尝试完成控制任务，记录相应的数据并保存起来用于后续的训练；

步骤3.2，机械臂在完成控制任务时利用强化学习算法输出得到末端位姿和逆向运动学求解对应各个关节的角度值，避免机械臂的姿态出现不合理的情况。

Images