CN109048892A - 一种基于q学习的机械臂末端避障方法 - Google Patents

Abstract

一种基于Q学习的机械臂末端避障方法，包括以下步骤：步骤1：采用拉格朗日方法对空间六自由度机械臂进行位置级、速度级运动学和动力学建模；步骤2：针对障碍物模型、关节角约束建立适应度函数；步骤3：采用五阶多项式对机械臂路径进行拟合，并对机械臂末端轨迹使用Q学习进行规划，满足使适应度函数最优。本发明针对机械臂抓捕任务中，机械臂通过自学习对可能出现的障碍物进行有效的规避，并在满足一定约束情况下的最优路径进行规划。

Description

一种基于Q学习的机械臂末端避障方法

技术领域

本发明属于空间机械臂领域，特别涉及一种基于Q学习的机械臂末端避障方法。

背景技术

路径规划一直是机器人学研究领域的一个热点，机器人路径规划问题研究的是如何依据某种最优准则，规划出一条让机器人可以从出发点到达目标点，并可以安全避开障碍物的最优路径或者是次最优路径是现有研究遇到的问题。

发明内容

本发明的目的在于提供一种基于Q学习的机械臂末端避障方法，以解决上述问题。

为实现上述问题，本发明采用以下技术方案：

一种基于Q学习的机械臂末端避障方法，包括以下步骤：

步骤1：采用拉格朗日方法对空间六自由度机械臂进行位置级、速度级运动学和动力学建模；

步骤2：针对障碍物模型、关节角约束建立适应度函数；

步骤3：采用五阶多项式对机械臂路径进行拟合，并对机械臂末端轨迹使用Q学习进行规划，满足使适应度函数最优。

进一步的，步骤1中，拉格朗日法建立空间六自由度机械臂模型；

位置级运动学方程：

为第i个连杆相对于基坐标系位姿的齐次变换矩阵，为第i个连杆相对于第i-1个连杆位姿的齐次变换矩阵，固定在末端连杆上的坐标系为n；

速度级运动学方程：

表示空间机械臂末端在惯性系下的线速度和角速度，J_b表示基座速度与机械臂末端速度之间的雅可比矩阵，表示基座在惯性系下的线速度和角速度，J_m表示关节角速度与机械臂末端速度之间的雅可比矩阵，表示关节角速度；

动力学方程：

H为表示基座惯量和基座与机械臂耦合惯量的矩阵，c_b、c_m分别为基座和机械臂运动有关的非线性力项，F_b、F_e分别为基座和机械臂末端执行器上的外作用力和力矩，τ_m为机械臂各关节外力矩。

进一步的，步骤2中，适应度函数建立；

障碍物模型：

P_n＝(x_n1,x_n2)

建立障碍物在空间内的坐标定义；

使关节角限定在给定的范围内，设计如下：

α_i为每个关节角的权重，θ_imax、θ_imin为第i个关节角期望的上下限；

综合上述条件，得适应度函数：

X_n为机械臂末端空间坐标，k₁、k₂分别为两项的权重。

进一步的，步骤3中，机械臂轨迹规划；

采用五阶多项式差值算法对机械臂轨迹进行描述：假设某一关节在开始时刻t₀＝0的关节角度为θ₀，在终止时刻t_f的关节角度为θ_f，满足此条件的光滑轨迹用θ(t)表示，a₀...a₅为多项式差值系数。

θ(t)＝a₀+a₁t+a₂t²+...+a₅t⁵

五次多项式的一阶导函数、二阶导函数分别作为关节速度、加速度的时间函数在起始点和终止点的约束条件分别为：

可以解出：

进一步的，步骤3中，Q学习进行末端规划；

基于贝尔曼方程得出Q值形式

Q(s_n,a_n)＝E{r_n+γQ(s_n+1,a_n+1)}

s_n为n时刻状态、a_n为n时刻动作、E为期望、r_n为n时刻即时奖励、γ为折扣因子、Q为预测回报；

Q(s_n+1,a_n+1)＝Q(s_n,a_n)+α_n{r_n+γmaxQ(s_n+1,a_n)-Q(s_n,a_n)}

e.对每一步进行Q值更新；

f.对当前状态的所有可能的动作中，选择一个可能的动作，使用这个可能的动作，到达下一个状态；

g.对下一个状态，基于其所有可能的动作，获得最大的Q值；

h.重复上述流程，获得最佳预测回报Q；

e.解算Q矩阵得到机械臂末端轨迹。

与现有技术相比，本发明有以下技术效果：

本发明针对目前机械臂抓捕任务中，普遍采用传统优化算法进行路径规划，在多任务优化时出现速度过慢，早熟等现象的问题，使用了一种强化学习算法：Q学习。智能体利用上述的算法从经验中学习，每一次经历等价于一次训练。在每一次训练中，智能体对环境进行探索，并且其一旦到达目标状态，就得到奖励值。训练的目的是增强智能体的大脑，用矩阵Q表示，越多的训练结果将导致更优的矩阵Q。智能体在最初对环境一无所知，因此矩阵Q被初始化为0。在不断的训练中，如果矩阵Q已经被增强，那么智能体就不会四处盲目的探索，而是会找到最快的路线到达目标状态。随着学习进程不断加深，智能体会更快找到最优路径。

具体实施方式

以下对本发明进一步说明：

一种基于Q学习的机械臂末端避障方法，包括以下步骤：

步骤1：采用拉格朗日方法对空间六自由度机械臂进行位置级、速度级运动学和动力学建模；

步骤2：针对障碍物模型、关节角约束建立适应度函数；

步骤3：采用五阶多项式对机械臂路径进行拟合，并对机械臂末端轨迹使用Q学习进行规划，使适应度函数最优。

步骤1中，拉格朗日法建立空间六自由度机械臂模型；

位置级运动学方程：

为第i个连杆相对于基坐标系位姿的齐次变换矩阵，为第i个连杆相对于第i-1个连杆位姿的齐次变换矩阵，固定在末端连杆上的坐标系为n；

速度级运动学方程：

表示空间机械臂末端在惯性系下的线速度和角速度，J_b表示基座速度与机械臂末端速度之间的雅可比矩阵，表示基座在惯性系下的线速度和角速度，J_m表示关节角速度与机械臂末端速度之间的雅可比矩阵，表示关节角速度；

动力学方程：

H为表示基座惯量和基座与机械臂耦合惯量的矩阵，c_b、c_m分别为基座和机械臂运动有关的非线性力项，F_b、F_e分别为基座和机械臂末端执行器上的外作用力和力矩，τ_m为机械臂各关节外力矩。

步骤2中，适应度函数建立；

障碍物模型：

P_n＝(x_n1,x_n2)

建立障碍物在空间内的坐标定义；

使关节角限定在给定的范围内，设计如下：

α_i为每个关节角的权重，θ_imax、θ_imin为第i个关节角期望的上下限；

综合上述条件，得适应度函数：

X_n为机械臂末端空间坐标，k₁、k₂分别为两项的权重。

步骤3中，机械臂轨迹规划；

采用五阶多项式差值算法对机械臂轨迹进行描述：假设某一关节在开始时刻t₀＝0的关节角度为θ₀，在终止时刻t_f的关节角度为θ_f，满足此条件的光滑轨迹用θ(t)表示，a₀...a₅为多项式差值系数。

θ(t)＝a₀+a₁t+a₂t²+...+a₅t⁵

五次多项式的一阶导函数、二阶导函数分别作为关节速度、加速度的时间函数在起始点和终止点的约束条件分别为：

可以解出：

步骤3中，Q学习进行末端规划；

基于贝尔曼方程得出Q值形式

Q(s_n,a_n)＝E{r_n+γQ(s_n+1,a_n+1)}

s_n为n时刻状态、a_n为n时刻动作、E为期望、r_n为n时刻即时奖励、γ为折扣因子、Q为预测回报；

Q(s_n+1,a_n+1)＝Q(s_n,a_n)+α_n{r_n+γmaxQ(s_n+1,a_n)-Q(s_n,a_n)}

i.对每一步进行Q值更新；

j.对当前状态的所有可能的动作中，选择一个可能的动作，使用这个可能的动作，到达下一个状态；

k.对下一个状态，基于其所有可能的动作，获得最大的Q值；

l.重复上述流程，获得最佳预测回报Q；

e.解算Q矩阵得到机械臂末端轨迹。

表1空间六自由度机械臂DH参数表

Claims (5)

1.一种基于Q学习的机械臂末端避障方法，其特征在于，包括以下步骤：

步骤1：采用拉格朗日方法对空间六自由度机械臂进行位置级、速度级运动学和动力学建模；

步骤2：针对障碍物模型、关节角约束建立适应度函数；

步骤3：采用五阶多项式对机械臂路径进行拟合，并对机械臂末端轨迹使用Q学习进行规划，满足适应度函数最优。

2.根据权利要求1所述的一种基于Q学习的机械臂末端避障方法，其特征在于，步骤1中，拉格朗日法建立空间六自由度机械臂模型；

位置级运动学方程：

为第i个连杆相对于基坐标系位姿的齐次变换矩阵，为第i个连杆相对于第i-1个连杆位姿的齐次变换矩阵，固定在末端连杆上的坐标系为n；

速度级运动学方程：

表示空间机械臂末端在惯性系下的线速度和角速度，J_b表示基座速度与机械臂末端速度之间的雅可比矩阵，表示基座在惯性系下的线速度和角速度，J_m表示关节角速度与机械臂末端速度之间的雅可比矩阵，表示关节角速度；

动力学方程：

H为表示基座惯量和基座与机械臂耦合惯量的矩阵，c_b、c_m分别为基座和机械臂运动有关的非线性力项，F_b、F_e分别为基座和机械臂末端执行器上的外作用力和力矩，τ_m为机械臂各关节外力矩。

3.根据权利要求1所述的一种基于Q学习的机械臂末端避障方法，其特征在于，步骤2中，适应度函数建立；

障碍物模型：

P_n＝(x_n1,x_n2)

建立障碍物在空间内的坐标定义；

使关节角限定在给定的范围内，设计如下：

α_i为每个关节角的权重，θ_imax、θ_imin为第i个关节角期望的上下限；

综合上述条件，得适应度函数：

X_n为机械臂末端空间坐标，k₁、k₂分别为两项的权重。

4.根据权利要求1所述的一种基于Q学习的机械臂末端避障方法，其特征在于，步骤3中，机械臂轨迹规划；

采用五阶多项式差值算法对机械臂轨迹进行描述：假设某一关节在开始时刻t₀＝0的关节角度为θ₀，在终止时刻t_f的关节角度为θ_f，满足此条件的光滑轨迹用θ(t)表示，a₀...a₅为多项式差值系数；

θ(t)＝a₀+a₁t+a₂t²+...+a₅t⁵

五次多项式的一阶导函数、二阶导函数分别作为关节速度、加速度的时间函数在起始点和终止点的约束条件分别为：

解出：

5.根据权利要求1所述的一种基于Q学习的机械臂末端避障方法，其特征在于，步骤3中，Q学习进行末端规划；

基于贝尔曼方程得出Q值形式

Q(s_n,a_n)＝E{r_n+γQ(s_n+1,a_n+1)}

s_n为n时刻状态、a_n为n时刻动作、E为期望、r_n为n时刻即时奖励、γ为折扣因子、Q为预测回报；

Q(s_n+1,a_n+1)＝Q(s_n,a_n)+α_n{r_n+γmaxQ(s_n+1,a_n)-Q(s_n,a_n)}

a.对每一步进行Q值更新；

b.对当前状态的所有可能的动作中，选择一个可能的动作，使用这个可能的动作，到达下一个状态；

c.对下一个状态，基于其所有可能的动作，获得最大的Q值；

d.重复上述流程，获得最佳预测回报Q；

e.解算Q矩阵得到机械臂末端轨迹。