CN115933641A - 基于模型预测控制指导深度强化学习的agv路径规划方法 - Google Patents
基于模型预测控制指导深度强化学习的agv路径规划方法 Download PDFInfo
- Publication number
- CN115933641A CN115933641A CN202211438018.0A CN202211438018A CN115933641A CN 115933641 A CN115933641 A CN 115933641A CN 202211438018 A CN202211438018 A CN 202211438018A CN 115933641 A CN115933641 A CN 115933641A
- Authority
- CN
- China
- Prior art keywords
- network
- agv
- training
- control
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及基于模型预测控制指导深度强化学习的AGV路径规划方法,针对阿克曼结构AGV,设计了MPC算法,在代价函数中加入了障碍物代价,这使得MPC在轨迹跟踪过程中能实现避障功能;设计强化学习的状态、动作、奖励,搭建了深度强化学习的算法框架;利用MPC的策略训练强化学习网络,设计了训练完成的标准,这使得在训练网络过程中有高效的规划策略,加快了网络的训练效率,训练结束后能以较低的运算负载执行路径规划,让AGV在未知动态环境中也能可靠地、高效地完成规划任务,到达目标点。
Description
技术领域
本发明涉及基于模型预测控制指导深度强化学习的AGV路径规划方法,属于人工智能控制技术领域。
背景技术
21世纪以来,科技创新快速发展,人工智能技术成为了各国科研机构、科技企业和高校研究所的广泛关注和研究的课题,也标志着未来科技发展的重要方向。自主导航机器人(Automated Guided Vehicle,AGV)随着科技发展也逐渐出现在人们的视野中,从大型医院的大厅服务机器人到大型商场的送菜机器人,从民用领域的家用扫地机器人到军用领域扫雷侦察机器人,都能看到AGV的影子,它在人们生活中正承担着越来越重要的角色。
路径规划是AGV导航框架中的一种重要组件,按照所获取的环境数据不同,该组件又可以分成全局路径规划和部分路径规划。全局路线规划方法通过对已知的环境地图计算得到了从起点到终点的完整路线,常用的方法包括A*算法、Dijkstra算法和蚁群优化算法,这些算法依赖全局静态地图,因此不适用于动态环境。局部路径规划方法用于动态的环境中,该方法在全局路径的基础上重新规划出局部路径,如模型预测控制算法(ModelPredictive Control,MPC)、动态窗口算法和人工势场法。为了实现在动态未知环境中实现自主导航,通常采用全局路径规划与局部路径规划相结合,因此在动态环境中实现重新规划导航路径需要大量计算,规划消耗的资源多,成本较高。而新型的人工智能算法深度强化学习用于路径规划,虽然降低规划时的计算资源降低成本,但是不能直接应用于动态未知环境,需要提前花大量时间训练,这大大降低了它的适用性。
发明内容
为了克服现有研究的不足,本发明提供了基于模型预测控制指导深度强化学习的AGV路径规划方法,能够直接应用于动态未知环境的导航任务中,当小车训练达到设定的训练标准后便可利用强化学习进行规划,直接获得传感器读数映射到动作的策略。一方面,该方法解决了现有深度强化学习算法实现路径规划的小车的两个缺陷:其一,将小车置于一个动态未知的环境中,小车对所处环境的信息一无所知,小车只能通过“摸索”的方式去完成规划任务,极大的降低了执行任务的效率;其二,深度强化学习的本质是与环境交互,然后获得相应的奖励,根据获得的奖励调整小车的策略,而训练期间容易发生灾难性故障,这增加了在未知动态环境中的训练成本和训练时间。另一方面,该方法训练完成后的计算成本低于模型预测控制方法,虽然模型预测控制是控制机器人***的一种有效方法,尤其是阿克曼底盘结构小车,但是应用中需要计算或估算小车的状态,根据预测时域计算多步结果去实现一步控制,这使得局部规划产生昂贵的计算成本。
基于模型预测控制指导深度强化学习的AGV路径规划方法的具体步骤如下:
步骤一:根据搭载单线激光雷达的阿克曼底盘结构AGV的车辆结构建立运动学模型,并将运动学模型转化为状态空间方程;
步骤二:参数初始化,包括车辆的底盘的长度length、宽度width、前后车轮轴距l,代价地图膨胀半径dr;
步骤三,车载激光雷达进行静态地图的感知与构建代价地图,构建完成后栅格化代价地图;
步骤四:判断是否到全局路径规划时间,达到则利用A*算法进行全局路径规划,全局路径规划完成后确定运动轨迹的参考点,根据各个参考点计算车辆姿态参考值,否则执行步骤五;
步骤五:确定参考值后进行基于MPC算法的轨迹规划和轨迹跟踪,向AGV与深度强化学习发出计算得到的控制信号u(k);
步骤六:深度强化学习模块将步骤五中获取的控制信号u(k)与离散动作空间匹配后得到本次的动作信息,将步骤三中获取的激光雷达信号经筛选后作为本次的状态信息;
步骤七:AGV执行步骤五中得到的控制信号u(k),朝局部规划点运动,同时判断是否达到目标点,未达到则回到步骤三继续训练,否则进一步判断是否达到训练完成标准,达到标准则结束训练,否则进入新一轮的全局目标给定与训练;
步骤八:网络训练完成后,单独使用深度强化学习完成AGV的路径规划。
所述步骤一根据AGV的车辆结构建立运动学模型,并将运动学模型转化为状态空间方程具体包括:
S1.1:阿克曼结构小车的运动学模型考虑的物理参数有小车前后轮轴距、前轮偏角的约束范围和车速的约束范围,车辆运动学方程为:
将式(1.2)在参考点(χr,ur)进行泰勒级数展开并忽略高阶项得到:
将式(1.2)和式(1.3)合并,将其离散化,离散后得到基于运动学模型的离散状态空间方程:
其中是k+1时刻小车状态量偏差,是k时刻小车状态量偏差,是k时刻控制量偏差,vr是车速参考值,是车辆航向角参考值,δr是前轮转角参考值,T是采样时间,l是车辆的前后轮轴距,A、B是车辆离散状态空间方程的系数矩阵;
定义状态输出方程:
其中y(k)是k时刻的***输出量,Cout是设计的输出矩阵。
所述步骤五确定参考值后进行基于MPC算法的轨迹规划和轨迹跟踪,发出计算得到的控制信号具体步骤包括:
得到新的输出方程为:
其中C'是得到新的输入矩阵。
S5.2:若设预测时域为Np,控制时域为Nc,对状态空间表达式进行多步推导:
根据式(5.3)对输出方程进行多步推导:
将***未来时刻的输出以矩阵的形式表达,得到预测的输出方程:
Y=ψξ(k)+ΘΔU (5.5)
其中:
S5.3:设计避障惩罚函数,基本思路是通过障碍物点与目标点的距离偏差来调节函数值的大小,且距离越近,函数值越大,所以选择如下形式的避障功能函数:
其中,Sobs为权重系数,vi是小车的实时行驶速度的平方vi=vx 2+vy 2,用于避障过程减速的作用,(xi,yi)是障碍物点在车身坐标系下的位置坐标,(x0,y0)是车辆质心坐标,ζ为较小的正数,用于防止出现分母为零的现象。
S5.4:为了追求***控制目标式速度跟踪精度,同时避免过大的加速度,将性能评价函数定义为:
其中Jobs,i为采样时刻i的避障函数,Np为预测步长,Nc为控制步长;ηp(k+i|k)为控制输出预测量;ηr(k+i|k)为控制输出参考量;(k+i|k)表示根据k采样时刻的信息来预测k+i时刻;u(k+i)和Δu(k+i)分别是k+i时刻控制输入和控制输入增量;Q和R分别是***输出量、控制增量和控制量权重***矩阵;umin和umax分别是控制总量的最小约束和最大约束;Δumin和Δumax分别是控制增量的最小约束和最大约束。
根据计算得到u(k),其中u(k)表示在k时刻的控制量,即为k时刻车速v(k)和前轮转角δ(k)。
所述步骤六深度强化学习模块将步骤五中获取的控制信号u(k)与离散动作空间做匹配后得到本次的动作信息,将步骤三中获取的激光雷达信号经筛选后作为本次的状态信息具体包括:
S6.1:在深度强化学习模块训练前,设计***状态(state)、动作(action)、奖励函数(reward)和网络结构(network structure),利用深度强化学习DDQN(Double Deep Q-Learning Network)算法实现强化学习训练并规划导航
S6.2:搭建深度强化学习的算法框架:采用DDQN算法,DDQN算法如图3所示,包括Q网络、QTarget网络,Q网络输出的是在当前状态预测动作,QTarget网络输出的是Q网络做出的决策的评价;
Q网络的输入是状态state,输出的是AGV采用的动作action;QTarget网络输入的是状态动作(state,action),输出的是价值Q(s,a),其中s代表状态,a代表在状态s下采取的动作,Q(s,a)代表当前状态s下采用动作a的价值;
S6.3:训练网络,使得AGV在环境交互中学习策略。
所述S6.1具体包括:
S6.1.1:设计***状态空间,考虑到计算负担和实际导航效果,同时方便设计卷积网络,设计了输入为200个数据集,将激光雷达点阵信号与全局目标坐标作为输入信号。
S6.1.2:设计动作空间,由于阿克曼结构小车的控制信号是连续的控制信号πRL=[v,δ],其中v为小车前进速度,δ为小车前轮偏角,为了解决基于值估计的DDQN难以适用于连续动作空间的问题,现将步骤五计算得到的小车的控制动作u(k)离散化,通过牺牲一部分控制精度换取解空间维度的大幅压缩以及探索效率的显著提升。
如何确定量化间隔是决定训练效果的关键因素,在将连续控制信号转化为有限数量的离散动作时,必须保证仍然具有足够的控制精度,避免过于粗糙的离散化操作影响实际控制效果。
动作空间离散化不可避免地会带来控制精度的下降,然而对于规划任务来说,只要量化间隔适中,就完全可以保证足够的控制精度。而量化间隔在控制精度与训练高效性的两极之间存在一个黄金区域,使得训练效率改善带来的收益大于控制精度带来的损失,使得强化学***均得分来评判,测试性能时AGV执行N个周期,记录AGV获得的所有奖励并对其求平均值。
已知AGV的控制周期T,设线速度量化间隔是Δv,可以得出原始的连续信号与离散后的信号的最大偏差为Δv/2,那么离散前后单步控制的距离最大误差是T×Δv/2,为了避免因控制误差导致的碰撞,单步控制的最大纵向距离误差T×Δv/2要小于代价地图的膨胀半径dr,所以Δv<2dr/T。
设前轮偏角量化间隔是Δδ,可以得出原始的连续信号与离散后的信号的最大偏差为Δδ/2,那么前轮偏角离散前后单步控制的最大距离误差是2vmax·T/sin(Δδ/4),为了避免因控制误差导致的碰撞,单步控制的最大横向距离误差2vmax·T/sin(Δδ/4)要小于代价地图的膨胀半径dr,所以得到Δδ<4arcsin(dr/2vmax·T)。
在满足上述要求的前提下,设定速度与前轮偏角的量化间隔Δv、Δδ,考虑到步骤五设定的AGV线速度约束为vmin~vmax,首先以量化间隔Δv对线速度约束进行均匀量化,而考虑小车的前轮偏角约束δmin~δmax,以量化间隔Δδ对前轮偏角约束进行均匀量化,由此组成动作空间。在该动作空间下进行训练,并根据训练过程中AGV获得的平均奖励多次调整量化间隔Δv、Δδ,达到量化间隔的黄金区域,即量化间隔变大或变小均不能使强化学***均奖励提高,这样就得到了最佳的量化间隔Δvb、Δδb。
S6.1.3:设计奖励函数,奖励函数的功能是用于奖励小车到达给定目标或对碰撞障碍物进行惩罚,所以设计如下:
R(s,a)=R1+R2+R3+R4 (6.1)
R1=kR(dgt-1-dgt) (6.2)
R3=-cR·time (6.4)
表示奖励函数由四部分组成,R1这部分用于刺激机器人接近目标位置,其中kR是权重系数,dgt-1表示机器人与上一步目标位置之间的线性距离,以及dgt表示机器人与下一步目标位置之间的线性距离;R2表示碰撞惩罚,da,damin分别标明当前机器人与障碍物之间的距离以及机器人与障碍物之间的最小安全距离;R3是指当前时间惩罚值,时间成本越高,对机器人施加的惩罚越多,并且可以刺激AGV在训练过程中找到最佳路径,从而使到达目标位置所需的时间最短,cR是设置的权重参数,time是从起点达到目标点所经历的时间;R4表示如果机器人到达目标位置,则给予奖励,否则不给予奖励。
所述S6.3具体包括:
S6.3.1:初始化环境,设置AGV的初始环境,初始化Q网络和QTarget网络结构与参数,初始化样本池容量;
S6.3.2:从AGV车载单线激光雷达接收的数据和局部目标点与AGV的相对坐标中获取当前状态s,把步骤五中获得的u(k)作为动作a,AGV执行动作a,在执行完动作a后,AGV的状态发生改变得到下一个状态s',以及计算奖励函数得到的此次策略的奖励r,组合成一个四元组(s,a,s',r),将四元组放入样本池中,用于后续的网络训练;
S6.3.3:Q网络训练过程:从样本池中随机抽取m个样本进行训练,从样本(s,a,s',r)提取(s,a)状态动作组输入到Q网络得到对应的动作价值Q(s,a),将样本中的s'输入到Q网络中,得到各种不同动作的Q值,选择最大的Q值对应动作a',接着将s'输入到QTarget网络中,找到动作a'对应的价值Qtarget(s',a'),以Qtarget(s',a')作为网络的预测值,由此得到目标Q'(s,a):
Q'(s,a)=r+γ*Qtarget(s',a') (6.6)
其中r是样本提取的奖励值,γ为权重系数;
因此可以得到均方差损失函数:
最后通过神经网络梯度反向传播来更新Q网络的参数:
w'=τ*w+(1-τ)*w' (6.8)
其中τ为比例系数,w为Q网络参数;
完成一次Q网络的训练,然后利用Q网络更新到Qtarget网络参数。
所述步骤七:AGV执行步骤五中得到的控制信号u(k),朝局部规划点运动,同时判断是否达到目标点,未达到则回到步骤三继续训练,否则进一步判断是否达到训练完成标准,达到标准则结束训练,否则进入新一轮的全局目标给定与训练;具体包括:
S7.1:制定网络训练完成标准,在训练过程中,将MPC计算获得的最近20次控制信号u(k)匹配到动作空间得到相应的动作集合,对比Q网络由激光雷达信号计算得到的最近20次动作a信号的集合,当两个集合的偏差不超过百分之五并且强化学***均奖励曲线趋于平稳,则认定为达到训练完成标准;
S7.2:AGV执行步骤五中得到的控制信号u(k),朝局部规划点运动,同时判断是否达到目标点,未达到则回到步骤三继续训练,否则进一步判断是否达到训练完成标准,达到标准则结束训练,否则进入新一轮的全局目标给定与训练。
所述步骤八:网络训练完成后,单独使用深度强化学习完成AGV的路径规划;具体包括:强化学习模块训练完成后,使用训练完成的网络实现AGV路径规划,车载激光雷达探测感知周围环境,强化学习模块接收激光雷达信号作为当前状态,训练完成的网络对接收的激光雷达信号做出决策产生AGV所要执行的动作,同时判断是否达到目标点,达到则结束导航功能,否则进行新一轮的路径规划控制。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于模型预测控制指导深度强化学习的AGV路径规划方法的MPC指导的深度强化学习规划训练主流程图;
图2为本发明训练完成的深度强化学习规划控制流程图;
图3为本发明DDQN网络的训练流程图;
图4为本发明DDQN的网络结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,基于模型预测控制指导深度强化学习的AGV路径规划方法,通过以下步骤来实现:
步骤一:根据AGV的车辆结构建立运动学模型,并将运动学模型转化为状态空间方程;具体实现步骤如下:
S1.1:阿克曼结构小车的运动学模型考虑的物理参数有小车前后轮轴距、前轮偏角的约束范围和车速的约束范围,本文使用车辆结构参数具体为前后车轮轴距l:0.258(m),车辆底盘length×width:0.32×0.168(m2),车辆运动学方程为:
将式在参考点(χr,ur)进行泰勒级数展开并忽略高阶项得到:
将式(1.2)和式(1.3)合并,将其离散化,离散后得到基于运动学模型的离散状态空间方程:
其中是k+1时刻小车状态量偏差,是k时刻小车状态量偏差,是k时刻控制量偏差,vr是车速参考值,是车辆航向角参考值,δr是前轮转角参考值,T是采样时间(T=1s),l是车辆的前后轮轴距,A、B是车辆离散状态空间方程的系数矩阵。
定义状态输出方程:
其中y(k)是k时刻的***输出量,Cout是设计的输出矩阵(此处是单位矩阵)。
步骤二:参数初始化,包括车辆的底盘的长度length(length=0.32m)、宽度width(width=0.168m)、前后车轮轴距l(l=0.258m),代价地图膨胀半径dr(dr=0.16m)。
步骤三:车载激光雷达进行静态地图的感知与构建代价地图,构建完成后栅格化代价地图;将扫描建图得到的实时地图栅格化,其中无障碍物的区域是白色栅格,障碍物区域是黑色栅格,膨胀区域是蓝色。
步骤四:判断是否到全局规划时间,达到则利用A*算法进行全局路径规划,全局路径规划完成后确定运动轨迹的参考点,根据各个参考点计算车辆姿态参考值;设定全局规划的周期为10s,如果距离上次全局规划时间达到10s则进行规划,否则跳过步骤四运行步骤五;
所述的根据各个参考点计算车辆姿态参考值;具体实现步骤如下:
将全局规划得到坐标点序列中每个坐标点进行车辆姿态参考值计算,车速参考值vr设置为一个常数(vr=1m/s)。计算第k个参考点的曲率ρ,并且依据曲率计算该参考点上前轮转角的参考值δr(k)为:
δr(k)=arctan(ρ) (4.1)
其中yr(k)是第k个参考点的车辆纵坐标参考值,xr(k)是第k个参考点的车辆横坐标参考值,yr(k-1)是第k-1个参考点的车辆纵坐标参考值,xr(k-1)是第k-1个参考点的车辆横坐标参考值。
步骤五:确定起始参考值后进行基于MPC算法的轨迹规划和轨迹跟踪,发出计算得到的控制信号;具体实现步骤如下:
其中INu表示维数为Nu的单位矩阵;A'是得到新的状态矩阵,B'是得到新的控制矩阵。
得到新的输出方程为:
其中C'是得到新的输入矩阵。
S5.2:若设预测时域为Np(Np=30),控制时域为Nc(Nc=15),对状态空间表达式进行多步推导:
根据式(5.3)对输出方程进行多步推导:
将***未来时刻的输出以矩阵的形式表达,得到预测的输出方程:
Y=ψξ(k)+ΘΔU (5.5)
其中:
S5.3:设计避障惩罚函数,基本思路是通过障碍物点与目标点的距离偏差来调节函数值的大小,且距离越近,函数值越大,所以选择如下形式的避障功能函数:
其中,Sobs为权重系数(Sobs=500),vi是小车的实时行驶速度的平方vi=vx 2+vy 2,用于避障过程减速的作用,(xi,yi)是障碍物点在车身坐标系下的位置坐标,(x0,y0)是车辆质心坐标,ζ为较小的正数(ζ=0.01),用于防止出现分母为零的现象。
S5.4:为了追求***控制目标式速度跟踪精度,同时避免过大的加速度,将性能评价函数定义为:
s.t.umin≤u(k+i)≤umax
Δumin≤Δu(k+i|k)≤Δumax (5.7)
其中Jobs,i为采样时刻i的避障函数,Np为预测步长(Np=30),Nc为控制步长(Nc=15);ηp(k+i|k)为控制输出预测量;ηr(k+i|k)为控制输出参考量;(k+i|k)表示根据k采样时刻的信息来预测k+i时刻;u(k+i)和Δu(k+i)分别是k+i时刻控制输入和控制输入增量;Q和R分别是***输出量、控制增量和控制量权重***矩阵;umin(umin=[-0.5,-45])和umax(umax=[1,45])分别是控制总量的最小约束和最大约束;Δumin(Δumin=[-0.2,-45])和Δumax(Δumax=[0.3,45])分别是控制增量的最小约束和最大约束。
根据计算得到u(k),其中u(k)表示在k时刻的控制量,即为k时刻车速v(k)和前轮转角δ(k);
步骤六:深度强化学习模块将步骤五中获取的控制信号u(k)与离散动作空间做匹配后得到本次的动作信息,将步骤三中获取的激光雷达信号经筛选后作为本次的状态信息,同时向AGV发送动作a控制信号;具体实现步骤如下:
S6.1:在深度强化学习模块训练前,设计***状态(state)、动作(action)、奖励函数(reward)和网络结构(network structure),利用深度强化学习DDQN(Double Deep Q-Learning Network)算法实现强化学习训练并规划导航;
所述的S6.1具体实现步骤如下:
S6.1.1:设计***状态空间,考虑到计算负担和实际导航效果,同时方便设计卷积网络,将激光雷达角度分辨率设置为3.7度,将范围限制设置为2米,因此观测点由99个点组成,而激光雷达的单点信息可以表示为[angle,distance],因此99个激光点阵信息就产生了198个数据输入,全局规划路径中距离小车2米处的坐标[Δx,Δy]也被视为输入,总输入为200个数据集。即state由99个雷达数据[angle,distance]和一个相对目标点[Δx,Δy]组成,其中激光雷达用于360度以上检测动态未知的环境信息,同时全局规划路径中距离小车2米处的坐标视为相对目标点,于是Q网络(Q-Learning Network)将激光雷达点阵信号与局部目标点坐标作为输入信号。
S6.1.2:设计动作空间,由于阿克曼结构小车的控制信号是连续的控制信号πRL=[v,δ],其中v为小车前进速度,δ为小车前轮偏角,为了解决基于值估计的DDQN难以适用于连续动作空间的问题,现将步骤五计算得到的小车的控制动作u(k)离散化,通过牺牲一部分控制精度换取解空间维度的大幅压缩以及探索效率的显著提升。
如何确定量化间隔是决定训练效果的关键因素,在将连续控制信号转化为有限数量的离散动作时,必须保证仍然具有足够的控制精度,避免过于粗糙的离散化操作影响实际控制效果。
动作空间离散化不可避免地会带来控制精度的下降,然而对于规划任务来说,只要量化间隔适中,就完全可以保证足够的控制精度。而量化间隔在控制精度与训练高效性的两极之间存在一个黄金区域,使得训练效率改善带来的收益大于控制精度带来的损失,使得强化学***均得分来评判,测试性能时AGV执行N个周期(N=100),记录AGV获得的所有奖励并对其求平均值。
已知AGV的控制周期T(T=1s),设线速度量化间隔是Δv,可以得出原始的连续信号与离散后的信号的最大偏差为Δv/2,那么离散前后单步控制的距离最大误差是T×Δv/2,为了避免因控制误差导致的碰撞,单步控制的最大纵向距离误差T×Δv/2要小于代价地图的膨胀半径dr,所以Δv<2dr/T=0.32(m/s)。
设前轮偏角量化间隔是Δδ,可以得出原始的连续信号与离散后的信号的最大偏差为Δδ/2,那么前轮偏角离散前后单步控制的最大距离误差是2vmax·T/sin(Δδ/4),为了避免因控制误差导致的碰撞,单步控制的最大横向距离误差2vmax·T/sin(Δδ/4)要小于代价地图的膨胀半径dr,所以得到Δδ<4arcsin(dr/2vmax·T)=18.3(°)。
在满足上述要求的前提下,设定速度与前轮偏角的量化间隔Δv=0.32m/s、Δδ=18.3°,考虑到步骤五设定的AGV线速度约束为vmin~vmax(vmin=-0.5m/s,vmax=1m/s),首先以量化间隔Δv(Δv=0.32m/s)对线速度约束进行均匀量化,而考虑小车的前轮偏角约束δmin~δmax(δmin=-45°,δmax=45°),以量化间隔Δδ(Δδ=18.3°)对前轮偏角约束进行均匀量化,由此组成动作空间。在该动作空间下进行训练,并根据训练过程中AGV获得的平均奖励多次调整量化间隔Δv、Δδ,达到量化间隔的黄金区域,即量化间隔变大或变小均不能使强化学***均奖励提高,这样就得到了最佳的量化间隔Δvb(Δvb=0.25m/s)、Δδb(Δδb=5°),则线速度对应7个动作分别为:(-0.5,-0.25,0,0.25,0.5,0.75,1)(单位:m/s),而前轮偏角对应19个动作值分别为:(-45,-40,-35,-30,-25,-20,-15,-10,-5,0,5,10,15,20,25,30,35,40,45)(单位:°)。
S6.1.3:设计奖励函数,奖励函数的功能是用于奖励小车到达给定目标或对碰撞障碍物进行惩罚,所以设计如下:
R(s,a)=R1+R2+R3+R4 (6.1)
R1=kR(dgt-1-dgt) (6.2)
R3=-cR(time) (6.4)
表示奖励函数由四部分组成,R1这部分用于刺激机器人接近目标位置,其中kR是权重系数(kR=0.5),dgt-1表示机器人与上一步目标位置之间的线性距离,以及dgt表示机器人与下一步目标位置之间的线性距离;R2表示碰撞惩罚,da,damin分别标明当前机器人与障碍物之间的距离以及机器人与障碍物之间的最小安全距离;R3是指当前时间惩罚值,时间成本越高,对机器人施加的惩罚越多,并且可以刺激AGV在训练过程中找到最佳路径,从而使到达目标位置所需的时间最短,cR是设置的权重参数(cR=1),time是从起点达到目标点所经历的时间;R4表示如果机器人到达目标位置,则给予奖励,否则不给予奖励。
S6.1.4:设计网络结构,Q网络与QTarget网络具有相同的网络结构,如图4所示,输入层的维度是10×10×2,具有三个卷积层和两个全连接层,输出层是分别输出线速度和前轮转角,线速度和前轮转角的神经元激活函数均采用Relu函数,具体如图4所示:由三个卷积层和两个全连接层组成,输入层是200个元素形成大小为10×10×2的三维矩阵;根据输入层的大小设计了第一个卷积层,其中卷积核的大小为2×2,步幅为2,特征映射的数量设置为16,因此,输出层的大小为5×5×16;第三卷积层的核大小为5×5,步幅为1,特征映射的数量设置为128,第三卷积层的输出大小为1×1×128;然后通过全连接层转换为具有64元素的一维向量,这些元素连接到全连接层,转化为具有7元素的一维向量;输出层的大小即速度的输出量;前轮偏角的网络设计同理,不同的是输出层的大小设置为前轮转角动作数量19位。
S6.2:搭建深度强化学习的算法框架:采用DDQN算法,DDQN算法如图3所示,包括Q网络、QTarget网络,Q网络输出的是在当前状态预测动作,QTarget网络输出的是Q网络做出的决策的评价。
Q网络的输入是状态state,输出的是AGV采用的动作action;QTarget网络输入的是状态动作(state,action),输出的是价值Q(s,a),其中s代表状态,a代表在状态s下采取的动作,Q(s,a)代表当前状态s下采用动作a的价值。
S6.3:训练网络,使得AGV在环境交互中学习策略;
所述的步骤S6.3如图3所示,具体实现步骤如下:
S6.3.1:初始化环境,设置AGV的初始环境,初始化Q网络和QTarget网络结构与参数,初始化样本池容量;
S6.3.2:从AGV车载单线激光雷达接收的数据和局部目标点与AGV的相对坐标中获取当前状态s,把步骤五中获得的u(k)作为动作a,AGV执行动作a,在执行完动作a后,AGV的状态发生改变得到下一个状态s',以及计算奖励函数得到的此次策略的奖励r,组合成一个四元组(s,a,s',r),将四元组放入样本池中,用于后续的网络训练。
S6.3.3:Q网络训练过程:从样本池中随机抽取m(m=32)个样本进行训练,从样本(s,a,s',r)提取(s,a)状态动作组输入到Q网络得到对应的动作价值Q(s,a),将样本中的s'输入到Q网络中,得到各种不同动作的Q值,选择最大的Q值对应动作a',接着将s'输入到QTarget网络中,找到动作a'对应的价值Qtarget(s',a'),以Qtarget(s',a')作为网络的预测值,由此得到目标Q'(s,a):
Q'(s,a)=r+γ*Qtarget(s',a') (6.6)
其中r是样本提取的奖励值,γ为权重系数(γ=0.05);
因此可以得到均方差损失函数:
最后通过神经网络梯度反向传播来更新Q网络的参数:
w'=τ*w+(1-τ)*w' (6.8)
其中τ(τ=0.95)为比例系数,w为Q网络参数;
完成一次Q网络的训练,然后利用Q网络更新到QTarget网络参数;
所述的步骤七:AGV执行步骤五中得到的控制信号u(k),朝局部规划点运动,同时判断是否达到目标点,未达到则回到步骤三继续训练,否则进一步判断是否达到训练完成标准,达到标准则结束训练,否则进入新一轮的全局目标给定与训练;具体实现步骤如下:
S7.1:制定网络训练完成标准,在训练过程中,将MPC计算获得的最近20次控制信号u(k)匹配到动作空间得到相应的动作集合,对比Q网络由激光雷达信号计算得到的最近20次动作a信号的集合,当两个集合的偏差不超过百分之五并且强化学***均奖励曲线趋于平稳,则认定为达到训练完成标准。
S7.1:AGV执行步骤五中得到的控制信号u(k),朝局部规划点运动,同时判断是否达到目标点,未达到则回到步骤三继续训练,否则进一步判断是否达到训练完成标准,达到标准则结束训练,否则进入新一轮的全局目标给定与训练。
步骤八:网络训练完成后,单独使用深度强化学习完成AGV的路径规划;具体实现步骤如下:
强化学习模块训练完成后,如图2所示,使用训练完成的网络实现AGV路径规划,车载激光雷达探测感知周围环境,强化学习模块接收激光雷达信号作为当前状态,训练完成的网络对接收的激光雷达信号做出决策产生AGV所要执行的动作,同时判断是否达到目标点,达到则结束导航功能,否则进行新一轮的路径规划控制。
最后,本发明实例中所列参数取值只作参考,对于参数的改动依旧在专利保护范围内。
以上结合附图对本发明的实施方式作了详细说明,但本发明不限于所描述的实施方式。对于本领域的技术人员而言,在不脱离本发明原理和精神的情况下,对这些实施方式进行多种变化、修改、替换和变型,仍落入本发明的保护范围内。
Claims (8)
1.基于模型预测控制指导深度强化学习的AGV路径规划方法,其特征在于:包括以下步骤:
步骤一:根据搭载单线激光雷达的阿克曼底盘结构AGV的车辆结构建立运动学模型,将运动学模型转化为状态空间方程;
步骤二:参数初始化,包括车辆的底盘的长度length、宽度width、前后车轮轴距l,代价地图膨胀半径dr;
步骤三,车载激光雷达进行静态地图的感知与构建代价地图,构建完成后栅格化代价地图;
步骤四:判断是否到全局路径规划时间,达到则利用A*算法进行全局路径规划,全局路径规划完成后确定运动轨迹的参考点,根据各个参考点计算车辆姿态参考值,否则执行步骤五;
步骤五:确定参考值后进行基于MPC算法的轨迹规划和轨迹跟踪,向AGV与深度强化学习发出计算得到的控制信号u(k);
步骤六:深度强化学习模块将步骤五中获取的控制信号u(k)与离散动作空间匹配后得到本次的动作信息,将步骤三中获取的激光雷达信号经筛选后作为本次的状态信息;
步骤七:AGV执行步骤五中得到的控制信号u(k),朝局部规划点运动,同时判断是否达到目标点,未达到则回到步骤三继续训练,否则进一步判断是否达到训练完成标准,达到标准则结束训练,否则进入新一轮的全局目标给定与训练;
步骤八:网络训练完成后,单独使用深度强化学习完成AGV的路径规划。
2.根据权利要求1所述的基于模型预测控制指导深度强化学习的AGV路径规划方法,其特征在于:所述步骤一具体包括:
S1.1:阿克曼结构小车的运动学模型考虑的物理参数有小车前后轮轴距、前轮偏角的约束范围和车速的约束范围,车辆运动学方程为:
将式在参考点(χr,ur)进行泰勒级数展开并忽略高阶项得到:
将式(1.2)和式(1.3)合并,将其离散化,离散后得到基于运动学模型的离散状态空间方程:
其中是k+1时刻小车状态量偏差,是k时刻小车状态量偏差,是k时刻控制量偏差,vr是车速参考值,是车辆航向角参考值,δr是前轮转角参考值,T是采样时间,l是车辆的前后轮轴距,A、B是车辆离散状态空间方程的系数矩阵;
定义状态输出方程:
其中y(k)是k时刻的***输出量,Cout是设计的输出矩阵。
3.根据权利要求1所述的基于模型预测控制指导深度强化学习的AGV路径规划方法,其特征在于:所述步骤五具体步骤包括:
得到新的输出方程为:
其中C'是得到新的输入矩阵;
S5.2:若设预测时域为Np,控制时域为Nc,对状态空间表达式进行多步推导:
根据式(5.3)对输出方程进行多步推导:
将***未来时刻的输出以矩阵的形式表达,得到预测的输出方程:
Y=ψξ(k)+ΘΔU (5.5)
其中:
S5.3:设计避障惩罚函数,通过障碍物点与目标点的距离偏差来调节函数值的大小,且距离越近,函数值越大,选择如下形式的避障功能函数:
其中,Sobs为权重系数,vi是小车的实时行驶速度的平方vi=vx 2+vy 2,用于避障过程减速的作用,(xi,yi)是障碍物点在车身坐标系下的位置坐标,(x0,y0)是车辆质心坐标,ζ为较小的正数,
S5.4:将性能评价函数定义为:
其中Jobs,i为采样时刻i的避障函数,Np为预测步长,Nc为控制步长;
ηp(k+i|k)为控制输出预测量;ηr(k+i|k)为控制输出参考量;(k+i|k)表示根据k采样时刻的信息来预测k+i时刻;u(k+i)和Δu(k+i)分别是k+i时刻控制输入和控制输入增量;Q和R分别是***输出量、控制增量和控制量权重***矩阵;umin和umax分别是控制总量的最小约束和最大约束;Δumin和Δumax分别是控制增量的最小约束和最大约束;
根据计算得到u(k),其中u(k)表示在k时刻的控制量,即为k时刻车速v(k)和前轮转角δ(k)。
4.根据权利要求1所述的基于模型预测控制指导深度强化学习的AGV路径规划方法,其特征在于:所述步骤六具体包括:
S6.1:在深度强化学习模块训练前,设计***状态、动作、奖励函数和网络结构,利用深度强化学习DDQN算法实现强化学习训练并规划导航;
S6.2:搭建深度强化学习的算法框架:采用DDQN算法,包括Q网络、QTarget网络,Q网络输出的是在当前状态预测动作,QTarget网络输出的是Q网络做出的决策的评价;
Q网络的输入是状态state,输出的是AGV采用的动作action;QTarget网络输入的是状态动作(state,action),输出的是价值Q(s,a),其中s代表状态,a代表在状态s下采取的动作,Q(s,a)代表当前状态s下采用动作a的价值;
S6.3:训练网络,使得AGV在环境交互中学习策略。
5.根据权利要求4所述的基于模型预测控制指导深度强化学习的AGV路径规划方法,其特征在于:所述S6.1具体包括:
S6.1.1:设计***状态空间,设计了输入为200个数据集,将激光雷达点阵信号与全局目标坐标作为输入信号;
S6.1.2:设计动作空间,阿克曼结构小车的控制信号是连续的控制信号πRL=[v,δ],其中v为小车前进速度,δ为小车前轮偏角,将步骤五计算得到的小车的控制动作u(k)离散化,
已知AGV的控制周期T,设线速度量化间隔是Δv,可以得出原始的连续信号与离散后的信号的最大偏差为Δv/2,离散前后单步控制的距离最大误差是T×Δv/2,,单步控制的最大纵向距离误差T×Δv/2要小于代价地图的膨胀半径dr,所以Δv<2dr/T;
设前轮偏角量化间隔是Δδ,可以得出原始的连续信号与离散后的信号的最大偏差为Δδ/2,那么前轮偏角离散前后单步控制的最大距离误差是2vmax·T/sin(Δδ/4),单步控制的最大横向距离误差2vmax·T/sin(Δδ/4)要小于代价地图的膨胀半径dr,得到Δδ<4arcsin(dr/2vmax·T);
在满足上述要求的前提下,设定速度与前轮偏角的量化间隔Δv、Δδ,步骤五设定的AGV线速度约束为vmin~vmax,以量化间隔Δv对线速度约束进行均匀量化,考虑小车的前轮偏角约束δmin~δmax,以量化间隔Δδ对前轮偏角约束进行均匀量化,由此组成动作空间,在该动作空间下进行训练,根据训练过程中AGV获得的平均奖励多次调整量化间隔Δv、Δδ,达到量化间隔的黄金区域,得到了最佳的量化间隔Δvb、Δδb;
S6.1.3:设计奖励函数,奖励函数的功能是用于奖励小车到达给定目标或对碰撞障碍物进行惩罚,设计如下:
R(s,a)=R1+R2+R3+R4 (6.1)
R1=kR(dgt-1-dgt) (6.2)
R3=-cR·time (6.4)
表示奖励函数由四部分组成,R1这部分用于刺激机器人接近目标位置,其中kR是权重系数,dgt-1表示机器人与上一步目标位置之间的线性距离,以及dgt表示机器人与下一步目标位置之间的线性距离;R2表示碰撞惩罚,da,damin分别标明当前机器人与障碍物之间的距离以及机器人与障碍物之间的最小安全距离;R3是指当前时间惩罚值,时间成本越高,对机器人施加的惩罚越多,并且可以刺激AGV在训练过程中找到最佳路径,从而使到达目标位置所需的时间最短,cR是设置的权重参数,time是从起点达到目标点所经历的时间;R4表示如果机器人到达目标位置,则给予奖励,否则不给予奖励。
6.根据权利要求1所述的基于模型预测控制指导深度强化学习的AGV路径规划方法,其特征在于:所述S6.3具体包括:
S6.3.1:初始化环境,设置AGV的初始环境,初始化Q网络和QTarget网络结构与参数,初始化样本池容量;
S6.3.2:从AGV车载单线激光雷达接收的数据和局部目标点与AGV的相对坐标中获取当前状态s,把步骤五中获得的u(k)作为动作a,AGV执行动作a,在执行完动作a后,AGV的状态发生改变得到下一个状态s',以及计算奖励函数得到的此次策略的奖励r,组合成一个四元组(s,a,s',r),将四元组放入样本池中,用于后续的网络训练;
S6.3.3:Q网络训练过程:从样本池中随机抽取m个样本进行训练,从样本(s,a,s',r)提取(s,a)状态动作组输入到Q网络得到对应的动作价值Q(s,a),将样本中的s'输入到Q网络中,得到各种不同动作的Q值,选择最大的Q值对应动作a',接着将s'输入到QTarget网络中,找到动作a'对应的价值Qtarget(s',a'),以Qtarget(s',a')作为网络的预测值,由此得到目标Q'(s,a):
Q'(s,a)=r+γ*Qtarget(s',a') (6.6)
其中r是样本提取的奖励值,γ为权重系数;
可得到均方差损失函数:
通过神经网络梯度反向传播来更新Q网络的参数:
w'=τ*w+(1-τ)*w' (6.8)
其中τ为比例系数,w为Q网络参数;
完成一次Q网络的训练,然后利用Q网络更新到QTarget网络参数。
7.根据权利要求1所述的基于模型预测控制指导深度强化学习的AGV路径规划方法,其特征在于:所述步骤七具体包括:
S7.1:制定网络训练完成标准,在训练过程中,将MPC计算获得的最近20次控制信号u(k)匹配到动作空间得到相应的动作集合,对比Q网络由激光雷达信号计算得到的最近20次动作a信号的集合,当两个集合的偏差不超过百分之五并且强化学***均奖励曲线趋于平稳,则认定为达到训练完成标准;
S7.2:AGV执行步骤五中得到的控制信号u(k),朝局部规划点运动,同时判断是否达到目标点,未达到则回到步骤三继续训练,否则进一步判断是否达到训练完成标准,达到标准则结束训练,否则进入新一轮的全局目标给定与训练。
8.根据权利要求1所述的基于模型预测控制指导深度强化学习的AGV路径规划方法,其特征在于:所述步骤八具体包括:强化学习模块训练完成后,使用训练完成的网络实现AGV路径规划,车载激光雷达探测感知周围环境,强化学习模块接收激光雷达信号作为当前状态,训练完成的网络对接收的激光雷达信号做出决策产生AGV所要执行的动作,同时判断是否达到目标点,达到则结束导航功能,否则进行新一轮的路径规划控制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211438018.0A CN115933641A (zh) | 2022-11-17 | 2022-11-17 | 基于模型预测控制指导深度强化学习的agv路径规划方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211438018.0A CN115933641A (zh) | 2022-11-17 | 2022-11-17 | 基于模型预测控制指导深度强化学习的agv路径规划方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115933641A true CN115933641A (zh) | 2023-04-07 |
Family
ID=86651517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211438018.0A Pending CN115933641A (zh) | 2022-11-17 | 2022-11-17 | 基于模型预测控制指导深度强化学习的agv路径规划方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115933641A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116499486A (zh) * | 2023-06-26 | 2023-07-28 | 北京理工大学 | 一种复杂越野环境路径规划方法、***及电子设备 |
CN117472042A (zh) * | 2023-09-19 | 2024-01-30 | 四川大学 | 一种基于格论与路径规划的反应堆工况跟踪控制方法 |
CN117519215A (zh) * | 2024-01-05 | 2024-02-06 | 深圳市乐骑智能科技有限公司 | 多agv车行驶控制方法、装置、设备及存储介质 |
CN118229180A (zh) * | 2024-05-21 | 2024-06-21 | 中山大学 | 一种基于多模态充电策略的无人机配送方法及*** |
CN118229180B (zh) * | 2024-05-21 | 2024-07-26 | 中山大学 | 一种基于多模态充电策略的无人机配送方法及*** |
-
2022
- 2022-11-17 CN CN202211438018.0A patent/CN115933641A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116499486A (zh) * | 2023-06-26 | 2023-07-28 | 北京理工大学 | 一种复杂越野环境路径规划方法、***及电子设备 |
CN116499486B (zh) * | 2023-06-26 | 2023-09-22 | 北京理工大学 | 一种复杂越野环境路径规划方法、***及电子设备 |
CN117472042A (zh) * | 2023-09-19 | 2024-01-30 | 四川大学 | 一种基于格论与路径规划的反应堆工况跟踪控制方法 |
CN117519215A (zh) * | 2024-01-05 | 2024-02-06 | 深圳市乐骑智能科技有限公司 | 多agv车行驶控制方法、装置、设备及存储介质 |
CN117519215B (zh) * | 2024-01-05 | 2024-04-12 | 深圳市乐骑智能科技有限公司 | 多agv车行驶控制方法、装置、设备及存储介质 |
CN118229180A (zh) * | 2024-05-21 | 2024-06-21 | 中山大学 | 一种基于多模态充电策略的无人机配送方法及*** |
CN118229180B (zh) * | 2024-05-21 | 2024-07-26 | 中山大学 | 一种基于多模态充电策略的无人机配送方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112356830B (zh) | 一种基于模型强化学习的智能泊车方法 | |
CN115933641A (zh) | 基于模型预测控制指导深度强化学习的agv路径规划方法 | |
Shen et al. | Observability analysis and adaptive information fusion for integrated navigation of unmanned ground vehicles | |
Liu et al. | Deep learning-enabled fusion to bridge GPS outages for INS/GPS integrated navigation | |
CN108319293B (zh) | 一种基于lstm网络的uuv实时避碰规划方法 | |
Zaidner et al. | A novel data fusion algorithm for low-cost localisation and navigation of autonomous vineyard sprayer robots | |
CN106197428B (zh) | 一种利用测量信息优化分布式ekf估计过程的slam方法 | |
CN111709517B (zh) | 一种基于置信度预测***的冗余融合定位增强的方法和装置 | |
CN109521454A (zh) | 一种基于自学习容积卡尔曼滤波的gps/ins组合导航方法 | |
JP6855524B2 (ja) | 低速特徴からのメトリック表現の教師なし学習 | |
Hasberg et al. | Simultaneous localization and mapping for path-constrained motion | |
CN108362288B (zh) | 一种基于无迹卡尔曼滤波的偏振光slam方法 | |
CN112435275A (zh) | 一种融合卡尔曼滤波和ddqn算法的无人机机动目标追踪方法 | |
CN108387236B (zh) | 一种基于扩展卡尔曼滤波的偏振光slam方法 | |
CN112762957B (zh) | 一种基于多传感器融合的环境建模及路径规划方法 | |
CN110906933B (zh) | 一种基于深度神经网络的auv辅助导航方法 | |
CN116337045A (zh) | 一种基于karto和teb的高速建图导航方法 | |
Klein | Data-driven meets navigation: Concepts, models, and experimental validation | |
CN115265532A (zh) | 一种用于船用组合导航中的辅助滤波方法 | |
CN114879660A (zh) | 一种基于目标驱动的机器人环境感知方法 | |
Du et al. | A hybrid fusion strategy for the land vehicle navigation using MEMS INS, odometer and GNSS | |
CN111854741B (zh) | 一种gnss/ins紧组合滤波器及导航方法 | |
Cohen et al. | A-KIT: Adaptive Kalman-informed transformer | |
Wang et al. | Extraction of preview elevation information based on terrain mapping and trajectory prediction in real-time | |
Guo et al. | Intelligent assistance positioning methodology based on modified iSAM for AUV using low-cost sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |