CN113219997A - 一种基于tpr-ddpg的移动机器人路径规划方法 - Google Patents
一种基于tpr-ddpg的移动机器人路径规划方法 Download PDFInfo
- Publication number
- CN113219997A CN113219997A CN202110638373.1A CN202110638373A CN113219997A CN 113219997 A CN113219997 A CN 113219997A CN 202110638373 A CN202110638373 A CN 202110638373A CN 113219997 A CN113219997 A CN 113219997A
- Authority
- CN
- China
- Prior art keywords
- robot
- target point
- network
- value
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000009471 action Effects 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 35
- 238000005070 sampling Methods 0.000 claims description 30
- 238000011156 evaluation Methods 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 21
- 210000002569 neuron Anatomy 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000002787 reinforcement Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Acoustics & Sound (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种基于TPR‑DDPG的移动机器人路径规划方法,属于移动机器人的路径规划方法技术领域。本发明的技术方案是:对不同的状态进行预处理,并设计完整的奖赏函数,使移动机器人在复杂环境下快速找到最优路径并到达目标点,同时,在策略网络中加入BatchNorm层,保证算法的稳定性。本发明的有益效果是:通过三步式奖惩函数使机器人在避开障碍物的同时能够快速到达目标点。
Description
技术领域
本发明涉及一种基于TPR-DDPG的移动机器人路径规划方法,属于移动机器人的路径规划方法技术领域。
背景技术
随着时代的进步,科学技术的快速发展,移动机器人越来越在人们的生活中发挥着重要的作用,移动机器人的路径规划技术已经应用到服务、交通等社会的各个领域,从而提高了生产效率,减少了人类资源浪费。路径规划需解决以下三个方面的问题:避障、如何到达目的地以及使行走路径平滑。传统的路径规划算法包括Dijkstra算法、A*算法、可视图法、栅格法和自由空间法,传统的路径规划算法需要已知整个地图的环境信息,在现实生活中,环境因素瞬息万变,因此,传统的路径规划算法是行不通的。强化学习可以不需要先验知识,机器人通过与未知环境不断试错与交互的过程中获得知识,然后通过累积奖赏来优化策略,从而使移动机器人完成路径规划。
强化学习算法具有较好的通用性,强化学习中的Q-learning算法迄今为止应用最广,其状态空间和动作空间都是离散的,奖励函数通过表格存储,弊端在于:(1)Q表格太大,难以保存;(2)样本过于稀疏,导致算法收敛慢甚至不收敛。深度强化学习算法中的深度Q网络(Deep Q-learning,DQN)用神经网络来代替Q表,引入了经验回放机制与目标Q网络,实现了状态空间连续化,但其动作空间是离散的,面对复杂的环境仍然存在路径不光滑问题。深度确定性策略梯度(Deep deterministic policy gradient,DDPG)算法通过演员-评论家(Actor-Critic,AC))框架将DQN与确定性策略梯度(deterministic policy gradient,DPG)相结合,实现状态空间和动作空间都连续化,本发明提出一种基于TPR-DDPG的移动机器人路径规划方法,设计了三步式奖励函数使机器人在避开障碍物的同时快速到达目标点。
发明内容
本发明目的是提供一种基于TPR-DDPG的移动机器人路径规划方法,通过在策略网络中加入BatchNorm层,将移动机器人转动角度作为动作,选取有利用价值的传感器数据作为状态并对其进行预处理,通过三步式奖惩函数使机器人在避开障碍物的同时能够快速到达目标点,有效地解决了背景技术中存在的上述问题。
本发明的技术方案是:一种基于TPR-DDPG的移动机器人路径规划方法,包含以下步骤:
(1)通过移动机器人的传感器信息获得输入到估计策略网络的状态,并对其进行预处理,状态包括机器人到目标点的距离、机器人方位角以及机器人前端八个超声传感器测量值;
(2)创建策略网络μ(s,θμ)和评价网络Q(s,a|θQ)和对应的目标网络μ'←μ和Q'←Q,初始化经验池R和噪声分布N;
(3)将状态st输入到估计策略网络得到一个确定性动作u(st),机器人执行加入噪声后的动作at,执行该动作后根据奖惩函数获得奖励rt以及下一步状态st+1,将状态st、动作at、奖励rt、下一状态st+1存入经验池;
(4)当经验池中的样本达到要放入神经网络中训练的采样数batch时,则从中随机采样batch条样本,根据评价损失函数更新估计评价网络,根据策略梯度更新估计策略网络,然后再利用软更新方式更新目标评价网络与目标策略网络,经过episode轮的训练后保存模型;
(5)导入训练好的模型,将预处理后的状态输入到策略网络,移动机器人直接执行策略网络输出的动作即可从起始点到目标点走出一条无障碍的最优路径。
所述步骤(1)中状态预处理,将所有数据都进行归一化,其中sp为归一化后的状态值,sb为归一化前的状态值,smax为状态的最大取值。归一化前的状态需要取绝对值的原因在于方位角的取值中存在负数。
所述步骤(2)的策略网络,具体包括:输入层由机器人到目标点的距离、机器人方位角以及机器人前端八个超声传感器测量值组成;隐含层使用了五个全连接层,每层的神经元个数分别为600、400、200、20和1,前两层的激活函数为relu6,后两层采用relu作为激活函数,在前四个隐含层fc1、fc2、fc3和fc4激活函数后都加一个BatchNorm层;输出层使用Tanh作为激活函数,使输出层神经元的值范围在[-1,1],其中[-1,0]表示机器人向左转,[0,1]表示机器人向右转。
所述步骤(2)的评价网络,具体包括:输入层由将机器人到目标点的距离、机器人方位角以及机器人前端八个超声传感器测量值构成的十个状态和策略网络所选择的动作组成;隐含层使用了四个全连接层,每层的神经元个数分别为600、400、200和20,前两层用relu6作为激活函数,后两层用relu作为激活函数;输出层只有一个神经元,其作用在于输出Q值。
所述步骤(3)中给动作加入噪声,其作用在于保持对环境的探索,在整个环境的探索过程中,由于不能确定环境中的障碍物分布情况,所以在整个的探索过程中环境探索率采用一个固定值,且该值不宜过大。
at=(1-α)μ(st|θu)+αNt (2)
所述步骤(3)中的奖惩函数实现了在避开障碍物的同时快速到达目标点,具体包括:当机器人到达目标点时,给予奖励值50;当机器人与障碍物发生碰撞时,给予奖励值为负值-50;当机器人既未碰撞又未到达目标点时,奖励由reward1、reward2和reward3三部分组成。
利用式(4)给的奖励值可以实现机器人向目标点趋近,其中,curdis为当前步机器人的位置到目标点的直线距离,predis为上一步机器人的位置到目标点的直线距离;机器人每步移动的最大距离为500mm,reward1∈[-10,10];当predis-curdis>0时,reward1∈[0,10],表示机器人在朝着目标点方向移动,距离目标点越近,reward1越大;当predis-curdis<0时,reward1∈[-10,0],表示机器人朝着目标点的反方向移动,距离目标点越远,reward1越小;
reward1=(predis-curdis)/50,未到达目标点且未碰撞 (4)
利用式(5)可以评估机器人当前动作是否避开障碍物,并根据当前范围内障碍物的情况给予奖惩,curcount为当前采样时刻正前方4个超声传感器中读数小于500mm的个数,precount为前一个采样时刻正前方4个超声传感器中读数小于500mm的个数。当precount≤curcount时,表示当前采样时刻比前一采样时刻与障碍物相撞的危险程度大,则给予惩罚;当precount>curcount时,表示当前采样时刻比前一采样时刻与障碍物相撞的危险程度小,则给予奖励;
用式(6)给的奖励值可以实现机器人加速到达目标点,abs(dir)为方位角的绝对值。当curcount=0时,即在机器人前方500mm范围内,当30-abs(dir)>0时,reward3∈[0,9],机器人朝着目标点正向移动,给予奖励;当30-abs(dir)<0时,reward3∈[-4.5,0],机器人朝着目标点偏向移动或朝着目标点反方向移动,给予惩罚;奖励系数取0.3,而惩罚系数取0.03,避免在大范围内有障碍物时,因惩罚太大而错过了最优路径。
本发明的有益效果是:通过在策略网络中加入BatchNorm层,将移动机器人转动角度作为动作,选取有利用价值的传感器数据作为状态并对其进行预处理,通过三步式奖惩函数使机器人实现在复杂的环境中避开障碍物的同时能够快速到达目标点。
附图说明
图1是本发明的总体框架图;
图2是本发明的流程图;
图3是起始位姿(-3200,-3100,90°),目标点(4600,2000)实验结果。
具体实施方式
为了使发明实施案例的目的、技术方案和优点更加清楚,下面将结合实施案例中的附图,对本发明实施案例中的技术方案进行清晰的、完整的描述,显然,所表述的实施案例是本发明一小部分实施案例,而不是全部的实施案例,基于本发明中的实施案例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施案例,都属于本发明保护范围。
一种基于TPR-DDPG的移动机器人路径规划方法,包含以下步骤:
(1)通过移动机器人的传感器信息获得输入到估计策略网络的状态,并对其进行预处理,状态包括机器人到目标点的距离、机器人方位角以及机器人前端八个超声传感器测量值;
(2)创建策略网络μ(s,θμ)和评价网络Q(s,a|θQ)和对应的目标网络μ'←μ和Q'←Q,初始化经验池R和噪声分布N;
(3)将状态st输入到估计策略网络得到一个确定性动作u(st),机器人执行加入噪声后的动作at,执行该动作后根据奖惩函数获得奖励rt以及下一步状态st+1,将状态st、动作at、奖励rt、下一状态st+1存入经验池;
(4)当经验池中的样本达到要放入神经网络中训练的采样数batch时,则从中随机采样batch条样本,根据评价损失函数更新估计评价网络,根据策略梯度更新估计策略网络,然后再利用软更新方式更新目标评价网络与目标策略网络,经过episode轮的训练后保存模型;
(5)导入训练好的模型,将预处理后的状态输入到策略网络,移动机器人直接执行策略网络输出的动作即可从起始点到目标点走出一条无障碍的最优路径。
所述步骤(1)中状态预处理,将所有数据都进行归一化,其中sp为归一化后的状态值,sb为归一化前的状态值,smax为状态的最大取值。归一化前的状态需要取绝对值的原因在于方位角的取值中存在负数。
所述步骤(2)的策略网络,具体包括:输入层由机器人到目标点的距离、机器人方位角以及机器人前端八个超声传感器测量值组成;隐含层使用了五个全连接层,每层的神经元个数分别为600、400、200、20和1,前两层的激活函数为relu6,后两层采用relu作为激活函数,在前四个隐含层fc1、fc2、fc3和fc4激活函数后都加一个BatchNorm层;输出层使用Tanh作为激活函数,使输出层神经元的值范围在[-1,1],其中[-1,0]表示机器人向左转,[0,1]表示机器人向右转。
所述步骤(2)的评价网络,具体包括:输入层由将机器人到目标点的距离、机器人方位角以及机器人前端八个超声传感器测量值构成的十个状态和策略网络所选择的动作组成;隐含层使用了四个全连接层,每层的神经元个数分别为600、400、200和20,前两层用relu6作为激活函数,后两层用relu作为激活函数;输出层只有一个神经元,其作用在于输出Q值。
所述步骤(3)中给动作加入噪声,其作用在于保持对环境的探索,在整个环境的探索过程中,由于不能确定环境中的障碍物分布情况,所以在整个的探索过程中环境探索率采用一个固定值,且该值不宜过大。
at=(1-α)μ(st|θu)+αNt (2)
所述步骤(3)中的奖惩函数实现了在避开障碍物的同时快速到达目标点,具体包括:当机器人到达目标点时,给予奖励值50;当机器人与障碍物发生碰撞时,给予奖励值为负值-50;当机器人既未碰撞又未到达目标点时,奖励由reward1、reward2和reward3三部分组成;
利用式(4)给的奖励值可以实现机器人向目标点趋近,其中,curdis为当前步机器人的位置到目标点的直线距离,predis为上一步机器人的位置到目标点的直线距离;机器人每步移动的最大距离为500mm,reward1∈[-10,10];当predis-curdis>0时,reward1∈[0,10],表示机器人在朝着目标点方向移动,距离目标点越近,reward1越大;当predis-curdis<0时,reward1∈[-10,0],表示机器人朝着目标点的反方向移动,距离目标点越远,reward1越小;
reward1=(predis-curdis)/50,未到达目标点且未碰撞 (4)
利用式(5)可以评估机器人当前动作是否避开障碍物,并根据当前范围内障碍物的情况给予奖惩,curcount为当前采样时刻正前方4个超声传感器中读数小于500mm的个数,precount为前一个采样时刻正前方4个超声传感器中读数小于500mm的个数。当precount≤curcount时,表示当前采样时刻比前一采样时刻与障碍物相撞的危险程度大,则给予惩罚;当precount>curcount时,表示当前采样时刻比前一采样时刻与障碍物相撞的危险程度小,则给予奖励;
用式(6)给的奖励值可以实现机器人加速到达目标点,abs(dir)为方位角的绝对值;
当curcount=0时,即在机器人前方500mm范围内,当30-abs(dir)>0时,reward3∈[0,9],机器人朝着目标点正向移动,给予奖励;当30-abs(dir)<0时,reward3∈[-4.5,0],机器人朝着目标点偏向移动或朝着目标点反方向移动,给予惩罚;奖励系数取0.3,而惩罚系数取0.03,避免在大范围内有障碍物时,因惩罚太大而错过了最优路径。
深度确定性策略梯度(Deep deterministic policy gradient,DDPG)算法通过演员-评论家(Actor-Critic,AC))框架将DQN与确定性策略梯度(deterministic policygradient,DPG)相结合,实现状态空间和动作空间都连续化,本发明提出一种基于TPR-DDPG的移动机器人路径规划方法,设计了三步式奖励函数使机器人在复杂的环境中实现避开障碍物的同时快速到达目标点。
实施例:
如图1,本发明的网络结构由估计策略网络、估计评价网络、目标策略网络与目标评价网络四部分组成,其中,估计策略网络与目标策略网络是相同的网络结构,估计评价网络与目标评价网络是相同的网络结构。其通过将状态st输入到估计策略网络得出动作u(st),机器人执行加噪声后的动作at,获得奖励rt并转到下一状态st+1,将st,at,rt,ai,st+1存放到经验池,当经验池中样本达到batch时,就可进行采样并放入神经网络进行训练。其训练过程如下:
将经验池中采样的状态si与动作ai输入到估计评价网络得出Q(ai),将下一步状态si+1输入到目标策略网络得出动作a',将状态si+1与动作a'输入到目标评价网络得出Q(a'),用损失函数来更新估计评价网络参数。
将经验池中采样的状态si输入到估计策略网络得出确定的动作ai将状态si与动作a输入到估计评价网络得出Q(a),用策略梯度来更新估计策略网络参数。
如图2,本发明的具体步骤如下:
步骤1、初始化策略网络μ(s,θμ)和评价网络Q(s,a|θQ),初始化对应的目标网络μ'←μ和Q'←Q,初始化经验池R,初始化噪声分布N。
步骤2、通过将状态st输入到策略网络,得出确定的动作值μ(st|θu),加入标准正态分布产生的噪声Nt,通过式(2)得出最终动作at,α为环境探索率,执行动作at,获得奖赏rt以及状态st+1。
at=(1-α)μ(st|θu)+αNt (2)
步骤3、将st,at,rt,st+1放入经验池,当经验池中的数据到达到要放入神经网络中训练的采样数batch时,则从中随机采样batch条样本放入网络中进行训练。若经验池处于饱和状态,则剔除最先放入经验池的样本。
步骤4、根据式(7)更新评价网络,其中L为均方误差损失函数,γ为累计经验折扣率。
步骤6、根据式(9)更新目标网络中的参数,τ为目标网络更新率。
步骤7、回到步骤2后使用策略网络去获取动作,更新经验池、再采样小批量数据放入网络训练,这是一个循环的过程,若完成episode轮的训练,则保存模型,结束程序。
步骤8.导入训练好的模型,将预处理后的状态输入到策略网络,移动机器人直接执行策略网络输出的动作即可从起始点到目标点走出一条无障碍的最优路径。
如图3为一种基于TPR-DDPG的移动机器人路径规划的实验结果图,其以Pioneer3-DX机器人为研究对象,仿真平台为MobileSim,地图构建采用Mapper3,开发环境为Miscrosoft Visual Studio 2013,编程语言为C++,深度学***滑的最优路径。
Claims (6)
1.一种基于TPR-DDPG的移动机器人路径规划方法,其特征在于包含以下步骤:
(1)通过移动机器人的传感器信息获得输入到估计策略网络的状态,并对其进行预处理,状态包括机器人到目标点的距离、机器人方位角以及机器人前端八个超声传感器测量值;
(2)创建策略网络μ(s,θμ)和评价网络Q(s,a|θQ)和对应的目标网络μ'←μ和Q'←Q,初始化经验池R和噪声分布N;
(3)将状态st输入到估计策略网络得到一个确定性动作u(st),机器人执行加入噪声后的动作at,执行该动作后根据奖惩函数获得奖励rt以及下一步状态st+1,将状态st、动作at、奖励rt、下一状态st+1存入经验池;
(4)当经验池中的样本达到要放入神经网络中训练的采样数batch时,则从中随机采样batch条样本,根据评价损失函数更新估计评价网络,根据策略梯度更新估计策略网络,然后再利用软更新方式更新目标评价网络与目标策略网络,经过episode轮的训练后保存模型;
(5)导入训练好的模型,将预处理后的状态输入到策略网络,移动机器人直接执行策略网络输出的动作即可从起始点到目标点走出一条无障碍的最优路径。
3.根据权利要求1所述的一种基于TPR-DDPG的移动机器人路径规划方法,其特征在于:所述步骤(2)的策略网络,具体包括:输入层由机器人到目标点的距离、机器人方位角以及机器人前端八个超声传感器测量值组成;隐含层使用了五个全连接层,每层的神经元个数分别为600、400、200、20和1,前两层的激活函数为relu6,后两层采用relu作为激活函数,在前四个隐含层fc1、fc2、fc3和fc4激活函数后都加一个BatchNorm层;输出层使用Tanh作为激活函数,使输出层神经元的值范围在[-1,1],其中[-1,0]表示机器人向左转,[0,1]表示机器人向右转。
4.根据权利要求1所述的一种基于TPR-DDPG的移动机器人路径规划方法,其特征在于:所述步骤(2)的评价网络,具体包括:输入层由将机器人到目标点的距离、机器人方位角以及机器人前端八个超声传感器测量值构成的十个状态和策略网络所选择的动作组成;隐含层使用了四个全连接层,每层的神经元个数分别为600、400、200和20,前两层用relu6作为激活函数,后两层用relu作为激活函数;输出层只有一个神经元,其作用在于输出Q值。
5.根据权利要求书1所述的一种基于TPR-DDPG的移动机器人路径规划方法,其特征在于,所述步骤(3)中给动作加入噪声,其作用在于保持对环境的探索,
at=(1-α)μ(st|θu)+αNt
在整个环境的探索过程中,由于不能确定环境中的障碍物分布情况,所以在整个的探索过程中环境探索率采用一个固定值,且该值不宜过大。
6.根据权利要求1所述的一种基于TPR-DDPG的移动机器人路径规划方法,其特征在于:所述步骤(3)中的奖惩函数实现了在避开障碍物的同时快速到达目标点,具体包括:当机器人到达目标点时,给予奖励值50;当机器人与障碍物发生碰撞时,给予奖励值为负值-50;当机器人既未碰撞又未到达目标点时,奖励由reward1、reward2和reward3三部分组成;
利用下式给的奖励值可以实现机器人向目标点趋近,其中,curdis为当前步机器人的位置到目标点的直线距离,predis为上一步机器人的位置到目标点的直线距离;机器人每步移动的最大距离为500mm,reward1∈[-10,10];当predis-curdis>0时,reward1∈[0,10],表示机器人在朝着目标点方向移动,距离目标点越近,reward1越大;当predis-curdis<0时,reward1∈[-10,0],表示机器人朝着目标点的反方向移动,距离目标点越远,reward1越小;
reward1=(predis-curdis)/50,未到达目标点且未碰撞
利用下式可以评估机器人当前动作是否避开障碍物,并根据当前范围内障碍物的情况给予奖惩,curcount为当前采样时刻正前方4个超声传感器中读数小于500mm的个数,precount为前一个采样时刻正前方4个超声传感器中读数小于500mm的个数。当precount≤curcount时,表示当前采样时刻比前一采样时刻与障碍物相撞的危险程度大,则给予惩罚;当precount>curcount时,表示当前采样时刻比前一采样时刻与障碍物相撞的危险程度小,则给予奖励;
用下式给的奖励值可以实现机器人加速到达目标点,abs(dir)为方位角的绝对值;
当curcount=0时,即在机器人前方500mm范围内,当30-abs(dir)>0时,reward3∈[0,9],机器人朝着目标点正向移动,给予奖励;当30-abs(dir)<0时,reward3∈[-4.5,0],机器人朝着目标点偏向移动或朝着目标点反方向移动,给予惩罚;奖励系数取0.3,而惩罚系数取0.03,避免在大范围内有障碍物时,因惩罚太大而错过了最优路径。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110638373.1A CN113219997B (zh) | 2021-06-08 | 2021-06-08 | 一种基于tpr-ddpg的移动机器人路径规划方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110638373.1A CN113219997B (zh) | 2021-06-08 | 2021-06-08 | 一种基于tpr-ddpg的移动机器人路径规划方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113219997A true CN113219997A (zh) | 2021-08-06 |
CN113219997B CN113219997B (zh) | 2022-08-30 |
Family
ID=77083129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110638373.1A Active CN113219997B (zh) | 2021-06-08 | 2021-06-08 | 一种基于tpr-ddpg的移动机器人路径规划方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113219997B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113759902A (zh) * | 2021-08-17 | 2021-12-07 | 中南民族大学 | 多智能体局部交互路径规划方法、装置、设备及存储介质 |
CN113791612A (zh) * | 2021-08-17 | 2021-12-14 | 中南民族大学 | 智能体实时路径规划方法、装置、设备及存储介质 |
CN114185339A (zh) * | 2021-11-15 | 2022-03-15 | 哈尔滨工程大学 | 一种动态环境下的移动机器人路径规划方法 |
CN114815813A (zh) * | 2022-03-29 | 2022-07-29 | 山东交通学院 | 一种基于改进ddpg算法的高效路径规划方法、装置及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110632931A (zh) * | 2019-10-09 | 2019-12-31 | 哈尔滨工程大学 | 动态环境下基于深度强化学习的移动机器人避碰规划方法 |
CN110794842A (zh) * | 2019-11-15 | 2020-02-14 | 北京邮电大学 | 基于势场的强化学习路径规划算法 |
CN112629542A (zh) * | 2020-12-31 | 2021-04-09 | 山东师范大学 | 基于ddpg和lstm的无地图机器人路径导航方法及*** |
CN112668235A (zh) * | 2020-12-07 | 2021-04-16 | 中原工学院 | 基于离线模型预训练学习的ddpg算法的机器人控制方法 |
CN112882469A (zh) * | 2021-01-14 | 2021-06-01 | 浙江大学 | 一种融合全局训练的深度强化学习避障导航方法 |
-
2021
- 2021-06-08 CN CN202110638373.1A patent/CN113219997B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110632931A (zh) * | 2019-10-09 | 2019-12-31 | 哈尔滨工程大学 | 动态环境下基于深度强化学习的移动机器人避碰规划方法 |
CN110794842A (zh) * | 2019-11-15 | 2020-02-14 | 北京邮电大学 | 基于势场的强化学习路径规划算法 |
CN112668235A (zh) * | 2020-12-07 | 2021-04-16 | 中原工学院 | 基于离线模型预训练学习的ddpg算法的机器人控制方法 |
CN112629542A (zh) * | 2020-12-31 | 2021-04-09 | 山东师范大学 | 基于ddpg和lstm的无地图机器人路径导航方法及*** |
CN112882469A (zh) * | 2021-01-14 | 2021-06-01 | 浙江大学 | 一种融合全局训练的深度强化学习避障导航方法 |
Non-Patent Citations (8)
Title |
---|
CATCHY666: "深度强化学习ddpg算法", 《CSDN》 * |
LIQIANG GAO: "Rabot automatic navigation by electrical reward stimulation based on distance measurement in unknown environments", 《35TH IEEE EMBS》 * |
YONG WANG: "Mobile robot dynamic path planning based on improved genetic algotithm", 《AIP CONFERENCE PROCEEDINGS》 * |
ZHOUYU LU: "Motion Planning for Collision-resilient Mobile Robots in Obstacle-cluttered Unknown Environments with Risk Reward Trade-offs", 《IROS》 * |
刘庆杰: "面向智能避障场景的深度强化学习研究", 《智能物联科技》 * |
史先鹏: "一种基于改进蚁群算法的载人潜水器全局路径规划", 《海洋技术学报》 * |
张义: "基于DDPG 算法的路径规划研究", 《电脑知识与技术》 * |
王通: "基于强化学习的智能车低成本导航", 《中国优秀硕士论文全文数据库》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113759902A (zh) * | 2021-08-17 | 2021-12-07 | 中南民族大学 | 多智能体局部交互路径规划方法、装置、设备及存储介质 |
CN113791612A (zh) * | 2021-08-17 | 2021-12-14 | 中南民族大学 | 智能体实时路径规划方法、装置、设备及存储介质 |
CN113791612B (zh) * | 2021-08-17 | 2023-10-24 | 中南民族大学 | 智能体实时路径规划方法、装置、设备及存储介质 |
CN113759902B (zh) * | 2021-08-17 | 2023-10-27 | 中南民族大学 | 多智能体局部交互路径规划方法、装置、设备及存储介质 |
CN114185339A (zh) * | 2021-11-15 | 2022-03-15 | 哈尔滨工程大学 | 一种动态环境下的移动机器人路径规划方法 |
CN114815813A (zh) * | 2022-03-29 | 2022-07-29 | 山东交通学院 | 一种基于改进ddpg算法的高效路径规划方法、装置及介质 |
CN114815813B (zh) * | 2022-03-29 | 2024-05-07 | 山东交通学院 | 一种基于改进ddpg算法的高效路径规划方法、装置及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113219997B (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113219997B (zh) | 一种基于tpr-ddpg的移动机器人路径规划方法 | |
Yang et al. | A new robot navigation algorithm based on a double-layer ant algorithm and trajectory optimization | |
WO2020056875A1 (zh) | 一种基于深度强化学习的停车策略 | |
Wen et al. | Path planning for active SLAM based on deep reinforcement learning under unknown environments | |
Tai et al. | Towards cognitive exploration through deep reinforcement learning for mobile robots | |
CN104298239B (zh) | 一种室内移动机器人增强地图学习路径规划方法 | |
Wang et al. | GMR-RRT*: Sampling-based path planning using gaussian mixture regression | |
Lv et al. | Blind travel prediction based on obstacle avoidance in indoor scene | |
CN111694364A (zh) | 一种应用于智能车路径规划的基于改进蚁群算法与动态窗口法的混合算法 | |
CN105690392A (zh) | 基于行动者-评论家方法的机器人运动控制方法和装置 | |
Fang et al. | Target‐driven visual navigation in indoor scenes using reinforcement learning and imitation learning | |
Guo et al. | A fusion method of local path planning for mobile robots based on LSTM neural network and reinforcement learning | |
Li et al. | A mixing algorithm of ACO and ABC for solving path planning of mobile robot | |
CN112183762A (zh) | 一种基于混合行为空间的强化学习方法 | |
US11911902B2 (en) | Method for obstacle avoidance in degraded environments of robots based on intrinsic plasticity of SNN | |
CN115265547A (zh) | 一种未知环境下基于强化学习的机器人主动导航方法 | |
Zhao et al. | Path planning for mobile robots based on TPR-DDPG | |
Moon et al. | Path planning of cleaning robot with reinforcement learning | |
CN117553798A (zh) | 复杂人群场景中移动机器人的安全导航方法、设备及介质 | |
Nwaonumah et al. | Deep reinforcement learning for visual navigation of wheeled mobile robots | |
Zhou et al. | An indoor blind area-oriented autonomous robotic path planning approach using deep reinforcement learning | |
CN116562332A (zh) | 一种人机共融环境下的机器人社交性运动规划方法 | |
CN114721397B (zh) | 一种基于强化学习和好奇心的迷宫机器人路径规划方法 | |
CN115009291B (zh) | 基于网络演化重放缓冲区的自动驾驶辅助决策方法及*** | |
CN116360454A (zh) | 行人环境下基于深度强化学习的机器人路径避碰规划方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |