CN115493595A - 一种基于局部感知与近端优化策略的auv路径规划方法 - Google Patents
一种基于局部感知与近端优化策略的auv路径规划方法 Download PDFInfo
- Publication number
- CN115493595A CN115493595A CN202211219574.9A CN202211219574A CN115493595A CN 115493595 A CN115493595 A CN 115493595A CN 202211219574 A CN202211219574 A CN 202211219574A CN 115493595 A CN115493595 A CN 115493595A
- Authority
- CN
- China
- Prior art keywords
- auv
- network
- path planning
- optimization strategy
- ocean
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000005457 optimization Methods 0.000 title claims abstract description 16
- 230000008447 perception Effects 0.000 title claims abstract description 10
- 230000006870 function Effects 0.000 claims abstract description 28
- 230000009471 action Effects 0.000 claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 1
- 206010063385 Intellectualisation Diseases 0.000 abstract description 2
- 230000002787 reinforcement Effects 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/203—Specially adapted for sailing ships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Feedback Control In General (AREA)
Abstract
当代海洋探测模式向智能化、信息化转变,以追求更小的行动风险和更长的航行时间,水下无人探测体系的重要性随之日益凸显,考虑洋流因素和障碍物因素的路径规划成为AUV水下航行的必备条件。本发明是针对洋流因素被忽略,没有有效利用局部障碍物信息的情形下,提出的一种结合局部感知的近端优化策略算法的AUV路径规划方法。通过构建水下洋流环境,搭建近端优化策略的神经网络结构,设计考虑多因素的奖励函数,获得AUV水下路径规划的流程图。通过实验对该方法进行了验证。本发明可广泛应用于水下AUV的实时路径规划。
Description
所属技术领域
本发明属于AUV自主路径规划领域,尤其涉及一种考虑洋流影响的基于局部感知和近端优化策略的AUV路径规划方法。
背景技术
当代海洋探测模式向智能化、信息化转变,以追求更小的行动风险和更长的航行时间,水下无人探测体系的重要性随之日益凸显。AUV是水下无人作战体系的重要组成部分,路径规划是AUV安全有效完成作战任务的重要技术,需要考虑洋流、避障、自身性能等约束条件,追求能源消耗、航行时间、安全隐蔽等指标最优。
当前常用的路径规划的方法主要有基于有向图的搜索方法、启发式搜索算法、人工势场法、快速生成随机树法等。对于大规模区域的AUV路径规划问题,快速得到符合要求的路径比花费大量时间求解最优路径更重要,强化学习算法由于其智能性与动态学习能力成为路径规划算法研究的热点。
强化学习主要由智能体、环境、状态、动作、奖励组成;智能体执行了某个动作后,智能体将采集到新的观测状态,对于该状态转换环境会给出奖励信号。随后,智能体根据新的状态和环境反馈的奖励,按照当前策略执行新的动作。智能体通过强化学习,不断优化自身策略,最终能够在不同状态下都采取最优动作。近端优化策略算法属于基于策略的强化学习算法,用以解决多维动作空间下的动作选择问题。
发明内容
本发明要解决的技术问题是针对以上不足,提供一种结合局部感知的近端优化策略算法的AUV路径规划方法。本发明的技术方案如下:
1.获取障碍物信息、洋流信息,根据信息构建三维环境;
2.构建用于评估动作的评论家网络和用来输出动作的演员网络,初始化网络参数。
3.根据神经网络的输出选择动作,获取到样本,并放到经验池中,用于之后的学习。
4.样本中的奖励函数计算公式如下:
Rd=arctank1(ξt-ξt+1-δd)
其中ξt代表AUV当前位置和目标点的距离,δd为偏置项,加大AUV获得正奖励的难度。
与洋流相关的奖励由实际速度与AUV速度的比值设定。当目标可达且洋流对AUV的运动有积极影响时,实际速度应大于AUV的速度。参数τc通常被设置为0.5,以促进AUV更多地利用洋流。Rc随洋流角度的增大而减小,并随洋流速度的增大而增大。当洋流产生负面影响或利用程度较低时,该公式倾向于通过δc对智能体进行惩罚。
最终奖励函数为:R=k1*Rd+k2*Rc
5.评论家网络和演员网络使用样本进行学习,演员网络的更新公式推导如下:
当优势函数估计值大于0时,网络参数将朝着增大该动作输出概率的方向优化,但是优化到rt(θ)=1+ε为止;相反地,当时,网络参数将向减小该动作地概率方向优化,直到rt(θ)=1-ε,本质上控制了策略更新的幅度。
在近端优化策略中,使用时序差分误差对优势函数进行估计,单步TD-error定义为累积折扣奖励和Critic网络状态估计的差值。优势函数的估计值为N步TD-error,表示为:
δt=rx+1+γVβ(st+1)-Vβ(st).
评论家网络的更新方式为:LVFβ=(Vβ-Vt targ)2
6.按照5的方式对两个网络进行参数更新。根据输出的概率分布,进行抽样选取动作。重复上述采样,更新网络的过程,直到达到指定的最大回合数。每一回合结束的标志是达到最大步数或者到达目标点,最后输出路径。
本发明采用的近端优化策略算法包含两个网络:评论家网络和演员网络;评论家网络评估动作的价值,演员网络负责输出动作,可以对样本进行多次学习,将on-policy转化为off-policy,提高了经验池中样本的利用率。本发明的输入为相对位置信息与局部障碍物的描述信息联合输入,能够提供全局指引和局部感知的功能。使用输出概率分布的方式,使网络在多维动作空间下仍然能够收敛。
附图说明
图1所提方法框图
图2实验结果
具体实施方式
所提方法主要包括:输入处理,初始化网络,奖励函数设计,网络更新,决策等步骤。图1给出了所提方法的框图。
一种基于近端优化策略算法的AUV路径规划方法,具体实施过程包括以下步骤:
1.环境构建。从国家海洋数据中心下载洋流与深度数据122.75°E-130.75°E,15.25°N-23.625°N,最大深度为6400m。以(122.75°E,15.25°N,-6400m)为坐标原点建立坐标系,目标点为(130.75°E,23.625°N,-6400m),AUV的航速为1.5m/s。
2.状态输入,包括三部分:位置信息,洋流信息,局部环境信息。其中位置信息采用相对位置坐标输入:(gx,gy,gz)为目标点坐标,(x,y,z)为当前位置坐标,洋流信息根据当前所处位置进行获取,表示为(u,v,w),局部环境信息由传感器感知,并转化为0,1矩阵。其中,0代表有障碍,1代表安全。感知范围为3个单位长度,感知矩阵维度为3×3×3。
3.局部感知输入经过神经网络处理变为1×3的输入,并与位置和洋流信息连接后作为最终输入。
4.构建演员神经网络用于输出策略,其参数记为α,通过softmax最终输出27维向量,并根据概率分布进行抽样;构建评论家神经网络用于输出动作的价值,其参数记为β,除最后一层外,其余网络结构与演员网络相同。
5.将3中的输入传入演员网络,输出动作at,AUV执行当前动作,并在洋流影响下得到新状态st+1,获得奖励rt,将当前样本存入经验池(st,at,rt,st+1),重复此过程直到当前回合结束。回合结束标志为到达目标或者达到最大步数2000步。
6.奖励函数设置如下:
Rd=arctank1(ξt-ξt+1-δd)
其中ξt代表AUV当前位置和目标点的距离,δd为偏置项,加大AUV获得正奖励的难度。
与洋流相关的奖励由实际速度与AUV速度的比值设定。当目标可达且洋流对AUV的运动有积极影响时,实际速度应大于AUV的速度。参数τc通常被设置为0.5,以促进AUV更多地利用洋流。Rc随洋流角度的增大而减小,并随洋流速度的增大而增大。当洋流产生负面影响或利用程度较低时,该公式倾向于通过δc对智能体进行惩罚。
最终奖励函数为:R=k1*Rd+k2*Rc,其中k1=1,k2=0.5。
7.回合结束后,样本数达到指定容量1000,则开始进行更新;若未达到,继续进行采样。更新公式如下:
评论家网络和演员网络使用样本进行学习,演员网络的更新公式推导如下:
当优势函数估计值大于0时,网络参数将朝着增大该动作输出概率的方向优化,但是优化到rt(θ)=1+ε为止;相反地,当时,网络参数将向减小该动作地概率方向优化,直到rt(θ)=1-ε,本质上控制了策略更新的幅度。
在近端优化策略中,使用时序差分误差对优势函数进行估计,单步TD-error定义为累积折扣奖励和Critic网络状态估计的差值。优势函数的估计值为N步TD-error,表示为:
δt=rt+1+γVβ(st+1)-Vβ(st).
评论家网络的更新方式为:LVFβ=(Vβ-Vt targ)2
其中ε设置为0.3,学习率α为0.001。
测试实验结果如图2所示,路径长度为610.38km,路径花费时间为337413s。
Claims (4)
1.一种基于局部感知与近端优化策略的AUV路径规划方法,所述路径规划方法包括:
(1)获取障碍物信息、洋流信息,根据信息构建三维环境;
(2)构建用于评估动作的评论家网络和用来输出动作的演员网络,初始化网络参数;
(3)根据神经网络的输出选择动作,获取到样本,并放到经验池中,用于之后的学习;
(4)设计考虑多种因素的奖励函数;
(5)使用经验池的样本进行训练,直到达到最大回合数,输出路径。
2.如权利要求1所示述的基于局部感知与近端优化策略的AUV路径规划方法,所述步骤(4)中的奖励函数计算公式如下:
Rd=arctan k1(ξt-ξt+1-δd)
其中ξt代表AUV当前位置和目标点的距离,δd为偏置项,加大AUV获得正奖励的难度。
与洋流相关的奖励由实际速度与AUV速度的比值设定。当目标可达且洋流对AUV的运动有积极影响时,实际速度应大于AUV的速度。参数τc通常被设置为0.5,以促进AUV更多地利用洋流。Rc随洋流角度的增大而减小,并随洋流速度的增大而增大。当洋流产生负面影响或利用程度较低时,该公式倾向于通过δc对智能体进行惩罚。
最终奖励函数设置为:R=k1*Rd+k2*Rc
3.如权利要求1所示述的基于局部感知与近端优化策略的AUV路径规划方法,所述步骤(4)中构建评论家网络和演员网络使用样本进行学习,演员网络的更新公式推导如下:
当优势函数估计值大于0时,网络参数将朝着增大该动作输出概率的方向优化,但是优化到rt(θ)=1+ε为止;相反地,当时,网络参数将向减小该动作地概率方向优化,直到rt(θ)=1-ε,本质上控制了策略更新的幅度。
在近端优化策略中,使用时序差分误差对优势函数进行估计,单步TD-error定义为累积折扣奖励和Critic网络状态估计的差值。优势函数的估计值为N步TD-error,表示为:
δt=rt+1+γVβ(st+1)-Vβ(st).
4.如权利要求1所示述的基于局部感知与近端优化策略的AUV路径规划方法,所述步骤(5)对两个网络进行参数更新。根据输出的概率分布,进行抽样选取动作。重复上述采样,更新网络的过程,直到达到指定的最大回合数。每一回合结束的标志是达到最大步数或者到达目标点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211219574.9A CN115493595A (zh) | 2022-09-28 | 2022-09-28 | 一种基于局部感知与近端优化策略的auv路径规划方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211219574.9A CN115493595A (zh) | 2022-09-28 | 2022-09-28 | 一种基于局部感知与近端优化策略的auv路径规划方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115493595A true CN115493595A (zh) | 2022-12-20 |
Family
ID=84472697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211219574.9A Pending CN115493595A (zh) | 2022-09-28 | 2022-09-28 | 一种基于局部感知与近端优化策略的auv路径规划方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115493595A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110794842A (zh) * | 2019-11-15 | 2020-02-14 | 北京邮电大学 | 基于势场的强化学习路径规划算法 |
CN111829527A (zh) * | 2020-07-23 | 2020-10-27 | 中国石油大学(华东) | 一种基于深度强化学习且顾及海洋环境要素的无人船路径规划方法 |
CN112241176A (zh) * | 2020-10-16 | 2021-01-19 | 哈尔滨工程大学 | 一种水下自主航行器在大尺度连续性障碍物环境中路径规划避障控制方法 |
CN112698646A (zh) * | 2020-12-05 | 2021-04-23 | 西北工业大学 | 一种基于强化学习的航行器路径规划方法 |
CN113159432A (zh) * | 2021-04-28 | 2021-07-23 | 杭州电子科技大学 | 一种基于深度强化学习的多智能体路径规划方法 |
CN113532457A (zh) * | 2021-06-07 | 2021-10-22 | 山东师范大学 | 机器人路径导航方法、***、设备及存储介质 |
CN113534668A (zh) * | 2021-08-13 | 2021-10-22 | 哈尔滨工程大学 | 基于最大熵的演员-评论家框架的auv运动规划方法 |
-
2022
- 2022-09-28 CN CN202211219574.9A patent/CN115493595A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110794842A (zh) * | 2019-11-15 | 2020-02-14 | 北京邮电大学 | 基于势场的强化学习路径规划算法 |
CN111829527A (zh) * | 2020-07-23 | 2020-10-27 | 中国石油大学(华东) | 一种基于深度强化学习且顾及海洋环境要素的无人船路径规划方法 |
CN112241176A (zh) * | 2020-10-16 | 2021-01-19 | 哈尔滨工程大学 | 一种水下自主航行器在大尺度连续性障碍物环境中路径规划避障控制方法 |
CN112698646A (zh) * | 2020-12-05 | 2021-04-23 | 西北工业大学 | 一种基于强化学习的航行器路径规划方法 |
CN113159432A (zh) * | 2021-04-28 | 2021-07-23 | 杭州电子科技大学 | 一种基于深度强化学习的多智能体路径规划方法 |
CN113532457A (zh) * | 2021-06-07 | 2021-10-22 | 山东师范大学 | 机器人路径导航方法、***、设备及存储介质 |
CN113534668A (zh) * | 2021-08-13 | 2021-10-22 | 哈尔滨工程大学 | 基于最大熵的演员-评论家框架的auv运动规划方法 |
Non-Patent Citations (1)
Title |
---|
JIACHEN YANG,ET AL: "A Time-Saving Path Planning Scheme for Autonomous Underwater Vehicles With Complex Underwater Conditions", 《IEEE INTERNET OF THINGS JOURNAL》, 12 September 2022 (2022-09-12), pages 1001 - 1013 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jiang et al. | Path planning for intelligent robots based on deep Q-learning with experience replay and heuristic knowledge | |
CN111142522B (zh) | 一种分层强化学习的智能体控制方法 | |
CN108803321B (zh) | 基于深度强化学习的自主水下航行器轨迹跟踪控制方法 | |
CN104298239B (zh) | 一种室内移动机器人增强地图学习路径规划方法 | |
CN107168324B (zh) | 一种基于anfis模糊神经网络的机器人路径规划方法 | |
WO2018120739A1 (zh) | 路径规划方法、装置及机器人 | |
CN109655066A (zh) | 一种基于Q(λ)算法的无人机路径规划方法 | |
CN113268074B (zh) | 一种基于联合优化的无人机航迹规划方法 | |
CN110750096A (zh) | 静态环境下基于深度强化学习的移动机器人避碰规划方法 | |
Botteghi et al. | On reward shaping for mobile robot navigation: A reinforcement learning and SLAM based approach | |
Xie et al. | Learning with stochastic guidance for robot navigation | |
CN113848974B (zh) | 一种基于深度强化学习的飞行器轨迹规划方法及*** | |
CN115248591B (zh) | 基于混合初始化灰狼粒子群算法的uuv路径规划方法 | |
CN113391633A (zh) | 一种面向城市环境的移动机器人融合路径规划方法 | |
Song et al. | Autonomous mobile robot navigation using machine learning | |
CN116448119A (zh) | 一种面向突发威胁的无人蜂群协同航迹规划方法 | |
CN115493595A (zh) | 一种基于局部感知与近端优化策略的auv路径规划方法 | |
CN114740873B (zh) | 一种基于多目标改进粒子群算法的自主式水下机器人的路径规划方法 | |
Li et al. | Research on the agricultural machinery path tracking method based on deep reinforcement learning | |
Zhang et al. | Visual navigation of mobile robots in complex environments based on distributed deep reinforcement learning | |
CN113959446B (zh) | 一种基于神经网络的机器人自主物流运输导航方法 | |
Duo et al. | A deep reinforcement learning based mapless navigation algorithm using continuous actions | |
Martin et al. | The application of particle swarm optimization and maneuver automatons during non-Markovian motion planning for air vehicles performing ground target search | |
Zong et al. | A method for robustness improvement of robot obstacle avoidance algorithm | |
Chong et al. | Heuristic dynamic path planning algorithm based on SALSTM-DDPG |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |