CN109765929A - 一种基于改进rnn的uuv实时避障规划方法 - Google Patents
一种基于改进rnn的uuv实时避障规划方法 Download PDFInfo
- Publication number
- CN109765929A CN109765929A CN201910033349.8A CN201910033349A CN109765929A CN 109765929 A CN109765929 A CN 109765929A CN 201910033349 A CN201910033349 A CN 201910033349A CN 109765929 A CN109765929 A CN 109765929A
- Authority
- CN
- China
- Prior art keywords
- rnn
- uuv
- network
- real time
- improving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明属于无人水下航行领域,具体涉及一种基于改进RNN的UUV实时避障规划方法。本发明提供了一种基于改进RNN的UUV实时避碰规划方法,该方法采用卷积连接方式代替原RNN网络中的全连接,减少了网络参数,降低了算法学习时间,提高了算法信息处理能力。本发明设计的用于UUV实时避碰规划的改进RNN算法,在复杂的不确定环境中有较强的适应性;有较强的学习能力、泛化能力及抗噪声干扰能力。
Description
技术领域
本发明属于无人水下航行领域,具体涉及一种基于改进RNN的UUV实时避障规划方法。
背景技术
无人水下航行器UUV是没有人驾驶,靠自主控制在水下航行的器具,主要代替潜水员或载人下型潜艇进行深海探测、救生、排除水雷等高危险性水下作业。UUV的主要目标之一就是实现在动态、复杂的环境下的高度自治。UUV的自主航行能力是指其在航行时根据需要自行选择行动方案的能力。作为UUV自主航行的关键技术,其自主避障能力是UUV执行各类任务的基础。
目前用于UUV避碰规划的方法主要有随机抽样、线性拟合、势场法、蚁群算法、量子行为算法以及一些混合算法。然而,上述方法还存在对噪声敏感、在复杂环境下难满足实时性要求、可移植性差等不足。为了提高UUV避碰规划的自主能力,一些学者提出了基于强化学习的避障规划方法。但任然面临奖励函数及动作策略设计困难的挑战。特别是当UUV航行在狭窄的海洋环境,由于有限的环境信息,基于强化学习的避障规划方法很难做出最优决策。
循环神经网络RNN的内部节点定向连接成环,因此其可以展示动态时序行为。UUV实时避障规划问题的本质就是根据时序的声呐探测信息规划UUV的动作,使其避过障碍物。然而传统的RNN避障规划存在网络参数较多、训练时间长以及有限的信息处理能力等不足。本发明针对上述问题提出了一种基于改进RNN的UUV实时避障规划方法。
发明内容
本发明的目的在于提供一种基于改进RNN的UUV实时避障规划方法。
一种基于改进RNN的UUV实时避障规划方法,该方法包括以下步骤:
步骤1:将UUV布放在起始位置;
步骤2:UUV通过板载的传感器获得关于环境信息和目标点信息的时间序列数据;
步骤3:基于改进RNN的UUV实时避障规划进行网络训练;
步骤4:对该时间序列进行预处理,并输入到已经训练好的基于改进RNN的UUV实时避障规划网络;
步骤5:将避障规划网络输出的转艏和速度指令输入到UUV执行机构;
步骤6:执行机构得到指令后驱动UUV航行;
步骤7:判断UUV是否到达目标点,若是,避碰规划***停止工作,否则返回步骤2;
步骤3所述基于改进RNN的UUV实时避障规划进行网络训练包括以下步骤:
步骤3.1:初始化改进RNN避障规划网络各层权重,令i=0;
步骤3.2:令k=0;
步骤3.3:取第k个批量的数据作为本次训练集,并令t=0;
步骤3.4:将本次训练集中的输入数据输入到网络,经过改进RNN避障规划网络的前向传播过程得到对应输出yt;
步骤3.5:计算网络输出与对应标签的误差;
步骤3.6:判断是否完成该批量计算,若是,执行步骤3.7,否则t=t+1,并返回步骤3.4;
步骤3.7:利用小批量梯度下降误差反向传播算法更新改进RNN避障规划网络权重;
步骤3.8:判断是否所有批量数据均完成训练,若是,执行步骤3.9,否则k=k+1,并返回步骤3.3;
步骤3.9:i=i+1,并判断iMOD500是否为零,若是,执行步骤3.10,否则返回步骤3.2;
步骤3.10:在测试集中随机选取50个序列,使用当前网络进行测试,计算均方误差;
步骤3.11:若测试集中均方误差连续10次没有减小,则停止训练,否则返回步骤3.2。
步骤4所述基于改进RNN的UUV实时避障规划网络具体结构分为:输入层、隐藏层和输出层,其中输入层由81个单元组成,输入层前80个单元对应80维声纳探测信息,输入层第81个单元对应UUV当前位置与目标点之间的夹角隐藏层由卷积层、池化层和全连接层组成;输出层由两个单元组成,分别对应期望的UUV转艏及航速;输入层与隐藏层通过卷积操作连接,隐藏层与输出层间的连接方式为全连接;
基于改进RNN避障规划网络的前向传播过程可表述为:
ht=tanh(WLat,L-1+bL+Uht-1)
ot=Vht+c
其中,at,l为t时刻第l层的输出向量,b,c为偏置,W,U,V为权重矩阵,tanh为正切函数,ReLU为线性整形单元,pool为池化操作,o为输出向量,为网络输出,L为网络层数。
基于改进RNN避障规划网络的反向传播过程可表述为:
误差函数可定义为:其中y为网络期望输出。
c和V的梯度为:
定义第L层在t时刻的误差项为:
WL、U及bL的梯度为:
对于l=L-1到2,误差项为:
Wl和bl的梯度为:
本发明的有益效果在于:
本发明提供了一种基于改进RNN的UUV实时避碰规划方法,该方法采用卷积连接方式代替原RNN网络中的全连接,减少了网络参数,降低了算法学习时间,提高了算法信息处理能力。本发明设计的用于UUV实时避碰规划的改进RNN算法,在复杂的不确定环境中有较强的适应性;有较强的学习能力、泛化能力及抗噪声干扰能力。
附图说明
图1是本发明建立的仿真声呐探测示意图。
图2是本发明改进的RNN结构示意图。
图3是本发明仿真效果图。
具体实施方式
下面结合附图对本发明做进一步的描述。
本发明将提供一种基于改进RNN的UUV实时避障规划方法。利用卷积连接代替原RNN中的全连接,减少了网络参数,缩短了网络训练所用时间,提高了网络的信息处理能力。实现了一个简单、高效、对噪声不敏感、泛化及可移植能力强的UUV实时避障规划***。
一种基于改进RNN的UUV实时避障规划方法,包括以下步骤:
步骤1:构建全局和船体坐标系,建立声纳仿真模型;
全局坐标系为北东坐标系,坐标原点在地图左下角,正北方向为X轴,正东方向为Y轴;
船体坐标系原点在UUV重心处,X轴取在UUV纵向剖面内,指向UUV艏端,Y轴与纵剖面垂直,指向右舷;
二维多波束声纳仿真模型水平开角为120°,最大探测半径为120m,共80个波束,波束角为1.5°,水平方向分辨率为5m,虚警误警率为10%;
步骤2:设计用于实时避障规划的改进RNN算法;
所设计的实时避障规划网络包含输入层、隐藏层及输出层三层,网络输入为传感器探测信息,输出为UUV预期航速及转艏角度;
步骤3:收集训练数据;
训练数据包括网络输入及期望输出,其中网络输入包括声纳探测信息(80维)及目标点位置信息,期望输出包含期望转艏及期望速度;
步骤4:训练网络,得到基于改进RNN的UUV实时避障规划器;
采用基于时间的随机梯度下降反向传播算法修改网络权值,损失函数为均方误差函数;
步骤5:UUV运动过程中将声纳探测信息及目标点信息实时传入基于改进RNN的UUV实时避障规划网络,得到转艏及速度指令;
基于改进RNN的UUV实时避障规划网络具体结构为:
输入层由81个单元组成,其中前80个单元对应80维声纳探测信息,第81个单元对应UUV当前位置与目标点之间的夹角
隐藏层由卷积层、池化层和全连接层组成;
输出层由两个单元组成,分别对应期望的UUV转艏及航速;
输入层与隐藏层通过卷积操作连接,隐藏层与输出层间的连接方式为全连接;
基于改进RNN避障规划网络的前向传播过程可表述为:
ht=tanh(WLat,L-1+bL+Uht-1)
ot=Vht+c
其中,at,l为t时刻第l层的输出向量,b,c为偏置,W,U,V为权重矩阵,tanh为正切函数,ReLU为线性整形单元,pool为池化操作,o为输出向量,为网络输出,L为网络层数。
基于改进RNN避障规划网络的反向传播过程可表述为:
误差函数可定义为:其中y为网络期望输出。
c和V的梯度为:
定义第L层在t时刻的误差项为:
WL、U及bL的梯度为:
对于l=L-1到2,误差项为:
Wl和bl的梯度为:
基于改进RNN避障规划网络训练过程:
1)初始化改进RNN避障规划网络各层权重,令i=0;
2)令k=0;
3)取第k个批量的数据作为本次训练集,并令t=0;
4)将本次训练集中的输入数据输入到网络,经过改进RNN避障规划网络的前向传播过程得到对应输出yt;
5)计算网络输出与对应标签的误差;
6)判断是否完成该批量计算,若是,执行7),否则t=t+1,并返回4);
7)利用小批量梯度下降误差反向传播算法更新改进RNN避障规划网络权重;
8)判断是否所有批量数据均完成训练,若是,执行9),否则k=k+1,并返回3);
9)i=i+1,并判断iMOD500是否为零,若是,执行10),否则返回2);
10)在测试集中随机选取50个序列,使用当前网络进行测试,计算均方误差;
11)若测试集中均方误差连续10次没有减小,则停止训练,否则返回2)。
基于改进RNN的UUV实时避碰规划其工作过程为:
1)将UUV布放在起始位置;
2)UUV通过板载的传感器获得关于环境信息和目标点信息的时间序列数据;
3)对该时间序列进行预处理,并输入到已经训练好的基于改进RNN的UUV实时避障规划网络;
3)将避障规划网络输出的转艏和速度指令输入到UUV执行机构;
4)执行机构得到指令后驱动UUV航行;
5)判断UUV是否到达目标点,若是,避碰规划***停止工作,否则返回2)。
Claims (5)
1.一种基于改进RNN的UUV实时避障规划方法,其特征在于,该方法包括以下步骤:
步骤1:将UUV布放在起始位置;
步骤2:UUV通过板载的传感器获得关于环境信息和目标点信息的时间序列数据;
步骤3:基于改进RNN的UUV实时避障规划进行网络训练;
步骤4:对关于环境信息和目标点信息的时间序列进行预处理,并输入到已经训练好的基于改进RNN的UUV实时避障规划网络;
步骤5:将避障规划网络输出的转艏和速度输入到UUV执行机构;
步骤6:执行机构得到转艏和速度后驱动UUV航行;
步骤7:判断UUV是否到达目标点,若是,避碰规划***停止工作,否则返回步骤2。
2.根据权利要求1所述的一种基于改进RNN的UUV实时避障规划方法,其特征在于,步骤3所述基于改进RNN的UUV实时避障规划进行网络训练包括以下步骤:
步骤3.1:初始化改进RNN避障规划网络各层权重,令i=0;
步骤3.2:令k=0;
步骤3.3:取第k个批量的数据作为本次训练集,并令t=0;
步骤3.4:将本次训练集中的输入数据输入到网络,经过改进RNN避障规划网络的前向传播过程得到对应输出yt;
步骤3.5:计算网络输出与对应标签的误差;
步骤3.6:判断是否完成该批量计算,若是,执行步骤3.7,否则t=t+1,并返回步骤3.4;
步骤3.7:利用小批量梯度下降误差反向传播方法更新改进RNN避障规划网络权重;
步骤3.8:判断是否所有批量数据均完成训练,若是,执行步骤3.9,否则k=k+1,并返回步骤3.3;
步骤3.9:令i=i+1,并判断iMOD500是否为零,若是,执行步骤3.10,否则返回步骤3.2;
步骤3.10:在测试集中随机选取50个序列,使用当前网络进行测试,计算均方误差;
步骤3.11:若测试集中均方误差连续10次没有减小,则停止训练,否则返回步骤3.2。
3.根据权利要求1所述的一种基于改进RNN的UUV实时避障规划方法,其特征在于,步骤4所述基于改进RNN的UUV实时避障规划网络具体结构分为:输入层、隐藏层和输出层,其中输入层由81个单元组成,输入层前80个单元对应80维声纳探测信息,输入层第81个单元对应UUV当前位置与目标点之间的夹角隐藏层由卷积层、池化层和全连接层组成;输出层由两个单元组成,分别对应期望的UUV转艏及航速;输入层与隐藏层通过卷积操作连接,隐藏层与输出层间的连接方式为全连接。
4.根据权利要求1所述的一种基于改进RNN的UUV实时避障规划方法,其特征在于,基于改进RNN避障规划网络的前向传播过程表述为:
ht=tanh(WLat,L-1+bL+Uht-1)
ot=Vht+c
其中,at,l为t时刻第l层的输出向量,b,c为偏置,W,U,V为权重矩阵,tanh为正切函数,ReLU为线性整形单元,pool为池化操作,o为输出向量,为网络输出,L为网络层数。
5.根据权利要求1所述的一种基于改进RNN的UUV实时避障规划方法,其特征在于,基于改进RNN避障规划网络的反向传播过程表述为:
误差函数定义为:其中y为网络期望输出;
c和V的梯度为:
定义第L层在t时刻的误差项为:
WL、U及bL的梯度为:
对于l=L-1到2,误差项为:
Wl和bl的梯度为:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910033349.8A CN109765929B (zh) | 2019-01-14 | 2019-01-14 | 一种基于改进rnn的uuv实时避障规划方法 |
CA3067575A CA3067575A1 (en) | 2019-01-14 | 2020-01-13 | Self-learning autonomous navigation systems and methods for unmanned underwater vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910033349.8A CN109765929B (zh) | 2019-01-14 | 2019-01-14 | 一种基于改进rnn的uuv实时避障规划方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109765929A true CN109765929A (zh) | 2019-05-17 |
CN109765929B CN109765929B (zh) | 2022-04-05 |
Family
ID=66452927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910033349.8A Active CN109765929B (zh) | 2019-01-14 | 2019-01-14 | 一种基于改进rnn的uuv实时避障规划方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109765929B (zh) |
CA (1) | CA3067575A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114492030A (zh) * | 2022-01-25 | 2022-05-13 | 哈尔滨工业大学 | 基于实测数据回放的水下无人机导航算法调试*** |
CN117008464A (zh) * | 2023-10-07 | 2023-11-07 | 广东海洋大学 | 一种基于姿态控制的无人船导航方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111947651B (zh) * | 2020-07-17 | 2022-06-21 | 中国人民解放军海军工程大学 | 水下组合导航信息融合方法、***及自主式水下航行器 |
CN112904890B (zh) * | 2021-01-15 | 2023-06-30 | 北京国网富达科技发展有限责任公司 | 一种电力线路的无人机自动巡检***及方法 |
CN113220001B (zh) * | 2021-05-13 | 2022-11-25 | 青岛理工大学 | 一种潜航器及潜航器的实时避障方法 |
CN114063624A (zh) * | 2021-10-22 | 2022-02-18 | 中国船舶重工集团公司第七一九研究所 | 一种爬游无人潜水器多模式规划运动控制器及其控制方法 |
CN114545471A (zh) * | 2022-02-16 | 2022-05-27 | 武汉元生创新科技有限公司 | 一种用于水下导航的智能线缆定位***及方法 |
CN115096307B (zh) * | 2022-04-28 | 2024-05-14 | 河海大学 | 一种匹配导航***概率函数自主***与融合滤波方法 |
CN114839884B (zh) * | 2022-07-05 | 2022-09-30 | 山东大学 | 一种基于深度强化学习的水下航行器底层控制方法及*** |
CN115494733A (zh) * | 2022-10-27 | 2022-12-20 | 南方电网调峰调频发电有限公司储能科研院 | 一种基于gazebo的水下机器人自适应控制方法 |
CN116047886B (zh) * | 2022-12-16 | 2024-02-20 | 南京安透可智能***有限公司 | 一种基于神经网络的管道潜航机器人控制方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050119791A1 (en) * | 2002-10-11 | 2005-06-02 | Fujitsu Limited | Robot control algorithm constructing apparatus, robot control algorithm constructing program storage medium, robot controller, robot control program storage medium, and robot |
CN108279692A (zh) * | 2018-01-17 | 2018-07-13 | 哈尔滨工程大学 | 一种基于lstm-rnn的uuv动态规划方法 |
CN108319293A (zh) * | 2018-01-17 | 2018-07-24 | 哈尔滨工程大学 | 一种基于lstm网络的uuv实时避碰规划方法 |
CN108334677A (zh) * | 2018-01-17 | 2018-07-27 | 哈尔滨工程大学 | 一种基于gru网络的uuv实时避碰规划方法 |
CN108459614A (zh) * | 2018-01-17 | 2018-08-28 | 哈尔滨工程大学 | 一种基于cw-rnn网络的uuv实时避碰规划方法 |
-
2019
- 2019-01-14 CN CN201910033349.8A patent/CN109765929B/zh active Active
-
2020
- 2020-01-13 CA CA3067575A patent/CA3067575A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050119791A1 (en) * | 2002-10-11 | 2005-06-02 | Fujitsu Limited | Robot control algorithm constructing apparatus, robot control algorithm constructing program storage medium, robot controller, robot control program storage medium, and robot |
CN108279692A (zh) * | 2018-01-17 | 2018-07-13 | 哈尔滨工程大学 | 一种基于lstm-rnn的uuv动态规划方法 |
CN108319293A (zh) * | 2018-01-17 | 2018-07-24 | 哈尔滨工程大学 | 一种基于lstm网络的uuv实时避碰规划方法 |
CN108334677A (zh) * | 2018-01-17 | 2018-07-27 | 哈尔滨工程大学 | 一种基于gru网络的uuv实时避碰规划方法 |
CN108459614A (zh) * | 2018-01-17 | 2018-08-28 | 哈尔滨工程大学 | 一种基于cw-rnn网络的uuv实时避碰规划方法 |
Non-Patent Citations (1)
Title |
---|
丁进超 等: "基于双向长短期记忆网络的车牌识别算法", 《电子测量与仪器学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114492030A (zh) * | 2022-01-25 | 2022-05-13 | 哈尔滨工业大学 | 基于实测数据回放的水下无人机导航算法调试*** |
CN117008464A (zh) * | 2023-10-07 | 2023-11-07 | 广东海洋大学 | 一种基于姿态控制的无人船导航方法 |
CN117008464B (zh) * | 2023-10-07 | 2023-12-15 | 广东海洋大学 | 一种基于姿态控制的无人船导航方法 |
Also Published As
Publication number | Publication date |
---|---|
CA3067575A1 (en) | 2020-07-14 |
CN109765929B (zh) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109765929A (zh) | 一种基于改进rnn的uuv实时避障规划方法 | |
CN110333739B (zh) | 一种基于强化学习的auv行为规划及动作控制方法 | |
Chen et al. | A knowledge-free path planning approach for smart ships based on reinforcement learning | |
CA3067573A1 (en) | Target tracking systems and methods for uuv | |
Sun et al. | Mapless motion planning system for an autonomous underwater vehicle using policy gradient-based deep reinforcement learning | |
Shuai et al. | An efficient neural-network based approach to automatic ship docking | |
CN108319293A (zh) | 一种基于lstm网络的uuv实时避碰规划方法 | |
CN108803313A (zh) | 一种基于海流预测模型的路径规划方法 | |
CN108334677B (zh) | 一种基于gru网络的uuv实时避碰规划方法 | |
CN109241552A (zh) | 一种基于多约束目标的水下机器人运动规划方法 | |
CN109784201B (zh) | 基于四维风险评估的auv动态避障方法 | |
Wang et al. | Cooperative collision avoidance for unmanned surface vehicles based on improved genetic algorithm | |
CN106444359A (zh) | 一种喷水推进无人艇自主区域保持的仿人智能控制方法 | |
Lan et al. | Path planning for underwater gliders in time-varying ocean current using deep reinforcement learning | |
Wu et al. | End-to-end sensorimotor control problems of auvs with deep reinforcement learning | |
CN115903800A (zh) | 一种基于领导者协同的多无人船编队的严格安全控制方法 | |
CN115167404A (zh) | 一种基于迁移强化学习的海上自主水面船舶避碰决策方法 | |
CN116360434A (zh) | 基于改进的csac-apf算法的船舶路径规划方法 | |
CN113934159A (zh) | 一种无人船可靠性测试环境模型构建方法 | |
Chen et al. | Controlling a cargo ship without human experience using deep Q-network | |
CN116774712A (zh) | 一种欠驱动auv三维环境下的实时动态避障方法 | |
CN108459614B (zh) | 一种基于cw-rnn网络的uuv实时避碰规划方法 | |
CN116468156A (zh) | 一种基于数理方程-数据驱动融合的智能船舶操纵运动预报方法 | |
Ma et al. | Cooperative towing for double unmanned surface vehicles connected with a floating rope via vertical formation and adaptive moment control | |
Wu et al. | Deliberative collision avoidance for unmanned surface vehicle based on the directional weight |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |