CN108181900B - 一种基于增强学习智能算法的航海船舶运动控制方法 - Google Patents
一种基于增强学习智能算法的航海船舶运动控制方法 Download PDFInfo
- Publication number
- CN108181900B CN108181900B CN201711426992.4A CN201711426992A CN108181900B CN 108181900 B CN108181900 B CN 108181900B CN 201711426992 A CN201711426992 A CN 201711426992A CN 108181900 B CN108181900 B CN 108181900B
- Authority
- CN
- China
- Prior art keywords
- ship
- information
- motion control
- current time
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000002787 reinforcement Effects 0.000 title claims description 7
- 230000006870 function Effects 0.000 claims abstract description 18
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 230000007613 environmental effect Effects 0.000 claims abstract description 4
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 230000009471 action Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 5
- 238000005457 optimization Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种基于增强学习智能算法的航海船舶运动控制方法,包括:利用多模态传感器采集船舶的各类重要数据;对获取的数据信息进行滤波及融合处理,得到满足精度要求的各种状态数据,包括:船舶的姿态信息,船舶实际位置、船舶速度、海面风速、洋流速度等;通过评估函数对实际状态数据进行评估,得到当前时刻的奖赏值;通过增强学习智能算法不断的学习,最终得到在不同的环境状态条件下船舶的运动控制规律。本发明船舶运动控制方法,是不依赖于环境模型的一种优化算法,相比较传统的运动控制算法,控制更加灵活,并且可以在使用中持续优化学习。
Description
技术领域
本发明涉及航海航舶领域,具体涉及一种基于增强学习智能算法的航海船舶运动控制方法。
背景技术
随着世界经济贸易的繁荣,船舶在运输过程中起着越来越重要的作用,但是其高能耗也限制着船舶的长距离运输的发展。据测算,航运企业燃油成本占总运营成本的40%左右。一个大的船舶企业一年的燃油费用可达几十甚至上百亿。船舶在航行前要制定航行计划,并随着实时条件变化调整;但影响船舶节能减排的因素多达40多个,关系错综复杂,而对船舶实时的有效的动态控制是其中一项最重要的关键点。
船舶在航行过程中环境变化多端,控制***要处理各种各样的环境外力影响,在此过程中保持运动控制***实时有效的做出控制命令显得很有必要。增强学习是当今人工智能领域研究的热点之一,当外界环境模型复杂难以建立时,该算法依旧可以使得交互式代理学习得到最优的控制规律。
发明内容
为了克服现有技术存在的缺点与不足,本发明提供一种基于增强学习智能算法的航海船舶运动控制方法,使船舶能够在复杂环境下自适应节能航行,并且不依赖于外部环境模型。
本发明采用如下技术方案:
一种基于增强学习智能算法的航海船舶运动控制方法,包括如下步骤:
S1船舶上安装多模态传感器,周期性采集当前t时刻的传感器数据信息;
S2对传感器数据信息,进行滤波及归一化处理,归一化后处理后的环境状态信息为:
S3根据动作-状态值函数Q(St,aθ)得到当前时刻t的运动控制动作at;
S5通过评估函数对t+1时刻状态数据进行评估,得到当前时刻的奖赏值:
Rt+1=f(St+1)
式中,函数f是自定义的评价函数;
S6通过最小化损失函数L(θ)来更新网络参数θ:
其中γ为折扣因子;
S7循环迭代上述步骤,直到网络参数θ达到收敛,即网络参数达到稳定,终止。
所述运动控制动作at:
at=argmaxaQ(St,a|θ)。
本发明的有益效果:
本发明应用于种复杂的航海环境,是一种自主学习的控制***。
附图说明
图1是本发明一种基于增强学习智能算法的航海船舶运动控制方法。
具体实施方式
下面结合实施例及附图,对本发明作进一步地详细说明,但本发明的实施方式不限于此。
实施例
如图1所示,一种基于增强学习智能算法的航海船舶运动控制方法,包括如下步骤:
S1船舶上相应位置安装多模态传感器,周期性的采集船舶及周围行驶环境的数据信息,所述数据信息包括船舶的姿态信息,船舶实际位置、船舶速度、海面风速、洋流速度等。
S2对获取的传感器数据信息进行滤波及融合处理,得到满足精度要求的各种状态数据,归一化处理后的环境状态信息为:
S3根据动作-状态值函数Q(St,aθ)得到当前时刻t的运动控制动作at,其计算公式为:
at=argmaxaQ(St,a|θ);
S5通过评估函数对t+1时刻状态数据进行评估,得到当前时刻的奖赏值:
Rt+1=f(St+1)
式中,函数f是自定义的评价函数,其目的是为了评估当前环境下控制策略的好坏程度。
S6根据S2、S3、S4及S5检测得到的数据信息,通过最小化损失函数L(θ)来更新网络参数θ:
其中γ为折扣因子;
S7通过增强学习智能算法不断的学习动作-状态值函数Q(S,a),通过迭代循环最终得到稳定的动作-状态值函数,则满足条件,终止。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受所述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (2)
1.一种基于增强学习智能算法的航海船舶运动控制方法,其特征在于,包括如下步骤:
S1船舶上安装多模态传感器,周期性采集当前t时刻的传感器数据信息;
S2对传感器数据信息,进行滤波及归一化处理,归一化后处理后的环境状态信息为:
S3根据动作-状态值函数Q(St,a|θ)得到当前时刻t的运动控制动作at;
S5通过评估函数对t+1时刻状态数据进行评估,得到当前时刻的奖赏值:
Rt+1=f(St+1)
式中,函数f是自定义的评价函数;
S6通过最小化损失函数L(θ)来更新网络参数θ:
其中γ为折扣因子;
S7循环迭代上述步骤,直到网络参数θ达到收敛,即网络参数达到稳定,终止。
2.根据权利要求1所述的航海船舶运动控制方法,其特征在于,所述运动控制动作at:
at=arg maxaQ(St,a|θ)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711426992.4A CN108181900B (zh) | 2017-12-26 | 2017-12-26 | 一种基于增强学习智能算法的航海船舶运动控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711426992.4A CN108181900B (zh) | 2017-12-26 | 2017-12-26 | 一种基于增强学习智能算法的航海船舶运动控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108181900A CN108181900A (zh) | 2018-06-19 |
CN108181900B true CN108181900B (zh) | 2020-11-24 |
Family
ID=62547462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711426992.4A Active CN108181900B (zh) | 2017-12-26 | 2017-12-26 | 一种基于增强学习智能算法的航海船舶运动控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108181900B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111618847B (zh) * | 2020-04-22 | 2022-06-21 | 南通大学 | 基于深度强化学习与动态运动基元的机械臂自主抓取方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100489702C (zh) * | 2005-07-07 | 2009-05-20 | 上海交通大学 | 基于模糊自适应算法的船舶动力定位控制*** |
CN103645635A (zh) * | 2013-11-25 | 2014-03-19 | 大连海联自动控制有限公司 | 一种基于模拟退火-强化学习算法的船舶运动控制器 |
DE102015008449A1 (de) * | 2015-06-30 | 2017-01-05 | Audi Ag | Verfahren zum Betrieb einer Start-Stop-Einrichtung eines Kraftfahrzeugs und Kraftfahrzeug |
CN106709640A (zh) * | 2016-12-15 | 2017-05-24 | 华南理工大学 | 基于深度学习与支持向量回归的船舶能耗预测方法 |
CN106657144B (zh) * | 2017-01-20 | 2019-06-28 | 北京理工大学 | 一种基于增强学习的动态保护路径规划方法 |
-
2017
- 2017-12-26 CN CN201711426992.4A patent/CN108181900B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108181900A (zh) | 2018-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106773741A (zh) | 一种无人船动力定位***及方法 | |
Zhang et al. | Improved concise backstepping control of course keeping for ships using nonlinear feedback technique | |
CN109032136B (zh) | 基于主从分布式模型预测控制的欠驱动多无人船编队跟踪方法 | |
CN110070565B (zh) | 一种基于图像叠加的船舶轨迹预测方法 | |
CN113885534B (zh) | 一种基于智能预测控制的水面无人船路径跟踪方法 | |
CN100489702C (zh) | 基于模糊自适应算法的船舶动力定位控制*** | |
CN206639376U (zh) | 一种无人船群自动监测*** | |
CN112650233B (zh) | 无人船轨迹跟踪最优控制方法 | |
CN109784201A (zh) | 基于四维风险评估的auv动态避障方法 | |
CN109782774B (zh) | 一种基于积分法的艏摇响应参数在线辨识方法 | |
CN108181900B (zh) | 一种基于增强学习智能算法的航海船舶运动控制方法 | |
CN111798702B (zh) | 无人艇路径跟踪控制方法、***、存储介质及终端 | |
CN114879671A (zh) | 一种基于强化学习mpc的无人艇轨迹跟踪控制方法 | |
CN112817318A (zh) | 一种多无人艇协同搜索控制方法及*** | |
CN109765906B (zh) | 一种基于复合正交神经网络预测控制的智能船舶循迹方法 | |
CN109828463A (zh) | 一种海流干扰自适应波浪滑翔器艏向控制方法 | |
CN106227221A (zh) | 一种无人艇动态定位控制方法 | |
CN113741433A (zh) | 一种水面无人船的分布式编队方法 | |
CN108764465A (zh) | 一种进行神经网络运算的处理装置 | |
CN109828454B (zh) | 基于海况等级切换的多策略融合auv运动控制方法 | |
CN111813143A (zh) | 一种基于强化学习的水下滑翔机智能控制***及方法 | |
CN115903820A (zh) | 多无人艇追逃博弈控制方法 | |
Jose et al. | Navigating the Ocean with DRL: Path following for marine vessels | |
Bhattacharyya et al. | Target Path Iteration method for trajectory control of ships | |
Williamsz et al. | Senior project design of a two meter autonomous sailboat |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |