CN103645635A - 一种基于模拟退火-强化学习算法的船舶运动控制器 - Google Patents
一种基于模拟退火-强化学习算法的船舶运动控制器 Download PDFInfo
- Publication number
- CN103645635A CN103645635A CN201310594889.6A CN201310594889A CN103645635A CN 103645635 A CN103645635 A CN 103645635A CN 201310594889 A CN201310594889 A CN 201310594889A CN 103645635 A CN103645635 A CN 103645635A
- Authority
- CN
- China
- Prior art keywords
- simulated annealing
- neural network
- ship motion
- algorithm
- intensified learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Feedback Control In General (AREA)
Abstract
本发明针对船舶运动控制与航行的安全性、可操纵性和经济性,基于模拟退火-强化学习算法提出一种混合智能控制器,应用于船舶运动航向控制中。这种混合智能控制器发挥了各种智能算法的优势,能够克服风、浪、流等外界的干扰,船舶操纵自身的不确定性,以及干扰或仪器测量误差情况下,精确的训练数据不容易得到的缺陷。
Description
本发明针对船舶运动控制与航行的安全性、可操纵性和经济性,基于模拟退火-强化学习算法提出一种混合智能控制器,应用于船舶运动航向控制中。这种混合智能控制器发挥了各种智能算法的优势,能够克服风、浪、流等外界的干扰,船舶操纵自身的不确定性,以及干扰或仪器测量误差情况下,精确的训练数据不容易得到的缺陷。
为解决上述技术问题,本发明的技术方案是:
由于模糊逻辑的知识表达和推理能力,以及神经网络的知识获取、学习及适应、非线性映射与容错能力,模糊神经网络在许多领域得到了广泛的应用。本发明选用了一种ANFIS 类型的模糊神经网络。
模拟退火(Simulated Annealing, SA)是近年来提出的一种适合解大规模组合优化问题的有效优化算法,是一种模仿金属退火物理过程的优化算法。SA 具有描述简单、使用灵活、运用广泛、运行效率高和较少受初始条件限制等优点,而且特别适合并行计算,具有较高的实用价值。本文采用模拟退火法来对模糊神经网络进行在线学习。但这种在线学习的算法,需要提供准确的训练数据。在存在干扰或仪器测量误差情况下(在测量仪表部分故障情况下,测量误差甚至可达到被测量相同量级),精确的训练数据是不容易得到的。在这种情况下,强化学习算法显示出其独特的优势。强化学习只需具有非常简单的“可估计的”或“临界的”信息,在极端情况下,只要单个位的信息以表明输出是正确还是错误的即可,这一点在精确数据不易得到的船舶运动控制中是很有意义的。利用强化学习对控制器参数进行在线调整,只需对当前控制效果提供诸如好、一般、差等模糊信息,既可以满足控制的实时性要求,又可以在一定程度上改善船舶控制效果。
本发明提出的基于模拟退火-强化学习算法的混合智能控制器的控制结构框图如图 1 所示。图 1 中,评价网络为一个普通的五输入单输出的三层前向神经网络,动作网络为一个双输入单输出的 ANFIS 类型的模糊神经网络,其结构框图如图 2 所示。动作网络根据每时刻输入计算出一个计算舵
角,加上通过评价网络算出的强化信号得到的舵角修正值,就得到实际舵角。
整个控制***实际上存在了两个闭环,一个闭环是:动作网络 →δr→ 船舶→ ψ, γ→动作网络;另一个闭环是:评价网络 → Δδ →船舶→ r →评价网络。评价网络既是δr →r的动态预报器,同时也是一种附加反馈控制器。
1 强化信号
所谓强化学习就是智能***从环境到行为映射的学习,以使奖励信号(强化信号)函数值最大。本文采用的强化学习算法为自适应启发评价算法。
强化信号通常有 3 种表达方式: 二值,离散多值,连续值。二值只能以-1和0简单的描述成功或失败;离散多值,通常取某个区间,如[−1,1]内的多个离散值,这样可以通过多个值更详细,准确的描述成功或失败的程度;连续值,通常是可以在某个连续区间如 [−1,1]内连续变化,这样就比离散多值更加详细,准确描述成败的程度,通常数值越大,效果越好。
2 评价网络
评价网络的作用主要有两个:第一,计算出预测强化信号p(t),从而得出对动作网络的输出δ(t)的矫正量,最终影响作用于船舶的舵令;第二,根据预测强化信号p(t)与实际强化信号r(t),通过BP算法修正评价网络的权值。预测强化信号p(t)是根据t时刻***的输入信息对t+1时刻船舶可能的运行状态的预估,这样就可以使动作网络的输出δ(t)提前进行修正,从而改善船舶航行的控制效果。
3 动作网络
动作网络为一个双输入单输出的ANFIS类型的模糊神经网络,采用模拟退火法进行参数修正,使现在***的状态映射为输出舵角δ控制船舶运行,网络结构如图2所示。ANFIS 的后件参数 p, q, γ,i=1,2,…,9,初始化时取为0到1之间的随机数,在闭环***的仿真运行中进行实时模拟退火优化。
4 模拟退火算法
模拟退火算法是近年来提出的一种适合解大规模组合优化问题的有效优化算法,是一种模仿金属退火物理过程的优化算法,不但可用于解大型组合优化问题,而且可用于求解连续非线性优化问题。具有描述简单、使用灵活、运用广泛、运行效率高和较少受初始条件限制等优点,而且特别适合并行计算,具有较高的实用价值。本发明采用的是改进的SA算法。
模拟退火算法程序的伪代码如下:
Simulated
Annealing
Initial (θ0 , t0,L0);
While
(StopCircle)
{for l =1 to
LK
{Generate(Qj,fromSi);
if J
(Qj)≤ J(Qi) then Qi=Q j;
else if
exp(tkJ(Qj)J(Q i)≥random(0,1);
then Q= Q;
}
k = k+1;
Length (Lk);
Control(tk);
}
与现有技术相比,本发明的有益效果是:
1)、本发明的控制器经过仿真验证表明,当存在风浪干扰海况下,船舶航向的控制仍能取得令人满意的效果。
2)、该控制器不需要有大量准确样本数据,又能满足控制的实时性要求,能够在一定程度上改善控制效果。
3)、模拟退火是近年来提出的一种适合解大规模组合优化问题的有效优化算法;强化学习只需具有非常简单的“可估计的”或“临界的”信息,在极端情况下,只要单个位的信息以表明输出是正确还是错误的即可,这符合人类或其它生物的学习过程,与智能控制的宗旨是一致的,对控制问题的
适用范围也较其它方法更广泛。
Claims (1)
1.一种基于模拟退火-强化学习算法的船舶运动控制器包含以下几个部分:
由于模糊逻辑的知识表达和推理能力,以及神经网络的知识获取、学习及适应、非线性映射与容错能力,模糊神经网络在许多领域得到了广泛的应用;本发明选用了一种ANFIS 类型的模糊神经网络;模拟退火(Simulated
Annealing, SA)是近年来提出的一种适合解大规模组合优化问题的有效优化算法,是一种模仿金属退火物理过程的优化算法;SA 具有描述简单、使用灵活、运用广泛、运行效率高和较少受初始条件限制等优点,而且特别适合并行计算,具有较高的实用价值;本文采用模拟退火法来对模糊神经网络进行在线学习;但这种在线学习的算法,需要提供准确的训练数据;在存在干扰或仪器测量误差情况下(在测量仪表部分故障情况下,测量误差甚至可达到被测量相同量级),精确的训练数据是不容易得到的;在这种情况下,强化学习算法显示出其独特的优势;强化学习只需具有非常简单的“可估计的”或“临界的”信息,在极端情况下,只要单个位的信息以表明输出是正确还是错误的即可,这一点在精确数据不易得到的船舶运动控制中是很有意义的;利用强化学习对控制器参数进行在线调整,只需对当前控制效果提供诸如好、一般、差等模糊信息,既可以满足控制的实时性要求,又可以在一定程度上改善船舶控制效果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310594889.6A CN103645635A (zh) | 2013-11-25 | 2013-11-25 | 一种基于模拟退火-强化学习算法的船舶运动控制器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310594889.6A CN103645635A (zh) | 2013-11-25 | 2013-11-25 | 一种基于模拟退火-强化学习算法的船舶运动控制器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103645635A true CN103645635A (zh) | 2014-03-19 |
Family
ID=50250867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310594889.6A Pending CN103645635A (zh) | 2013-11-25 | 2013-11-25 | 一种基于模拟退火-强化学习算法的船舶运动控制器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103645635A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108181900A (zh) * | 2017-12-26 | 2018-06-19 | 华南理工大学 | 一种基于增强学习智能算法的航海船舶运动控制方法 |
CN109240280A (zh) * | 2018-07-05 | 2019-01-18 | 上海交通大学 | 基于强化学习的锚泊辅助动力定位***控制方法 |
CN110333726A (zh) * | 2019-07-29 | 2019-10-15 | 武汉理工大学 | 一种基于船舶运动预测的船舶安全辅助驾驶*** |
CN111045325A (zh) * | 2018-10-11 | 2020-04-21 | 富士通株式会社 | 优化装置及优化装置的控制方法 |
CN113467250A (zh) * | 2021-07-27 | 2021-10-01 | 浙江中裕通信技术有限公司 | 基于北斗导航和数据驱动的船舶航向及其区域估计方法 |
US11449016B2 (en) | 2017-12-22 | 2022-09-20 | Huawei Technologies Co., Ltd. | Action control method and apparatus |
US11893457B2 (en) | 2020-01-15 | 2024-02-06 | International Business Machines Corporation | Integrating simulated and real-world data to improve machine learning models |
-
2013
- 2013-11-25 CN CN201310594889.6A patent/CN103645635A/zh active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11449016B2 (en) | 2017-12-22 | 2022-09-20 | Huawei Technologies Co., Ltd. | Action control method and apparatus |
CN108181900A (zh) * | 2017-12-26 | 2018-06-19 | 华南理工大学 | 一种基于增强学习智能算法的航海船舶运动控制方法 |
CN109240280A (zh) * | 2018-07-05 | 2019-01-18 | 上海交通大学 | 基于强化学习的锚泊辅助动力定位***控制方法 |
CN109240280B (zh) * | 2018-07-05 | 2021-09-07 | 上海交通大学 | 基于强化学习的锚泊辅助动力定位***控制方法 |
CN111045325A (zh) * | 2018-10-11 | 2020-04-21 | 富士通株式会社 | 优化装置及优化装置的控制方法 |
CN110333726A (zh) * | 2019-07-29 | 2019-10-15 | 武汉理工大学 | 一种基于船舶运动预测的船舶安全辅助驾驶*** |
US11893457B2 (en) | 2020-01-15 | 2024-02-06 | International Business Machines Corporation | Integrating simulated and real-world data to improve machine learning models |
CN113467250A (zh) * | 2021-07-27 | 2021-10-01 | 浙江中裕通信技术有限公司 | 基于北斗导航和数据驱动的船舶航向及其区域估计方法 |
CN113467250B (zh) * | 2021-07-27 | 2022-01-07 | 浙江中裕通信技术有限公司 | 基于北斗导航和数据驱动的船舶航向及其区域估计方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103645635A (zh) | 一种基于模拟退火-强化学习算法的船舶运动控制器 | |
Yin et al. | Online ship roll motion prediction based on grey sequential extreme learning machine | |
CN101825871B (zh) | 斜舵船舶垂荡和纵摇装置智能自适应控制方法 | |
CN108682023A (zh) | 基于Elman神经网络的紧耦合无迹卡尔曼跟踪滤波算法 | |
CN107179693A (zh) | 基于Huber估计的鲁棒自适应滤波和状态估计方法 | |
CN105981025A (zh) | 基于序列递归滤波三维变分的实测海洋环境数据同化方法 | |
CN104765368A (zh) | 一种基于模糊自适应算法的无人艇航向航速协同控制方法 | |
CN107330164B (zh) | 一种三体船纵向运动模型辨识方法 | |
CN108008099A (zh) | 一种污染源定位方法 | |
CN109635318A (zh) | 一种基于keos-elm算法的航空发动机传感器智能解析余度设计方法 | |
CN104142626B (zh) | 一种基于逆***和内模控制的船舶动力定位控制方法 | |
CN105929825B (zh) | 一种基于神经动态模型的船舶动力定位反步控制方法 | |
CN109765906A (zh) | 一种基于复合正交神经网络预测控制的智能船舶循迹方法 | |
Zhang et al. | Model identification of ship turning maneuver and extreme short-term trajectory prediction under the influence of sea currents | |
CN106779135A (zh) | 一种混合动力船舶负载功率预测方法 | |
CN117669062A (zh) | 一种基于lstm网络的船舶操纵运动预报方法及*** | |
Wang et al. | Analysis of roll center compensation method for underwater gliders based on deep learning | |
Yu et al. | Online ship rolling prediction using an improved OS-ELM | |
CN115410419B (zh) | 一种船舶系泊预警方法、***、电子设备及存储介质 | |
CN115755603A (zh) | 船舶运动模型参数智能灰箱辨识方法、船舶运动控制方法 | |
Mu et al. | Time-varying encounter angle trajectory tracking control of unmanned surface vehicle based on wave modeling | |
Li et al. | Neural network application on ship motion prediction | |
Liu et al. | A Prediction Method for Deck Motion of Aircraft Carrier Based on Particle Swarm Optimization and Kernel Extreme Learning Machine. | |
Wang et al. | Design method of USV course-tracker based on simulation and real vessel experiment | |
Bańka et al. | A comparative and experimental study on gradient and genetic optimization algorithms for parameter identification of linear MIMO models of a drilling vessel |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140319 |