CN114528638A

CN114528638A - 基于强化学习的船舶运动大多步实时预测混合方法及***

Info

Publication number: CN114528638A
Application number: CN202210089496.9A
Authority: CN
Inventors: 陈泽宗; 魏鋆宇; 赵晨; 涂远辉
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2022-01-25
Filing date: 2022-01-25
Publication date: 2022-05-24

Abstract

本发明提供一种基于强化学习的船舶运动大多步实时预测混合方法及***，包括由船舶上安装的姿态传感器获取原始船舶运动数据，划分为训练数据集和预测数据集，进行实时小波包分解RTWPD，将船舶运动数据的高频分量和低频分量分解为固定层数的子序列；对分解得到的每个子序列建立ORELM基础预测模型，并引入AdaBoost.MRT强化学习方式，不断迭代训练，将多个训练好的ORELM模型组合在一起；最后将子序列的预测结果重构得到模型大多步初始预测结果，对大多步预测误差建立LSSVM误差修正模型，进一步提取包含在大多步误差序列中少部分船舶运动数据的变化规律，修正得到最终的船舶运动大多步预测结果并输出。本发明提高了船舶运动姿态大多步预测的稳定性与准确性。

Description

基于强化学习的船舶运动大多步实时预测混合方法及***

技术领域

本发明涉及船舶运动姿态预测方法，尤其涉及一种基于实时分解、强化学习和误差修正的船舶姿态大多步预测方案。

背景技术

船舶在海上作业过程中，会产生横摇、横荡、纵摇、纵荡、升沉、艏摇六自由度运动，其中，横摇、纵摇对海上作业安全与船舶运行性能的影响最大。如果能够提前10～30秒预测船舶横摇、纵摇的变化，相应的船员和船舶作业***就能提前做出合理的决策，提高船舶在海上航行的稳定性和可靠性，同时提高海上作业的安全性和工作效率。不仅如此，实时的船舶姿态预测模型可以为获取摇晃信息提供可靠的指导，从而更大程度地减小横摇、纵摇对船舶造成的负面影响。因此，建立准确的船舶姿态大多步实时预测模型具有重要意义。

为了实现船舶姿态多步实时预测模型，许多学者进行了大量的研究。随着计算机时代的到来，神经网络能够较好的拟合船舶姿态的非线性映射，在船舶姿态多步实时预测中有良好的表现。由于船舶姿态数据映射关系的复杂性，短期实时预测(10～30秒)比极短期实时预测(10秒以内)更加困难和复杂。单一模型预测性能略显不足。为了更好的实时预测大多步船舶姿态，结合分解技术、集成技术等的混合模型得到了广泛的应用。其中，强预测器比基本预测器更能学***稳、波动大和高随机等特性，导致预测模型很难完整的学习船舶姿态变化规律，少部分规律信息隐含在预测误差中，所以误差修正模型也被广泛应用于大多步时间序列混合预测模型中。因此，本发明希望能够提高神经网络模型的预测能力，实现对船舶运动数据高精度的大多步实时预测。

发明内容

本发明的目的是针对目前船舶运动姿态预测精度较低的问题，提供一种基于实时分解、强化学习和误差修正的船舶姿态大多步预测方案。

本发明提供的一种基于强化学习的船舶运动大多步实时预测混合方法，包括如下步骤：

与现有技术相比，本发明具有以下优点和有益效果：

1.对训练数据集和预测数据集分别进行WPD实时分解，将船舶运动数据高低频分量分解为固定层数的子序列，提升了模型学习子序列变化规律和船舶姿态的映射关系的能力；

2.建立多输入多输出策略的ORELM基础预测模型，避免了多步预测的误差累计。并引入AdaBoost.MRT算法，克服了ORELM模型预测结果不稳定的问题，同时增强了单个ORELM在大多步预测中对船舶姿态序列的学习能力；

3.对大多步预测误差建立LSSVM误差修正模型，误差修正模型能够进一步提取包含在大多步误差序列中少部分船舶运动数据的变化规律，实现对船舶运动数据更加完整的学习和大多步预测。

附图说明

图1是本发明实施例所提预测模型完整结构图。

具体实施方式

下面将结合实施例和附图，对本发明的技术方案进行清楚、完整地描述。

参见图1，本发明实施例基于实时分解、强化学习和误差修正，提供的船舶姿态大多步预测方法的步骤如下：

步骤1：由船舶上安装的姿态传感器获取原始船舶运动数据，将原始船舶运动数据划分为训练数据集和预测数据集；

数据集的70％作为训练集，用于训练初始ORELM模型以及AdaBoost.MRT算法强化ORELM；30％作为预测集，预测数据集再划分为验证集和测试集，验证集和测试集各占15％，验证集预测误差用于建立误差修正模型；测试集用于验证所提模型的预测性能。实施例中数据集总长度为1800秒。

步骤2：单独对步骤1)划分好的训练数据集和预测数据集进行实时小波包分解(RTWPD)，将船舶运动数据的高频分量和低频分量分解为固定层数的子序列，优选地，所述高频分量子序列固定层数为4，低频分量子序列固定层数为4；这样，其中低频分量的每个子序列的波动性更小，高频分量变化规律之间的映射关系更易被后续强化后的模型学习；

本发明提出的实时小波包分解(RTWPD)方法，是在现有小波包分解(WPD)技术基础上的改进：首先对原始数据进行划分数据集，所述划分过程包括训练集，验证集，测试集；其中，对训练集进行小波包分解(WPD)；而当姿态传感器获取新数据时，即为验证集，再对验证集进行小波包分解，分解后的子序列送入训练完成的各预测模型；重复上述操作，即可完成实时小波包分解(RTWPD)。

实施例中，实时小波包分解RTWPD的分解步骤如下：

Step 1：设置分解等级设置为3，小波基函数选择db10；构建2³个小波包子空间，并构造对应的高通滤波器组和低通滤波器组，具体表示如下：

其中，h(k)和g(k)分别为平移参数为k的高通滤波器组和低通滤波器组，k为平移参数；

表示t时刻的尺度函数，θ(t)表示t时刻的小波变换函数，

表示

和

的内积运算，<θ(t),θ(2t-k)>表示θ(t)和θ(2t-k)的内积运算。

Step 2：RTWPD将船舶运动序列训练部分S(t)映射到上述子空间中，得到子序列S(3,0)、S(3,1)、S(3,2)、S(3,3)、S(3,4)、S(3,5)、S(3,6)、S(3,7)，每个子序列的长度都为1260秒，具体分解算法如下：

其中，i为分解层，i∈{3,2,1,0}；j为频率参数，j∈{6,4,2,0}，W_k(i,j)表示在第i个分解层，第j个分解频带，平移参数为k的小波系数；

Step 3：获取新的数据，更新训练部分S(t)，重复Step 1-2，直到1800秒的数据全部获得。

现有一次分解技术，包括WPD，在实际情况中无法获取未来数据，存在数据泄漏，而本发明提出的实时小波包分解可不断更新未来数据，训练时仅使用已知数据，符合船舶预测实际应用。

步骤3：对步骤2)分解得到的每个子序列建立离群点鲁棒极限学习机(ORELM)基础预测模型，并引入AdaBoost.MRT强化学习算法，通过不断迭代训练ORELM，将多个训练好初始权值和偏置的ORELM模型组合在一起，得到强化后的ORELM模型，克服了原始的基础ORELM模型预测结果不稳定的问题，同时增强了单个ORELM在大多步预测中对船舶姿态序列的学习能力；

为便于实施参考起见，以下介绍ORELM预测模型原理：

ORELM在极限学习机(ELM)的基础上，采用l1范数与ELM模型相结合，以减少异常值的干扰，通过引入调节参数C，权衡训练误差与输出权重，以此提高ORELM模型的泛化性能以及对异常值的鲁棒性。

ORELM的损失函数如下式所示：

s.t Y-Hβ＝e

其中，Y为目标矩阵，H为输出矩阵，β为输出权重，e为训练误差，||·||₀为l0范数，||·||₁为l1范数，

为l2范数，λ为拉格朗日乘子，μ是误差函数，L(e,β,λ)是增广拉格朗日函数。在增广拉格朗日乘子中，通过重复最小化完整拉格朗日函数过程，对变量e、β和λ进行最优估计。综上，增广拉格朗日乘子变为以下形式：

其中，τ为迭代次数，β_τ为迭代第τ次的输出权重，e_τ为迭代第τ次的训练误差，λ_τ为迭代第τ次的拉格朗日乘子，

表示当L(e_τ,β,λ_τ)达到最小时β的取值，

表示当L(e,β_τ+1,λ_τ)达到最小时e的取值，β_τ+1为迭代第τ+1次的输出权重，e_τ+1为迭代第τ+1次的训练误差，λ_τ+1为迭代第τ+1次的拉格朗日乘子。

在确定好训练样本(x₁,y₁),(x₂,y₂),...,(x_N,y_N)，其中x₁,x₂,...,x_N表示输入变量，y₁,y₂,...,y_N表示输出变量，调节参数C后，本发明提出的ORELM-AdaBoost.MRT算法(即AdaBoost.MRT强化学习算法)步骤如下：

Step 1：随机生成隐含层参数(w_i,b_i),i＝1,2,...,L，w_i为第i个神经元数的隐含层权重值，b为第i个神经元数的隐含层偏置值，i表示隐含层神经元数；L为隐含层神经元总数；并初始化最大迭代次数M、阈值参数

和训练集每个样本的权重

D_m(j)为第m次迭代中第j个样本权重N为训练样本总数，m表示迭代次数，令m＝1；将训练样本(x₁,y₁),(x₂,y₂),...,(x_N,y_N)按照权重D_m分布，得到训练样本

x^m表示第m次迭代的输入变量，y^m表示第m次迭代的输出变量；

本步骤是本发明提出的改进，可以使得每个训练样本都按照最佳预测结果的权重进行集成，所述最佳预测结果优于未按照权重分布集成的预测结果。

Step 2：ORELM基于第m次迭代的训练样本

计算第m次迭代的输出权重β^m，训练误差e^m，拉格朗日乘子λ^m；得到第m次迭代的预测模型f_m(g)，并将训练样本数如代入预测模型f_m(g)，得到预测输出

Step 3：将预测输出

与样本输出y^m相减，得到第m次迭代的预测误差error_m(j)，error_m(j)表示第m次迭代第j个样本的预测误差值，并与阈值

进行比较，将所有大于阈值

的误差error_m(j)，其对应的权重进行相加，记为ε_m，计算如下：

其中，ε_m为第m次迭代所有大于阈值

的误差error_m(j)，其对应的权重进行相加的结果；

本步骤是本发明提出的改进，因为所得样本的预测误差值还存在可预测信息，可以进一步修正预测结果。

Step 4：根据预测误差error_m(j)，更新权重D_m(j)，计算如下：

其中，Z_m是权重的归一化因子；D_m(j)表示在i时刻的第m次迭代权重，D_m+1(j)为第m+1次迭代的权重；

Step5：令m＝m+1，重复Step2～Step5，直到达到最大迭代次数M，输出M个ORELM-AdaBoost.MRT预测模型，完成建模。

步骤4：最后将子序列的预测结果重构得到模型大多步初始预测结果

大多步初始预测结果与实际结果Y(t),t＝1261,1262,...,1800相减得到大多步预测误差res(t),t＝1261,1262,...,1800；对大多步预测误差res(t)建立最小二乘支持向量机(LSSVM)误差修正模型，误差修正模型能够进一步提取包含在大多步误差序列res(t)中少部分船舶运动数据的变化规律，进而对大多步初始预测结果

进行修正。

LSSVM是支持向量机(SVM)的变体，以缺失SVM中的稀疏性特征为代价，引入最小二乘函数和等式化约束，避免了SVM中二次规划的问题。LSSVM将非线性二次优化问题变成线性问题求解，在不影响预测精度的前提下，降低了SVM算法复杂度，大大提升了模型计算速度，对船舶运动实时预测模型误差序列的估计有一定帮助。

采用LSSVM建立误差修正模型具体步骤如下：

Step 1：LSSVM通过非线性映射将预测误差数据映射到高维空间，从而将非线性回归问题转化为线性回归问题。回归方程表示如下：

其中，x_res(i)表示在i时刻的预测误差输入，res表示预测误差，y(x_res)为预测误差的拟合输出，

为预测误差的高维非线性映射，ω表示权值向量，b表示偏差向量，T表示转置。

Step 2：将LSSVM回归方程的求解可以转化为以下优化问题：

s.t

其中，J(ω,e)为权值向量ω和回归误差e_i有关的目标函数，e_i表示在i时刻的回归误差，C'是惩罚参数，l为样本对的总数，

是约束条件。

Step 3：利用结构风险最小化法，给出目标函数和约束条件的拉格朗日函数为：

其中，L(ω,b,e,α)是与权值向量ω、偏置向量b、回归误差e以及拉格朗日乘子α有关的拉格朗日函数，α为拉格朗日乘子。

Step 4：通过对上述变量求偏导，可以得到上述拉格朗日函数的解。得到LSSVM的回归方程如下：

其中，

为误差的预测值，K(x_res(i),x_res)为核函数，x_res(i)表示第i个样本对的误差输入，x_res表示全部的误差输入。

Step 5：对大多步初始预测结果

进行修正，得到最终的船舶运动大多步预测结果并输出，所述大多步最终预测结果包括10步预测、20步预测和30步预测，所述模型的最终预测结果由表1所示，通过相应误差可知，该模型在实际应用中是可行的和稳定的，并可以为海上作业提供实时的可靠指导。

其中，

是为最终预测结果，

为时刻t的误差预测值。

本步骤是本发明提出的改进，所述对应权重相加后，即完成误差修正过程。

为了便于理解本发明的技术效果，提供实施例的相应分析结果如下：

表1

	平均绝对误差(度)	平均绝对百分比误差(％)	均方根误差(度)
				10步预测	0.1605	36.02	0.2021
20步预测	0.1638	38.14	0.2043
				30步预测	01658	42.64	0.2095

具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的***装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。

在一些可能的实施例中，提供一种基于强化学习的船舶运动大多步实时预测混合***，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于强化学习的船舶运动大多步实时预测混合方法。

在一些可能的实施例中，提供一种基于强化学习的船舶运动大多步实时预测混合***，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于强化学习的船舶运动大多步实时预测混合方法。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种基于强化学习的船舶运动大多步实时预测混合方法，其特征在于，包括如下步骤：

1)由船舶上安装的姿态传感器获取原始船舶运动数据，将原始船舶运动数据划分为训练数据集和预测数据集；

2)单独对步骤1)划分好的训练数据集和预测数据集进行实时小波包分解RTWPD，将船舶运动数据的高频分量和低频分量分解为固定层数的子序列，其中，低频分量的每个子序列的波动性更小，高频分量变化规律之间的映射关系更易被模型学习；

3)对步骤2)分解得到的每个子序列建立ORELM基础预测模型，并引入AdaBoost.MRT强化学习方式，通过不断迭代训练ORELM，将多个训练好初始权值和偏置的ORELM模型组合在一起，避免ORELM模型预测结果不稳定，同时增强单个ORELM在大多步预测中对船舶姿态序列的学习能力；

4)最后将子序列的预测结果重构得到模型大多步初始预测结果，大多步初始预测结果与实际结果相减得到大多步预测误差，对大多步预测误差建立LSSVM误差修正模型，通过误差修正模型进一步提取包含在大多步误差序列中少部分船舶运动数据的变化规律，进而对大多步初始预测结果进行修正，得到最终的船舶运动大多步预测结果并输出。

2.根据权利要求1所述的一种基于强化学习的船舶运动大多步实时预测混合方法，其特征在于：步骤1)中，训练数据集用于训练初始ORELM模型以及AdaBoost.MRT算法强化ORELM；预测数据集再划分为验证集和测试集，验证集预测误差用于建立误差修正模型，测试集用于验证所提模型的预测性能。

3.根据权利要求1所述的一种基于强化学习的船舶运动大多步实时预测混合方法，其特征在于：步骤2)中，船舶运动序列训练部分使用3层WPD分解结构，

通过小波包分解WPD将船舶运动序列训练部分S(t)映射到2³个小波包子空间中，分别为S(3,0)、S(3,1)、S(3,2)、S(3,3)、S(3,4)、S(3,5)、S(3,6)、S(3,7)，分解实现如下：

其中，i为尺度参数，i∈{3,2,1,0}；j为频率参数，j∈{6,4,2,0}；W_k(i,j)表示在第i个分解层，第j个分解频带，平移参数为k的小波系数；和为平移参数；表示在第个分解层，第个分解频带的小波系数；

h(k)和g(k)分别为平移参数为k的高通滤波器组和低通滤波器组和分别为小波包分解的高通滤波器组和低通滤波器组。

4.根据权利要求1所述的一种基于强化学习的船舶运动大多步实时预测混合方法，其特征在于：步骤2)中，所述高频分量子序列固定层数为4，低频分量子序列固定层数为4。

5.根据权利要求1所述的一种基于强化学习的船舶运动大多步实时预测混合方法，其特征在于：步骤3)中，使用AdaBoost.MRT方式强化ORELM模型，包括对一系列弱预测器ORELM进行顺序训练，在每次迭代中根据上一个弱预测器的预测性能动态地改变训练数据集的分布，给予预测误差大的样本更多的权值，使得下一个弱预测器能更专注于训练效果不好的样本。

6.根据权利要求1或2或3或4或5所述的一种基于强化学习的船舶运动大多步实时预测混合方法，其特征在于：步骤4)中，基于LSSVM误差修正模型，提取误差预测值，用于对大多步初始预测结果进行修正。

7.一种基于强化学习的船舶运动大多步实时预测混合***，其特征在于：用于实现如权利要求1-6任一项所述的一种基于强化学习的船舶运动大多步实时预测混合方法。

8.根据权利要求7所述基于强化学习的船舶运动大多步实时预测混合***，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-6任一项所述的一种基于强化学习的船舶运动大多步实时预测混合方法。