CN116310601A - 基于ais轨迹图与相机图组的船只行为分类方法 - Google Patents

Abstract

本申请涉及航海安全技术领域，提供了基于AIS轨迹图与相机图组的船只行为分类方法，所述方法包括：当AIS设备检测到目标船只进入检测范围时，控制摄像头对目标船只进行监控；构建船只监测数据库；基于所述船只监测数据库，进行船只平面图绘制，得到船只平面图；基于所有船只的AIS信息，构建船只AIS轨迹图；将目标船只图片及船只AIS轨迹图输入状态评估模型，获得船只状态评估信息；基于所述船只状态评估信息进行分类，确定船只行为分类。能够解决船只在复杂天气环境下单一依靠周围船只的AIS信息进行碰撞预警判断准确率低的问题，可以提高复杂环境下船只碰撞预警判断的准确率。

Description

基于AIS轨迹图与相机图组的船只行为分类方法

技术领域

本申请涉及航海安全技术领域，具体涉及基于AIS轨迹图与相机图组的船只行为分类方法。

背景技术

船舶自动识别***是一种应用于船和岸、船和船之间的海事安全与通信的助航***，通过获得附近海面所有船舶的静态资讯，迅速进行相互通话协调，采取必要避让行动，从而有效保障船舶航行安全。现有的船只碰撞预判方是基于周围船只的AIS信息来做处理和判断，而忽略了天气、船体大小、能见度等外界因素的影响，尤其是在雾天、雨天或夜间等能见度低的复杂环境下，容易造成碰撞预警判断准确率低的问题，增加了船舶的航行风险。

综上所述，现有技术中存在船只在复杂天气环境下单一依靠周围船只的AIS信息进行碰撞预警判断准确率低的问题。

发明内容

基于此，有必要针对上述技术问题，提供基于AIS轨迹图与相机图组的船只行为分类方法。

基于AIS轨迹图与相机图组的船只行为分类方法，所述方法包括：将AIS设备与摄像头安装在一起，其中，所述AIS设备与摄像头的经纬度保持一致，当所述AIS设备检测到目标船只进入检测范围时，同步激活信号至摄像头，控制摄像头对目标船只进行监控；按照预设间隔时间记录检测区域内所有船只的监测信息，并通过摄像头拍摄一张目标船只图片，其中船只监测信息包括船只经纬度坐标、船只航向、船只速度信息，构建船只监测数据库；基于所述船只监测数据库，按照预设绘图规则进行参数提取，并按照预设绘图规则对提取参数进行船只平面图绘制，得到船只平面图，其中包括目标船只，且目标船只的绘制像素与其他船只不同；当达到预设拍摄数量要求时，基于所有船只的AIS信息，按照时间顺序将所有船只平面图进行汇总，构建船只AIS轨迹图；将预设拍摄数量的目标船只图片及船只AIS轨迹图输入状态评估模型，获得船只状态评估信息；基于所述船只状态评估信息按照预设分类要求进行分类，确定船只行为分类。

基于AIS轨迹图与相机图组的船只行为分类***，包括：

目标船只监控模块，所述目标船只监控模块用于将AIS设备与摄像头安装在一起，其中，所述AIS设备与摄像头的经纬度保持一致，当所述AIS设备检测到目标船只进入检测范围时，同步激活信号至摄像头，控制摄像头对目标船只进行监控；

船只监测信息记录模块，所述船只监测信息记录模块用于按照预设间隔时间记录检测区域内所有船只的监测信息，并通过摄像头拍摄一张目标船只图片，其中船只监测信息包括船只经纬度坐标、船只航向、船只速度信息，构建船只监测数据库；

船只平面图获得模块，所述船只平面图获得模块用于基于所述船只监测数据库，按照预设绘图规则进行参数提取，并按照预设绘图规则对提取参数进行船只平面图绘制，得到船只平面图，其中包括目标船只，且目标船只的绘制像素与其他船只不同；

船只AIS轨迹图构建模块，所述船只AIS轨迹图构建模块用于当达到预设拍摄数量要求时，基于所有船只的AIS信息，按照时间顺序将所有船只平面图进行汇总，构建船只AIS轨迹图；

船只状态评估信息获得模块，所述船只状态评估信息获得模块用于将预设拍摄数量的目标船只图片及船只AIS轨迹图输入状态评估模型，获得船只状态评估信息；

船只行为分类确定模块，所述船只行为分类确定模块用于基于所述船只状态评估信息按照预设分类要求进行分类，确定船只行为分类。

上述基于AIS轨迹图与相机图组的船只行为分类方法，能够解决船只在复杂天气环境下单一依靠周围船只的AIS信息进行碰撞预警判断准确率低的问题，首先按照预设间隔时间获得检测区域内所有船只的监测信息和目标船只图像信息，基于所述船只监测信息构建船只监测数据库；根据所述船只监测数据库，以船只经纬度为坐标点、船只航向为方向向量、速度大小为向量长度，获得船只二维平面图；获得预设拍摄数量的目标船只图片和所有船只的AIS信息，并按照时间顺序将所有船只二维平面图进行汇总，构建船只AIS轨迹图；基于卷积神经网络构建状态评估模型，通过多组历史数据对所述状态评估模型进行监督训练，获得符合要求的状态评估模型，然后将预设拍摄数量的目标船只图片及船只AIS轨迹图输入状态评估模型，获得船只状态评估信息；最后根据所述状态评估信息按照预设分类要求进行分类，获得船只航行状态的安全级别。可以提高复杂环境下船只碰撞预警判断的准确率。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

图1为本申请提供了基于AIS轨迹图与相机图组的船只行为分类方法的流程示意图；

图2为本申请提供了基于AIS轨迹图与相机图组的船只行为分类方法中获得状态评估模型的流程示意图；

图3为本申请提供了基于AIS轨迹图与相机图组的船只行为分类方法中组件训练数据集的流程示意图；

图4为本申请提供了基于AIS轨迹图与相机图组的船只行为分类***的结构示意图。

附图标记说明：目标船只监控模块1、船只监测信息记录模块2、船只平面图获得模块3、船只AIS轨迹图构建模块4、船只状态评估信息获得模块5、船只行为分类确定模块6。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

如图1所示，本申请提供了基于AIS轨迹图与相机图组的船只行为分类方法，包括：

步骤S100：将AIS设备与摄像头安装在一起，其中，所述AIS设备与摄像头的经纬度保持一致，当所述AIS设备检测到目标船只进入检测范围时，同步激活信号至摄像头，控制摄像头对目标船只进行监控；

具体而言，首先将目标船只的AIS设备和摄像头安装在一起，其中所述AIS设备与所述摄像头的经纬度保持一致，所述目标船只为待进行船只碰撞预警判断的船只，所述AIS设备为所述目标船只安装船舶自动识别***的装置，所述摄像头用于对目标船只进行拍照，具有雨天、雾天、夜间等复杂天气环境下的拍照功能。当所述AIS设备检测到目标船只进入检测范围时，生成设备激活信号，并将所述设备激活信号发送到所述摄像头的控制模块，使所述摄像头处于工作状态并控制摄像头对目标船只进行监控。其中所述检测范围本领域技术人员可基于实际环境自定义设置，例如：复杂天气环境或复杂海域均可设置为检测范围，比如当所述目标船只处于雨天、雾天、夜间等能见度低的复杂天气环境下时，可视为进入检测范围，或者当所述目标船只处于风浪较大的海域时，也可视为进入检测范围。通过激活所述摄像头对所述目标船只进行监控，为下一步获得检测范围内的所述目标船只的图像信息提供了支持。

步骤S200：按照预设间隔时间记录检测区域内所有船只的监测信息，并通过摄像头拍摄一张目标船只图片，其中船只监测信息包括船只经纬度坐标、船只航向、船只速度信息，构建船只监测数据库；

具体而言，预设监测数据记录的间隔时间，所述监测间隔时间本领域技术人员可自定义设置，比如：10秒。根据所述预设间隔时间，通过AIS设备获取所述检测区域内所有船只的运行数据，并将所述运行数据进行记录作为所述船只监测信息，其中所述船只监测信息包括船只经纬度坐标、船只航向、船只速度信息。根据所述预设间隔时间控制摄像头拍摄一张目标船只图片。基于所述船只监测信息构建船只监测数据库，所述船只监测数据库用于存储多组船只监测信息和多张目标船只图片，并按照时间顺序进行排列。

步骤S300：基于所述船只监测数据库，按照预设绘图规则进行参数提取，并按照预设绘图规则对提取参数进行船只平面图绘制，得到船只平面图，其中包括目标船只，且目标船只的绘制像素与其他船只不同；

具体而言，按照预设绘图规则对所述船只监测数据库进行参数提取，所述参数包括船只经纬度坐标、船只航向、船只速度，所述预设绘图规则是指将船只经纬度坐标作为坐标点，将船只航向方向作为向量方向，将船只速度大小作为向量长度，并对目标船只和其他船只设置不同的绘制像素。按照所述预设绘图规则，根据所述船只经纬度坐标、所述船只航向、所述船只速度绘制船只在二维平面图中的向量，并将目标船只使用红色像素绘制，其他船只使用蓝色像素绘制，并将获得的二维平面图归一到128*128的范围内，获得船只平面图。通过获得所述船只平面图，可以清晰直观地显示出在所述预设间隔时间内船只的运动轨迹。

步骤S400：当达到预设拍摄数量要求时，基于所有船只的AIS信息，按照时间顺序将所有船只平面图进行汇总，构建船只AIS轨迹图；

具体而言，预设船只拍摄数量，所述船只拍摄数量本领域技术人员可基于实际情况自定义设置，例如：10次。当船只拍摄次数等于所述预设拍摄数量时，获取与所述预设船只拍摄数量相同的多组所有船只的AIS信息，并将多组所述所有船只的AIS信息按照时间顺序在所述船只平面图上进行汇总，使用方向箭头绘制出所有船只的行驶轨迹，其中目标船只的方向箭头使用红色像素绘制，其他船只的方向箭头使用蓝色像素绘制，获得船只AIS轨迹图。通过获得所述船只AIS轨迹图，可以直观地显示出一段时间内所有船只的行驶轨迹，为下一步进行船只状态评估提供了数据支持。

步骤S500：将预设拍摄数量的目标船只图片及船只AIS轨迹图输入状态评估模型，获得船只状态评估信息；

如图2所示，在一个实施例中，本申请步骤S500还包括：

步骤S510：组建训练数据集，其中包括目标船只轨迹图、摄像头拍摄图及其风险评估打分；

如图3所示，在一个实施例中，本申请步骤S510还包括：

步骤S511：按照预设数据数量要求收集目标船只轨迹图、目标船只的摄像头拍摄图，其中，所述摄像头拍摄图包括多种环境特征，环境特征表征目标船只所在的拍摄环境条件；

步骤S512：将所述目标船只轨迹图、目标船只的摄像头拍摄图发送至评分通道进行船只行为风险程度评分，获得各目标船只轨迹图、目标船只的摄像头拍摄图的打分结果；

步骤S513：基于所述打分结果进行得分分布均匀性分析，当分布均匀性不满足预设分布要求时，对缺失数据进行补充，重复打分，直到满足预设分布要求为止；

步骤S514：对所有摄像头拍摄图进行归一化处理；

步骤S515：将所有目标船只轨迹图、归一化处理的摄像头拍摄图按照分组数量进行分组，获得所述训练数据集。

具体而言，组建训练数据集，所述训练数据集包括目标船只轨迹图、目标船只摄像头拍摄图和目标船只风险程度打分结果。首先按照预设数据数量收集目标船只轨迹图和目标船只的摄像头拍摄图，所述预设数据数量本领域技术人员可基于实际情况自定义设置，例如：10000组数据，其中所述摄像头拍摄图包括多种环境特征，其中所述环境特征表征目标船只所在的拍摄环境条件，例如：雾天、雨天、夜间等多种能见度较低的环境条件。

构建评分通道，所述评分通道由多个富有船舶航行经验的专业人员组成，然后将所述目标船只轨迹图、目标船只的摄像头拍摄图发送至评分通道通过多个专业人员进行船只行为风险程度综合评分，其中评分过程可由多个专业人员进行打分，例如：可设置打分范围在0-1之间，其中分数越高，风险越大。然后将多个专业人员打分的平均值作为最终风险评分结果，获得各目标船只的轨迹图、目标船只的摄像头拍摄图的风险评分结果即所述打分结果，通过多个专业人员对所述目标船只的轨迹图、目标船只的摄像头拍摄图进行风险度评分，可以提高风险度评分结果获得的准确率。然后对所述打分结果进行分布均匀性分析，所述分布均匀性分析是指判断所述打分结果是否为离散型均匀分布，预设分布要求，所述预设分布要求本领域技术人员可自定义设置，例如：可以将评分结果设置5个等级，在连续30个得分结果中，其中5个级别至少包含一个数据。当所述分布均匀性不满足所述预设分布要求时，则需要对其中缺失数据进行补充，然后通过所述评分通道对目标船只轨迹图或目标船只的摄像头拍摄图进行重复打分，直到满足预设分布要求时停止。然后对所有摄像头拍摄图进行归一化处理，所述归一化处理是指将所有摄像头拍摄图归一化到128*128的范围内。然后将所有目标船只轨迹图、归一化处理的摄像头拍摄图按照分组数量进行分组，所述分组数量本领域技术人员可自定义设置，例如：将32张图分为一个组，获得目标船只轨迹图组和摄像头拍摄图组，基于所述目标船只轨迹图组和所述摄像头拍摄图组构建训练数据集。通过获得所述训练数据集，为下一步进行模型监督训练提供了支持。

步骤S520：构建卷积网络结构，其中包括CNN特征提取层、特征融合层、卷积处理层、全连接层；

步骤S530：利用所述训练数据集对所述卷积网络结构进行训练，当达到收敛目标要求时，获得所述状态评估模型。

在一个实施例中，本申请步骤S530还包括：

步骤S531：将所述训练数据集输入CNN特征提取层，其中包括不同CNN提取层，利用不同的CNN对所述训练数据集进行特征提取，获得第一特征图、第二特征图，其中，所述第一特征图为AIS特征，第二特征图为摄像头拍摄图特征；

步骤S532：将所述第一特征图、第二特征图输入所述特征融合层进行特征融合，获得融合特征图；

步骤S533：将融合特征图输入所述卷积处理层，对融合后的特征图通过卷积层进行卷积，获得新特征图；

步骤S534：将所述新特征图输入所述全连接层，进行两层全连接特征整合，获得状态预测分数结果；

步骤S535：基于所述状态预测分数结果与训练数据集中的打分结果进行损失函数计算，根据损失值进行模型参数修正再训练，直到达到收敛目标要求为止。

在一个实施例中，本申请步骤S535还包括：

步骤S5351：通过回归损失函数：

进行损失值计算，其中，

为打分结果，/>

为状态预测分数结果。

具体而言，构建所述状态评估模型的卷积网络结构，其中所述卷积网络结构包括CNN特征提取层、特征融合层、卷积处理层、全连接层。然后将所述训练数据集输入所述CNN特征提取层进行特征提取，获得第一特征图和第二特征图，其中所述第一特征图和第二特征图均为64*64*128*32的特征图，所述第一特征图为AIS特征，所述第二特征图为摄像头拍摄图特征。然后将所述第一特征图和所述第二特征图输入所述特征融合层进行concat特征融合，得到64*64*256*32的特征图，获得融合特征图。将融合特征图输入所述卷积处理层，对融合后的特征图通过卷积层进行3*3*512的卷积，得到64*64*512的新特征图。然后将所述新特征图输入所述全连接层，进行两层的1*512的全连接特征整合，得到1*32的预测分数结果即所述状态预测分数结果。最后在所述状态预测分数结果与训练数据集中的打分结果之间进行均方误差回归损失函数计算，所述回归损失函数为：

，其中/>

为打分结果，/>

为状态预测分数结果。根据所述回归损失函数计算得出的损失值进行模型参数修正，然后通过训练数据集继续进行监督训练，当模型输出结果趋于收敛状态时即输出结果没有变化时停止训练，获得所述状态评估模型。通过基于卷积神经网络构建状态评估模型，可以提高船只状态评估的效率和准确率。最后将预设拍摄数量的目标船只图片及船只AIS轨迹图输入状态评估模型进行状态评估，获得船只状态评估信息。

步骤S600：基于所述船只状态评估信息按照预设分类要求进行分类，确定船只行为分类。

在一个实施例中，本申请步骤S600还包括：

步骤S610：对所述目标船只进行船体特征、运载物风险性评估，获得目标船只风险等级；

步骤S620：根据所述目标船只风险等级，确定安全分类调整系数；

具体而言，获得目标船只船体特征和运载物，对目标船只进行船体特征和运载物风险评估，并根据评估结果获得目标船只风险等级。例如：从船体自身特征进行风险评估时，可以从船体规格、船龄、船体历史航行记录等多个方面进行评估，所述船龄越高，则风险系数越高，运载物风险评估时可以根据运载物类型和装载量进行评估，比如：粮食水果等农产品风险系数低，石油天然气等风险系数高。预设权重分配系数，所述权重分配系数本领域技术人员可自定义设置，例如：40%、60%。根据所述预设权重分配系数对所述船体特征风险评估结果和运载物风险评估结果进行加权计算，获得风险评估结果，根据所述风险评估结果获得目标船只风险等级。所述目标船只风险等级本领域技术人员可自定义设置，所述风险评估结果的值越大，则目标船只风险等级越高。

根据所述目标船只风险等级，确定安全分类调整系数。所述安全分类调整系数本领域技术人员可基于实际情况自定义设置，例如：目标船只风险等级为7级，其中所述目标船只风险等级为一级设置调整系数为-3，然后每级调整系数加1。通过获得所述安全分类调整系数，为下一步进行船只风险等级调整提供了支持。

步骤S630：利用所述安全分类调整系数对预设分类要求进行打分数值调整，确定预设分类要求的执行规则；

在一个实施例中，本申请步骤S630还包括：

步骤S631：获得评分通道的评分规则，对所述评分规则进行语义分析，确定评分参数-分数映射关系；

步骤S632：基于所述评分参数-分数映射关系，进行打分宽容度计算；

步骤S633：利用打分参数的宽容度结合分类要求，确定打分-分类关系，基于所述打分、分类关系建立所述预设分类要求，其中，当所述打分参数的宽容度小于分类要求时，基于所述分类要求确定标准分数进行聚类，确定所述打分-分类关系；当所述打分参数的宽容度大于分类要求时，基于所述分类要求与打分参数的对应关系对打分结果进行拆分，确定所述打分-分类关系。

具体而言，获得评分通道的评价规则，所述评价规则是指专业人员的风险评价指标。对所述评分规则进行语义分析，确定评分参数-分数之间的映射关系。根据所述评分参数-分数映射关系，进行打分宽容度计算，所述打分宽容度计算是指判断所述评分参数-分数映射关系中的分数跨度，其中所述分数跨度越大，则打分不严格，宽容度越大，反之则宽容度越小。根据打分参数的宽容度结合分类要求，所述分类要求是指划分等级的指标，确定打分-分类关系。根据所述打分-分类关系确定所述预设分类要求。

其中，当所述打分参数的宽容度小于分类要求时，基于所述分类要求确定标准分数进行聚类，确定所述打分-分类关系。当分类要求指标较多或者相似度较高时，可以选择其中的几个值进行聚类，减少分类的数量，重新确定打分分类的关系。例如：在打分分类关系中，每隔0.02分一个级别，级别划分较密，则可以将3个指标进行聚合，每隔0.06分划分一个级别。当所述打分参数的宽容度大于分类要求时，基于所述分类要求与打分参数的对应关系对打分结果进行拆分，确定所述打分-分类关系。例如：在打分分类关系中，每隔0.2分一个级别，宽容度较大，可将0.2分拆分为2个级别，每隔0.1分划分为1个级别。通过基于所述打分、分类关系建立所述预设分类要求，可以提高打分的精度，从而间接提高船只状态评估结果的准确率。最后根据所述安全分类调整系数对预设分类要求进行打分数值调整，确定预设分类要求的执行规则，所述分类要求的执行规则包括多个分数级别和对应的船只行为类别。

步骤S640：将所述船只状态评估信息与所述预设分类要求的执行规则进行分数匹配，获得对应的船只行为分类，所述船只行为分类表征船只的航行状态的安全级别。

具体而言，将所述船只状态评估信息与所述预设分类要求的执行规则进行分数匹配，获得对应的船只行为分类，其中所述船只行为分类用于表示船只的航行状态的安全级别。通过上述方法解决了船只在复杂天气环境下单一依靠周围船只的AIS信息进行碰撞预警判断准确率低的问题，可以提高复杂环境下船只碰撞预警判断的准确率。

在一个实施例中，如图4所示提供了基于AIS轨迹图与相机图组的船只行为分类***，包括：目标船只监控模块1、船只监测信息记录模块2、船只平面图获得模块3、船只AIS轨迹图构建模块4、船只状态评估信息获得模块5、船只行为分类确定模块6、其中：

目标船只监控模块1，所述目标船只监控模块1用于将AIS设备与摄像头安装在一起，其中，所述AIS设备与摄像头的经纬度保持一致，当所述AIS设备检测到目标船只进入检测范围时，同步激活信号至摄像头，控制摄像头对目标船只进行监控；

船只监测信息记录模块2，所述船只监测信息记录模块2用于按照预设间隔时间记录检测区域内所有船只的监测信息，并通过摄像头拍摄一张目标船只图片，其中船只监测信息包括船只经纬度坐标、船只航向、船只速度信息，构建船只监测数据库；

船只平面图获得模块3，所述船只平面图获得模块3用于基于所述船只监测数据库，按照预设绘图规则进行参数提取，并按照预设绘图规则对提取参数进行船只平面图绘制，得到船只平面图，其中包括目标船只，且目标船只的绘制像素与其他船只不同；

船只AIS轨迹图构建模块4，所述船只AIS轨迹图构建模块4用于当达到预设拍摄数量要求时，基于所有船只的AIS信息，按照时间顺序将所有船只平面图进行汇总，构建船只AIS轨迹图；

船只状态评估信息获得模块5，所述船只状态评估信息获得模块5用于将预设拍摄数量的目标船只图片及船只AIS轨迹图输入状态评估模型，获得船只状态评估信息；

船只行为分类确定模块6，所述船只行为分类确定模块6用于基于所述船只状态评估信息按照预设分类要求进行分类，确定船只行为分类。

在一个实施例中，所述***还包括：

训练数据集组建模块，所述训练数据集组建模块用于组建训练数据集，其中包括目标船只轨迹图、摄像头拍摄图及其风险评估打分；

卷积网络结构构建模块，所述卷积网络结构构建模块用于构建卷积网络结构，其中包括CNN特征提取层、特征融合层、卷积处理层、全连接层；

状态评估模型获得模块，所述状态评估模型获得模块用于利用所述训练数据集对所述卷积网络结构进行训练，当达到收敛目标要求时，获得所述状态评估模型。

在一个实施例中，所述***还包括：

信息收集模块，所述信息收集模块用于按照预设数据数量要求收集目标船只轨迹图、目标船只的摄像头拍摄图，其中，所述摄像头拍摄图包括多种环境特征，环境特征表征目标船只所在的拍摄环境条件；

风险评分模块，所述风险评分模块用于将所述目标船只轨迹图、目标船只的摄像头拍摄图发送至评分通道进行船只行为风险程度评分，获得各目标船只轨迹图、目标船只的摄像头拍摄图的打分结果；

缺失数据补充模块，所述缺失数据补充模块用于基于所述打分结果进行得分分布均匀性分析，当分布均匀性不满足预设分布要求时，对缺失数据进行补充，重复打分，直到满足预设分布要求为止；

图像归一化处理模块，所述图像归一化处理模块用于对所有摄像头拍摄图进行归一化处理；

训练数据集获得模块，所述训练数据集获得模块用于将所有目标船只轨迹图、归一化处理的摄像头拍摄图按照分组数量进行分组，获得所述训练数据集。

在一个实施例中，所述***还包括：

特征提取模块，所述特征提取模块用于将所述训练数据集输入CNN特征提取层，其中包括不同CNN提取层，利用不同的CNN对所述训练数据集进行特征提取，获得第一特征图、第二特征图，其中，所述第一特征图为AIS特征，第二特征图为摄像头拍摄图特征；

特征融合模块，所述特征融合模块用于将所述第一特征图、第二特征图输入所述特征融合层进行特征融合，获得融合特征图；

新特征图获得模块，所述新特征图获得模块用于将融合特征图输入所述卷积处理层，对融合后的特征图通过卷积层进行卷积，获得新特征图；

状态预测分数结果获得模块，所述状态预测分数结果获得模块用于将所述新特征图输入所述全连接层，进行两层全连接特征整合，获得状态预测分数结果；

损失函数计算模块，所述损失函数计算模块用于基于所述状态预测分数结果与训练数据集中的打分结果进行损失函数计算，根据损失值进行模型参数修正再训练，直到达到收敛目标要求为止。

在一个实施例中，所述***还包括：

损失值计算模块，所述损失值计算模块用于通过回归损失函数：

进行损失值计算，其中，

为打分结果，/>

为状态预测分数结果。

在一个实施例中，所述***还包括：

目标船只风险等级获得模块，所述目标船只风险等级获得模块用于对所述目标船只进行船体特征、运载物风险性评估，获得目标船只风险等级；

安全分类调整系数确定模块，所述安全分类调整系数确定模块用于根据所述目标船只风险等级，确定安全分类调整系数；

打分数值调整模块，所述打分数值调整模块用于利用所述安全分类调整系数对预设分类要求进行打分数值调整，确定预设分类要求的执行规则；

船只行为分类获得模块，所述船只行为分类获得模块用于将所述船只状态评估信息与所述预设分类要求的执行规则进行分数匹配，获得对应的船只行为分类，所述船只行为分类表征船只的航行状态的安全级别。

在一个实施例中，所述***还包括：

映射关系确定模块，所述映射关系确定模块用于获得评分通道的评分规则，对所述评分规则进行语义分析，确定评分参数-分数映射关系；

打分宽容度计算模块，所述打分宽容度计算模块用于基于所述评分参数-分数映射关系，进行打分宽容度计算；

预设分类要求计算模块，所述预设分类要求计算模块用于利用打分参数的宽容度结合分类要求，确定打分-分类关系，基于所述打分、分类关系建立所述预设分类要求，其中，当所述打分参数的宽容度小于分类要求时，基于所述分类要求确定标准分数进行聚类，确定所述打分-分类关系；当所述打分参数的宽容度大于分类要求时，基于所述分类要求与打分参数的对应关系对打分结果进行拆分，确定所述打分-分类关系。

综上所述，本申请提供了基于AIS轨迹图与相机图组的船只行为分类方法具有以下技术效果：

1.解决了船只在复杂天气环境下单一依靠周围船只的AIS信息进行碰撞预警判断准确率低的问题，可以提高复杂环境下船只碰撞预警判断的准确率。

2.通过基于卷积神经网络构建状态评估模型，可以提高船只状态评估的效率和准确率。

3.通过基于所述打分、分类关系建立所述预设分类要求，可以提高打分的精度，从而间接提高船只状态评估结果的准确率。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.基于AIS轨迹图与相机图组的船只行为分类方法，其特征在于，包括：

将AIS设备与摄像头安装在一起，其中，所述AIS设备与摄像头的经纬度保持一致，当所述AIS设备检测到目标船只进入检测范围时，同步激活信号至摄像头，控制摄像头对目标船只进行监控；

按照预设间隔时间记录检测区域内所有船只的监测信息，并通过摄像头拍摄一张目标船只图片，其中船只监测信息包括船只经纬度坐标、船只航向、船只速度信息，构建船只监测数据库；

基于所述船只监测数据库，按照预设绘图规则进行参数提取，并按照预设绘图规则对提取参数进行船只平面图绘制，得到船只平面图，其中包括目标船只，且目标船只的绘制像素与其他船只不同；

当达到预设拍摄数量要求时，基于所有船只的AIS信息，按照时间顺序将所有船只平面图进行汇总，构建船只AIS轨迹图；

将预设拍摄数量的目标船只图片及船只AIS轨迹图输入状态评估模型，获得船只状态评估信息；

基于所述船只状态评估信息按照预设分类要求进行分类，确定船只行为分类。

2.如权利要求1所述的方法，其特征在于，将预设拍摄数量的目标船只图片及船只AIS轨迹图输入状态评估模型，之前包括：

组建训练数据集，其中包括目标船只轨迹图、摄像头拍摄图及其风险评估打分；

构建卷积网络结构，其中包括CNN特征提取层、特征融合层、卷积处理层、全连接层；

利用所述训练数据集对所述卷积网络结构进行训练，当达到收敛目标要求时，获得所述状态评估模型。

3.如权利要求2所述的方法，其特征在于，所述组建训练数据集，包括：

按照预设数据数量要求收集目标船只轨迹图、目标船只的摄像头拍摄图，其中，所述摄像头拍摄图包括多种环境特征，环境特征表征目标船只所在的拍摄环境条件；

将所述目标船只轨迹图、目标船只的摄像头拍摄图发送至评分通道进行船只行为风险程度评分，获得各目标船只轨迹图、目标船只的摄像头拍摄图的打分结果；

基于所述打分结果进行得分分布均匀性分析，当分布均匀性不满足预设分布要求时，对缺失数据进行补充，重复打分，直到满足预设分布要求为止；

对所有摄像头拍摄图进行归一化处理；

将所有目标船只轨迹图、归一化处理的摄像头拍摄图按照分组数量进行分组，获得所述训练数据集。

4.如权利要求2所述的方法，其特征在于，所述利用所述训练数据集对所述卷积网络结构进行训练，包括：

将所述训练数据集输入CNN特征提取层，其中包括不同CNN提取层，利用不同的CNN对所述训练数据集进行特征提取，获得第一特征图、第二特征图，其中，所述第一特征图为AIS特征，第二特征图为摄像头拍摄图特征；

将所述第一特征图、第二特征图输入所述特征融合层进行特征融合，获得融合特征图；

将融合特征图输入所述卷积处理层，对融合后的特征图通过卷积层进行卷积，获得新特征图；

将所述新特征图输入所述全连接层，进行两层全连接特征整合，获得状态预测分数结果；

基于所述状态预测分数结果与训练数据集中的打分结果进行损失函数计算，根据损失值进行模型参数修正再训练，直到达到收敛目标要求为止。

5.如权利要求4所述的方法，其特征在于，基于所述状态预测分数结果与训练数据集中的打分结果进行损失函数计算，包括：

通过回归损失函数：

进行损失值计算，其中，

为打分结果，/>

为状态预测分数结果。

6.如权利要求3所述的方法，其特征在于，基于所述船只状态评估信息按照预设分类要求进行分类，确定船只行为分类，包括：

对所述目标船只进行船体特征、运载物风险性评估，获得目标船只风险等级；

根据所述目标船只风险等级，确定安全分类调整系数；

利用所述安全分类调整系数对预设分类要求进行打分数值调整，确定预设分类要求的执行规则；

将所述船只状态评估信息与所述预设分类要求的执行规则进行分数匹配，获得对应的船只行为分类，所述船只行为分类表征船只的航行状态的安全级别。

7.如权利要求6所述的方法，其特征在于，还包括：

获得评分通道的评分规则，对所述评分规则进行语义分析，确定评分参数-分数映射关系；

基于所述评分参数-分数映射关系，进行打分宽容度计算；

利用打分参数的宽容度结合分类要求，确定打分-分类关系，基于所述打分、分类关系建立所述预设分类要求，其中，当所述打分参数的宽容度小于分类要求时，基于所述分类要求确定标准分数进行聚类，确定所述打分-分类关系；当所述打分参数的宽容度大于分类要求时，基于所述分类要求与打分参数的对应关系对打分结果进行拆分，确定所述打分-分类关系。

8.基于AIS轨迹图与相机图组的船只行为分类***，其特征在于，包括：

目标船只监控模块，所述目标船只监控模块用于将AIS设备与摄像头安装在一起，其中，所述AIS设备与摄像头的经纬度保持一致，当所述AIS设备检测到目标船只进入检测范围时，同步激活信号至摄像头，控制摄像头对目标船只进行监控；

船只监测信息记录模块，所述船只监测信息记录模块用于按照预设间隔时间记录检测区域内所有船只的监测信息，并通过摄像头拍摄一张目标船只图片，其中船只监测信息包括船只经纬度坐标、船只航向、船只速度信息，构建船只监测数据库；

船只平面图获得模块，所述船只平面图获得模块用于基于所述船只监测数据库，按照预设绘图规则进行参数提取，并按照预设绘图规则对提取参数进行船只平面图绘制，得到船只平面图，其中包括目标船只，且目标船只的绘制像素与其他船只不同；

船只AIS轨迹图构建模块，所述船只AIS轨迹图构建模块用于当达到预设拍摄数量要求时，基于所有船只的AIS信息，按照时间顺序将所有船只平面图进行汇总，构建船只AIS轨迹图；

船只状态评估信息获得模块，所述船只状态评估信息获得模块用于将预设拍摄数量的目标船只图片及船只AIS轨迹图输入状态评估模型，获得船只状态评估信息；

船只行为分类确定模块，所述船只行为分类确定模块用于基于所述船只状态评估信息按照预设分类要求进行分类，确定船只行为分类。

Images