CN117974792B - 基于视觉与ais数据协同训练的船舶目标检测定位方法 - Google Patents

Abstract

本发明公开了一种基于视觉与AIS数据协同训练的船舶目标检测与周边水域地图下的定位方法，包括：构建船舶目标检测与距离估计数据集，该数据集中包含视觉与AIS的协同数据；构建船舶目标检测与距离估计模型，基于上述数据集对模型进行多任务联合训练，提出一种新的损失函数训练距离特征提取；将待检测的船舶目标图像输入训练好的船舶目标检测与距离估计模型中得到多任务预测结果；基于相机参数与预测结果进行目标位置解算得到目标的经纬度，从而实现目标在周边水域地图下的定位。本发明能够实现在图像中进行船舶目标检测的同时，实现对检测到船舶目标的经纬度确定，从而解决了利用单目图像同时进行船舶目标检测与定位的问题。

Description

基于视觉与AIS数据协同训练的船舶目标检测定位方法

技术领域

本发明属于图像检测技术领域，尤其涉及一种基于视觉与AIS数据协同训练的船舶目标检测定位方法和***。

背景技术

对于海上船舶目标检测，传统的检测方法主要是基于图像、雷达与AIS的检测方法。其中基于图像的检测方法利用摄像机拍摄到的图像进行目标识别，其优势在于可以获取丰富的目标信息，然而图像受到天气、光照等自然条件的影响较大，容易出现识别误差；雷达检测方法通过发送电磁波－接收回波的方式来探测周围目标的位置，其优势为具有高精度与较远的探测范围，然而雷达无法提供直观的视觉语义信息且成本较高；通过AIS接收器和岸基站可以接收船舶上的AIS设备发送的位置、速度等信息，其优势在于实时性强、能够提供船舶的精确位置和航行信息，然而AIS信号易受干扰和篡改，且容易出现个别船舶未安装AIS设备或AIS设备老旧导致AIS信号缺失等问题。

近年来，深度学习在目标检测领域尤其是图像目标检测领域取得了很大进展。与传统的图像目标检测算法相比，基于深度学习的图像目标检测算法能够从大量数据中学习到目标更深层次的特征表示，具有更强的表征能力和泛化能力。目前基于深度学习的图像目标检测方法主要分为两阶段目标检测算法与单阶段目标检测算法。前者将目标检测流程分为两个阶段，第一个阶段算法会生成一系列候选目标框，在第二个阶段候选框被送入一个分类器以及一个回归器中进行目标的分类以及调整候选框的位置以更准确地拟合目标，该类别的优势在于精确度高，R-CNN系列模型为典型的两阶段检测模型；后者将检测转换成回归问题，只需要一次前向传播过程便可得到目标位置，这使得检测过程在速度上有优势，典型代表有YOLO系列目标检测模型。目前以DETR为代表的基于Transformer模型的算法由于其无锚框的设计以及优秀的全局建模能力在目标检测领域取得了显著的进展，其缺陷为DETR需要更长的训练收敛时间，且检测速度较慢。

现有的基于单目视觉的目标定位方法在自动驾驶汽车和移动机器人中应用较广，目前针对水面船舶的单目视觉定位研究较少，多数集中在基于立体视觉定位研究上。张啸尘等提出一种基于YOLOv3算法的船舶双目视觉检测与定位方法；王健等利用透视投影几何关系和摄像机内部参数，提出一种基于单目机器视觉的船舶测距定位方法；柳晨光等基于船舶的视觉与运动特征，提出了一种基于单目的水面多目标船舶的定位与运动参数求解算法。

通过上述分析，现有技术存在的问题及缺陷为：

现有的基于深度学习的目标检测算法只能对船舶目标实现在图像中的定位，无法获取摄像机与船舶目标之间的距离，因此无法获取该船舶目标在周边水域地图下的定位；

现有的基于立体视觉的水面船舶定位方法在获得一次定位结果前要经过左右图片两次目标检测，且需要计算两者图片的视差，因此检测速度较低；现有的基于单目视觉的水面船舶定位方法在船舶识别步骤中一般采用的传统滤波方式（如粒子滤波）对复杂和抽象特征的提取效果不佳，使得其难以达到良好的识别效果。

现有的基于视觉的水面船舶定位方法只依靠单一视觉数据训练定位模型，无法融合其他模态的数据（如AIS数据），这会导致模型无法获取足够的信息，进而导致模型的环境适应性不足、模型的泛化能力受限。

发明内容

针对现有技术存在的问题，本发明提供了一种基于视觉与AIS数据协同训练的船舶目标检测定位方法和***。

本发明是这样实现的，一种基于视觉与AIS数据协同训练的船舶目标检测定位方法包括：

（1）构建视觉与AIS数据协同的船舶目标检测与距离估计数据集，所述数据集包含：船舶目标图像、匹配距离信息的检测框标签、拍摄船舶目标图像摄像机的内外参数；

（2）构建船舶目标检测与距离估计模型，其结构为在YOLOX模型的头部网络中引入一个模块用于距离估计；

（3）将船舶目标检测与距离估计数据集投入上述模型中进行多任务联合训练和验证，得到训练完成的船舶目标检测与距离估计模型；

（4）将待检测船舶目标图像输入训练完成的船舶目标检测与距离估计模型中，得到该图像的检测结果；

（5）将检测结果结合相机参数进行目标位置计算，得到船舶目标的经纬度坐标；

（6）将获取到的船舶目标经纬度坐标可视化于周边水域地图中得到最终的船舶目标的定位结果。

进一步，步骤（1）通过如下子步骤完成数据集的构建：

（1-1）采集原始数据：利用岸基固定摄像机获取目标区域内含有船舶目标的视频，利用AIS接收机获取周围船舶的AIS数据，利用GPS定位装置获取上述摄像机经纬度数据，读取摄像机内陀螺仪数据获取相机的偏航角、俯仰角与滚转角，获取通过相机标定方法获取的相机内部参数；

（1-2）对步骤（1-1）中采集到的原始数据进行预处理：对原始视频进行抓图获取船舶目标图像，对AIS数据进行相机水平视野区域内的目标筛选；

（1-3）将步骤（1-2）中经过筛选的AIS数据进行线性插值并与船舶目标图像进行时间对齐，并基于Vincenty公式计算每条AIS数据所代表的目标与摄像机的水平距离；

（1-4）将每个图像目标与AIS目标进行关联，对图像目标进行标注，标注内容为标注框左上顶点与右下顶点的像素坐标、标注框内目标类别、标注框内目标、同图像目标对应的AIS目标与摄像机所在位置的水平距离；

（1-5）将上述船舶目标图像与新增距离信息的标签按VOC数据集的格式进行排布，划分训练集与测试集，以得到构建完成的船舶目标检测与距离估计数据集。

进一步，步骤（2）中新增模块与原头部网络的具体连接方式为：新增模块以YOLOX头部网络中Reg分支输出的回归特征作为输入；新增模块的具体结构为输入通道数为256、输出通道数为1、卷积核大小为1×1的单个卷积层，该层卷积层采用改进的Sigmoid激活函数进行激活，采用如下公式：

其中表示预测的水平距离，/>为卷积层的输出，/>作为比例因子调整输出的距离值以匹配传入模型的数据集所在场景的尺度。

进一步，步骤（3）中的船舶目标检测与距离估计模型是经过如下步骤的训练得到的：

（3-1）对步骤（1）中得到的训练集通过调整图像的色调与饱和度、将图像转换到HSV色彩空间、添加随机噪声的方式进行数据增强；

（3-2）针对步骤（3-1）增强后的图像，调整图像大小到640×640，将其输入进船舶目标检测与距离估计模型中，经过CSPDarknet53主干网络与带有PANet模块的颈部网络后，得到大小为80×80×256、40×40×512、20×20×1024三个不同尺度的特征图；

（3-3）针对步骤（3-2）得到的大、中、小三个特征层，将其传入卷积核大小为1×1的卷积层进行通道整合，再将其输出分为Cls分支与Reg分支，每个分支都通过两层3×3标准化卷积层，得到Cls分支特征图与Reg分支特征图；

（3-4）将步骤（3-3）得到的Cls分支特征图输入类别预测模块得到类别预测结果，将Reg分支特征图输入回归预测模块得到回归预测结果；回归参数调整后得到预测框坐标，将Reg分支特征图输入置信度预测模块得到置信度预测结果，将Reg分支特征图输入距离预测模块得到距离预测结果，将上述预测结果进行堆叠得到最终的预测结果，其形状为8400×7；

（3-5）针对步骤（3-4）得到的预测结果依据预测框中心点是否在真实框内进行筛选，通过动态K匹配方法进行预测框二次筛选并将其与真实框进行匹配，得到经二次筛选及匹配后的预测结果；

（3-6）对步骤（3-5）所得到的预测结果与步骤（1）中训练集的标签计算损失，并用该损失对船舶目标检测与距离估计模型进行迭代训练直至其收敛，得到经初步训练后的模型；

（3-7）在训练过程中将步骤（1）中得到的测试集输入进步（3-6）得到的初步训练模型中进行验证，当检测精度达到最优时，得到训练完成的船舶目标检测与距离估计模型。

进一步，步骤（3-6）目标检测任务的输出与距离估计的输出共用一个总损失函数，其公式为：

其中，为交叉比损失、/>为置信度损失、/>为类别损失、/>为距离损失，各损失之前的/>系数分别为其在总损失/>中所占权重，分别优选为5、1、1、0.005；

其中：

以上公式中、/>分别为同批次中第/>个预测框及匹配的真实框，/>、/>为目标置信度及与之匹配的真实置信度（1表示存在目标，0表示背景），/>、/>为目标类别概率及目标类别标签，/>为带Sigmoid步骤的二元交叉熵损失函数，/>为与摄像机参数有关的权重，/>为预测框的中心点在像素坐标系中的y轴坐标，/>、/>分别为预测距离及匹配的真实距离，/>为一个批次中预测的目标数量，对于某预测目标，若该目标对应的真实水平距离为0，则将该目标从计算距离损失的目标列表中去除，表示不计算该目标的损失，因此/>为去除上述预测目标后的目标数量。

进一步，步骤（5）包括以下子步骤：

（5-1）将像素坐标系下图像预测框中心点的x坐标转换为图像物理坐标系下的坐标，计算出摄像机与该目标连线相对于摄像机光轴方向的水平方向角；

（5-2）通过步骤（5-1）计算出的水平方向角计算出该目标相对于摄像机的方位角（全局方位角）；

（5-3）结合步骤（5-2）计算出的目标方位角、步骤（4）中预测得到的目标与摄像机的水平距离以及摄像机所在经纬度，计算出目标的经纬度；

步骤（5-1）与步骤（5-2）中的计算公式如下：

其中，为目标中心点在图像物理坐标系下的x坐标，/>为目标中心点在像素坐标系下的u坐标，/>为以像素为单位的图像宽度，/>为以毫米为单位的每个像素的尺寸，为目标相对于摄像机光轴方向的水平方向角，/>为x方向上的焦距，/>为目标的全局方位角，/>为摄像机的偏航角；

步骤（5-3）中的计算公式如下：

其中，前两个公式用于将摄像机所在位置的纬度、经度/>转换为弧度表示，为摄像机与目标的水平距离，/>为平均地球半径，/>表示计算/>的反正切值，后两个公式将计算出的目标的纬度与经度的弧度表示转换为目标的纬度/>、经度/>。

一种基于视觉与AIS数据协同训练的船舶目标检测定位***包括：

数据集构建模块，用于构建船舶目标检测与距离估计数据集，数据集中包含视觉与AIS的协同数据；

模型获取模块，用于构建船舶目标检测与距离估计模型，利用上述协同数据对其进行多任务训练，以获取到训练完成的船舶目标检测与距离估计模型；

预测模块，用于将待检测图像输入上述模块获取到的船舶目标检测与距离估计模型中，得到模型的检测结果；

目标位置计算模块，用于通过上述预测模块得到的检测结果，计算出海上船舶图像中船舶目标的经纬度；

显示模块，用于通过上述目标位置解算模块获取到船舶目标的经纬度，将对应的船舶目标可视化于周边水域地图下，将上述地图与带检测框的海上船舶图像同时显示于窗口中，以供直观地观察和分析水面目标的辨识情况。

一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于视觉与AIS数据协同训练的船舶目标检测定位方法的步骤。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于视觉与AIS数据协同训练的船舶目标检测定位方法的步骤。

一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现所述基于视觉与AIS数据协同训练的船舶目标检测定位***。

结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

第一，本发明公开了一种基于视觉与AIS数据协同训练的船舶目标检测与周边水域地图的定位方法，包括：构建船舶目标检测与距离估计数据集，该数据集中包含视觉与AIS的协同数据；构建船舶目标检测与距离估计模型，基于上述数据集对模型进行多任务联合训练，提出一种新的损失函数训练距离特征提取；将待检测的船舶目标图像输入训练好的船舶目标检测与距离估计模型中得到预测结果，预测结果包括预测框的中心点坐标与长宽、目标类别、置信度及目标与摄像机的水平距离；基于相机参数与预测结果进行目标位置解算得到目标的经纬度，从而实现目标在周边水域地图下的定位。本发明能够实现在图像中进行船舶目标检测的同时，实现对检测到船舶目标的经纬度确定，从而解决了利用单目图像同时进行船舶目标检测与定位的问题。

（1）本发明由于采用了步骤（1)，其通过采用AIS接收机、GPS定位装置等硬件设备，构建出视觉与AIS数据协同的数据集，用该多模态数据集训练模型，能够给船舶目标检测与距离估计模型提供更丰富的数据描述；

（2）本发明由于采用了步骤（2)，其通过构建船舶目标检测与距离估计模型，将图像输入进模型经过一次前向传播后，能够获取到海上船舶目标与摄像机的水平距离信息和上述目标的图像检测结果，即对模型进行多任务联合训练，了模型的效率与感知能力；

(3)YOLOX网络由于其轻量化的设计与优化的计算流程，使得其精度与推理速度均达到了目前的最高水平，本发明由于采用步骤（2)，其在YOLOX网络的基础上进行改进，因此比其他基于视觉进行真实距离估计的网络具有更好的性能；

（4）本发明由于采用了步骤（3-6)，其用改进的L2损失函数计算距离损失，能够解决原网络不能训练距离输出的问题，还能解决无AIS信息船舶的距离获取问题，因此改善了模型在海上船舶目标检测与定位任务上的表现。

第二，本发明对现有的目标检测模型进行了结构上的改进，使之能够完成目标检测与距离估计两个任务，并提出了一种船舶目标检测与距离估计多模态数据集的构建方法，构建出的数据集能够让改进的模型更加适用于海上船舶的目标检测与定位任务，也让改进的模型更加容易部署，可以将此方法用于对港口区域内船舶的实时监测、识别和定位，同时在监测海上交通状况、保障海上安全、优化港口资源利用方面具有广阔的应用前景。

本发明的技术方案填补了国内外业内技术空白：本发明能够实现利用多模态数据协同训练船舶目标检测与距离估计模型，并能实现基于该模型利用单目图像同时进行海上船舶目标检测与定位。

第三，本发明提供的基于视觉与AIS数据协同训练的船舶目标检测定位方法，其显著的技术进步主要体现在以下几个方面：

首先，该方法创新性地融合了视觉与AIS数据，构建了一个协同的船舶目标检测与距离估计数据集。这种数据协同策略不仅充分利用了两种数据源的优势，而且有效地弥补了单一数据源的不足，提高了船舶目标检测的准确性和可靠性。

其次，该方法在YOLOX模型的头部网络中引入了一个专门用于距离估计的模块，从而构建了一个全新的船舶目标检测与距离估计模型。这种模型设计使得目标检测和距离估计能够同时进行，大大提高了模型的效率和性能。

再者，通过多任务联合训练和验证的方式，该方法能够充分利用船舶目标检测与距离估计数据集中的信息，使得模型在训练过程中能够学习到更多的特征，从而提高了模型的泛化能力和鲁棒性。

此外，该方法还能够将检测结果与摄像机的内外参数相结合，进行目标位置计算，得到船舶目标的经纬度坐标。这种位置解算方式不仅提高了定位的精度，而且使得定位结果更具实际意义和应用价值。

最后，该方法将船舶目标的经纬度坐标可视化于周边水域地图中，使得定位结果更加直观和易于理解。这种可视化方式不仅有助于操作人员快速掌握船舶的位置信息，而且为后续的决策和规划提供了有力的支持。

本发明提供的基于视觉与AIS数据协同训练的船舶目标检测定位方法通过数据协同、模型创新、多任务联合训练、精确位置计算和可视化定位结果等方面的技术进步，显著提高了船舶目标检测的准确性和可靠性，为海上交通的安全和高效运行提供了有力保障。

第四，基于视觉与AIS数据协同训练的船舶目标检测与定位方法展示了显著的技术进步，主要表现在以下几个方面：

该方法通过结合高分辨率的视觉图像和精确的AIS数据，实现了对船舶目标的高精度检测与定位。与传统依赖单一数据源的方法相比，本发明利用两种互补的数据类型，大大提高了检测和定位的准确性。尤其是在复杂海洋环境中，能够有效识别并定位远距离或小型船舶，这对于航海安全、海上搜救等领域具有重要意义。

通过在YOLOX模型头部网络中引入距离估计模块，本方法为船舶目标检测领域引入了一种新的距离估计机制。这种机制能够直接从图像特征中预测船舶与摄像头的相对距离，无需额外的传感器或复杂的立体测量设备。此技术进步不仅简化了设备需求，还为实时船舶监控和跟踪提供了有效工具。

采用多任务联合训练的策略，同时优化船舶检测与距离估计任务，本发明充分利用了训练数据的潜力，提高了模型的泛化能力。通过共用一个总损失函数，该方法在保证目标检测精度的同时，进一步优化了距离估计的准确性。这种多任务优化策略在提高模型性能的同时，也增强了模型对复杂场景的适应能力。

通过对训练集进行色调、饱和度调整，以及添加随机噪声等数据增强技术，本方法显著提高了模型对不同光照、天气条件下的适应性。这些数据处理技术不仅增强了模型的鲁棒性，还有效提升了检测与定位任务在现实世界环境中的实用性和可靠性。

本发明的基于视觉与AIS数据协同训练的船舶目标检测与定位方法，通过高效融合多种数据源、引入创新的距离估计机制、优化多任务训练过程以及采用先进的数据处理技术，实现了对船舶目标的高精度检测与定位，为海洋监控、航海导航和海上搜救等领域提供了一种新的技术方案，展示了显著的技术进步。

附图说明

图1是本发明实施例提供的基于视觉与AIS数据协同训练的船舶目标检测定位方法流程图。

图2是本发明实施例提供的船舶目标检测与距离估计数据集的构建流程图。

图3是本发明实施例提供的船舶目标检测与距离估计模型的结构图。

图4是本发明实施例提供的坐标系示意图。

图5是本发明实施例提供的显示模块中的显示效果图。

图6是本发明实施例提供的基于视觉与AIS数据协同训练的船舶目标检测定位***结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下是两个基于视觉与AIS数据协同训练的船舶目标检测与定位方法的具体实施例：

应用实施例一：

在某沿海港口，为实现对进出港口的船舶进行高效、准确的检测与定位，采用了基于视觉与AIS数据协同训练的船舶目标检测与定位方法。首先，收集了大量的船舶目标图像，并与之匹配了相应的距离信息检测框标签以及摄像机的内外参数，构建了一个完整的数据集。

然后，根据该数据集，在YOLOX模型的基础上进行了改进，特别在头部网络中增加了一个用于距离估计的模块。该模块以YOLOX头部网络中Reg分支输出的回归特征作为输入，经过一个卷积层处理后，输出预测的距离值。

接下来，利用构建的数据集对模型进行了多任务联合训练。在训练过程中，不仅对目标检测任务进行了优化，同时也对距离估计任务进行了训练。通过不断地迭代和优化，得到了一个性能优越的船舶目标检测与距离估计模型。

在实际应用中，只需将待检测的船舶目标图像输入到该模型中，即可快速得到检测结果以及船舶目标与摄像机的水平距离，通过目标位置解算后得到目标的经纬度坐标。这些定位结果可以实时显示在港口的管理***中，为港口的***和船舶调度提供了重要的依据。

应用实施例二：

在内河航道管理中，为实现对航道上行驶船舶的精确检测与定位，同样采用了基于视觉与AIS数据协同训练的船舶目标检测与定位方法。

在数据集构建阶段，结合了内河航道的特殊环境，收集了多种不同场景下的船舶目标图像，并标注了相应的距离信息和摄像机参数。这些数据为后续的模型训练提供了坚实的基础。

在模型构建和训练阶段，同样采用了改进后的YOLOX模型，并在其头部网络中引入了距离估计模块。通过多任务联合训练的方式，得到了一个适用于内河航道环境的船舶目标检测与距离估计模型。

在实际应用中，将该模型部署到了航道监控***中。当监控***捕捉到船舶目标图像时，会自动将其输入到模型中进行检测与定位。通过模型的处理，可以得到船舶目标的精确位置信息，并将其显示在航道管理***中。这不仅提高了航道管理的效率，也为航道安全提供了有力的保障。

通过这两个实施例，可以看到基于视觉与AIS数据协同训练的船舶目标检测与定位方法在实际应用中的广泛性和有效性。无论是沿海港口还是内河航道，该方法都能实现对船舶目标的精确检测与定位，为船舶交通管理提供了重要的技术支持。

本次发明的基于视觉与AIS数据协同训练的船舶目标检测定位方法是一个复杂的多阶段处理流程，旨在实现高精度的船舶目标检测与定位。以下是信号和数据处理过程的详细说明：

(1) 数据集构建

船舶目标图像收集：首先，通过安装在不同位置的摄像头收集船舶的图像。这些图像应包含各种天气、光照条件下的船舶目标。

AIS数据匹配：对于每张收集到的船舶图像，从自动识别***（AIS）获取与之时间上匹配的船舶信息，包括船舶的位置、速度和航向等。

检测框标签与距离信息：利用船舶的图像和匹配的AIS数据手动或半自动地标注图像中船舶的检测框，并计算船舶与摄像机之间的距离信息。

摄像机参数记录：记录拍摄每张船舶目标图像时摄像机的内外参数，包括焦距、传感器尺寸、位置和朝向。

(2) 模型构建与训练

模型结构定义：在YOLOX模型基础上，引入一个额外的距离估计模块。该模块设计为对检测到的每个船舶目标预测其与摄像机的距离。

多任务联合训练：输入步骤（1）构建的数据集，对船舶目标检测与距离估计模型进行联合训练。这一过程中，模型学习同时识别船舶目标的位置并估计其距离。

模型验证与优化：通过测试集上的性能验证训练好的模型，必要时进行参数调整和模型优化以提高检测和估计的准确性。

(3) 目标检测与距离估计

图像输入与处理：将新的待检测船舶图像输入训练完成的模型。模型识别图像中的船舶目标，并预测每个目标的检测框和距离。

结果提取：从模型输出中提取船舶目标的检测框信息和距离估计值。

(4) 目标位置解算与可视化

目标位置解算：利用摄像机的内外参数和模型提供的距离信息，采用三维几何解算方法计算船舶目标的经纬度坐标。

结果可视化：将计算得到的船舶经纬度坐标在水域地图上进行可视化，实现对船舶目标的精确定位。

整个信号和数据处理过程综合利用了视觉图像信息和AIS数据，通过先进的深度学习模型实现了船舶目标的高精度检测和定位。通过对模型进行精细化训练，该方法能够有效应对复杂海域环境中的船舶定位任务，为船舶监控与管理提供了一种高效可靠的技术手段。

如图1所示，本发明提供了一种基于视觉与AIS数据协同训练的海上船舶目标检测与定位方法，包括以下步骤：

步骤S110，构建船舶目标检测与距离估计数据集，所述数据集包含：船舶目标图像、与图像匹配的包含距离信息的标注、拍摄船舶目标图像摄像机的内外参数。

本实施例中，数据集的构建流程图如图2所示，包括以下子步骤：

步骤S111，获取原始数据，对应发明内容中步骤（1-1)。图中椭圆形内数据为采集到的原始数据，其中：视频数据由岸基固定相机采集，相机的偏航角、俯仰角与滚转角等通过读取陀螺仪参数获得，相机的焦距等内参由相机标定获得（相机标定采用张正友相机标定方法获取相机的内参矩阵），相机周围水域的AIS数据由部署在相机旁的AIS接收器获得，相机所在位置的经纬度由手持式GPS定位装置获得。

步骤S112，对原始数据进行处理，对应发明内容中步骤（1-2）与步骤（1-3)。对船舶目标视频以四秒一次的频率进行抓图，获取船舶目标图像，同时依据视频开始时间给每张图像添加时间戳。基于相机所在位置的经纬度、相机的偏航角与水平视场角建立相机水平视野，基于每条AIS数据的经纬度筛选出视野内的AIS数据；对视野内AIS数据进行线性插值，使相同MMSI号AIS数据的频率达到每秒一条；根据每条数据中的经纬度与相机所在位置的经纬度通过Vincenty公式计算水平距离，并将其添加到该条数据中。

步骤S113，对AIS目标与图像目标进行关联，对应发明内容中步骤（1-4)。首先将时间戳相同的图像数据与AIS数据进行关联，再将关联上的两者数据中的目标进行手工匹配。

步骤S114，建立船舶目标检测与距离估计数据集，对应发明内容中步骤（1-5)。通过图像标注软件对图像中的目标进行标注，标注内容为标注框左上顶点和右下顶点的像素坐标、标注框内物体的类别、从与图像目标关联的AIS目标数据中获取的水平距离数据。本任务无需对船舶进行分类，因此将所有船舶目标的类别标注为“ship”。标注完成后，将数据按VOC格式进行排布。与原VOC数据格式不同的是，其每个图片的标注中，每个目标新增匹配的水平距离信息。

本步骤的优点在于，构建了船舶目标检测与距离估计数据集，该数据集将视觉与AIS两个模态的数据整合到一起，利用该数据集可以对船舶目标检测与距离估计模型进行多任务联合训练。

步骤S120，构建船舶目标检测与距离估计模型，使之能够匹配上一步骤构建的数据集。模型的具体结构如图3所示，整体的前向传播过程为：将尺寸为640×640×3的图像输入进主干网络中进行特征提取，其中主干网络为CSPDarkNet，结合了交叉阶段部分网络（Cross Stage Partial Network, CSPNet）和Darknet53网络，其能通过CSP连接进行特征重用，即将不同阶段的特征图进行融合，使得模型对于不同尺度和形态的目标都具有较好的适应性，其输出为80×80×256、40×40×512、20×20×1024三个不同尺度的特征图；FPN（Feature Pyramid Network, FPN，特征金字塔网络）模块，作为颈部网络接收上述特征图，其作用为加强特征提取，将上述不同尺度的三个特征图进行特征融合，有利于减少信息的丢失；将经过颈部网络的特征图传入头部网络中通过Conv2D_BN_SiLu模块（包含二维卷积、批量归一化和Sigmoid线性单元激活函数的模块），首先进行1×1卷积，其目的是将特征图进行通道整合，再将其经过两个分支得到分类特征和回归特征，将两种特征按图中的方式分别输入进四种预测模块中得到对应的预测结果。整体的船舶目标检测与距离估计模型对原YOLOX网络的改进为：在原网络的头部网络中新增一个距离预测模块，接收上述回归输入进行距离预测。新增模块的具体结构为输入通道数为256、输出通道数为1、卷积核大小为1×1的单个卷积层，该层卷积层采用改进的Sigmoid激活函数进行激活，公式如下：

其中表示预测的水平距离，/>为卷积层的输出，/>作为比例因子调整输出的距离值与传入模型的数据集所在场景的尺度匹配，在本实施中，将/>调整为2500。

步骤S130，对船舶目标检测与距离估计模型进行多任务联合训练。在本任务中不需要对船舶目标进行分类，因此将类别数量设置为1，表示将检测的目标分为船舶和背景两类；根据自身硬件设备的性能情况设置批量大小（Batch Size)，批量大小越大，训练速度越快，在本实施中将其设置为4，表示一次投入4个样本进行训练；在训练时采用Adam优化器自适应调整学***衡网络中不同参数的更新速度；在训练时采用如下损失函数计算损失：

其中，为交叉比损失、/>为置信度损失、/>为类别损失、/>为距离损失，各损失之前的/>系数分别为其在总损失/>中所占权重，分别优选为5、1、1、0.005。

其中：

以上公式中、/>分别为第/>个批次中得到的预测框及匹配的真实框，/>、为目标置信度及与之匹配的真实置信度（1表示存在目标，0表示背景），/>、/>为目标类别概率及目标类别标签，/>为带Sigmoid步骤的二元交叉熵损失函数，为与摄像机参数有关的权重，/>为预测框的中心点在像素坐标系中的y轴坐标，/>、分别为预测距离及匹配的真实距离，/>为一个批次中预测的目标数量。对于某预测目标，若该目标对应的真实水平距离为0，则将该目标从计算距离损失的目标列表中去除，表示不计算该目标的损失，因此/>为去除上述预测目标后的目标数量。

本步骤中采用该距离预测损失函数计算距离损失时，有如下优势：去除对应的真实水平距离为0的预测目标，将作为计算距离损失时的总目标数量进行平均距离损失计算时，能够规避无AIS信息船舶对距离损失计算产生的影响；/>作为计算距离损失的权重时，使模型能够更好地关注近距离目标的距离估计损失，从而使近距离目标的水平距离估计得越准。对于岸基固定摄像机而言，简化其相机模型，不考虑其俯仰角，目标在像素平面的y轴坐标与目标和摄像机之间的水平距离有如下近似对应关系：

其中为目标在像素平面的y轴坐标，/>为摄像机y轴方向的焦距，/>为摄像机距水面高度，/>为目标和摄像机之间的水平距离。由公式可见，/>与/>成反比例函数关系，故将/>设为距离预测损失函数的权重是合理的。/>

本步骤由于采用了多任务联合训练，即将目标检测任务与距离估计任务通过单个模型完成，其距离估计模块接收模型前部提取的图片中的高维回归特征，二者任务在该高维特征中存在内在的相关性和共享的表示，模型可以学习到更为通用和鲁棒的特征表示，进而在二者任务上都取得更好的性能。

在本步骤中，利用训练集对船舶目标检测与距离估计模型进行迭代训练使其收敛，利用验证集对其检测精度进行验证。在本实施中，当训练到第200个epoch时网络收敛，检测精度达到最优，此时得到训练完成的船舶目标检测与距离估计模型。

步骤S140，将同一摄像机后续拍摄的待检测船舶目标图片投入上一步得到的船舶目标检测与距离估计模型中进行检测，得到船舶的检测结果，包含船舶目标检测矩形框左上点与右下点的像素坐标、目标类别（在该任务中目标仅有单个类别，即“ship”）、该检测目标的置信度以及该检测目标与摄像机的水平距离（单位为米）。

步骤S150，将上一步得到的检测结果进行进一步的目标位置计算。首先基于相机参数与检测结果中的目标框像素坐标信息计算该目标的全局方位角（相机目标连线与正北方向所成夹角），结合计算出的目标全局方位角、检测结果中预测得到的目标与摄像机的水平距离以及摄像机所在经纬度，计算出目标的经纬度。如图4所示，坐标系为像素坐标系（以像素为单位）、坐标系/>为图像物理坐标系（以毫米为单位），将像素坐标系下图像预测框中心点的u坐标转换为图像物理坐标系下的x坐标，计算出相机与该目标连线相对于摄像机光轴方向的水平方向角，再将其转换为全局方位角，其计算公式如下：

其中，为目标中心点在图像物理坐标系下的x坐标，/>为目标中心点在像素坐标系下的u坐标，/>为以像素为单位的图像宽度，/>为以毫米为单位的每个像素的尺寸，为目标相对于摄像机光轴方向的水平方向角，/>为x方向上的焦距，/>为目标的全局方位角，/>为摄像机的偏航角。

本实施中计算目标经纬度的公式如下：

其中，前两个公式用于将摄像机所在位置的纬度、经度/>转换为弧度表示，/>为摄像机与目标的水平距离，/>为平均地球半径，/>表示计算/>的反正切值，后两个公式将计算出的目标的纬度与经度的弧度表示转换为目标的纬度/>、经度/>。

步骤S160，基于上一步计算出的目标经纬度将目标可视化于周边水域地图中，将显示目标后的地图与图像检测结果一同显示于前端窗口中，通过图形界面的显示，可以直观地观察和分析水面目标的辨识情况，显示效果如图5所示。

在一个实施例中，如图6所示，提供一种基于视觉与AIS数据协同训练的船舶目标检测与定位***200，包括数据集构建模块210、模型获取模块220、预测模块230、目标位置解算模块240和前端显示模块250，其中，

所述数据集构建模块210，用于构建船舶目标检测与距离估计数据集；

所述模型获取模块220，用于构建船舶目标检测与距离估计模块，对其进行多任务联合训练，以获取到训练完成的船舶目标检测与距离估计模型；

所述预测模块230，用于将待检测图像输入上述模块获取的船舶目标检测与距离估计模型中，得到该图像的检测结果；

所述目标位置计算模块240，用于通过上述预测模块得到的检测结果，计算出海上船舶图像中船舶目标的经纬度；

所述显示模块250，用于通过上述目标位置解算模块获取到船舶目标的经纬度，将对应的船舶目标可视化于周边水域地图下，将上述地图与带检测框的海上船舶图像同时显示于窗口中，以供直观地观察和分析水面目标的辨识情况。

上述实施例阐明的装置或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器（固件）的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体，或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

实施例1：

在港口船舶监测***中，采用岸基固定摄像机作为主要传感器，采用AIS基站、手持式GPS定位设备作为辅助数据集构建传感器，通过所述基于视觉与AIS数据协同训练的船舶目标检测定位方法实现对附近区域进出港口船舶的实时检测与定位。

实施例2：

在船舶监控入侵检测***中，采用目标区域监控摄像机作为主要传感器，采用AIS接收机、手持式GPS定位设备作为辅助数据集构建传感器，通过所述基于视觉与AIS数据协同训练的船舶目标检测定位方法实现禁航区等目标区域内非法入侵船只的监控。

实施例3：

在船舶智能航行感知***中，采用船载摄像机作为主要传感器，采用船载AIS设备、手持式GPS定位设备作为辅助数据集构建传感器，通过所述基于视觉与AIS数据协同训练的船舶目标检测定位方法实现对船舶等周围非合作水面目标基于单目图像的检测与定位。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于视觉与AIS数据协同训练的船舶目标检测定位方法，其特征在于，包括以下步骤：

（1）构建视觉与AIS数据协同的船舶目标检测与距离估计数据集，所述数据集包含：船舶目标图像、匹配距离信息的检测框标签、拍摄船舶目标图像摄像机的内外参数；

（2）构建船舶目标检测与距离估计模型，其结构为在YOLOX模型的头部网络中引入一个模块用于距离估计；

（3）将船舶目标检测与距离估计数据集投入上述模型中进行多任务联合训练和验证，得到训练完成的船舶目标检测与距离估计模型；

（4）将待检测船舶目标图像输入训练完成的船舶目标检测与距离估计模型中，得到该图像的检测结果；

（5）将检测结果结合相机参数进行目标位置计算，得到船舶目标的经纬度坐标；

（6）将获取到的船舶目标经纬度坐标可视化于周边水域地图中得到最终的船舶目标的定位结果；

步骤（2）中新增模块与原头部网络的具体连接方式为：新增模块以YOLOX头部网络中Reg分支输出的回归特征作为输入；新增模块的具体结构为输入通道数为256、输出通道数为1、卷积核大小为1×1的单个卷积层，所述单个卷积层采用改进的Sigmoid激活函数进行激活，采用如下公式：

；

其中表示预测的水平距离，/>为卷积层的输出，/>作为比例因子调整输出的距离值以匹配传入模型的数据集所在场景的尺度；

步骤（3）中的船舶目标检测与距离估计模型是经过如下步骤的训练得到的：

（3-1）对步骤（1）中得到的训练集通过调整图像的色调与饱和度、将图像转换到HSV色彩空间、添加随机噪声的方式进行数据增强；

（3-2）针对步骤（3-1）增强后的图像，调整图像大小到640×640，将其输入进船舶目标检测与距离估计模型中，经过CSPDarknet53主干网络与带有PANet模块的颈部网络后，得到大小为80×80×256、40×40×512、20×20×1024三个不同尺度的特征图；

（3-3）针对步骤（3-2）得到的大、中、小三个特征层，将其传入卷积核大小为1×1的卷积层进行通道整合，再将其输出分为Cls分支与Reg分支，每个分支都通过两层3×3标准化卷积层，得到Cls分支特征图与Reg分支特征图；

（3-4）将步骤（3-3）得到的Cls分支特征图输入类别预测模块得到类别预测结果，将Reg分支特征图输入回归预测模块得到回归预测结果；回归参数调整后得到预测框坐标，将Reg分支特征图输入置信度预测模块得到置信度预测结果，将Reg分支特征图输入距离预测模块得到距离预测结果，将上述预测结果进行堆叠得到最终的预测结果，其形状为8400×7；

（3-5）针对步骤（3-4）得到的预测结果依据预测框中心点是否在真实框内进行筛选，通过动态K匹配方法进行预测框二次筛选并将其与真实框进行匹配，得到经二次筛选及匹配后的预测结果；

（3-6）对步骤（3-5）所得到的预测结果与步骤（1）中训练集的标签计算损失，并用该损失对船舶目标检测与距离估计模型进行迭代训练直至其收敛，得到经初步训练后的模型；

（3-7）在训练过程中将步骤（1）中得到的测试集输入进步骤（3-6）得到的初步训练模型中进行验证，当检测精度达到最优时，得到训练完成的船舶目标检测与距离估计模型；

步骤（3-6）目标检测任务的输出与距离估计的输出共用一个总损失函数，其公式为：

；

其中，为交叉比损失、/>为置信度损失、/>为类别损失、/>为距离损失，各损失之前的/>系数分别为其在总损失/>中所占权重，分别为5、1、1、0.005；

其中：

；

；

；

；

以上公式中、/>分别为同批次中第/>个预测框及匹配的真实框，/>、/>为目标置信度及与之匹配的真实置信度，1表示存在目标，0表示背景，/>、/>为目标类别概率及目标类别标签，/>为带Sigmoid步骤的二元交叉熵损失函数，/>为与摄像机参数有关的权重，/>为预测框的中心点在像素坐标系中的y轴坐标，/>、/>分别为预测距离及匹配的真实距离，/>为一个批次中预测的目标数量，对于某预测目标，若该目标对应的真实水平距离为0，则将该目标从计算距离损失的目标列表中去除，表示不计算该目标的损失，因此/>为去除上述预测目标后的目标数量。

2.根据权利要求1所述的基于视觉与AIS数据协同训练的船舶目标检测定位方法，其特征在于，步骤（1）通过如下子步骤完成数据集的构建：

（1-1）采集原始数据：利用岸基固定摄像机获取目标区域内含有船舶目标的视频，利用AIS接收机获取周围船舶的AIS数据，利用GPS定位装置获取上述摄像机经纬度数据，读取摄像机内陀螺仪数据获取相机的偏航角、俯仰角与滚转角，获取通过相机标定方法获取的相机内部参数；

（1-2）对步骤（1-1）中采集到的原始数据进行预处理：对原始视频进行抓图获取船舶目标图像，对AIS数据进行相机水平视野区域内的目标筛选；

（1-3）将步骤（1-2）中经过筛选的AIS数据进行线性插值并与船舶目标图像进行时间对齐，并基于Vincenty公式计算每条AIS数据所代表的目标与摄像机的水平距离；

（1-4）将每个图像目标与AIS目标进行关联，对图像目标进行标注，标注内容为标注框左上顶点与右下顶点的像素坐标、标注框内目标类别、标注框内目标、同图像目标对应的AIS目标与摄像机所在位置的水平距离；

（1-5）将上述船舶目标图像与新增距离信息的标签按VOC数据集的格式进行排布，划分训练集与测试集，以得到构建完成的船舶目标检测与距离估计数据集。

3.根据权利要求1所述的基于视觉与AIS数据协同训练的船舶目标检测定位方法，其特征在于，步骤（5）包括以下子步骤：

（5-1）将像素坐标系下图像预测框中心点的x坐标转换为图像物理坐标系下的坐标，计算出摄像机与该目标连线相对于摄像机光轴方向的水平方向角；

（5-2）通过步骤（5-1）计算出的水平方向角计算出该目标相对于摄像机的全局方位角；

（5-3）结合步骤（5-2）计算出的目标方位角、步骤（4）中预测得到的目标与摄像机的水平距离以及摄像机所在经纬度，计算出目标的经纬度；

步骤（5-1）与步骤（5-2）中的计算公式如下：

；

；

；

其中，为目标中心点在图像物理坐标系下的x坐标，/>为目标中心点在像素坐标系下的u坐标，/>为以像素为单位的图像宽度，/>为以毫米为单位的每个像素的尺寸，/>为目标相对于摄像机光轴方向的水平方向角，/>为x方向上的焦距，/>为目标的全局方位角，为摄像机的偏航角；

步骤（5-3）中的计算公式如下：

；

其中，前两个公式用于将摄像机所在位置的纬度、经度/>转换为弧度表示，/>为摄像机与目标的水平距离，/>为平均地球半径，/>表示计算/>的反正切值，后两个公式将计算出的目标的纬度与经度的弧度表示转换为目标的纬度/>、经度/>。

4.一种实施根据权利要求1-3任意一项所述基于视觉与AIS数据协同训练的船舶目标检测定位方法的基于视觉与AIS数据协同训练的船舶目标检测定位***，其特征在于，所述基于视觉与AIS数据协同训练的船舶目标检测定位***包括：

数据集构建模块，用于构建船舶目标检测与距离估计数据集，数据集中包含视觉与AIS的协同数据；

模型获取模块，用于构建船舶目标检测与距离估计模型，利用上述协同数据对其进行多任务训练，以获取到训练完成的船舶目标检测与距离估计模型；

预测模块，用于将待检测图像输入上述模块获取到的船舶目标检测与距离估计模型中，得到模型的检测结果；

目标位置计算模块，用于通过上述预测模块得到的检测结果，计算出海上船舶图像中船舶目标的经纬度；

显示模块，用于通过上述目标位置计算模块获取到船舶目标的经纬度，将对应的船舶目标可视化于周边水域地图下，将上述地图与带检测框的海上船舶图像同时显示于窗口中，以供直观地观察和分析水面目标的辨识情况。

5.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-3任意一项所述基于视觉与AIS数据协同训练的船舶目标检测定位方法的步骤。

6.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-3任意一项所述基于视觉与AIS数据协同训练的船舶目标检测定位方法的步骤。

7.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求4所述基于视觉与AIS数据协同训练的船舶目标检测定位***。