CN118015477B - 一种航海雷达图像识别方法、装置、电子设备及存储介质 - Google Patents
一种航海雷达图像识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN118015477B CN118015477B CN202410424767.0A CN202410424767A CN118015477B CN 118015477 B CN118015477 B CN 118015477B CN 202410424767 A CN202410424767 A CN 202410424767A CN 118015477 B CN118015477 B CN 118015477B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution layer
- marine radar
- radar image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 238000012549 training Methods 0.000 claims abstract description 93
- 230000004927 fusion Effects 0.000 claims abstract description 67
- 238000012360 testing method Methods 0.000 claims abstract description 51
- 238000000605 extraction Methods 0.000 claims abstract description 49
- 238000012795 verification Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims description 45
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 238000000137 annealing Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000009849 deactivation Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种航海雷达图像识别方法、装置、电子设备及存储介质，该方法包括：构建EfficientNet‑S网络模型；构建航海雷达船舶图像数据集，基于所述数据集构建训练集和验证集和测试集；基于所述训练集和所述验证集对所述EfficientNet‑S网络模型进行训练，以及基于所述测试集对训练后的模型进行测试，得到航海雷达图像识别模型；将待识别的航海雷达图像输入至所述航海雷达图像识别模型，得到船舶识别结果；其中，所述EfficientNet‑S网络模型，包括：特征提取网络和与所述特征提取网络连接的特征融合网络；本发明可以解决现有技术中存在的无法对航海雷达图像下船舶目标进行准确识别的问题。
Description
技术领域
本发明涉及图像识别技术领域，具体涉及一种航海雷达图像识别方法、装置、电子设备及存储介质。
背景技术
航海雷达（marine radar）是一种能够在恶劣气象和夜间低能见度条件下探测船舶目标的技术。相比自动识别***（AIS）、高频无线电（VHF）等方法，航海雷达无需获取船舶的实时响应，可以极大提高船舶航行信息的获取速度。因此，航海雷达已成为海上船舶识别的重要途径。航海雷达船舶识别任务主要分为长尾迹船舶识别和短尾迹船舶识别。一般情况下，长尾迹船舶的光点和尾迹特征明显，此类船舶的特征获取以及目标识别难度较低；而短尾迹船舶的像素特征与海港环境中的礁石、岛屿等十分相似，此类船舶的识别过程容易受到诸多背景干扰物的影响，导致此类目标的识别难度较大。
此外，航海雷达图像中的船舶绝大多数是小尺度目标，呈现的可利用特征较少，尤其是，当船舶靠近海岸线时，利用常用的参照物标定、滤波、模式识别等技术无法对船舶光点与海岸背景进行有效区分。由于存在上述问题，对小尺度的船舶进行有效特征提取及识别成为本发明关注的重点和难点。
因此，急需提出一种高效的航海雷达图像识别方法及***，解决现有技术中存在的无法对航海雷达图像下船舶目标进行准确识别的问题。
发明内容
针对现有技术中存在的问题，本发明提供了一种一种航海雷达图像识别方法、装置、电子设备及存储介质，用以解决现有技术中存在的无法对航海雷达图像下船舶目标进行准确识别的技术问题。
为了实现上述目的，本发明提供了一种航海雷达图像识别方法，包括：
构建EfficientNet-S网络模型；
构建航海雷达船舶图像数据集，基于所述数据集构建训练集和验证集和测试集；
基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，以及基于所述测试集对训练后的模型进行测试，得到航海雷达图像识别模型；
将待识别的航海雷达图像输入至所述航海雷达图像识别模型，得到船舶识别结果；
其中，所述EfficientNet-S网络模型，包括：特征提取网络和与所述特征提取网络连接的特征融合网络；
特征提取网络包括多层依次连接的SA卷积层以及与最后一层SA卷积层连接的SimAM注意力层；
特征融合网络包括：自顶向下的特征融合结构和自底向上的特征融合结构；
所述自顶向下的特征融合结构包括依次连接的：第一深度可分离卷积层、第一常规卷积层、第一上采样层、第一拼接层、第二深度可分离卷积层、第二常规卷积层、第二上采样层、第二拼接层、第三深度可分离卷积层和第三常规卷积层；
所述自底向上的特征融合结构包括依次连接的：第四常规卷积层、第一下采样层、第三拼接层、第四深度可分离卷积层、第五常规卷积层、第二下采样层、第四拼接层、第五深度可分离卷积层和第六常规卷积层；所述第四常规卷积层还与所述第三常规卷积层连接，所述第三拼接层还与所述第二常规卷积层连接，所述第四拼接层还与所述第一常规卷积层连接。
进一步地，所述特征提取网络还包括分别与所述第四常规卷积层、所述第五常规卷积层和所述第六常规卷积层连接的三个预测通道；
每一所述预测通道基于指标对预测框非极大值进行抑制，以及基于Cluster-IoU函数对预测框进行定位损失计算。
进一步的，所述指标的计算公式如下：其中，P为目标的预测框面积，G为目标的真实框面积，/>表示两框的交集面积，/>表示两框的并集面积，C为预测框和真实框的最小闭合区域面积，/>为第一调整系数，取值范围为0-1，/>为第二调整系数，取值范围为0-1。
进一步地，所述基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，以及基于所述测试集对训练后的模型进行测试，得到航海雷达图像识别模型，包括：
基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，且在训练过程中利用余弦退火学习率衰减方法对训练过程中的学习率衰减过程进行控制，以得到航海雷达图像识别模型。
进一步地，所述基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，且在训练过程中利用余弦退火学习率衰减方法对训练过程中的学习率衰减过程进行控制，以得到航海雷达图像识别模型，包括：
基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，且在训练过程中利用余弦退火学习率衰减方法对训练过程中的学习率衰减过程进行控制，得到初步模型；
基于所述测试集对初步模型的召回率、准确率和精确率进行度量，在召回率、准确率和精确率均满足预设标准的情况下，确定初步模型为识别模型。
进一步地，所述特征提取网络的输出端通过SPP模块与所述自顶向下的特征融合结构的输入端连接；SPP模块包括四层最大池化层。
进一步地，SA卷积层包括依次连接的：第七常规卷积层、第六深度可分离卷积层、SimAM注意力层、第八常规卷积层、随机失活层和第五拼接层。
本发明还提供一种航海雷达图像识别装置，包括：
第一构建模块，用于构建EfficientNet-S网络模型；
第二构建模块，用于构建航海雷达船舶图像数据集，基于所述数据集构建训练集和验证集和测试集；
训练测试模块，用于基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，以及基于所述测试集对训练后的模型进行测试，得到航海雷达图像识别模型；
识别模块，用于将待识别的航海雷达图像输入至所述航海雷达图像识别模型，得到船舶识别结果；
其中，所述EfficientNet-S网络模型，包括：特征提取网络和与所述特征提取网络连接的特征融合网络；
特征提取网络包括多层依次连接的SA卷积层以及与最后一层SA卷积层连接的SimAM注意力层；
特征融合网络包括：自顶向下的特征融合结构和自底向上的特征融合结构；
所述自顶向下的特征融合结构包括依次连接的：第一深度可分离卷积层、第一常规卷积层、第一上采样层、第一拼接层、第二深度可分离卷积层、第二常规卷积层、第二上采样层、第二拼接层、第三深度可分离卷积层和第三常规卷积层；
所述自底向上的特征融合结构包括依次连接的：第四常规卷积层、第一下采样层、第三拼接层、第四深度可分离卷积层、第五常规卷积层、第二下采样层、第四拼接层、第五深度可分离卷积层和第六常规卷积层；所述第四常规卷积层还与所述第三常规卷积层连接，所述第三拼接层还与所述第二常规卷积层连接，所述第四拼接层还与所述第一常规卷积层连接。
本发明还提供一种电子设备，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现如上述任意一项所述的航海雷达图像识别方法中的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的航海雷达图像识别方法。
采用上述实现方式的有益效果是：本发明提供的航海雷达图像识别方法、装置、电子设备及存储介质，基于训练集和验证集对EfficientNet-S网络模型进行训练，以及基于测试集对训练后的模型进行测试，得到航海雷达图像识别模型，利用涵盖多场景、多类型的航海雷达船舶图像数据集进行训练，从而获得更好的船舶识别准确性和鲁棒性。并且EfficientNet-S网络模型是基于深度网络和特征融合的识别算法模型，与传统的基于参照物标定、滤波、模式识别的算法相比，基于深度网络和特征融合的识别算法对光照、背景环境的变化更具有稳健性。此外，本发明可以根据图像背景环境的变化进行自适应训练、学习和调整，从而提高算法的普适性和适应性，解决现有技术中存在的无法对航海雷达图像下船舶目标进行准确识别的问题。通过构建高效的特征提取网络，并对特征融合结构进行轻量化设计，可以在保持对不同类型的船舶高识别准确性的同时，减少计算和存储资源的消耗，从而提高算法的训练、测试和识别效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的航海雷达图像识别方法一实施例的流程图；
图2为本发明提供的特征提取网络的结构图；
图3为本发明提供的特征融合网络的结构图；
图4为本发明提供的EfficientNet-S网络模型的结构图；
图5为本发明提供的三个预测通道的结构图；
图6为本发明提供的SPP模块的结构图；
图7为本发明提供的航海雷达图像识别方法另一实施例的流程图；
图8为本发明提供的航海雷达图像识别装置一实施例的结构图；
图9为本发明提供的电子设备的一个实施例结构示意图。
具体实施方式
下面结合说明书附图和具体的实施例，对本发明作详细描述。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请实施例的描述中，除非另有说明， “多个”的含义是两个或两个以上。
本发明实施例中术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本发明实施例中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相似的技术效果即可。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。
本发明提供了一种航海雷达图像识别方法、装置、电子设备及存储介质，以下分别进行说明。
如图1所示，本发明提供的一种航海雷达图像识别方法，包括：
步骤110、构建EfficientNet-S网络模型；
步骤120、构建航海雷达船舶图像数据集，基于所述数据集构建训练集和验证集和测试集；
步骤130、基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，以及基于所述测试集对训练后的模型进行测试，得到航海雷达图像识别模型；
步骤140、将待识别的航海雷达图像输入至所述航海雷达图像识别模型，得到船舶识别结果；
其中，所述EfficientNet-S网络模型，包括：特征提取网络和与所述特征提取网络连接的特征融合网络；
如图2所示，特征提取网络包括多层依次连接的SA(Situation Awareness，态势感知）卷积层以及与最后一层SA卷积层连接的SimAM注意力层；SimAM注意力层也即无参数的注意力模块。
如图3所示，特征融合网络包括：自顶向下的特征融合结构和自底向上的特征融合结构；
所述自顶向下的特征融合结构包括依次连接的：第一深度可分离卷积层、第一常规卷积层、第一上采样层、第一拼接层、第二深度可分离卷积层、第二常规卷积层、第二上采样层、第二拼接层、第三深度可分离卷积层和第三常规卷积层；
所述自底向上的特征融合结构包括依次连接的：第四常规卷积层、第一下采样层、第三拼接层、第四深度可分离卷积层、第五常规卷积层、第二下采样层、第四拼接层、第五深度可分离卷积层和第六常规卷积层；所述第四常规卷积层还与所述第三常规卷积层连接，所述第三拼接层还与所述第二常规卷积层连接，所述第四拼接层还与所述第一常规卷积层连接。
可以理解的是，本发明提供的EfficientNet-S网络模型，是基于深度网络和轻量化融合结构所组成的网络模型，EfficientNet-S网络模型的结构图如图4所示。
构建基于深度网络的识别算法网络模型EfficientNet-S；具体地，在特征提取网络部分，利用SimAM注意力模块对EfficientNet(B4）网络进行改进，构造出SA-EfficientNet特征提取网络；在特征提取网络之后，连接一个SPP (spatial pyramidpooling，空间金字塔池化）模块；在算法的特征融合结构上，利用深度可分离卷积对PANet网络（路径聚合网络）进行轻量化设计；在算法的预测结构上，改进YOLOv3的预测头结构，设计指标优化预测框非极大值抑制过程，并设计Cluster-IoU函数对预测框的定位损失计算过程进行优化。
对航海雷达图像进行预处理和筛选，构建出航海雷达船舶图像数据集，并划分出训练集、验证集和测试集；
基于训练集、验证集和测试集，对EfficientNet-S进行训练、测试和识别。
在一些实施例中，利用SimAM注意力模块对EfficientNet(B4）网络进行改进，具体为：
将EfficientNet(B4）网络中每个MBConv模块的SE注意力模块替换为SimAM注意力模块，设计出SAConv模块（SA卷积层）；
在最后一个SAConv模块之后连接一个SimAM注意力模块；
构造出SA-EfficientNet特征提取网络。
与现有技术相比，本实施例提供的SA-EfficientNet特征提取网络加入的SimAM注意力模块相较于传统SE注意力模块，具有更快的计算速度和更高的识别准确度。SimAM模块可以在不增加网络参数和计算复杂度的情况下，有效提升网络的特征提取能力，这对于航海雷达图像识别非常关键，可以有效提取小尺度船舶的可利用特征。此外，通过在最后一个SAConv模块之后连接一个SimAM注意力模块，可以进一步提高网络的识别准确率。因此，对于航海雷达图像识别任务，SA-EfficientNet特征提取网络在计算效率和识别精度上都更具优势。
在一些实施例中，所述SimAM注意力模块是一种基于神经科学理论设计能量函数，并将能量函数用于计算注意力模块权重的方法。所述能量函数的具体计算过程如下：其中，/>式中，/>为能量函数，n和/>分别为输入特征张量X的目标神经元和其他神经元，/>，C、H、W分别为特征图的通道数、高度和宽度；i为卷积通道的神经元索引；M为卷积通道的神经元个数；/>和/>分别为神经元变换时的权重和偏置，/>、/>和/>均为超参数。
SimAM注意力模块主要包括两个分支，具体为：
第一分支利用能量函数调整卷积通道权重，第二分支将原始特征图与第一分支输出的卷积通道权重进行融合，并输出调整后的特征图。
在一些实施例中，利用深度可分离卷积对PANet网络进行轻量化设计，构建lightPANet网络（特征融合网络），包括：
在自顶向下的特征融合结构中，在进行上采样操作之前，利用深度可分离卷积对大小的标准卷积进行替换；
在自底向上的特征融合结构中，在进行下采样操作之前，利用深度可分离卷积对大小的标准卷积进行替换；
设计出lightPANet网络，对3个层次的卷积特征进行融合，并包含3个特征输出通道。
与现有技术相比，本实施例提供的lightPANet网络具有轻量化、高效性、多尺度特征融合和端到端训练等优势，适用于轻量化船舶识别任务。具体而言，lightPANet网络使用深度可分离卷积替换标准卷积，减少了网络的参数数量和计算复杂度，使得卷积计算更加高效；并且，该网络通过自顶向下和自底向上的特征融合结构，将不同层次的特征进行融合，提高了整个算法的特征提取效率和识别精度；此外，lightPANet网络能够同时利用不同尺度的特征信息，提高了网络对不同尺度船舶的识别能力。lightPANet网络同样采用端到端的训练方式，能够更好地优化网络参数，提高网络的性能和鲁棒性。
在一些实施例中，所述特征提取网络还包括分别与所述第四常规卷积层、所述第五常规卷积层和所述第六常规卷积层连接的三个预测通道，三个预测通道是改进YOLOv3的预测头结构，如图5所示；
每一所述预测通道基于指标对预测框非极大值进行抑制，以及基于Cluster-IoU函数对预测框进行定位损失计算。
可以理解的是，与特征融合网络中3个特征输出通道分别进行横向连接，构建出3个预测通道。
改进YOLOv3的预测框非极大值抑制策略，具体为：
设计指标优化预测框非极大值抑制过程；
改进YOLOv3的预测框定位损失计算过程，具体为：
设计Cluster-IoU函数对预测框的定位损失计算过程进行优化。
可以理解的是，与现有技术相比，本实施例提供的改进YOLOv3的预测头结构，构建出三个预测通道可以提高多尺度船舶预测的准确性和稳定性。同时，指标通过调整预测框和真实框之间的面积重叠比例和面积非重叠比例，不仅使预测算法更适应不同的识别场景和船舶类型，还可以更全面地评估预测框质量。此外，Cluster-IoU函数能够更精确地度量不同尺度预测框的定位精度，有助于提升识别算法的训练效果，提高模型的鲁棒性。
进一步地，设计Cluster-IoU函数对预测框的定位损失计算过程进行优化，具体为：
基于目标预测框与真实框之间的面积重叠比例和顶点之间的距离度量值，设计出Cluster-IoU函数，具体计算过程如下：
其中，为Cluster-IoU的计算指标；/>为Cluster-IoU函数；P为目标的预测框面积；G为目标的真实框面积；/>表示两框的交集面积，/>表示两框的并集面积，/>为距离调整系数，取值范围为0~1，在本发明中一般取值为0.25；d为预测框和真实框的最小闭合区域的对角线距离，/>为预测框左上角顶点，/>为真实框左上角顶点；/>为预测框右上角顶点，/>为真实框右上角顶点；/>为预测框左下角顶点，/>为真实框左下角顶点；/>为预测框右下角顶点，/>为真实框右下角顶点；/>表示两点之间距离的平方。
在一些实施例中，所述指标的计算公式如下：其中，P为目标的预测框面积，G为目标的真实框面积，/>表示两框的交集面积，/>表示两框的并集面积，C为预测框和真实框的最小闭合区域面积，/>为第一调整系数，取值范围为0-1，/>为第二调整系数，取值范围为0-1。
可以理解的是，综合考虑目标预测框与真实框之间的面积重叠比例和面积非重叠比例设计出指标。
在一些实施例中，所述基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，以及基于所述测试集对训练后的模型进行测试，得到航海雷达图像识别模型，包括：
基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，且在训练过程中利用余弦退火学习率衰减方法对训练过程中的学习率衰减过程进行控制，以得到航海雷达图像识别模型。
在一些实施例中，所述基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，且在训练过程中利用余弦退火学习率衰减方法对训练过程中的学习率衰减过程进行控制，以得到航海雷达图像识别模型，包括：
基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，且在训练过程中利用余弦退火学习率衰减方法对训练过程中的学习率衰减过程进行控制，得到初步模型；
基于所述测试集对初步模型的召回率、准确率和精确率进行度量，在召回率、准确率和精确率均满足预设标准的情况下，确定初步模型为识别模型。
可以理解地是，对EfficientNet-S网络模型进行训练、测试和识别，包括：
在训练过程中，基于训练集图像和验证集图像，得到航海雷达图像识别模型，并引入余弦退火学习率衰减方法对算法训练过程中的学习率衰减过程进行控制；
在测试过程中，基于测试集图像，引入三个评价指标，即召回率、准确率和精确率，对航海雷达图像识别模型进行度量；
在识别过程中，设置置信度阈值和交并比阈值，利用航海雷达图像识别模型对多场景雷达监测图像和视频进行识别。
与现有技术相比，本实施例提供的识别算法EfficientNet-S训练、测试、识别过程通过更合理地划分训练集、验证集和测试集，可以保证算法获得更优的识别性能和泛化能力；并且，通过在算法训练过程中动态地调整学习率，使得算法收敛更加稳定；引入召回率、准确率和精确率等指标对模型进行度量，可以更加全面评估模型的性能；设置合适的置信度阈值和交并比阈值可以对船舶识别结果进行进一步的筛选和优化，提高模型的识别精度和鲁棒性。
在一些实施例中，所述特征提取网络的输出端通过SPP模块与所述自顶向下的特征融合结构的输入端连接；SPP模块包括四层最大池化层，SPP模块的结构图如图6所示。
可以理解的是，在特征提取网络之后，连接一个SPP模块，具体为：
在特征提取网络最后一层卷积之后，将SPP模块拆分成大小为和/>的四层最大池化层；
将四层最大池化层生成的特征向量按照原来的位置进行拼接，输出一个固定大小的特征向量。
与现有技术相比，本实施例提供的SPP模块的结构及连接结构可以在不改变特征图尺寸的情况下，得到具有不同大小感受野的特征图，从而更好地提取船舶目标，尤其是小尺度船舶的特征信息。并且，SPP模块可以对不同尺度的船舶特征进行提取，使得识别算法能够更好地适应不同大小的目标，提高不同类型船舶的识别准确率。
在一些实施例中，SA卷积层包括依次连接的：第七常规卷积层、第六深度可分离卷积层、SimAM注意力层、第八常规卷积层、随机失活层和第五拼接层。
在一些实施例中，对航海雷达图像进行预处理和筛选，构建出航海雷达船舶图像数据集，包括：
从原始航海雷达图像中筛选出包含长尾迹船舶和短尾迹船舶的初始雷达图像；
从初始雷达图像中筛选出包含不同天气条件、海港环境、成像条件的待定雷达图像；
从待定雷达图像中筛选出航海雷达船舶图像数据集。
在一些实施例中，所述划分出训练集、验证集和测试集，具体为：
在航海雷达船舶图像数据集中按照8:1:1的比例划分出训练集、验证集和测试集。
在另一些实施例中，本发明提供的航海雷达图像识别方法的流程如图7所示，与现有技术相比，本发明提供的基于深度网络和轻量化融合结构的航海雷达图像识别方法利用涵盖多场景、多类型的航海雷达船舶图像数据集进行训练，从而获得更好的船舶识别准确性和鲁棒性。并且，与传统的基于参照物标定、滤波、模式识别的算法相比，基于深度网络和特征融合的识别算法对光照、背景环境的变化更具有稳健性。此外，本发明提供的基于深度卷积网络的识别方法可以根据图像背景环境的变化进行自适应训练、学习和调整，从而提高算法的普适性和适应性。通过构建高效的特征提取网络，并对特征融合结构进行轻量化设计，可以在保持对不同类型的船舶高识别准确性的同时，减少计算和存储资源的消耗，从而提高算法的训练、测试和识别效率。
此外，本发明提供的EfficientNet-S网络模型采用了EfficientNet网络的高效卷积架构，能够在相同的计算资源下获得更好的特征提取能力，并且该算法也能够在计算资源受限的情况下取得很好的船舶识别能力。同时，EfficientNet-S利用了SimAM注意力模块来构造出SA-EfficientNet特征提取网络，能够自适应地调整每个特征通道的重要性，从而提高了航海雷达图像中船舶显著特征的表达能力和表示能力。在SA-EfficientNet特征提取网络之后，拼接一个SPP模块，该模块能够在保持特征维度不变的情况下进行不同的池化操作，提高小尺度船舶显著特征的利用效率。EfficientNet-S利用深度可分离卷积对PANet网络进行轻量化设计，减少了网络的参数量和计算量，提高网络训练效率和对船舶特征的提取能力。
更进一步地，本发明摒弃了传统的基于滤波、模式识别的船舶预测方法，通过构建高效的卷积网络实现对航海雷达图像下船舶目标的精确识别。相比于其他方法，本发明可以明显提高航海雷达图像识别精度，减少船舶遗漏识别和错误识别的发生，有利于辅助海事部门实现对目标水域船舶航行情况的实时监管，有效预防可能发生的事故，保障海上安全。
如图8所示，本发明还提供一种航海雷达图像识别装置800，包括：
第一构建模块810，用于构建EfficientNet-S网络模型；
第二构建模块820，用于构建航海雷达船舶图像数据集，基于所述数据集构建训练集和验证集和测试集；
训练测试模块830，用于基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，以及基于所述测试集对训练后的模型进行测试，得到航海雷达图像识别模型；
识别模块840，用于将待识别的航海雷达图像输入至所述航海雷达图像识别模型，得到船舶识别结果；
其中，所述EfficientNet-S网络模型，包括：特征提取网络和与所述特征提取网络连接的特征融合网络；
特征提取网络包括多层依次连接的SA卷积层以及与最后一层SA卷积层连接的SimAM注意力层；
特征融合网络包括：自顶向下的特征融合结构和自底向上的特征融合结构；
所述自顶向下的特征融合结构包括依次连接的：第一深度可分离卷积层、第一常规卷积层、第一上采样层、第一拼接层、第二深度可分离卷积层、第二常规卷积层、第二上采样层、第二拼接层、第三深度可分离卷积层和第三常规卷积层；
所述自底向上的特征融合结构包括依次连接的：第四常规卷积层、第一下采样层、第三拼接层、第四深度可分离卷积层、第五常规卷积层、第二下采样层、第四拼接层、第五深度可分离卷积层和第六常规卷积层；所述第四常规卷积层还与所述第三常规卷积层连接，所述第三拼接层还与所述第二常规卷积层连接，所述第四拼接层还与所述第一常规卷积层连接。
上述实施例提供的航海雷达图像识别装置可实现上述航海雷达图像识别方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述航海雷达图像识别方法实施例中的相应内容，此处不再赘述。
如图9所示，本发明还相应提供了一种电子设备900。该电子设备900包括处理器901、存储器902及显示器903。图9仅示出了电子设备900的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器902在一些实施例中可以是电子设备900的内部存储单元，例如电子设备900的硬盘或内存。存储器902在另一些实施例中也可以是电子设备900的外部存储设备，例如电子设备900上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。
进一步地，存储器902还可既包括电子设备900的内部储存单元也包括外部存储设备。存储器902用于存储安装电子设备900的应用软件及各类数据。
处理器901在一些实施例中可以是一个中央处理器（Central Processing Unit，CPU），微处理器或其他数据处理芯片，用于运行存储器902中存储的程序代码或处理数据，例如本发明中的航海雷达图像识别方法。
显示器903在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器903用于显示在电子设备900的信息以及用于显示可视化的用户界面。电子设备900的部件901-903通过***总线相互通信。
在本发明的一些实施例中，当处理器901执行存储器902中的航海雷达图像识别程序时，可实现以下步骤：
构建EfficientNet-S网络模型；
构建航海雷达船舶图像数据集，基于所述数据集构建训练集和验证集和测试集；
基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，以及基于所述测试集对训练后的模型进行测试，得到航海雷达图像识别模型；
将待识别的航海雷达图像输入至所述航海雷达图像识别模型，得到船舶识别结果；
其中，所述EfficientNet-S网络模型，包括：特征提取网络和与所述特征提取网络连接的特征融合网络；
特征提取网络包括多层依次连接的SA卷积层以及与最后一层SA卷积层连接的SimAM注意力层；
特征融合网络包括：自顶向下的特征融合结构和自底向上的特征融合结构；
所述自顶向下的特征融合结构包括依次连接的：第一深度可分离卷积层、第一常规卷积层、第一上采样层、第一拼接层、第二深度可分离卷积层、第二常规卷积层、第二上采样层、第二拼接层、第三深度可分离卷积层和第三常规卷积层；
所述自底向上的特征融合结构包括依次连接的：第四常规卷积层、第一下采样层、第三拼接层、第四深度可分离卷积层、第五常规卷积层、第二下采样层、第四拼接层、第五深度可分离卷积层和第六常规卷积层；所述第四常规卷积层还与所述第三常规卷积层连接，所述第三拼接层还与所述第二常规卷积层连接，所述第四拼接层还与所述第一常规卷积层连接。
应当理解的是：处理器901在执行存储器902中的航海雷达图像识别程序时，除了上面的功能之外，还可实现其他功能，具体可参见前面相应方法实施例的描述。
进一步地，本发明实施例对提及的电子设备900的类型不作具体限定，电子设备900可以为手机、平板电脑、个人数字助理（personal digitalassistant，PDA）、可穿戴设备、膝上型计算机（laptop）等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载IOS、android、microsoft或者其他操作***的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面（例如触控面板）的膝上型计算机（laptop）等。还应当理解的是，在本发明其他一些实施例中，电子设备900也可以不是便携式电子设备，而是具有触敏表面（例如触控面板）的台式计算机。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的航海雷达图像识别方法，该方法包括：
构建EfficientNet-S网络模型；
构建航海雷达船舶图像数据集，基于所述数据集构建训练集和验证集和测试集；
基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，以及基于所述测试集对训练后的模型进行测试，得到航海雷达图像识别模型；
将待识别的航海雷达图像输入至所述航海雷达图像识别模型，得到船舶识别结果；
其中，所述EfficientNet-S网络模型，包括：特征提取网络和与所述特征提取网络连接的特征融合网络；
特征提取网络包括多层依次连接的SA卷积层以及与最后一层SA卷积层连接的SimAM注意力层；
特征融合网络包括：自顶向下的特征融合结构和自底向上的特征融合结构；
所述自顶向下的特征融合结构包括依次连接的：第一深度可分离卷积层、第一常规卷积层、第一上采样层、第一拼接层、第二深度可分离卷积层、第二常规卷积层、第二上采样层、第二拼接层、第三深度可分离卷积层和第三常规卷积层；
所述自底向上的特征融合结构包括依次连接的：第四常规卷积层、第一下采样层、第三拼接层、第四深度可分离卷积层、第五常规卷积层、第二下采样层、第四拼接层、第五深度可分离卷积层和第六常规卷积层；所述第四常规卷积层还与所述第三常规卷积层连接，所述第三拼接层还与所述第二常规卷积层连接，所述第四拼接层还与所述第一常规卷积层连接。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，程序可存储于计算机可读存储介质中。其中，计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上对本发明所提供的航海雷达图像识别方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种航海雷达图像识别方法，其特征在于，步骤包括：
构建EfficientNet-S网络模型；
构建航海雷达船舶图像数据集，基于航海雷达船舶图像数据集构建训练集、验证集和测试集；
基于所述训练集和验证集对所述EfficientNet-S网络模型进行训练，以及基于所述测试集对训练后的模型进行测试，得到航海雷达图像识别模型；
将待识别的航海雷达图像输入至所述航海雷达图像识别模型，得到船舶识别结果；
其中，所述EfficientNet-S网络模型，包括：特征提取网络和与所述特征提取网络连接的特征融合网络；
所述特征提取网络包括多层依次连接的SA卷积层以及与最后一层SA卷积层连接的SimAM注意力层；
所述特征融合网络包括：自顶向下的特征融合结构和自底向上的特征融合结构；
所述自顶向下的特征融合结构包括依次连接的：第一深度可分离卷积层、第一常规卷积层、第一上采样层、第一拼接层、第二深度可分离卷积层、第二常规卷积层、第二上采样层、第二拼接层、第三深度可分离卷积层和第三常规卷积层；
所述自底向上的特征融合结构包括依次连接的：第四常规卷积层、第一下采样层、第三拼接层、第四深度可分离卷积层、第五常规卷积层、第二下采样层、第四拼接层、第五深度可分离卷积层和第六常规卷积层；所述第四常规卷积层还与所述第三常规卷积层连接，所述第三拼接层还与所述第二常规卷积层连接，所述第四拼接层还与所述第一常规卷积层连接。
2.根据权利要求1所述的一种航海雷达图像识别方法，其特征在于，所述特征提取网络还包括分别与所述第四常规卷积层、所述第五常规卷积层和所述第六常规卷积层连接的三个预测通道；
每一所述预测通道基于指标对预测框非极大值进行抑制，以及基于Cluster-IoU函数对预测框进行定位损失计算。
3.根据权利要求2所述的一种航海雷达图像识别方法，其特征在于，所述指标的计算公式如下：/>其中，P为目标的预测框面积，G为目标的真实框面积，/>表示两框的交集面积，/>表示两框的并集面积，C为预测框和真实框的最小闭合区域面积，/>为第一调整系数，取值范围为0-1，/>为第二调整系数，取值范围为0-1。
4.根据权利要求1所述的一种航海雷达图像识别方法，其特征在于，基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，以及基于所述测试集对训练后的模型进行测试，得到航海雷达图像识别模型，包括：
基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，且在训练过程中利用余弦退火学习率衰减方法对训练过程中的学习率衰减过程进行控制，以得到航海雷达图像识别模型。
5.根据权利要求1所述的一种航海雷达图像识别方法，其特征在于，基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，且在训练过程中利用余弦退火学习率衰减方法对训练过程中的学习率衰减过程进行控制，以得到航海雷达图像识别模型，包括：
基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，且在训练过程中利用余弦退火学习率衰减方法对训练过程中的学习率衰减过程进行控制，得到初步模型；
基于所述测试集对初步模型的召回率、准确率和精确率进行度量，在召回率、准确率和精确率均满足预设标准的情况下，确定初步模型为识别模型。
6.根据权利要求1所述的一种航海雷达图像识别方法，其特征在于，所述特征提取网络的输出端通过SPP模块与所述自顶向下的特征融合结构的输入端连接；所述SPP模块包括四层最大池化层。
7.根据权利要求1-6任一项所述的航海雷达图像识别方法，其特征在于，所述SA卷积层包括依次连接的：第七常规卷积层、第六深度可分离卷积层、SimAM注意力层、第八常规卷积层、随机失活层和第五拼接层。
8.一种航海雷达图像识别装置，其特征在于，包括：
第一构建模块，用于构建EfficientNet-S网络模型；
第二构建模块，用于构建航海雷达船舶图像数据集，基于所述数据集构建训练集和验证集和测试集；
训练测试模块，用于基于所述训练集和所述验证集对所述EfficientNet-S网络模型进行训练，以及基于所述测试集对训练后的模型进行测试，得到航海雷达图像识别模型；
识别模块，用于将待识别的航海雷达图像输入至所述航海雷达图像识别模型，得到船舶识别结果；
其中，所述EfficientNet-S网络模型，包括：特征提取网络和与所述特征提取网络连接的特征融合网络；
特征提取网络包括多层依次连接的SA卷积层以及与最后一层SA卷积层连接的SimAM注意力层；
特征融合网络包括：自顶向下的特征融合结构和自底向上的特征融合结构；
所述自顶向下的特征融合结构包括依次连接的：第一深度可分离卷积层、第一常规卷积层、第一上采样层、第一拼接层、第二深度可分离卷积层、第二常规卷积层、第二上采样层、第二拼接层、第三深度可分离卷积层和第三常规卷积层；
所述自底向上的特征融合结构包括依次连接的：第四常规卷积层、第一下采样层、第三拼接层、第四深度可分离卷积层、第五常规卷积层、第二下采样层、第四拼接层、第五深度可分离卷积层和第六常规卷积层；所述第四常规卷积层还与所述第三常规卷积层连接，所述第三拼接层还与所述第二常规卷积层连接，所述第四拼接层还与所述第一常规卷积层连接。
9.一种电子设备，其特征在于，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现如权利要求1至7中任意一项所述的航海雷达图像识别方法中的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的航海雷达图像识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410424767.0A CN118015477B (zh) | 2024-04-10 | 2024-04-10 | 一种航海雷达图像识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410424767.0A CN118015477B (zh) | 2024-04-10 | 2024-04-10 | 一种航海雷达图像识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118015477A CN118015477A (zh) | 2024-05-10 |
| CN118015477B true CN118015477B (zh) | 2024-06-04 |
Family
ID=90944922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410424767.0A Active CN118015477B (zh) | 2024-04-10 | 2024-04-10 | 一种航海雷达图像识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118015477B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569667A (zh) * | 2021-07-09 | 2021-10-29 | 武汉理工大学 | 基于轻量级神经网络模型的内河船舶目标识别方法及*** |
| CN114937201A (zh) * | 2022-07-04 | 2022-08-23 | 中国海洋大学三亚海洋研究院 | 一种海洋生物目标检测算法模型的搭建方法及识别方法 |
| WO2023077816A1 (zh) * | 2021-11-03 | 2023-05-11 | 中国华能集团清洁能源技术研究院有限公司 | 边界优化的遥感图像语义分割方法、装置、设备及介质 |
| CN117333753A (zh) * | 2023-09-22 | 2024-01-02 | 淮阴工学院 | 基于pd-yolo的火灾检测方法 |
-
2024
- 2024-04-10 CN CN202410424767.0A patent/CN118015477B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569667A (zh) * | 2021-07-09 | 2021-10-29 | 武汉理工大学 | 基于轻量级神经网络模型的内河船舶目标识别方法及*** |
| WO2023077816A1 (zh) * | 2021-11-03 | 2023-05-11 | 中国华能集团清洁能源技术研究院有限公司 | 边界优化的遥感图像语义分割方法、装置、设备及介质 |
| CN114937201A (zh) * | 2022-07-04 | 2022-08-23 | 中国海洋大学三亚海洋研究院 | 一种海洋生物目标检测算法模型的搭建方法及识别方法 |
| CN117333753A (zh) * | 2023-09-22 | 2024-01-02 | 淮阴工学院 | 基于pd-yolo的火灾检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118015477A (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113569667B (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及*** | |
| CN109784278B (zh) | 基于深度学习的海上弱小运动船舶实时检测方法 | |
| Wang et al. | Ship detection based on fused features and rebuilt YOLOv3 networks in optical remote-sensing images | |
| CN113487600B (zh) | 一种特征增强尺度自适应感知船舶检测方法 | |
| Han et al. | KCPNet: Knowledge-driven context perception networks for ship detection in infrared imagery | |
| CN115546650A (zh) | 基于yolo-v网络的检测遥感影像中舰船方法 | |
| Shaodan et al. | A ship target location and mask generation algorithms base on Mask RCNN | |
| Zhang et al. | A object detection and tracking method for security in intelligence of unmanned surface vehicles | |
| Yi et al. | Research on Underwater small target Detection Algorithm based on improved YOLOv7 | |
| CN115223009A (zh) | 基于改进型YOLOv5的小目标检测方法及装置 | |
| Kong et al. | Lightweight algorithm for multi-scale ship detection based on high-resolution SAR images | |
| Xiao et al. | FDLR-Net: A feature decoupling and localization refinement network for object detection in remote sensing images | |
| Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
| Li et al. | Efficient detection in aerial images for resource-limited satellites | |
| Si et al. | Maritime ship detection method for satellite images based on multiscale feature fusion | |
| Chen et al. | Orientation-aware ship detection via a rotation feature decoupling supported deep learning approach | |
| Zhou et al. | A fusion algorithm of object detection and tracking for unmanned surface vehicles | |
| Zhao et al. | Multitask learning for SAR ship detection with Gaussian-mask joint segmentation | |
| CN114140753A (zh) | 一种海洋船舶识别的方法、装置及*** | |
| Zou et al. | Maritime target detection of intelligent ship based on faster R-CNN | |
| CN118015477B (zh) | 一种航海雷达图像识别方法、装置、电子设备及存储介质 | |
| CN117372829A (zh) | 海上船舶目标识别方法、装置、电子设备及可读介质 | |
| CN116824317A (zh) | 一种基于多尺度特征自适应融合的水上红外目标检测方法 | |
| Chen et al. | SAR ship detection under complex background based on attention mechanism | |
| Cai et al. | FE-YOLO: YOLO ship detection algorithm based on feature fusion and feature enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |