CN116797938A - 一种基于对比学习预训练的sar舰船分类方法 - Google Patents

一种基于对比学习预训练的sar舰船分类方法 Download PDF

Info

Publication number
CN116797938A
CN116797938A CN202310567081.2A CN202310567081A CN116797938A CN 116797938 A CN116797938 A CN 116797938A CN 202310567081 A CN202310567081 A CN 202310567081A CN 116797938 A CN116797938 A CN 116797938A
Authority
CN
China
Prior art keywords
layer
training
convolution
input
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310567081.2A
Other languages
English (en)
Inventor
王英华
张超
刘宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202310567081.2A priority Critical patent/CN116797938A/zh
Publication of CN116797938A publication Critical patent/CN116797938A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于对比学习预训练的SAR舰船分类方法，包括：构建特征融合网络，特征融合网络包括依次连接的特征提取模块、第一特征融合模块和第二特征融合模块；构建以特征融合网络为特征提取网络的SimCLR对比学习网络框架；获取多组mat格式训练数据集和多组JPG格式图片训练数据集，并将多组JPG图片训练数据集分别输入SimCLR网络框架中进行训练，获得多组预训练模型；将多组预训练模型的参数加载到特征融合网络中，并利用多组mat格式训练数据集进行进一步训练，获得训练后的特征融合网络；将待分类的原始SAR图片输入至训练后的特征融合网络中，获得分类结果。本发明使用无监督对比学习获得预训练模型并结合特征融合网络，提升了舰船分类性能。

Description

一种基于对比学习预训练的SAR舰船分类方法
技术领域
本发明属于图像目标分类技术领域，具体涉及一种基于对比学习预训练的SAR舰船分类方法。
背景技术
自SAR(Synthetic Aperture Radar，合成孔径雷达)于20世纪50年代问世以来，SAR图像目标分类技术也在飞速发展。在基于机器学习的SAR图像舰船目标分类中，Ji等人提取了舰船的RCS(Radar Cross Section，雷达散射截面积)统计特征中的位置特征参数(均值、方差和极差)、分布特征参数(偏度系数、峰度系数)、分布分析(概率密度函数、累计分布函数)和百分概率值分布(10％概率值、50％概率值和90％概率值)并使用BP神经网络实现了舰船图像的分类。在基于深度学习的SAR图像舰船目标分类中，主要是通过使用卷积神经网络提取SAR图像的特征进行分类，卷积神经网络开始于1998年的LeNet-5网络，实现了手写数字识别的功能，兴起于2012年Alex于ImageNet图像分类比赛上提出的AlexNet网络，后来不断出现新的经典网络(如VGG、GoogLeNet和ResNet等)都被应用到了SAR图像舰船目标分类中。
申请号为CN201911238758.8，专利名称为“基于深度密集连接和度量学习的SAR舰船目标识别方法”的发明专利提出了一种基于深度密集连接网络和度量学习的SAR舰船目标识别方法，该方法基于度量学习的思想，通过三元组网络获取同类样本和异类样本的深度特征，通过优化损失函数拉近在特征空间中同类样本的距离，推远异类样本的距离。其中三元组网络中的特征提取网络是改进后的DenseNet网络，损失函数是将交叉熵损失函数、三元组损失函数和Fisher判别正则项加权联合起来的联合损失函数。该发明专利对特征提取网络DenseNet和损失函数的改进，一定程度上提升了分类结果。但由于网络的参数量大，训练比较耗时，而且该方法只使用到了深层特征，比较抽象，忽视了图像中存在的纹理信息等特征，故该方法的结果仍然有提升空间。
目前SAR图像舰船目标分类方法主要是使用卷积神经网络提取到图像的深层特征进行分类，训练方式通常是从头训练。一方面，深层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差；浅层特征分辨率更高，包括更多位置、细节信息，仅使用深层特征进行分类没有充分利用到浅层特征。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于对比学习预训练的SAR舰船分类方法。本发明要解决的技术问题通过以下技术方案实现：
本发明提供了一种基于对比学习预训练的SAR舰船分类方法，包括：
S1：构建特征融合网络，所述特征融合网络包括依次连接的特征提取模块、第一特征融合模块和第二特征融合模块，其中，所述特征提取模块用于对输入的SAR图像进行初步特征提取，获取所述SAR图像的浅层特征和深层特征；所述第一特征融合模块用于实现从所述深层特征向所述浅层特征的融合，获得融合后的浅层特征；所述第二特征融合模块用于实现从所述融合后的浅层特征向所述深层特征的继续融合，并输出图像类别概率；
S2：构建以所述特征融合网络为特征提取网络的SimCLR对比学习网络框架，所述SimCLR对比学习网络框架包括级联的特征提取网络和特征映射网络；
S3：获取多组mat格式训练数据集和多组JPG格式图片训练数据集，并将所述多组JPG图片训练数据集分别输入所述SimCLR对比学习网络框架中进行训练，获得多组预训练模型；
S4：将所述多组预训练模型的参数加载到所述特征融合网络中，并利用所述多组mat格式训练数据集对所述特征融合网络进行进一步训练，获得训练后的特征融合网络；
S5：将待分类的原始SAR图片输入至训练后的特征融合网络中，获得分类结果。
在本发明的一个实施例中，所述特征提取模块包括依次连接的第一卷积层CO1、第一批归一化层B1、第一激活函数层R1、第二卷积层CO2、第二批归一化层B2，第二激活函数层R2、第一密集连接和过渡模块M1、第二密集连接和过渡模块M2、第三密集连接和过渡模块M3以及第四密集连接和过渡模块M4。
在本发明的一个实施例中，所述第一密集连接和过渡模块M1、所述第二密集连接和过渡模块M2、所述第三密集连接和过渡模块M3以及所述第四密集连接和过渡模块M4的结构均相同，均包括级联的密集连接单元和过渡单元，其中，
所述密集连接单元包括串联的四个子单元，每个子单元包括一个批归一化层、一个激活函数层、一个卷积层以及一个拼接层，并且前一个子单元的输入和输出拼接后作为后一个子单元的输入，最后一个子单元的输入和输出拼接后作为该密集连接单元的输出；
所述过渡单元包括依次连接的一个批归一化层、一个激活函数层、一个卷积层和一个池化层。
在本发明的一个实施例中，所述第一特征融合模块包括第一反卷积层T1、第一拼接层CA1、第三卷积层CO3、第二反卷积层T2、第二拼接层CA2、第四卷积层CO4、第三反卷积层T3、第三拼接层CA3、第五卷积层CO5、第四反卷积层T4、第四拼接层CA4和第六卷积层CO6，其中，
所述第一反卷积层T1的输入连接所述第四密集连接和过渡模块M4的输出，所述第一拼接层CA1的两个输入分别连接所述第三密集连接和过渡模块M3的输出和所述第一反卷积层T1的输出，所述第一拼接层CA1的输出连接所述第三卷积层CO3的输入；所述第二反卷积层T2的输入连接所述第三卷积层CO3的输出，所述第二拼接层CA2的两个输入分别连接所述第二密集连接和过渡模块M2的输出和所述第二反卷积层T2的输出，所述第二拼接层CA2的输出连接所述第四卷积层CO4的输入；所述第三反卷积层T3的输入连接所述第四卷积层CO4的输出，所述第三拼接层CA3的两个输入分别连接所述第一密集连接和过渡模块M1的输出和所述第三反卷积层T3的输出，所述第三拼接层CA3的输出连接所述第五卷积层CO5的输入；所述第四反卷积层T4的输入连接所述第五卷积层CO5的输出，所述第四拼接层CA4的两个输入分别连接所述第二激活函数层R2的输出和所述第四反卷积层T4的输出，所述第四拼接层CA4的输出连接所述第六卷积层CO6的输入。
在本发明的一个实施例中，所述第二特征融合模块包括第七卷积层CO7、第三批归一化层B3、第三激活函数层R3、第一池化层P1、第五拼接层CA5、第八卷积层CO8、第四批归一化层B4、第四激活函数层R4、第二池化层P2、第六拼接层CA6、第九卷积层CO9、第五批归一化层B5、第五激活函数层R5、第三池化层P3、第七拼接层CA7、第十卷积层CO10、第六批归一化层B6、第六激活函数层R6、第四池化层P4、第八拼接层CA8、第十一卷积层CO11、第七批归一化层B7、第七激活函数层R7、第五池化层P5、第八批归一化层B8、第八激活函数层R8、第六池化层P6、展平层FL、第一全连接层FC1和第二全连接层FC2，其中，
所述第七卷积层CO7、所述第三批归一化层B3、所述第三激活函数层R3和所述第一池化层P1依次级联，且所述第七卷积层CO7的输入连接所述第六卷积层CO6的输出，所述第一池化层P1的输出与所述第五卷积层CO5的输出连接所述第五拼接层CA5的输入；所述第八卷积层CO8、所述第四批归一化层B4、所述第四激活函数层R4和所述第二池化层P2依次级联，且所述第八卷积层CO8的输入连接所述第五拼接层CA5的输出，所述第二池化层P2的输出与所述第四卷积层CO4的输出连接所述第六拼接层CA6的输入；
所述第九卷积层CO9、所述第五批归一化层B5、所述第五激活函数层R5和所述第三池化层P3依次级联，并且所述第九卷积层CO9的输入连接所述第六拼接层CA6的输出，所述第三池化层P3的输出与所述第三卷积层CO3的输出连接所述第七拼接层CA7的输入；所述第十卷积层CO10、所述第六批归一化层B6、所述第六激活函数层R6和所述第四池化层P4依次级联，并且所述第十卷积层CO10的输入连接第七拼接层CA7的输出，所述第四池化层P4的输出与所述第四密集连接和过渡模块M4的输出连接所述第八拼接层CA8的输入；所述第十一卷积层CO11、所述第七批归一化层B7、所述第七激活函数层R7和所述第五池化层P5依次连接，所述第十一卷积层CO11的输入连接所述第八拼接层CA8的输出，所述第五池化层P5的输出依次连接所述第八批归一化层B8、所述第八激活函数层R8、所述第六池化层P6、所述展平层FL、所述第一全连接层FC1和所述第二全连接层FC2。
在本发明的一个实施例中，所述特征映射网络为多层感知机，包括依次级联的第三全连接层FC3、第九激活函数层R9和第四全连接层FC4，并且所述第三全连接层FC3的输入连接所述第二全连接层FC2的输出。
在本发明的一个实施例中，所述S3包括：
S3.1：对OpenSARShip数据集按照8:2的比例进行5次训练集和测试集的划分得到5份训练集{φ1,φ2,φ3,φ4,φ5}和对应的5份测试集{t1,t2,t3,t4,t5}，并将训练集{φ1,φ2,φ3,φ4,φ5}进行数据扩充和裁剪得到训练集{Φ1,Φ2,Φ3,Φ4,Φ5}，将测试集{t1,t2,t3,t4,t5}进行裁剪得到测试集{T1,T2,T3,T4,T5}，将mat格式训练集{Φ1,Φ2,Φ3,Φ4,Φ5}转换为JPG格式图片训练集{Φ1',Φ2',Φ3',Φ4',Φ5'}；
S3.2：将所述JPG格式图片数据集{Φ1',Φ2',Φ3',Φ4',Φ5'}输入至所述SimCLR对比学习框架中进行预训练，得到预训练模型{ψ'1,ψ'2,ψ'3,ψ'4,ψ'5}，所使用的损失函数为对比损失：
其中，zi表示训练数据集中的第i条训练数据经过特征提取和特征映射得到的特征向量，zj表示训练数据集中的第j条训练数据经过特征提取和特征映射得到的特征向量，si,j表示第i条训练数据与第j条训练数据的特征向量的相似度，l(i,j)表示经过函数变换之后的特征向量相似度，τ表示温度系数，L表示一个含N个样本的数据中所有由每一个样本经过数据增强得到的样本对的相似度的平均值。在计算过程中，对于N个样本的数据中的第k个样本，通过随机裁剪并缩放和高斯模糊两种数据增强方式得到数据增强后2N个样本的数据中的第2k-1和第2k个样本。
在本发明的一个实施例中，所述S4包括：
将所述预训练模型{ψ'1,ψ'2,ψ'3,ψ'4,ψ'5}中每一个预训练模型的参数加载到所述特征融合网络ψ中，将与所述JPG格式图片数据集{Φ1',Φ2',Φ3',Φ4',Φ5'}对应的mat格式数据集{Φ1,Φ2,Φ3,Φ4,Φ5}输入到所述特征融合网络ψ中进行微调训练，获得训练后的特征融合网络。
与现有技术相比，本发明的有益效果有：
1、本发明基于对比学习预训练的SAR舰船分类方法使用无监督对比学习获得预训练模型，通过使用一个简单的SimCLR框架实现无监督对比学习，无需标签信息就能使得网络获得较好的特征提取能力；使用加载预训练模型微调的方法，相较于直接训练能获得更优的网络参数，网络收敛的速度变得更快，分类准确率也变得更高。
2、本发明使用了结合路径聚合网络(Path Aggregation Network，PANet)的双向特征融合结构的卷积神经网络，将浅层特征和深层特征结合起来，提高了卷积神经网络的图像特征提取能力和分类准确率。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于对比学习预训练的SAR舰船分类方法的流程图；
图2是本发明实施例提供的一种特征融合网络的网络框架结构图；
图3是本发明实施例提供的一种密集连接单元的结构示意图；
图4是本发明实施例提供的一种过渡单元的结构示意图；
图5是本发明实施例提供的一种SimCLR对比学习网络框架的结构示意图；
图6是本发明实施例所使用的三类SAR舰船图像；
图7是本发明实施例对比实验所使用的基于三元组网络和Fisher判别准则的密集连接网络的结构示意图；
图8是本发明实施例在三类SAR舰船图像上的TriDenseNet和改进网络加载预训练模型微调的学习曲线图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的基于对比学习预训练的SAR舰船分类方法进行详细说明。
有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包括，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
请参见图1，图1是本发明实施例提供的一种基于对比学习预训练的SAR舰船分类方法的流程图。该SAR舰船分类方法包括如下步骤：
S1：构建结合PANet和DenseNet的特征融合网络ψ，该特征融合网络ψ包括依次连接的特征提取模块、第一特征融合模块和第二特征融合模块，其中，所述特征提取模块用于对输入的SAR图像进行初步特征提取，获取所述SAR图像的浅层特征和深层特征；所述第一特征融合模块用于实现从所述深层特征向所述浅层特征的融合，获得融合后的浅层特征；所述第二特征融合模块用于实现从所述融合后的浅层特征向所述深层特征的继续融合，并输出图像类别概率。
请参见图2，图2是本发明实施例提供的一种特征融合网络的网络框架结构图。本实施例的特征提取模块包括两层卷积层、两层批归一化层、两层激活函数层和四层密集连接模块，具体地，该特征提取模块包括依次连接的第一卷积层CO1、第一批归一化层B1、第一激活函数层R1、第二卷积层CO2、第二批归一化层B2，第二激活函数层R2、第一密集连接和过渡模块M1、第二密集连接和过渡模块M2、第三密集连接和过渡模块M3以及第四密集连接和过渡模块M4。
进一步地，第一密集连接和过渡模块M1、第二密集连接和过渡模块M2、第三密集连接和过渡模块M3以及第四密集连接和过渡模块M4的结构均相同，均包括级联的密集连接单元和过渡模块单元，请参见图3和图4，图3是本发明实施例提供的一种密集连接单元的结构示意图；图4是本发明实施例提供的一种过渡单元的结构示意图。密集连接单元包括串联的四个子单元，每个子单元包括一个批归一化层、一个激活函数层、一个卷积层以及一个拼接层，并且前一个子单元的输入和输出拼接后作为后一个子单元的输入，最后一个子单元的输入和输出拼接后作为该密集连接单元的输出；过渡单元包括依次连接的一个批归一化层、一个激活函数层、一个卷积层和一个池化窗口。
在本实施例中，所述特征提取模块的输入为即待分类的SAR图片，其各层的输入、输出和参数设置及关系如下：
第一卷积层CO1，其卷积核K1的窗口大小为3×3，滑动步长S1为1，用于输出1个特征图该层作为第一批归一化层B1的输入；第一批归一化层B1，其归一化方式为/>(其中，x为批归一化层输入的一批特征图，μ为该一批特征图对应位置所有元素的均值，σ2为该一批特征图对应位置所有元素的方差，ε是一个特别小的数，防止分母为0)，用于输出32个特征图/>该层作为第一激活函数层R1的输入；第一激活函数层R1，其激活函数为ReLU函数，用于输出32个权重特征图/>作为第二卷积层CO2的输入；第二卷积层CO2，其卷积核K2的窗口大小为3×3，滑动步长S2为1，用于输出32个特征图/>该层作为第二批归一化层B2的输入；第二批归一化层B2，其归一化方式为/>用于输出32个特征图/>该层作为第二激活函数层R2的输入；第二激活函数层R2，其激活函数为ReLU函数，用于输出32个权重特征图作为第一密集连接和过渡模块M1的输入。
第一密集连接和过渡模块M1，包括一个密集连接单元和一个过渡单元的级联，其中，密集连接单元包括串联的四个子单元，每个子单元包括一个批归一化层、一个激活函数层、一个卷积核大小为3×3×6且步长为1的卷积层以及一个拼接层，并且前一个子单元的输入和输出在拼接层进行拼接后作为后一个子单元的输入，最后一个子单元的输入和输出拼接后作为该密集连接单元的输出。所述过渡单元包括依次连接的一个批归一化层、一个激活函数层、一个卷积核大小为3×3×56且步长为1的卷积层和一个池化窗口。该第一密集连接和过渡模块M1用于输出56个特征图该层作为第二密集连接和过渡模块M2的输入。
第二密集连接和过渡模块M2，包括级联的一个密集连接单元和一个过渡单元，其中，该密集连接单元包括四个串联的子单元，每个子单元包括串联的一个批归一化层、一个激活函数层、一个卷积核大小为3×3×12且步长为1的卷积层和一个拼接层，过渡单元包括串联的一个批归一化层、一个激活函数层、一个卷积核大小为3×3×104且步长为1的卷积操作和一个池化窗口。该第二密集连接和过渡模块M2用于输出104个特征图该层作为第三密集连接和过渡模块M3的输入。
类似的，第三密集连接和过渡模块M3包括级联的一个密集连接单元和一个过渡单元，其中，该密集连接单元包括四个子单元，每个子单元包括串联的一个批归一化层、一个激活函数层、一个卷积核大小为3×3×18且步长为1的卷积层以及一个拼接层，该过渡单元包括串联的一个批归一化层、一个激活函数层、一个卷积核大小为3×3×176且步长为1的卷积层和一个池化窗口，该第三密集连接和过渡模块M3用于输出176个特征图该层作为第四密集连接和过渡模块M4的输入。
第四密集连接和过渡模块M4，包括级联的一个密集连接单元和一个过渡单元，其中，该密集连接单元包括四个子单元，每个子单元包括串联的一个批归一化层、一个激活函数层、一个卷积核大小为3×3×24且步长为1的卷积层以及一个拼接层，该过渡单元包括串联的一个批归一化层、一个激活函数层、一个卷积核大小为3×3×272且步长为1的卷积层和一个池化窗口，该第四密集连接和过渡模块M4用于输出272个特征图该层作为第一特征融合模块的输入。
继续参见图2，本实施例的第一特征融合模块包括四个反卷积层(TransposeConvolution)、四个拼接层和四个卷积层。具体地，该第一特征融合模块包括第一反卷积层T1、第一拼接层CA1、第三卷积层CO3、第二反卷积层T2、第二拼接层CA2、第四卷积层CO4、第三反卷积层T3、第三拼接层CA3、第五卷积层CO5、第四反卷积层T4、第四拼接层CA4和第六卷积层CO6，其中，第一反卷积层T1的输入连接第四密集连接和过渡模块M4的输出，第一拼接层CA1的两个输入分别连接第三密集连接和过渡模块M3的输出和第一反卷积层T1的输出，第一拼接层CA1的输出连接第三卷积层CO3的输入；第二反卷积层T2的输入连接第三卷积层CO3的输出，第二拼接层CA2的两个输入分别连接第二密集连接和过渡模块M2的输出和第二反卷积层T2的输出，第二拼接层CA2的输出连接第四卷积层CO4的输入；第三反卷积层T3的输入连接第四卷积层CO4的输出，第三拼接层CA3的两个输入分别连接第一密集连接和过渡模块M1的输出和第三反卷积层T3的输出，第三拼接层CA3的输出连接第五卷积层CO5的输入；第四反卷积层T4的输入连接第五卷积层CO5的输出，第四拼接层CA4的两个输入分别连接第二激活函数层R2的输出和第四反卷积层T4的输出，第四拼接层CA4的输出连接第六卷积层CO6的输入。
具体地，所述第一特征融合模块的输入为即第四密集连接和过渡模块M4的输出，j＝1,2…272，其各层的输入、输出和参数设置及关系如下：
第一反卷积层T1，其卷积核TK1的窗口大小为4×4，滑动步长TS1为2，用于输出176个特征图该层作为第一拼接层CA1的输入；第一拼接层CA1，其拼接维度为通道维，用于输出352个特征图/>该层作为第三卷积层CO3的输入；第三卷积层CO3，其卷积核K3的窗口大小为3×3，滑动步长S3为1，用于输出176个特征图该层作为第二反卷积层T2的输入。
第二反卷积层T2，其卷积核TK2的窗口大小为4×4，滑动步长TS2为2，用于输出104个特征图该层作为第二拼接层CA2的输入；第二拼接层CA2，其拼接维度为通道维，用于输出208个特征图/>该层作为第四卷积层CO4的输入；第四卷积层CO4，其卷积核K4的窗口大小为3×3，滑动步长S4为1，用于输出104个特征图该层作为第三反卷积层T3的输入。
第三反卷积层T3，其卷积核TK3的窗口大小为4×4，滑动步长TS3为2，用于输出56个特征图该层作为第三拼接层CA3的输入；第三拼接层CA3，其拼接维度为通道维，用于输出112个特征图/>该层作为第五卷积层CO5的输入；第五卷积层CO5，其卷积核K5的窗口大小为3×3，滑动步长S5为1，用于输出56个特征图该层作为第四反卷积层T4的输入。
第四反卷积层T4，其卷积核TK4的窗口大小为4×4，滑动步长TS4为2，用于输出32个特征图该层作为第四拼接层CA4的输入；第四拼接层CA4，其拼接维度为通道维，用于输出64个特征图/>该层作为第六卷积层CO6的输入；第六卷积层CO6，其卷积核K6的窗口大小为3×3，滑动步长S6为1，用于输出32个特征图该层作为所述第二特征融合模块的输入。
进一步地，本实施例的第二特征融合模块包括五个卷积层、六个批归一化层、六个激活函数层、六个池化层、四个拼接层、一个展平层和两个全连接层。具体地，本实施例的第二特征融合模块包括第七卷积层CO7、第三批归一化层B3、第三激活函数层R3、第一池化层P1、第五拼接层CA5、第八卷积层CO8、第四批归一化层B4、第四激活函数层R4、第二池化层P2、第六拼接层CA6、第九卷积层CO9、第五批归一化层B5、第五激活函数层R5、第三池化层P3、第七拼接层CA7、第十卷积层CO10、第六批归一化层B6、第六激活函数层R6、第四池化层P4、第八拼接层CA8、第十一卷积层CO11、第七批归一化层B7、第七激活函数层R7、第五池化层P5、第八批归一化层B8、第八激活函数层R8、第六池化层P6、展平层FL、第一全连接层FC1和第二全连接层FC2。
具体地，第七卷积层CO7、第三批归一化层B3、第三激活函数层R3和第一池化层P1依次连接，且第七卷积层CO7的输入连接第六卷积层CO6的输出，第一池化层P1的输出和第五卷积层CO5的输出连接第五拼接层CA5的输入；第八卷积层CO8、第四批归一化层B4、第四激活函数层R4和第二池化层P2依次连接，第八卷积层CO8的输入连接第五拼接层CA5的输出，第二池化层P2的输出和第四卷积层CO4的输出连接第六拼接层CA6的输入；第九卷积层CO9、第五批归一化层B5、第五激活函数层R5和第三池化层P3依次连接，第九卷积层CO9的输入连接第六拼接层CA6的输出，第三池化层P3的输出和第三卷积层CO3的输出连接第七拼接层CA7的输入。
第十卷积层CO10、第六批归一化层B6、第六激活函数层R6和第四池化层P4依次连接，第十卷积层CO10的输入为第七拼接层CA7的输出，第四池化层P4的输出和第四密集连接和过渡模块M4的输出连接第八拼接层CA8的输入；第十一卷积层CO11、第七批归一化层B7、第七激活函数层R7和第五池化层P5依次连接，第十一卷积层CO11的输入连接第八拼接层CA8的输出，第五池化层P5的输出依次连接第八批归一化层B8、第八激活函数层R8、第六池化层P6、展平层FL、第一全连接层FC1和第二全连接层FC2。
具体地，所述第二特征融合模块的输入为即第六卷积层CO6的输出，j＝1,2…32，其各层的输入、输出和参数设置及关系如下：
第七卷积层CO7：其卷积核K7的窗口大小为3×3，滑动步长S7为1，用于输出32个特征图该层作为第三批归一化层B3的输入；第三批归一化层B3：其归一化方式为/>用于输出32个特征图/> 该层作为第三激活函数层R3的输入；第三激活函数层R3：其激活函数为ReLU函数，用于输出32个权重特征图作为第一池化层P1的输入；第一池化层P1：其池化维度为空间维，池化窗口大小为2×2，滑动步长PS1为2，用于输出32个权重特征图/>该层作为第五拼接层CA5的输入；第五拼接层CA5：其拼接维度为通道维，用于输出88个特征图该层作为第八卷积层CO8的输入。
第八卷积层CO8：其卷积核K8的窗口大小为3×3，滑动步长S8为1，用于输出88个特征图该层作为第四批归一化层B4的输入；第四批归一化层B4：其归一化方式为/>用于输出88个特征图/> 该层作为第四激活函数层R4的输入；第四激活函数层R4：其激活函数为ReLU函数，用于输出88个权重特征图该层作为第二池化层P2的输入；第二池化层P2：其池化维度为空间维，池化窗口大小为2×2，滑动步长PS2为2，用于输出88个权重特征图/>该层作为第六拼接层CA6的输入；第六拼接层CA6：其拼接维度为通道维，用于输出192个特征图该层作为第九卷积层CO9的输入。
第九卷积层CO9：其卷积核K9的窗口大小为3×3，滑动步长S9为1，用于输出192个特征图该层作为第五批归一化层B5的输入；第五批归一化层B5：其归一化方式为/>用于输出192个特征图/>j＝1,2…192，该层作为第五激活函数层R5的输入；第五激活函数层R5：其激活函数为ReLU函数，用于输出192个权重特征图该层作为第三池化层P3的输入；第三池化层P3：其池化维度为空间维，池化窗口大小为2×2，滑动步长PS3为2，用于输出192个权重特征图/>该层作为第七拼接层CA7的输入；第七拼接层CA7：其拼接维度为通道维，用于输出368个特征图该层作为第十卷积层CO10的输入。
第十卷积层CO10：其卷积核K10窗口大小为3×3，滑动步长S10为1，用于输出368个特征图该层作为第六批归一化层B6的输入；第六批归一化层B6：其归一化方式为/>用于输出368个特征图/>j＝1,2…368，该层作为第六激活函数层R6的输入；第六激活函数层R6：其激活函数为ReLU函数，用于输出368个权重特征图该层作为第四池化层P4的输入；第四池化层P4：其池化维度为空间维，池化窗口大小为2×2，滑动步长PS4为2，用于输出368个权重特征图/>该层作为第八拼接层CA8的输入；第八拼接层CA8：其拼接维度为通道维，用于输出640个特征图该层作为第十一卷积层CO11的输入。
第十一卷积层CO11：其卷积核K11的窗口大小为3×3，滑动步长S11为1，用于输出640个特征图该层作为第七批归一化层B7的输入；第七批归一化层B7：其归一化方式为/>用于输出640个特征图/> 该层作为第七激活函数层R7的输入；第七激活函数层R7：其激活函数为ReLU函数，用于输出640个权重特征图该层作为第五池化层P5的输入；第五池化层P5：其池化维度为空间维，池化窗口大小为2×2，滑动步长PS5为2，用于输出640个权重特征图/>该层作为第八批归一化层B8的输入。
第八批归一化层B8：其归一化方式为用于输出640个特征图/> 该层作为第八激活函数层R8的输入；第八激活函数层R8：其激活函数为ReLU函数，用于输出640个权重特征图/>该层作为第六池化层P6的输入；第六池化层P6：其池化维度为空间维，池化窗口大小为2×2，滑动步长PS6为2，用于输出640个权重特征图/>该层作为展平层FL的输入；展平层FL：用于输出1个640维列向量X2 28，该层作为第一全连接层FC1的输入；第一全连接层FC1：其设有128个神经元，用于输出1个128维列向量X2 29，该层作为第二全连接层FC2的输入；第二全连接层FC2：其设有3个神经元，用于输出1个3维列向量X2 30。
S2：构建以所述特征融合网络ψ为特征提取网络的SimCLR对比学习网络框架，所述SimCLR对比学习网络框架包括级联的特征提取网络和特征映射网络。
具体地，请参见图5，图5是本发明实施例提供的一种SimCLR对比学习网络框架的结构示意图。本实施例的特征提取网络即为上述特征融合网络ψ，并且将所述特征融合网络ψ最后一层全连接层的输出节点个数修改为128。
所述特征映射网络为多层感知机E，包括两个全连接层和一个激活函数层，即依次级联的第三全连接层FC3、第九激活函数层R9和第四全连接层FC4，并且所述第三全连接层FC3的输入连接所述第二全连接层FC2的输出。
具体地，该多层感知机E的输入为X2 30，即为第二特征融合模块的第二全连接层FC2的输出，其各层的输入、输出和参数设置及关系如下：
第三全连接层FC3：其设有128个神经元，用于输出1个128维列向量X2 31，该层作为第九激活函数层R9的输入；第九激活函数层R9：其激活函数为ReLU函数，用于输出1个128维列向量X2 32，该层作为第四全连接层FC4的输入；第四全连接层FC4：其设有128个神经元，用于输出1个128维列向量X2 33。
S3：获取多组mat格式训练数据集和多组JPG格式图片训练数据集，并将所述多组JPG图片训练数据集分别输入所述SimCLR对比学习网络框架中进行训练，获得多组预训练模型。
在本实施例中，步骤S3包括：
S3.1：获取训练数据集和测试数据集。
具体地，对OpenSARShip数据集按照8:2的比例进行训练集和测试集的划分得到5份训练集{φ1,φ2,φ3,φ4,φ5}和对应的5份测试集{t1,t2,t3,t4,t5}，并将训练集{φ1,φ2,φ3,φ4,φ5}进行数据扩充和裁剪得到训练集{Φ1,Φ2,Φ3,Φ4,Φ5}，将测试集{t1,t2,t3,t4,t5}进行裁剪得到测试集{T1,T2,T3,T4,T5}，将mat格式训练集{Φ1,Φ2,Φ3,Φ4,Φ5}转换为JPG格式图片训练集{Φ1',Φ2',Φ3',Φ4',Φ5'}。
具体地，本步骤中数据集的划分和训练集的数据扩充具体操作步骤如下：
(a)对OpenSARShip数据集中的三类数据中的每一类均按照8:2的比例随机划分训练数据和测试数据，随后将三类数据的训练数据集合在一起作为本次划分的训练集φi，将三类数据的测试数据集合在一起作为本次划分的测试集ti。通过5次划分得到了5份训练集{φ1,φ2,φ3,φ4,φ5}和5份测试集{t1,t2,t3,t4,t5}。
(b)对5份训练集{φ1,φ2,φ3,φ4,φ5}进行数据扩充。具体扩充方式为：①将训练集中的舰船图片进行翻转，包括水平翻转和垂直翻转；②将舰船切片旋转90°、180°和270°；③将舰船切片随机左右平移0～5个像素；④向舰船图片中加入高斯噪声，其中高斯噪声的均值为0，方差为0.001。经过数据扩充后，每一类训练数据数量变为了原来的8倍，即原始样本和7倍的扩充样本，然后数量最少的一类训练数据数量为扩充后的每一类的训练数据数量，其余类别训练数据是所有原始训练数据加上随机选择的部分扩充训练数据组合而成，从而保证每一类的训练数据数量相同，随后取舰船图片中心64
×64区域为最终的mat格式训练集{Φ1,Φ2,Φ3,Φ4,Φ5}，同时对测试集{t1,t2,t3,t4,t5}
取舰船图片中心64×64区域为最终的测试集{T1,T2,T3,T4,T5}；
(2c)对5份训练集{Φ1,Φ2,Φ3,Φ4,Φ5}，将每份训练集中的每张SAR图像转换为JPG格式图片，得到了5份训练集{Φ1',Φ2',Φ3',Φ4',Φ5'}。
S3.2：将JPG格式图片数据集{Φ1',Φ2',Φ3',Φ4',Φ5'}输入到SimCLR对比学习框架Ω中进行预训练，得到训练好的预训练模型{ψ'1,ψ'2,ψ'3,ψ'4,ψ'5}。
也就是说，将5份JPG格式图片数据集中的每份数据集输入到SimCLR对比学习框架Ω中，均可以得到一个对应的预训练模型，并且所使用的损失函数为对比损失：
其中，zi表示训练数据集中的第i条训练数据经过特征提取和特征映射得到的特征向量，zj表示训练数据集中的第j条训练数据经过特征提取和特征映射得到的特征向量，si,j表示第i条训练数据与第j条训练数据的特征向量的相似度。l(i,j)表示经过函数变换之后的特征向量相似度，τ表示温度系数，是一个超参数，设置为0.07，L表示一个含N个样本的小批量数据中所有由每一个样本经过数据增强得到的样本对的相似度的平均值，k是求和公式中的变量，表示N个数据中的第k个数据。在计算过程中，对于N个样本的数据中的第k个样本，通过随机裁剪并缩放和高斯模糊两种数据增强方式得到数据增强后2N个样本的数据中的第2k-1和第2k个样本。
S4：将所述多组预训练模型的参数加载到所述特征融合网络中，并利用所述多组mat格式训练数据集对所述特征融合网络进行进一步训练，获得训练后的特征融合网络。
具体地，将所述预训练模型{ψ'1,ψ'2,ψ'3,ψ'4,ψ'5}中每一个预训练模型的参数加载到所述特征融合网络ψ中，将与所述JPG格式图片数据集{Φ1',Φ2',Φ3',Φ4',Φ5'}对应的mat格式数据集{Φ1,Φ2,Φ3,Φ4,Φ5}输入到所述特征融合网络ψ中进行微调训练，获得训练后的特征融合网络。示例性地，将预训练模型ψ'1的参数加载到所述特征融合网络ψ中，将与JPG格式图片数据集Φ1'对应的mat格式数据集Φ1输入到所述特征融合网络ψ中进行微调训练，以此类推。
在本实施例中，训练300轮，每轮训练之后都利用测试集进行测试，取最后10轮测试准确率的平均值，得到最终的分类结果。在本步骤中，训练所使用的损失函数如下：
联合损失：
其中，λ1是交叉熵损失函数权值设置为0.6，Js(X,W,B)是交叉熵损失函数，X是网络输出的特征向量，W,B是网络参数权重和偏置，1-λ1是三元组损失函数权值设置为0.4，Jt(X,W,B)是三元组损失函数，λ2是Fisher判别正则项权值设置为0.005，Jf(X,W,B)是Fisher判别正则项，λ3是L2正则项权值设置为0.0005，Jw(W,B)是权重衰减正则项，为第i个样本属于第c类的概率真值，/>为第i个样本属于第c类的概率预测值，N为一批数据的数据量；/>为三元组样本中锚点样本的特征向量，/>为三元组样本中正样本的特征向量，/>为三元组样本中负样本的特征向量，/>表示锚点样本的特征向量和正样本的特征向量的欧氏距离，/>表示锚点样本的特征向量和负样本的特征向量的欧氏距离，α为欧式距离阈值设置为0.2；/>表示/>时取它本身，/>时取0；m1和m2分别是同类样本数据对和不同类样本数据对在特征空间中的欧氏距离的平均值，/>和/>分别是对应的方差值；/>表示对网络参数矩阵施加F范数的平方，/>表示对网络参数向量施加2范数的平方。
以下通过对比实验对本发明基于对比学习预训练的SAR舰船分类方法的效果进行说明，请参见图7，图7是本发明实施例对比实验所使用的基于三元组网络和Fisher判别准则的密集连接网络的结构示意图，该密集连接网络简称TriDenseNet，出自论文《SAR图像舰船目标检测与分类方法研究》，西安电子科技大学博士论文，何敬鲁，2019。对比实验是在该密集连接网络TriDenseNet上直接进行训练。
在TriDenseNet直接训练过程中，实验使用PyTorch框架实现，使用到的是Ubuntu16.04操作***，torch 1.6.0版本，CUDA版本为10.0.130。学习率、动量参数、交叉熵损失函数权重、批次大小分别设置为0.1、0.9、0.6和100，并且学习率在训练的第150、200和250轮衰减为上一次的0.1倍。网络开始训练的10轮只使用交叉熵损失，10轮以后将交叉熵损失函数联合三元组损失和Fisher判别准则一起训练，训练300轮。
在利用本发明的方法通过在特征融合网络上加载预训练模型进行微调的实验过程中：首先对比学习预训练使用PyTorch框架实现，使用到的是Ubuntu 16.04操作***，torch 1.6.0版本，CUDA版本为10.0.130。在对比学习时，学习率、温度、动量参数分别设置为0.0003、0.07和0.0001，训练1000轮得到预训练模型；在微调时，学习率、动量参数、交叉熵损失函数权重、批次大小分别设置为0.1、0.9、0.6和100，并且学习率在训练的第150、200和250轮衰减为上一次的0.1倍。网络开始训练的10轮只使用交叉熵损失，10轮以后将交叉熵损失函数联合三元组损失和Fisher判别准则一起训练，训练300轮。
表1.三类SAR舰船图像利用TriDenseNet和本发明实施例方法获得的测试准确率
从图8和表1中可以看出，TriDenseNet直接训练和改进网络加载预训练模型微调两种方式经过300轮训练，在每一份数据集上都达到了收敛。两种方法在200轮以后训练曲线和测试曲线都收敛。从表1中可以看出，与TriDenseNet相比，改进网络加载预训练模型微调方式的准确率高0.64个百分点，标准差低0.29个百分点，拥有更高的分类准确率和更低的标准差，说明了在卷积神经网络中加入了特征融合模块并加载对比学习预训练模型微调的方式能够提高在SAR图像舰船目标上的分类准确率。
本发明基于对比学习预训练的SAR舰船分类方法使用无监督对比学习获得预训练模型，通过使用一个简单的SimCLR框架实现无监督对比学习，无需标签信息就能使得网络获得较好的特征提取能力；使用加载预训练模型微调的方法，相较于直接训练能获得更优的网络参数，网络收敛的速度变得更快，分类准确率也变得更高。本发明使用了结合路径聚合网络的双向特征融合结构的卷积神经网络，将浅层特征和深层特征结合起来，提高了卷积神经网络的图像特征提取能力和分类准确率。
在本发明所提供的几个实施例中，应该理解到，本发明所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于对比学习预训练的SAR舰船分类方法，其特征在于，包括：
S1：构建特征融合网络，所述特征融合网络包括依次连接的特征提取模块、第一特征融合模块和第二特征融合模块，其中，所述特征提取模块用于对输入的SAR图像进行初步特征提取，获取所述SAR图像的浅层特征和深层特征；所述第一特征融合模块用于实现从所述深层特征向所述浅层特征的融合，获得融合后的浅层特征；所述第二特征融合模块用于实现从所述融合后的浅层特征向所述深层特征的继续融合，并输出图像类别概率；
S2：构建以所述特征融合网络为特征提取网络的SimCLR对比学习网络框架，所述SimCLR对比学习网络框架包括级联的特征提取网络和特征映射网络；
S3：获取多组mat格式训练数据集和多组JPG格式图片训练数据集，并将所述多组JPG图片训练数据集分别输入所述SimCLR对比学习网络框架中进行训练，获得多组预训练模型；
S4：将所述多组预训练模型的参数加载到所述特征融合网络中，并利用所述多组mat格式训练数据集对所述特征融合网络进行进一步训练，获得训练后的特征融合网络；
S5：将待分类的原始SAR图片输入至训练后的特征融合网络中，获得分类结果。
2.根据权利要求1所述的基于对比学习预训练的SAR舰船分类方法，其特征在于，所述特征提取模块包括依次连接的第一卷积层CO1、第一批归一化层B1、第一激活函数层R1、第二卷积层CO2、第二批归一化层B2，第二激活函数层R2、第一密集连接和过渡模块M1、第二密集连接和过渡模块M2、第三密集连接和过渡模块M3以及第四密集连接和过渡模块M4。
3.根据权利要求2所述的基于对比学习预训练的SAR舰船分类方法，其特征在于，所述第一密集连接和过渡模块M1、所述第二密集连接和过渡模块M2、所述第三密集连接和过渡模块M3以及所述第四密集连接和过渡模块M4的结构均相同，均包括级联的密集连接单元和过渡单元，其中，
所述密集连接单元包括串联的四个子单元，每个子单元包括一个批归一化层、一个激活函数层、一个卷积层以及一个拼接层，并且前一个子单元的输入和输出拼接后作为后一个子单元的输入，最后一个子单元的输入和输出拼接后作为该密集连接单元的输出；
所述过渡单元包括依次连接的一个批归一化层、一个激活函数层、一个卷积层和一个池化层。
4.根据权利要求2所述的基于对比学习预训练的SAR舰船分类方法，其特征在于，所述第一特征融合模块包括第一反卷积层T1、第一拼接层CA1、第三卷积层CO3、第二反卷积层T2、第二拼接层CA2、第四卷积层CO4、第三反卷积层T3、第三拼接层CA3、第五卷积层CO5、第四反卷积层T4、第四拼接层CA4和第六卷积层CO6，其中，
所述第一反卷积层T1的输入连接所述第四密集连接和过渡模块M4的输出，所述第一拼接层CA1的两个输入分别连接所述第三密集连接和过渡模块M3的输出和所述第一反卷积层T1的输出，所述第一拼接层CA1的输出连接所述第三卷积层CO3的输入；所述第二反卷积层T2的输入连接所述第三卷积层CO3的输出，所述第二拼接层CA2的两个输入分别连接所述第二密集连接和过渡模块M2的输出和所述第二反卷积层T2的输出，所述第二拼接层CA2的输出连接所述第四卷积层CO4的输入；所述第三反卷积层T3的输入连接所述第四卷积层CO4的输出，所述第三拼接层CA3的两个输入分别连接所述第一密集连接和过渡模块M1的输出和所述第三反卷积层T3的输出，所述第三拼接层CA3的输出连接所述第五卷积层CO5的输入；所述第四反卷积层T4的输入连接所述第五卷积层CO5的输出，所述第四拼接层CA4的两个输入分别连接所述第二激活函数层R2的输出和所述第四反卷积层T4的输出，所述第四拼接层CA4的输出连接所述第六卷积层CO6的输入。
5.根据权利要求4所述的基于对比学***层FL、第一全连接层FC1和第二全连接层FC2，其中，
所述第七卷积层CO7、所述第三批归一化层B3、所述第三激活函数层R3和所述第一池化层P1依次级联，且所述第七卷积层CO7的输入连接所述第六卷积层CO6的输出，所述第一池化层P1的输出与所述第五卷积层CO5的输出连接所述第五拼接层CA5的输入；所述第八卷积层CO8、所述第四批归一化层B4、所述第四激活函数层R4和所述第二池化层P2依次级联，且所述第八卷积层CO8的输入连接所述第五拼接层CA5的输出，所述第二池化层P2的输出与所述第四卷积层CO4的输出连接所述第六拼接层CA6的输入；
所述第九卷积层CO9、所述第五批归一化层B5、所述第五激活函数层R5和所述第三池化层P3依次级联，并且所述第九卷积层CO9的输入连接所述第六拼接层CA6的输出，所述第三池化层P3的输出与所述第三卷积层CO3的输出连接所述第七拼接层CA7的输入；所述第十卷积层CO10、所述第六批归一化层B6、所述第六激活函数层R6和所述第四池化层P4依次级联，并且所述第十卷积层CO10的输入连接第七拼接层CA7的输出，所述第四池化层P4的输出与所述第四密集连接和过渡模块M4的输出连接所述第八拼接层CA8的输入；所述第十一卷积层CO11、所述第七批归一化层B7、所述第七激活函数层R7和所述第五池化层P5依次连接，所述第十一卷积层CO11的输入连接所述第八拼接层CA8的输出，所述第五池化层P5的输出依次连接所述第八批归一化层B8、所述第八激活函数层R8、所述第六池化层P6、所述展平层FL、所述第一全连接层FC1和所述第二全连接层FC2。
6.根据权利要求5所述的基于对比学习预训练的SAR舰船分类方法，其特征在于，所述特征映射网络为多层感知机，包括依次级联的第三全连接层FC3、第九激活函数层R9和第四全连接层FC4，并且所述第三全连接层FC3的输入连接所述第二全连接层FC2的输出。
7.根据权利要求1所述的基于对比学习预训练的SAR舰船分类方法，其特征在于，所述S3包括：
S3.1：对OpenSARShip数据集按照8:2的比例进行5次训练集和测试集的划分得到5份训练集{φ1,φ2,φ3,φ4,φ5}和对应的5份测试集{t1,t2,t3,t4,t5}，并将训练集{φ1,φ2,φ3,φ4,φ5}进行数据扩充和裁剪得到训练集{Φ1,Φ2,Φ3,Φ4,Φ5}，将测试集{t1,t2,t3,t4,t5}进行裁剪得到测试集{T1,T2,T3,T4,T5}，将mat格式训练集{Φ1,Φ2,Φ3,Φ4,Φ5}转换为JPG格式图片训练集{Φ1',Φ′2,Φ′3,Φ′4,Φ′5'}；
S3.2：将所述JPG格式图片数据集{Φ1',Φ′2,Φ′3,Φ′4,Φ′5}输入至所述SimCLR对比学习框架中进行预训练，得到预训练模型{ψ′1,ψ'2,ψ'3,ψ'4,ψ'5}，所使用的损失函数为对比损失：
其中，zi表示训练数据集中的第i条训练数据经过特征提取和特征映射得到的特征向量，zj表示训练数据集中的第j条训练数据经过特征提取和特征映射得到的特征向量，si,j表示第i条训练数据与第j条训练数据的特征向量的相似度，l(i,j)表示经过函数变换之后的特征向量相似度，τ表示温度系数，L表示一个含N个样本的数据中所有由每一个样本经过数据增强得到的样本对的相似度的平均值，在计算过程中，对于N个样本的数据中的第k个样本，通过随机裁剪并缩放和高斯模糊两种数据增强方式得到数据增强后2N个样本的数据中的第2k-1和第2k个样本。
8.根据权利要求7所述的基于对比学习预训练的SAR舰船分类方法，其特征在于，所述S4包括：
将所述预训练模型{ψ′1,ψ'2,ψ'3,ψ'4,ψ'5}中每一个预训练模型的参数加载到所述特征融合网络ψ中，将与所述JPG格式图片数据集{Φ1',Φ′2,Φ′3,Φ′4,Φ′5}对应的mat格式数据集{Φ1,Φ2,Φ3,Φ4,Φ5}输入到所述特征融合网络ψ中进行微调训练，获得训练后的特征融合网络。
CN202310567081.2A 2023-05-19 2023-05-19 一种基于对比学习预训练的sar舰船分类方法 Pending CN116797938A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310567081.2A CN116797938A (zh) 2023-05-19 2023-05-19 一种基于对比学习预训练的sar舰船分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310567081.2A CN116797938A (zh) 2023-05-19 2023-05-19 一种基于对比学习预训练的sar舰船分类方法

Publications (1)

Publication Number Publication Date
CN116797938A true CN116797938A (zh) 2023-09-22

Family

ID=88033848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310567081.2A Pending CN116797938A (zh) 2023-05-19 2023-05-19 一种基于对比学习预训练的sar舰船分类方法

Country Status (1)

Country Link
CN (1) CN116797938A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351242A (zh) * 2023-10-24 2024-01-05 北京云上曲率科技有限公司 一种基于相似度的标识识别方法和***
CN118172787A (zh) * 2024-05-09 2024-06-11 南昌航空大学 一种轻量级文档版面分析方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351242A (zh) * 2023-10-24 2024-01-05 北京云上曲率科技有限公司 一种基于相似度的标识识别方法和***
CN118172787A (zh) * 2024-05-09 2024-06-11 南昌航空大学 一种轻量级文档版面分析方法

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
Feng et al. Deep manifold preserving autoencoder for classifying breast cancer histopathological images
CN109145979B (zh) 敏感图像鉴定方法及终端***
Ai et al. SAR target classification using the multikernel-size feature fusion-based convolutional neural network
CN116797938A (zh) 一种基于对比学习预训练的sar舰船分类方法
CN108280187B (zh) 一种基于卷积神经网络深度特征的分级图像检索方法
EP4163831A1 (en) Neural network distillation method and device
CN109063719B (zh) 一种联合结构相似性和类信息的图像分类方法
CN112633350A (zh) 一种基于图卷积的多尺度点云分类实现方法
CN107066951B (zh) 一种人脸自发表情的识别方法及***
CN113222011A (zh) 一种基于原型校正的小样本遥感图像分类方法
CN113378938B (zh) 一种基于边Transformer图神经网络的小样本图像分类方法及***
Dev et al. Multi-level semantic labeling of sky/cloud images
CN111832580B (zh) 结合少样本学习与目标属性特征的sar目标识别方法
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
Jiang et al. Active object detection in sonar images
CN111709433A (zh) 一种多特征融合图像识别算法
CN111523586A (zh) 一种基于噪声可知的全网络监督目标检测方法
CN114913337A (zh) 一种基于三元级联感知的伪装目标框检测方法
CN110728352A (zh) 一种基于深度卷积神经网络的大规模图像分类方法
Ghizlane et al. Spam image detection based on convolutional block attention module
WO2023015610A1 (zh) 基于人工智能的古代及近现代艺术品鉴定方法和***
CN116047418A (zh) 基于小样本的多模态雷达有源欺骗干扰识别方法
Ge et al. Multi-grained cascade adaboost extreme learning machine for feature representation
CN109146058B (zh) 具有变换不变能力且表达一致的卷积神经网络

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination