CN117437530A - 合成孔径声纳感兴趣小目标孪生匹配识别方法及*** - Google Patents
合成孔径声纳感兴趣小目标孪生匹配识别方法及*** Download PDFInfo
- Publication number
- CN117437530A CN117437530A CN202311320138.5A CN202311320138A CN117437530A CN 117437530 A CN117437530 A CN 117437530A CN 202311320138 A CN202311320138 A CN 202311320138A CN 117437530 A CN117437530 A CN 117437530A
- Authority
- CN
- China
- Prior art keywords
- interest
- network
- synthetic aperture
- small target
- aperture sonar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 15
- 230000006835 compression Effects 0.000 claims description 13
- 238000007906 compression Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013215 result calculation Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了合成孔径声纳感兴趣小目标孪生匹配识别方法及***。该方法包括:对接收到的合成孔径声纳的回波数据进行处理,得到实时合成孔径声纳图像,采用目标检测方法进行粗识别,得到感兴趣小目标图像;将感兴趣小目标图像输入预先建立和训练好的孪生匹配模型,与不同的参考图像组逐一进行匹配,得到与每个参考图像组的相似度;根据相似度的排序结果确定识别结果,实现精细化识别;所述孪生匹配模型采用Siam FC网络结构,骨干网络为改进的MobileNet V3网络。本发明为样本稀少条件下的SAS图像水下小目标自主识别任务提供了一种有效解决的手段。
Description
技术领域
本发明涉及水声信号处理领域,尤其涉及合成孔径声纳感兴趣小目标孪生匹配识别方法及***。
背景技术
合成孔径声纳(Synthetic Aperture Sonar,SAS)是一种高分辨率水下成像声纳,其基本原理是利用小孔径基阵的移动形成虚拟大孔径,从而获得方位向的高分辨率。与普通侧扫声纳相比,SAS最为显著的优点是方位向分辨率较高,且理论分辨率与目标距离以及采用的声波频段无关。合成孔径声纳图像目标检测任务在水下无人平台自主导航和搜索发挥着重要作用。目标检测可以定位感兴趣小目标的位置,不过受限于样本数量少无法实现进一步精确化识别。
目标匹配是目标识别的重要手段,通常目标匹配识别可以分为基于特征的匹配和基于卷积神经网络的匹配。基于特征的匹配识别是通过提取模板中目标的特征与待识别图像中的特征进行匹配计算。不过,该类方法并不适用于水下感兴趣小目标。因为SAS图像内小目标的尺度较小,这也导致了目标中纹理信息的缺失,相应地也难以提取到有效的特征描述子。另外,尺度过小的目标容易受到环境噪声的影响,而具有稀疏检测特性的特征点对于噪声十分敏感,这导致特征点方法很难准确地描述水下感兴趣小目标。
近些年来,由于卷积神经网络(Convolutional Neural Networks,CNN)的发展,一些基于CNN网络模型的判别式目标匹配算法以其优异的匹配性能获得了研究人员广泛的关注。一些学者提出基于CNN网络的目标匹配方法,该类方法采用CNN提取候选样本与目标模板的深度特征,通过学习一个精确、鲁棒的相似度量函数,实现深度特征之间的精确匹配。最近几年,孪生卷积神经网络凭借在学习相似度量函数上的极大优势,Bertinetto等人提出的Siam FC在特征匹配上表现优异,但算法的实时性有待提升。Howard等提出了轻量化的卷积神经网络MobileNet V1。MobileNet V1用深度可分离卷积(depthwise separableconvolution,DSC)替换标准卷积来减少模型的参数和计算量。Sandler等提出了MobileNetV1的改进版本MobileNet V2。MobileNet V2在深度可分离卷积的基础上引入了跨连接(shortcut connections)结构,并设计了新的特征提取模块IRB(inverted residualblock)。新模块将原来的先“压缩”后“扩张”调整为先“扩张”后“压缩”,同时为了降低激活函数在高维信息向低维信息转换时的丢失和破坏,将最后卷积层的激活层由非线性更改为线性。Howard等在MobileNet V1和MobileNet V2的基础上提出了改进版本MobileNet V3和特征提取模块IRB+,IRB+引入了SE(squeeze and excitation)注意力机制。SE首先对卷积得到的特征进行squeeze操作,得到全局特征,然后对全局特征进行excitation操作,得到不同特征的权重,最后乘以对应通道的特征得到最终特征。本质上,SE组件是在特征维度上做选择,这可以更加关注信息量最大的特征,而抑制那些不重要的特征。IRB+在保持较低计算量的同时,具有更好的特征提取能力。不过,IRB+捕获所有通道的依赖关系是低效并且是不必要的。
综上所述,目前急需一种适用水下感兴趣小目标的识别方法,以提高样本稀少条件下小目标精细化识别的准确率与效率。
发明内容
本发明的目的在于克服现有技术缺陷,提出了合成孔径声纳感兴趣小目标孪生匹配识别方法及***。
为了实现上述目的,本发明提出了一种合成孔径声纳感兴趣小目标孪生匹配识别方法,所述方法包括:
对接收到的合成孔径声纳的回波数据进行处理,得到实时合成孔径声纳图像,采用目标检测方法进行粗识别,得到感兴趣小目标图像;
将感兴趣小目标图像输入预先建立和训练好的孪生匹配模型,与不同的参考图像组逐一进行匹配,得到与每个参考图像组的相似度;
根据相似度的排序结果确定识别结果,实现精细化识别;
所述孪生匹配模型为改进的Siam FC网络结构,骨干网络为改进的MobileNet V3网络。
优选的,所述采用目标检测方法进行粗识别,得到感兴趣小目标图像;具体包括:
采用目标检测方法进行粗识别,将检测结果保存为固定尺寸的图像,得到感兴趣小目标图像。
优选的,所述改进的MobileNet V3网络采用EIRB模块替换原MobileNet V3中的IRB+模块;所述EIRB模块采用反残差网络结构,包括两个支路网络,其中上侧支路网络保持输入特征D不变,下侧支路网络用于对水下感兴趣小目标的特征提取和选择,并与上侧支路网络的输出特征相加;所述下侧支路网络包括:扩张层、通道可选择组件和压缩层,其中,
所述扩张层,用于对输入特征通道的扩张;卷积核尺寸为1×1,卷积核的数量为输入特征通道的K倍;
所述通道可选择组件,用于通过学习权重选择包含重要信息的通道;
所述压缩层,用于将特征通道压缩成与输入特征一致的数量。
优选的,所述EIRB模块的处理过程包括:
输入特征D∈ΦH×H×M分别进入两个支路网络,其中H×H为输入特征的尺寸,M为输入特征的通道数,Φ为特征尺寸;
对于下侧支路网络,输入特征D经过扩张层Fex后的特征Dex为:
Dex=Fex(D)
Dex进入通道可选择组件后的输出特征Dse为:
Dse=s·Dex
s=fh(f3(Pg(Dex)))
式中,Dse∈ΦH×H×(K×M),s为通道的选择系数,s∈Φ1×(K×M);Pg为全局池化函数,Φ1×(K×M)为输出特征维度,f3为卷积核尺寸为3的一维卷积层,fh为hard swish激活函数,
由压缩层对Dse进行通道压缩,得到通道压缩后的特征D',输出特征维度为ΦH×H×M:
D′=Fsq(Dse)
将经过上侧支路网络的输入特征D与下侧支路网络输出的D'相加,得到输出特征为:
式中,
优选的,,所述孪生匹配模型还包括相似度结果计算模块,用于采用余弦距离作为相似度量函数,计算待识别的感兴趣小目标图像的输出特征x与每个参考图像组输出特征y的平均相似度sim(x,y):
其中,N为该参考图像组的参考图像个数,yi第i个参考图像的输出特征。
优选的,所述方法还包括孪生匹配模型的训练步骤,具体包括:
建立训练集;
将训练集数据依次输入改进的Siam FC网络进行模型训练,待满足训练要求,得到训练好的孪生匹配模型。
另一方面,本发明提出了一种合成孔径声纳感兴趣小目标孪生匹配识别***,所述***包括:
粗识别模块,用于对接收到的合成孔径声纳的回波数据进行处理,得到实时合成孔径声纳图像,采用目标检测方法进行粗识别,得到感兴趣小目标图像;
精细识别模块,用于将感兴趣小目标图像输入预先建立和训练好的孪生匹配模型,与不同的参考图像组逐一进行匹配,实现精细化识别,得到每个参考图像组的相似度;和
结果输出模块,用于根据相似度的排序结果确定识别结果;
所述孪生匹配模型为改进的Siam FC网络结构,骨干网络为改进的MobileNet V3网络。
优选的,所述孪生匹配模型部署在边缘计算平台。
与现有技术相比,本发明的优势在于:
1、本发明将合成孔径声纳图像目标检测结果与特征匹配结果相结合,提出了一种水下感兴趣小目标识别方法,以粗精两级的方式解决样本稀少条件下现有方法对水下感兴趣小目标识别准确率低的问题;该方法首先利用目标检测模型对感兴趣小目标进行检测,再利用孪生网络对感兴趣小目标进行识别,为样本稀少条件下的SAS图像水下小目标自主识别任务提供了一种有效解决的手段;
2、改进的MobileNet V3网络引入了ECA注意力机制,ECA的核心思想是关注通道(channel)之间的关系,而不是像传统的自注意力机制(如Transformer)那样关注不同位置之间的关系,因此可以显著提高网络的性能;另外,ECA注意力机制使用简单的1x1卷积核来计算通道注意力权重,因此引入的额外参数非常有限;
3、改进的Siam FC网络结构将待识别图像与一组参考图像进行匹配,并计算平均相似度,这大大提高了匹配结果的可靠性,并且参考图像组可以现场添加和删减,提高了网络的快速部署能力。
附图说明
图1是本发明提供的合成孔径声纳水下感兴趣小目标识别方法与***实现框架;
图2是是改进的特征提取模块结构示意图;
图3是孪生匹配模型结构示意图。
具体实施方式
为了解决上述技术问题,本发明提出了一种合成孔径声纳图像感兴趣小目标识别方法及***实现,实现了水下感兴趣小目标的精细化识别;该方法是一种粗精两级的水下目标识别方法,通过目标检测模型和孪生匹配网络,提高了样本稀少条件下的水下感兴趣小目标的识别精度。
为了实现上述目的,本发明提供了一种合成孔径声纳图像感兴趣小目标识别方法及***实现,其特征在于,所述模型包括:感兴趣小目标检测模块、数据集制作模块、模型训练模块和特征匹配模块;
所述数据集制作模块,用于标注、并制作目标分类数据集;
所述模型训练模块,用于对孪生网络进行参数初始化、训练和测试;
所述特征匹配模块,用于感兴趣小目标图像与目标模板的匹配,实时感兴趣小目标的精细化识别。
所述回波提取模块进一步包括:合成孔径声纳图像子模块、目标检测子模块和待识别感兴趣小目标子模块;
所述合成孔径声纳图像子模块,用于对接收到的阵元数据进行处理,得到实时合成孔径声纳图像;
所述目标检测子模块,用于对合成孔径声纳图像中感兴趣小目标进行检测;
所述待识别感兴趣小目标子模块,用于将目标检测子模块的检测结果保存为固定尺寸的图像;
可选的,所述数据集制作模块子模块进一步包括:数据采集子模块、数据标注子模块和目标分类数据集制作子模块;
所述数据采集子模块,收集目标图像;
所述数据标注子模块,结合任务需求对采集图像进行标注;
所述目标检测数据集制作子模块,按照标准目标分类数据集格式,将数据随机划分为训练集和测试集。
可选的,其特征在于,所述模型训练子模块进一步包括:参数设置模块,孪生网络模块和模型测试模块。
所述参数设置子模块,用于完成模型训练所需参数初始化工作;
所述孪生网络子模块,用于实现感兴趣小目标匹配识别;
所述模型测试模块子模块,用于实时监视模型训练状态。
可选的,所述特征匹配子模块进一步包括:目标模板子模块、孪生网络子模块和结果输出子模块;
所述目标模板子模块,用于管理和存储水下感兴趣小目标模板;
所述孪生网络子模块,用于待识别感兴趣小目标图像与目标模板的匹配;
所述结果输出子模块,用于待识别感兴趣小目标图像相似度的显示输出。
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
本发明包括点合成孔径声纳图像预处理模块、数据集制作模块、模型训练模块和平台部署模块。第一步,采集目标图像、对样本进行标注并生成图像分类数据集;第二步,初始化训练参数,对孪生网络进行训练,并对训练结果进行质量评估;第三步,将检测到的水下感兴趣小目标与目标模板进行匹配,实现精细化识别。其总体流程框图如图1所示,具体步骤如下:
步骤1、目标分类数据集制作
步骤1-1、收集目标图像样本;
步骤1-2、对图像样本进行分类;
步骤1-3、按照目标分类数据集格式,采用随机划分的原则,对标注好的图像进行划分,分为训练样本集和测试样本集。
步骤2、模型训练
步骤2-1、在深度学***台所需的环境,包括开源软件Anaconda、Pytorch以及Torchvision等,同时对模型训练初始化参数进行设定,包括batchsize、epoch和validation_epochs等;
步骤2-2、搭建改进的特征提取模块(EIRB,Efficient Inverted ResidualBlock),如图2所示。EIRB模块采用了反残差网络结构,即先对通道采取先“扩张”后“压缩”的策略,并由扩张层、通道可选择组件和压缩层组成,其中扩张层负责输入特征通道扩张;通道可选择组件通过学习权重选择包含重要信息的通道;压缩层负责将特征通道压缩成与输入特征一致的数量。
对于一个任意的输入特征D∈ΦH×H×M,其中H×H为输入特征的尺寸,M为输入特征的通道数。输入特征D进入EIRB模块的两个支路网络:下侧支路负责水下感兴趣小目标特征提取和选择;上侧支路保持输入特征D不变,并最后与顶层支路网络的输出特征相加。对于下侧支路网络,输入特征D首先经过扩张层,其输出特征的数学表达为:
Dex=Fex(D),D∈ΦH×H×M (1)
式中,D为原始输入特征;Dex为经过扩张层后的特征,扩张层的卷积核尺寸为1×1,卷积核的数量为输入特征通道的K倍,即K×M。
然后,输出特征Dex送入ECA通道选择组件,其输出特征的数学表达式为:
Dse=s·Dex (2)
s=fh(f3(Pg(Dex))) (3)
式中,Dse为通道选择后的通道特征;s为通道的选择系数,s∈Φ1×(K×M);Pg()为全局池化函数,输出特征维度为Φ1×(K×M);f3为卷积核尺寸为3的一维卷积层,输出特征维度为Φ1×(K×M);fh为hard swish激活函数,
接着,对Dse进行通道压缩,数学表达式为:
D'=Fsq(Dse),Dse∈ΦH×H×(K×M) (4)
式中,D'为通道压缩后的特征,输出特征维度为ΦH×H×M。
通过上面的计算,最后可以得到EIRB模块的输出特征数学表达式为:
式中,为EIRB模块的输出特征,/>特征图尺寸为H×H,通道数为M。
步骤2-3搭建改进的MobileNet V3网络。改进的MobileNet V3网络如表1所示,其中各卷积层输入通道、中间通道、输出通道、步长和激活函数(RE表示ReLU激活函数,HS表示H-Swich激活函数)与原MobileNet V3网络保持一致;不同的是改进的MobileNet V3利用EIRB替换原MobileNet V3中IRB+模块。
表1改进的MobileNet V3网络结构
步骤2-4、实时监测孪生网络的训练过程、以及测试结果,当评价指标满足要求时停止训练。
步骤3、感兴趣小目标精细化识别
步骤3-1、在边缘计算平台上搭建目标检测和孪生匹配所需的运行环境。
步骤3-2、目标检测模型部署。将训练好的目标检测模型部署到平台端,并设定输入数据格式以及输出数据格式。
步骤3-3、孪生匹配网络搭建和部署。搭建如图3所示的孪生网络结构,骨干网络为改进的MobileNet V3。如果模板与待匹配图像来自同一类正样本对,则CNN提取出的特征会非常相似。反之,若模板与待匹配图像来自负样本对或不同类别的样本,则CNN提取出的特征会有明显的差距。孪生卷积神经网络就是采用这样的方式提升了泛化能力,使其可以在只有少量样本的情况下实现准确、鲁棒地匹配。
步骤3-4、相似度计算和结果输出。在进行相似度计算时,采用余弦距离作为相似度量函数。具体的计算公式如下:
其中x为待识别图像在改进的MobileNet V3网络上的输出特征;yi为第i个参考图像在改进的MobileNet V3网络上的输出特征;sim(x,y)为待识别图像与参考图像组的平均相似度。
下面结合仿真实验,对本发明的技术效果作进一步的说明:
实验硬件平台为i7-8750H、内存为32GB(16GB*2)、GPU为2070s(8G),软件环境为win10、python3.7、Torch1.3.1和Torchvision0.4.2等。输入图像的尺寸为224像素*224像素。为了保证算法公平性,参考图像为一组图像,即同一类型目标包含多幅图像,共设置三类参考目标,非目标、可以目标和疑似目标。实验结果如图表1所示。
表2目标检测模型性能比较
非目标 | 可疑目标 | 疑似目标 | |
疑似目标(待识别) | 0.8267 | 0.8879 | 0.9303 |
可疑目标(待识别) | 0.8655 | 0.9192 | 0.8852 |
非目标(待识别) | 0.8589 | 0.8412 | 0.8348 |
从表2的实验结果可以发现,本文改进孪生网络可有效对感兴趣小目标类型做进一步的判断。对疑似目标(待识别)而言,相似度最高的为参考疑似目标组(0.9303),相似度最低的为参考非目标组(0.8267);对可疑目标(待识别)而言,相似度最高的为参考可疑目标组(0.9192),相似度最低的为参考非目标组(0.8655);对非目标(待识别)而言,相似度最高的为参考非目标组(0.8589),相似度最低的为参考疑似目标组(0.8348)。三类待识别目标与同类目标均具有最大的相似度。
实施例2
本发明的实施例2提出了一种合成孔径声纳感兴趣小目标孪生匹配识别***,基于实施例1的方法实现,所述***包括:
粗识别模块,用于对接收到的合成孔径声纳的回波数据进行处理,得到实时合成孔径声纳图像,采用目标检测方法进行粗识别,得到感兴趣小目标图像;
精细识别模块,用于将感兴趣小目标图像输入预先建立和训练好的孪生匹配模型,与不同的参考图像组逐一进行匹配,实现精细化识别,得到与每个参考图像组的相似度;
结果输出模块,用于根据相似度的排序结果确定识别结果;
所述孪生匹配模型采用改进的Siam FC网络结构,骨干网络为改进的MobileNetV3网络。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (8)
1.一种合成孔径声纳感兴趣小目标孪生匹配识别方法,所述方法包括:
对接收到的合成孔径声纳的回波数据进行处理,得到实时合成孔径声纳图像,采用目标检测方法进行粗识别,得到感兴趣小目标图像;
将感兴趣小目标图像输入预先建立和训练好的孪生匹配模型,与不同的参考图像组逐一进行匹配,得到与每个参考图像组的相似度;
根据相似度的排序结果确定识别结果,实现精细化识别;
所述孪生匹配模型为改进的Siam FC网络结构,骨干网络为改进的MobileNet V3网络。
2.根据权利要求1所述的合成孔径声纳感兴趣小目标孪生匹配识别方法,其特征在于,所述采用目标检测方法进行粗识别,得到感兴趣小目标图像;具体包括:
采用目标检测方法进行粗识别,将检测结果保存为固定尺寸的图像,得到感兴趣小目标图像。
3.根据权利要求3所述的合成孔径声纳感兴趣小目标孪生匹配识别方法,其特征在于,所述改进的MobileNet V3网络采用EIRB模块替换原MobileNet V3中的IRB+模块;所述EIRB模块采用反残差网络结构,包括两个支路网络,其中上侧支路网络保持输入特征D不变,下侧支路网络用于对水下感兴趣小目标的特征提取和选择,并与上侧支路网络的输出特征相加;所述下侧支路网络包括:扩张层、通道可选择组件和压缩层,其中,
所述扩张层,用于对输入特征通道的扩张;卷积核尺寸为1×1,卷积核的数量为输入特征通道的K倍;
所述通道可选择组件,用于通过学习权重选择包含重要信息的通道;
所述压缩层,用于将特征通道压缩成与输入特征一致的数量。
4.根据权利要求3所述的合成孔径声纳感兴趣小目标孪生匹配识别方法,其特征在于,所述EIRB模块的处理过程包括:
输入特征D∈ΦH×H×M分别进入两个支路网络,其中H×H为输入特征的尺寸,M为输入特征的通道数,Φ为特征尺寸;
对于下侧支路网络,输入特征D经过扩张层Fex后的特征Dex为:
Dex=Fex(D)
Dex进入通道可选择组件后的输出特征Dse为:
Dse=s·Dex
s=fh(f3(Pg(Dex)))
式中,Dse∈ΦH×H×(K×M),s为通道的选择系数,s∈Φ1×(K×M);Pg为全局池化函数,Φ1×(K×M)为输出特征维度,f3为卷积核尺寸为3的一维卷积层,fh为hard swish激活函数,
由压缩层对Dse进行通道压缩,得到通道压缩后的特征D',输出特征维度为ΦH×H×M:
D′=Fsq(Dse)
将经过上侧支路网络的输入特征D与下侧支路网络输出的D'相加,得到输出特征为:
式中,
5.根据权利要求3所述的合成孔径声纳感兴趣小目标孪生匹配识别方法,其特征在于,所述孪生匹配模型还包括相似度结果计算模块,用于采用余弦距离作为相似度量函数,计算待识别的感兴趣小目标图像的输出特征x与每个参考图像组输出特征y的平均相似度sim(x,y):
其中,N为该参考图像组的参考图像个数,yi第i个参考图像的输出特征。
6.根据权利要求1所述的合成孔径声纳感兴趣小目标孪生匹配识别方法,其特征在于,所述方法还包括孪生匹配模型的训练步骤,具体包括:
建立训练集;
将训练集数据依次输入改进的Siam FC网络进行模型训练,待满足训练要求,得到训练好的孪生匹配模型。
7.一种合成孔径声纳感兴趣小目标孪生匹配识别***,其特征在于,所述***包括:
粗识别模块,用于对接收到的合成孔径声纳的回波数据进行处理,得到实时合成孔径声纳图像,采用目标检测方法进行粗识别,得到感兴趣小目标图像;
精细识别模块,用于将感兴趣小目标图像输入预先建立和训练好的孪生匹配模型,与不同的参考图像组逐一进行匹配,实现精细化识别,得到与每个参考图像组的相似度;和
结果输出模块,用于根据相似度的排序结果确定识别结果;
所述孪生匹配模型为改进的Siam FC网络结构,骨干网络为改进的MobileNet V3网络。
8.根据权利要求8所述的合成孔径声纳感兴趣小目标孪生匹配识别***,其特征在于,所述孪生匹配模型部署在边缘计算平台。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311320138.5A CN117437530A (zh) | 2023-10-12 | 2023-10-12 | 合成孔径声纳感兴趣小目标孪生匹配识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311320138.5A CN117437530A (zh) | 2023-10-12 | 2023-10-12 | 合成孔径声纳感兴趣小目标孪生匹配识别方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117437530A true CN117437530A (zh) | 2024-01-23 |
Family
ID=89550760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311320138.5A Pending CN117437530A (zh) | 2023-10-12 | 2023-10-12 | 合成孔径声纳感兴趣小目标孪生匹配识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117437530A (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101539930A (zh) * | 2009-04-21 | 2009-09-23 | 武汉大学 | 一种相关反馈图像检索方法 |
US20120226470A1 (en) * | 2009-09-18 | 2012-09-06 | Cassidian Sas | Three-dimensional location of target land area by merging images captured by two satellite-based sensors |
CN103217677A (zh) * | 2013-05-10 | 2013-07-24 | 重庆大学 | 一种基于联合检测量的单通道sar动目标检测方法 |
US20140042196A1 (en) * | 2011-05-10 | 2014-02-13 | Radar Leather Division S.R.L. | Handgun holster having a safety lock for engagement with the spent casing ejection port of the handgun |
KR101997799B1 (ko) * | 2018-12-17 | 2019-07-08 | 엘아이지넥스원 주식회사 | 관심영역 연관 영상 제공시스템 |
US20190285741A1 (en) * | 2018-03-14 | 2019-09-19 | Elta Systems Ltd. | Coherence change detection techniques |
US20210341573A1 (en) * | 2021-02-04 | 2021-11-04 | Intel Corporation | Apparatus, system, and method of generating radar target information |
CN114119686A (zh) * | 2021-11-24 | 2022-03-01 | 刘文平 | 空间布局相似计算的多源遥感影像配准方法 |
CN115374880A (zh) * | 2022-10-10 | 2022-11-22 | 北京邮电大学 | 一种面向海上目标识别的多级增量数据融合*** |
US20230131234A1 (en) * | 2021-10-22 | 2023-04-27 | Molecule One sp. z o.o. | Systems and methods for predicting outcomes and conditions of chemical reactions with high reliability based on a highly diverse and accurate dataset |
WO2023134402A1 (zh) * | 2022-01-14 | 2023-07-20 | 中国科学院深圳先进技术研究院 | 一种基于孪生卷积神经网络的书法字识别方法 |
CN116664940A (zh) * | 2023-06-07 | 2023-08-29 | 中国人民解放军空军工程大学 | 一种合成孔径雷达自动目标识别的方法 |
CN116664823A (zh) * | 2023-05-31 | 2023-08-29 | 西安电子科技大学 | 基于元学习和度量学习的小样本sar目标检测识别方法 |
CN116797628A (zh) * | 2023-04-21 | 2023-09-22 | 中国人民解放***箭军工程大学 | 一种多尺度的无人机航拍目标跟踪方法和装置 |
-
2023
- 2023-10-12 CN CN202311320138.5A patent/CN117437530A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101539930A (zh) * | 2009-04-21 | 2009-09-23 | 武汉大学 | 一种相关反馈图像检索方法 |
US20120226470A1 (en) * | 2009-09-18 | 2012-09-06 | Cassidian Sas | Three-dimensional location of target land area by merging images captured by two satellite-based sensors |
US20140042196A1 (en) * | 2011-05-10 | 2014-02-13 | Radar Leather Division S.R.L. | Handgun holster having a safety lock for engagement with the spent casing ejection port of the handgun |
CN103217677A (zh) * | 2013-05-10 | 2013-07-24 | 重庆大学 | 一种基于联合检测量的单通道sar动目标检测方法 |
US20190285741A1 (en) * | 2018-03-14 | 2019-09-19 | Elta Systems Ltd. | Coherence change detection techniques |
KR101997799B1 (ko) * | 2018-12-17 | 2019-07-08 | 엘아이지넥스원 주식회사 | 관심영역 연관 영상 제공시스템 |
US20210341573A1 (en) * | 2021-02-04 | 2021-11-04 | Intel Corporation | Apparatus, system, and method of generating radar target information |
US20230131234A1 (en) * | 2021-10-22 | 2023-04-27 | Molecule One sp. z o.o. | Systems and methods for predicting outcomes and conditions of chemical reactions with high reliability based on a highly diverse and accurate dataset |
CN114119686A (zh) * | 2021-11-24 | 2022-03-01 | 刘文平 | 空间布局相似计算的多源遥感影像配准方法 |
WO2023134402A1 (zh) * | 2022-01-14 | 2023-07-20 | 中国科学院深圳先进技术研究院 | 一种基于孪生卷积神经网络的书法字识别方法 |
CN115374880A (zh) * | 2022-10-10 | 2022-11-22 | 北京邮电大学 | 一种面向海上目标识别的多级增量数据融合*** |
CN116797628A (zh) * | 2023-04-21 | 2023-09-22 | 中国人民解放***箭军工程大学 | 一种多尺度的无人机航拍目标跟踪方法和装置 |
CN116664823A (zh) * | 2023-05-31 | 2023-08-29 | 西安电子科技大学 | 基于元学习和度量学习的小样本sar目标检测识别方法 |
CN116664940A (zh) * | 2023-06-07 | 2023-08-29 | 中国人民解放军空军工程大学 | 一种合成孔径雷达自动目标识别的方法 |
Non-Patent Citations (1)
Title |
---|
李宝奇等: "基于前视三维声呐的轨条砦识别方法", 《水下无人***学报》, vol. 30, no. 6, 31 December 2022 (2022-12-31), pages 747 - 753 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766835B (zh) | 基于多参数优化生成对抗网络的sar目标识别方法 | |
CN109871902B (zh) | 一种基于超分辨率对抗生成级联网络的sar小样本识别方法 | |
CN108596213A (zh) | 一种基于卷积神经网络的高光谱遥感图像分类方法及*** | |
CN106951915B (zh) | 一种基于类别置信度的一维距离像多分类器融合识别法 | |
CN112990334A (zh) | 基于改进原型网络的小样本sar图像目标识别方法 | |
CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
CN113052185A (zh) | 一种基于Faster R-CNN的小样本目标检测方法 | |
Rasmussen et al. | Automatic detection and classification of baleen whale social calls using convolutional neural networks | |
CN111882554B (zh) | 一种基于SK-YOLOv3的电力线故障智能检测方法 | |
CN115661649B (zh) | 一种基于bp神经网络的船载微波雷达图像溢油探测方法及*** | |
WO2023273337A1 (zh) | 一种基于代表特征的遥感图像中的密集目标检测方法 | |
CN114663707A (zh) | 基于Faster RCNN改进的少样本目标检测方法 | |
CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
CN114503131A (zh) | 检索装置、检索方法、检索程序和学习模型检索*** | |
CN115311531A (zh) | 一种RefineDet网络模型的探地雷达地下空洞目标自动检测方法 | |
CN110503157B (zh) | 基于细粒度图像的多任务卷积神经网络的图像隐写分析方法 | |
CN116630700A (zh) | 基于引入通道-空间注意力机制的遥感图像分类方法 | |
CN116542912A (zh) | 一种多目标视觉跟踪的柔性体桥梁振动检测模型、应用 | |
CN109145770B (zh) | 一种基于多尺度特征融合网络与定位模型相结合的麦蜘蛛自动计数方法 | |
Kiratiratanapruk et al. | Automatic detection of rice disease in images of various leaf sizes | |
CN111275680B (zh) | 基于Gabor卷积网络的SAR图像变化检测方法 | |
CN116338628B (zh) | 一种基于学习架构的激光雷达测深方法、装置及电子设备 | |
CN117437530A (zh) | 合成孔径声纳感兴趣小目标孪生匹配识别方法及*** | |
CN108399413B (zh) | 一种图片拍摄区域识别及地理定位方法及装置 | |
CN115272153A (zh) | 一种基于特征稀疏区域检测的影像匹配增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |