CN117437530A - 合成孔径声纳感兴趣小目标孪生匹配识别方法及*** - Google Patents

Abstract

本发明提供了合成孔径声纳感兴趣小目标孪生匹配识别方法及***。该方法包括：对接收到的合成孔径声纳的回波数据进行处理，得到实时合成孔径声纳图像，采用目标检测方法进行粗识别，得到感兴趣小目标图像；将感兴趣小目标图像输入预先建立和训练好的孪生匹配模型，与不同的参考图像组逐一进行匹配，得到与每个参考图像组的相似度；根据相似度的排序结果确定识别结果，实现精细化识别；所述孪生匹配模型采用Siam FC网络结构，骨干网络为改进的MobileNet V3网络。本发明为样本稀少条件下的SAS图像水下小目标自主识别任务提供了一种有效解决的手段。

Description

合成孔径声纳感兴趣小目标孪生匹配识别方法及***

技术领域

本发明涉及水声信号处理领域，尤其涉及合成孔径声纳感兴趣小目标孪生匹配识别方法及***。

背景技术

合成孔径声纳(Synthetic Aperture Sonar，SAS)是一种高分辨率水下成像声纳，其基本原理是利用小孔径基阵的移动形成虚拟大孔径，从而获得方位向的高分辨率。与普通侧扫声纳相比，SAS最为显著的优点是方位向分辨率较高，且理论分辨率与目标距离以及采用的声波频段无关。合成孔径声纳图像目标检测任务在水下无人平台自主导航和搜索发挥着重要作用。目标检测可以定位感兴趣小目标的位置，不过受限于样本数量少无法实现进一步精确化识别。

目标匹配是目标识别的重要手段，通常目标匹配识别可以分为基于特征的匹配和基于卷积神经网络的匹配。基于特征的匹配识别是通过提取模板中目标的特征与待识别图像中的特征进行匹配计算。不过，该类方法并不适用于水下感兴趣小目标。因为SAS图像内小目标的尺度较小，这也导致了目标中纹理信息的缺失,相应地也难以提取到有效的特征描述子。另外，尺度过小的目标容易受到环境噪声的影响，而具有稀疏检测特性的特征点对于噪声十分敏感，这导致特征点方法很难准确地描述水下感兴趣小目标。

近些年来，由于卷积神经网络(Convolutional Neural Networks，CNN)的发展，一些基于CNN网络模型的判别式目标匹配算法以其优异的匹配性能获得了研究人员广泛的关注。一些学者提出基于CNN网络的目标匹配方法，该类方法采用CNN提取候选样本与目标模板的深度特征，通过学习一个精确、鲁棒的相似度量函数，实现深度特征之间的精确匹配。最近几年，孪生卷积神经网络凭借在学习相似度量函数上的极大优势，Bertinetto等人提出的Siam FC在特征匹配上表现优异，但算法的实时性有待提升。Howard等提出了轻量化的卷积神经网络MobileNet V1。MobileNet V1用深度可分离卷积(depthwise separableconvolution，DSC)替换标准卷积来减少模型的参数和计算量。Sandler等提出了MobileNetV1的改进版本MobileNet V2。MobileNet V2在深度可分离卷积的基础上引入了跨连接(shortcut connections)结构，并设计了新的特征提取模块IRB(inverted residualblock)。新模块将原来的先“压缩”后“扩张”调整为先“扩张”后“压缩”，同时为了降低激活函数在高维信息向低维信息转换时的丢失和破坏，将最后卷积层的激活层由非线性更改为线性。Howard等在MobileNet V1和MobileNet V2的基础上提出了改进版本MobileNet V3和特征提取模块IRB⁺，IRB⁺引入了SE(squeeze and excitation)注意力机制。SE首先对卷积得到的特征进行squeeze操作，得到全局特征，然后对全局特征进行excitation操作，得到不同特征的权重，最后乘以对应通道的特征得到最终特征。本质上，SE组件是在特征维度上做选择，这可以更加关注信息量最大的特征，而抑制那些不重要的特征。IRB⁺在保持较低计算量的同时，具有更好的特征提取能力。不过，IRB⁺捕获所有通道的依赖关系是低效并且是不必要的。

综上所述，目前急需一种适用水下感兴趣小目标的识别方法，以提高样本稀少条件下小目标精细化识别的准确率与效率。

发明内容

本发明的目的在于克服现有技术缺陷，提出了合成孔径声纳感兴趣小目标孪生匹配识别方法及***。

为了实现上述目的，本发明提出了一种合成孔径声纳感兴趣小目标孪生匹配识别方法，所述方法包括：

对接收到的合成孔径声纳的回波数据进行处理，得到实时合成孔径声纳图像，采用目标检测方法进行粗识别，得到感兴趣小目标图像；

将感兴趣小目标图像输入预先建立和训练好的孪生匹配模型，与不同的参考图像组逐一进行匹配，得到与每个参考图像组的相似度；

根据相似度的排序结果确定识别结果，实现精细化识别；

所述孪生匹配模型为改进的Siam FC网络结构，骨干网络为改进的MobileNet V3网络。

优选的，所述采用目标检测方法进行粗识别，得到感兴趣小目标图像；具体包括：

采用目标检测方法进行粗识别，将检测结果保存为固定尺寸的图像，得到感兴趣小目标图像。

优选的，所述改进的MobileNet V3网络采用EIRB模块替换原MobileNet V3中的IRB⁺模块；所述EIRB模块采用反残差网络结构，包括两个支路网络，其中上侧支路网络保持输入特征D不变，下侧支路网络用于对水下感兴趣小目标的特征提取和选择，并与上侧支路网络的输出特征相加；所述下侧支路网络包括：扩张层、通道可选择组件和压缩层，其中，

所述扩张层，用于对输入特征通道的扩张；卷积核尺寸为1×1，卷积核的数量为输入特征通道的K倍；

所述通道可选择组件，用于通过学习权重选择包含重要信息的通道；

所述压缩层，用于将特征通道压缩成与输入特征一致的数量。

优选的，所述EIRB模块的处理过程包括：

输入特征D∈Φ^H×H×M分别进入两个支路网络，其中H×H为输入特征的尺寸，M为输入特征的通道数，Φ为特征尺寸；

对于下侧支路网络，输入特征D经过扩张层F_ex后的特征D_ex为：

D_ex＝F_ex(D)

D_ex进入通道可选择组件后的输出特征D_se为：

D_se＝s·D_ex

s＝f_h(f₃(P_g(D_ex)))

式中，D_se∈Φ^H×H×(K×M)，s为通道的选择系数，s∈Φ^1×(K×M)；P_g为全局池化函数，Φ^1×(K×M)为输出特征维度，f₃为卷积核尺寸为3的一维卷积层，f_h为hard swish激活函数，

由压缩层对D_se进行通道压缩，得到通道压缩后的特征D'，输出特征维度为Φ^H×H×M：

D′＝F_sq(D_se)

将经过上侧支路网络的输入特征D与下侧支路网络输出的D'相加，得到输出特征为：

式中，

优选的，，所述孪生匹配模型还包括相似度结果计算模块，用于采用余弦距离作为相似度量函数，计算待识别的感兴趣小目标图像的输出特征x与每个参考图像组输出特征y的平均相似度sim(x,y)：

其中，N为该参考图像组的参考图像个数，y_i第i个参考图像的输出特征。

优选的，所述方法还包括孪生匹配模型的训练步骤，具体包括：

建立训练集；

将训练集数据依次输入改进的Siam FC网络进行模型训练，待满足训练要求，得到训练好的孪生匹配模型。

另一方面，本发明提出了一种合成孔径声纳感兴趣小目标孪生匹配识别***，所述***包括：

粗识别模块，用于对接收到的合成孔径声纳的回波数据进行处理，得到实时合成孔径声纳图像，采用目标检测方法进行粗识别，得到感兴趣小目标图像；

精细识别模块，用于将感兴趣小目标图像输入预先建立和训练好的孪生匹配模型，与不同的参考图像组逐一进行匹配，实现精细化识别，得到每个参考图像组的相似度；和

结果输出模块，用于根据相似度的排序结果确定识别结果；

所述孪生匹配模型为改进的Siam FC网络结构，骨干网络为改进的MobileNet V3网络。

优选的，所述孪生匹配模型部署在边缘计算平台。

与现有技术相比，本发明的优势在于：

1、本发明将合成孔径声纳图像目标检测结果与特征匹配结果相结合，提出了一种水下感兴趣小目标识别方法，以粗精两级的方式解决样本稀少条件下现有方法对水下感兴趣小目标识别准确率低的问题；该方法首先利用目标检测模型对感兴趣小目标进行检测，再利用孪生网络对感兴趣小目标进行识别，为样本稀少条件下的SAS图像水下小目标自主识别任务提供了一种有效解决的手段；

2、改进的MobileNet V3网络引入了ECA注意力机制，ECA的核心思想是关注通道(channel)之间的关系，而不是像传统的自注意力机制(如Transformer)那样关注不同位置之间的关系，因此可以显著提高网络的性能；另外，ECA注意力机制使用简单的1x1卷积核来计算通道注意力权重，因此引入的额外参数非常有限；

3、改进的Siam FC网络结构将待识别图像与一组参考图像进行匹配，并计算平均相似度，这大大提高了匹配结果的可靠性，并且参考图像组可以现场添加和删减，提高了网络的快速部署能力。

附图说明

图1是本发明提供的合成孔径声纳水下感兴趣小目标识别方法与***实现框架；

图2是是改进的特征提取模块结构示意图；

图3是孪生匹配模型结构示意图。

具体实施方式

为了解决上述技术问题，本发明提出了一种合成孔径声纳图像感兴趣小目标识别方法及***实现，实现了水下感兴趣小目标的精细化识别；该方法是一种粗精两级的水下目标识别方法，通过目标检测模型和孪生匹配网络，提高了样本稀少条件下的水下感兴趣小目标的识别精度。

为了实现上述目的，本发明提供了一种合成孔径声纳图像感兴趣小目标识别方法及***实现，其特征在于，所述模型包括：感兴趣小目标检测模块、数据集制作模块、模型训练模块和特征匹配模块；

所述数据集制作模块，用于标注、并制作目标分类数据集；

所述模型训练模块，用于对孪生网络进行参数初始化、训练和测试；

所述特征匹配模块，用于感兴趣小目标图像与目标模板的匹配，实时感兴趣小目标的精细化识别。

所述回波提取模块进一步包括：合成孔径声纳图像子模块、目标检测子模块和待识别感兴趣小目标子模块；

所述合成孔径声纳图像子模块，用于对接收到的阵元数据进行处理，得到实时合成孔径声纳图像；

所述目标检测子模块，用于对合成孔径声纳图像中感兴趣小目标进行检测；

所述待识别感兴趣小目标子模块，用于将目标检测子模块的检测结果保存为固定尺寸的图像；

可选的，所述数据集制作模块子模块进一步包括：数据采集子模块、数据标注子模块和目标分类数据集制作子模块；

所述数据采集子模块，收集目标图像；

所述数据标注子模块，结合任务需求对采集图像进行标注；

所述目标检测数据集制作子模块，按照标准目标分类数据集格式，将数据随机划分为训练集和测试集。

可选的，其特征在于，所述模型训练子模块进一步包括：参数设置模块，孪生网络模块和模型测试模块。

所述参数设置子模块，用于完成模型训练所需参数初始化工作；

所述孪生网络子模块，用于实现感兴趣小目标匹配识别；

所述模型测试模块子模块，用于实时监视模型训练状态。

可选的，所述特征匹配子模块进一步包括：目标模板子模块、孪生网络子模块和结果输出子模块；

所述目标模板子模块，用于管理和存储水下感兴趣小目标模板；

所述孪生网络子模块，用于待识别感兴趣小目标图像与目标模板的匹配；

所述结果输出子模块，用于待识别感兴趣小目标图像相似度的显示输出。

下面结合附图和实施例对本发明的技术方案进行详细的说明。

实施例1

本发明包括点合成孔径声纳图像预处理模块、数据集制作模块、模型训练模块和平台部署模块。第一步，采集目标图像、对样本进行标注并生成图像分类数据集；第二步，初始化训练参数，对孪生网络进行训练，并对训练结果进行质量评估；第三步，将检测到的水下感兴趣小目标与目标模板进行匹配，实现精细化识别。其总体流程框图如图1所示，具体步骤如下：

步骤1、目标分类数据集制作

步骤1-1、收集目标图像样本；

步骤1-2、对图像样本进行分类；

步骤1-3、按照目标分类数据集格式，采用随机划分的原则，对标注好的图像进行划分，分为训练样本集和测试样本集。

步骤2、模型训练

步骤2-1、在深度学***台所需的环境，包括开源软件Anaconda、Pytorch以及Torchvision等，同时对模型训练初始化参数进行设定，包括batchsize、epoch和validation_epochs等；

步骤2-2、搭建改进的特征提取模块(EIRB,Efficient Inverted ResidualBlock)，如图2所示。EIRB模块采用了反残差网络结构，即先对通道采取先“扩张”后“压缩”的策略，并由扩张层、通道可选择组件和压缩层组成，其中扩张层负责输入特征通道扩张；通道可选择组件通过学习权重选择包含重要信息的通道；压缩层负责将特征通道压缩成与输入特征一致的数量。

对于一个任意的输入特征D∈Φ^H×H×M，其中H×H为输入特征的尺寸，M为输入特征的通道数。输入特征D进入EIRB模块的两个支路网络：下侧支路负责水下感兴趣小目标特征提取和选择；上侧支路保持输入特征D不变，并最后与顶层支路网络的输出特征相加。对于下侧支路网络，输入特征D首先经过扩张层，其输出特征的数学表达为：

D_ex＝F_ex(D),D∈Φ^H×H×M (1)

式中,D为原始输入特征；D_ex为经过扩张层后的特征，扩张层的卷积核尺寸为1×1，卷积核的数量为输入特征通道的K倍，即K×M。

然后，输出特征D_ex送入ECA通道选择组件，其输出特征的数学表达式为：

D_se＝s·D_ex (2)

s＝f_h(f₃(P_g(D_ex))) (3)

式中,D_se为通道选择后的通道特征；s为通道的选择系数，s∈Φ^1×(K×M)；P_g()为全局池化函数，输出特征维度为Φ^1×(K×M)；f₃为卷积核尺寸为3的一维卷积层，输出特征维度为Φ^1×(K×M)；f_h为hard swish激活函数，

接着，对D_se进行通道压缩，数学表达式为：

D'＝F_sq(D_se),D_se∈Φ^H×H×(K×M) (4)

式中,D'为通道压缩后的特征,输出特征维度为Φ^H×H×M。

通过上面的计算，最后可以得到EIRB模块的输出特征数学表达式为：

式中,为EIRB模块的输出特征，/>特征图尺寸为H×H，通道数为M。

步骤2-3搭建改进的MobileNet V3网络。改进的MobileNet V3网络如表1所示，其中各卷积层输入通道、中间通道、输出通道、步长和激活函数(RE表示ReLU激活函数，HS表示H-Swich激活函数)与原MobileNet V3网络保持一致；不同的是改进的MobileNet V3利用EIRB替换原MobileNet V3中IRB⁺模块。

表1改进的MobileNet V3网络结构

步骤2-4、实时监测孪生网络的训练过程、以及测试结果，当评价指标满足要求时停止训练。

步骤3、感兴趣小目标精细化识别

步骤3-1、在边缘计算平台上搭建目标检测和孪生匹配所需的运行环境。

步骤3-2、目标检测模型部署。将训练好的目标检测模型部署到平台端，并设定输入数据格式以及输出数据格式。

步骤3-3、孪生匹配网络搭建和部署。搭建如图3所示的孪生网络结构，骨干网络为改进的MobileNet V3。如果模板与待匹配图像来自同一类正样本对，则CNN提取出的特征会非常相似。反之，若模板与待匹配图像来自负样本对或不同类别的样本，则CNN提取出的特征会有明显的差距。孪生卷积神经网络就是采用这样的方式提升了泛化能力，使其可以在只有少量样本的情况下实现准确、鲁棒地匹配。

步骤3-4、相似度计算和结果输出。在进行相似度计算时，采用余弦距离作为相似度量函数。具体的计算公式如下：

其中x为待识别图像在改进的MobileNet V3网络上的输出特征；y_i为第i个参考图像在改进的MobileNet V3网络上的输出特征；sim(x,y)为待识别图像与参考图像组的平均相似度。

下面结合仿真实验，对本发明的技术效果作进一步的说明：

实验硬件平台为i7-8750H、内存为32GB(16GB*2)、GPU为2070s(8G)，软件环境为win10、python3.7、Torch1.3.1和Torchvision0.4.2等。输入图像的尺寸为224像素*224像素。为了保证算法公平性，参考图像为一组图像，即同一类型目标包含多幅图像，共设置三类参考目标，非目标、可以目标和疑似目标。实验结果如图表1所示。

表2目标检测模型性能比较

	非目标	可疑目标	疑似目标
				疑似目标(待识别)	0.8267	0.8879	0.9303
可疑目标(待识别)	0.8655	0.9192	0.8852
				非目标(待识别)	0.8589	0.8412	0.8348

从表2的实验结果可以发现，本文改进孪生网络可有效对感兴趣小目标类型做进一步的判断。对疑似目标(待识别)而言，相似度最高的为参考疑似目标组(0.9303)，相似度最低的为参考非目标组(0.8267)；对可疑目标(待识别)而言，相似度最高的为参考可疑目标组(0.9192)，相似度最低的为参考非目标组(0.8655)；对非目标(待识别)而言，相似度最高的为参考非目标组(0.8589)，相似度最低的为参考疑似目标组(0.8348)。三类待识别目标与同类目标均具有最大的相似度。

实施例2

本发明的实施例2提出了一种合成孔径声纳感兴趣小目标孪生匹配识别***，基于实施例1的方法实现，所述***包括：

粗识别模块，用于对接收到的合成孔径声纳的回波数据进行处理，得到实时合成孔径声纳图像，采用目标检测方法进行粗识别，得到感兴趣小目标图像；

精细识别模块，用于将感兴趣小目标图像输入预先建立和训练好的孪生匹配模型，与不同的参考图像组逐一进行匹配，实现精细化识别，得到与每个参考图像组的相似度；

结果输出模块，用于根据相似度的排序结果确定识别结果；

所述孪生匹配模型采用改进的Siam FC网络结构，骨干网络为改进的MobileNetV3网络。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种合成孔径声纳感兴趣小目标孪生匹配识别方法，所述方法包括：

对接收到的合成孔径声纳的回波数据进行处理，得到实时合成孔径声纳图像，采用目标检测方法进行粗识别，得到感兴趣小目标图像；

将感兴趣小目标图像输入预先建立和训练好的孪生匹配模型，与不同的参考图像组逐一进行匹配，得到与每个参考图像组的相似度；

根据相似度的排序结果确定识别结果，实现精细化识别；

所述孪生匹配模型为改进的Siam FC网络结构，骨干网络为改进的MobileNet V3网络。

2.根据权利要求1所述的合成孔径声纳感兴趣小目标孪生匹配识别方法，其特征在于，所述采用目标检测方法进行粗识别，得到感兴趣小目标图像；具体包括：

采用目标检测方法进行粗识别，将检测结果保存为固定尺寸的图像，得到感兴趣小目标图像。

3.根据权利要求3所述的合成孔径声纳感兴趣小目标孪生匹配识别方法，其特征在于，所述改进的MobileNet V3网络采用EIRB模块替换原MobileNet V3中的IRB⁺模块；所述EIRB模块采用反残差网络结构，包括两个支路网络，其中上侧支路网络保持输入特征D不变，下侧支路网络用于对水下感兴趣小目标的特征提取和选择，并与上侧支路网络的输出特征相加；所述下侧支路网络包括：扩张层、通道可选择组件和压缩层，其中，

所述扩张层，用于对输入特征通道的扩张；卷积核尺寸为1×1，卷积核的数量为输入特征通道的K倍；

所述通道可选择组件，用于通过学习权重选择包含重要信息的通道；

所述压缩层，用于将特征通道压缩成与输入特征一致的数量。

4.根据权利要求3所述的合成孔径声纳感兴趣小目标孪生匹配识别方法，其特征在于，所述EIRB模块的处理过程包括：

输入特征D∈Φ^H×H×M分别进入两个支路网络，其中H×H为输入特征的尺寸，M为输入特征的通道数，Φ为特征尺寸；

对于下侧支路网络，输入特征D经过扩张层F_ex后的特征D_ex为：

D_ex＝F_ex(D)

D_ex进入通道可选择组件后的输出特征D_se为：

D_se＝s·D_ex

s＝f_h(f₃(P_g(D_ex)))

式中，D_se∈Φ^H×H×(K×M)，s为通道的选择系数，s∈Φ^1×(K×M)；P_g为全局池化函数，Φ^1×(K×M)为输出特征维度，f₃为卷积核尺寸为3的一维卷积层，f_h为hard swish激活函数，

由压缩层对D_se进行通道压缩，得到通道压缩后的特征D'，输出特征维度为Φ^H×H×M：

D′＝F_sq(D_se)

将经过上侧支路网络的输入特征D与下侧支路网络输出的D'相加，得到输出特征为：

式中，

5.根据权利要求3所述的合成孔径声纳感兴趣小目标孪生匹配识别方法，其特征在于，所述孪生匹配模型还包括相似度结果计算模块，用于采用余弦距离作为相似度量函数，计算待识别的感兴趣小目标图像的输出特征x与每个参考图像组输出特征y的平均相似度sim(x,y)：

其中，N为该参考图像组的参考图像个数，y_i第i个参考图像的输出特征。

6.根据权利要求1所述的合成孔径声纳感兴趣小目标孪生匹配识别方法，其特征在于，所述方法还包括孪生匹配模型的训练步骤，具体包括：

建立训练集；

将训练集数据依次输入改进的Siam FC网络进行模型训练，待满足训练要求，得到训练好的孪生匹配模型。

7.一种合成孔径声纳感兴趣小目标孪生匹配识别***，其特征在于，所述***包括：

粗识别模块，用于对接收到的合成孔径声纳的回波数据进行处理，得到实时合成孔径声纳图像，采用目标检测方法进行粗识别，得到感兴趣小目标图像；

精细识别模块，用于将感兴趣小目标图像输入预先建立和训练好的孪生匹配模型，与不同的参考图像组逐一进行匹配，实现精细化识别，得到与每个参考图像组的相似度；和

结果输出模块，用于根据相似度的排序结果确定识别结果；

所述孪生匹配模型为改进的Siam FC网络结构，骨干网络为改进的MobileNet V3网络。

8.根据权利要求8所述的合成孔径声纳感兴趣小目标孪生匹配识别***，其特征在于，所述孪生匹配模型部署在边缘计算平台。