CN113537020B - 基于改进神经网络的复数sar图像目标识别方法 - Google Patents

Abstract

本申请涉及一种基于改进神经网络的复数SAR图像目标识别方法。所述方法包括：通过利用SAR图像特有的复数信息生成三通道的SAR图像，同时基于通道注意力机制模块和残差网络进行构建的目标识别神经网络可以自适应关注各通道的有用特征，来提高SAR图像目标识别的准确率，利用三通道的SAR图像对构建目标识别神经网络进行训练，使得训练好的神经网络可有效利用SAR图像的复数信息并对于目标相关的特征进行提取，以提高SAR图像目标识别的准确率。

Description

基于改进神经网络的复数SAR图像目标识别方法

技术领域

本申请涉及雷达图像处理技术领域，特别是涉及一种基于改进神经网络的复数SAR图像目标识别方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar，SAR)采用微波相干成像，因此SAR图像本质上是复值的，在像素信息量上SAR图像更加丰富，这也是其和普通光学红外遥感图像显著不同之处。因其可以全天时、全天候的获取二维高分辨图像，是目前世界各国进行海上目标监测的重要手段。

当前SAR图像舰船目标识别方法可以总结为:1)基于有效特征提取的识别方法。通过提取有效特征可以从不同角度描述图像中目标特性，再选择有效的分类方法进行目标识别。目前特征表达方法主要分为空间特征、统计特征、变换域特征和代数特征。2)基于特征融合的识别方法。进行特征融合可以增加图像的特征信息，实现更加全面的特征表达。3)基于模型匹配的识别方法。根据训练图像获取模型预测特征，再通过匹配模型的预测特征和图像的提取特征来实现目标识别。4)基于SAR成像原理和地物电磁散射机理的识别方法。使用目标的强散射信息，SAR数据中方位不变性等特征来提高分类识别精度。5)基于深度学习的识别方法。随着深度学习方法的快速发展，已经广泛的应用到目标识别的领域中，通过使用无监督或监督学习方法的机器学习特征建立低级特征和高级语义之间的关系大大提升了目标识别的准确性，也充分体现了深度学习在目标识别中的巨大优势和潜力。

近年来，CNN、FCN等深度学习框架用于SAR图像目标识别中，都取得了较好的结果。但目前应用于SAR图像识别的深度学习框架，都是针对其幅度信息，需要将复数SAR图像投影到以幅度为代表的实数域中，无法有效利用SAR图像特有的复数信息。

发明内容

基于此，有必要针对上述技术问题，提供一种能够有效提高SAR图像目标识别准确率的基于改进神经网络的复数SAR图像目标识别方法。

一种基于改进神经网络的复数SAR图像目标识别方法，所述方法包括：

获取多个复数SAR样本图像，分别提取各所述复数SAR样本图像的实部图像、虚部图像以及幅度图像并进行重组得到，与各所述复数SAR样本图像对应的三通道SAR样本图像，并根据各所述三通道SAR样本图像构建样本数据集；

对所述样本数据集进行标准化处理，得到样本数据集的数据均值和数据标准差；

构建通道注意力机制模块与残差网络相结合的目标识别神经网络，并根据所述数据均值和数据标准差对所述目标识别神经网络进行参数设置，再将样本数据集输入所述目标识别神经网络进行训练，得到已训练的目标识别神经网络；

获取待识别的复数SAR图像，提取所述复数SAR图像的实部图像、虚部图像以及幅度图像并进行融合得到与复数SAR图像对应的三通道SAR图像；

将所述三通道SAR图像输入已训练的目标识别神经网络，进行目标识别。

在其中一实施例中，在对所述复数SAR样本图像的实部图像、虚部图像以及幅度图像进行重组时保留原始灰度。

在其中一实施例中，采用标准分数方法进行对所述样本数据集进行标准化处理。

在其中一实施例中，所述构建通道注意力机制模块与残差网络相结合的目标识别神经网络包括：

将所述通道注意力机制模块连接至残差网络中的各残差学习单元“identity”分支上以构建所述目标识别神经网络。

在其中一实施例中，对所述目标识别神经网络进行训练时还加入标签平滑正则化对目标识别神经网络进行约束，使得损失函数为：

其中，ε为超参数，K为所述样本数据集中各复数SAR样本图像的类别数目，q(k)为标签分布，P(k)为预测分布，k为所述样本数据集中各复数SAR样本图像的某一类别标签，y为真实标签。

上述基于改进神经网络的复数SAR图像目标识别方法，通过利用SAR图像特有的复数信息生成三通道的SAR图像，同时基于通道注意力机制模块和残差网络进行构建的目标识别神经网络可以自适应关注各通道的有用特征，来提高SAR图像目标识别的准确率，利用三通道的SAR图像对构建目标识别神经网络进行训练，使得训练好的神经网络可有效利用SAR图像的复数信息并对于目标相关的特征进行提取，以提高SAR图像目标识别的准确率。

附图说明

图1为一个实施例中基于改进神经网络的复数SAR图像目标识别方法的流程示意图；

图2为一个实施例中复数SAR图像数据增强示意图；

图3为一个实施例中目标识别神经网络结构示意图；

图4为一个实施例中通道注意力机制模块结构示意图；

图5为一个实施例中不同目标识别方法实验结果对比图；

图6为一个实施例中基于改进神经网络的复数SAR图像目标识别装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

如图1所示，提供了一种基于改进神经网络的复数SAR图像目标识别方法，包括以下步骤：

步骤S100，获取多个复数SAR样本图像，分别提取各所复数SAR样本图像的实部图像、虚部图像以及幅度图像并进行重组得到，与各复数SAR样本图像对应的三通道SAR样本图像，并根据各三通道SAR样本图像构建样本数据集；

步骤S110，对所述样本数据集进行标准化处理，得到样本数据集的数据均值和数据标准差；

步骤S120，构建通道注意力机制模块与残差网络相结合的目标识别神经网络，并根据所述数据均值和数据标准差对所述目标识别神经网络进行参数设置，再将样本数据集输入所述目标识别神经网络进行训练，得到已训练的目标识别神经网络；

步骤S130，获取待识别的复数SAR图像，提取复数SAR图像的实部图像、虚部图像以及幅度图像并进行融合得到与复数SAR图像对应的三通道SAR图像；

步骤S140，将三通道SAR图像输入已训练的目标识别神经网络，进行目标识别。

为了针对SAR图像具有复数信息这一特征，并且在现有的利用深度学习网络对SAR图像进行目标识别时，都是针对SAR图像的幅度信息，需要将复数SAR图像投影到以幅度为代表的实数域中，也就是在深度学习网络进行识别时并没有有效利用SAR图像特有的复数信息提出了一种有效利用SAR图像复数信息进行目标识别的方法。

在本实施例中，是基于一个改进神经网络实现对SAR复数图像进行目标识别。

在步骤S100中，对改进神经网络进行训练的样本数据集进行构建。首先获取多个复数SAR样本图像。这些复数SAR样本图像的内容包括同一目标的多种类别的图像。例如包括不同类型车的SAR图像，但是针对一种类型的车会有多张不同的SAR图像。

接着，对每一张复数SAR样本图像的实部图像、虚部图像以及幅度图像进行提取，再将这三种图像进行重新组合生成三通道SAR图像，也就是对复数SAR样本图像进行增强，如图2所示。

具体的，复数SAR样本图像可用复数形式表示为Pixel＝r+i·j＝Ae^jφ，

其中，r为实部，i为虚部，j为虚部单位且有j²＝-1，A为振幅(即灰度信息)。将复数SAR图像中的实部r、虚部i和幅度A组合为三通道SAR图像,可以表示为Z＝[|r||i|A]。

在本实施例中，在对复数SAR样本图像的实部图像、虚部图像以及幅度图像进行重组过程中，为了减少数据像素信息的损失，并不会将数据的像素值缩放到0-255区间，而是将其保留为原始32位灰度。

在步骤S110中，采用标准分数方法进行对样本数据集进行标准化处理。

具体的，标准化处理过程表示为：

在公式(1)中，S为数据样本集中的三通道图像数据标准差，

为数据样本集中的三通道图像数据均值，N为数据样本集像素总量，x_i为数据样本集中的三通道图像数据像素值。

在本实施中，还根据数据均值和数据标准化对构建的目标识别网络进行参数设置，这样做一方面可以提升网络模型的精度，提高分类器的准确性。另一方面可以加快梯度下降的求解速度，加速网络模型的收敛。

在将样本数据集输入目标识别神经网络进行训练前，还对各张三通道图像根据图像中的类别进行标签。

在步骤S120中，在构建通道注意力机制模块与残差网络相结合的目标识别神经网络包括：将通道注意力机制模块连接至残差网络中的各残差学习单元“identity”分支上以构建目标识别神经网络。

具体的，在残差网络(Resnet18网络)的基础上引入Squeeze-and-Excitation(SE)通道注意力机制模块来提升网络对通道特征的敏感度。将SE模块加入到Resnet18网络残差块的“identity”分支中，使得每个残差块增加了一个权重预测分支，这样使得网络在对图像特征进行学习时会更加注意图像中目标的特征，目标识别神经网络结构如图3所示。

具体的，Resnet18网络包括卷积层、池化层、依次连接的四个残差学***均池化层以及全连接层。

其中，数据在通过残差块进行处理时，输入数据依次通过卷积层、批标准化层、ReLu激活层、另一个卷积层、另一个批标准化层的处理后得到中间数据，输入数据还通过identity分支与中间数据进行残差处理后再进行ReLu激活处理得到该残差块的数据输出。其中，SE模块加入identity分支上，使得每个残差块增加了一个权重预测分支。

在其中一实施里中，SE模块包括依次连接的全局池化层、全连接层、ReLu激活层、全连接层以及Sigmoid激活层，如图4所示。

在对目标识别神经网络进行训练的过程中，为了解决样本数据集中样本较少的问题，还加入标签平滑正则化对目标识别神经网络进行约束，以降低过拟合的现象，还加如了一个超参数，使得损失函数为：

其中，ε为超参数，K为所述样本数据集中各复数SAR样本图像的类别数目，q(k)为标签分布，P(k)为预测分布，k为所述样本数据集中各复数SAR样本图像的某一类别标签，y为真实标签。

标签平滑正则化的作用相当于减少真实样本标签的类别在计算损失时的权重，保证错误标签的概率不为0，最终起到抑制过拟合的作用。

在实际上对目标识别神经网络进行训练时，还将样本数据集中的按照各类别的复数SAR样本图像进行随机划分，分为训练集和测试集，划分比例为9:1。先用训练集对目标识别神经网络进行最初的训练，训练好以后，再用测试集对训练好的神经网络进行微调以使目标识别神经网络的精准度达到预设目标。

在步骤S130-S140中，是对已训练的目标识别神经网络进行运用的过程，首先需要提取待识别的复数SAR图像的实部图像、虚部图像以及幅度图像并进行融合得到与复数SAR图像对应的三通道SAR图像，再将三通道SAR图像输入已训练的目标识别神经网络进行目标识别。

如图5所示，其中图5的(a)和(b)可以看出，在Resnet18网络上使用三通道SAR图像比使用单通道SAR图像的识别结果提高1％-2％，这表明将复数信息中的实部、虚部信息组成三通道SAR图上，可以在幅度信息的基础上增加了复数信息提供的局部表示，使得识别效果有所提升。

由图5的(b)和(c)可以看出，将三通道SAR图像用于本方法与Resnet18网络上，在识别效果提升1.5％。表明本方法的通道注意力机制可以实现自适应学习各通道的重要特征，抑制背景信息，使得本发明方法优于其他方法。

上述基于改进神经网络的复数SAR图像目标识别方法中，通过对复数SAR图像数据增强，将复数SAR图像中的实部、虚部和幅度重新组合为三通道SAR图像,引入复数信息来增强局部表示的细节，再将三通道SAR图像对基于通道注意力机制模块与残差网络相结合的目标识别神经网络进行训练，其中将通道注意力机制与Resnet18网络相结合使网络可以自适应关注各通道的有用特征，来提高SAR图像目标识别的准确率。本方法可以有效利用到SAR图像中的复数信息，使数据在原有幅度信息基础上增强了局部表示的细节，且方法简单，易于实现。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种基于改进神经网络的复数SAR图像目标识别装置，包括：样本数据集构建模块200、标准化处理模块210、神经网络训练模块220、三通道SAR图像得到模块230、目标识别模块240，其中：

样本数据集构建模块200，用于获取多个复数SAR样本图像，分别提取各所述复数SAR样本图像的实部图像、虚部图像以及幅度图像并进行重组得到，与各所述复数SAR样本图像对应的三通道SAR样本图像，并根据各所述三通道SAR样本图像构建样本数据集；

标准化处理模块210，用于对所述样本数据集进行标准化处理，得到样本数据集的数据均值和数据标准差；

神经网络训练模块220，用于构建通道注意力机制模块与残差网络相结合的目标识别神经网络，并根据所述数据均值和数据标准差对所述目标识别神经网络进行参数设置，再将样本数据集输入所述目标识别神经网络进行训练，得到已训练的目标识别神经网络；

三通道SAR图像得到模块230，用于获取待识别的复数SAR图像，提取所述复数SAR图像的实部图像、虚部图像以及幅度图像并进行融合得到与复数SAR图像对应的三通道SAR图像；

目标识别模块240，用于将所述三通道SAR图像输入已训练的目标识别神经网络，进行目标识别。

关于基于改进神经网络的复数SAR图像目标识别装置的具体限定可以参见上文中对于基于改进神经网络的复数SAR图像目标识别方法的限定，在此不再赘述。上述基于改进神经网络的复数SAR图像目标识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于改进神经网络的复数SAR图像目标识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取多个复数SAR样本图像，分别提取各所述复数SAR样本图像的实部图像、虚部图像以及幅度图像并进行重组得到，与各所述复数SAR样本图像对应的三通道SAR样本图像，并根据各所述三通道SAR样本图像构建样本数据集；

对所述样本数据集进行标准化处理，得到样本数据集的数据均值和数据标准差；

构建通道注意力机制模块与残差网络相结合的目标识别神经网络，并根据所述数据均值和数据标准差对所述目标识别神经网络进行参数设置，再将样本数据集输入所述目标识别神经网络进行训练，得到已训练的目标识别神经网络；

获取待识别的复数SAR图像，提取所述复数SAR图像的实部图像、虚部图像以及幅度图像并进行融合得到与复数SAR图像对应的三通道SAR图像；

将所述三通道SAR图像输入已训练的目标识别神经网络，进行目标识别。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在对所述复数SAR样本图像的实部图像、虚部图像以及幅度图像进行重组时保留原始灰度。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

采用标准分数方法进行对所述样本数据集进行标准化处理。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

所述构建通道注意力机制模块与残差网络相结合的目标识别神经网络包括：

将所述通道注意力机制模块连接至残差网络中的各残差学习单元“identity”分支上以构建所述目标识别神经网络。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对所述目标识别神经网络进行训练时还加入标签平滑正则化对目标识别神经网络进行约束，使得损失函数为：

其中，ε为超参数，K为所述样本数据集中各复数SAR样本图像的类别数目，q(k)为标签分布，P(k)为预测分布，k为所述样本数据集中各复数SAR样本图像的某一类别标签，y为真实标签。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取多个复数SAR样本图像，分别提取各所述复数SAR样本图像的实部图像、虚部图像以及幅度图像并进行重组得到，与各所述复数SAR样本图像对应的三通道SAR样本图像，并根据各所述三通道SAR样本图像构建样本数据集；

对所述样本数据集进行标准化处理，得到样本数据集的数据均值和数据标准差；

构建通道注意力机制模块与残差网络相结合的目标识别神经网络，并根据所述数据均值和数据标准差对所述目标识别神经网络进行参数设置，再将样本数据集输入所述目标识别神经网络进行训练，得到已训练的目标识别神经网络；

获取待识别的复数SAR图像，提取所述复数SAR图像的实部图像、虚部图像以及幅度图像并进行融合得到与复数SAR图像对应的三通道SAR图像；

将所述三通道SAR图像输入已训练的目标识别神经网络，进行目标识别。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在对所述复数SAR样本图像的实部图像、虚部图像以及幅度图像进行重组时保留原始灰度。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

采用标准分数方法进行对所述样本数据集进行标准化处理。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

所述构建通道注意力机制模块与残差网络相结合的目标识别神经网络包括：

将所述通道注意力机制模块连接至残差网络中的各残差学习单元“identity”分支上以构建所述目标识别神经网络。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对所述目标识别神经网络进行训练时还加入标签平滑正则化对目标识别神经网络进行约束，使得损失函数为：

其中，ε为超参数，K为所述样本数据集中各复数SAR样本图像的类别数目，q(k)为标签分布，P(k)为预测分布，k为所述样本数据集中各复数SAR样本图像的某一类别标签，y为真实标签。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (4)

1.基于改进神经网络的复数SAR图像目标识别方法，其特征在于，所述方法包括：

获取多个复数SAR样本图像，分别提取各所述复数SAR样本图像的实部通道图像、虚部图像以及幅度图像并进行重组，得到与各所述复数SAR样本图像对应的三通道SAR样本图像，并根据各所述三通道SAR样本图像构建样本数据集；

对所述样本数据集进行标准化处理，得到样本数据集的数据均值和数据标准差；

构建通道注意力机制模块与残差网络相结合的目标识别神经网络，并根据所述数据均值和数据标准差对所述目标识别神经网络进行参数设置，再将样本数据集输入所述目标识别神经网络进行训练，得到已训练的目标识别神经网络；

其中，所述构建通道注意力机制模块与残差网络相结合的目标识别神经网络包括：将所述通道注意力机制模块连接至残差网络中的各残差学***均池化层以及全连接层；数据在通过各所述残差学习单元时，依次通过卷积层、批标准化层、ReLu激活层、另一个卷积层、另一个批标准化层的处理后得到中间数据，输入数据还通过identity分支与中间数据进行残差处理后再进行ReLu激活处理得到该残差学习单元的数据输出，其中，通道注意力机制模块加入identity分支上；

获取待识别的复数SAR图像，提取所述复数SAR图像的实部图像、虚部图像以及幅度图像并进行融合得到与复数SAR图像对应的三通道SAR图像；

将所述三通道SAR图像输入已训练的目标识别神经网络，进行目标识别。

2.根据权利要求1所述的复数SAR图像目标识别方法，其特征在于，在对所述复数SAR样本图像的实部图像、虚部图像以及幅度图像进行重组时保留原始灰度。

3.根据权利要求1所述的复数SAR图像目标识别方法，其特征在于，采用标准分数方法进行对所述样本数据集进行标准化处理。

4.根据权利要求1所述的复数SAR图像目标识别方法，其特征在于，对所述目标识别神经网络进行训练时还加入标签平滑正则化对目标识别神经网络进行约束，使得损失函数为：

其中，ε为超参数，K为所述样本数据集中各复数SAR样本图像的类别数目，q(k)为标签分布，P(k)为预测分布，k为所述样本数据集中各复数SAR样本图像的某一类别标签，y为真实标签。

Images