CN116778341A - 一种雷达图像多视角特征提取与鉴别方法 - Google Patents

一种雷达图像多视角特征提取与鉴别方法 Download PDF

Info

Publication number
CN116778341A
CN116778341A CN202310901621.6A CN202310901621A CN116778341A CN 116778341 A CN116778341 A CN 116778341A CN 202310901621 A CN202310901621 A CN 202310901621A CN 116778341 A CN116778341 A CN 116778341A
Authority
CN
China
Prior art keywords
view
radar
image
network
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310901621.6A
Other languages
English (en)
Inventor
裴季方
黄钰林
张星
张寅�
马彦晶
霍伟博
杨建宇
杨海光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202310901621.6A priority Critical patent/CN116778341A/zh
Publication of CN116778341A publication Critical patent/CN116778341A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种雷达图像多视角特征提取与鉴别方法，包括以下步骤：S1、雷达平台采集地面目标图像样本；S2、对采集的雷达图像样本进行预处理；S3、构建多视角图像组合数据集；S4、搭建多视角图像组合特征提取网络：通过片划分层将图片的最小单位从像素转变为预设定大小的块，并且一个块中的像素值合成一个向量；生成的向量将依次通过三个连续的阶段stage 1、stage 2和stage 3；S5、搭建多视角图像组合特征鉴别网络；S6、将S3得到的数据集输入多视角图像组合特征提取网络和多视角图像组合特征鉴别网络进行训练，并利用训练得到的网络识别未知雷达图像。本发明通过对多视角特征的提取和鉴别，能够有效的提高雷达图像分类的精度，提升雷达自动目标检测***的性能。

Description

一种雷达图像多视角特征提取与鉴别方法
技术领域
本发明属于雷达图像自动目标识别领域，特别涉及一种雷达图像多视角特征提取与鉴别方法。
背景技术
雷达中的合成孔径雷达由于其具有全天时、全天候和高分辨率的成像能力，已被广泛应用于许多民用和军事领域。然而，由于雷达图像中的斑点噪声和其复杂特征，通常难以直观地解释与理解。目标自动识别是合成孔径雷达图像解译的关键。近年来，随着机器学习的发展，基于深度学习的方法大大提高了雷达图像的识别精度和效率。目前大多数雷达图像目标自动识别方法都是针对单视角输入提出的，然而，多视角雷达图像包含更丰富的分类特征。为了进一步提高雷达目标自动识别***的性能，有必要从多视角雷达图像中提取和鉴别有效特征。
在实际中，现代雷达可以获得不同视角的雷达图像，其中包括比单一视角更丰富的分类特征。因此，近年来提出了一些对多视角模式的研究，并取得了一些有前景的结果。文献“Zhang,F.；Hu,C.；Yin,Q.；Li,W.；Li,H.；Hong,W.Multi-Aspect-AwareBidirectional LSTM Networks for Synthetic Aperture Radar TargetRecognition.IEEE Access 2017,5,26880–26891.”提出了一种基于空间变化散射信息学习的双向长短期记忆递归神经网络结构，实现了对空间散射特征的提取。然而，该方法仍需使用大量的雷达图像，对不同多视角图像之间的相关信息没有充分利用。文献“Pei,J.；Huang,Y.；Huo,W.；Zhang,Y.；Yang,J.；Yeo,T.SAR Automatic Target Recognition Basedon Multiview Deep Learning Framework.IEEE Trans.Geosci.Remote Sens.2018,56,2196–2210.”提出了一种基于多视角的深度学习雷达目标自动识别框架，采用多输入并行网络拓扑结构，逐层提取和融合不同视角输入雷达图像的特征。然而，该方法的识别性能有待提高，尤其是在EOC实验中。
发明内容
本发明的目的在于克服现有技术的不足，提供一种雷达图像多视角特征提取与鉴别方法，通过对多视角特征的提取和鉴别，能够有效的提高雷达图像分类的精度，提升雷达目标自动识别***的性能。
本发明的目的是通过以下技术方案来实现的：一种雷达图像多视角特征提取与鉴别方法，包括以下步骤：
S1、雷达平台采集地面目标图像样本：雷达平台在不同的视距内从不同的俯仰角和方位角获得给定地面目标的多视角图像；
S2、对采集的雷达图像样本进行预处理；包括以下子步骤：
S21、按方位角旋转：将所有雷达图像都将按特定的方位角进行旋转，以使其对齐同一方位；
S22、中心裁剪和归一化：使用中心裁剪的方式，将采集到的雷达图像样本裁剪为大小相同且目标位于中心的切片，并对切片进行归一化处理；
S23、使用基于幂函数的灰度增强方法对图像进行灰度增强处理；
S3、构建多视角图像组合数据集：将目标在同一视角区间内的多视角雷达图像通过排列组合的方式，得到数据集；
S4、搭建多视角图像组合特征提取网络：通过片划分层将图片的最小单位从像素转变为预设定大小的块，并且一个块中的像素值合成一个向量；生成的向量将依次通过三个连续的阶段stage 1、stage 2和stage 3，stage 1由线性嵌入层与Swin Transformer块组成；stage2和stage 3由片合并层和Swin Transformer块组成；
S5、搭建多视角图像组合特征鉴别网络：将多视角特征分别输入全局平均池化层和特征降维模块，输入全局平均池化层的多视角特征通过全连接层后得到预测标签，作为多视角图像组合特征鉴别结果；并计算预测标签与真实标签的概率分布之间的距离，作为交叉熵损失lCE；
特征降维模块对输入的多视角特征进行降维，将多视角特征分为anchor、positive和negative三类；anchor为从训练数据集中的随机选取的一个样本，positive表示与anchor相同的类别的样本，negative表示不同类别的样本；三元组损失描述的是减少positive与anchor之间的距离，并扩大negative与anchor之间距离，表示为：
其中和/>分别表示anchor、positive和negative中的第i个样本，N表示共有N个样本，/>表示二范数，m即为要求anchor和negative之间的距离与anchor和positive之间的距离的差值需大于m；
特征鉴别网络部分构建的最终联合损失函数lJoint表示为：
minimizelJoint＝minimize(λlCE+μlTriplet)
其中λ和μ为超参数，分别表示交叉熵损失和三元组损失的权重；根据联合损失函数，利用反向传播算法优化多视角图像组合特征提取网络的参数；
S6、将S3得到的数据集输入多视角图像组合特征提取网络和多视角图像组合特征鉴别网络进行训练，并利用训练得到的网络识别未知雷达图像。
所述步骤S3具体实现方法为：假设Y(raw)＝{Y1,Y2,…,YC}表示雷达原始图像集，图像集属于第i个目标类别，它们对应的方位角为/>表示目标类别标签，C表示目标类别数目，ni表示第i个目标类别的图像总数；对于给定的视角数k，获得一类雷达图像的所有视角组合，并且组合数为/>然后，每个组合中的图像根据它们的方位角按大小顺序排列，即/>或者/>最后，将目标在同一视角区间θ内的多视角雷达图像进行排列组合，即/>得到第i个目标类别的数据集。
所述Swin Transformer块包括两个连续的子块，分别通过计算局部和交叉窗口中的自注意来提取局部和全局特征；子块一依次包含归一化层、基于窗口的多头自注意机制、归一化层和多层感知器，子块二依次包括归一化层、基于滑动窗口的多头自注意机制、归一化层和多层感知器，并且在基于窗口的多头自注意机制、基于滑动窗口的多头自注意机制以及多层感知器后使用残差结构进行连接。
本发明的有益效果是：与现有技术相比，本发明利用多视角特征提取部分和特征鉴别部分，能够有效地从输入雷达图像中提取多视角特征，并将其同类相聚异类远离，从而实现对雷达图像目标的有效分类。相比于现有的雷达图像深度网络分类方法，在仅使用少量的原始数据集的情况下，本发明方法仍能取得优异的分类性能，能够有效的提高雷达图像分类的精度，提升雷达自动目标识别***的性能。
附图说明
图1为本发明方法的流程图；
图2为本发明采用的地面目标雷达图像采集几何模型示意图；
图3为本发明的六个原始雷达图像生成九个3视角雷达图像组合示意图；
图4为本发明的多视角特征提取与鉴别网络结构示意图；
图5为本发明的Swin Transformer块结构示意图。
具体实施方式
本发明采用仿真实验对所有提出的步骤、结论进行验证，仿真实验都在pytorch1.12.0、python3.7和windows10操作***平台上验证正确。为便于本领域人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐述。
如图1所示，本发明的一种雷达图像多视角特征提取与鉴别方法，包括以下步骤：
S1、雷达平台采集地面目标图像样本：在多视角合成孔径雷达信号采集中，雷达平台在不同的视距内从不同的俯仰角和方位角获得给定地面目标的多视角图像；本实施例的几何模型如图2所示，为了便于分析这里只考虑方位角变化。对于给定的视角间隔θ和视角数K(K＞1)，雷达平台从0～360°的方位角(View1，View2，View3,…,View k)顺序地采集具有相同分辨率的原始地面目标(Target)的雷达图像。
S2、对采集的雷达图像样本进行预处理；包括以下子步骤：
S21、按方位角旋转：雷达图像通常对视图或方位高度敏感，为了降低方位差的灵敏度，同时从多个视角保持目标的电磁散射信息，将所有雷达图像都将按特定的方位角进行旋转，以使其对齐同一方位；所有雷达图像样本都通过旋转矩阵进行变换，该矩阵为：
其中是雷达图像旋转相对于给定坐标轴的角度，[u v]T是变换后的雷达图像的坐标，[p q]T是雷达图像的原始坐标。
S22、中心裁剪和归一化：使用中心裁剪的方式，将采集到的雷达图像样本裁剪为大小相同且目标位于中心的切片，并对切片进行归一化处理；归一化处理的表达式为：
其中X为归一化处理前的图像，X′表示归一化处理后的图像。X(i,j)表示该图像第(m,n)位置的像素值，min[X]表示图像X中像素值的最小值，max[X]表为其最大值。
S23、使用基于幂函数的灰度增强方法对图像进行灰度增强处理，其表达式为：
x′(u,v)＝[x(u,v)]β
其中β是增强因子。
S3、构建多视角图像组合数据集：将目标在同一视角区间内的多视角雷达图像通过排列组合的方式，得到数据集；具体实现方法为：假设Y(raw)＝{Y1,Y2,…,YC}表示雷达原始图像集，图像集属于第i个目标类别，它们对应的方位角为表示目标类别标签，C表示目标类别数目，ni表示第i个目标类别的图像总数；对于给定的视角数k，获得一类雷达图像的所有视角组合，并且组合数为然后，每个组合/>中的图像根据它们的方位角按大小顺序排列，即/>或者/>最后，将目标在同一视角区间θ内的多视角雷达图像进行排列组合，即/>得到第i个目标类别的数据集。
排列组合方式的一个示例如图3所示，在每个视角间隔θ中，视角数k＝3，可以仅从六个原始雷达图像中获得九个用于训练的三视角雷达图像组合，如图3所示，
并且随着θ和k的增加，对于给定数量的原始雷达图像，可以获得更多的训练数据。因此，对于每个原始雷达目标类别，我们可以从少量的原始雷达图像中获得足够的多视角雷达图像组合来训练网络。
采用公开的实测雷达地面运动和静止目标MSTAR(moving and stationarytarget acquisition and recognition)数据集。对于训练数据集，k＝2的2视角情况，仅使用约50％的原始数据集进行构建多视角雷达图像组合，k＝3的3视角输入仅使用约33％，k＝4的4视角仅使用约20％。每一类目标具体使用数量如表1和表2所示，表1为SOC(standardoperating condition)条件下数据集情况，表2为EOC-C(extended operating condition-configuration variant)条件下数据集情况。通过原始雷达图像的多视角组合，在SOC条件下2视角、3视角和4视角分别可以形成21834，48764，43533种多视角组合用于训练数据集。在EOC-C条件下2视角、3视角和4视角分别可以形成7160，14445，11380种多视角组合用于训练数据集。对于测试数据集，将使用所有的原始雷达图像形成多视角组合，但对于每一类目标我们仅随机在形成的多视角组合抽取2000个样本，即在SOC的10类目标情况下测试数据集大小为20000，EOC-C的7目标情况下测试数据集大小为14000。
表1在SOC条件下训练和测试数据集的原始雷达图像的使用数量表
表2在EOC-C条件下训练和测试数据集的原始雷达图像的使用数量表
S4、搭建多视角图像组合特征提取网络：特征提取部分是所提出方法的关键组成之一，其网络结构如图4的上半部分所示。多视角雷达图像读入后表示为像素矩阵，首先通过片划分(patch partition)层将图片的最小单位从像素转变为预设定大小(4×4)的块，即用包含4×4个像素的块来对像素矩阵进行分割，并且一个块中的像素值合成一个向量；然后将生成的向量将依次通过三个连续的阶段stage 1、stage 2和stage 3，stage 1由线性嵌入层(Linear Embedding)与Swin Transformer块组成；线性嵌入层将输入向量的尺寸转换为Swin Transformer块可以适应的预设值。然后，通过片合并层将网络构建成一个层次结构，这样可以获得多尺度特征，并且在网络加深的过程中向量的数量会逐渐减少，这类似于卷积神经网络中的池化层。stage 2和stage 3由片合并(Patch Merging)层和SwinTransformer块组成。
多视角特征提取部分的核心元素是Swin Transformer块，其具体结构如图5所示。所述Swin Transformer块包括两个连续的子块，分别通过计算局部和交叉窗口中的自注意来提取局部和全局特征；子块一依次包含归一化层(layer normalization，LN)、基于窗口的多头自注意机制(window based multi-head self-attention，W-MSA)、归一化层和多层感知器(multi-layer perceptron，MLP)，子块二依次包括归一化层、基于滑动窗口的多头自注意机制(shifted window based multi-head self-attention，SW-MSA)、归一化层和多层感知器，并且在基于窗口的多头自注意机制、基于滑动窗口的多头自注意机制以及多层感知器后使用残差结构进行连接；
Swin Transformer块的正向过程由如下公式所示：
其中是基于窗口的多头自注意机制的输出与原始输入相加的特征；zl是多层感知器的输出与/>相加的特征，也是子块一的输出特征；/>是基于滑动窗口的多头自注意机制的输出与/>相加的特征；zl+1是多层感知器的输出与/>相加的特征，也是子块二的输出特征；l表示Swin Transformer块l。
基于窗口的多头自注意机制(W-MSA)表示将特征划分到一个个小的窗口当中，在每个小的窗口中进行多头自注意力机制(MSA)计算。基于滑动窗口的多头自注意机制(SW-MSA)则是因基于窗口的多头自注意机制仅在每个窗口内进行计算，窗口与窗口之间是无法进行信息传递的，若窗口进行偏移再进行多头自注意力机制计算，则可以避免这个问题。采用的偏移的方式为可以理解为窗口从特征图的左上角分别向右侧和下方各偏移了窗口大小的一半个像素，下方和右侧因偏移多出来的部分则分别补充到上方和左侧因偏移空缺的部分。
多头自注意力机制计算表达式为：
其中和dK＝dV＝dmodel/n；dmodel表示网络模型的维度，Wi Q、Wi K、Wi V和WO均表示对应上标的权重矩阵；n表示多头自注意力机制的头数，即进行多少次自注意力机制计算，i∈[1,n]。
自注意力机制计算表达式为：
其中Q、K和V分别表示一系列查询(queries)、键(keys)和值(values)分别打包在一起形成的矩阵，dK表示矩阵K的维度，softmax函数表示归一化指数函数，通过softmax函数将多分类的输出值转换为和为1范围在[0,1]的概率分布；
S5、搭建多视角图像组合特征鉴别网络；特征鉴别部分结合了交叉熵损失(cross-entropy loss，CE loss)和三元组损失(Triplet loss)，其网络结构如图4的下半部分所示。将多视角特征分别输入全局平均池化层和特征降维模块，输入全局平均池化层的多视角特征通过全连接层后得到预测标签，作为多视角图像组合特征鉴别结果；并计算预测标签与真实标签的概率分布之间的距离，作为交叉熵损失lCE；
特征降维模块对输入的多视角特征进行降维，将多视角特征分为anchor、positive和negative三类；anchor为从训练数据集中的随机选取的一个样本，positive表示与anchor相同的类别的样本，negative表示不同类别的样本；Triplet loss描述的是减少positive与anchor之间的距离，并扩大negative与anchor之间距离，表示为：
其中和/>分别表示anchor、positive和negative中的第i个样本，N表示共有N个样本，/>表示二范数，m即为要求anchor和negative之间的距离与anchor和positive之间的距离的差值需大于m。
特征鉴别网络部分构建的最终联合损失函数lJoint 表示为：
minimizelJoint＝minimize(λlCE+μlTriplet)
其中λ和μ为超参数，分别表示交叉熵损失和三元组损失的权重；根据联合损失函数，利用反向传播算法优化多视角图像组合特征提取网络的参数。
S6、将S3得到的数据集输入多视角图像组合特征提取网络和多视角图像组合特征鉴别网络进行训练，并利用训练得到的网络识别未知雷达图像。利用S3所述的多视角组合数据集构建方式分别对网络训练数据集和测试数据集进行构建，然后对网络进行训练，当测试数据集正确率趋于稳定不再上升时停止训练，得到最终的多视角图像组合特征提取网络。考虑到数据采集成本和网络训练成本之间的权衡，多视角训练和测试实验中的视角间隔θ设置为45°。在训练过程中，初始学习率设置为0.0001，batch size设置为16，窗口大小设置为4×4利用Adam优化器进行训练加速优化。通过Adam优化器的自动学习率调整和断点续训的训练方式不断提升网络对地面目标类别的识别率，从而使所设计的网络获得较好的特征提取与鉴别能力。另外，对于S2中雷达图像预处理中灰度增强的增强因子β设置为0.4，中心裁剪后雷达图像大小设置为96×96。
表3是本发明方法在SOC条件下4视角分类结果的混淆矩阵。表4是本发明在SOC条件下样本数量和识别率表，在2视角的识别率为99.45％，3视角的识别率为99.61％，4视角的识别率为99.67％。表5是本发明在EOC-C条件下样本数量和识别率表，4视角输入可达到99.89％的识别率，2视角的识别率为99.29％，3视角的识别率为99.37％。而且雷达图像组合方式可得到大量的多视角雷达图像组合，所以对于2视角输入情况仅使用约50％的原始数据集进行构建多视角雷达图像组合，3视角输入仅使用约33％，4视角仅使用约20％，但最终不同视角的识别率均高于99％。由此可见在仅使用少量的原始数据集的情况下，本发明方法仍能取得优异的分类性能。
表3
表4在SOC条件下样本数量和识别率表
表5在EOC-C条件下样本数量和识别率表
使用原始雷达图像数量 生成训练样本数量 识别率
2视角 499 7160 99.29％
3视角 334 14445 99.37％
4视角 251 11380 99.89％
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (3)

1.一种雷达图像多视角特征提取与鉴别方法，其特征在于，包括以下步骤：
S1、雷达平台采集地面目标图像样本：雷达平台在不同的视距内从不同的俯仰角和方位角获得给定地面目标的多视角图像；
S2、对采集的雷达图像样本进行预处理；包括以下子步骤：
S21、按方位角旋转：将所有雷达图像都将按特定的方位角进行旋转，以使其对齐同一方位；
S22、中心裁剪和归一化：使用中心裁剪的方式，将采集到的雷达图像样本裁剪为大小相同且目标位于中心的切片，并对切片进行归一化处理；
S23、使用基于幂函数的灰度增强方法对图像进行灰度增强处理；
S3、构建多视角图像组合数据集：将目标在同一视角区间内的多视角雷达图像通过排列组合的方式，得到数据集；
S4、搭建多视角图像组合特征提取网络：通过片划分层将图片的最小单位从像素转变为预设定大小的块，并且一个块中的像素值合成一个向量；生成的向量将依次通过三个连续的阶段stage 1、stage 2和stage 3，stage 1由线性嵌入层与Swin Transformer块组成；stage2和stage 3由片合并层和Swin Transformer块组成；
S5、搭建多视角图像组合特征鉴别网络：将多视角特征分别输入全局平均池化层和特征降维模块，输入全局平均池化层的多视角特征通过全连接层后得到预测标签，作为多视角图像组合特征鉴别结果；并计算预测标签与真实标签的概率分布之间的距离，作为交叉熵损失lCE；
特征降维模块对输入的多视角特征进行降维，将多视角特征分为anchor、positive和negative三类；anchor为从训练数据集中的随机选取的一个样本，positive表示与anchor相同的类别的样本，negative表示不同类别的样本；三元组损失描述的是减少positive与anchor之间的距离，并扩大negative与anchor之间距离，表示为：
其中和/>分别表示anchor、positive和negative中的第i个样本，N表示共有N个样本，/>表示二范数，m即为要求anchor和negative之间的距离与anchor和positive之间的距离的差值需大于m；
特征鉴别网络部分构建的最终联合损失函数lJoint表示为：
minimize lJoint＝minimize(λlCE+μlTriplet)
其中λ和μ为超参数，分别表示交叉熵损失和三元组损失的权重；根据联合损失函数，利用反向传播算法优化多视角图像组合特征提取网络的参数；
S6、将S3得到的数据集输入多视角图像组合特征提取网络和多视角图像组合特征鉴别网络进行训练，并利用训练得到的网络识别未知雷达图像。
2.根据权利要求1所述的一种雷达图像多视角特征提取与鉴别方法，其特征在于，所述步骤S3具体实现方法为：假设Y(raw)＝{Y1,Y2,…,YC}表示雷达原始图像集，图像集属于第i个目标类别，它们对应的方位角为/>表示目标类别标签，C表示目标类别数目，ni表示第i个目标类别的图像总数；对于给定的视角数k，获得一类雷达图像的所有视角组合，并且组合数为/>然后，每个组合中的图像根据它们的方位角按大小顺序排列，即/>或者/>最后，将目标在同一视角区间θ内的多视角雷达图像进行排列组合，即/>得到第i个目标类别的数据集。
3.根据权利要求1所述的一种雷达图像多视角特征提取与鉴别方法，其特征在于，所述Swin Transformer块包括两个连续的子块，分别通过计算局部和交叉窗口中的自注意来提取局部和全局特征；子块一依次包含归一化层、基于窗口的多头自注意机制、归一化层和多层感知器，子块二依次包括归一化层、基于滑动窗口的多头自注意机制、归一化层和多层感知器，并且在基于窗口的多头自注意机制、基于滑动窗口的多头自注意机制以及多层感知器后使用残差结构进行连接。
CN202310901621.6A 2023-07-21 2023-07-21 一种雷达图像多视角特征提取与鉴别方法 Pending CN116778341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310901621.6A CN116778341A (zh) 2023-07-21 2023-07-21 一种雷达图像多视角特征提取与鉴别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310901621.6A CN116778341A (zh) 2023-07-21 2023-07-21 一种雷达图像多视角特征提取与鉴别方法

Publications (1)

Publication Number Publication Date
CN116778341A true CN116778341A (zh) 2023-09-19

Family

ID=87993049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310901621.6A Pending CN116778341A (zh) 2023-07-21 2023-07-21 一种雷达图像多视角特征提取与鉴别方法

Country Status (1)

Country Link
CN (1) CN116778341A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437409A (zh) * 2023-12-14 2024-01-23 华中师范大学 基于多视角声图的深度学习目标自动识别方法及***
CN118154854A (zh) * 2024-05-09 2024-06-07 中国科学技术大学 多视角特征聚合的目标检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437409A (zh) * 2023-12-14 2024-01-23 华中师范大学 基于多视角声图的深度学习目标自动识别方法及***
CN118154854A (zh) * 2024-05-09 2024-06-07 中国科学技术大学 多视角特征聚合的目标检测方法

Similar Documents

Publication Publication Date Title
CN109871902B (zh) 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN112700429B (zh) 基于深度学习的机场道面地下结构病害自动检测方法
CN116778341A (zh) 一种雷达图像多视角特征提取与鉴别方法
CN109657610A (zh) 一种高分辨率多源遥感影像的土地利用变化检测方法
CN110826428A (zh) 一种高速的sar图像中船只检测方法
CN102914302B (zh) 一种无人机着陆视觉导航合作目标鲁棒检测方法
CN111242061B (zh) 一种基于注意力机制的合成孔径雷达舰船目标检测方法
CN106096506A (zh) 基于子类类间判别双字典的sar目标识别方法
Wang et al. An improved Normalized Cross Correlation algorithm for SAR image registration
CN110516525A (zh) 基于gan和svm的sar图像目标识别方法
CN117237740B (zh) 一种基于CNN和Transformer的SAR图像分类方法
Zhu et al. Rapid ship detection in SAR images based on YOLOv3
CN115222727A (zh) 一种输电线路防外破目标识别方法
CN106951822B (zh) 一种基于多尺度稀疏保持投影一维距离像融合识别方法
CN115565080A (zh) 一种基于自注意力机制的多特征融合sar图像海冰分类方法
Zou et al. Sonar Image Target Detection for Underwater Communication System Based on Deep Neural Network.
CN117830611A (zh) 目标检测方法、装置及电子设备
Yang et al. Sar images target detection based on yolov5
Yang et al. SAR image target detection and recognition based on deep network
CN112784777A (zh) 基于对抗学习的无监督高光谱图像变化检测方法
Gui et al. A scale transfer convolution network for small ship detection in SAR images
He et al. Automatic detection and mapping of solar photovoltaic arrays with deep convolutional neural networks in high resolution satellite images
Wang et al. Multi-view SAR automatic target recognition based on deformable convolutional network
CN116311067A (zh) 基于高维特征图谱的目标综合识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination