CN115578599A - 一种基于超像素-超图特征增强网络的极化sar图像分类方法 - Google Patents

一种基于超像素-超图特征增强网络的极化sar图像分类方法 Download PDF

Info

Publication number
CN115578599A
CN115578599A CN202211322174.0A CN202211322174A CN115578599A CN 115578599 A CN115578599 A CN 115578599A CN 202211322174 A CN202211322174 A CN 202211322174A CN 115578599 A CN115578599 A CN 115578599A
Authority
CN
China
Prior art keywords
feature
superpixel
matrix
network
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211322174.0A
Other languages
English (en)
Inventor
耿杰
王茹
蒋雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202211322174.0A priority Critical patent/CN115578599A/zh
Publication of CN115578599A publication Critical patent/CN115578599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于超像素‑超图特征增强网络的极化SAR图像分类方法，包括以下步骤：步骤一、预处理极化SAR图像的输入数据；步骤二、利用超像素分割得到极化SAR超像素集；步骤三、生成超像素极化特征矩阵和空间特征矩阵，构建极化特征关联矩阵和空间特征关联矩阵；步骤四、构建两层超像素‑超图卷积神经网络，进行超像素级到像素级特征转换；步骤五、构建特征重建网络和局部特征提取网络，融合重建特征与局部特征实现特征的增强；步骤六、利用训练集对网络进行训练，输出分类结果。本发明提出的超像素‑超图特征增强网络，能够利用极化SAR图像的极化特征和空间特征，充分融合全局信息和局部信息，有效提升了极化SAR图像分类的精度。

Description

一种基于超像素-超图特征增强网络的极化SAR图像分类方法
技术领域
本发明属于极化SAR图像处理领域，具体涉及一种基于超像素-超图特征增强网络的极化SAR图像分类方法。
背景技术
极化合成孔径雷达能够在全天候的条件下获得高分辨率雷达图像。极化SAR图像包含丰富的极化信息，能够反映照射物体的物理属性。因此，极化SAR图像已经被广泛应用于海洋监测、城市规划和地理科学等领域。
随着极化合成孔径雷达的不断发展，极化SAR图像分类任务也愈加受到关注。极化SAR图像分类是一项像素级的分类任务，它根据每个像素单元的信息将图像中的所有像素点划分到相应的类别中。现有的极化SAR图像分类方法主要被分为基于极化分解的分类方法、基于统计特性的分类方法和基于机器学习的分类方法。目前，在使用卷积神经网络进行极化SAR图像分类的过程中，网络的输入都是具有固定大小的方形采样块，采样块中心像素点所对应的类别标签即作为整个采样块的标签。这类方法仅仅关注了图像的局部信息，忽视了图像的全局信息，从而限制了分类精度的进一步提升。图卷积神经网络具有捕获图像全局信息的能力，但由于不相同地物存在相似极化特征的问题的存在，仅仅只使用极化特征相关性会导致部分地物出现错误的分类。
发明内容
本发明所要解决的问题是在深度学习背景下，极化SAR图像特征信息利用不充分，难以进一步提升分类精度的问题，提供一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其结构简单、设计合理，利用超像素分割技术将极化SAR图像分割成一系列超像素，构建超像素之间的极化特征关联性和空间特征关联性，利用超像素-超图卷积神经网络，提取极化SAR图像的全局特征；构建特征重建网络和局部特征提取网络，融合极化SAR图像的全局特征和局部特征，进一步提升了图像分类的精度。
为解决上述技术问题，本发明采用的技术方案是：一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：包括以下步骤：
步骤一、预处理极化SAR图像的输入数据：
步骤101、将极化SAR的极化散射矩阵
Figure BDA0003910897700000021
在Pauli基下转换得到相干矩阵T，Shh和Svv表示同极化分量，Shv和Svh表示交叉极化分量，h和v分别表示水平极化和垂直极化；
步骤102、对相干矩阵T进行转化，得到6维初始极化特征向量，进而获得尺寸为Ih×Iw×6的极化SAR输入数据，其中，Ih和Iw分别表示极化SAR图像的长和宽；
步骤二、利用超像素分割得到极化SAR超像素集：
步骤201、利用简单线性迭代聚类的超像素分割算法对极化SAR图像进行分割，分割成M个超像素块；
步骤202、形成极化SAR超像素集S={S1,…,Si,…,SM}，其中Si表示第i个超像素块；
步骤三、生成超像素极化特征矩阵和空间特征矩阵，构建极化特征关联矩阵和空间特征关联矩阵：
步骤301、在极化SAR超像素集S中，计算每个超像素内所有像素点极化特征的均值，生成极化特征矩阵
Figure BDA0003910897700000031
计算每个超像素内所有像素点横纵坐标的均值，生成空间特征矩阵
Figure BDA0003910897700000032
其中，
Figure BDA0003910897700000033
和
Figure BDA0003910897700000034
分别表示超像素Si的极化特征向量和空间特征向量；
步骤302、在超像素集S中，利用极化特征矩阵计算超像素极化特征之间的相似度，对于每个超像素，使用k近邻算法挑选出k个相似度最高的值，并将其余相似度值设置为0，生成极化特征关联矩阵Hpol∈RM×M；
步骤303、在超像素集S中，利用空间特征矩阵计算超像素空间特征之间的相似度，对于每个超像素，找出与其在空间位置中相邻超像素的相似度值，并将其余空间特征相似度值设置为0，生成空间特征关联矩阵Hspa∈RM×M；
步骤四、构建两层超像素-超图卷积神经网络，进行超像素级到像素级特征转换：
步骤401、构建两层超像素-超图卷积神经网络，将极化特征关联矩阵Hpol、空间特征关联矩阵Hspa、极化特征矩阵Xpol和空间特征矩阵Xspa输入到网络中，利用网络学习到更高层次的超像素特征
Figure BDA0003910897700000041
其中，Dc表示网络输出超像素的特征维度；
步骤402、利用超像素-像素转换矩阵
Figure BDA0003910897700000042
将超像素-超图卷积神经网络输出的超像素特征
Figure BDA0003910897700000043
转换到像素级特征
Figure BDA0003910897700000044
其中，IhIw表示极化SAR图像所有像素点个数；
步骤五、构建特征重建网络和局部特征提取网络，融合重建特征与局部特征实现特征的增强：
步骤501、构建特征重建网络，将得到的像素级特征输入到特征重建网络中，特征重建表达式为
Figure BDA0003910897700000045
其中，
Figure BDA0003910897700000046
表示第l层隐藏层的输出，且
Figure BDA0003910897700000047
b(l)表示特征重建网络偏置，frec(·)表示特征重建网络的激活函数；
步骤502、构建局部特征提取网络，提取极化SAR图像的局部特征Xlocal，局部特征提取表达式为
Figure BDA0003910897700000048
其中，
Figure BDA0003910897700000049
表示第l层网络提取的局部特征，
Figure BDA00039108977000000410
表示卷积核，
Figure BDA00039108977000000411
表示局部特征提取网络偏置，f(·)表示特征提取网络的激活函数；
步骤503、将特征重建网络的输出
Figure BDA00039108977000000412
与局部特征Xlocal进行拼接，实现特征的增强，得到最终用于分类的整体特征Xtotal；
步骤六、利用训练集对网络进行训练，输出分类结果：
步骤601、将整体特征Xtotal输入到Softmax分类器中，得到图像中每个像素点的预测结果Pjc；
步骤602、每一类随机选择比例为r的训练样本形成训练集，对网络进行训练，网络训练过程中的损失函数为L＝αLrec+Lc，其中，Lrec是重建损失，Lc是分类损失，α是平衡参数。
上述的一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：步骤101中极化散射矩阵S在Pauli基下转换得到的相干矩阵T的公式如下所示：
Figure BDA0003910897700000051
上述的一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：步骤102中由相干矩阵T转化得到的6维初始极化特征向量的计算公式为：
f1＝10log10(T11+T22+T33)
f2＝T22/(T11+T22+T33)
f3＝T33/(T11+T22+T33)
Figure BDA0003910897700000052
Figure BDA0003910897700000053
Figure BDA0003910897700000054
其中，Tij(i＝1,2,3；j＝1,2,3)表示矩阵T第i行第j列对应的元素，fi(i＝1,…,6)表示第i维的极化特征值。
上述的一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：步骤302中生成极化特征关联矩阵Hpol的计算公式如下：
Figure BDA0003910897700000061
其中，hpol(i,j)表示极化特征关联矩阵Hpol第i行第j列的元素，β表示可调节参量，
Figure BDA0003910897700000062
表示超像素Si的6维极化特征向量，KNN(·)表示极化特征的k近邻。
上述的一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：步骤303中生成空间特征关联矩阵Hspa的计算公式如下：
Figure BDA0003910897700000068
其中，hspa(i,j)表示空间特征关联矩阵Hspa第i行第j列的元素，γ表示可调节参量，
Figure BDA0003910897700000063
表示超像素i的2维空间特征向量，neighbor(·)表示空间相邻。
上述的一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：步骤401中超像素-超图卷积神经网络的传播规则如下：
Figure BDA0003910897700000064
其中，σ(·)是ReLU激活函数，W是可训练的超边权重，Hfuse由极化特征关联矩阵Hpol和空间特征关联矩阵Hspa拼接而成，
Figure BDA0003910897700000065
和
Figure BDA0003910897700000066
分别表示第l层超像素-超图卷积神经网络的输入特征和输出特征，初始输入特征
Figure BDA0003910897700000067
由极化特征矩阵Xpol和空间特征矩阵Xspa拼接而成，Dv＝∑e∈EW(e)Hfuse(v,e)表示超图边度，De＝∑v∈VHfuse(v,e)表示超边节点度，Θ(l)表示可训练的滤波矩阵。
上述的一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：步骤402中超像素-像素转换矩阵
Figure BDA0003910897700000071
的计算公式如下：
Figure BDA0003910897700000072
其中，Q(i,j)表示超像素-像素转换矩阵Q中第i行第j列的元素，并且i＝1,...,Ih×Iw,j＝1,…,M，pi表示PolSAR图像的第i个像素点，Sj表示第j个超像素。
上述的一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：步骤602中重建损失Lrec和分类损失Lc的计算公式分别如下：
Figure BDA0003910897700000073
Figure BDA0003910897700000074
其中，N表示训练样本数，C表示类别数，Yjc表示第c类的真值，Pjc表示预测标签。
本发明与现有技术相比具有以下优点：
本发明能够充分利用极化SAR图像的极化特征和空间特征，使用超像素-超图卷积神经网络提取图像的全局特征；构建特征重建网络和局部特征提取网络，融合了极化SAR图像的全局特征和局部特征，有效提升了极化SAR图像的分类精度。本发明方法结构简单，实现及使用操作方便。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程图；
图2为本发明仿真时使用的德国Oberpfaffenhofen地区图像；
图3为本发明仿真时得到的分类效果图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
如图1所示，本发明的一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：包括以下步骤：
步骤一、预处理极化SAR图像的输入数据：
步骤101、将极化SAR的极化散射矩阵
Figure BDA0003910897700000091
在Pauli基下转换得到相干矩阵T，Shh和Svv表示同极化分量，Shv和Svh表示交叉极化分量，h和v分别表示水平极化和垂直极化，其中，通过极化散射矩阵S在Pauli基下转换得到相干矩阵T的计算公式如下：
Figure BDA0003910897700000101
步骤102、对相干矩阵T进行转化，得到6维初始极化特征向量，进而获得大小是Ih×Iw×6的极化SAR图像输入数据，其中，Ih和Iw分别表示极化SAR图像的长和宽，相干矩阵T转换得到的6维初始极化特征向量的计算公式如下：
f1＝10log10(T11+T22+T33)
f2＝T22/(T11+T22+T33)
f3＝T33/(T11+T22+T33)
Figure BDA0003910897700000102
Figure BDA0003910897700000103
Figure BDA0003910897700000104
其中，Tij(i＝1,2,3；j＝1,2,3)表示矩阵T第i行第j列对应的元素，fi(i＝1,…,6)表示i维的极化特征值；
步骤二、利用超像素分割得到极化SAR超像素集：
步骤201、对步骤一得到的Ih×Iw×6的极化SAR图像，利用简单线性迭代聚类的超像素分割算法对其进行分割，分割成M个超像素块；
步骤202、形成极化SAR超像素集S＝{S1,…,SM}，Si表示第i个超像素块；
具体实施时，超像素块的个数M是由输入图像的大小以及使用简单线性迭代聚类超像素分割方法过程中设定的分割大小决定；
步骤三、生成超像素极化特征矩阵和空间特征矩阵，构建极化特征关联矩阵和空间特征关联矩阵：
步骤301、在极化SAR超像素集S中，计算每个超像素内所有像素点极化特征的均值，生成极化特征矩阵
Figure BDA0003910897700000111
计算每个超像素内所有像素点横纵坐标的均值，生成空间特征矩阵
Figure BDA0003910897700000112
其中，
Figure BDA0003910897700000113
和
Figure BDA0003910897700000114
分别表示超像素Si的极化特征向量和空间特征向量；
步骤302、在超像素集S中，利用极化特征矩阵计算超像素极化特征之间的相似度，对于每个超像素，使用k近邻算法挑选出k个相似度最高的值，并将其余相似度值设置为0，生成极化特征关联矩阵Hpol∈RM×M，极化特征关联矩阵Hpol的计算公式如下：
Figure BDA0003910897700000115
其中，hpol(i,j)表示极化特征关联矩阵Hpol第i行第j列的元素，β表示可调节参量，
Figure BDA0003910897700000116
表示超像素Si的6维极化特征向量，KNN(·)表示极化特征的k近邻；
具体实施时，k近邻法设定的邻居数k为3，可调节参量β设定为100；
步骤303、在超像素集S中，利用空间特征矩阵计算超像素空间特征之间的相似度，对于每个超像素，找出与其在空间位置中相邻超像素的相似度值，并将其余空间特征相似度值设置为0，生成空间特征关联矩阵Hspa∈RM×M，极化特征关联矩阵Hspa的计算公式如下：
Figure BDA0003910897700000121
其中，hspa(i,j)表示空间特征关联矩阵Hspa中第i行第j列的元素，γ表示可调节参量，
Figure BDA0003910897700000122
表示超像素i的2维空间特征向量，neighbor(·)表示空间相邻；
具体实施时，可调节参量γ设定为80；
步骤四、构建两层超像素-超图卷积神经网络，进行超像素级到像素级特征转换：
步骤401、构建两层超像素-超图卷积神经网络，将极化特征关联矩阵Hpol、空间特征关联矩阵Hspa、极化特征矩阵Xpol和空间特征矩阵Xspa输入到网络中，利用网络学习到更高层次的超像素特征
Figure BDA0003910897700000123
其中，Dc表示网络输出的超像素的特征维度，且超像素-超图卷积神经网络的传播规则如下：
Figure BDA0003910897700000124
其中，σ(·)是ReLU激活函数，W是可训练的超边权重，Hfuse由极化特征关联矩阵Hpol和空间特征关联矩阵Hspa拼接而成，
Figure BDA0003910897700000125
和
Figure BDA0003910897700000126
分别表示第l层超像素-超图卷积神经网络的输入特征和输出特征，初始输入特征
Figure BDA0003910897700000127
由极化特征矩阵Xpol和空间特征矩阵Xspa拼接而成，Dv＝Σe∈EW(e)Hfuse(v,e)表示超图边度，De＝Σv∈VHfuse(v,e)表示超边节点度，Θ(l)表示大小可训练的滤波矩阵；
具体实施时，可训练的超边权重W的大小为2M×2M，第一层超像素-超图卷积神经网络中可训练滤波矩阵Θ(0)的大小设定为8×32，第二层超像素-超图卷积神经网络中可训练滤波矩阵Θ(1)的大小设定为23×64，两层超像素-超图卷积神经网络输出的超像素的特征维度Dc为64；
步骤402、利用超像素-像素转换矩阵
Figure BDA0003910897700000131
转换矩阵Q的计算公式为：
Figure BDA0003910897700000132
其中，Q(i,j)表示超像素-像素转换矩阵Q中第i行第j列的元素，并且i＝1,…,Ih×Iw,j＝1,…,M，pi表示极化SAR图像的第i个像素点，Sj表示第j个超像素，然后将超像素-超图卷积神经网络输出的超像素特征
Figure BDA0003910897700000133
转换到像素级特征
Figure BDA0003910897700000134
其中，IhIw表示极化SAR图像所有像素点个数；
步骤五、构建特征重建网络和局部特征提取网络，融合重建特征与局部特征实现特征的增强：
步骤501、构建特征重建网络，将得到的像素级特征输入到特征重建网络中，特征重建表达式为
Figure BDA0003910897700000135
其中，
Figure BDA0003910897700000136
表示第l层隐藏层的输出，且
Figure BDA0003910897700000137
b(l)表示特征重建网络偏置，frec(·)表示特征重建网络的激活函数；
具体实施时，特征重建网络由三层全连接网络组成，三层全连接网络的输出维度分别是64，32，6；
步骤502、构建局部特征提取网络，提取极化SAR图像的局部特征Xlocal，局部特征提取表达式为
Figure BDA0003910897700000141
其中，
Figure BDA0003910897700000142
表示第l层网络提取的局部特征，
Figure BDA0003910897700000143
表示卷积核，
Figure BDA0003910897700000144
表示局部特征提取网络偏置，f(·)表示特征重建网络的激活函数；
具体实施时，局部特征提取网络由四层卷积神经网络组成，卷积核的大小分别为1×1，5×5，1×1，5×5，每层卷积神经网络的输出维度为32，32，64，64，局部特征提取网络的输入是初始的整张极化SAR图像；
步骤503、将特征重建网络的输出
Figure BDA0003910897700000145
与局部特征Xlocal进行拼接，实现特征的增强，得到最终用于分类的整体特征Xtotal；
具体实施时，将特征重建网络的第一层输出
Figure BDA0003910897700000146
与局部特征Xlocal进行拼接得到Xtotal，
Figure BDA0003910897700000147
的特征维度是64，局部特征Xlocal的特征维度是64，最终得到Xtotal的特征维度是128；
步骤六、利用训练集对网络进行训练，输出分类结果：
步骤601、将整体特征Xtotal输入到Softmax分类器中，得到图像中每个像素点的预测结果Pjc；
步骤602、每一类随机选择比例为r＝5％的训练样本形成训练集，对网络进行训练，网络训练过程中的损失函数为L＝αLrec+Lc，其中，Lrec是重建损失，Lc是分类损失，α是平衡参数，设为0.05，且重建损失Lrec和分类损失Lc的计算公式为：
Figure BDA0003910897700000148
Figure BDA0003910897700000149
其中，N表示训练样本数，C表示类别数，Yjc表示第c类的真值，Pjc表示预测标签。
本发明的有效性可以通过以下仿真实验进一步证实：
1、实验条件与方法
硬件平台为：Inter(R)Core(TM)i5-10600K [email protected]、16.0GB RAM；
软件平台为：Pytorch 1.10；
实验方法：分别为卷积神经网络、图卷积神经网络以及本发明方法。
2、仿真内容与结果
将图2中所示的德国Oberpfaffenhofen地区图像作为测试图像，分别使用卷积神经网络、图卷积神经网络以及本发明方法对图2进行分类仿真，分类结果如图3所示。其中图3(a)是使用卷积神经网络进行分类的结果，图3(b)是使用图卷积神经网络进行分类的结果，图3(c)是使用本发明的分类结果。从图3可以看出，本发明方法相比于卷积神经网络方法，在分类结果中少了许多分类噪声像素点，相比于图卷积神经网络方法，分类结果更准确。表1给出了德国Oberpfaffenhofen地区图像的分类精度，其中OA代表整体的分类精度，从表1可以看出本发明方法相较于卷积神经网络和图卷积神经网络，能够取得更高的分类精度。
表1德国Oberpfaffenhofen地区图像分类结果
Figure BDA0003910897700000151
Figure BDA0003910897700000161
以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (8)

1.一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：包括以下步骤：
步骤一、预处理极化SAR图像的输入数据：
步骤101、将极化SAR的极化散射矩阵
Figure FDA0003910897690000011
在Pauli基下转换得到相干矩阵T，Shh和Svv表示同极化分量，Shv和Svh表示交叉极化分量，h和v分别表示水平极化和垂直极化；
步骤102、对相干矩阵T进行转化，得到6维初始极化特征向量，进而获得尺寸为Ih×Iw×6的极化SAR输入数据，其中，Ih和Iw分别表示极化SAR图像的长和宽；
步骤二、利用超像素分割得到极化SAR超像素集：
步骤201、利用简单线性迭代聚类的超像素分割算法对极化SAR图像进行分割，分割成M个超像素块；
步骤202、形成极化SAR超像素集S＝{S1,…,Si,…,SM}，其中Si表示第i个超像素块；
步骤三、生成超像素极化特征矩阵和空间特征矩阵，构建极化特征关联矩阵和空间特征关联矩阵：
步骤301、在极化SAR超像素集S中，计算每个超像素内所有像素点极化特征的均值，生成极化特征矩阵
Figure FDA0003910897690000012
计算每个超像素内所有像素点横纵坐标的均值，生成空间特征矩阵
Figure FDA0003910897690000013
其中，
Figure FDA0003910897690000014
和
Figure FDA0003910897690000015
分别表示超像素Si的极化特征向量和空间特征向量；
步骤302、在超像素集S中，利用极化特征矩阵计算超像素极化特征之间的相似度，对于每个超像素，使用k近邻算法挑选出k个相似度最高的值，并将其余相似度值设置为0，生成极化特征关联矩阵Hpol∈RM×M；
步骤303、在超像素集S中，利用空间特征矩阵计算超像素空间特征之间的相似度，对于每个超像素，找出与其在空间位置中相邻超像素的相似度值，并将其余空间特征相似度值设置为0，生成空间特征关联矩阵Hspa∈RM×M；
步骤四、构建两层超像素-超图卷积神经网络，进行超像素级到像素级特征转换：
步骤401、构建两层超像素-超图卷积神经网络，将极化特征关联矩阵Hpol、空间特征关联矩阵Hspa、极化特征矩阵Xpol和空间特征矩阵Xspa输入到网络中，利用网络学习到更高层次的超像素特征
Figure FDA0003910897690000021
其中，Dc表示网络输出超像素的特征维度；
步骤402、利用超像素-像素转换矩阵
Figure FDA0003910897690000022
将超像素-超图卷积神经网络输出的超像素特征
Figure FDA0003910897690000023
转换到像素级特征
Figure FDA0003910897690000024
其中，IhIw表示极化SAR图像所有像素点个数；
步骤五、构建特征重建网络和局部特征提取网络，融合重建特征与局部特征实现特征的增强：
步骤501、构建特征重建网络，将得到的像素级特征输入到特征重建网络中，特征重建表达式为
Figure FDA0003910897690000025
其中，
Figure FDA0003910897690000026
表示第l层隐藏层的输出，且
Figure FDA0003910897690000027
b(l)表示特征重建网络偏置，frec(·)表示特征重建网络的激活函数；
步骤502、构建局部特征提取网络，提取极化SAR图像的局部特征Xlocal，局部特征提取表达式为
Figure FDA0003910897690000031
其中，
Figure FDA0003910897690000032
表示第l层网络提取的局部特征，
Figure FDA0003910897690000033
表示卷积核，
Figure FDA0003910897690000034
表示局部特征提取网络偏置，f(·)表示特征提取网络的激活函数；
步骤503、将特征重建网络的输出
Figure FDA0003910897690000035
与局部特征Xlocal进行拼接，实现特征的增强，得到最终用于分类的整体特征Xtotal；
步骤六、利用训练集对网络进行训练，输出分类结果：
步骤601、将整体特征Xtotal输入到Softmax分类器中，得到图像中每个像素点的预测结果Pjc；
步骤602、每一类随机选择比例为r的训练样本形成训练集，对网络进行训练，网络训练过程中的损失函数为L＝αLrec+Lc，其中，Lrec是重建损失，Lc是分类损失，α是平衡参数。
2.按照权利要求1所述的一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：步骤101中极化散射矩阵S在Pauli基下转换得到的相干矩阵T的公式如下所示：
Figure FDA0003910897690000036
3.按照权利要求1所述的一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：步骤102中由相干矩阵T转化得到的6维初始极化特征向量的计算公式为：
f1＝10log10(T11+T22+T33)
f2＝T22/(T11+T22+T33)
f3＝T33/(T11+T22+T33)
Figure FDA0003910897690000041
Figure FDA0003910897690000042
Figure FDA0003910897690000043
其中，Tij(i＝1,2,3；j＝1,2,3)表示矩阵T第i行第j列对应的元素，fi(i＝1,…,6)表示第i维的极化特征值。
4.按照权利要求1所述的一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：步骤302中生成极化特征关联矩阵Hpol的计算公式如下：
Figure FDA0003910897690000044
其中，hpol(i,j)表示极化特征关联矩阵Hpol第i行第j列的元素，β表示可调节参量，
Figure FDA0003910897690000045
表示超像素Si的6维极化特征向量，KNN(·)表示极化特征的k近邻。
5.按照权利要求1所述的一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：步骤303中生成空间特征关联矩阵Hspa的计算公式如下：
Figure FDA0003910897690000051
其中，hspa(i,j)表示空间特征关联矩阵Hspa第i行第j列的元素，γ表示可调节参量，
Figure FDA0003910897690000052
表示超像素i的2维空间特征向量，neighbor(·)表示空间相邻。
6.按照权利要求1所述的一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：步骤401中超像素-超图卷积神经网络的传播规则如下：
Figure FDA0003910897690000053
其中，σ(·)是ReLU激活函数，W是可训练的超边权重，Hfuse由极化特征关联矩阵Hpol和空间特征关联矩阵Hspa拼接而成，
Figure FDA0003910897690000054
和
Figure FDA0003910897690000055
分别表示第l层超像素-超图卷积神经网络的输入特征和输出特征，初始输入特征
Figure FDA0003910897690000056
由极化特征矩阵Xpol和空间特征矩阵Xspa拼接而成，
Figure FDA0003910897690000057
表示超图边度，De＝∑v∈VHfuse(v,e)表示超边节点度，Θ(l)表示可训练的滤波矩阵。
7.按照权利要求1所述的一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：步骤402中超像素-像素转换矩阵
Figure FDA0003910897690000058
的计算公式如下：
Figure FDA0003910897690000059
其中，Q(i,j)表示超像素-像素转换矩阵Q中第i行第j列的元素，并且i＝1,…,Ih×Iw,j＝1,…,M，pi表示极化SAR图像的第i个像素点，Sj表示第j个超像素。
8.按照权利要求1所述的一种基于超像素-超图特征增强网络的极化SAR图像分类方法，其特征在于：步骤602中重建损失Lrec和分类损失Lc的计算公式分别如下：
Figure FDA0003910897690000061
Figure FDA0003910897690000062
其中，N表示训练样本数，C表示类别数，Yjc表示第c类的真值，Pjc表示预测标签。
CN202211322174.0A 2022-10-27 2022-10-27 一种基于超像素-超图特征增强网络的极化sar图像分类方法 Pending CN115578599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211322174.0A CN115578599A (zh) 2022-10-27 2022-10-27 一种基于超像素-超图特征增强网络的极化sar图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211322174.0A CN115578599A (zh) 2022-10-27 2022-10-27 一种基于超像素-超图特征增强网络的极化sar图像分类方法

Publications (1)

Publication Number Publication Date
CN115578599A true CN115578599A (zh) 2023-01-06

Family

ID=84587433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211322174.0A Pending CN115578599A (zh) 2022-10-27 2022-10-27 一种基于超像素-超图特征增强网络的极化sar图像分类方法

Country Status (1)

Country Link
CN (1) CN115578599A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315381A (zh) * 2023-11-30 2023-12-29 昆明理工大学 一种基于二阶有偏随机游走的高光谱图像分类方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315381A (zh) * 2023-11-30 2023-12-29 昆明理工大学 一种基于二阶有偏随机游走的高光谱图像分类方法
CN117315381B (zh) * 2023-11-30 2024-02-09 昆明理工大学 一种基于二阶有偏随机游走的高光谱图像分类方法

Similar Documents

Publication Publication Date Title
Gao et al. Change detection from synthetic aperture radar images based on channel weighting-based deep cascade network
Ji et al. 3D convolutional neural networks for human action recognition
Yang et al. Multitask dictionary learning and sparse representation based single-image super-resolution reconstruction
Li et al. Adaptive deep convolutional neural networks for scene-specific object detection
He et al. A dual global–local attention network for hyperspectral band selection
CN107977661B (zh) 基于fcn与低秩稀疏分解的感兴趣区域检测方法
CN103258324B (zh) 基于可控核回归和超像素分割的遥感图像变化检测方法
Li et al. Semisupervised classification of hurricane damage from postevent aerial imagery using deep learning
Wu et al. Multiscale CNN with autoencoder regularization joint contextual attention network for SAR image classification
CN104778476A (zh) 一种图像分类方法
Bindhu et al. Hyperspectral image processing in internet of things model using clustering algorithm
Verma et al. Wild animal detection from highly cluttered images using deep convolutional neural network
Ren et al. Clustering-oriented multiple convolutional neural networks for single image super-resolution
Li et al. Enhanced bird detection from low-resolution aerial image using deep neural networks
Yeswanth et al. Residual skip network-based super-resolution for leaf disease detection of grape plant
Khurshid et al. A residual-dyad encoder discriminator network for remote sensing image matching
CN115578599A (zh) 一种基于超像素-超图特征增强网络的极化sar图像分类方法
Li et al. Image decomposition with multilabel context: Algorithms and applications
Lu et al. Efficient object detection for high resolution images
Singh et al. Wavelet based histogram of oriented gradients feature descriptors for classification of partially occluded objects
Song et al. HDTFF-Net: Hierarchical deep texture features fusion network for high-resolution remote sensing scene classification
Hou et al. BFFNet: A bidirectional feature fusion network for semantic segmentation of remote sensing objects
Chaudhri et al. Mirror mosaicking based reduced complexity approach for the classification of hyperspectral images
Chen et al. Hyperspectral remote sensing IQA via learning multiple kernels from mid-level features
CN112101084B (zh) 基于卷积神经网络的极化sar建筑物震害信息自动提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination