CN109934292B

CN109934292B - 基于代价敏感性辅助学***衡极化sar地物分类方法

Info

Publication number: CN109934292B
Application number: CN201910198273.4A
Authority: CN
Inventors: 侯彪; 焦李成; 田争娇; 吴倩; 马晶晶; 马文萍; 白静
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2019-03-15
Filing date: 2019-03-15
Publication date: 2021-04-09
Anticipated expiration: 2039-03-15
Also published as: CN109934292A

Abstract

本发明公开了一种基于代价敏感性辅助学***衡极化SAR地物分类方法，先输入待分类的极化SAR图像及该极化SAR图像对应的真实地物标签信息；对待分类极化SAR图像数据的极化相干矩阵T取绝对值，得到模矩阵|T|；然后选择训练样本集；搭建代价敏感性辅助学***衡地物问题，实现对小块目标的更好分类，使得分类的准确率更高。

Description

基于代价敏感性辅助学***衡极化SAR地物分类方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于代价敏感性辅助学***衡极化SAR地物分类方法。

背景技术

极化SAR图像分类作为极化SAR图像理解与解译的重要研究内容，近年来受到越来越多研究者的关注，并广泛应用到各个领域，如土地覆盖类型判别、地面目标检测、地质勘探、植被种类判别等。根据分类方法中标记样本和无标记样本的利用方式，极化SAR地物分类方法主要可以分为三种类型：无监督分类方法、监督分类方法和半监督分类方法。

对于极化SAR图像分类问题，监督分类方法通常比无监督分类更容易获得好的分类结果，但是监督分类方法通常需要充足的标记样本作为训练样本，而实际中标记样本的获取是非常困难的，需要耗费大量的人力物力。而无标记数据获取相对容易，无标记的数据也能反映数据的某些信息，但是无监督方法的极化SAR图像分类效果不如监督方法。因此，如何利用大量的无标记样本对少量的标记样本进行补充辅助训练的半监督学习方法，引起了研究者的广泛关注，通过发现未标记样本中的隐含信息结合标记样本信息提高分类精度，弥补了监督学习和无监督学习的不足，已成为机器学习领域的研究热点。

现有方法仍然存在的不足之处如下：

全卷积网络层次太深，导致网络训练时间过长，同时训练该网络时选取标记样本的方式较为复杂，耗费人力物力。

合成孔径雷达的成像机理导致极化SAR图像中既有大面积的匀质区域，又有小块的人造建筑、车、船等目标，这种不平衡的地物类型，使得在图像的像素分类时，小块的目标区域获取的标签信息较小，因而对于面积较小的目标的分类结果仍然不够精确。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于代价敏感性辅助学***衡极化SAR地物分类方法，通过该方法能够解决降低网络的深度，并且解决极化SAR图像中不平衡地物类型问题，有利于小目标信息的提取，以达到提高极化SAR图像分类准确度的目标。

本发明采用以下技术方案：

基于代价敏感性辅助学***衡极化SAR地物分类方法，先输入待分类的极化SAR图像及该极化SAR图像对应的真实地物标签信息；对待分类极化SAR图像数据的极化相干矩阵T取绝对值，得到模矩阵|T|；然后选择训练样本集；搭建代价敏感性辅助学习模型；训练代价敏感性辅助学习模型后对极化SAR图像进行分类；最后输出整幅图的可视化分类结果图。

具体的，将取模后的极化相干矩阵作为训练样本，从极化SAR图像所有带真实标签的像素中，随机选取10％的像素作为标签信息。

具体的，搭建代价敏感性辅助学习模型的步骤如下：

S401、搭建特征提取主干网络，设特征提取网络一共分为四层，其结构依次分为：输入层，第一卷积层，第二卷积层，第三卷积层；

S402、搭建分支之一的分类网络，分为两层，其结构依次为：第四卷积层，分类层；

S403、搭建分支之一的辅助聚类网络，分为三层，其结构依次为类别细分层，多类别并联全连接层，聚类层。

进一步的，步骤S401中，设置各层内容和参数如下：

输入层，该输入层的节点数设置为输入的相关矩阵|T|的维度；

第一卷积层，卷积核个数设置为50，卷积核大小设置为5*5，卷积步长为1*1；

第二卷积层，卷积核个数设置为30，卷积核大小设置为5*5，卷积步长为1*1；

第三卷积层，卷积核个数设置为9，卷积核大小为5*5，卷积步长为1*1。

进一步的，步骤S402中，各层的内容和参数如下：

第四卷积层，卷积核个数设置为极化SAR数据中的地物类别个数，卷积核尺寸为7*7，卷积步长为1*1；

softmax分类层，该输出层的节点数设置为极化SAR数据中的地物类别个数。

进一步的，步骤S403中，各层的内容和参数如下：

类别细分层，根据极化SAR图像数据中的地物类别，将特征提取主干网络输出的feature map细分出每个类别的single-class feature map；

多类别并联全连接层，对每一类别的single-class feature map分别建立全连接层，并联的全连接层数目等于极化SAR图像中的地物类别个数，每一类的全连接层的节点数目是该类别的single-class feature map的像素点数目，每个全连接层输出即为该类别的聚类中心；

聚类层，根据每个类别的single-class feature map和聚类中心，使用以下公式实现多类别聚类：

其中，i＝1,…,N，S_i是代价敏感系数，i代表极化SAR图像数据中的地物类别，N是极化SAR图像数据中的地物类别总个数，x_i是类别细分层输出的每一类的single-classfeature map的像素点数目，C_i是并联全连接层输出的每一类的聚类中心，M_i是softmax分类层预测的每一类的像素点数目。

具体的，训练代价敏感性辅助学习模型的步骤如下：

S501、设置代价敏感性辅助学习模型的训练参数；

S502、将此前选取的训练样本集和对应的标签输入到代价敏感性辅助学习模型，计算得到损失函数值l；

S503、根据设置的学习率，利用损失函数值l和反向传播算法更新代价敏感性辅助学习模的各层参数；

S504、重复步骤S502到S503共10000次，完成对代价敏感性辅助学习模型的训练，并保存更新好的网络模型参数。

进一步的，步骤S501中，学习率为0.1，迭代次数为10000，损失函数为L2正则化损失函数L，计算如下：

其中，y表示代价敏感性辅助学习模型输出的训练样本的类别概率，

表示训练样本的真实像素标签。

具体的，将取模后的相关矩阵|T|输入到训练好的代价敏感性辅助学习模型中，得到极化SAR图像数据的最终预测标签，同时计算分类正确率。

具体的，根据预测标签和极化SAR图像数据的空间位置，绘制最后的分类结果图如下：

用RGB值为[255，255，255]，[255，0，0]，[128，0，0]，[171，138，80]，[255，255，0]，[183，0，255]，[191，191，255]，[90，11，255]，[0，252，255]，[0，255，0]，[255，182，229]，[255，128，0]，[191，255，191]，[255，217，157]，[0，131，74]，[0，0，255]的颜色表示类别标号为0，1，2，3，4，5，6，7，8，9，10，11，12，13，14，15的地物类别，输出极化SAR图像数据的分类结果彩图。

与现有技术相比，本发明至少具有以下有益效果：

本发明基于代价敏感性辅助学***衡极化SAR地物分类方法，构建的代价敏感性辅助学习模型，能够从极化相干矩阵的原始数据出发，通过特征提取网络自动获得极化SAR图像高层次的语义特征，克服了现有技术网络层次深、需要较多的标签数据作为训练样本集的问题，使得在少量标记样本下直接从原始数据出发，实现端到端的半监督分类。

进一步的，采用了代价敏感系数，通过每次迭代的分类结果，在线更新代价敏感系数，解决了极化SAR图像中不平衡地物类型的问题，更加利于对小目标进行分类，充分利用标记样本信息提高极化SAR图像中小目标的分类性能。

进一步的，采用聚类的方法，使用特征提取网络输出的feature map，并依据feature map本身的聚类特征寻找每一类的聚类中心，提高了对不平衡地物类型的类别特征的区分性，辅助分类网络更好的学习和分类，提高了模型的分类精度。

进一步的，在训练代价敏感性辅助学习模型的过程中，通过L2正则化损失函数和反向传播算法，使得特征提取网络能够学习极化SAR的feature map，而分类网络在实现特征分类的同时又得到代价敏感系数，代价敏感系数用于聚类网络更好的寻找聚类中心，聚类网络又反过来辅助特征提取网络更好的学习特征，同时提高分类网络的性能。

进一步的，通过将模型的学习率设置为0.1，能够使网络快速收敛，使损失函数达到最小值，提高了网络的训练速度；通过将迭代次数设置为10000次，能够提高网络的鲁棒性，使得训练得到的模型权重具有更好的分类效果。

进一步的，对于极化SAR图像数据，通过RGB值将不同的类别可视化，然后将模型分类结果图与人工标记图对比，有利于直观的表现模型的性能以及模型对不同类别的分类效果，以便进行后续的改进。

综上所述，本发明搭建的代价敏感性辅助学***衡地物问题，实现对小块目标的更好分类，使得分类的准确率更高。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的实现流程图；

图2为本发明中构建的代价敏感性辅助学习模型的网络结构图；

图3为本发明中待分类的极化SAR图像的人工标记图；

图4为用本发明对待分类的极化SAR图像的分类结果图。

具体实施方式

本发明提供了一种基于代价敏感性辅助学***衡极化SAR地物分类方法，先输入极化SAR图像数据；然后选择训练数据集并搭建代价敏感性辅助学***衡地物类型问题并优化了模型的结构层次，提高了极化合成孔径雷达极化SAR数据的分类精度，能够做到端对端的分类效果。本发明可应用于极化SAR图像的目标分类、检测和识别。

请参阅图1本发明一种基于代价敏感性辅助学***衡极化SAR地物分类方法，包括以下步骤：

S1、输入待分类的极化SAR图像及该极化SAR图像对应的真实地物标签信息；

S2、对待分类极化SAR图像数据的极化相干矩阵T取绝对值，得到模矩阵|T|；

S3、选择训练样本集：

将取模后的极化相干矩阵作为训练样本，从极化SAR图像所有带真实标签的像素中，随机选取10％的像素作为标签信息；

S4、搭建代价敏感性辅助学习模型；

请参阅图2，代价敏感性辅助学习模型是由主干网络和两个分支网络构成的，其中主干网络是特征提取网络，分支网络之一是分类网络，分支网络之二是辅助聚类网络。特征提取网络用于学习极化SAR图像数据的语义特征，通过辅助聚类网络帮助特征提取网络挖掘极化SAR数据的信息，同时辅助分类网络学习，使分类的结果更加精确，通过分类网络的结果计算代价敏感系数又辅助聚类学习更精确寻找聚类中心。

S401、搭建特征提取主干网络：

设特征提取网络一共分为四层，其结构依次分为：输入层，第一卷积层，第二卷积层，第三卷积层；

设置各层内容和参数如下：

输入层，该输入层的节点数设置为输入的矩阵|T|的维度；

第三卷积层，卷积核个数设置为9，卷积核大小为5*5，卷积步长为1*1；

S402、搭建分支之一的分类网络：

分类网络一共分为两层，其结构依次为：第四卷积层，分类层；

设置各层的内容和参数如下：

S403、搭建分支之一的辅助聚类网络：

辅助聚类网络一共分为三层，其结构依次为类别细分层，多类别并联全连接层，聚类层；

设置各层的内容和参数如下：

S5、训练代价敏感性辅助学习模型

S501、设置代价敏感性辅助学习模型的训练参数，其中学习率为0.1，迭代次数为10000，损失函数为L2正则化损失函数L如下：

表示训练样本的真实像素标签；

S503、根据设置的0.1学习率，利用损失函数值l和反向传播算法更新代价敏感性辅助学习模的各层参数；

S6、利用训练好的模型权重值对极化SAR图像进行分类

将取模后的相关矩阵|T|输入到训练好的代价敏感性辅助学习模型中，得到极化SAR图像数据的最终预测标签，同时计算分类正确率；

S7、输出整幅图的可视化分类结果图。

根据预测标签和极化SAR图像数据的空间位置，绘制最后的分类结果图。用不同的颜色标识极化SAR图像数据的最终分类结果中的每一个像素，是指分别用RGB值为[255，255，255]，[255，0，0]，[128，0，0]，[171，138，80]，[255，255，0]，[183，0，255]，[191，191，255]，[90，11，255]，[0，252，255]，[0，255，0]，[255，182，229]，[255，128，0]，[191，255，191]，[255，217，157]，[0，131，74]，[0，0，255]的颜色表示类别标号为0，1，2，3，4，5，6，7，8，9，10，11，12，13，14，15的地物类别，通过该方法输出极化SAR图像数据的分类结果彩图。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的效果可通过以下仿真进一步说明：

1、仿真条件和内容

本发明的仿真实验是在主频3.4GHz的Intel(R)Core(TM)i5-7500 CPU、核心频率1569-1784MHz的GTX1060-6GD5、内存为8GB的硬件环境和Tensorflow的软件环境下进行的。

本发明的实验数据为1989年利用AIRSAR获得的Flevoland地区农田数据，如图3所示，图像大小为750×1024，对应15类不同地物；图3中的(a)是本发明中待分类图的极化SAR图像的真实图，图3中的(b)是待分类的极化SAR图像的真实地物标签图，图3中的(c)中不同的颜色代表不同的地物类别；图4是用本发明对待分类的极化SAR图像的分类结果图；表1为使用CV-RNN、RV-CNN和半发明的分类精度对比。

2、仿真结果分析

表1分类精度对比

由表1可以看出，本发明方法相比现有的CV-CNN、RV-CNN半监督分类方法，获得了更高的分类精度，证明了本发明方法在极化SAR图像半监督分类的优异效果；此外，在单个类别的分类上，本发明方法的分类精度普遍高于CV-RNN、RV-CNN的分类精度，解决了极化SAR图像中不平衡的地物类别问题。

从图4可以看出，本发明方法在训练过程实现了端对端的训练方法，使得分类结果图的误分类杂点较少，分类结果更加精确。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims

1.基于代价敏感性辅助学***衡极化SAR地物分类方法，其特征在于，先输入待分类的极化SAR图像及待分类极化SAR图像对应的真实地物标签信息；对待分类极化SAR图像的极化相干矩阵T取绝对值，得到取模后的相关矩阵|T|；然后选择训练样本集；搭建代价敏感性辅助学习模型，搭建代价敏感性辅助学习模型的步骤如下：

S401、搭建特征提取主干网络，设特征提取主干网络一共分为四层，其结构依次分为：输入层，第一卷积层，第二卷积层，第三卷积层，设置各层内容和参数如下：

S402、搭建分支之一的分类网络，分为两层，其结构依次为：第四卷积层，softmax分类层，各层的内容和参数如下：

第四卷积层，卷积核个数设置为待分类的极化SAR数据中的地物类别个数，卷积核尺寸为7*7，卷积步长为1*1；

softmax分类层，节点数设置为待分类的极化SAR数据中的地物类别个数；

S403、搭建分支之一的辅助聚类网络，分为三层，其结构依次为类别细分层，多类别并联全连接层，聚类层，各层的内容和参数如下：

类别细分层，根据待分类的极化SAR图像数据中的地物类别，将特征提取主干网络输出的feature map细分出每个类别的single-class feature map；

多类别并联全连接层，对每一类别的single-class feature map分别建立全连接层，并联的全连接层数目等于待分类的极化SAR图像中的地物类别个数，每一类的全连接层的节点数目是该类别的single-class feature map的像素点数目，每个全连接层输出即为该类别的聚类中心；

其中，i＝1,…,N，S_i是代价敏感系数，i代表极化SAR图像数据中的地物类别，N是极化SAR图像数据中的地物类别总个数，x_i是类别细分层输出的每一类的single-classfeature map的像素点数目，C_i是并联全连接层输出的每一类的聚类中心，M_i是softmax分类层预测的每一类的像素点数目；训练代价敏感性辅助学习模型后对待分类的极化SAR图像进行分类；最后输出整幅图的可视化分类结果图。

2.根据权利要求1所述的基于代价敏感性辅助学***衡极化SAR地物分类方法，其特征在于，将取模后的极化相干矩阵作为训练样本，从待分类的极化SAR图像所有带真实标签的像素中，随机选取10％的像素作为标签信息。

3.根据权利要求1所述的基于代价敏感性辅助学***衡极化SAR地物分类方法，其特征在于，训练代价敏感性辅助学习模型的步骤如下：

S501、设置代价敏感性辅助学习模型的训练参数；

S503、根据设置的学习率，利用损失函数值l和反向传播算法更新代价敏感性辅助学习模型的各层参数；

4.根据权利要求3所述的基于代价敏感性辅助学***衡极化SAR地物分类方法，其特征在于，步骤S501中，学习率为0.1，迭代次数为10000，损失函数为L2正则化损失函数L，计算如下：

表示训练样本的真实像素标签。

5.根据权利要求1所述的基于代价敏感性辅助学***衡极化SAR地物分类方法，其特征在于，将取模后的相关矩阵|T|输入到训练好的代价敏感性辅助学习模型中，得到待分类的极化SAR图像数据的最终预测标签，同时计算分类正确率。

6.根据权利要求1所述的基于代价敏感性辅助学***衡极化SAR地物分类方法，其特征在于，根据预测标签和极化SAR图像数据的空间位置，绘制最后的分类结果图如下：