CN108564115A - 基于全卷积gan的半监督极化sar地物分类方法 - Google Patents

Abstract

本发明提供的基于全卷积GAN的半监督极化SAR地物分类方法，实现步骤为：精致Lee滤波；输入极化SAR数据；构建生成网络G；构建判别网络D；训练网络和测试并计算分类正确率；本发明相比现有技术的基于半监督的Co‑training分类方法，提高了极化合成孔径雷达极化SAR数据的分类精度，解决了极化信息利用不充分的问题并增强了模型对输入数据的鲁棒性，能够做到端到端的分类效果。本发明可应用于极化合成孔径雷达极化SAR数据地物分类。

Description

基于全卷积GAN的半监督极化SAR地物分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及基于全卷积GAN的半监督极化SAR地物分类方法。

背景技术

极化合成孔径雷达(极化SAR)利用不同极化方式交替发射与接收雷达信号，能够获得极为丰富的目标散射信息，已成为对地探测的重要工具，并且凭借其全天时、全天候的工作特性，已走在了遥感信息获取技术的前列，在农业、林业、军事、地质学、水文学和海洋等方面具有广泛的研究和应用价值，如地物种类的识别、农作物成长监视、产量评估、地物分类、海冰监测、地面沉降监测，目标检测和海洋污染检测等。极化SAR的成功应用依赖于图像解译技术，随着获取的信息越来越多，如何快速而准确的解译这些信息，已成为目前研究的热点问题。

目前的极化SAR分类方法主要有3种：无监督学习、监督学习和半监督学习。其中，无监督方法不需要标记样本，主要采用目标分解的方法根据不同地物的物理散射特性对目标进行分解。监督方法通常比无监督方法更容易取得较好的极化SAR分类效果，但是监督方法需要大量的标记样本，而实际中的有标记样本因需要专门的人员，特别的设备，额外的开销等原因而难以获取，数量比较少。近年来也有学者将半监督学习方法成功用于极化SAR图像分类半监督方法利用大量未标记样本，通过发现未标记样本中的隐含信息结合标记样本信息提高分类精度，弥补了监督学习和无监督学习的不足，已成为机器学习领域的研究热点。

Long.J等人在其发表的论文“Fully Convolutional Networks for SemanticSegmentation”(IEEE Transactions on Pattern Analysis&Machine Intelligence,39(4):640,2017)中提出了一种端到端的全卷积结构的网络，将传统CNN的全连接层转化成一个个的卷积层，与传统用CNN进行图像分割的方法相比有两大明显的优点：一是可以接受任意大小的输入图像，而不用要求所有的训练图像和测试图像具有同样的尺寸。二是更加高效，避免了由于使用像素块而带来的重复存储和计算卷积的问题。同时FCN的缺点也比较明显：一是其上采样的结果还是比较模糊和平滑，对图像中的细节不敏感。二是对各个像素进行分类，没有充分考虑像素与像素之间的关系。忽略了在通常的基于像素分类的分割方法中使用的空间规整(spatial regularization)步骤，缺乏空间一致性。特别是训练该网络需要大量的全标记样本，由于极化SAR数据只有少量像素点是带标记的，因此不能直接应用到极化SAR图像的分类任务上。

Hua.W等人在其发表的论文“Semi-supervised PolSAR Image ClassificationBased on Improved Co-training”(IEEE Journal of Selected Topics in AppliedEarth Observations&Remote Sensing,pp.99:1-16,2017)中提出了一种基于改进的协同训练过程的半监督分类方法，可以同时利用少量标记数据和未标记的数据来提高分类的性能，但是该方法虽然堆叠了多种目标分解方法来构造高维特征，却引入了很多冗余信息，导致分类结果仍然不够精确。

西安电子科技大学在其申请的专利文献“基于全卷积神经网络的极化SAR地物分类方法”(专利申请号：201710369376.3，申请日：2017.05.23，申请公布号：CN107239797A)中提出了基于全卷积神经网络的极化SAR地物分类方法，对待分类极化散射矩阵S进行Pauli分解，得到奇次散射系数、偶次散射系数和体散射系数，将奇次散射系数、偶次散射系数和体散射系数作为极化SAR图像的三维图像特征F；再将得到的三维图像特征矩阵F转化成RGB图F1；再在RGB图F1上随机选取m×n的像素块作为训练样本，整张RGB图F1作为测试样本；再构造全卷积神经网络模型；再通过全卷积神经网络训练训练样本，得到训练好的模型；再通过训练好的模型对测试集进行分类，得到分类结果。该方法存在的不足之处是采用像素点周围的图像块作为训练样本，相邻的图像块基本上是重复的，存储开销很大，且针对每个像素块逐个进行的卷积计算也是重复的。另外，像素块的大小限制了感知区域的大小，只能提取一些局部的特征，从而导致分类的性能受到限制。

发明内容

本发明的目的在于提供基于全卷积GAN的半监督极化SAR地物分类方法，解决了目前的极化SAR分类方法的分类结果不够精确的缺陷。

为了达到上述目的，本发明采用的技术方案是：

本发明提供的基于全卷积GAN的半监督极化SAR地物分类方法，包括以下步骤：

步骤1)，对一幅原始的极化SAR图像进行精致Lee滤波，得到滤波后待分类的极化SAR图像；

步骤2)，将真实待分类的极化SAR图像和其所对应的标签图作为真样本；

步骤3)，构建生成网络G；

步骤4)，构建判别网络D；

步骤5)，训练生成对抗网络：

(5a),将一个100维的随机噪声向量z输入生成网络G，生成网络G将该噪声向量z转化成假样本；

(5b)，将真实极化SAR图像的每类分别随机取若干个样本点，然后在该真实极化SAR图像所对应的标签图上选取与该样本点对应的真实标签y，作为有标签样本，用作有监督学习，最后，在该真实极化SAR图像上选取若干个无标记样本点，作为无标签样本，用作无监督学习；

(5c)，将假样本、有标签样本和无标签样本作为判别网络D的输入，采用轮流迭代的方式训练判别网络D和生成网络G；

步骤6)，测试并计算分类正确率：首先，将所有有标签样本点中除用作训练的样本点外，剩余的有标签样本点及其对应的真实标签y均输入到判别网络D中，得到每一个输入样本点对应的预测标签y'；然后，将该预测标签y'与真实标签y比较，计算出分类正确率。

优选地，步骤3)中，生成网络G为一个包含四个反卷积层的卷积神经网络，该网络的第一层为卷积核尺寸为2×2，卷积步长为1，卷积核个数为100的反卷积层；第二层为卷积核尺寸为4×4，卷积步长为2，卷积核个数为25的反卷积层；第三层为卷积核尺寸为4×4，卷积步长为2，卷积核个数为6的反卷积层；第四层为卷积核尺寸为6×6，步长为2，卷积核个数为9的反卷积层。

优选地，步骤4)中，判别网络D为一个包含三个卷积层和一个softmax层的卷积神经网络，该网络的第一层为卷积核尺寸3×3，卷积步长为1，卷积核个数为64的卷积层；第二层为卷积核尺寸为1×1，卷积步长为1，卷积核个数为64的卷积层；第三层为卷积核尺寸为1×1，卷积步长为1，卷积核个数为64的卷积层；第四层为softmax层。

优选地，步骤5)的(5c)中，在训练判别网络D时，若输入样本是来自于生成网络G，则按照使以下公式最大化来优化：

其中，表示数学期望，x表示输入判别网络的数据样本点，G表示生成网络，log表示对数操作，p_model表示网络学习到的伪概率分布；y'表示判别网络D对一个输入样本点给出的预测标签，K表示待分类的极化SAR数据的类别数。

优选地，步骤5)的(5c)中，在训练判别网络D时，若输入样本为有标签的样本，按照最小化以下公式来更新判别网络D的参数：

其中，表示有标签样本点的损失函数，表示数学期望，x表示输入判别网络的数据样本点，y表示有标签样本点所带的真实标签，log表示对数操作，y'表示判别网络D对一个输入样本点给出的预测标签，p_data(x)表示真实数据样本点服从的概率分布，p_model表示网络学到的伪概率分布，K表示待分类的极化SAR数据的类别数。

优选地，步骤5)的(5c)中，在训练判别网络D时，若输入样本为无标签样本，按照最小化以下公式来更新判别网络D的参数：

其中，表示无标签样本点的损失函数，表示数学期望，x表示输入判别网络的数据样本点，y'表示判别网络D对一个输入样本点给出的预测标签，log表示对数操作，p_data(x)表示真实数据样本点服从的概率分布，p_model表示网络学到的伪概率分布，K表示待分类的极化SAR数据的类别数。

优选地，步骤5)的(5c)中，在训练生成网络G时，按照使以下公式最小化来更新参数：

其中，表示数学期望，x表示输入判别网络的数据样本点，G表示生成网络，log表示对数操作，p_model表示网络学习到的伪概率分布，y'表示判别网络D对一个输入样本点给出的预测标签，K表示待分类的极化SAR数据的类别数。

与现有技术相比，本发明的有益效果是：

本发明提供的基于全卷积GAN的半监督极化SAR地物分类方法，相比现有技术的基于半监督的Co-DT(Co-training with Decision Tree)分类方法，提高了极化合成孔径雷达极化SAR数据的分类精度，基于生成对抗网络的结构增强了模型对输入数据的鲁棒性。本发明可应用于极化合成孔径雷达极化SAR数据地物分类。

进一步的，本发明采用了半监督学习的思想，即同时利用少量有标记像素点和未标记像素点去训练一个网络。极化SAR数据只有少量像素是人工标注了类别，大部分像素并未标注类别信息，本发明克服了极化SAR数据本身标注不完整的问题，充分利用到了未标记样本中含有丰富的地物散射信息，提高了分类准确率。

进一步的，本发明采用了一种全卷积结构作为生成对抗网络中的判别网络D，可以整张图输入网络并输出相同大小的测试结果，克服了现有技术中通常采用像素块作为训练样本时重复存储和计算卷积的问题，使得本发明中网络的训练速度更快且达到端到端的分类效果。

附图说明

图1是本发明的流程图；

图2是本发明极化SAR地物分类仿真实验中使用的待分割的PauliRGB图；

图3是本发明和现有的Co-DT方法对极化合成孔径雷达极化SAR数据进行分类的最终分类结果对比图；其中，图3a1，图3b1，图3c1，图3d1，图3e1分别是现有的Co-DT方法对图2所述的待分类图像的分类效果图；图3a2，图3b2，图3c2，图3d2，图3e2分别是本发明所述方法对图2所述的待分类图像的分类效果图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

如图1所示，本发明提供的基于全卷积GAN的半监督极化SAR地物分类方法，包括以下步骤：

步骤1.精致Lee滤波：

对一幅原始的极化SAR图像进行精致Lee滤波，得到滤波后待分类的极化SAR图像；

步骤2.输入数据：

将待分类的真实极化SAR图像和其所对应的标签图作为真样本；其中，标签图和极化SAR图像大小相同；

步骤3.构建生成网络G：

所述生成网络G为一个包含四个反卷积层的卷积神经网络，该网络的第一层为卷积核尺寸为2×2，卷积步长为1，卷积核个数为100的反卷积层；第二层为卷积核尺寸为4×4，卷积步长为2，卷积核个数为25的反卷积层；第三层为卷积核尺寸为4×4，卷积步长为2，卷积核个数为6的反卷积层；第四层为卷积核尺寸为6×6，步长为2，卷积核个数为9的反卷积层；接着，在生成网络G中输入随机噪声向量z，生成假样本；

步骤4.构建判别网络D：

判别网络D为一个包含三个卷积层和一个softmax层的卷积神经网络，该网络的第一层为卷积核尺寸3×3，卷积步长为1，卷积核个数为64的卷积层；第二层为卷积核尺寸为1×1，卷积步长为1，卷积核个数为64的卷积层；第三层为卷积核尺寸为1×1，卷积步长为1，卷积核个数为64的卷积层；第四层为softmax层。

步骤5.训练网络：

(5a)将一个100维的随机噪声向量z输入生成网络G，生成网络G将该噪声向量z转化成假样本，该假样本与真样本相类似；

其中，该噪声向量z服从均值为0，标准差为0.1的正态分布。

(5b)将生成的假样本作为判别网络D的其中一个输入，再将真实极化SAR图像的每类分别随机取若干个样本点，本实施例中，真实的极化SAR图像每类分别随机取0.1％，0.2％，0.4％，0.8％，1％个样本点；

再在真实的极化SAR图像所对应的标签图上取与这些样本点对应的真实标签y，作为有标签样本，将得到的有标签样本用作有监督学习；

再在真实的极化SAR图像上取若干个无标记样本点，作为无标签样本，将得到的无标签样本用作无监督学习，其中，有标签样本和无标签样本都作为判别网络D的另一个输入，用于训练判别网络D。

(5c)训练时，采用轮流迭代的方式训练判别网络D和生成网络G：

先优化判别网络D，每更新一次判别网络D的参数，固定生成网络G的参数。判别网络不仅要判断输入的样本是来自生成器的假样本还是真实的样本，还要判断这些真实样本具体是属于哪个类别，其中：

若输入样本是来自于生成网络G，则按照使以下公式最大化来优化：

其中，表示数学期望，x表示输入判别网络的数据样本点，G表示生成网络，log表示对数操作，p_model表示网络学习到的伪概率分布。y'表示判别网络D对一个输入样本点给出的预测标签，K表示待分类的极化SAR数据的类别数。

若是来自于真实的数据，对有标签的样本，按照最小化以下公式来更新判别网络D的参数：

其中，表示有标签样本点的损失函数，表示数学期望，x表示输入判别网络的数据样本点，y表示有标签样本点所带的真实标签，log表示对数操作，y'表示判别网络D对一个输入样本点给出的预测标签，p_data(x)表示真实数据样本点服从的概率分布，p_model表示网络学到的伪概率分布，K表示待分类的极化SAR数据的类别数。

若是来自于真实的数据，对无标签样本，按照最小化以下公式来更新判别网络D的参数：

其中，表示无标签样本点的损失函数，表示数学期望，x表示输入判别网络的数据样本点，y'表示判别网络D对一个输入样本点给出的预测标签，log表示对数操作，p_data(x)表示真实数据样本点服从的概率分布，p_model表示网络学到的伪概率分布，K表示待分类的极化SAR数据的类别数。

反之更新生成网络G的参数时，固定判别网络D的参数，其中，生成网络G的目的是使产生的假样本无限接近于真实样本，使判别网络无法区分出真假，按照使以下公式最小化来更新参数：

其中，表示数学期望，x表示输入判别网络的数据样本点，G表示生成网络，log表示对数操作，p_model表示网络学习到的伪概率分布。y'表示判别网络D对一个输入样本点给出的预测标签，K表示待分类的极化SAR数据的类别数。

步骤6.测试并计算分类正确率：

(6a)将所有有标签样本点中，除了每次用作训练的样本点外，其余的有标签样本点及其对应的真实标签y均输入到判别网络D中，最终判别网络D给出每一个样本点对应的预测标签y'；(6b)将这些预测标签y'与真实标签y比较，计算出分类正确率。

步骤7.输出整幅图的可视化分类结果：

将整幅图上的样本点输入到判别网络D当中，对所有的样本点进行测试并得到预测标签。用不同的颜色标识极化SAR数据的最终分类结果中的每一类样本是指，分别用RGB值为[255,0,0]，[255,128,0]，[171，138，80]，[255,255,0]，[183,0,255]，[191,191,255]，[90,11,255]，[191,255,191]，[0,252,255]，[128,0,0]，[255,182,229]，[0,255,0]，[0,131,74]，[0,0,255]，[255,217,157]的颜色表示类标号为1,2,3,4,5,6,7,8,9,10,11,12,13,14,15的样本，照此方法得到极化SAR数据的分类结果彩图，输出极化SAR数据的分类结果彩图。

下面结合仿真实验对本发明的效果做进一步说明。

1、仿真条件

仿真实验中，本发明和对比方法都是在主频2.30GHZ的Intel(R)Core(TM)i5-2410CPU、安装内存6GB的硬件环境和python(3.5)的软件环境下进行的。

2、仿真内容

本发明的极化SAR地物分类仿真实验是采用本发明的方法和现有的基于半监督的Co-DT方法，分别在AIRSAR极化合成孔径雷达Flevoland地区测试图像上进行分类，图2为本发明极化SAR地物分类仿真实验中使用的待分割的Pauli RGB图，大小为750×1024个像素。

图3为本发明方法和现有的Co-DT方法对极化SAR数据进行分类的最终分类结果对比图。其中，图3a1，图3b1，图3c1，图3d1，图3e1分别为为现有的Co-DT方法对图2待分类图像每类样本随机选取0.1％，0.2％，0.4％，0.8％，1％的样本点作为有标签样本，取1500个无标签样本点一起作为训练样本的分类效果图，图3a2，图3b2，图3c2，图3d2，图3e2分别为本发明的方法对图2待分类图像每类样本随机选取0.1％，0.2％，0.4％，0.8％，1％的样本点作为有标签样本，取1500个无标签样本点一起作为训练样本的分类效果图。

3、仿真结果分析

由图3的仿真结果可以看出，现有的Co-DT方法和本发明的方法因为都利用到了一部分无标签样本点而表现出良好的区域一致性，但明显使用本发明方法分类后的极化SAR数据的边缘保持性较好。

表1为现有的Co-DT分类算法和本发明的分类方法在AIRSAR极化合成孔径雷达Flevoland地区测试图像上每类选取不同比例样本点用作训练时的分类正确率比较表。

表1本发明和现有Co-DT分类方法在测试图中的地物分类正确率比较表

由表1可以看出，本发明方法的分类精度在取不同比例的有标签样本点时分类精度都比Co-DT方法要高，这是因为无标签样本点在本发明中发挥的作用明显要大于Co-DT方法，因为它更好地利用到了无标签样本中含有的丰富的地物散射信息，取得了更好的分类效果。相比之下，当使用如0.1％的标记样本训练时，Co-DT方法对像素分类的错误更大，本发明的方法准确度比之高6％左右。

此外，本发明的方法在40-50次迭代的精确度可以达到88％左右，并且随着迭代次数的增加，其精度会更高。从算法收敛速度上比较，本发明的算法收敛速度也要大于现有算法的收敛速度。在训练过程中省去了对一幅图像进行逐像素切块的操作，节省了存储空间且不用重复计算卷积使得本发明能够快速分类一整幅极化SAR数据。

Claims (7)

1.基于全卷积GAN的半监督极化SAR地物分类方法，其特征在于，包括以下步骤：

步骤1)，对一幅原始的极化SAR图像进行精致Lee滤波，得到滤波后待分类的极化SAR图像；

步骤2)，将待分类的真实极化SAR图像和其所对应的标签图作为真样本；

步骤3)，构建生成网络G；

步骤4)，构建判别网络D；

步骤5)，训练生成对抗网络：

(5a),将一个100维的随机噪声向量z输入生成网络G，生成网络G将该噪声向量z转化成假样本；

(5b)，将真实极化SAR图像的每类分别随机取若干个样本点，然后在该真实极化SAR图像所对应的标签图上选取与该样本点对应的真实标签y，作为有标签样本，用作有监督学习，最后，在该真实极化SAR图像上选取若干个无标记样本点，作为无标签样本，用作无监督学习；

(5c)，将假样本、有标签样本和无标签样本作为判别网络D的输入，采用轮流迭代的方式训练判别网络D和生成网络G；

步骤6)，测试并计算分类正确率：首先，将所有有标签样本点中除用作训练的样本点外，剩余的有标签样本点及其对应的真实标签y均输入到判别网络D中，得到每一个输入样本点对应的预测标签y'；然后，将该预测标签y'与真实标签y比较，计算出分类正确率。

2.根据权利要求1所述的基于全卷积GAN的半监督极化SAR地物分类方法，其特征在于，步骤3)中，生成网络G为一个包含四个反卷积层的卷积神经网络，该网络的第一层为卷积核尺寸为2×2，卷积步长为1，卷积核个数为100的反卷积层；第二层为卷积核尺寸为4×4，卷积步长为2，卷积核个数为25的反卷积层；第三层为卷积核尺寸为4×4，卷积步长为2，卷积核个数为6的反卷积层；第四层为卷积核尺寸为6×6，步长为2，卷积核个数为9的反卷积层。

3.根据权利要求1所述的基于全卷积GAN的半监督极化SAR地物分类方法，其特征在于，步骤4)中，判别网络D为一个包含三个卷积层和一个softmax层的卷积神经网络，该网络的第一层为卷积核尺寸3×3，卷积步长为1，卷积核个数为64的卷积层；第二层为卷积核尺寸为1×1，卷积步长为1，卷积核个数为64的卷积层；第三层为卷积核尺寸为1×1，卷积步长为1，卷积核个数为64的卷积层；第四层为softmax层。

4.根据权利要求1所述的基于全卷积GAN的半监督极化SAR地物分类方法，其特征在于，步骤5)的(5c)中，在训练判别网络D时，若输入样本是来自于生成网络G，则按照使以下公式最大化来优化：

其中，表示数学期望，x表示输入判别网络的数据样本点，G表示生成网络，log表示对数操作，p_model表示网络学习到的伪概率分布；y'表示判别网络D对一个输入样本点给出的预测标签，K表示待分类的极化SAR数据的类别数。

5.根据权利要求1所述的基于全卷积GAN的半监督极化SAR地物分类方法，其特征在于，步骤5)的(5c)中，在训练判别网络D时，若输入样本为有标签的样本，按照最小化以下公式来更新判别网络D的参数：

其中，表示有标签样本点的损失函数，表示数学期望，x表示输入判别网络的数据样本点，y表示有标签样本点所带的真实标签，log表示对数操作，y'表示判别网络D对一个输入样本点给出的预测标签，p_data(x)表示真实数据样本点服从的概率分布，p_model表示网络学到的伪概率分布，K表示待分类的极化SAR数据的类别数。

6.根据权利要求1所述的基于全卷积GAN的半监督极化SAR地物分类方法，其特征在于，步骤5)的(5c)中，在训练判别网络D时，若输入样本为无标签样本，按照最小化以下公式来更新判别网络D的参数：

其中，表示无标签样本点的损失函数，表示数学期望，x表示输入判别网络的数据样本点，y'表示判别网络D对一个输入样本点给出的预测标签，log表示对数操作，p_data(x)表示真实数据样本点服从的概率分布，p_model表示网络学到的伪概率分布，K表示待分类的极化SAR数据的类别数。

7.根据权利要求1所述的基于全卷积GAN的半监督极化SAR地物分类方法，其特征在于，步骤5)的(5c)中，在训练生成网络G时，按照使以下公式最小化来更新参数：

其中，表示数学期望，x表示输入判别网络的数据样本点，G表示生成网络，log表示对数操作，p_model表示网络学习到的伪概率分布，y'表示判别网络D对一个输入样本点给出的预测标签，K表示待分类的极化SAR数据的类别数。