CN109784401A - 一种基于acgan的极化sar图像分类方法 - Google Patents

Abstract

本发明公开了一种基于ACGAN的极化SAR图像分类方法，对极化散射矩阵进行Pauli分解，构建基于像素点的特征矩阵；然后将特征矩阵中的每个元素用其邻域的图像块进行替换，获取基于图像块的特征矩阵；再利用基于图像块的特征矩阵构造训练数据集，使用训练数据集对ACGAN网络模型进行训练，得到像素级的分类结果；最后将特征矩阵转化为RGB伪彩色图，利用SLIC超像素算法将图像划分为K个超像素区域；结合像素级分类结果和超像素块，优化最终分类结果。本发明充分利用了极化SAR数据的极化散射信息和空间邻域信息，并利用带有辅助分类器的生成对抗网络相互竞争对抗训练，使得分类器能更有效的提取分类特征，获得较高的分类精度。

Description

一种基于ACGAN的极化SAR图像分类方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于ACGAN(Auxiliary ClassifierGAN)的极化合成孔径雷达SAR(Synthetic Aperture Radar)图像分类方法，本发明可应用于极化SAR图像的地物分类和目标识别等任务。

背景技术

极化SAR是一种多参数、多通道的遥感成像***，具有全天时、全天候、分辨率高、大面积覆盖等优点，可获得目标更为丰富的信息，被广泛应用于遥感和地图测绘等领域。极化SAR地物分类是一种解译极化SAR数据的重要方式，通过利用机载或者星载极化SAR传感器获得的极化测量数据确定其中每一个像素点所属的地物类型，在林业、农业、军事和海洋等方面具有广泛的应用。

现有方法对地物分类结果图的区域一致性不好，噪声块较多，达不到很高的分类精度。并且由于未利用极化SAR数据的局部空间关联信息，分类结果精度不高。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于ACGAN的极化SAR图像分类方法，通过利用带有辅助分类器的生成对抗网络相互竞争对抗训练，充分利用极化SAR数据信息，使得分类器能更有效的提取分类特征，以解决现有技术中存在的图像分类准确率低的技术问题。

本发明采用以下技术方案：

一种基于ACGAN的极化SAR图像分类方法，对极化散射矩阵S进行Pauli分解，构建基于像素点的特征矩阵F；然后将特征矩阵F中的每个元素用其邻域的图像块进行替换，获取基于图像块的特征矩阵F1；再利用基于图像块的特征矩阵F1构造训练数据集T，使用训练数据集T对ACGAN网络模型进行训练，将数据集F1输入训练好的模型，得到像素级的分类结果；最后将特征矩阵F转化为RGB伪彩色图，利用SLIC超像素算法将图像划分为K个超像素区域；结合像素级分类结果和超像素块，优化最终分类结果。

具体的，基于像素点的特征矩阵F具体为：

其中，a为奇次散射系数，b为偶次散射系数，c为体散射系数，S_HH、S_VV为共极化分量，S_HV为交叉极化分量。

进一步的，构建基于像素点的特征矩阵F的步骤如下：

S101、设置Pauli基{S₁,S₂,S₃}；

S102、由Pauli分解定义得到S如下：

其中，S₁表示奇次散射，S₂表示偶次散射，S₃表示体散射；

S103、通过步骤S101和S102得到奇次散射系数a，偶次散射系数b，体散射系数c，将a、b、c作为极化SAR图像的三维图像特征矩阵F。

更进一步的，Pauli基{S₁,S₂,S₃}具体为：

具体的，特征矩阵F中的每个元素用其邻域28×28的图像块进行替换，获取基于图像块的特征矩阵F1。

具体的，利用基于图像块的特征矩阵F1构造训练数据集T的步骤如下：

S301、极化SAR图像地物共分为5类，取每一个像素周围28×28的图像块代表此像素点，该像素点的类标作为图像块的类标，分别存入对应的类别C1、C2、C3、C4、C5中；

S302、从步骤S301的C1、C2、C3、C4、C5中随机选取5％的像素点生成训练数据集T。

具体的，使用训练数据集T对ACGAN网络模型进行训练的步骤如下：

S401、设置ACGAN模型中的生成器G的结构如下：

100维的噪声与5维的标签数据连接成105维的数据作为输入，通过两个全连接层后进行维度转换成(7,7,128)的三维张量，再经过两个滤波器尺寸为3的反卷积层，输出层输出(28，28，3)大小的伪彩色图；

S402、设置ACGAN模型中的判别器D的结构如下：

输入一张(28，28，3)的样本数据，经过两个滤波器尺寸为3的卷积层，再通过两个全连接层后，输出1维的结果；

S403、设置ACGAN模型中的辅助分类器C的结构如下：

将判别器中第一全连接的输出作为辅助分类器的输入，通过两个全连接层后，输出5维的结果；

S404、向ACGAN模型的生成器G中输入100维的均匀噪声，将训练数据集T及生成器G的输出分别输入到ACGAN模型的判别器D中；通过生成器G和判别器D相互竞争对抗学习训练，生成器学得训练样本数据的分布，判别器分辨输入真假，辅助分类器完成判别器输入样本的类别分类。

具体的，利用SLIC超像素算法将图像划分为K个超像素区域的步骤如下：

S601、按照预先设定的超像素个数K，在图像内均匀的生成K个种子点，假设图片共有N个像素点，相邻种子点的距离近似为

S602、在每个种子点周围2s×2s邻域内搜索距离该种子点最近的若干像素，将他们与该种子点归为同一类，计算这K个超像素区域内所有像素点的平均向量值，将其作为新的聚类中心；

S603、重复步骤S601和S602直到误差收敛，即每个超像素区域的聚类中心不再变化为止。

进一步的，步骤S601中，求解种子点在3×3的邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方。

具体的，结合像素级分类结果和超像素区域，在每个超像素区域内采用多数投票准则，该区域内出现次数最多的标签极为整个超像素区域的标签，输出最终的分类结果。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于ACGAN的极化SAR图像分类方法，首先通过构建基于图像块的极化SAR图像特征，有效的利用了该像素点及其空间邻域信息；再利用ACGAN模型和超像素的方法，提高图像特征的表示能力，消除区域内错分的孤立点，能够获得较高的分类精度，可以应用于极化合成孔径雷达SAR图像地物分类。

进一步的，利用Pauli分解系数构建特征矩阵的优点在于，Pauli基作为完备正交基，具有一定的抗噪性，即使在有噪声或去极化效应的情况下，仍能用它进行分解得到分解系数。

进一步的，特征矩阵F中的每个元素用其邻域28×28的图像块进行替换可以充分利用了该像素点及其空间邻域信息，加强极化SAR数据的局部空间关联性。

进一步的，构造训练数据集T时采用随机选取5％的样本，可以提高训练样本的代表性，有利于训练模型学到数据的全面特征。

进一步的，使用训练数据集T对ACGAN网络模型进行训练，通过生成器G和判别器D相互竞争对抗学习训练，提高模型的特征提取能力，生成器学得训练样本数据的分布，判别器分辨输入真假，辅助分类器完成判别器输入样本的类别分类。

进一步的，利用SLIC超像素算法将图像划分为K个超像素区域，可以获得较为紧凑且有规则的超像素块，每个超像素块具有更直观的邻域特征表达。

进一步的，在每个超像素区域内采用多数投票准则优化分类结果，充分考虑像素邻域的分类结果，可以有效降低分类结果噪声点的数量，消除区域内错分的孤立点，提高区域一致性。

综上所述，本发明将极化SAR数据的像素级特征扩展为图像块特征，充分利用了极化SAR数据的极化散射信息和空间邻域信息，并通过利用带有辅助分类器的生成对抗网络相互竞争对抗训练，使得分类器能更有效的提取分类特征，获得较高的分类精度。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的流程示意图；

图2为本发明中对待分类图像的人工标记图；

图3为用本发明对待分类图像的分类结果图。

具体实施方式

本发明提供了一种基于ACGAN的极化SAR图像分类方法，对极化散射矩阵S进行Pauli分解，构建基于像素点的特征矩阵F；然后将特征矩阵F中的每个元素用其邻域的图像块进行替换，获取基于图像块的特征矩阵F1；再利用基于图像块的特征矩阵F1构造训练数据集T，使用训练数据集T对ACGAN网络模型进行训练，将数据集F1输入训练好的模型，得到像素级的分类结果；然后将特征矩阵F转化为RGB伪彩色图，利用SLIC超像素算法将图像划分为K个超像素区域；结合像素级分类结果和超像素块，优化最终分类结果。本方法通过利用带有辅助分类器的生成对抗网络相互竞争对抗训练，使得分类器能更有效的提取分类特征，实现极化SAR图像的地物分类，并且区域一致性好，分类精度较高。

请参阅图1，本发明一种基于ACGAN的极化SAR图像分类方法，包括以下步骤：

S1、输入一幅待分类的极化SAR图像，对极化散射矩阵S进行Pauli分解，得到奇次散射系数、偶次散射系数和体散射系数，再将奇次散射、偶次散射和体散射系数作为极化SAR图像的三维图像特征构建基于像素点的特征矩阵F；

S101、设置Pauli基{S₁,S₂,S₃}为如下公式(1)：

其中，S₁表示奇次散射，S₂表示偶次散射，S₃表示体散射；

S102、由Pauli分解定义得到如下公式(2)：

其中，a表示奇次散射系数，b表示偶次散射系数，c表示体散射系数；

S103、通过式(1)和式(2)，得到奇次散射系数a，偶次散射系数b，体散射系数c，将a、b、c作为极化SAR图像的三维图像特征矩阵F，具体如下：

S2、将特征矩阵F中的每个元素用其邻域28×28的图像块进行替换，获取基于图像块的特征矩阵F1；

S3、利用基于图像块的特征矩阵F1构造训练数据集T；

S301、极化SAR图像地物共分为5类，取每一个像素周围28×28的图像块代表此像素点，该像素点的类标作为图像块的类标，分别存入对应的类别C1、C2、C3、C4、C5中；

S302、从上述C1、C2、C3、C4、C5中随机选取5％的像素点生成训练数据集T；

S4、使用训练数据集T对ACGAN网络模型进行训练，得到训练好的模型；

S401、设置ACGAN模型中的生成器G的结构如下：

100维的噪声与5维的标签数据连接成105维的数据作为输入，通过两个全连接层后进行维度转换成(7,7,128)的三维张量，再经过两个滤波器尺寸为3的反卷积层，输出层输出(28，28，3)大小的伪彩色图；

S402、设置ACGAN模型中的判别器D的结构如下：

输入一张(28，28，3)的样本数据，经过两个滤波器尺寸为3的卷积层，再通过两个全连接层后，输出1维的结果；

S403、设置ACGAN模型中的辅助分类器C的结构如下：

将判别器中第一全连接的输出作为辅助分类器的输入，通过两个全连接层后，输出5维的结果；

S404、向ACGAN模型的生成器G中输入100维的均匀噪声，将训练数据集T及生成器G的输出分别输入到ACGAN模型的判别器D中；通过生成器G和判别器D相互竞争对抗学习训练，生成器学得训练样本数据的分布，判别器分辨输入真假，辅助分类器完成判别器输入样本的类别分类；

S5、将步骤S2中构造的数据集F1输入训练好的模型，得到像素级的分类结果；

S6、将步骤S1中基于像素点的特征矩阵F转化为RGB伪彩色图，利用SLIC超像素算法将图像划分为K个超像素区域；

S601、按照预先设定的超像素个数K，在图像内均匀的生成K个种子点。假设图片共有N个像素点，那么相邻种子点的距离近似为

为了不让种子点散落在分割的边界，求解其在3×3的邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方；

S602、在每个种子点周围2s×2s邻域内搜索距离该种子点最近的若干像素，将他们与该种子点归为同一类。计算这K个超像素区域内所有像素点的平均向量值，将其作为新的聚类中心；

S603、重复上诉步骤直到误差收敛，即每个超像素区域的聚类中心不再变化为止；

S7、结合步骤S5的像素级分类结果和步骤S6的超像素区域，在每个超像素区域内采用多数投票准则，该区域内出现次数最多的标签极为整个超像素区域的标签，输出最终的分类结果。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

仿真条件

硬件平台为HP Z840；软件平台为：TensorFlow；

仿真实验内容与结果分析

图2为本发明仿真采用的极化合成孔径雷达SAR图像的人工标记图，图3为用本发明方法在上述仿真条件下进行分类的结果图，图像的尺寸大小均为1800×1380。本发明的仿真实验将从待分类的极化SAR图像数据的每一个类别中随机选5％的像素点作为训练样本，输入ACGAN网络进行模型训练，再将所有的样本送入训练好的模型得到如图3的分类结果。极化SAR图像共分类5类，从图3可以看出，分类结果的区域一致性较好，噪声点比较少，不同区域间的边界较为清晰。

将本发明与卷积神经网络CNN的分类精度对比如下表所示：

方法	卷积神经网络	本方法
			类别1(％)	99.9787	99.9977
类别2(％)	94.1645	99.0419
			类别3(％)	89.7275	99.5692
类别4(％)	95.5263	99.5576
			类别5(％)	96.1078	99.6886
总准确率(％)	95.4496	99.7057

综上所述，本发明首先通过构建基于图像块的极化SAR图像特征，有效的利用了该像素点及其空间邻域信息，再使用ACGAN模型和超像素的方法，提高图像特征的表示能力，结果表明本发明可以有效的解决极化合成孔径雷达SAR图像的地物分类问题。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于ACGAN的极化SAR图像分类方法，其特征在于，对极化散射矩阵S进行Pauli分解，构建基于像素点的特征矩阵F；然后将特征矩阵F中的每个元素用其邻域的图像块进行替换，获取基于图像块的特征矩阵F1；再利用基于图像块的特征矩阵F1构造训练数据集T，使用训练数据集T对ACGAN网络模型进行训练，将数据集F1输入训练好的模型，得到像素级的分类结果；最后将特征矩阵F转化为RGB伪彩色图，利用SLIC超像素算法将图像划分为K个超像素区域；结合像素级分类结果和超像素块，优化最终分类结果。

2.根据权利要求1所述的基于ACGAN的极化SAR图像分类方法，其特征在于，基于像素点的特征矩阵F具体为：

其中，a为奇次散射系数，b为偶次散射系数，c为体散射系数，S_HH、S_VV为共极化分量，S_HV为交叉极化分量。

3.根据权利要求2所述的基于ACGAN的极化SAR图像分类方法，其特征在于，构建基于像素点的特征矩阵F的步骤如下：

S101、设置Pauli基{S₁,S₂,S₃}；

S102、由Pauli分解定义得到S如下：

其中，S₁表示奇次散射，S₂表示偶次散射，S₃表示体散射；

S103、通过步骤S101和S102得到奇次散射系数a，偶次散射系数b，体散射系数c，将a、b、c作为极化SAR图像的三维图像特征矩阵F。

4.根据权利要求3所述的基于ACGAN的极化SAR图像分类方法，其特征在于，Pauli基{S₁,S₂,S₃}具体为：

5.根据权利要求1所述的基于ACGAN的极化SAR图像分类方法，其特征在于，特征矩阵F中的每个元素用其邻域28×28的图像块进行替换，获取基于图像块的特征矩阵F1。

6.根据权利要求1所述的基于ACGAN的极化SAR图像分类方法，其特征在于，利用基于图像块的特征矩阵F1构造训练数据集T的步骤如下：

S301、极化SAR图像地物共分为5类，取每一个像素周围28×28的图像块代表此像素点，该像素点的类标作为图像块的类标，分别存入对应的类别C1、C2、C3、C4、C5中；

S302、从步骤S301的C1、C2、C3、C4、C5中随机选取5％的像素点生成训练数据集T。

7.根据权利要求1所述的基于ACGAN的极化SAR图像分类方法，其特征在于，使用训练数据集T对ACGAN网络模型进行训练的步骤如下：

S401、设置ACGAN模型中的生成器G的结构如下：

100维的噪声与5维的标签数据连接成105维的数据作为输入，通过两个全连接层后进行维度转换成(7,7,128)的三维张量，再经过两个滤波器尺寸为3的反卷积层，输出层输出(28，28，3)大小的伪彩色图；

S402、设置ACGAN模型中的判别器D的结构如下：

输入一张(28，28，3)的样本数据，经过两个滤波器尺寸为3的卷积层，再通过两个全连接层后，输出1维的结果；

S403、设置ACGAN模型中的辅助分类器C的结构如下：

将判别器中第一全连接的输出作为辅助分类器的输入，通过两个全连接层后，输出5维的结果；

S404、向ACGAN模型的生成器G中输入100维的均匀噪声，将训练数据集T及生成器G的输出分别输入到ACGAN模型的判别器D中；通过生成器G和判别器D相互竞争对抗学习训练，生成器学得训练样本数据的分布，判别器分辨输入真假，辅助分类器完成判别器输入样本的类别分类。

8.根据权利要求1所述的基于ACGAN的极化SAR图像分类方法，其特征在于，利用SLIC超像素算法将图像划分为K个超像素区域的步骤如下：

S601、按照预先设定的超像素个数K，在图像内均匀的生成K个种子点，假设图片共有N个像素点，相邻种子点的距离近似为

S602、在每个种子点周围2s×2s邻域内搜索距离该种子点最近的若干像素，将他们与该种子点归为同一类，计算这K个超像素区域内所有像素点的平均向量值，将其作为新的聚类中心；

S603、重复步骤S601和S602直到误差收敛，即每个超像素区域的聚类中心不再变化为止。

9.根据权利要求8所述的基于ACGAN的极化SAR图像分类方法，其特征在于，步骤S601中，求解种子点在3×3的邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方。

10.根据权利要求1所述的基于ACGAN的极化SAR图像分类方法，其特征在于，结合像素级分类结果和超像素区域，在每个超像素区域内采用多数投票准则，该区域内出现次数最多的标签极为整个超像素区域的标签，输出最终的分类结果。