CN107944483B - 基于双通道dcgan和特征融合的多光谱图像分类方法 - Google Patents

基于双通道dcgan和特征融合的多光谱图像分类方法 Download PDF

Info

Publication number
CN107944483B
CN107944483B CN201711144187.2A CN201711144187A CN107944483B CN 107944483 B CN107944483 B CN 107944483B CN 201711144187 A CN201711144187 A CN 201711144187A CN 107944483 B CN107944483 B CN 107944483B
Authority
CN
China
Prior art keywords
network
image
layer
channel
dcgan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711144187.2A
Other languages
English (en)
Other versions
CN107944483A (zh
Inventor
焦李成
屈嵘
汶茂宁
马文萍
杨淑媛
侯彪
刘芳
陈璞花
古晶
张丹
唐旭
马晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201711144187.2A priority Critical patent/CN107944483B/zh
Publication of CN107944483A publication Critical patent/CN107944483A/zh
Application granted granted Critical
Publication of CN107944483B publication Critical patent/CN107944483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双通道深度卷积生成式对抗网DCGAN和特征融合的多光谱图像分类方法方法，其具体步骤是：输入多光谱图像；对每一幅多光谱图像的每个波段的图像归一化处理；获得多光谱图像矩阵；获取数据集；搭建双通道深度卷积生成式对抗网络DCGAN模型；训练双通道深度卷积生成式对抗网络DCGAN分类模型；对测试数据集进行分类。本发明引入了双通道生成式对抗网，结合特征融和，提取了多方向、多光谱的多种高层特征信息，增强了特征表征能力，提升了分类效果。

Description

基于双通道DCGAN和特征融合的多光谱图像分类方法
技术领域
本发明属于图像处理技术领域，更进一步涉及多光谱图像分类技术领域中的一种基于双通道生成式对抗网络DCGAN(Deep Convolutional Generative AdversarialNetworks)和特征融合的多光谱图像分类方法。本发明可用于将多光谱图像中包括水域、田地、城市等的地物进行分类。
背景技术
多光谱图像属于遥感图像的一种，它是由多个波段对同一目标进行反复拍摄而得道的图像。多光谱图像的应用价值越来越广泛，比如在航空、航天对地检测，大地测绘、灾害检测等等领域。图像分类是多光谱图像研究内容中重要的一个方向。多光谱图像的传统分类方法有很多，但是大多数方法需要针根据图像本身的特点进行人为的设计提取特征信息，比如支持向量机、决策树等等。近些年来，深度学习，比如卷积神经网络，在图像处理领域表现出了其强大效的特征表征能力，减少了人为设计提取特征的不确定性。
李亚坤等人在其发表的论文“基于纹理特征MNF变换的多光谱遥感影像分类”(《兵器装备工程学报》,2017,38(2):113-117)中提出了一种基于纹理特征最小噪声分离MNF(Minimum Noise Fraction)变换的多光谱遥感影像分类方法。该方法利用灰度共生矩阵进行特征提取，再对所提取的特征进行最小噪声分离MNF变换，将最小噪声分离MNF分量与光谱信息协同进行分类。该方法利用灰度共生矩阵提取特征，虽然能得到较好的分类结果。但是，该方法仍然存在的不足之处是，该方法的特征提取设计依靠人为经验，复杂并且耗时，并且特征的组合通常不适用于像素对比度不明显的场景。
攀枝花学院在其申请的专利文献“基于张量稀疏表示及聚类的多光谱遥感图像分类方法”(专利申请号：201710329412.3，公开号:107067040A)中提出了一种基于张量稀疏表示及聚类的多光谱遥感图像分类方法。该方法利用无监督聚类方法中的聚类算法将多光谱遥感图像划分为不同的组；将各组中的多光谱图像由三维形式转化为二维的矩阵；对所述二维的矩阵进行字典学习，获得能够用于各组多光谱遥感图像进行稀疏表示的字典、稀疏表示系数、每一种地物的标记；对获得的稀疏表示系数及标记进行训练，获得最优的分类器；对多光谱遥感图像的像素，根据其稀疏表示系数，利用获得的分类器，对其进行分类。该方法虽然用聚类的方法将多光谱遥感图像分为不同的组，再对各组数据稀疏表示，得到最后的分类结果。但是，该方法仍然存在的不足之处是，计算过程繁琐，使用无监督聚类方法，存在同物异谱及异物同谱现象，影响分类结果。
发明内容
本发明的目的在于克服上述已有技术的不足，提出了一种基于双通道深度卷积生成式对抗网(DCGAN)与特征融合的多光谱图像分类方法，本发明利用生成式对抗网提取特征并且将两个卫星提取的特征融合，以提高分类精度。
为实现上述目的，本发明的具体步骤如下：
(1)输入多光谱图像：
输入由两个不同卫星拍摄成像的五个地区的多光谱图像，每个地区包含两个多光谱图像，第一幅多光谱图像包含10个波段的图像，第二幅多光谱图像包含9个波段的图像：
(2)对每一幅多光谱图像的每个波段的图像归一化处理：
(3)获得多光谱图像矩阵：
(3a)将第一幅多光谱图像中不同波段图像归一化后的图像堆叠在一起，得到大小为W1 i×H1 i×10的五个地区的多光谱图像矩阵，i＝1,2,3,4,5；
(3b)将第二幅多光谱图像中不同波段图像归一化后的图像堆叠在一起，得到大小为W2 i×H2 i×9的五个地区的多光谱图像矩阵，i＝1,2,3,4,5；
(4)获取数据集：
(4a)从前四个地区的第一幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将四个多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×10的图像像素块，从图像像素块中随机选取10％的像素块，组成训练数据集D1，再从图像像素块中随机选取50％的像素块，组成另一个训练数据集D1′；
(4b)从前四个地区的第二幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将四个多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×9的图像像素块，从图像像素块中随机选取10％的像素块，组成训练数据集D2，再从图像像素块中随机选取50％的像素块，组成另一个训练数据集D2′；
(4c)从第五个地区的第一幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将该多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×10图像像素块，将所有图像像素块组成测试数据集V1；
(4d)从第五个地区的第二幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将该多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×9的图像像素块，将所有图像像素块组成测试数据集V2；
(5)搭建双通道深度卷积生成式对抗网络DCGAN模型：
(5a)搭建第一通道深度卷积生成式对抗网络DCGAN，该网络由6层的生成网络和5层的判别网络组成；
(5b)搭建第二通道深度卷积生成式对抗网络DCGAN，该网络由6层的生成网络和5层的判别网络组成；
(5c)将第一通道中判别网络提取的特征图向量化，将第二通道中判别网络提取的特征图向量化，融合两个向量化的特征向量，组成双通道深度卷积生成式对抗网络DCGAN模型的特征融合层；
(5d)在特征融合层之后连接一个Softmax层，得到双通道深度卷积生成式对抗网络DCGAN模型；
(6)训练双通道深度卷积生成式对抗网络DCGAN分类模型：
(6a)将训练数据集D1′输入到第一通道深度卷积生成式对抗网络DCGAN网络中，利用无监督训练方法，训练该网络；
(6b)将训练数据集D2′输入到第二通道深度卷积生成式对抗网络DCGAN网络中，采用与训练第一通道网络相同的训练方式，训练第二通道深度卷积生成式对抗网络DCGAN网络；
(6c)将训练数据集D1输入到训练好的第一通道网络的判别网络中，提取训练数据集D1的特征S1，将训练数据集D2输入到训练好的第二通道网络的判别网络中，提取训练数据集D2的特征S2，将特征S1与特征S2特征融合后输入到双通道深度卷积生成式对抗网络DCGAN网络中的Softmax层，进行有监督训练200次，得到训练好的双通道深度卷积生成式对抗网络DCGAN分类模型；
(7)对测试数据集进行分类：
(7a)将测试数据集V1，输入到训练好的双通道深度卷积生成式对抗网络DCGAN网络的第一通道的判别网络中，提取测试数据集V1的特征C1；
(7b)将测试数据集V2输入到第二通道的判别网络中，提取测试数据集V2的特征C2；
(7c)将特征C1与特征C2融合后，输入到双通道深度卷积生成式对抗网络DCGAN网络的softmax层，得到最终的分类结果。
本发明与现有的技术相比具有以下优点：
第一，由于本发明中搭建双通道深度卷积生成式对抗网络DCGAN模型，利用该模型中的判别网络提取多光谱图像的特征，是一种自学习的特征提取方法，克服了现有技术人为设计提取特征的不确定性的缺点，本发明的特征提取方法没有针对性，可以用于对非确定的多光谱图像的特征提取，从而具有适用性更广的优点。
第二，由于本发明中搭建双通道深度卷积生成式对抗网络DCGAN模型，构建的双通道网络中不同的网络通道学习不同卫星的特征信息，再进行特征融合，这样学习的特征信息丰富，克服了人为设计特征提取步骤的繁琐且特征信息少的缺点，提取到的特征具有多方向、多光谱的多种高层特征信息的优点。
第三，由于本发明中训练双通道深度卷积生成式对抗网络DCGAN分类模型时采用无监督和有监督的训练方法，对图像数据的标注要求比较低，并且克服了只有无监督学习的不确定性的缺点，提高了分类精度。
附图说明
图1为本发明的实现流程图；
图2为本发明中对待分类图像的人工标记图；
图3为用本发明对待分类图像的分类结果图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照附图1，对本发明的实现的步骤详细描述如下。
步骤1，输入多光谱图像。
输入由两个不同卫星拍摄成像的五个地区的多光谱图像，卫星一是Sentinel-2卫星，卫星二是landsat-8卫星，五个地区分别是berlin，hong_kong，paris，rome，Sao Paulo，每个地区包含两个多光谱图像，第一幅多光谱图像包含10个波段的图像，第二幅多光谱图像包含9个波段的图像。
步骤2，对每一幅多光谱图像的每个波段的图像归一化处理。
所述归一化处理的步骤如下：
第1步，用第一幅多光谱图像中每个波段的图像中的每个像素值除以该波段图像的像素最大值，得到该波段图像归一化后的像素值，将归一化后像素值小于0时的像素值设置为0，其他像素值不变，得到第一幅多光谱图像中10个波段图像归一化后的图像。
第2步，用第二幅多光谱图中每个波段的图像的每个像素值除以该波段图像的像素最大值，得到该波段图像归一化后的像素值，将归一化后像素值小于0时的像素值设置为0，其他归一化后的像素值不变，得到第二幅多光谱图像中9个波段图像归一化后的图像。
步骤3，获得多光谱图像矩阵。
将第一幅多光谱图像中不同波段图像归一化后的图像堆叠在一起，得到大小为W1 i×H1 i×10的五个地区的多光谱图像矩阵，i＝1,2,3,4,5。
将第二幅多光谱图像中不同波段图像归一化后的图像堆叠在一起，得到大小为W2 i×H2 i×9的五个地区的多光谱图像矩阵，i＝1,2,3,4,5。
步骤4，获取数据集。
从前四个地区的第二幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将四个多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×9的图像像素块，从图像像素块中随机选取10％的像素块，组成训练数据集D2，再从图像像素块中随机选取50％的像素块，组成另一个训练数据集D2′。
从第五个地区的第一幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将该多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×10图像像素块，将所有图像像素块组成测试数据集V1。
从第五个地区的第二幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将该多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×9的图像像素块，将所有图像像素块组成测试数据集V2。
步骤5，搭建双通道深度卷积生成式对抗网络DCGAN模型。
搭建第一通道深度卷积生成式对抗网络DCGAN，该网络由6层的生成网络和5层的判别网络组成。
所述6层的生成网络的结构和参数如下：
第一层为噪声层，输入的是一个大小为100维的高斯向量；
第二层为映射层，该映射层是由噪声层的100维向量进行映射得到的，其大小为4×4×512；
第三层为微步幅卷积层，设置卷积核数量为256，卷积核窗口大小为5×5，步长为2，输出256个特征图；
第四层为微步幅卷积层，设置卷积核数量为128，卷积核窗口大小为5×5，步长为2，输出128个特征图；
第五层为微步幅卷积层，设置卷积核数量为64，卷积核窗口大小为5×5，步长为2，输出64个特征图；
第六层为微步幅卷积层，设置卷积核数量为10，卷积核窗口大小为5×5，步长为2，输出10个特征图。
每次的微步幅卷积层将特征图大小变为原来的两倍。
所述5层的判别网络的结构和参数如下：
第一层为输入层，输入训练数据集；
第二层为卷积层，设置卷积核数量为64，卷积核窗口大小为5×5，步长为2,输出64个特征图；
第三层为卷积层，设置卷积核数量为128，卷积核窗口大小为5×5，步长为2,输出128个特征图；
第四层为卷积层，设置卷积核数量为256，卷积核窗口大小为5×5，步长为2,输出256个特征图；
第五层为卷积层，设置卷积核数量为512，卷积核窗口大小为5×5，步长为2,输出512个特征图。
每次的积层将特征图大小变为原来的二分之一。
搭建第二通道深度卷积生成式对抗网络DCGAN，该网络由6层的生成网络和5层的判别网络组成。
所述第二通道深度卷积生成式对抗网络DCGAN中6层的生成网络和5层的判别网络，生成网络中前5层结构与第一个通道DCGAN中的生成网络的前5层结构和参数相同，最后一层的微步幅卷积层的卷积核数量设定为9，卷积核窗口大小为5×5，步长为2；判别网络中的每一层结构和参数与第一个通道DCGAN中的判别网络的每一层结构和参数相同。
将第一通道中判别网络提取的特征图向量化，将第二通道中判别网络提取的特征图向量化，融合两个向量化的特征向量，组成双通道深度卷积生成式对抗网络DCGAN模型的特征融合层。
在特征融合层之后连接一个Softmax层，得到双通道深度卷积生成式对抗网络DCGAN模型。
步骤6，训练双通道深度卷积生成式对抗网络DCGAN分类模型。
将训练数据集D1′输入到第一通道深度卷积生成式对抗网络DCGAN网络中，利用无监督训练方法，训练该网络。
所述无监督训练方法的步骤如下：
第一步，用训练数据集D1′，无监督训练第一通道深度卷积生成式对抗网络DCGAN网络中的判别网络。
第二步，用高斯噪声无监督训练第一通道深度卷积生成式对抗网络DCGAN网络的中的生成网络，将生成网络的输出图像输入到判别网络中，再训练判别网络。
第三步，将经第二步训练后的判别网络与第二步训练后的生成网络进行交替迭代训练，训练时，固定一方，更新另一方的网络权重，交替迭代，在这个过程中，生成网络尽可能生成真的图像，而判别网络尽可能识别出图像的真假，从而形成竞争对抗，如此交替迭代训练达到设定的500次后，双方达到一个动态的平衡，得到训练好的第一通道网络。
将训练数据集D2′输入训练第二通道深度卷积生成式对抗网络DCGAN网络中，采用与训练第一通道网络相同的训练方式，训练第二通道深度卷积生成式对抗网络DCGAN网络。
将训练数据集D1输入到训练好的第一通道网络的判别网络中，提取训练数据集D1的特征S1，将训练数据集D2输入到训练好的第二通道网络的判别网络中，提取训练数据集D2的特征S2，将特征S1与特征S2特征融合后输入到双通道深度卷积生成式对抗网络DCGAN网络中的Softmax层，进行有监督训练200次，得到训练好的双通道深度卷积生成式对抗网络DCGAN分类模型。
步骤7，对测试数据集进行分类。
将测试数据集V1，输入到训练好的双通道深度卷积生成式对抗网络DCGAN网络的第一通道的判别网络中，提取测试数据集V1的特征C1。
将测试数据集V2输入到第二通道的判别网络中，提取测试数据集V2的特征C2。
将特征C1与特征C2融合后，输入到双通道深度卷积生成式对抗网络DCGAN网络的softmax层，得到最终的分类结果。
本发明的效果可以通过以下仿真实验进一步说明：
1.仿真条件：
本发明的仿真是在惠普Z840、内存8GB的硬件环境和Matlab2014Ra、TensorFlow的软件环境下进行的。
2.仿真内容：
本发明的仿真实验是将卫星sentinel_2和卫星landsat_8分别拍摄成像的柏林berlin，香港hong_kong，巴黎paris，罗马rome四个地区的多光谱图像数据，作为训练数据集训练双通道深度卷积生成式对抗网络，将圣保罗sao_paulo5地区的多光谱图像数据作为测试数据集，进行17类地物分类。
图2为圣保罗sao_paulo5地区的真实地物标记图，地物类别包括密集型高层建筑、密集型中层建筑、密集型低层建筑、开放式高层建筑、开放式中层建筑、开放式低层建筑、大型低层建筑、稀疏分布的建筑、重工业区、茂密的森林、零散树木、灌木丛和矮树、低矮的植被、裸露的岩石、裸露的土壤和沙土、水。
图3是利用本发明的方法对圣保罗sao_paulo5地区的多光谱图像进行分类得到的结果图。
对图3本发明得到的分类像素与图2中的真实地物标记像素进行对比，可以看出，采用本发明的方法得到的分类结果准确率较高。
本发明仿真实验：仿真1和仿真2，用现有技术的DCGAN分类方法对卫星sentinel_2拍摄成像的圣保罗sao_paulo5地区的多光谱图像和卫星landsat_8拍摄成像的圣保罗sao_paulo5地区的多光谱图像进行分类。仿真3，用本发明对卫星sentinel_2成像圣保罗sao_paulo5地区的多光谱图像和卫星landsat_8成像圣保罗sao_paulo5地区的多光谱图像进行分类，结果如图3，三种仿真方法得到的分类准确率对比结果如表1。
3.仿真效果分析：
表1是三种方法在仿真中得到的分类准确率对比，从表1可见，本发明将两个卫星拍摄得到的多光谱图像数据输入到双通道深度卷积生成式对抗网络进行提取特征，相比单通道网络处理单一卫星拍摄的多光谱图像数据输入到单通道网络中，分类精度提高。
表1仿真中三种方法得到的分类准确率一览表
仿真方法 分类准确率
本发明分类方法 62.872％
单通道DCGAN网络(sentinel_2数据) 55.635％
单通道DCGAN网络(landsat_8数据) 54.143％
综上所述，本发明引入了双通道生成式对抗网，结合特征融和，提取了多方向、多光谱的多种高层特征信息，增强了多光谱图像的特征表征能力，提升了分类效果。

Claims (6)

1.一种基于双通道深度卷积生成式对抗网DCGAN和特征融合的多光谱图像分类方法，其特征在于，包括如下步骤：
(1)输入多光谱图像：
输入由两个不同卫星拍摄成像的五个地区的多光谱图像，每个地区包含两个多光谱图像，第一幅多光谱图像包含10个波段的图像，第二幅多光谱图像包含9个波段的图像：
(2)对每一幅多光谱图像的每个波段的图像归一化处理：
(3)获得多光谱图像矩阵：
(3a)将第一幅多光谱图像中不同波段图像归一化后的图像堆叠在一起，得到大小为W1 i×H1 i×10的五个地区的多光谱图像矩阵，i＝1,2,3,4,5；
(3b)将第二幅多光谱图像中不同波段图像归一化后的图像堆叠在一起，得到大小为W2 i×H2 i×9的五个地区的多光谱图像矩阵，i＝1,2,3,4,5；
(4)获取数据集：
(4a)从前四个地区的第一幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将四个多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×10的图像像素块，从图像像素块中随机选取10％的像素块，组成训练数据集D1，再从图像像素块中随机选取50％的像素块，组成另一个训练数据集D1′；
(4b)从前四个地区的第二幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将四个多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×9的图像像素块，从图像像素块中随机选取10％的像素块，组成训练数据集D2，再从图像像素块中随机选取50％的像素块，组成另一个训练数据集D2′；
(4c)从第五个地区的第一幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将该多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×10图像像素块，将所有图像像素块组成测试数据集V1；
(4d)从第五个地区的第二幅多光谱图像矩阵中选取有类标的像素，用64×64像素大小的滑窗，将该多光谱图像矩阵中有类标的每类像素，分割成大小为64×64×9的图像像素块，将所有图像像素块组成测试数据集V2；
(5)搭建双通道深度卷积生成式对抗网络DCGAN模型：
(5a)搭建第一通道深度卷积生成式对抗网络DCGAN，该网络由6层的生成网络和5层的判别网络组成；
(5b)搭建第二通道深度卷积生成式对抗网络DCGAN，该网络由6层的生成网络和5层的判别网络组成；
(5c)将第一通道中判别网络提取的特征图向量化，将第二通道中判别网络提取的特征图向量化，融合两个向量化的特征向量，组成双通道深度卷积生成式对抗网络DCGAN模型的特征融合层；
(5d)在特征融合层之后连接一个Softmax层，得到双通道深度卷积生成式对抗网络DCGAN模型；
(6)训练双通道深度卷积生成式对抗网络DCGAN分类模型：
(6a)将训练数据集D1′输入到第一通道深度卷积生成式对抗网络DCGAN网络中，利用无监督训练方法，训练该网络；
(6b)将训练数据集D2′输入到第二通道深度卷积生成式对抗网络DCGAN网络中，采用与训练第一通道网络相同的训练方式，训练第二通道深度卷积生成式对抗网络DCGAN网络；
(6c)将训练数据集D1输入到训练好的第一通道网络的判别网络中，提取训练数据集D1的特征S1，将训练数据集D2输入到训练好的第二通道网络的判别网络中，提取训练数据集D2的特征S2，将特征S1与特征S2特征融合后输入到双通道深度卷积生成式对抗网络DCGAN网络中的Softmax层，进行有监督训练200次，得到训练好的双通道深度卷积生成式对抗网络DCGAN分类模型；
(7)对测试数据集进行分类：
(7a)将测试数据集V1，输入到训练好的双通道深度卷积生成式对抗网络DCGAN网络的第一通道的判别网络中，提取测试数据集V1的特征C1；
(7b)将测试数据集V2输入到第二通道的判别网络中，提取测试数据集V2的特征C2；
(7c)将特征C1与特征C2融合后，输入到双通道深度卷积生成式对抗网络DCGAN网络的softmax层，得到最终的分类结果。
2.根据权利要求1所述的基于双通道深度卷积生成式对抗网DCGAN和特征融合的多光谱图像分类方法，其特征在于，步骤(2)中所述归一化处理的步骤如下：
第1步，用第一幅多光谱图像中每个波段的图像中的每个像素值除以该波段图像的像素最大值，得到该波段图像归一化后的像素值，将归一化后像素值小于0的像素值设置为0，其他像素值不变，得到第一幅多光谱图像中10个波段图像归一化后的图像；
第2步，用第二幅多光谱图中每个波段的图像的每个像素值除以该波段图像的像素最大值，得到该波段图像归一化后的像素值，将归一化后像素值小于0的像素值设置为0，其他归一化后的像素值不变，得到第二幅多光谱图像中9个波段图像归一化后的图像。
3.根据权利要求1所述的基于双通道深度卷积生成式对抗网DCGAN和特征融合的多光谱图像分类方法，其特征在于，步骤(5a)中所述第一通道深度卷积生成式对抗网络DCGAN中的6层生成网络的结构及其参数如下：
第一层为噪声层，输入的是一个大小为100维的高斯向量；
第二层为映射层，该映射层是由噪声层的100维向量进行映射得到的，其大小为4×4×512；
第三层为微步幅卷积层，设置卷积核数量为256，卷积核窗口大小为5×5，步长为2，输出256个特征图；
第四层为微步幅卷积层，设置卷积核数量为128，卷积核窗口大小为5×5，步长为2,输出128个特征图；
第五层为微步幅卷积层，设置卷积核数量为64，卷积核窗口大小为5×5，步长为2,输出64个特征图；
第六层为微步幅卷积层，设置卷积核数量为10，卷积核窗口大小为5×5，步长为2,输出10个特征图。
4.根据权利要求1所述的基于双通道深度卷积生成式对抗网DCGAN和特征融合的多光谱图像分类方法，其特征在于，步骤(5a)中所述第一通道深度卷积生成式对抗网络DCGAN中的5层的判别网络的结构和参数如下：
第一层为输入层，输入训练数据集；
第二层为卷积层，设置卷积核数量为64，卷积核窗口大小为5×5，步长为2,输出64个特征图；
第三层为卷积层，设置卷积核数量为128，卷积核窗口大小为5×5，步长为2,输出128个特征图；
第四层为卷积层，设置卷积核数量为256，卷积核窗口大小为5×5，步长为2,输出256个特征图；
第五层为卷积层，设置卷积核数量为512，卷积核窗口大小为5×5，步长为2,输出512个特征图。
5.根据权利要求1所述的基于双通道深度卷积生成式对抗网DCGAN和特征融合的多光谱图像分类方法，其特征在于，步骤(5b)中所述第二通道深度卷积生成式对抗网络DCGAN中6层的生成网络和5层的判别网络，生成网络中前5层结构与第一个通道DCGAN中的生成网络的前5层结构和参数相同，最后一层的微步幅卷积层的卷积核数量设定为9，卷积核窗口大小为5×5，步长为2；判别网络中的每一层结构和参数与第一个通道DCGAN中的判别网络的每一层结构和参数相同。
6.根据权利要求1所述的基于双通道深度卷积生成式对抗网DCGAN和特征融合的多光谱图像分类方法，其特征在于，步骤(6a)中所述无监督训练方法的步骤如下：
第一步，用训练数据集D1′，无监督训练第一通道深度卷积生成式对抗网络DCGAN网络中的判别网络；
第二步，用高斯噪声无监督训练第一通道深度卷积生成式对抗网络DCGAN网络的中的生成网络，将生成网络的输出图像输入到判别网络中，再训练判别网络；
第三步，将经第二步训练后的判别网络与第二步训练后的生成网络，进行交替迭代训练500次，得到训练好的第一通道网络。
CN201711144187.2A 2017-11-17 2017-11-17 基于双通道dcgan和特征融合的多光谱图像分类方法 Active CN107944483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711144187.2A CN107944483B (zh) 2017-11-17 2017-11-17 基于双通道dcgan和特征融合的多光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711144187.2A CN107944483B (zh) 2017-11-17 2017-11-17 基于双通道dcgan和特征融合的多光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN107944483A CN107944483A (zh) 2018-04-20
CN107944483B true CN107944483B (zh) 2020-02-07

Family

ID=61932768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711144187.2A Active CN107944483B (zh) 2017-11-17 2017-11-17 基于双通道dcgan和特征融合的多光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN107944483B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765512B (zh) * 2018-05-30 2022-04-12 清华大学深圳研究生院 一种基于多层级特征的对抗图像生成方法
CN109086685A (zh) * 2018-07-11 2018-12-25 国家***森林病虫害防治总站 基于卫星遥感图像的林业生物灾害监测方法和***
CN109034224B (zh) * 2018-07-16 2022-03-11 西安电子科技大学 基于双分支网络的高光谱分类方法
CN109360146A (zh) * 2018-08-22 2019-02-19 国网甘肃省电力公司 基于深度卷积对抗生成网络dcgan的双光图像融合模型
CN109145992B (zh) * 2018-08-27 2021-07-20 西安电子科技大学 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN110647927A (zh) * 2019-09-18 2020-01-03 长沙理工大学 一种基于acgan图像半监督分类算法
CN111062403B (zh) * 2019-12-26 2022-11-22 哈尔滨工业大学 基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法
CN117253122B (zh) * 2023-11-17 2024-01-23 云南大学 玉米种子近似品种筛选方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023154A (zh) * 2016-05-09 2016-10-12 西北工业大学 基于双通道卷积神经网络的多时相sar图像变化检测方法
CN106682616A (zh) * 2016-12-28 2017-05-17 南京邮电大学 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN106845381A (zh) * 2017-01-16 2017-06-13 西北工业大学 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN107273938A (zh) * 2017-07-13 2017-10-20 西安电子科技大学 基于双通道卷积阶梯网的多源遥感影像地物分类方法
CN107292336A (zh) * 2017-06-12 2017-10-24 西安电子科技大学 一种基于dcgan的极化sar图像分类方法
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023154A (zh) * 2016-05-09 2016-10-12 西北工业大学 基于双通道卷积神经网络的多时相sar图像变化检测方法
CN106682616A (zh) * 2016-12-28 2017-05-17 南京邮电大学 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN106845381A (zh) * 2017-01-16 2017-06-13 西北工业大学 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN107292336A (zh) * 2017-06-12 2017-10-24 西安电子科技大学 一种基于dcgan的极化sar图像分类方法
CN107273938A (zh) * 2017-07-13 2017-10-20 西安电子科技大学 基于双通道卷积阶梯网的多源遥感影像地物分类方法
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep Spectral-Spatial Feature Extraction Based on DCGAN for Hyperspectral Image Retrieval;Lu Chen 等;《2017 IEEE 15th Intl Conf on Dependable，Autonomic and Secure Computing，15th Intl Conf on Pervasive Intelligence and Computing，3rd Intl Conf on Big Data Intelligence and Computing and Cyber Science and Technology Congress》;20171110;第752-759页 *
MARTA GANs：Unsupervised Representation Learning for Remote Sensing Image Classification;Daoyu Lin 等;《IEEE Geoscience and Remote Sensing Letters》;20171005;第14卷(第11期);第2092-2096页 *
基于双通道特征自适应融合的红外行为识别方法;吕静 等;《重庆邮电学校学报（自然科学版）》;20170630;第29卷(第3期);第389-395页 *

Also Published As

Publication number Publication date
CN107944483A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN107944483B (zh) 基于双通道dcgan和特征融合的多光谱图像分类方法
CN109993220B (zh) 基于双路注意力融合神经网络的多源遥感图像分类方法
CN109685115B (zh) 一种双线性特征融合的细粒度概念模型及学习方法
CN110084159B (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
CN108830330B (zh) 基于自适应特征融合残差网的多光谱图像分类方法
CN110334765B (zh) 基于注意力机制多尺度深度学习的遥感影像分类方法
CN110728192B (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN107832797B (zh) 基于深度融合残差网的多光谱图像分类方法
CN109598306B (zh) 基于srcm和卷积神经网络的高光谱图像分类方法
CN110348399B (zh) 基于原型学习机制和多维残差网络的高光谱智能分类方法
CN110929736B (zh) 多特征级联rgb-d显著性目标检测方法
CN103955702A (zh) 基于深度rbf网络的sar图像地物分类方法
CN112308152B (zh) 基于光谱分割与同质区域检测的高光谱图像地物分类方法
CN104268593A (zh) 一种小样本情况下多稀疏表示的人脸识别方法
CN109753996B (zh) 基于三维轻量化深度网络的高光谱图像分类方法
CN112200123B (zh) 联合稠密连接网络和样本分布的高光谱开放集分类方法
CN110852369B (zh) 联合3d/2d卷积网络和自适应光谱解混的高光谱图像分类方法
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
CN115116054B (zh) 一种基于多尺度轻量级网络的病虫害识别方法
CN105184314B (zh) 基于像素聚类的wrapper式高光谱波段选择方法
Doi et al. The effect of focal loss in semantic segmentation of high resolution aerial image
CN104239902A (zh) 基于非局部相似性和稀疏编码的高光谱图像分类方法
CN108256557B (zh) 结合深度学习和邻域集成的高光谱图像分类方法
CN114299398B (zh) 一种基于自监督对比学习的小样本遥感图像分类方法
CN116416441A (zh) 基于多层次变分自动编码器的高光谱图像特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant