CN111191704A - 一种基于任务图卷积网络的地基云分类方法 - Google Patents

一种基于任务图卷积网络的地基云分类方法 Download PDF

Info

Publication number
CN111191704A
CN111191704A CN201911347193.7A CN201911347193A CN111191704A CN 111191704 A CN111191704 A CN 111191704A CN 201911347193 A CN201911347193 A CN 201911347193A CN 111191704 A CN111191704 A CN 111191704A
Authority
CN
China
Prior art keywords
graph
network
foundation cloud
cloud image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911347193.7A
Other languages
English (en)
Other versions
CN111191704B (zh
Inventor
刘爽
李梅
张重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Normal University
Original Assignee
Tianjin Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Normal University filed Critical Tianjin Normal University
Priority to CN201911347193.7A priority Critical patent/CN111191704B/zh
Publication of CN111191704A publication Critical patent/CN111191704A/zh
Application granted granted Critical
Publication of CN111191704B publication Critical patent/CN111191704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于任务图卷积网络的地基云分类方法，该方法包括：对输入地基云图像进行预处理，得到预处理地基云图像，将其输入至任务图卷积网络训练模型中，训练得到任务图卷积网络；基于任务图卷积网络提取得到每幅输入地基云图像的基于卷积神经网络的特征、基于图卷积的特征和融合特征表示；根据融合特征表示训练支持向量机分类器，得到地基云分类模型；获取测试输入地基云图像的融合特征表示，将其输入至地基云分类模型中，得到分类结果。本发明具充分利用基于卷积神经网络的特征和基于图卷积网络的互补信息，有效挖掘两者的相关性，提取出更高辨别性的融合特征，进而提高地基云分类的正确率。

Description

一种基于任务图卷积网络的地基云分类方法
技术领域
本发明属于模式识别、气象科学、人工智能技术领域，具体涉及一种基于任务图卷积网络的地基云分类方法。
背景技术
云是大气中的水蒸气遇冷液化成的小水滴或凝华成的小冰晶所混合组成的漂浮在空中的可见聚合物，60％以上的地球表面都覆盖有云。云在水循环、地表辐射平衡和气候建模中具有重要作用。因此，了解云具有重要意义。
云高、云量和云类别是云观测的三个主要方面且近年来得到学术界的广泛关注。但是，由于云状变幻莫测，云状分类始终是一个难题。用来采集云观测数据的设备已被研发出来，这些设备包括基于卫星的设备和基于地表的设备。基于卫星的设备可以采集大范围的云信息，但空间分辨率有限，不足以描述局部地区的云状特征。与之相比，全天空成像仪、总天空成像仪等基于地面的设备能够采集到具有高分辨率的地基云图像，这为监测和了解局部天空提供了可靠的数据。
得益于大量地基云图像，许多研究者提出用纹理、颜色、结构等手工设计的特征实施云状分类。近年来，深度学***均池化或最大池化作用于每个卷积激活图，然后提取基于卷积激活的特征并对地基云进行分类。Ye等人从卷积神经网络的多个卷积层提取特征并选择出具有代表性的局部描述子，然后用Fisher向量对选择的局部描述子进行编码，并作为地基云图的特征表示。Zhang等人提出显著二重激活聚集算法，该算法从浅层卷积层中提取显著向量特征，并从高层卷层中提取相应的权重。Li等人提出二重监督损失函数将不同网络的知识结合在一起，通过对难分类样本赋予较大的权重来提高地基云分类的准确率。
然而，现存方法忽略了云图的本质数据结构，从而无法充分的学习到云图的特征表示。现有方法直接将地基云图像和相对应的标签直接输入到深度模型中，由于没有考虑到地基云图像之间的相关性，因此不能学习到云图的本质数据结构。云是一种自然纹理，内类差距大，类间差距小。因此，很有必要建立地基云图像之间的相关性，使来自同一类的云图具有较大的相关性，来自不同类的云图具有较小的相关性，进而挖掘出云图潜在的结构信息，最终学习到具有判别性的地基云特征。
近年来，研究者提出用图卷积网络(GCN)学习不规则数据结构的相关性，并且已将图卷积网络成功运用于行为识别、文本分类和图像识别等领域。一般来说，图卷积网络的构建遵循基于谱的原则和基于空间的原则。基于谱的图卷积根据图傅里叶变换实施图卷积，而基于空间的图卷积网络人为设计图卷积作用于图结点和邻域上。因此，可以从空间的角度出发，利用图卷积网络将地基云图像的相关信息融入到深度学习网络中。
发明内容
本发明的目的是要解决地基云分类困难的问题，为此，本发明提供一种基于任务图卷积网络的地基云分类方法。
所述方法包括以下步骤：
步骤S1，获取输入地基云图像，对所述输入地基云图像进行预处理，得到预处理地基云图像，作为任务图卷积网络的输入；
步骤S2，将所述预处理地基云图像输入至任务图卷积网络训练模型中，训练得到任务图卷积网络；
步骤S3，基于所述任务图卷积网络提取得到每幅输入地基云图像的基于卷积神经网络的特征和基于图卷积的特征，以及每幅输入地基云图像的融合特征表示；
步骤S4，根据所述输入地基云图像的融合特征表示训练支持向量机分类器，得到地基云分类模型；
步骤S5，获取测试输入地基云图像的融合特征表示，并将其输入至所述地基云分类模型中，得到测试输入地基云图像对应的分类结果。
可选地，所述步骤S1中对所述输入地基云图像进行预处理的步骤包括以下步骤：
步骤S11，将所述输入地基云图像进行归一化，得到归一化图像；
步骤S12，对所述归一化图像进行水平翻转，得到水平翻转图像；
步骤S13，对所述水平翻转图像进行随机裁剪；
步骤S14，将经随机裁剪后得到的地基云图像中的每个RGB像素值减去相应的预设RGB像素均值，得到预处理地基云图像。
可选地，所述步骤S2包括以下步骤：
步骤S21，构建任务图卷积网络，其中，所述任务图卷积网络包括图特征矩阵和邻接矩阵构建模块、图表示学习模块、特征融合层和分类模块；
步骤S22，初始化所述任务图卷积网络中的图特征矩阵和邻接矩阵构建模块、图表示学习模块和分类模块的参数，得到所述任务图卷积网络训练模型；
步骤S23，将所述预处理地基云图像批量输入至所述任务图卷积网络训练模型的图特征矩阵和邻接矩阵构建模块的子网络I和子网络II中进行训练，得到所述任务图卷积网络。
可选地，所述步骤S21包括以下步骤：
步骤211，构建所述图特征矩阵和邻接矩阵构建模块中的子网络I和子网络II，将所述预处理地基云图像输入至所述子网络I和子网络II中，学习得到所述预处理地基云图像的深度特征，其中，所述子网络I学习得到的深度特征为所述预处理地基云图像基于卷积神经网络的特征，其作为所述特征融合层的一个输入，同时还用于构建图特征矩阵X，所述图特征矩阵为所述图表示学习模块图的一个输入；所述子网络II学习得到的深度特征用于构建邻接矩阵A，所述邻接矩阵为所述图表示学习模块图的另一个输入；
步骤212，基于所述图特征矩阵X和邻接矩阵A构建图表示学习模块中的图与图卷积层，并基于所述图表示学习模块学习得到所述预处理地基云图像的基于图卷积的特征；
步骤213，将得到的所述预处理地基云图像的基于卷积神经网络的特征和基于图卷积的特征输入至所述特征融合层中，得到所述预处理地基云图像的融合特征；
步骤214，构建分类模块，其中，所述分类模块包括两个全连接层和损失函数。
可选地，所述子网络I是一个残差网络，其包括五层卷积层，其中，第一个卷积层后连接一个最大池化层，最后一个卷积层后连接一个平均池化层；所述子网络II也是一个残差网络，其在子网络I结构的基础上附加设置有两个全连接层，第一个全连接层的后面还设置有一个泄露修正线性单元。
可选地，构建的图表示学习模块中的图G＝(V,E)是无向全连接图，其中，V是由N个结点组成的结点集合，E是结点之间连接边的集合；构建的图表示学习模块中的图卷积层有Z层。
可选地，所述特征融合层采用串联的融合方式融合所述预处理地基云图像的基于卷积神经网络的特征和基于图卷积的特征。
可选地，所述步骤S23中，还利用随机梯度下降法对所述任务图卷积网络进行优化。
可选地，所述步骤S3包括以下步骤：
步骤S31，将所述输入地基云图像批量输入至训练得到的任务图卷积网络中；
步骤S32，提取所述任务图卷积网络中特征融合层的输出作为所述输入地基云图像的融合特征表示。
可选地，所述步骤S4具体为：
将根据步骤S3得到的每幅输入地基云图像的融合特征表示与该输入地基云图像所对应的标签分别输入到支持向量机分类器中，训练得到所述地基云分类模型。
本发明的有益效果为：本发明通过任务图卷积网络将图卷积算法融入到深度学习网络中，根据地基云图像之间的相似性学习他们之间的相关性；能够根据分类任务学习地基云深度特征，达到在特征学习过程中有效挖掘地基云图像对应的标签信息的目的；通过融合基于神经网络的特征和基于图卷积网络的特征，能够充分外挖掘它们之间的互补信息，提高地基云分类的正确率。
需要说明的是，本发明得到了国家自然科学基金项目No.61711530240，天津市自然科学基金重点项目No.19JCZDJC31500、No.17JCZDJC30600，天津师范大学“青年科研拔尖人才培育计划”No.135202RC1703，模式分类国家重点实验室开放课题基金No.201800002和天津高等学校创新团队基金项目的资助。
附图说明
图1是根据本发明一实施例提出的一种基于任务图卷积网络的地基云分类方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例提出的一种基于任务图卷积网络的地基云分类方法的流程图，如图1所示，所述一种基于任务图卷积网络的地基云分类方法包括：
步骤S1，获取输入地基云图像，对所述输入地基云图像进行预处理，得到预处理地基云图像，作为任务图卷积网络的输入；
其中，所述对所述输入地基云图像进行预处理的步骤进一步包括以下步骤：
步骤S11，将所述输入地基云图像进行归一化，得到归一化图像；
在本发明一实施例中，所述输入地基云图像原始大小为1024×1024，其中，两个1024分别表示所述输入地基云图像的高度和宽度；归一化后的地基云图像大小为252×252，其中，两个252分别表示归一化后的地基云图像的高度和宽度。
步骤S12，对所述归一化图像进行水平翻转，得到水平翻转图像；
其中，所述水平翻转指的是以图像的竖直中心为基准进行左右翻转。
步骤S13，对所述水平翻转图像进行随机裁剪；
其中，所述随机剪裁指的是在不超过图像大小的范围内进行随机窗口裁剪。
在本发明一实施例中，若所述水平翻转图像的大小为252×252，在该步骤中，在不超过图像大小的范围内进行随机窗口裁剪，窗口的上边界和左边界在图像内，且距离图像的上边界和下边界均不得超过28个像素，得到的地基云图大小为224×224，其中，两个224分别表示经裁剪后地基云图像的高度和宽度。
步骤S14，将经随机裁剪后得到的地基云图像中的每个RGB像素值减去相应的预设RGB像素均值，得到预处理地基云图像。
在本发明一实施例中，所述预设RGB像素均值可设为地基云图像训练集中所有地基云图像在RGB通道上的均值。其中，在计算RGB像素均值之前每个地基云图像的大小均已归一化至224×224。
步骤S2，将所述预处理地基云图像输入至任务图卷积网络训练模型中，训练得到任务图卷积网络；
进一步地，所述步骤S2包括以下步骤：
步骤S21，构建任务图卷积网络，其中，所述任务图卷积网络包括图特征矩阵和邻接矩阵构建模块、图表示学习模块、特征融合层和分类模块；
进一步地，所述步骤S21包括以下步骤：
步骤211，构建所述图特征矩阵和邻接矩阵构建模块中的子网络I和子网络II两个子网络，将所述预处理地基云图像输入至所述子网络I和子网络II中，学习得到所述预处理地基云图像的深度特征，其中，所述子网络I学习得到的深度特征为所述预处理地基云图像基于卷积神经网络的特征，其作为所述特征融合层的一个输入，同时还用于构建图特征矩阵X，所述图特征矩阵为所述图表示学习模块图的一个输入；所述子网络II学习得到的深度特征用于构建邻接矩阵A，所述邻接矩阵为所述图表示学习模块图的另一个输入；
其中，所述子网络I是一个残差网络，其包括五层卷积层，其中，第一个卷积层的卷积核大小为c1×c1，步长为s1，卷积核组数量为n1；第二至第五层是由数量不等的残差块组成，每个残差块由K层卷积层组成，每个残差块的第k个卷积层的卷积核大小为ck×ck，步长为sk，卷积核组数量为nk，即有nk个卷积激活图，第一个卷积层后连接一个最大池化层，最大池化层的核大小为cmax×cmax，步长为smax，最后一个卷积层后连接一个平均池化层，平均池化层的核大小为cavg×cavg，步长为savg。
所述子网络II也是一个残差网络，子网络II在子网络I结构的基础上另加有两个全连接层，其神经元的数量分别为M1和M2。第一个全连接层的后面还设有一个泄露修正线性单元。
在本发明一实施例中，子网络I中的第一个卷积层的卷积核大小为7×7，步长为2，卷积核组数量为64；第二至第五层分别由3、4、6、3个残差块组成，每个残差块由3层卷积层组成，每个残差块中的第一个和第三个卷积层的卷积核大小为1×1，第二个卷积层的卷积核大小为3×3，这三个卷积核的步长均为1；第二层残差块第一至第三层卷积层卷积核组数量分别为64、64和256；之后每层残差块第一至第三层卷积层卷积核组数量为前一层相应数量的2倍；最大池化层核大小为3×3，步长为2；平均池化层核大小为7×7，步长为7。子网络II在子网络I结构的基础上另加的两个全连接层的神经元数量分别为256、7。
在本发明一实施例中，所述泄露修正线性单元可表示为：
Figure BDA0002333706000000081
其中，h(a)为经过所述泄露修正线性单元作用后的输出值，a为所述泄露修正线性单元的输入值，λ为泄露系数。
在本发明一实施例中，λ设为0.2。
在本发明一实施例中，所述子网络I的输出是2048维度的向量
Figure BDA0002333706000000082
用于作为所述特征融合层的一个输入
Figure BDA0002333706000000083
并用于构建所述图表示学习模块的一个输入：图特征矩阵X；所述子网络II的第一个全连接层的输出是256维度的向量
Figure BDA0002333706000000084
用于构建所述图表示学习模块的另一个输入：邻接矩阵A。
在本发明一实施例中，子网络I与子网络II接收相同的预处理地基云图像作为输入；子网络I与子网络II中相同的网络结构部分参数共享；子网络II的第二个全连接层的输出接损失函数，损失函数作用在柔性最大函数上，其中，所述柔性最大函数可表示为：
Figure BDA0002333706000000085
其中，T是云种类的数量，zm为第二个全连接层在第m个位置的神经元的输出值，zτ为第二个全连接层在第τ个位置的神经元的输出值。
所述损失函数是交叉熵函数，其可表示为：
Figure BDA0002333706000000091
其中，qm是真实标签的概率，当m为真实标签时，qm＝1，否则qm＝0。
步骤212，基于所述图特征矩阵X和邻接矩阵A构建图表示学习模块中的图与图卷积层，并基于所述图表示学习模块学习得到所述预处理地基云图像的基于图卷积的特征；
在本发明一实施例中，构建的图G＝(V,E)是无向全连接图，其中，V是由N个结点组成的结点集合，E是结点之间连接边的集合。在图G中，每一个结点vi∈V表示一幅地基云图像的特征向量
Figure BDA0002333706000000092
即子网络I学习得到的基于卷积神经网络的深度特征；这样图特征矩阵就可以表示为：
Figure BDA0002333706000000093
其中，图特征矩阵的每一行表示一个结点，2048表示图特征矩阵的特征通道数。邻接矩阵用于反映结点之间相关性的强弱，由
Figure BDA0002333706000000094
构建，表示为：
Figure BDA0002333706000000095
其中，邻接矩阵的维度为N×N，
Figure BDA0002333706000000096
表示对于特征向量xi进行降维之后得到的特征向量。
在本发明一实施例中，σ(·)为柔性最大函数，对于
Figure BDA0002333706000000097
中的每一个元素，其激活值可表示为：
Figure BDA0002333706000000098
其中，
Figure BDA0002333706000000099
是
Figure BDA00023337060000000910
中第i行第j列的值。
在本发明之一实施例中，对邻接矩阵A中每一个元素求平方根，得到归一化邻接矩阵
Figure BDA00023337060000000911
在本发明一实施例中，N取值为48。
在本发明一实施例中，图表示学习模块中有Z层图卷积层，其中，第l层的输出特征通道数为dl,第l层的参数为
Figure BDA0002333706000000101
则第l层的图卷积操作可表示为：
Xl＝f(Xl-1,A),
f(·)可表示为：
Figure BDA0002333706000000102
其中，h(·)为泄露修正线性单元，Xl-1为第l层图卷积操作的输入。
在本发明一实施例中，图表示学习模块有3层图卷积层，输出特征通道数分别为1024,1024和512。
在本发明一实施例中，所述图表示学习模块第三层图卷积层的输出，即所述图表示学习模块的输出
Figure BDA0002333706000000103
为所述预处理地基云图像基于图卷积的特征，其作为所述特征融合层的另一个输入。特别的，每一张输入地基云图像的基于图卷积的特征均为512的向量。
步骤213，将得到的所述预处理地基云图像的基于卷积神经网络的特征和基于图卷积的特征输入至所述特征融合层中，得到所述预处理地基云图像的融合特征；
在本发明一实施例中，所述特征融合层采用串联的融合方式融合每一幅预处理地基云图像的基于卷积神经网络的特征和基于图卷积的特征，得到每一幅预处理地基云图像的融合特征：2560维的向量。
步骤214，构建分类模块，其中，所述分类模块包括两个全连接层和损失函数。
在本发明一实施例中，所述分类模块的两个全连接层分别有256和7个神经元，第二个全连接层的输出接交叉熵损失函数Lgcn，损失函数作用在柔性最大函数上。
在本发明一实施例中，所述分类模块的损失函数可表示为：
L＝Lcnn+Lgcn。
步骤S22，初始化所述任务图卷积网络中的图特征矩阵和邻接矩阵构建模块、图表示学习模块和分类模块的参数，得到所述任务图卷积网络训练模型；
在本发明一实施例中，所述图特征矩阵和邻接矩阵构建模块和分类模块的参数包括权重和偏置，权重初始化服从标准正太分布，偏置全部初始化为零；所述图表示学习模块的参数仅包含权重，初始化服从均匀分布。
步骤S23，将所述预处理地基云图像批量输入至所述任务图卷积网络训练模型的图特征矩阵和邻接矩阵构建模块的子网络I和子网络II中进行训练，得到所述任务图卷积网络。
在本发明一实施例中，还可利用随机梯度下降法(SGD)对所述任务图卷积网络进行优化。
步骤S3，基于所述任务图卷积网络提取得到每幅输入地基云图像的基于卷积神经网络的特征和基于图卷积的特征，以及每幅输入地基云图像的融合特征表示；
进一步地，所述步骤S3包括以下步骤：
步骤S31，将所述输入地基云图像批量输入至训练得到的任务图卷积网络中，即输入至所述任务图卷积网络的图特征矩阵和邻接矩阵构建模块的子网络I和子网络II中。
步骤S32，提取所述任务图卷积网络中特征融合层的输出作为所述输入地基云图像的融合特征表示。
在本发明一实施例中，每一个输入地基云图像的融合特征表示是一个2560维的向量。
步骤S4，根据所述输入地基云图像的融合特征表示训练支持向量机分类器，得到地基云分类模型；
所述步骤S4具体为：
将根据步骤S3得到的每幅输入地基云图像的融合特征表示与该输入地基云图像所对应的标签分别输入到支持向量机分类器中，训练得到所述地基云分类模型。
在本发明一实施例中，所述支持向量机分类器为径向基核函数。
步骤S5，获取测试输入地基云图像的融合特征表示，并将其输入至所述地基云分类模型中，得到测试输入地基云图像对应的分类结果。
其中，所述测试输入地基云图像的融合特征表示可按照上述步骤得到。
在本发明一应用实例中，所使用的地基云图数据库是在不同的季节不同的时间下在中国拍摄的，所用摄像机是鱼眼镜头。通过基于从特征融合层提取得到的融合特征表示进行分类，地基云图像的分类正确率为89.48％，由此可见本发明方法的有效性。
综上，本发明具有根据分类任务学习深度特征、根据地基云图像之间的相关性学习结构特征的能力，能够在同一个网络中同时学习基于卷积神经网络的特征和基于图卷积网络的特征，充分利用基于卷积神经网络的特征和基于图卷积网络的互补信息，有效挖掘两者的相关性，提取出更高辨别性的融合特征，提高地基云分类的正确率。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于任务图卷积网络的地基云分类方法，其特征在于，所述方法包括以下步骤：
步骤S1，获取输入地基云图像，对所述输入地基云图像进行预处理，得到预处理地基云图像，作为任务图卷积网络的输入；
步骤S2，将所述预处理地基云图像输入至任务图卷积网络训练模型中，训练得到任务图卷积网络；
步骤S3，基于所述任务图卷积网络提取得到每幅输入地基云图像的基于卷积神经网络的特征和基于图卷积的特征，以及每幅输入地基云图像的融合特征表示；
步骤S4，根据所述输入地基云图像的融合特征表示训练支持向量机分类器，得到地基云分类模型；
步骤S5，获取测试输入地基云图像的融合特征表示，并将其输入至所述地基云分类模型中，得到测试输入地基云图像对应的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1中对所述输入地基云图像进行预处理的步骤包括以下步骤：
步骤S11，将所述输入地基云图像进行归一化，得到归一化图像；
步骤S12，对所述归一化图像进行水平翻转，得到水平翻转图像；
步骤S13，对所述水平翻转图像进行随机裁剪；
步骤S14，将经随机裁剪后得到的地基云图像中的每个RGB像素值减去相应的预设RGB像素均值，得到预处理地基云图像。
3.根据权利要求1或2所述的方法，其特征在于，所述步骤S2包括以下步骤：
步骤S21，构建任务图卷积网络，其中，所述任务图卷积网络包括图特征矩阵和邻接矩阵构建模块、图表示学习模块、特征融合层和分类模块；
步骤S22，初始化所述任务图卷积网络中的图特征矩阵和邻接矩阵构建模块、图表示学习模块和分类模块的参数，得到所述任务图卷积网络训练模型；
步骤S23，将所述预处理地基云图像批量输入至所述任务图卷积网络训练模型的图特征矩阵和邻接矩阵构建模块的子网络I和子网络II中进行训练，得到所述任务图卷积网络。
4.根据权利要求3所述的方法，其特征在于，所述步骤S21包括以下步骤：
步骤211，构建所述图特征矩阵和邻接矩阵构建模块中的子网络I和子网络II，将所述预处理地基云图像输入至所述子网络I和子网络II中，学习得到所述预处理地基云图像的深度特征，其中，所述子网络I学习得到的深度特征为所述预处理地基云图像基于卷积神经网络的特征，其作为所述特征融合层的一个输入，同时还用于构建图特征矩阵X，所述图特征矩阵为所述图表示学习模块图的一个输入；所述子网络II学习得到的深度特征用于构建邻接矩阵A，所述邻接矩阵为所述图表示学习模块图的另一个输入；
步骤212，基于所述图特征矩阵X和邻接矩阵A构建图表示学习模块中的图与图卷积层，并基于所述图表示学习模块学习得到所述预处理地基云图像的基于图卷积的特征；
步骤213，将得到的所述预处理地基云图像的基于卷积神经网络的特征和基于图卷积的特征输入至所述特征融合层中，得到所述预处理地基云图像的融合特征；
步骤214，构建分类模块，其中，所述分类模块包括两个全连接层和损失函数。
5.根据权利要求4所述的方法，其特征在于，所述子网络I是一个残差网络，其包括五层卷积层，其中，第一个卷积层后连接一个最大池化层，最后一个卷积层后连接一个平均池化层；所述子网络II也是一个残差网络，其在子网络I结构的基础上附加设置有两个全连接层，第一个全连接层的后面还设置有一个泄露修正线性单元。
6.根据权利要求4所述的方法，其特征在于，构建的图表示学习模块中的图G＝(V,E)是无向全连接图，其中，V是由N个结点组成的结点集合，E是结点之间连接边的集合；构建的图表示学习模块中的图卷积层有Z层。
7.根据权利要求4所述的方法，其特征在于，所述特征融合层采用串联的融合方式融合所述预处理地基云图像的基于卷积神经网络的特征和基于图卷积的特征。
8.根据权利要求3所述的方法，其特征在于，所述步骤S23中，还利用随机梯度下降法对所述任务图卷积网络进行优化。
9.根据权利要求1所述的方法，其特征在于，所述步骤S3包括以下步骤：
步骤S31，将所述输入地基云图像批量输入至训练得到的任务图卷积网络中；
步骤S32，提取所述任务图卷积网络中特征融合层的输出作为所述输入地基云图像的融合特征表示。
10.根据权利要求1所述的方法，其特征在于，所述步骤S4具体为：
将根据步骤S3得到的每幅输入地基云图像的融合特征表示与该输入地基云图像所对应的标签分别输入到支持向量机分类器中，训练得到所述地基云分类模型。
CN201911347193.7A 2019-12-24 2019-12-24 一种基于任务图卷积网络的地基云分类方法 Active CN111191704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911347193.7A CN111191704B (zh) 2019-12-24 2019-12-24 一种基于任务图卷积网络的地基云分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911347193.7A CN111191704B (zh) 2019-12-24 2019-12-24 一种基于任务图卷积网络的地基云分类方法

Publications (2)

Publication Number Publication Date
CN111191704A true CN111191704A (zh) 2020-05-22
CN111191704B CN111191704B (zh) 2023-05-02

Family

ID=70707524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911347193.7A Active CN111191704B (zh) 2019-12-24 2019-12-24 一种基于任务图卷积网络的地基云分类方法

Country Status (1)

Country Link
CN (1) CN111191704B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112152806A (zh) * 2020-09-25 2020-12-29 青岛大学 一种云辅助且支持隐私保护的图像识别方法、装置及设备
CN112396123A (zh) * 2020-11-30 2021-02-23 上海交通大学 基于卷积神经网络的图像识别方法、***、终端和介质
CN113963081A (zh) * 2021-10-11 2022-01-21 华东师范大学 一种基于图卷积网络的图像图表智能合成方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN108108720A (zh) * 2018-01-08 2018-06-01 天津师范大学 一种基于深度多模态融合的地基云图像分类方法
CN108416397A (zh) * 2018-03-30 2018-08-17 华南理工大学 一种基于ResNet-GCN网络的图像情感分类方法
CN108629368A (zh) * 2018-03-28 2018-10-09 天津师范大学 一种基于联合深度融合的多模态地基云分类方法
US20190220746A1 (en) * 2017-08-29 2019-07-18 Boe Technology Group Co., Ltd. Image processing method, image processing device, and training method of neural network
CN110222611A (zh) * 2019-05-27 2019-09-10 中国科学院自动化研究所 基于图卷积网络的人体骨架行为识别方法、***、装置
CN110378381A (zh) * 2019-06-17 2019-10-25 华为技术有限公司 物体检测方法、装置和计算机存储介质
CN110516723A (zh) * 2019-08-15 2019-11-29 天津师范大学 一种基于深度张量融合的多模态地基云图识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
US20190220746A1 (en) * 2017-08-29 2019-07-18 Boe Technology Group Co., Ltd. Image processing method, image processing device, and training method of neural network
CN108108720A (zh) * 2018-01-08 2018-06-01 天津师范大学 一种基于深度多模态融合的地基云图像分类方法
CN108629368A (zh) * 2018-03-28 2018-10-09 天津师范大学 一种基于联合深度融合的多模态地基云分类方法
CN108416397A (zh) * 2018-03-30 2018-08-17 华南理工大学 一种基于ResNet-GCN网络的图像情感分类方法
CN110222611A (zh) * 2019-05-27 2019-09-10 中国科学院自动化研究所 基于图卷积网络的人体骨架行为识别方法、***、装置
CN110378381A (zh) * 2019-06-17 2019-10-25 华为技术有限公司 物体检测方法、装置和计算机存储介质
CN110516723A (zh) * 2019-08-15 2019-11-29 天津师范大学 一种基于深度张量融合的多模态地基云图识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周明非 等: "高分辨卫星图像卷积神经网络分类模型" *
王旭娇 等: "基于图卷积网络的深度学习点云分类模型" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112152806A (zh) * 2020-09-25 2020-12-29 青岛大学 一种云辅助且支持隐私保护的图像识别方法、装置及设备
CN112152806B (zh) * 2020-09-25 2023-07-18 青岛大学 一种云辅助且支持隐私保护的图像识别方法、装置及设备
CN112396123A (zh) * 2020-11-30 2021-02-23 上海交通大学 基于卷积神经网络的图像识别方法、***、终端和介质
CN113963081A (zh) * 2021-10-11 2022-01-21 华东师范大学 一种基于图卷积网络的图像图表智能合成方法
CN113963081B (zh) * 2021-10-11 2024-05-17 华东师范大学 一种基于图卷积网络的图像图表智能合成方法

Also Published As

Publication number Publication date
CN111191704B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN108985238B (zh) 联合深度学习和语义概率的不透水面提取方法及***
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
Zhang et al. Scene classification via a gradient boosting random convolutional network framework
Liao et al. Processing of multiresolution thermal hyperspectral and digital color data: Outcome of the 2014 IEEE GRSS data fusion contest
CN107092870B (zh) 一种高分辨率影像语义信息提取方法
CN108229589B (zh) 一种基于迁移学习的地基云图分类方法
CN110516723B (zh) 一种基于深度张量融合的多模态地基云图识别方法
CN105787501B (zh) 输电线路走廊区域自动选择特征的植被分类方法
CN111242227B (zh) 一种基于异构深度特征的多模态地基云识别方法
CN111191704B (zh) 一种基于任务图卷积网络的地基云分类方法
CN104392228A (zh) 基于条件随机场模型的无人机图像目标类检测方法
CN108629368B (zh) 一种基于联合深度融合的多模态地基云分类方法
Napoli et al. Simplified firefly algorithm for 2d image key-points search
Chini et al. Comparing statistical and neural network methods applied to very high resolution satellite images showing changes in man-made structures at rocky flats
CN115527123B (zh) 一种基于多源特征融合的土地覆被遥感监测方法
CN111461006B (zh) 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法
CN107832797A (zh) 基于深度融合残差网的多光谱图像分类方法
CN109508756B (zh) 一种基于多线索多模态融合深度网络的地基云分类方法
CN111695460A (zh) 一种基于局部图卷积网络的行人再识别方法
Bragilevsky et al. Deep learning for Amazon satellite image analysis
CN114943893A (zh) 一种土地覆盖分类的特征增强网络
Li et al. An aerial image segmentation approach based on enhanced multi-scale convolutional neural network
CN115908924A (zh) 一种基于多分类器的小样本高光谱图像语义分割方法及***
CN116363526A (zh) MROCNet模型构建与多源遥感影像变化检测方法及***
CN111784679A (zh) 一种基于cnn和svm的挡土墙裂缝识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant