CN112733968A - 嵌入超图卷积层的深度学习冰晶粒子图像分类方法 - Google Patents

嵌入超图卷积层的深度学习冰晶粒子图像分类方法 Download PDF

Info

Publication number
CN112733968A
CN112733968A CN202110343928.XA CN202110343928A CN112733968A CN 112733968 A CN112733968 A CN 112733968A CN 202110343928 A CN202110343928 A CN 202110343928A CN 112733968 A CN112733968 A CN 112733968A
Authority
CN
China
Prior art keywords
hypergraph
ice crystal
embedded
network model
crystal particle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110343928.XA
Other languages
English (en)
Other versions
CN112733968B (zh
Inventor
段婧
廖梦媛
李德泉
吴锡
胡金蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese Academy of Meteorological Sciences CAMS
Chengdu University of Information Technology
Original Assignee
Chinese Academy of Meteorological Sciences CAMS
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese Academy of Meteorological Sciences CAMS, Chengdu University of Information Technology filed Critical Chinese Academy of Meteorological Sciences CAMS
Priority to CN202110343928.XA priority Critical patent/CN112733968B/zh
Publication of CN112733968A publication Critical patent/CN112733968A/zh
Application granted granted Critical
Publication of CN112733968B publication Critical patent/CN112733968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉技术领域，公开了一种嵌入超图卷积层的深度学***衡的冰晶数据集中小样本的特征，以提高模型的泛化能力，即便在样本分布不均衡数据学***衡数据集中数据量较少类别的分类精度较低的问题，可使冰晶粒子图像实现较高精度的自动分类。

Description

嵌入超图卷积层的深度学习冰晶粒子图像分类方法
技术领域
本发明属于计算机视觉技术领域，特别涉及一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法。
背景技术
云的相态通常分为冰云、水云和混合云三种相态，冰云和混合云是产生降水的重要云系，二者的发生频率与降水的发生频率及降水量密切相关。在获得准确的冰晶粒子类别的基础上，可以进一步的计算得出冰云和混合云的各项物理属性，比如云的液水含量、冰水含量、冰晶粒子的尺度以及数浓度等。在了解了冰云和混合云的各项准确的物理属性后，就可以更好的利用云的微物理过程，然后可以用播云等方法来改变云的微观结构，在适当的时候改变天气现象，实现人工影响天气以达到人工降水、防雹、消云等目的。由此可见，实现冰晶粒子图像的准确分类对人工影响天气来说具有重要意义。
传统冰晶粒子分类方法采用阈值设置进行分类（如文献1），需要根据冰晶粒子自身相关的各项属性，如冰晶粒子的周长、半径、面积等属性为条件来辨别冰晶粒子的类别。然而，由于地理气候条件的不同，以及冰晶颗粒物理性质特征的差异会导致冰晶粒子的大小及形状多变，根据专家经验，人为设置各项属性特征的阈值范围，具有主观性和不稳定性，以及存在着难以设定适宜通用阈值的难题，缺乏实用性。
另外，随着深度学习的发展，也出现了用CNN网络来完成冰晶粒子分类任务的方法，如文献2中提出的TL-ResNet152网络，利用深度学习方法和迁移学习方法，将用ImageNet数据集训练得到的预训练ResNet152模型迁移到自建的云粒子数据集上训练，建立了一个云粒子形状自动分类的CNN模型，将云粒子分为玫瑰花结状、玫瑰状、长柱、短柱、空心柱、球状、小不规则状、板状、六角雪花状、复杂状共10类。这一工作细化了冰晶粒子的类别，提升了识别的准确率。
但是，由于天气条件和冰晶形态的不同，得到的冰晶数据集中存在着样本类别不均衡数据，如玫瑰花状、玫瑰状和复杂状样本数量较多，而六角雪花状和空心柱状样本数量较少。众所周知，传统CNN网络的优异性能是建立在丰富数据的基础上的，面对数据分布不均衡的数据集，传统CNN网络模型更倾向于学习多类样本的特征而忽视小类样本的特征，导致训练的传统CNN网络模型易将样本都预测为多类样本，难以识别小类样本，而小类样本往往更具价值。所以，由于冰晶数据集中样本分布不均衡这一原因，导致了传统CNN网络模型在小样本类别上的分类精度较低。
综上所述，针对冰晶粒子图像的分类任务目前还存在以下问题：1）传统阈值分类方法根据专家经验，人为设置各项属性特征的阈值范围，具有主观性和不稳定性，以及存在着难以设定适宜通用阈值的难题，缺乏实用性；2）现有基于传统CNN网络的冰晶粒子图像分类方法，由于数据集样本分布不均衡，在小样本类别上的分类精度较低。
为解决上述问题，本发明提供了一种嵌入超图卷积层的深度学***衡的冰晶数据集中小样本的特征，以提高模型的泛化能力，即便在样本分布不均衡数据学***衡数据集中数据量较少类别的分类精度较低的问题，可使冰晶粒子图像实现较高精度的自动分类。
涉及的文献如下:
文献1，王磊,李成才,赵增亮,2014:二维粒子形状分类技术在云微物理特征分析中的应用[J]. 2:201-212.
文献2，H. Xiao, F. Zhang, Q. He, P. Liu, F. Yan, L. Miao, and Z. Yang,“Classification of ice crystal habits observed from airborne cloud particleimager by deep transfer learning,” Earth and Space Science, vol. 6, no. 10,pp.1877–1886, 2019.
文献3，J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei,“Imagenet: A large-scale hierarchical image database,” in 2009 IEEEconference on computer vision and pattern recognition, 2009, pp. 248–255.
文献4，K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learningfor image recognition,” in Proceedings of the IEEE conference on computervision and pattern recognition, 2016, pp. 770–778.
发明内容
针对现有技术存在的问题，本发明提供了一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法。
本发明是这样实现的，一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法包括：
步骤1，搭建一个嵌入超图结构的卷积神经网络模型用于冰晶粒子图像的10分类任务；
步骤2，使用包含10个类别的冰晶粒子图像的训练样本数据集对所述嵌入超图结构的卷积神经网络模型进行训练；
步骤3，使用冰晶粒子图像的测试样本数据集对所述嵌入超图结构的卷积神经网络模型进行分类测试，并保存测试效果最好的网络模型；
步骤4，使用步骤3所保存的网络模型对冰晶粒子图像进行自动分类。
上述步骤1中，所述10分类任务中包含的10个类别为：玫瑰花结状、玫瑰状、长柱状、短柱状、空心柱状、球状、小不规则状、板状、六角雪花状和复杂状。
上述步骤1中，所述嵌入超图结构的卷积神经网络模型的输入为224*224*3的RGB彩色冰晶粒子图像。
上述步骤1中，所述嵌入超图结构的卷积神经网络模型，其网络结构包含了卷积层和超图卷积层，并将一个超图卷积层嵌入在了ResNet152网络的第10个卷积层和第11个卷积层之间。
上述步骤1中，所述嵌入超图结构的卷积神经网络模型，其超图卷积层中，进行超图卷积层输入的构建，包括：
1）从局部特征空间构建超边：在前一卷积层得到的特征图的基础上，选择中心像素点的八邻域中的像素点构成一条超边，以表示中心像素点周围的局部空间的特征关系；对位于边界上的中心像素点，则选择周围的三个或五个像素点来构成超边；
2）从全局特征空间构建超边：在前一卷积层得到的特征图的基础上，以除边界外的每个像素点为中心定义一个3×3大小的像素块，将像素块的3×3个像素值按从上到下、从左到右的顺序得到一个1*9的向量，并用该向量代表该像素块的中心像素点；计算两个1*9的向量的欧氏距离来代表两个中心像素点间的距离，由此得到每个像素点与其他像素点间的距离，然后选择每个像素点的3个全局最邻近像素点，从而构成超边，每条超边包含了含中心像素点在内的4个像素点；
3）由从局部和全局特征空间得到的超边构成最终的超图；
4）前一卷积层得到的特征图大小为X∈RC*H*W，其中C为通道数，H为高度，W为宽度；
5）在完成超图的构建后，将X∈RC*H*W改变维度为X∈RN*C，其中N为超图中的顶点个数，N= W*H，并将改变维度后的顶点特征矩阵X∈RN*C和构建的超图作为超图卷积层的输入。
上述步骤1中，所述嵌入超图结构的卷积神经网络模型，超图的定义如下公式所示：
Figure DEST_PATH_IMAGE001
其中
Figure DEST_PATH_IMAGE002
是超图的有限顶点集，
Figure DEST_PATH_IMAGE003
是超图的超边集，
Figure DEST_PATH_IMAGE004
是超边的权重矩阵。
上述步骤1中，所述嵌入超图结构的卷积神经网络模型，其超图卷积层中，根据顶点和超边的关系，进行卷积操作来更新顶点的像素值，计算公式如下公式所示：
Figure DEST_PATH_IMAGE005
其中，
Figure DEST_PATH_IMAGE006
表示非线性函数，
Figure DEST_PATH_IMAGE007
表示超图中顶点的度矩阵，
Figure DEST_PATH_IMAGE008
表示超图中超边的度矩阵，
Figure 118278DEST_PATH_IMAGE004
表示超边的权重矩阵，
Figure DEST_PATH_IMAGE009
表示|
Figure 571387DEST_PATH_IMAGE002
|×|
Figure 792153DEST_PATH_IMAGE003
|维的点边关联矩阵，
Figure DEST_PATH_IMAGE010
表示当前超图的顶点特征矩阵，
Figure DEST_PATH_IMAGE011
为一个可学习的参数矩阵，
Figure DEST_PATH_IMAGE012
为经过卷积运算后得到超图的顶点特征矩阵，X(.)的大小为RN*C，其中N为超图中的顶点个数， C为通道数。
上述步骤1中，所述嵌入超图结构的卷积神经网络模型，其超图卷积层中，每一个超图卷积层后都会跟着一个非线性激活函数Leaky ReLU和一个Dropout层防止过拟合，并设置Dropout层参数p为0.3。
上述步骤1中，所述嵌入超图结构的卷积神经网络模型，其超图卷积层中，在进行卷积操作、非线性函数激活、Dropout后将数据的维度X∈RN*C转换回之前的维度大小X∈RB *C*H*W，以适应后一卷积层的输入大小。
上述步骤1中，所述嵌入超图结构的卷积神经网络模型，其超图卷积层中，超图卷积层的输入通道数等于前一卷积层的输出通道数，超图卷积层的输出通道数等于后一卷积层的输入通道数。
上述步骤1中，所述嵌入超图结构的卷积神经网络模型的输出为1*10的一维向量，向量中的10个数值对应所述嵌入超图结构的卷积神经网络模型对输入网络的冰晶粒子图像的10个类别的预测概率，最大数值所对应的类别即为所述嵌入超图结构的卷积神经网络模型对输入网络的冰晶粒子图像的分类结果。
上述步骤1中，所述嵌入超图结构的卷积神经网络模型的损失函数定义如下公式所示：
Figure DEST_PATH_IMAGE013
；
其中N为输入的样本个数，
Figure DEST_PATH_IMAGE014
是输入的冰晶粒子图像，概率分布
Figure DEST_PATH_IMAGE015
为期望输出，即冰晶粒子图像
Figure 647632DEST_PATH_IMAGE014
的真实类别，概率分布
Figure DEST_PATH_IMAGE016
为实际输出，即网络模型对冰晶粒子图像
Figure 591448DEST_PATH_IMAGE014
预测得到的类别，损失越小，表明两者分布约接近即表明分类结果更好。
上述步骤2中，所述训练嵌入超图结构的卷积神经网络模型包括：
1）网络初始化：将在大型数据集ImageNet上预训练过的卷积神经网络的参数用于所述嵌入超图结构的卷积神经网络中的卷积层初始化；
2）网络框架：采用Pytorch框架，Epochs设置为30，Batch Size设置为8；
3）网络优化算法：使用SGD优化算法，动量因子设置为0.9，初始学习率设为0.001，每7个Epoch将学习率乘以0.1；
4）训练样本数据集：在包含10个类别的冰晶粒子图像的公开数据集ICDC中，每个类别随机选择其中约80%的图像数据；
5）训练环境：用GPU训练。
上述步骤2中，所述测试嵌入超图结构的卷积神经网络模型并保存测试效果最好的网络模型包括：
1）测试方式：在每个Epoch训练结束时，用同样的测试样本数据集对网络模型进行测试，并对测试得到的分类结果进行评价。
2）测试评价指标：计算网络模型对所有测试样本数据集的分类准确率，准确率定义如下公式所示：
Figure DEST_PATH_IMAGE017
；
其中
Figure DEST_PATH_IMAGE018
表示网络模型预测得出的第i个图像的类别，
Figure DEST_PATH_IMAGE019
是相应的真实类别值，M是测试时输入网络模型的图像的总数，
Figure DEST_PATH_IMAGE020
是相等函数，当且仅当
Figure 372716DEST_PATH_IMAGE019
等于
Figure 674253DEST_PATH_IMAGE018
时，等于1；网络模型的预测性能越好，则测试效果越好，即准确率越接近于1。
3）测试样本数据集：测试所用数据为在包含10个类别的冰晶粒子图像的公开数据集ICDC中，除训练样本数据集外的所有剩余图像数据。
4）测试环境：用GPU测试。
5）保存模型：在30次测试中，保存计算所得准确率最高的网络模型。
上述步骤4中，用所保存的网络模型对冰晶粒子图像进行预测，判断输入网络的冰晶粒子图像属于10类中的哪一类别，实现对冰晶粒子图像的自动分类。
采用上述方案后，本发明能够通过训练好的嵌入了超图结构的卷积神经网络模型对冰晶粒子图像进行自动分类，可以自动精确地完成冰晶粒子分类任务，特别是在训练数据较少的类别上，也可实现较高精度的自动分类。
附图说明
图1是本发明实施例提供的利用嵌入了超图结构的卷积神经网络模型实现冰晶粒子图像自动分类的流程图。
图2是本发明实施例提供的图结构和超图结构的示意图。
图3是本发明实施例提供的嵌入了超图结构的卷积神经网络模型的网络结构图。
图4是本发明实施例提供的嵌入了超图结构的卷积神经网络模型的构建超图的示意图。
图5是本发明实施例提供的VGG16、DenseNet169、ResNet152和Hy-INet四个模型的测试分类结果的PR曲线和AP值的宏观测评结果图。
图6是本发明实施例提供的VGG16、DenseNet169、ResNet152和Hy-INet四个模型的测试分类结果的PR曲线和AP值的微观测评结果图。
图7是本发明实施例提供的VGG16、DenseNet169、ResNet152和Hy-INet四个模型的测试分类结果的ROC曲线和AUC值的宏观测评结果图；(a)是标准比例的ROC曲线图；(b)是放大比例的ROC曲线图。
图8是本发明实施例提供的VGG16、DenseNet169、ResNet152和Hy-INet四个模型的测试分类结果的ROC曲线和AUC值的微观测评结果图；(a)是标准比例的ROC曲线图；(b)是放大比例的ROC曲线图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明的技术方案及有益效果进行详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
传统阈值分类方法根据专家经验，人为设置各项属性特征的阈值范围，具有主观性和不稳定性，以及存在着难以设定适宜通用阈值的难题，缺乏实用性；现有基于传统CNN网络的冰晶粒子图像分类方法，由于数据集样本分布不均衡，在小样本类别上的分类精度较低的问题。
针对上述技术问题，本发明提供了一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的嵌入超图卷积层的深度学习冰晶粒子图像分类方法包括：
S1，搭建一个嵌入超图结构的卷积神经网络模型用于冰晶粒子图像的10分类任务。
S2，使用包含10个类别的冰晶粒子图像的训练样本数据集对所述嵌入超图结构的卷积神经网络模型进行训练。
S3，使用冰晶粒子图像的测试样本数据集对所述嵌入超图结构的卷积神经网络模型进行分类测试，并保存测试效果最好的网络模型。
S4，使用S3所保存的网络模型对冰晶粒子图像进行自动分类。
步骤S1，搭建一个嵌入超图结构的卷积神经网络模型用于冰晶粒子图像的10分类任务，主要包含以下2个部分：
1）设计一个嵌入超图结构的卷积神经网络模型
本发明设计了一个嵌入超图结构的卷积神经网络模型，该网络模型可用于冰晶粒子图像的10分类任务。
传统CNN网络在特征提取方面有明显的优势，传统CNN通过池化操作能够获得不变性，有助于分析，但是同时一些局部信息也会丢失。如果数据发生旋转、倾斜，其效果会很差；同时，CNN很难解释部分与整体之间的关系。而图结构可以用边将相关联的特征连接起来，在一定程度上能表示特征间的关系如位置关系等。所以，在CNN获取了一定的特征过后，加入图结构，让相关特征能够连接起来，获取部分与整体间的关系。同时，我们进一步选择了超图结构，用超边来连接任意数量的相关特征，用超图结构来表示部分与整体间的关系。如图2所示，不同于图结构中的一条边只能连接两个顶点，超图结构中的一条超边可以连接两个及以上的顶点。超边连接顶点的个数具有可变性，从而超图可以表示更多样更复杂的关系，有助于提升特征间关系构建的灵活性和多样性；在此基础上，我们的模型可以从更多样的特征关系中学习到传统图结构获取不到的信息。因此超图结构的使用有助于获取更多的相关信息并提高在样本分布不均衡的冰晶数据集的分类精度。
网络模型的输入为224*224*3的RGB彩色冰晶粒子图像。
对于CNN网络，在浅层网络层中，卷积层获取到的是如轮廓、边缘等底层特征，深层网络层中，卷积层获取到的是更加抽象的高级特征。同时，由于一些类别的冰晶粒子本身的差异性不大，选择在浅层网络层间，在底层特征获取的基础上构建超图，能够更好的获取轮廓、位置等特征间的相关性。因此网络模型中用到了卷积层和超图卷积层两种不同卷积层，并将一个超图卷积层嵌入在了在ImageNet数据集（文献3）上分类表现最好的Resnet152网络（文献4）的第10个卷积层和第11个卷积层之间（如图3所示）。网络模型中，分别从局部特征空间和全局特征空间来构建超图（如图4所示）。超图卷积层输入的构建主要包含以下5个步骤：
1）从局部特征空间构建超边
由于图像的局部自相似性，与一个像素点相邻的像素很有可能具有较大的关联性。同时，可能用于分辨类别的最明显特征就出现在一个局部空间，围绕一个中心像素点结合周围像素点的上下文信息就可以推断出该图像的类别。为了获取到更细节的信息，因此建立在局部空间内的特征关系。具体构建方法如下：
在前一卷积层得到的特征图的基础上，选择中心像素点的八邻域中的像素点构成一条超边，以表示中心像素点周围的局部空间的特征关系；对位于边界上的中心像素点，则选择周围的三个或五个像素点来构成超边。
2）从全局特征空间构建超边
除了细节特征的把握，在整体上对图像进行全面的分析对分类来说也是至关重要的。一般情况下，通常会用KNN (K nearest neighbors) 方法通过某种相似性度量来单纯地计算两个像素点间的距离，选择中心顶点的K个全局最邻近点。而我们，在KNN的基础上加上了patch的思想，我们认为加入patch过后相当于在构建超边时，在考虑全局关系的时候也同时兼顾了局部关系，这将更有利于弥补传统CNN很难解释部分与整体之间关系的缺点。具体构建方法如下：
在前一卷积层得到的特征图的基础上，以除边界外的每个像素点为中心定义一个3×3大小的像素块，将像素块的3×3个像素值按从上到下、从左到右的顺序得到一个1*9的向量，并用该向量代表该像素块的中心像素点；计算两个1*9的向量的欧氏距离来代表两个中心像素点间的距离，由此得到每个像素点与其他像素点间的距离，然后选择每个像素点的3个全局最邻近像素点，从而构成超边，每条超边包含了含中心像素点在内的4个像素点。
3）由从局部和全局特征空间得到的超边构成最终的超图；
4）前一卷积层得到的特征图大小为X∈RC*H*W，其中C为通道数，H为高度，W为宽度；
5）在完成超图的构建后，将X∈RC*H*W改变维度为X∈RN*C，其中N为超图中的顶点个数，N= W*H，并将改变维度后的顶点特征矩阵X∈RN*C和构建的超图作为超图卷积层的输入。
在网络模型中，超图的定义如下公式所示：
Figure 550067DEST_PATH_IMAGE001
其中
Figure 128816DEST_PATH_IMAGE002
是超图的有限顶点集，
Figure 907416DEST_PATH_IMAGE003
是超图的超边集，
Figure 932135DEST_PATH_IMAGE004
是超边的权重矩阵。
然后，根据超图中顶点和超边的关系，进行超图卷积操作来更新顶点的像素值，计算公式如下公式所示：
Figure 579017DEST_PATH_IMAGE005
其中，
Figure 779317DEST_PATH_IMAGE006
表示非线性函数，
Figure 728818DEST_PATH_IMAGE007
表示超图中顶点的度矩阵，
Figure 880314DEST_PATH_IMAGE008
表示超图中超边的度矩阵，
Figure 980423DEST_PATH_IMAGE004
表示超边的权重矩阵，
Figure 268185DEST_PATH_IMAGE009
表示|
Figure 654167DEST_PATH_IMAGE002
|×|
Figure 794423DEST_PATH_IMAGE003
|维的点边关联矩阵，
Figure 783108DEST_PATH_IMAGE010
表示当前超图的顶点特征矩阵，
Figure 82633DEST_PATH_IMAGE011
为一个可学习的参数矩阵，
Figure 764151DEST_PATH_IMAGE012
为经过卷积运算后得到超图的顶点特征矩阵，X(.)的大小为RN*C，其中N为超图中的顶点个数， C为通道数。
接下来，每一个超图卷积层后都会跟着一个非线性激活函数Leaky ReLU和一个Dropout层防止过拟合，并设置Dropout层参数p为0.3。在进行卷积操作、非线性函数激活、Dropout后将数据的维度X∈RN*C转换回之前的维度大小X∈RB*C*H*W，以适应后一卷积层的输入大小。
然后，修改超图卷积层中输入层和输出层的特征通道数：第一层超图卷积层的输入通道数等于前一卷积层的输出通道数，最后一层超图卷积层的输出通道数等于后一卷积层的输入通道数。超图卷积层可直接嵌入到一个CNN分类网络模型中。
同时，网络模型的输出为1*10的一维向量，10个数值对应所述嵌入超图结构的卷积神经网络对输入网络的冰晶粒子图像的10个类别的预测概率，最大数值所对应的类别即为所述嵌入超图结构的卷积神经网络对输入网络的冰晶粒子图像的分类结果。
2）网络损失函数的设置
网络的损失函数选择交叉熵损失函数，其定义如下公式所示：
Figure 63807DEST_PATH_IMAGE013
；
其中N为样本个数，
Figure 387341DEST_PATH_IMAGE014
是输入的冰晶粒子图像，概率分布
Figure 541373DEST_PATH_IMAGE015
为期望输出，即冰晶粒子图像
Figure 128212DEST_PATH_IMAGE014
的真实类别，概率分布
Figure 243061DEST_PATH_IMAGE016
为实际输出，即网络模型对冰晶粒子图像
Figure 714494DEST_PATH_IMAGE014
预测得到的类别，损失越小，表明两者分布约接近即表明分类结果更好。
步骤S2，使用包含10个类别的冰晶粒子图像的训练样本数据集对所述嵌入超图结构的卷积神经网络模型进行训练，主要包含以下5个内容：
1）网络初始化：将在大型数据集ImageNet上预训练过的卷积神经网络的参数用于所述嵌入超图结构的卷积神经网络中的卷积层初始化；
2）网络框架：采用Pytorch框架，Epochs设置为30，Batch Size设置为8；
3）网络优化算法：使用SGD优化算法，动量因子设置为0.9，初始学习率设为0.001，每7个Epoch将学习率乘以0.1；
4）训练样本数据集：在包含10个类别的冰晶粒子图像的公开数据集ICDC中，每个类别随机选择其中约80%的图像数据。同时，由于现有数据集的样本数量较少，为了提高模型的泛化能力，我们对数据进行了预处理操作，如随机长宽比裁剪、随机水平翻转等操作以进行数据增强，实现在一定程度上的数据集扩充；以及对图像进行标准化处理，将图像数据通过去均值实现中心化的处理，根据凸优化理论与数据概率分布相关知识，数据中心化符合数据分布规律，更容易取得训练之后的泛化效果；此外，为了适应Resnet152模型的输入大小，我们将规范所有处理后的图像大小，选用了传统的插值算法双线性插值方法将图像大小统一到224*224。具体预处理操作如下：随机长宽比裁剪图像为原来的0.8到1倍之间，然后用双线性插值方法处理图像到256*256大小；随机水平翻转原始图像；对图像中心裁剪成224*224大小；进行逐像素标准化处理，即图像中每个通道的像素值减去对应通道的像素值的均值再除以标准差，实现数据中心化。其中，进行逐像素标准化处理时，RGB三个通道在训练集中的均值为0.035,0.274,0.593，标准差分别为0.069,0.210,0.301。
5）训练环境：用GPU训练。
步骤S3，使用冰晶粒子图像的测试样本数据集对所述嵌入超图结构的卷积神经网络模型进行分类测试，并保存测试效果最好的网络模型，主要包含以下5个内容：
1）测试方式：在每个Epoch训练结束时，用同样的测试样本数据集对网络模型进行测试，并对测试得到的分类结果进行评价。
2）测试评价指标：计算网络模型对所有测试样本数据集的分类准确率，准确率定义如下公式所示：
Figure 565775DEST_PATH_IMAGE017
；
其中
Figure 621718DEST_PATH_IMAGE018
表示网络模型预测得出的第i个图像的类别，
Figure 987977DEST_PATH_IMAGE019
是相应的真实类别值，M是测试时输入网络模型的图像的总数，
Figure 482675DEST_PATH_IMAGE020
是相等函数，当且仅当
Figure 719621DEST_PATH_IMAGE019
等于
Figure 789208DEST_PATH_IMAGE018
时，等于1；网络模型的预测性能越好，则测试效果越好，即准确率越接近于1。
3）测试样本数据集：测试所用数据为在包含10个类别的冰晶粒子图像的公开数据集ICDC中，除训练样本数据集外的所有剩余图像数据。并在输入网络前对其进行如下预处理操作：用双线性插值方法按照比例把图像最小的一个边长放缩到256，另一边按照相同比例放；对图像中心裁剪成224*224大小；进行逐像素标准化处理，即图像中每个通道的像素值减去对应通道的像素值的均值再除以标准差，实现数据中心化。其中，进行逐像素标准化处理时，RGB通道在测试集中的均值为0.036,0.279,0.600，标准差分别为0.070,0.211,0.301。
4）测试环境：用GPU测试。
5）保存模型：在30次测试中，保存计算所得准确率最高的网络模型。
步骤S4，使用S3所保存的网络模型对冰晶粒子图像进行自动分类，在输入网络模型前，将冰晶粒子图像进行与测试集相同的预处理操作，然后输入网络模型中，判断冰晶粒子图像属于10类中的哪一类别，实现对冰晶粒子图像的自动分类。
下证明部分（具体实施例/实验/仿真学分析/能够证明本发明创造性的正面实验数据、证据材料、鉴定报告、商业数据、研发证据、商业合作证据等）
下面结合具体实验对本发明作进一步描述。
1）实验设置
本发明所设计的网络模型（Hy-INet）将和三个经典的分类模型:VGG16、DenseNet169和ResNet152进行实验对比。实验中，Hy-INet模型将构建的每条超边的权重都设置为1。实验中对比模型也同样使用已经在ImageNet上预先训练过的参数进行初始化，并将最终的全连接层的输出更改为10，以对应数据集中的10个类别的预测。以上三个模型的训练方法与本发明相同，都是在同一个训练集上进行的。在训练过程中，将测试集中各模型预测准确率最高的模型保存下来，进行分析比较。
2）实验评测指标
2.1）准确率（Accuracy）
准确率定义如下公式所示：
Figure 878649DEST_PATH_IMAGE017
；
其中
Figure 550939DEST_PATH_IMAGE018
表示网络模型预测得出的第i个图像的类别，
Figure 268490DEST_PATH_IMAGE019
是相应的真实类别值，M是测试时输入网络模型的图像的总数，
Figure 633613DEST_PATH_IMAGE020
是相等函数，当且仅当
Figure 53093DEST_PATH_IMAGE019
等于
Figure 30538DEST_PATH_IMAGE018
时，等于1；网络模型的预测性能越好，则测试效果越好，即准确率越接近于1。
2.2）精确度（Precision）
指被分类器判定正例中的正样本的比重，其定义如下公式所示：
Figure DEST_PATH_IMAGE021
其中，
Figure DEST_PATH_IMAGE022
表示第i类的精确度；
Figure DEST_PATH_IMAGE023
表示真正（True Positive），指对于第i类，被模型预测为正的正样本个数；
Figure DEST_PATH_IMAGE024
表示假正（False Positive），指对于第i类，被模型预测为正的负样本个数。
2.3）宏观平均精确度（Macro-Precision）
多分类任务时，以宏观的方式权衡每一类的精确度的和,对所有类求简单算术平均值，其定义如下公式所示：
Figure DEST_PATH_IMAGE025
其中，
Figure 868175DEST_PATH_IMAGE022
表示第i类的精确度；N表示类别个数。
2.4）召回率（Recall）
指的是被预测为正例的占总的正例的比重，其定义如下公式所示：
Figure DEST_PATH_IMAGE026
其中，
Figure DEST_PATH_IMAGE027
表示第i类的召回率；
Figure 656396DEST_PATH_IMAGE023
表示真正（True Positive），指对于第i类，被模型预测为正的正样本个数；
Figure DEST_PATH_IMAGE028
表示假负（False Negative），指对于第i类，被model预测为负的正样本个数。
2.5）宏观平均召回率（Macro- Recall）
多分类任务时，以宏观的方式权衡每一类的召回率的和,对所有类求简单算术平均值，其定义如下公式所示：
Figure DEST_PATH_IMAGE029
其中，
Figure 376221DEST_PATH_IMAGE027
表示第i类的召回率；N表示类别个数。
2.6）F1值（F1）
对精确度和召回率进行综合考量，对精确度和召回率进行调和平均，当F1较高时则能说明试验方法比较有效。定义如下公式所示：
Figure DEST_PATH_IMAGE030
其中，
Figure DEST_PATH_IMAGE031
表示第i类的F1值；
Figure 461817DEST_PATH_IMAGE022
表示第i类的精确度；
Figure 262282DEST_PATH_IMAGE027
表示第i类的召回率。
2.7）宏观平均F1值（Macro-F1）
多分类任务时，以宏观的方式权衡每一类的F1值的和,对所有类求简单算术平均值，其定义如下公式所示：
Figure DEST_PATH_IMAGE032
其中，
Figure 454360DEST_PATH_IMAGE031
表示第i类的F1值。
2.8）查准率-查全率曲线（Precision-Recall曲线，PR曲线）和平均查准率（average precision，AP值）
PR曲线由水平轴召回率（Recall）和垂直精确度（Precision）推导而来。Recall反映了分类器覆盖正例的能力，precision反映了分类器预测正例的精度，PR曲线反映了两者之间的权衡。比较分类器好坏时，是查得又准又全的比较好，也就是的PR曲线越往坐标（1，1）的位置靠近越好。AP值为PR曲线下的面积。
2.9）相关操作特征曲线（receiver operating characteristic曲线，ROC曲线）和ROC曲线下的面积（Area Under Curve，AUC值）
ROC曲线是由True Postive Rate（TPR）和False Postive Rate（FPR）计算得来的，纵轴TPR代表分类器预测的正类中实际正实例占所有正实例的比例；横轴FPR代表分类器预测的正类中实际负实例占所有负实例的比例，所以ROC曲线越靠近（0，1）点，分类器效果越好。TPR和FPR定义如下公式所示：
Figure DEST_PATH_IMAGE033
Figure DEST_PATH_IMAGE034
AUC值则是ROC曲线下的面积，可以直观的评价分类器的好坏，值越大越好。
3）实验结果
将Hy-INet模型和VGG16、DenseNet169、ResNet152模型在测试过程中准确率最高的模型保存了下来，并对四个模型在测试集上的分类预测结果经行了定量分析。
3.1）宏观评测分类结果
整体上，对四个模型的准确率以及精确度、召回率、F1值的宏观平均值在测试集上的最好结果进行了评价。表1给出了VGG16、DenseNet169、ResNet152与Hy-INet四个模型的测试分类结果的在准确率、宏观平均精确度、宏观平均召回率、宏观平均F1值上的比较。
表1 VGG16、DenseNet169、ResNet152与Hy-INet的测试分类结果的准确率、宏观平均精确度、宏观平均召回率、宏观平均F1值比较
模型 准确率 宏观平均精确度 宏观平均召回率 宏观平均 F1值
VGG16 0.9574 0.9421 0.9559 0.9483
DenseNet169 0.9705 0.9723 0.9624 0.9668
ResNet152 0.9753 0.9703 0.9715 0.9705
Hy-INet 0.9808 0.9845 0.9762 0.9801
从表1可以发现Hy-INet模型的准确率为0.9808，高于ResNet152的0.9753，且Hy-INet模型在各项评价指标上均优于其他三个模型，且均超过了0.97。同时，VGG16、DenseNet169、ResNet152模型的各项评价指标均未超过0.98，而Hy-INet模型除召回率的宏观平均值为0.9762外，其余指标均超过了0.98。这表明了本发明所提出的Hy-INet模型在冰晶图像分类任务上是有效并且具有良好性能。
同时，本次实验还对四种模型的PR曲线和ROC曲线进行了分析比较，PR曲线下面积和ROC曲线下面积分别表示为对应的AP值和AUC值。它们的值越大，相关的分类效果越好。
图5是本发明实施例提供的在在VGG16、DenseNet169、ResNet152和Hy-INet四个模型上的测试分类结果的PR曲线和AP值的宏观测评结果图。
图6是本发明实施例提供的在在VGG16、DenseNet169、ResNet152和Hy-INet四个模型上的测试分类结果的PR曲线和AP值的微观测评结果图。
图7是本发明实施例提供的在在VGG16、DenseNet169、ResNet152和Hy-INet四个模型上的测试分类结果的ROC曲线和AUC值的宏观测评结果图；(a)是标准比例的ROC曲线图；(b)是放大比例的ROC曲线图。
图8是本发明实施例提供的在在VGG16、DenseNet169、ResNet152和Hy-INet四个模型上的测试分类结果的ROC曲线和AUC值的微观测评结果图；(a)是标准比例的ROC曲线图；(b)是放大比例的ROC曲线图。
从图5-图8可以见到Hy-INet模型得到的AP值和AUC值在宏观和微观平均值上都是最高的，这再次说明Hy-INet模型在冰晶分类任务中具有良好的性能。
3.2）评测各个类别分类结果
本次实验进一步评估了各类别的测试结果。表2给出了VGG16、DenseNet169、ResNet152与Hy-INet四个模型的测试分类结果的在各个类别上的精确度、召回率和F1值的比较。
表2 VGG16、DenseNet169、ResNet152与Hy-INet的测试分类结果的各类别精确度、召回率和F1值的比较
类别 数量 模型 精确度 召回率 F1值
Bud 200 VGG16 0.9458 0.9600 0.9529
Bud 200 DenseNet169 0.9559 0.9750 0.9653
Bud 200 ResNet152 0.9703 0.9800 0.9751
Bud 200 Hy-INet 0.9751 0.9800 0.9776
Cox 200 VGG16 0.9787 0.9200 0.9485
Cox 200 DenseNet169 0.9750 0.9750 0.9750
Cox 200 ResNet152 0.9657 0.9850 0.9752
Cox 200 Hy-INet 0.9752 0.9850 0.9801
Hoc 65 VGG16 0.9394 0.9538 0.9466
Hoc 65 DenseNet169 0.9552 0.9846 0.9697
Hoc 65 ResNet152 1.0000 0.9692 0.9844
Hoc 65 Hy-INet 1.0000 0.9692 0.9844
Loc 164 VGG16 0.9390 0.9390 0.9390
Loc 164 DenseNet169 0.9524 0.9756 0.9639
Loc 164 ResNet152 0.9266 1.0000 0.9619
Loc 164 Hy-INet 0.9371 1.0000 0.9676
Plt 128 VGG16 0.9457 0.9531 0.9494
Plt 128 DenseNet169 0.9756 0.9375 0.9562
Plt 128 ResNet152 1.0000 0.9688 0.9841
Plt 128 Hy-INet 1.0000 0.9766 0.9881
Ros 200 VGG16 0.9657 0.9850 0.9752
Ros 200 DenseNet169 0.9949 0.9750 0.9848
Ros 200 ResNet152 0.9948 0.9650 0.9797
Ros 200 Hy-INet 0.9949 0.9850 0.9899
Ser 17 VGG16 0.8000 0.9412 0.8649
Ser 17 DenseNet169 1.0000 0.8824 0.9375
Ser 17 ResNet152 0.8889 0.9412 0.9143
Ser 17 Hy-INet 1.0000 0.9412 0.9697
Shc 160 VGG16 0.9375 0.9375 0.9375
Shc 160 DenseNet169 0.9565 0.9625 0.9595
Shc 160 ResNet152 0.9868 0.9375 0.9615
Shc 160 Hy-INet 0.9870 0.9500 0.9682
Sir 162 VGG16 0.9876 0.9815 0.9845
Sir 162 DenseNet169 0.9936 0.9630 0.9781
Sir 162 ResNet152 0.9758 0.9938 0.9847
Sir 162 Hy-INet 0.9877 0.9877 0.9877
从表2的数据可以看出，除了Loc类别的precision较低为0.9371以外，其他所有类别的精确度都能够达到0.97以上，甚至Hoc、Plt和Ser类别的分类精确度达到了1.0。虽然Ser类别样本数据最少，仅使用70幅图像进行训练，但Hy-INet模型的精度达到1.0；同时，召回率和F1值在四种方法中都是最高的。此外，从表2的数据可以看出Hy-INet模型在每个类别中F1值的值最高，F1值可以对精确度和召回率的值进行加权，从而更好地评价分类模型。以上结果表明，本发明提出的超图卷积模块在样本小的情况下具有良好的学习能力，Hy-INet模型具有良好的泛化能力。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (10)

1.一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于包括如下步骤：
步骤1，搭建一个嵌入超图结构的卷积神经网络模型用于冰晶粒子图像的10分类任务；
步骤2，使用包含10个类别的冰晶粒子图像的训练样本数据集对所述嵌入超图结构的卷积神经网络模型进行训练；
步骤3，使用冰晶粒子图像的测试样本数据集对所述嵌入超图结构的卷积神经网络模型进行分类测试，并保存测试效果最好的网络模型；
步骤4，使用步骤3所保存的网络模型对冰晶粒子图像进行自动分类。
2.如权利要求1所述的一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于：所述步骤1中，所述嵌入超图结构的卷积神经网络模型，其网络结构包含了卷积层和超图卷积层，并将一个超图卷积层嵌入在了ResNet152网络的第10个卷积层和第11个卷积层之间。
3.如权利要求1所述的一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于：所述步骤1中，所述嵌入超图结构的卷积神经网络模型，其超图卷积层中，进行超图卷积层输入的构建，包括：
1）从局部特征空间构建超边：在前一卷积层得到的特征图的基础上，选择中心像素点的八邻域中的像素点构成一条超边，以表示中心像素点周围的局部空间的特征关系；对位于边界上的中心像素点，则选择周围的三个或五个像素点来构成超边；
2）从全局特征空间构建超边：在前一卷积层得到的特征图的基础上，以除边界外的每个像素点为中心定义一个3×3大小的像素块，将像素块的3×3个像素值按从上到下、从左到右的顺序得到一个1*9的向量，并用该向量代表该像素块的中心像素点；计算两个1*9的向量的欧氏距离来代表两个中心像素点间的距离，由此得到每个像素点与其他像素点间的距离，然后选择每个像素点的3个全局最邻近像素点，从而构成超边，每条超边包含了含中心像素点在内的4个像素点；
3）由从局部和全局特征空间得到的超边构成最终的超图；
4）前一卷积层得到的特征图大小为X∈RC*H*W，其中C为通道数，H为高度，W为宽度；
5）在完成超图的构建后，将X∈RC*H*W改变维度为X∈RN*C，其中N为超图中的顶点个数，N=W*H，并将改变维度后的顶点特征矩阵X∈RN*C和构建的超图作为超图卷积层的输入。
4.如权利要求1所述的一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于：所述步骤1中，所述嵌入超图结构的卷积神经网络模型，超图的定义如下公式所示：
Figure 338929DEST_PATH_IMAGE001
其中
Figure 48259DEST_PATH_IMAGE002
是超图的有限顶点集，
Figure 982585DEST_PATH_IMAGE003
是超图的超边集，
Figure 68353DEST_PATH_IMAGE004
是超边的权重矩阵。
5.如权利要求1所述的一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于：所述步骤1中，所述嵌入超图结构的卷积神经网络模型，其超图卷积层中，根据顶点和超边的关系，进行卷积操作来更新顶点的像素值，计算公式如下公式所示：
Figure 624099DEST_PATH_IMAGE005
其中，
Figure 795011DEST_PATH_IMAGE006
表示非线性函数，
Figure 701787DEST_PATH_IMAGE007
表示超图中顶点的度矩阵，
Figure 325666DEST_PATH_IMAGE008
表示超图中超边的度矩阵，
Figure 516345DEST_PATH_IMAGE004
表示超边的权重矩阵，
Figure 833057DEST_PATH_IMAGE009
表示|
Figure 227129DEST_PATH_IMAGE002
|×|
Figure 920279DEST_PATH_IMAGE003
|维的点边关联矩阵，
Figure 466929DEST_PATH_IMAGE010
表示当前超图的顶点特征矩阵，
Figure 220121DEST_PATH_IMAGE011
为一个可学习的参数矩阵，
Figure 101489DEST_PATH_IMAGE012
为经过卷积运算后得到超图的顶点特征矩阵，X(.)的大小为RN*C，其中N为超图中的顶点个数， C为通道数。
6.如权利要求1所述的一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于：所述步骤1中，所述嵌入超图结构的卷积神经网络模型，其超图卷积层中，每一个超图卷积层后都会跟着一个非线性激活函数Leaky ReLU和一个Dropout层防止过拟合，并设置Dropout层参数p为0.3。
7.如权利要求1所述的一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于：所述步骤1中，所述嵌入超图结构的卷积神经网络模型，其超图卷积层中，在进行卷积操作、非线性函数激活、Dropout后将数据的维度X∈RN*C转换回之前的维度大小X∈RB *C*H*W，以适应后一卷积层的输入大小。
8.如权利要求1所述的一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于：所述步骤1中，所述嵌入超图结构的卷积神经网络模型，其超图卷积层中，超图卷积层的输入通道数等于前一卷积层的输出通道数，超图卷积层的输出通道数等于后一卷积层的输入通道数。
9.如权利要求1所述的一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于：所述步骤1中，所述嵌入超图结构的卷积神经网络模型的输出为1*10的一维向量，向量中的10个数值对应所述嵌入超图结构的卷积神经网络模型对输入网络的冰晶粒子图像的10个类别的预测概率，最大数值所对应的类别即为所述嵌入超图结构的卷积神经网络模型对输入网络的冰晶粒子图像的分类结果。
10.如权利要求1所述的一种嵌入超图卷积层的深度学习冰晶粒子图像分类方法，其特征在于：所述步骤2中，所述测试嵌入超图结构的卷积神经网络模型并保存测试效果最好的网络模型包括：
1）测试方式：在每个Epoch训练结束时，用同样的测试样本数据集对网络模型进行测试，并对测试得到的分类结果进行评价；
2）测试评价指标：计算网络模型对所有测试样本数据集的分类准确率，准确率定义如下公式所示：
Figure 67171DEST_PATH_IMAGE013
；
其中
Figure 966863DEST_PATH_IMAGE014
表示网络模型预测得出的第i个图像的类别，
Figure 890957DEST_PATH_IMAGE015
是相应的真实类别值，M是测试时输入网络模型的图像的总数，
Figure 728463DEST_PATH_IMAGE016
是相等函数，当且仅当
Figure 245638DEST_PATH_IMAGE015
等于
Figure 16148DEST_PATH_IMAGE014
时，等于1；网络模型的预测性能越好，则测试效果越好，即准确率越接近于1；
3）测试样本数据集：测试所用数据为在包含10个类别的冰晶粒子图像的公开数据集ICDC中，除训练样本数据集外的所有剩余图像数据；
4）测试环境：用GPU测试；
5）保存模型：在30次测试中，保存计算所得准确率最高的网络模型。
CN202110343928.XA 2021-03-31 2021-03-31 嵌入超图卷积层的深度学习冰晶粒子图像分类方法 Active CN112733968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110343928.XA CN112733968B (zh) 2021-03-31 2021-03-31 嵌入超图卷积层的深度学习冰晶粒子图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110343928.XA CN112733968B (zh) 2021-03-31 2021-03-31 嵌入超图卷积层的深度学习冰晶粒子图像分类方法

Publications (2)

Publication Number Publication Date
CN112733968A true CN112733968A (zh) 2021-04-30
CN112733968B CN112733968B (zh) 2021-07-27

Family

ID=75596182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110343928.XA Active CN112733968B (zh) 2021-03-31 2021-03-31 嵌入超图卷积层的深度学习冰晶粒子图像分类方法

Country Status (1)

Country Link
CN (1) CN112733968B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554127A (zh) * 2021-09-18 2021-10-26 南京猫头鹰智能科技有限公司 一种基于混合模型的图像识别方法和设备、介质
CN114677499A (zh) * 2022-04-11 2022-06-28 成都信息工程大学 一种云微粒子图像粒子区域定位方法
CN114944053A (zh) * 2022-03-16 2022-08-26 浙江工业大学 一种基于时空超图神经网络的交通流预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
US20180292826A1 (en) * 2017-04-11 2018-10-11 Defelice Thomas Peter Intelligent systems for weather modification programs
CN111369506A (zh) * 2020-02-26 2020-07-03 四川大学 一种基于眼部b超图像的晶状体浑浊度分级方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
US20180292826A1 (en) * 2017-04-11 2018-10-11 Defelice Thomas Peter Intelligent systems for weather modification programs
CN111369506A (zh) * 2020-02-26 2020-07-03 四川大学 一种基于眼部b超图像的晶状体浑浊度分级方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554127A (zh) * 2021-09-18 2021-10-26 南京猫头鹰智能科技有限公司 一种基于混合模型的图像识别方法和设备、介质
CN113554127B (zh) * 2021-09-18 2021-12-28 南京猫头鹰智能科技有限公司 一种基于混合模型的图像识别方法和设备、介质
CN114944053A (zh) * 2022-03-16 2022-08-26 浙江工业大学 一种基于时空超图神经网络的交通流预测方法
CN114677499A (zh) * 2022-04-11 2022-06-28 成都信息工程大学 一种云微粒子图像粒子区域定位方法
CN114677499B (zh) * 2022-04-11 2023-04-18 成都信息工程大学 一种云微粒子图像粒子区域定位方法

Also Published As

Publication number Publication date
CN112733968B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN112733968B (zh) 嵌入超图卷积层的深度学习冰晶粒子图像分类方法
Castello et al. Deep learning in the built environment: Automatic detection of rooftop solar panels using Convolutional Neural Networks
US11544900B2 (en) Primitive-based 3D building modeling, sensor simulation, and estimation
Ghamisi et al. Multilevel image segmentation based on fractional-order Darwinian particle swarm optimization
Liu et al. Enhancing spectral unmixing by local neighborhood weights
CN105260738B (zh) 基于主动学习的高分辨率遥感影像变化检测方法及***
CN107491734B (zh) 基于多核融合与空间Wishart LapSVM的半监督极化SAR图像分类方法
CN109325484A (zh) 基于背景先验显著性的花卉图像分类方法
CN114444791A (zh) 一种基于机器学习的洪涝灾害遥感监测评估方法
CN106650744B (zh) 局部形状迁移指导的图像对象共分割方法
CN113313164A (zh) 一种基于超像素分割与图卷积的数字病理图像分类方法及***
CN115641327B (zh) 一种基于大数据的建筑工程质量监理和预警***
Zhao et al. Spectral-spatial genetic algorithm-based unsupervised band selection for hyperspectral image classification
Chen et al. Agricultural remote sensing image cultivated land extraction technology based on deep learning
CN115810149A (zh) 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法
CN111339924A (zh) 一种基于超像素和全卷积网络的极化sar图像分类方法
Rubio et al. Adaptive non-parametric identification of dense areas using cell phone records for urban analysis
CN114841978A (zh) 图像分区方法、装置、设备及可读存储介质
Omran et al. Particle swarm optimization for pattern recognition and image processing
CN111191704A (zh) 一种基于任务图卷积网络的地基云分类方法
CN114117073A (zh) 一种机群意图识别方法、装置、计算机设备及可读介质
CN112329818B (zh) 基于图卷积网络嵌入表征的高光谱图像非监督分类方法
CN113591608A (zh) 一种基于深度学习的高分辨率遥感影像不透水面提取方法
Liang et al. Human-guided flood mapping: From experts to the crowd
CN115273645B (zh) 一种室内面要素自动聚类的地图制图方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant