CN110263863A - 基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法 - Google Patents

基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法 Download PDF

Info

Publication number
CN110263863A
CN110263863A CN201910547744.8A CN201910547744A CN110263863A CN 110263863 A CN110263863 A CN 110263863A CN 201910547744 A CN201910547744 A CN 201910547744A CN 110263863 A CN110263863 A CN 110263863A
Authority
CN
China
Prior art keywords
network
bilinearity
mushroom
feature
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910547744.8A
Other languages
English (en)
Other versions
CN110263863B (zh
Inventor
袁培森
申成吉
任守纲
顾兴健
车建华
徐焕良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Agricultural University
Original Assignee
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Agricultural University filed Critical Nanjing Agricultural University
Priority to CN201910547744.8A priority Critical patent/CN110263863B/zh
Publication of CN110263863A publication Critical patent/CN110263863A/zh
Application granted granted Critical
Publication of CN110263863B publication Critical patent/CN110263863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法，其主要步骤为：(1)建立基于迁移学习与双线性的细粒度菌类表型识别模型；(2)基于识别模型进行迁移学习与训练；(3)将图像输入识别模型后进行预处理；(4)对预处理后的图像数据进行特征提取。本发明将两个对称InceptionResNetV2特征提取网络提取到的特征结合起来，得到更细粒度的特征，使识别效果更好；并且使用基于模型的迁移学习训练方法，将在ImageNet数据集上预训练好的特征提取网络参数权重迁移到菌类细粒度表型数据集上，能够在较短的训练时间内，达到更好的收敛性能，使识别结果更好。

Description

基于迁移学习与双线性InceptionResNetV2的细粒度菌类表 型识别方法
技术领域
本发明属于计算机、人工智能及图像处理领域，具体涉及到一种基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法。
背景技术
细粒度图像识别(Fine-grained Image Recognition)目前已经应用于车型识别、鸟类识别等领域，但是因菌类的类别数量多，且不同子类相似度高，识别难度大，目前没有专门可用于菌类表型识别的产品。
虽然目前市场上存在一些细粒度图像识别技术，但均不能对菌类进行较好的细粒度表型识别。具体主要有以下一些问题需要解决：
(1)如何使用基于模型的迁移学习方法将ImageNet数据集上预训练好的模型权重迁移到菌类的细粒度表型识别模型中，降低所需的数据量和训练时间，得到更好的初始性能和收敛性能。
(2)如何使用双线性汇合操作将两个特征提取网络提取到的图像特征进行结合，获得更细粒度的特征用于图像识别。
(3)如何使用特征提取能力更强的InceptionResNetV2特征提取网络进行图像的特征提取，获得更好的特征进行双线性汇合操作。
发明内容
本发明的目的在于克服上述现有技术存在的不足，提供一种基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法，该方法可以根据细粒度菌类表型数据集训练模型并识别不同种类的细粒度菌类表型图像。
为实现上述目的，本发明采取的技术方案是：一种基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法，其包括以下步骤：
步骤1、建立基于迁移学习与双线性的细粒度菌类表型识别模型；
步骤2、基于识别模型进行迁移学习与训练；
步骤3、将图像输入识别模型后进行预处理；
步骤4、对预处理后的图像数据进行特征提取；采用对称结构的InceptionResNetV2特征提取网络提取图像中的特征向量，然后对提取出的特征向量和其自生的转置进行双线性汇合操作得到图片各个位置的双线性特征矩阵，并将双线性特征矩阵转化为双线性特征向量，最后通过全连接层后接softmax层对双线性特征向量进行多分类得到各类别概率。
进一步的，所述步骤3中的预处理包括中心化、归一化、缩放、随机裁剪和随机水平翻转。
更进一步的，任意大小的图像数据输入网络识别模型后，首先减去整个数据集的平均值并除以整个数据集的标准差进行中心化和归一化处理，之后图像被缩放至短边为448个像素，并使用随机裁剪的方式从图像中裁剪出448*448的正方形图像区域，最后随机对图像进行水平翻转。
进一步的，所述步骤4中采用Inception系列网络模型中的InceptionResNetV2网络进行特征提取，且在InceptionResNetV2特征提取网络中加入了残差块。
更进一步的，所述InceptionResNetV2网络的前7层由三层卷积层、一层最大池化层、两层卷积层、一层最大池化层组成，之后重复10次具有三个分支的残差Inception模块，又通过一个较简单的Inception模块，再经过20次具有两个分支的残差Inception模块，又通过一个4个分支的Inception模块，最后经过10次具有两个分支的残差Inception模块，再通过一个卷积层得到输出结果。
进一步的，双线性模型B由四元组组成，如公式(1)所示，
B＝(fA,fB,P,C) (4)
其中fA和fB是特征函数，P是模型的池化函数，C是菌类的分类函数；
输出的特征由每个位置上的特征使用矩阵的外积组合而来，如公式(2)所示，
bilinear(L,I,fA,fB)＝fA(L,I)TfB(L,I) (5)
其中L表示位置和尺度，I表示图片；如果两个特征函数的提取出特征的维度分别为(K,M)和(K,N)，则经过bilinear双线性汇合操作后，维度变成(M,N)，若使用求和池化来综合各个位置的特征，则如公式(3)所示，
其中Φ(I)表示全局的图片特征表示；
最后将双线性特征向量x＝Φ(I)经过符号平方根变换并增加L2正则化再输入分类器得到最后的分类结果。
进一步的，训练过程分为两个步骤：
(1)首先固定InceptionResNetV2特征提取网络加载的在ImageNet数据集上得到的预训练参数，只允许训练最后的全连接层随机初始化的参数；
(2)待网络收敛后，再解固InceptionResNetV2特征提取网络的参数，使用较小的学习率进行微调。
进一步的，总的训练流程如下：
(1)构建基于迁移学习与双线性的细粒度菌类表型识别模型，其中包含InceptionResNetV2作为特征提取网络；
(2)使用ImageNet预训练模型初始化InceptionResNetV2特征提取网络，使用Glorot正常初始化器对全连接层参数进行初始化；
(3)将InceptionResNetV2特征提取网络的参数固定，使之后的训练过程无法通过反向传播更新此部分的参数值；
(4)从输入管道中获取图像预处理之后的训练样本，batch大小为8，图像大小为448*448；
(5)将(4)获取到的批次训练样本输入网络模型，经过特征提取与双线性汇合操作以及全连接层，最后通过softmax计算各类别的概率；
(6)使用类别交叉熵损失函数计算网络模型的损失值；
(7)通过计算梯度值，使用SGD优化器，设置初始学习速率为1.0，学习率衰减为1e-8，动量Momentum设置为0.9，将误差反向传播回整个网络，更新全连接层的参数；
(8)判断是否达到指定迭代次数100或满足验证损失值10个迭代变化不超过0.001的早停法条件，若是，认为网络已经收敛，则进入步骤(9)，若否则重新进入步骤(4)；
(9)改变SGD优化器的学习速率至0.001；
(10)解除对InceptionResNetV2特征提取网络预训练参数的固定，使网络可以通过反向传播更新此部分的参数值；
(11)从输入管道中获取图像预处理之后的训练样本，batch大小为8，图像大小为448*448；
(12)将(11)获取到的批次训练样本输入网络模型，经过特征提取与双线性汇合操作以及全连接层，最后通过softmax计算各类别的概率；
(13)使用类别交叉熵损失函数计算网络模型的损失值；
(14)通过计算梯度值，使用SGD优化器，设置初始学习速率为0.001，学习率衰减为1e-8，动量Momentum设置为0.9，将误差反向传播回整个网络，更新网络每一层的参数；
(15)判断是否达到指定迭代次数70或满足验证损失值10个迭代变化不超过0.001的早停法条件，若是，认为网络已经收敛，则进入步骤(16)，若否则重新进入步骤(11)；
(16)通过测试集计算网络模型的准确率、精确率、召回率、F1值。
本发明的有益效果为：(1)使用双线性汇合，将两个对称InceptionResNetV2特征提取网络提取到的特征结合起来，得到更细粒度的特征，使识别效果更好。(2)使用了基于模型的迁移学习训练方法，将在ImageNet数据集上预训练好的特征提取网络参数权重迁移到菌类细粒度表型数据集上，能够在较短的训练时间内，达到更好的收敛性能，使识别结果更好。
本发明分别与使用对称VGG16和对称VGG19模型在菌类细粒度表型数据集上的准确率、精确率、召回率、F1值四项结果进行了对比，如表1所示。
表1结果
从表中可以看出，本发明提出的使用对称InceptionResNetV2网络的基于迁移学习与双线性的细粒度菌类表型识别模型效果最好，达到了0.90的准确率、0.91的精确率、0.90的召回率、0.90的F1值，且在各项指标上均高出其他方法约2％～6％。
附图说明
图1是双线性InceptionResNetV2的细粒度菌类表型识别模型框架。
图2是预处理流程图。
图3是Inception模块网络结构。
图4是InceptionResNetV2整体网络结构。
图5是迁移学习示意图。
图6是训练流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
一、网络模型
本发明选取InceptionResNetV2网络作为Bilinear CNN网络中的特征提取网络，希望借助更深的网络带来的更强的特征提取能力来提升整体网络模型的效果。
由此得到了基于迁移学***翻转的预处理过程，之后经由对称结构的InceptionResNetV2特征提取网络得到从图像中提取出的特征向量，然后对提取出的特征向量和其自生的转置进行双线性汇合操作得到图片各个位置的双线性特征矩阵，并将双线性特征矩阵转化为双线性特征向量，最后通过全连接层后接softmax层对双线性特征向量进行多分类得到各类别概率。在本发明中涉及到的菌类类别名称有：Amanita vaginata var.vaginata，Xerocomus subtomentosus，Conocybealbipes，Cortinarius rubellus，Helvella crispa，Cuphophyllus flavipes，Hygrocybereidii，Inocybe erubescens，Lyophyllum fumosum，Russula pectinatoides，Tricholomafulvum，Tricholoma sciodes，Lycoperdon utriforme，Rhodocollybia butyraceaf.asema。
1、图像输入与预处理
任意大小的图像数据输入网络模型后首先会减去整个数据集的平均值并除以整个数据集的标准差进行中心化和归一化处理，其目的是为了让数据缩放到0值附近且不改变数据的分布，减少不同样本在计算梯度时的差别，加速网络的收敛。
之后图像会被缩放至短边为448个像素，并使用随机裁剪的方式从图像中裁剪出448*448的正方形图像区域，最后图像会被随机的水平翻转。随机裁剪与随机水平翻转等预处理手段都是为了增加数据集的多样性，使网络模型具有更好的泛化性能。由于菌类数据集的特点，菌类的生长方向是由下往上的，故只采用了水平翻转而非垂直翻转。
图像色彩使用RGB三个通道来表示，故经过预处理后的图像数据大小为448*448*3，随后该数据会被送入特征提取网络进行处理，总的预处理过程如图2所示。
2、特征提取网络
基于迁移学习与双线性的细粒度菌类表型识别模型的特征提取网络使用InceptionResNetV2网络构成。如图3所示，通过使用多个卷积核在4个分支并行处理再合并的结构(Bottleneck Layer)，提高了网络的宽度，增加了网络对不同大小尺度的接受能力，由此解决了深度神经网络参数太多、计算复杂度太大、梯度弥散等问题。使用拆分卷积操作进行合理的维度分解，在保持细节特征在不大量丢失的情况下，这样的维度分解操作能节约许多参数量，减少了计算消耗从而加速了网络的收敛速度，同时进一步加深了网络的深度，提高了网络的非线性。
InceptionResNetV2特征提取网络的总体结构如图4所示，通过参考微软的残差网络，加入了残差块的设计，使得参数能够通过一些网络中的捷径跳过一些层进行传播，这样的设计能解决在更深层的网络结构下梯度消失等问题，从而使超深层的网络训练成为可能，在更深层的网络结构下，能够获得更好的训练效果。InceptionResNetV2网络的前7层是由三层卷积层、一层最大池化层、两层卷积层、一层最大池化层组成的，之后重复了10次具有三个分支的残差Inception模块，又通过一个较简单的Inception模块，再经过20次具有两个分支的残差Inception模块，又通过一个4个分支的Inception模块，最后经过10次具有两个分支的残差Inception模块，再通过一个卷积层得到了输出结果。
InceptionResNetV2特征提取网络主要层的参数如表1所示，其中只列举了前7层卷积和最大池化层及每个残差Inception模块的合并层、卷积层、残差层和最后一个卷积层，每个卷积层后都接着Batch Normalization层和ReLU层。图像从进入输入层维度大小为448*448*3开始，通过不断卷积增加图像的深度，最大池化层减半图像的维度，残差Inception模块维持了图像的维度大小不变，且每经过一个残差Inception模块，图像的长宽减小深度增加，最后输出时的维度大小为12*12*1536，总参数量为54336736。
表1 InceptionResNetV2特征提取网络主要层的参数
3、双线性汇合与分类
双线性是指对于函数f(x,y)，当固定其中一个参数例如x时，该函数f(x,y)对另一个参数y是线性的。在本发明中，双线性模型B由四元组组成，如公式(1)所示，
B＝(fA,fB,P,C) (7)
其中fA和fB是特征函数，P是模型的池化函数，C是菌类的分类函数。
特征函数f即本发明中的特征提取网络的作用是将输入的图片和位置映射成c×D大小的特征，D是指深度。本发明中输出的特征由每个位置上的特征使用矩阵的外积组合而来，如公式(2)所示，
bilinear(L,I,fA,fB)＝fA(L,I)TfB(L,I) (8)
其中L表示位置和尺度，I表示图片。如果两个特征函数的提取出特征的维度分别为(K,M)和(K,N)，则经过bilinear双线性汇合操作后，维度变成(M,N)。若使用求和池化来综合各个位置的特征，则如公式(3)所示，
其中Φ(I)表示全局的图片特征表示。
最后将双线性特征向量x＝Φ(I)经过符号平方根变换并增加L2正则化再输入分类器得到最后的分类结果。
在本发明中，通过InceptionResNetV2特征提取网络提取出的特征长度与宽度均为12，深度为1536。对特征向量进行双线性汇合操作首先需要将三维的特征向量reshape为二维的特征向量，得到144*1536的特征向量。接下来将特征向量进行转置得到1536*144维度大小的特征向量，使用原特征向量与转置后的特征向量进行矩阵外积，即双线性汇合操作，得到维度大小为1536*1536的双线性特征向量。将双线性特征向量展平为大小是2359296的一维双线性特征向量，加上符号平方根变换和L2正则化层，随后使用全连接层，通过softmax进行多分类，全连接层的参数量为33030158。
二、迁移学习
在本发明中，使用了基于模型的迁移学习，使用具有约1419万张图片的ImageNet数据集作为源域，ImageNet数据集中包含很多的类别，其中存在植物、蘑菇等和本发明菌类目标任务相似的类别，通过将ImageNet数据集上预训练好的模型权重迁移到本发明的菌类数据集上，如图5所示，不仅降低了所需的数据量，还能得到更高的初始性能，更快的训练速度，更好的收敛性能。
预训练模型从Keras预训练模型库中取得，随后加载进基于迁移学习与双线性的细粒度菌类表型识别模型中，训练的过程分为两个步骤：
(1)首先固定InceptionResNetV2特征提取网络加载的在ImageNet数据集上得到的预训练参数，只允许训练最后的全连接层随机初始化的参数。
(2)待网络收敛后，再解固InceptionResNetV2特征提取网络的参数，使用较小的学习率进行微调。
第一步固定InceptionResNetV2网络预训练参数的原因在于，添加的全连接层是随机初始化的，一开始会产生较大的损失值进而产生较大的梯度，容易破坏掉预训练好的参数，所以要在全连接层收敛之后再使用较小的学习率微调整个模型。
本发明的迁移学习的预训练模型优化器使用随机梯度下降(StochasticGradient Descent,SGD)算法作为优化器，
总的训练流程如图6所示，具体步骤如下：
(1)构建基于迁移学习与双线性的细粒度菌类表型识别模型，其中包含InceptionResNetV2作为特征提取网络；
(2)使用ImageNet预训练模型初始化InceptionResNetV2特征提取网络，使用Glorot正常初始化器对全连接层参数进行初始化；
(3)将InceptionResNetV2特征提取网络的参数固定，使之后的训练过程无法通过反向传播更新此部分的参数值；
(4)从输入管道中获取图像预处理之后的训练样本，batch大小为8，图像大小为448*448；
(5)将(4)获取到的批次训练样本输入网络模型，经过特征提取与双线性汇合操作以及全连接层，最后通过softmax计算各类别的概率；
(6)使用类别交叉熵损失函数计算网络模型的损失值；
(7)通过计算梯度值，使用SGD优化器，设置初始学习速率为1.0，学习率衰减为1e-8，动量Momentum设置为0.9，将误差反向传播回整个网络，更新全连接层的参数；
(8)判断是否达到指定迭代次数100或满足验证损失值10个迭代变化不超过0.001的早停法条件，若是，认为网络已经收敛，则进入步骤(9)，若否则重新进入步骤(4)；
(9)改变SGD优化器的学习速率至0.001；
(10)解除对InceptionResNetV2特征提取网络预训练参数的固定，使网络可以通过反向传播更新此部分的参数值；
(11)从输入管道中获取图像预处理之后的训练样本，batch大小为8，图像大小为448*448；
(12)将(11)获取到的批次训练样本输入网络模型，经过特征提取与双线性汇合操作以及全连接层，最后通过softmax计算各类别的概率；
(13)使用类别交叉熵损失函数计算网络模型的损失值；
(14)通过计算梯度值，使用SGD优化器，设置初始学习速率为0.001，学习率衰减为1e-8，动量Momentum设置为0.9，将误差反向传播回整个网络，更新网络每一层的参数；
(15)判断是否达到指定迭代次数70或满足验证损失值10个迭代变化不超过0.001的早停法条件，若是，认为网络已经收敛，则进入步骤(16)，若否则重新进入步骤(11)；
(16)通过测试集计算网络模型的准确率、精确率、召回率、F1值。
以上显示和描述了本发明的基本原理、主要特征和优点。本领域的普通技术人员应该了解，上述实施例不以任何形式限制本发明的保护范围，凡采用等同替换等方式所获得的技术方案，均落于本发明的保护范围内。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims (8)

1.一种基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法，其特征在于包括以下步骤：
步骤1、建立基于迁移学习与双线性的细粒度菌类表型识别模型；
步骤2、基于识别模型进行迁移学习与训练；
步骤3、将图像输入识别模型后进行预处理；
步骤4、对预处理后的图像数据进行特征提取；采用对称结构的InceptionResNetV2特征提取网络提取图像中的特征向量，然后对提取出的特征向量和其自生的转置进行双线性汇合操作得到图片各个位置的双线性特征矩阵，并将双线性特征矩阵转化为双线性特征向量，最后通过全连接层后接softmax层对双线性特征向量进行多分类得到各类别概率。
2.根据权利要求1所述的基于迁移学***翻转。
3.根据权利要求2所述的基于迁移学***均值并除以整个数据集的标准差进行中心化和归一化处理，之后图像被缩放至短边为448个像素，并使用随机裁剪的方式从图像中裁剪出448*448的正方形图像区域，最后随机对图像进行水平翻转。
4.根据权利要求1所述的基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法，其特征在于，所述步骤4中采用Inception系列网络模型中的InceptionResNetV2网络进行特征提取，且在InceptionResNetV2特征提取网络中加入了残差块。
5.根据权利要求4所述的基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法，其特征在于，所述InceptionResNetV2网络的前7层由三层卷积层、一层最大池化层、两层卷积层、一层最大池化层组成，之后重复10次具有三个分支的残差Inception模块，又通过一个较简单的Inception模块，再经过20次具有两个分支的残差Inception模块，又通过一个4个分支的Inception模块，最后经过10次具有两个分支的残差Inception模块，再通过一个卷积层得到输出结果。
6.根据权利要求1所述的基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法，其特征在于，双线性模型B由四元组组成，如公式(1)所示，
B＝(fA,fB,P,C) (1)
其中fA和fB是特征函数，P是模型的池化函数，C是菌类的分类函数；
输出的特征由每个位置上的特征使用矩阵的外积组合而来，如公式(2)所示，
bilinear(L,I,fA,fB)＝fA(L,I)TfB(L,I) (2)
其中L表示位置和尺度，I表示图片；如果两个特征函数的提取出特征的维度分别为(K,M)和(K,N)，则经过bilinear双线性汇合操作后，维度变成(M,N)，若使用求和池化来综合各个位置的特征，则如公式(3)所示，
其中Φ(I)表示全局的图片特征表示；
最后将双线性特征向量x＝Φ(I)经过符号平方根变换并增加L2正则化再输入分类器得到最后的分类结果。
7.根据权利要求1所述的基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法，其特征在于，训练过程分为两个步骤：
(1)首先固定InceptionResNetV2特征提取网络加载的在ImageNet数据集上得到的预训练参数，只允许训练最后的全连接层随机初始化的参数；
(2)待网络收敛后，再解固InceptionResNetV2特征提取网络的参数，使用较小的学习率进行微调。
8.根据权利要求1或7所述的基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法，其特征在于，总的训练流程如下：
(1)构建基于迁移学习与双线性的细粒度菌类表型识别模型，其中包含InceptionResNetV2作为特征提取网络；
(2)使用ImageNet预训练模型初始化InceptionResNetV2特征提取网络，使用Glorot正常初始化器对全连接层参数进行初始化；
(3)将InceptionResNetV2特征提取网络的参数固定，使之后的训练过程无法通过反向传播更新此部分的参数值；
(4)从输入管道中获取图像预处理之后的训练样本，batch大小为8，图像大小为448*448；
(5)将(4)获取到的批次训练样本输入网络模型，经过特征提取与双线性汇合操作以及全连接层，最后通过softmax计算各类别的概率；
(6)使用类别交叉熵损失函数计算网络模型的损失值；
(7)通过计算梯度值，使用SGD优化器，设置初始学习速率为1.0，学习率衰减为1e-8，动量Momentum设置为0.9，将误差反向传播回整个网络，更新全连接层的参数；
(8)判断是否达到指定迭代次数100或满足验证损失值10个迭代变化不超过0.001的早停法条件，若是，认为网络已经收敛，则进入步骤(9)，若否则重新进入步骤(4)；
(9)改变SGD优化器的学习速率至0.001；
(10)解除对InceptionResNetV2特征提取网络预训练参数的固定，使网络可以通过反向传播更新此部分的参数值；
(11)从输入管道中获取图像预处理之后的训练样本，batch大小为8，图像大小为448*448；
(12)将(11)获取到的批次训练样本输入网络模型，经过特征提取与双线性汇合操作以及全连接层，最后通过softmax计算各类别的概率；
(13)使用类别交叉熵损失函数计算网络模型的损失值；
(14)通过计算梯度值，使用SGD优化器，设置初始学习速率为0.001，学习率衰减为1e-8，动量Momentum设置为0.9，将误差反向传播回整个网络，更新网络每一层的参数；
(15)判断是否达到指定迭代次数70或满足验证损失值10个迭代变化不超过0.001的早停法条件，若是，认为网络已经收敛，则进入步骤(16)，若否则重新进入步骤(11)；
(16)通过测试集计算网络模型的准确率、精确率、召回率、F1值。
CN201910547744.8A 2019-06-24 2019-06-24 基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法 Active CN110263863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910547744.8A CN110263863B (zh) 2019-06-24 2019-06-24 基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910547744.8A CN110263863B (zh) 2019-06-24 2019-06-24 基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法

Publications (2)

Publication Number Publication Date
CN110263863A true CN110263863A (zh) 2019-09-20
CN110263863B CN110263863B (zh) 2021-09-10

Family

ID=67920752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910547744.8A Active CN110263863B (zh) 2019-06-24 2019-06-24 基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法

Country Status (1)

Country Link
CN (1) CN110263863B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781921A (zh) * 2019-09-25 2020-02-11 浙江农林大学 一种基于深度残差网络与迁移学习的毒蕈图像识别方法和装置
CN111401122A (zh) * 2019-12-27 2020-07-10 航天信息股份有限公司 一种基于知识分类的复杂目标渐近识别方法及装置
CN111462068A (zh) * 2020-03-30 2020-07-28 华南理工大学 一种基于迁移学习的螺钉螺母检测方法
CN111613287A (zh) * 2020-03-31 2020-09-01 武汉金域医学检验所有限公司 基于Glow网络的报告单编码模型生成方法、***和设备
CN111666984A (zh) * 2020-05-20 2020-09-15 海南电网有限责任公司电力科学研究院 一种基于迁移学习的过电压智能识别方法
CN111709326A (zh) * 2020-05-29 2020-09-25 安徽艾睿思智能科技有限公司 基于深度学习的级联式颗粒作物质量分析方法及其***
CN111860601A (zh) * 2020-06-22 2020-10-30 北京林业大学 预测大型真菌种类的方法及装置
CN111914802A (zh) * 2020-08-17 2020-11-10 中国电波传播研究所（中国电子科技集团公司第二十二研究所） 一种基于迁移学习的电离层返回散射传播模式识别方法
CN112052904A (zh) * 2020-09-09 2020-12-08 陕西理工大学 一种基于迁移学习和卷积神经网络病虫害的识别方法
CN112364899A (zh) * 2020-10-27 2021-02-12 西安科技大学 一种基于虚拟图像与迁移学习的磨粒铁谱图像智能识别方法
CN112633370A (zh) * 2020-12-22 2021-04-09 中国医学科学院北京协和医院 一种针对丝状真菌形态的检测方法、装置、设备及介质
WO2021115123A1 (zh) * 2019-12-12 2021-06-17 苏州科技大学 一种用于足迹图像检索的方法
CN113128593A (zh) * 2021-04-20 2021-07-16 南京林业大学 一种基于双线性卷积神经网络的植物细粒度识别方法
CN113642518A (zh) * 2021-08-31 2021-11-12 山东省计算中心（国家超级计算济南中心） 基于迁移学习的her2病理图像细胞膜着色完整性判别方法
CN114722928A (zh) * 2022-03-29 2022-07-08 河海大学 一种基于深度学习的蓝藻图像识别方法
CN111027626B (zh) * 2019-12-11 2023-04-07 西安电子科技大学 基于可变形卷积网络的流场识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509976A (zh) * 2018-02-12 2018-09-07 北京佳格天地科技有限公司 动物的识别装置和方法
US20180260655A1 (en) * 2014-11-07 2018-09-13 Adobe Systems Incorporated Local feature representation for image recognition
CN109086836A (zh) * 2018-09-03 2018-12-25 淮阴工学院 一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法
CN109389245A (zh) * 2018-09-06 2019-02-26 浙江鸿程计算机***有限公司 一种基于深度神经网络的多因素融合学区学龄人口预测方法
CN109508650A (zh) * 2018-10-23 2019-03-22 浙江农林大学 一种基于迁移学习的树种识别方法
CN109508655A (zh) * 2018-10-28 2019-03-22 北京化工大学 基于孪生网络的不完备训练集的sar目标识别方法
CN109635712A (zh) * 2018-12-07 2019-04-16 杭州电子科技大学 基于同构网络的自发微表情种类判别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260655A1 (en) * 2014-11-07 2018-09-13 Adobe Systems Incorporated Local feature representation for image recognition
CN108509976A (zh) * 2018-02-12 2018-09-07 北京佳格天地科技有限公司 动物的识别装置和方法
CN109086836A (zh) * 2018-09-03 2018-12-25 淮阴工学院 一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法
CN109389245A (zh) * 2018-09-06 2019-02-26 浙江鸿程计算机***有限公司 一种基于深度神经网络的多因素融合学区学龄人口预测方法
CN109508650A (zh) * 2018-10-23 2019-03-22 浙江农林大学 一种基于迁移学习的树种识别方法
CN109508655A (zh) * 2018-10-28 2019-03-22 北京化工大学 基于孪生网络的不完备训练集的sar目标识别方法
CN109635712A (zh) * 2018-12-07 2019-04-16 杭州电子科技大学 基于同构网络的自发微表情种类判别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈鹤森: ""基于深度学习的细粒度图像识别研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781921A (zh) * 2019-09-25 2020-02-11 浙江农林大学 一种基于深度残差网络与迁移学习的毒蕈图像识别方法和装置
CN111027626B (zh) * 2019-12-11 2023-04-07 西安电子科技大学 基于可变形卷积网络的流场识别方法
WO2021115123A1 (zh) * 2019-12-12 2021-06-17 苏州科技大学 一种用于足迹图像检索的方法
US11809485B2 (en) 2019-12-12 2023-11-07 Suzhou University of Science and Technology Method for retrieving footprint images
CN111401122B (zh) * 2019-12-27 2023-09-26 航天信息股份有限公司 一种基于知识分类的复杂目标渐近识别方法及装置
CN111401122A (zh) * 2019-12-27 2020-07-10 航天信息股份有限公司 一种基于知识分类的复杂目标渐近识别方法及装置
CN111462068A (zh) * 2020-03-30 2020-07-28 华南理工大学 一种基于迁移学习的螺钉螺母检测方法
CN111462068B (zh) * 2020-03-30 2023-03-21 华南理工大学 一种基于迁移学习的螺钉螺母检测方法
CN111613287A (zh) * 2020-03-31 2020-09-01 武汉金域医学检验所有限公司 基于Glow网络的报告单编码模型生成方法、***和设备
CN111613287B (zh) * 2020-03-31 2023-08-04 武汉金域医学检验所有限公司 基于Glow网络的报告单编码模型生成方法、***和设备
CN111666984B (zh) * 2020-05-20 2023-08-25 海南电网有限责任公司电力科学研究院 一种基于迁移学习的过电压智能识别方法
CN111666984A (zh) * 2020-05-20 2020-09-15 海南电网有限责任公司电力科学研究院 一种基于迁移学习的过电压智能识别方法
CN111709326A (zh) * 2020-05-29 2020-09-25 安徽艾睿思智能科技有限公司 基于深度学习的级联式颗粒作物质量分析方法及其***
CN111709326B (zh) * 2020-05-29 2023-05-12 安徽省科亿信息科技有限公司 基于深度学习的级联式颗粒作物质量分析方法及其***
CN111860601A (zh) * 2020-06-22 2020-10-30 北京林业大学 预测大型真菌种类的方法及装置
CN111860601B (zh) * 2020-06-22 2023-10-17 北京林业大学 预测大型真菌种类的方法及装置
CN111914802B (zh) * 2020-08-17 2023-02-07 中国电波传播研究所（中国电子科技集团公司第二十二研究所） 一种基于迁移学习的电离层返回散射传播模式识别方法
CN111914802A (zh) * 2020-08-17 2020-11-10 中国电波传播研究所（中国电子科技集团公司第二十二研究所） 一种基于迁移学习的电离层返回散射传播模式识别方法
CN112052904A (zh) * 2020-09-09 2020-12-08 陕西理工大学 一种基于迁移学习和卷积神经网络病虫害的识别方法
CN112364899A (zh) * 2020-10-27 2021-02-12 西安科技大学 一种基于虚拟图像与迁移学习的磨粒铁谱图像智能识别方法
CN112633370A (zh) * 2020-12-22 2021-04-09 中国医学科学院北京协和医院 一种针对丝状真菌形态的检测方法、装置、设备及介质
CN113128593A (zh) * 2021-04-20 2021-07-16 南京林业大学 一种基于双线性卷积神经网络的植物细粒度识别方法
CN113642518A (zh) * 2021-08-31 2021-11-12 山东省计算中心（国家超级计算济南中心） 基于迁移学习的her2病理图像细胞膜着色完整性判别方法
CN113642518B (zh) * 2021-08-31 2023-08-22 山东省计算中心（国家超级计算济南中心） 基于迁移学习的her2病理图像细胞膜着色完整性判别方法
CN114722928A (zh) * 2022-03-29 2022-07-08 河海大学 一种基于深度学习的蓝藻图像识别方法
CN114722928B (zh) * 2022-03-29 2024-04-16 河海大学 一种基于深度学习的蓝藻图像识别方法

Also Published As

Publication number Publication date
CN110263863B (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN110263863A (zh) 基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法
CN108717568B (zh) 一种基于三维卷积神经网络的图像特征提取与训练方法
CN111192270A (zh) 一种基于点全局上下文关系推理的点云语义分割方法
CN109934761A (zh) 基于卷积神经网络的jpeg图像隐写分析方法
CN107229904A (zh) 一种基于深度学习的目标检测与识别方法
CN111696101A (zh) 一种基于SE-Inception的轻量级茄科病害识别方法
CN110084221A (zh) 一种基于深度学习的带中继监督的序列化人脸关键点检测方法
CN110363253A (zh) 一种基于卷积神经网络的热轧带钢表面缺陷分类方法
CN106778918A (zh) 一种应用于手机端的深度学习图像识别***及实现方法
Ding et al. Research on daily objects detection based on deep neural network
Hara et al. Towards good practice for action recognition with spatiotemporal 3d convolutions
CN106339753A (zh) 一种有效提升卷积神经网络稳健性的方法
CN109086802A (zh) 一种基于八元数卷积神经网络的图像分类方法
CN109783887A (zh) 一种面向三维加工特征的智能识别与检索方法
CN107679572A (zh) 一种图像判别方法、存储设备及移动终端
CN110490298A (zh) 基于膨胀卷积的轻量化深度卷积神经网络模型
CN109165733A (zh) 多输入多输出矩阵最大值池化向量化实现方法
CN108205703A (zh) 多输入多输出矩阵平均值池化向量化实现方法
CN107563430A (zh) 一种基于稀疏自动编码器和灰度关联分析法的卷积神经网络算法优化方法
CN112906747A (zh) 一种基于知识蒸馏的图像分类方法
CN110674326A (zh) 一种基于多项式分布学习的神经网络结构检索方法
CN108182316A (zh) 一种基于人工智能的电磁仿真方法及其电磁大脑
CN111282281B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN110046568A (zh) 一种基于时间感知结构的视频动作识别方法
CN110188621A (zh) 一种基于ssf-il-cnn的三维人脸表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant