CN107239802B - 一种图像分类方法及装置 - Google Patents

一种图像分类方法及装置 Download PDF

Info

Publication number
CN107239802B
CN107239802B CN201710507788.9A CN201710507788A CN107239802B CN 107239802 B CN107239802 B CN 107239802B CN 201710507788 A CN201710507788 A CN 201710507788A CN 107239802 B CN107239802 B CN 107239802B
Authority
CN
China
Prior art keywords
layer
data set
training
model structure
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710507788.9A
Other languages
English (en)
Other versions
CN107239802A (zh
Inventor
蔡述庭
刘坤
陈平
李卫军
梁天智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201710507788.9A priority Critical patent/CN107239802B/zh
Publication of CN107239802A publication Critical patent/CN107239802A/zh
Application granted granted Critical
Publication of CN107239802B publication Critical patent/CN107239802B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像分类方法及装置，基于图像大数据集，训练AlexNet模型结构；将训练好的五个卷积层迁移至小型数据库构成底层特征提取层，与包括两层卷积层的残差网络层、多尺度池化层、特征层及softmax分类器构建得出迁移模型结构；将图像小数据集输入迁移模型结构，采用批量梯度下降法更新参数，训练出图像分类混合模型；根据图像分类混合模型进行分类，得出分类结果。本申请通过将在大数据集上预训练好的各卷积层迁移至小数据集，增加多尺度池化层，将残差网络层和多尺度池化层输出的特征量串联起来输入至分类器，增加特征量，同时缓解过拟合问题；且通过基于卷积神经网络和迁移学习训练出的混合模型有效提高图像分类准确率。

Description

一种图像分类方法及装置
技术领域
本发明涉及迁移学习和深度学习领域，特别涉及一种图像分类方法及装置。
背景技术
卷积神经网络(Convolutional Neural Networks，CNN)是一种高效识别方法。一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。
迁移学习即一种学习对另一种学习的影响，它广泛地存在于知识、技能、态度和行为规范的学习中。任何一种学习都要受到学习者已有知识经验、技能、态度等的影响，只要有学习，就有迁移，使用深度学习技术解决问题的过程中，在面对某一领域的具体问题时，通常可能无法得到构建模型所需规模的数据然而在一个模型训练任务中针对某种类型数据获得的关系也可以轻松地应用于同一领域的不同问题，这就是所谓的迁移学习。
现有的图像分类方法一般是基于小数据集训练分类模型，然后通过该训练分类模型对图片集进行分类。但是，小数据集的数据量较少，用深层卷积网络训练时容易导致模型训练过程中出现过拟合问题，用浅层卷积网络训练时，使图像特征提取不够完善，降低图像分类率。
发明内容
本发明的目的是提供一种图像分类方法及装置，目的在于解决现有技术中利用小数据集训练图像分类模型时出现过拟合现象导致和图像特征提取不够完善导致图像分类率的问题。
为解决上述技术问题，本发明提供一种图像分类方法，该方法包括：
基于图像大数据集，训练AlexNet模型结构，所述AlexNet模型结构为包括依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层及softmax分类器的模型；
将训练好的所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层及所述第五卷积层迁移至小型数据库构成底层特征提取层，并与包括两层卷积层的残差网络层、多尺度池化层、特征层及所述softmax分类器构建得出迁移模型结构；
其中，所述多尺度池化层包括与所述第一卷积层相连的第一多尺度池化层、与所述第三卷积层相连的第二多尺度池化层及与所述第五卷积层相连的第三多尺度池化层；所述特征层为所述残差网络层提取的特征图和所述多尺度池化层提取的特征图串联构成的特征层；
将图像小数据集输入所述迁移模型结构，保持所述底层特征提取层的参数不变，采用批量梯度下降法更新所述残差网络层和所述多尺度池化层的参数，训练得出图像分类混合模型；
根据所述图像分类混合模型，对待分类图像小数据集进行分类，得出分类结果。
可选地，所述将图像小数据集输入所述迁移模型结构，保持所述底层特征提取层的参数不变，采用批量梯度下降法更新所述残差网络层和所述多尺度池化层的参数，训练得出图像分类混合模型包括：
获取所述图像小数据集，将所述小数据集输入所述迁移模型结构；
利用所述底层特征提取层提取出所述图像小数据集的初始特征；
利用所述残差网络层对所述初始特征进行训练，得出第一特征图；
利用所述多尺度池化层提取出所述图像小数据集的第二特征图；
串联所述第一特征图和所述第二特征图，得出目标特征图；
将所述目标特征图输入所述softmax分类器，运用所述批量梯度下降法，迭代更新所述残差网络层和所述多尺度池化层的所述参数，训练得出所述图像分类混合模型。
可选地，所述残差网络层的激活函数为maxout函数。
可选地，所述利用所述多尺度池化层提取出所述图像小数据集的第二特征图包括：
根据所述池化层的预设池化计算公式，提取所述图像小数据集的所述第二特征图；
所述预设池化计算公式具体为：输入特征图的size＝r×s×m；每张输出特征图的size＝r×s、
Figure BDA0001335064640000031
Figure BDA0001335064640000032
Figure BDA0001335064640000033
Figure BDA0001335064640000034
Figure BDA0001335064640000035
将
Figure BDA0001335064640000036
按照列顺序展开得到r×s×m、
Figure BDA0001335064640000037
Figure BDA0001335064640000038
其中,[*]为向上取整；m为每个输入层的特征图个数；r×s为每个输入特征图的尺寸；
Figure BDA0001335064640000039
为每张特征图经过最大值采样后输出的分量。
可选地，所述基于图像大数据集，训练AlexNet模型结构包括：
获取所述图像大数据集；
将所述图像大数据集输入至所述AlexNet模型结构，采用变化的dropout参数修剪所述AlexNet模型结构的模型参数，训练所述AlexNet模型结构；
其中，所述dropout参数的更新公式为
Figure BDA00013350646400000310
D1为初始dropout值，
Figure BDA00013350646400000311
为第一层初始神经元个数，
Figure BDA00013350646400000312
为第i次迭代的dropout保留的神经元个数，δi为第i次迭代后的误差率，
Figure BDA00013350646400000313
为第一层网络下一次迭代训练更新的dropout阈值。
此外，本发明还提供了一种图像分类装置，该装置包括：
预训练模块，用于基于图像大数据集，训练AlexNet模型结构，所述AlexNet模型结构为包括依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层及softmax分类器的模型；
迁移模型构建模块，用于将训练好的所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层及所述第五卷积层迁移至小型数据库构成底层特征提取层，并与包括两层卷积层的残差网络层、多尺度池化层、特征层及所述softmax分类器构建得出迁移模型结构；
其中，所述多尺度池化层包括与所述第一卷积层相连的第一多尺度池化层、与所述第三卷积层相连的第二多尺度池化层及与所述第五卷积层相连的第三多尺度池化层；所述特征层为所述残差网络层提取的特征图和所述多尺度池化层提取的特征图串联构成的特征层；
混合模型训练模块，用于将图像小数据集输入所述迁移模型结构，保持所述底层特征提取层的参数不变，采用批量梯度下降法更新所述残差网络层和所述多尺度池化层的参数，训练得出图像分类混合模型；
分类模块，用于根据所述图像分类混合模型，对待分类图像小数据集进行分类，得出分类结果。
可选地，所述混合模型训练模块包括：
获取单元，用于获取所述图像小数据集，将所述小数据集输入所述迁移模型结构；
第一提取单元，用于利用所述底层特征提取层提取出所述图像小数据集的初始特征；
特征训练单元，用于利用所述残差网络层对所述初始特征进行训练，得出第一特征图；
第二提取单元，用于利用所述多尺度池化层提取出所述图像小数据集的第二特征图；
串联单元，用于串联所述第一特征图和所述第二特征图，得出目标特征图；
参数更新训练单元，用于将所述目标特征图输入所述softmax分类器，运用所述批量梯度下降法，迭代更新所述残差网络层和所述多尺度池化层的所述参数，训练得出所述图像分类混合模型。
可选地，所述残差网络层的激活函数为maxout函数。
可选地，所述第二提取单元包括：
池化提取子单元，用于根据所述池化层的预设池化计算公式，提取所述图像小数据集的所述第二特征图；
所述预设池化计算公式具体为：输入特征图的size＝r×s×m；每张输出特征图的size＝r×s、
Figure BDA0001335064640000041
Figure BDA0001335064640000051
Figure BDA0001335064640000052
Figure BDA0001335064640000053
Figure BDA0001335064640000054
将
Figure BDA0001335064640000055
按照列顺序展开得到r×s×m、
Figure BDA0001335064640000056
Figure BDA0001335064640000057
其中,[*]为向上取整；m为每个输入层的特征图个数；r×s为每个输入特征图的尺寸；
Figure BDA0001335064640000058
为每张特征图经过最大值采样后输出的分量。
可选地，所述预训练模块包括：
大数据集获取单元，用于获取所述图像大数据集；
训练单元，用于将所述图像大数据集输入至所述AlexNet模型结构，采用变化的dropout参数修剪所述AlexNet模型结构的模型参数，训练所述AlexNet模型结构；
其中，所述dropout参数的更新公式为
Figure BDA0001335064640000059
D1为初始dropout值，
Figure BDA00013350646400000510
为第一层初始神经元个数，
Figure BDA00013350646400000511
为第i次迭代的dropout保留的神经元个数，δi为第i次迭代后的误差率，
Figure BDA00013350646400000512
为第一层网络下一次迭代训练更新的dropout阈值。
本发明实施例所提供的图像分类方法及装置，基于图像大数据集，训练AlexNet模型结构；将训练好的第一卷积层、第二卷积层、第三卷积层、第四卷积层及第五卷积层迁移至小型数据库构成底层特征提取层，并与包括两层卷积层的残差网络层、多尺度池化层、特征层及softmax分类器构建得出迁移模型结构；其中，多尺度池化层包括与第一卷积层相连的第一多尺度池化层、与第三卷积层相连的第二多尺度池化层及与第五卷积层相连的第三多尺度池化层；特征层为残差网络层提取的特征图和多尺度池化层提取的特征图串联构成的特征层；将图像小数据集输入迁移模型结构，保持底层特征提取层的参数不变，采用批量梯度下降法更新所述残差网络层和多尺度池化层的参数，训练得出图像分类混合模型；根据图像分类混合模型，对待分类图像小数据集进行分类，得出分类结果。本申请通过将在大数据集上预训练好的各卷积层迁移至小数据集，增加多尺度池化层，将残差网络层和多尺度池化层输出的特征量串联起来输入至分类器中，可以增加特征量，同时缓解数据量少导致的过拟合问题；且通过基于卷积神经网络和迁移学习训练得出的混合模型可以使得有效地提高图像分类准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的图像分类方法的一种具体实施方式的流程示意图；
图2为本发明实施例提供的大型数据库训练图像分类模型结构示意图；
图3为本发明实施例提供的小数据集训练模型结构示意图；
图4为本发明实施例提供的多尺度池化层结构示意图；
图5为本发明实施例提供的图像分类装置结构示意框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例提供的图像分类方法的一种具体实施方式的流程示意图，该方法包括以下步骤：
步骤101：基于图像大数据集，训练AlexNet模型结构，所述AlexNet模型结构为包括依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层及softmax分类器的模型。
具体地，预先设置图像分类模型结构，然后将大型数据库上的图像大数据集输入至AlexNet模型结构，更新网络参数，训练AlexNet模型结构。
上述AlexNet模型结构可以具体参见图2，图2为本发明实施例提供的大型数据库训练图像分类模型结构示意图。
如图2所示，图中C1、C2、C3、C4、C5分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层，FC1、FC2分别为第一全连接层、第二全连接层。
将大数据集输入至如图2所示的图像分类模型结构，可以更新各个卷积层的dropout参数，以减少模型训练参数，训练图像分类模型结构。故作为一种具体实施方式，上述基于图像大数据集，训练AlexNet模型结构的过程可以具体为：获取所述图像大数据集；将所述图像大数据集输入至所述AlexNet模型结构，采用变化的dropout参数修剪所述AlexNet模型结构的模型参数，训练所述AlexNet模型结构。
其中，上述dropout参数的更新公式为
Figure BDA0001335064640000071
D1为初始dropout值，
Figure BDA0001335064640000072
为第一层初始神经元个数，
Figure BDA0001335064640000073
为第i次迭代的dropout保留的神经元个数，δi为第i次迭代后的误差率，
Figure BDA0001335064640000074
为第一层网络下一次迭代训练更新的dropout阈值。
可以看出，在原有AlexNet模型结构的基础上，在各个卷积层加入参数变化的dropout，且利用上述公式更新参数，减少了模型训练参数，提高了模型训练效率。
步骤102：将训练好的所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层及所述第五卷积层迁移至小型数据库构成底层特征提取层，并与包括两层卷积层的残差网络层、多尺度池化层、特征层及所述softmax分类器构建得出迁移模型结构。
其中，所述多尺度池化层包括与所述第一卷积层相连的第一多尺度池化层、与所述第三卷积层相连的第二多尺度池化层及与所述第五卷积层相连的第三多尺度池化层；所述特征层为所述残差网络层提取的特征图和所述多尺度池化层提取的特征图串联构成的特征层。
可以理解，将在大数据集上训练好的五个卷积层迁移至小数据集，保持这五个卷积层内的参数不变，增加残差网络层、多尺度池化层、特征层、softmax分类器构建出新的训练模型结构。
上述迁移模型结构可以具体为如图3所示的训练模型结构，图3为本发明实施例提供的小数据集训练模型结构示意图。
如图3所示，Cov1、Cov2、Cov3、Cov4、Cov5分别为在大数据集上训练好的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层，与Cov5相连的两个Cov层为残差网络层，与Cov1、Cov3、Cov5对应相连的pool1、pool2、pool3；三个多尺度池化层输出的特征图和残差网络层输出的特征图串联成特征层，得出一幅目标特征图后输入至softmax分类器。
优选地，为了加快收敛效率，残差网络层的激活函数具体可以为maxout函数。当然，使用其它的激活函数也不影响本实施例的实现。
步骤103：将图像小数据集输入所述迁移模型结构，保持所述底层特征提取层的参数不变，采用批量梯度下降法更新所述残差网络层和所述多尺度池化层的参数，训练得出图像分类混合模型。
构建出新的迁移模型结构后，可以通过迭代更新该模型结构内的参数进行训练。故作为一种具体实施方式，上述将图像小数据集输入所述迁移模型结构，保持所述底层特征提取层的参数不变，采用批量梯度下降法更新所述残差网络层和所述多尺度池化层的参数，训练得出图像分类混合模型的过程可以具体为：获取所述图像小数据集，将所述小数据集输入所述迁移模型结构；利用所述底层特征提取层提取出所述图像小数据集的初始特征；利用所述残差网络层对所述初始特征进行训练，得出第一特征图；利用所述多尺度池化层提取出所述图像小数据集的第二特征图；串联所述第一特征图和所述第二特征图，得出目标特征图；将所述目标特征图输入所述softmax分类器，运用所述批量梯度下降法，迭代更新所述残差网络层和所述多尺度池化层的所述参数，训练得出所述图像分类混合模型。
可以看出，迭代更新残差网络和多尺度池化层的参数，可以缓解因为数据少导致的训练收敛慢的问题；且将残差网络层和多尺度池化层提取的特征maps串联成一张目标特征图后输入至softmax中，可以特征训练特征量，有效缓解数据量少导致的过拟合问题。
迁移模型结构中的多尺度池化层可以设置池化计算公式，对图像小数据集进行最大值采样，提取出所需特征分量。故具体地，上述利用所述多尺度池化层提取出所述图像小数据集的第二特征图的过程可以具体为：根据所述池化层的预设池化计算公式，提取所述图像小数据集的所述第二特征图。
可以将多尺度池化层设计为4种尺寸size和4种步长stride进行最大值采样，siez大小分别可以为1、2、3、4，与size对应的stride分别可以为1、2、3、4。
上述预设池化计算公式具体为：输入特征图的size＝r×s×m；每张输出特征图的size＝r×s、
Figure BDA0001335064640000091
Figure BDA0001335064640000092
Figure BDA0001335064640000093
Figure BDA0001335064640000094
Figure BDA0001335064640000095
将
Figure BDA0001335064640000096
按照列顺序展开得到r×s×m、
Figure BDA0001335064640000097
Figure BDA0001335064640000098
其中,[*]为向上取整；m为每个输入层的特征图个数；r×s为每个输入特征图的尺寸；
Figure BDA0001335064640000099
为每张特征图经过最大值采样后输出的分量。最后可以将各个特征分量串联成固定尺寸为K×1的特征向量，K为多层多尺度池化层和卷积残差网络的特征向量之和。
多尺度池化层的具体结构可以参见图4，图4为本发明实施例提供的多尺度池化层结构示意图。具体介绍可以参数上文多尺度池化层的相关内容，在此不再赘述。
步骤104：根据所述图像分类混合模型，对待分类图像小数据集进行分类，得出分类结果。
本实施例所提供的图像分类方法，基于图像大数据集，训练AlexNet模型结构；将训练好的第一卷积层、第二卷积层、第三卷积层、第四卷积层及第五卷积层迁移至小型数据库构成底层特征提取层，并与包括两层卷积层的残差网络层、多尺度池化层、特征层及softmax分类器构建得出迁移模型结构；其中，多尺度池化层包括与第一卷积层相连的第一多尺度池化层、与第三卷积层相连的第二多尺度池化层及与第五卷积层相连的第三多尺度池化层；特征层为残差网络层提取的特征图和多尺度池化层提取的特征图串联构成的特征层；将图像小数据集输入迁移模型结构，保持底层特征提取层的参数不变，采用批量梯度下降法更新所述残差网络层和多尺度池化层的参数，训练得出图像分类混合模型；根据图像分类混合模型，对待分类图像小数据集进行分类，得出分类结果。通过将在大数据集上预训练好的各卷积层迁移至小数据集，增加多尺度池化层，将残差网络层和多尺度池化层输出的特征量串联起来输入至分类器中，可以增加特征量，同时缓解数据量少导致的过拟合问题；且通过基于卷积神经网络和迁移学习训练得出的混合模型可以使得有效地提高图像分类准确率。
下面对本发明实施例提供的一种图像分类装置进行介绍，下文描述的一种图像分类装置与上文描述的一种图像分类方法可相互对应参照。
请参考图5，图5为本发明实施例提供的图像分类装置结构示意框图。该装置可以包括：
预训练模块51，用于基于图像大数据集，训练AlexNet模型结构，AlexNet模型结构为包括依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层及softmax分类器的模型；
迁移模型构建模块52，用于将训练好的第一卷积层、第二卷积层、第三卷积层、第四卷积层及所述第五卷积层迁移至小型数据库构成底层特征提取层，并与包括两层卷积层的残差网络层、多尺度池化层、特征层及softmax分类器构建得出迁移模型结构；
其中，多尺度池化层包括与第一卷积层相连的第一多尺度池化层、与第三卷积层相连的第二多尺度池化层及与第五卷积层相连的第三多尺度池化层；特征层为残差网络层提取的特征图和多尺度池化层提取的特征图串联构成的特征层；
混合模型训练模块53，用于将图像小数据集输入迁移模型结构，保持底层特征提取层的参数不变，采用批量梯度下降法更新残差网络层和多尺度池化层的参数，训练得出图像分类混合模型；
分类模块54，用于根据图像分类混合模型，对待分类图像小数据集进行分类，得出分类结果。
作为一种具体实施方式，上述混合模型训练模块可以包括：
获取单元，用于获取图像小数据集，将小数据集输入迁移模型结构；
第一提取单元，用于利用底层特征提取层提取出图像小数据集的初始特征；
特征训练单元，用于利用残差网络层对初始特征进行训练，得出第一特征图；
第二提取单元，用于利用多尺度池化层提取出图像小数据集的第二特征图；
串联单元，用于串联第一特征图和第二特征图，得出目标特征图；
参数更新训练单元，用于将目标特征图输入softmax分类器，运用批量梯度下降法，迭代更新残差网络层和多尺度池化层的参数，训练得出图像分类混合模型。
作为一种具体实施方式，上述残差网络层的激活函数可以为maxout函数。
作为一种具体实施方式，上述第二提取单元可以包括：
池化提取子单元，用于根据池化层的预设池化计算公式，提取图像小数据集的第二特征图；
预设池化计算公式具体为：输入特征图的size＝r×s×m；每张输出特征图的size＝r×s、
Figure BDA0001335064640000111
Figure BDA0001335064640000112
Figure BDA0001335064640000113
Figure BDA0001335064640000114
Figure BDA0001335064640000115
将
Figure BDA0001335064640000116
按照列顺序展开得到r×s×m、
Figure BDA0001335064640000117
Figure BDA0001335064640000118
其中,[*]为向上取整；m为每个输入层的特征图个数；r×s为每个输入特征图的尺寸；
Figure BDA0001335064640000119
为每张特征图经过最大值采样后输出的分量。
作为一种具体实施方式，上述预训练模块可以包括：
大数据集获取单元，用于获取图像大数据集；
训练单元，用于将图像大数据集输入至AlexNet模型结构，采用变化的dropout参数修剪AlexNet模型结构的模型参数，训练AlexNet模型结构；
其中，dropout参数的更新公式为
Figure BDA00013350646400001110
D1为初始dropout值，
Figure BDA00013350646400001111
为第一层初始神经元个数，
Figure BDA00013350646400001112
为第i次迭代的dropout保留的神经元个数，δi为第i次迭代后的误差率，
Figure BDA0001335064640000121
为第一层网络下一次迭代训练更新的dropout阈值。
本实施例所提供的图像分类装置，通过将在大数据集上预训练好的各卷积层迁移至小数据集，增加多尺度池化层，将残差网络层和多尺度池化层输出的特征量串联起来输入至分类器中，可以增加特征量，同时缓解数据量少导致的过拟合问题；且通过基于卷积神经网络和迁移学习训练得出的混合模型可以使得有效地提高图像分类准确率。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的图像分类方法及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.一种图像分类方法，其特征在于，包括：
基于图像大数据集，训练AlexNet模型结构，所述AlexNet模型结构为包括依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层及softmax分类器的模型；
将训练好的所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层及所述第五卷积层迁移至小型数据库构成底层特征提取层，并与包括两层卷积层的残差网络层、多尺度池化层、特征层及所述softmax分类器构建得出迁移模型结构；
其中，所述多尺度池化层包括与所述第一卷积层相连的第一多尺度池化层、与所述第三卷积层相连的第二多尺度池化层及与所述第五卷积层相连的第三多尺度池化层；所述特征层为所述残差网络层提取的特征图和所述多尺度池化层提取的特征图串联构成的特征层；
将图像小数据集输入所述迁移模型结构，保持所述底层特征提取层的参数不变，采用批量梯度下降法更新所述残差网络层和所述多尺度池化层的参数，训练得出图像分类混合模型；
根据所述图像分类混合模型，对待分类图像小数据集进行分类，得出分类结果；
其中，所述将图像小数据集输入所述迁移模型结构，保持所述底层特征提取层的参数不变，采用批量梯度下降法更新所述残差网络层和所述多尺度池化层的参数，训练得出图像分类混合模型包括：
获取所述图像小数据集，将所述小数据集输入所述迁移模型结构；
利用所述底层特征提取层提取出所述图像小数据集的初始特征；
利用所述残差网络层对所述初始特征进行训练，得出第一特征图；
利用所述多尺度池化层提取出所述图像小数据集的第二特征图；
串联所述第一特征图和所述第二特征图，得出目标特征图；
将所述目标特征图输入所述softmax分类器，运用所述批量梯度下降法，迭代更新所述残差网络层和所述多尺度池化层的所述参数，训练得出所述图像分类混合模型。
2.如权利要求1所述的图像分类方法，其特征在于，所述残差网络层的激活函数为maxout函数。
3.如权利要求1至2任一项所述的图像分类方法，其特征在于，所述基于图像大数据集，训练AlexNet模型结构包括：
获取所述图像大数据集；
将所述图像大数据集输入至所述AlexNet模型结构，采用变化的dropout参数修剪所述AlexNet模型结构的模型参数，训练所述AlexNet模型结构；
其中，所述dropout参数的更新公式为
Figure FDA0003001216130000021
D1为初始dropout值，
Figure FDA0003001216130000022
为第一层初始神经元个数，
Figure FDA0003001216130000023
为第i次迭代的dropout保留的神经元个数，δi为第i次迭代后的误差率，
Figure FDA0003001216130000024
为第一层网络当前迭代训练更新的dropout阈值，
Figure FDA0003001216130000025
为第一层网络下一次迭代训练更新的dropout阈值。
4.一种图像分类装置，其特征在于，包括：
预训练模块，用于基于图像大数据集，训练AlexNet模型结构，所述AlexNet模型结构为包括依次相连的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层及softmax分类器的模型；
迁移模型构建模块，用于将训练好的所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层及所述第五卷积层迁移至小型数据库构成底层特征提取层，并与包括两层卷积层的残差网络层、多尺度池化层、特征层及所述softmax分类器构建得出迁移模型结构；
其中，所述多尺度池化层包括与所述第一卷积层相连的第一多尺度池化层、与所述第三卷积层相连的第二多尺度池化层及与所述第五卷积层相连的第三多尺度池化层；所述特征层为所述残差网络层提取的特征图和所述多尺度池化层提取的特征图串联构成的特征层；
混合模型训练模块，用于将图像小数据集输入所述迁移模型结构，保持所述底层特征提取层的参数不变，采用批量梯度下降法更新所述残差网络层和所述多尺度池化层的参数，训练得出图像分类混合模型；
分类模块，用于根据所述图像分类混合模型，对待分类图像小数据集进行分类，得出分类结果；
其中，所述混合模型训练模块包括：
获取单元，用于获取所述图像小数据集，将所述小数据集输入所述迁移模型结构；
第一提取单元，用于利用所述底层特征提取层提取出所述图像小数据集的初始特征；
特征训练单元，用于利用所述残差网络层对所述初始特征进行训练，得出第一特征图；
第二提取单元，用于利用所述多尺度池化层提取出所述图像小数据集的第二特征图；
串联单元，用于串联所述第一特征图和所述第二特征图，得出目标特征图；
参数更新训练单元，用于将所述目标特征图输入所述softmax分类器，运用所述批量梯度下降法，迭代更新所述残差网络层和所述多尺度池化层的所述参数，训练得出所述图像分类混合模型。
5.如权利要求4所述的图像分类装置，其特征在于，所述残差网络层的激活函数为maxout函数。
6.如权利要求4至5任一项所述的图像分类装置，其特征在于，所述预训练模块包括：
大数据集获取单元，用于获取所述图像大数据集；
训练单元，用于将所述图像大数据集输入至所述AlexNet模型结构，采用变化的dropout参数修剪所述AlexNet模型结构的模型参数，训练所述AlexNet模型结构；
其中，所述dropout参数的更新公式为
Figure FDA0003001216130000031
D1为初始dropout值，
Figure FDA0003001216130000032
为第一层初始神经元个数，
Figure FDA0003001216130000033
为第i次迭代的dropout保留的神经元个数，δi为第i次迭代后的误差率，
Figure FDA0003001216130000034
为第一层网络当前迭代训练更新的dropout阈值，
Figure FDA0003001216130000035
为第一层网络下一次迭代训练更新的dropout阈值。
CN201710507788.9A 2017-06-28 2017-06-28 一种图像分类方法及装置 Expired - Fee Related CN107239802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710507788.9A CN107239802B (zh) 2017-06-28 2017-06-28 一种图像分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710507788.9A CN107239802B (zh) 2017-06-28 2017-06-28 一种图像分类方法及装置

Publications (2)

Publication Number Publication Date
CN107239802A CN107239802A (zh) 2017-10-10
CN107239802B true CN107239802B (zh) 2021-06-01

Family

ID=59991242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710507788.9A Expired - Fee Related CN107239802B (zh) 2017-06-28 2017-06-28 一种图像分类方法及装置

Country Status (1)

Country Link
CN (1) CN107239802B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742128A (zh) * 2017-10-20 2018-02-27 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN108510004B (zh) * 2018-04-04 2022-04-08 深圳大学 一种基于深度残差网络的细胞分类方法及***
CN108710892B (zh) * 2018-04-04 2020-09-01 浙江工业大学 面向多种对抗图片攻击的协同免疫防御方法
CN108537283A (zh) * 2018-04-13 2018-09-14 厦门美图之家科技有限公司 一种图像分类方法及卷积神经网络生成方法
CN108647588A (zh) * 2018-04-24 2018-10-12 广州绿怡信息科技有限公司 物品类别识别方法、装置、计算机设备和存储介质
CN108647718B (zh) * 2018-05-10 2020-11-20 江苏大学 一种不同材料金相组织自动分类评级的方法
CN108647723B (zh) * 2018-05-11 2020-10-13 湖北工业大学 一种基于深度学习网络的图像分类方法
CN108764471B (zh) * 2018-05-17 2020-04-14 西安电子科技大学 基于特征冗余分析的神经网络跨层剪枝方法
CN108805196B (zh) * 2018-06-05 2022-02-18 西安交通大学 用于图像识别的自动增量学习方法
CN108921198A (zh) * 2018-06-08 2018-11-30 山东师范大学 基于深度学习的商品图像分类方法、服务器及***
CN108898174A (zh) * 2018-06-25 2018-11-27 Oppo（重庆）智能科技有限公司 一种场景数据采集方法、场景数据采集装置及电子设备
CN109002863B (zh) * 2018-06-27 2022-04-15 佛山市顺德区中山大学研究院 一种基于紧凑卷积神经网络的图像处理方法
CN109117879B (zh) * 2018-08-03 2021-06-22 南京旷云科技有限公司 图像分类方法、装置及***
CN109190491B (zh) * 2018-08-08 2021-08-31 上海海洋大学 残差卷积神经网络sar影像海冰分类方法
CN109035242B (zh) * 2018-08-09 2022-03-01 长安大学 一种基于深度学习的hf-erw焊接状态检测方法及装置
CN109147331B (zh) * 2018-10-11 2021-07-27 青岛大学 一种基于计算机视觉的道路拥堵状态检测方法
CN109447990B (zh) * 2018-10-22 2021-06-22 北京旷视科技有限公司 图像语义分割方法、装置、电子设备和计算机可读介质
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
CN109558942B (zh) * 2018-11-20 2021-11-26 电子科技大学 一种基于浅度学习的神经网络迁移方法
CN109522965A (zh) * 2018-11-27 2019-03-26 天津工业大学 一种基于迁移学习的双通道卷积神经网络的烟雾图像分类方法
CN109784417B (zh) * 2019-01-28 2023-03-24 安徽农业大学 黑毛猪肉图像的识别方法
CN111797289A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 模型处理方法、装置、存储介质和电子设备
CN110490892A (zh) * 2019-07-03 2019-11-22 中山大学 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法
CN110781935B (zh) * 2019-10-16 2023-09-15 张磊 一种通过迁移学习实现轻量级图像分类的方法
CN110766083A (zh) * 2019-10-25 2020-02-07 忻州师范学院 一种基于特征融合Alexnet壁画图像分类方法
CN111027635B (zh) * 2019-12-12 2023-10-31 深圳前海微众银行股份有限公司 图像处理模型的构建方法、装置、终端及可读存储介质
CN110874618B (zh) * 2020-01-19 2020-11-27 同盾控股有限公司 基于小样本的ocr模板学习方法、装置、电子设备及介质
CN111461298A (zh) * 2020-03-26 2020-07-28 广西电网有限责任公司电力科学研究院 一种用于断路器故障识别的卷积神经网络及方法
CN111931865B (zh) * 2020-09-17 2021-01-26 平安科技（深圳）有限公司 图像分类模型的训练方法、装置、计算机设备及存储介质
CN112837275B (zh) * 2021-01-14 2023-10-24 长春大学 胶囊内窥镜图像器官分类方法、装置、设备及存储介质
CN112906829B (zh) * 2021-04-13 2022-11-08 成都四方伟业软件股份有限公司 一种基于Mnist数据集的数字识别模型构建方法及装置
CN114882266A (zh) * 2022-03-30 2022-08-09 什维新智医疗科技(上海)有限公司 一种基于神经网络的超声图像的标签识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013137407A (ja) * 2011-12-28 2013-07-11 Brother Ind Ltd 画像表示装置
CN103984966A (zh) * 2014-05-29 2014-08-13 西安电子科技大学 基于稀疏表示的sar图像目标识别方法
CN105550709A (zh) * 2015-12-14 2016-05-04 武汉大学 一种遥感影像输电线路走廊森林区域提取方法
CN105975931A (zh) * 2016-05-04 2016-09-28 浙江大学 一种基于多尺度池化的卷积神经网络人脸识别方法
CN106228524A (zh) * 2016-08-01 2016-12-14 广东工业大学 一种图像去噪方法及装置
CN106355248A (zh) * 2016-08-26 2017-01-25 深圳先进技术研究院 一种深度卷积神经网络训练方法及装置
CN106680281A (zh) * 2016-12-31 2017-05-17 中国科学技术大学 一种基于深度残差学习网络的柴油车尾气烟度检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013137407A (ja) * 2011-12-28 2013-07-11 Brother Ind Ltd 画像表示装置
CN103984966A (zh) * 2014-05-29 2014-08-13 西安电子科技大学 基于稀疏表示的sar图像目标识别方法
CN105550709A (zh) * 2015-12-14 2016-05-04 武汉大学 一种遥感影像输电线路走廊森林区域提取方法
CN105975931A (zh) * 2016-05-04 2016-09-28 浙江大学 一种基于多尺度池化的卷积神经网络人脸识别方法
CN106228524A (zh) * 2016-08-01 2016-12-14 广东工业大学 一种图像去噪方法及装置
CN106355248A (zh) * 2016-08-26 2017-01-25 深圳先进技术研究院 一种深度卷积神经网络训练方法及装置
CN106680281A (zh) * 2016-12-31 2017-05-17 中国科学技术大学 一种基于深度残差学习网络的柴油车尾气烟度检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Active Convolution: Learning the Shape of Convolution for Image Classification;Yunho Jeon 等;《arXiv:1703.09076v1》;20170327;第1-9页 *
Deep Convolutional Neural Networks for Computer-Aided Detection: CNN Architectures, Dataset Characteristics and Transfer Learning;Hoo-Chang Shin 等;《IEEE TRANSACTIONS ON MEDICAL IMAGING》;20160531;第35卷(第5期);第1285-1298页 *
基于深度学习混合模型迁移学习的图像分类;石祥滨 等;《***仿真学报》;20160131;第167-173+182页 *
糖尿病性视网膜图像的深度神经网络分类方法;丁蓬莉 等;《计算机应用》;20170331;第699-704页 *

Also Published As

Publication number Publication date
CN107239802A (zh) 2017-10-10

Similar Documents

Publication Publication Date Title
CN107239802B (zh) 一种图像分类方法及装置
WO2021043193A1 (zh) 神经网络结构的搜索方法、图像处理方法和装置
CN107273936B (zh) 一种gan图像处理方法及***
CN109583501B (zh) 图片分类、分类识别模型的生成方法、装置、设备及介质
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及***
CN106650789B (zh) 一种基于深度lstm网络的图像描述生成方法
CN107798381B (zh) 一种基于卷积神经网络的图像识别方法
CN111160350B (zh) 人像分割方法、模型训练方法、装置、介质及电子设备
CN112734775A (zh) 图像标注、图像语义分割、模型训练方法及装置
CN109086653B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
CN104866810A (zh) 一种深度卷积神经网络的人脸识别方法
CN113705769A (zh) 一种神经网络训练方法以及装置
CN113570029A (zh) 获取神经网络模型的方法、图像处理方法及装置
CN109344888A (zh) 一种基于卷积神经网络的图像识别方法、装置及设备
CN111241992B (zh) 人脸识别模型构建方法、识别方法、装置、设备及存储介质
CN108932455B (zh) 遥感图像场景识别方法及装置
CN106980830A (zh) 一种基于深度卷积网络自亲缘关系识别方法与装置
KR101888647B1 (ko) 이미지 분류 장치 및 방법
CN113987236B (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置
CN111783754A (zh) 基于部位上下文的人体属性图像分类方法、***和装置
CN110852358A (zh) 一种基于深度学习的车辆类型判别方法
CN110110724A (zh) 基于指数型挤压函数驱动胶囊神经网络的文本验证码识别方法
CN112801107A (zh) 一种图像分割方法和电子设备
CN114330541A (zh) 道路交通事故风险预测深度学习算法
CN112507888A (zh) 建筑物识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210601