CN110503154A - 图像分类的方法、***、电子设备及存储介质 - Google Patents
图像分类的方法、***、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110503154A CN110503154A CN201910793262.0A CN201910793262A CN110503154A CN 110503154 A CN110503154 A CN 110503154A CN 201910793262 A CN201910793262 A CN 201910793262A CN 110503154 A CN110503154 A CN 110503154A
- Authority
- CN
- China
- Prior art keywords
- image
- classification
- training
- disaggregated model
- training set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 159
- 238000012360 testing method Methods 0.000 claims abstract description 57
- 238000013145 classification model Methods 0.000 claims abstract description 54
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013480 data collection Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 8
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000013526 transfer learning Methods 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 241001269238 Data Species 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像分类的方法、***、电子设备及存储介质，其中，方法包括：获取目标数据集；划分目标数据集得到训练集和测试集；对训练集中图像的类别进行标注；基于卷积神经网络构建图像分类模型；以训练集中的图像为输入，以输入的训练集中的图像的类别为输出，训练图像分类模型；利用测试集测试经训练的图像分类模型的准确率；判断准确率是否大于预设阈值；若是，则利用经训练的图像分类模型进行图像分类；若否，则利用所述测试集中的图像更新所述训练集，并转至训练所述图像分类模型的步骤。本发明利用深度学习训练图像分类模型，实现图像的自动分类，免于手动进行特征提取，能够提高图像分类的效率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像分类的方法、***、电子设备及存储介质。
背景技术
图像是一种直接、高效的展现方式。例如，在OTA(Online Travel Agency，在线旅行社)行业中，酒店图像对于用户体验、订单转化有着极其重大的影响，具体地，通过对酒店图像进行分类，用户在浏览酒店图像时，可以根据感兴趣的酒店图像的类别(例如，酒店外观、房间设施、餐饮设施、休闲设施、周边设施、公共区域等)在线浏览此类酒店图像，以提升用户体验并提高订单转化率。但是，目前对图像的分类，依赖于传统分类器，需要人工手动提取特征，具有较强的先验主义，模型泛化能差，鲁棒性低，难以满足日益增长的图像分类需求。
发明内容
本发明要解决的技术问题是为了克服现有技术中基于手动特征提取实现图像分类的缺陷，提供一种图像分类的方法、***、电子设备及存储介质。
本发明是通过下述技术方案来解决上述技术问题：
一种图像分类的方法，其特点在于，所述方法包括：
获取包括若干图像的目标数据集；
划分所述目标数据集得到训练集和测试集；
对所述训练集中图像的类别进行标注；
基于卷积神经网络构建图像分类模型；
以所述训练集中的图像为输入，以输入的所述训练集中的图像的类别为输出，训练所述图像分类模型；
利用所述测试集测试经训练的所述图像分类模型的准确率；
判断所述准确率是否大于预设阈值；
若是，则利用经训练的所述图像分类模型进行图像分类；
若否，则利用所述测试集中的图像更新所述训练集，并转至所述训练所述图像分类模型的步骤。
较佳地，所述利用所述测试集中的图像更新所述训练集的步骤包括：
对所述测试集中假阴性以及假阳性的图像的类别进行标注；
将经标注的所述测试集中的图像加入所述训练集。
较佳地，在所述获取包括若干图像的目标数据集的步骤之后，所述方法还包括：
对所述目标数据集中的图像进行预处理；
其中，所述预处理包括归一化处理；
和/或，
在所述训练所述图像分类模型的步骤之前，所述方法还包括：
对经标注的训练集中的图像进行变更操作；
将经变更操作得到的图像加入所述训练集；
其中，所述变更操作包括添加噪声、随机旋转、仿射变换、水平翻转、垂直翻转、亮度变化、对比度变化中的至少一种；
和/或，
所述基于卷积神经网络构建图像分类模型的步骤包括：
根据下式构建所述图像分类模型的目标函数：
BL(pt)＝-α(1-pt)γlog(pt)
其中，BL用于表征目标函数，t用于表征图像的类别，pt用于表征不同类别的分类概率，γ、α是超参数，并且，γ>0，α∈(0,1)。
较佳地，所述基于卷积神经网络构建图像分类模型的步骤包括：
获取包括若干已标注类别的图像的公开数据集；
基于卷积神经网络构建图像分类模型；
以所述公开数据集中的图像为输入，以输入的所述公开数据集中的图像的类别为输出，预训练所述图像分类模型；
所述训练所述图像分类模型的步骤包括：
训练经预训练的所述图像分类模型。
较佳地，所述训练经预训练的所述图像分类模型的步骤包括：
保持经预训练的所述图像分类模型的部分参数不变，采用自适应时刻估计优化器训练经预训练的所述图像分类模型。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特点在于，所述处理器执行所述计算机程序时实现上述任一种图像分类的方法。
一种计算机可读存储介质，其上存储有计算机程序，其特点在于，所述计算机程序被处理器执行时实现上述任一种图像分类的方法的步骤。
一种图像分类的***，其特点在于，所述***包括：
获取模块，用于获取包括若干图像的目标数据集；
划分模块，用于划分所述目标数据集得到训练集和测试集；
标注模块，用于对所述训练集中图像的类别进行标注；
构建模块，用于基于卷积神经网络构建图像分类模型；
训练模块，用于以所述训练集中的图像为输入，以输入的所述训练集中的图像的类别为输出，训练所述图像分类模型；
测试模块，用于利用所述测试集测试经训练的所述图像分类模型的准确率；
判断模块，用于判断所述准确率是否大于预设阈值；
若是，则调用应用模块，所述应用模块用于利用经训练的所述图像分类模型进行图像分类；
若否，则调用更新模块，所述更新模块用于利用所述测试集中的图像扩充所述训练集。
较佳地，所述更新模块包括：
标注单元，用于对所述测试集中假阴性以及假阳性的图像的类别进行标注；
添加单元，用于将经标注的所述测试集中的图像加入所述训练集。
较佳地，所述***还包括：
预处理模块，用于对所述目标数据集中的图像进行预处理；
其中，所述预处理包括归一化处理；
和/或，
所述***还包括：
扩充模块，具体用于对经标注的训练集中的图像进行变更操作，并将经变更操作得到的图像加入所述训练集；
其中，所述变更操作包括添加噪声、随机旋转、仿射变换、水平翻转、垂直翻转、亮度变化、对比度变化中的至少一种；
和/或，
所述构建模块具体用于根据下式构建所述图像分类模型的目标函数：
BL(pt)＝-α(1-pt)γlog(pt)
其中，BL用于表征目标函数，t用于表征图像的类别，pt用于表征不同类别的分类概率，γ、α是超参数，并且，γ>0，α∈(0,1)。
本发明的积极进步效果在于：本发明利用深度学习训练图像分类模型，实现图像的自动分类，能够提高图像分类的效率，满足日益增长的图像分类需求，免于手动进行特征提取，降低了人工成本。
附图说明
图1为根据本发明实施例1的图像分类的方法的流程图。
图2为根据本发明实施例2的电子设备的硬件结构示意图。
图3为根据本发明实施例4的图像分类的方法的流程图。
图4为根据本发明实施例7的图像分类的***的模块示意图。
图5为根据本发明实施例8的图像分类的***的模块示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供一种图像分类的方法，图1示出了本实施例的流程图。参照图1，本实施例的方法包括：
S101、获取包括若干图像的目标数据集。
本实施例的方法可以适用于对OTA中的酒店图像进行分类，具体地，本实施例中的目标数据集可以包括OTA中众多酒店的酒店图像，其中，酒店图像可以涵盖酒店外观、房间设施、餐饮设施、休闲设施、周边设施、公共区域等的图像。
为使得模型训练过程中的梯度始终朝向最小值，以加速收敛，提高模型训练的效率，在获取目标数据集之后，还可以对目标数据集中的图像进行预处理，其中，预处理可以包括对图像进行归一化处理。在本实施例中，可以对图像进行最大最小归一化操作，具体地，对于图像中每一像素点的像素值x，可以采用下述公式来计算其归一化后的像素值x′：
其中，xmax是图像中像素点的最大像素值，xmin是图像中像素点的最小像素值。
S102、划分目标数据集得到训练集和测试集。
在该步骤中，可以根据实际需要，按照一定比例，划分目标数据集以得到训练集和测试集。
S103、对训练集中图像的类别进行标注。
在该步骤中，可以根据预设的类别，例如酒店外观、房间设施、餐饮设施、休闲设施、周边设施、公共区域等，来标注训练集中图像的类别。
由于深度学***翻转、垂直翻转、亮度变化、对比度变化中的至少一种。
例如，对于训练集中的图像P，向图像P中添加噪声后得图像P1，随机旋转图像P后得图像P2，随机旋转图像P1后得图像P3，在图像P的基础上，产生了与图像P标注相同的图像P1、P2和P3，实现了训练集的扩充。
S104、基于卷积神经网络构建图像分类模型。
在该步骤中，可以设计图像分类模型的网络结构，例如，图像分类模型除输入和输出之外，还可以包括输入卷积层、30个由2个堆叠的3*3卷积核组成的残差块以及全连接层，共计62层的网络结构。
进一步地，图像分类模型的构建还可以包括其目标函数的构建，例如，可以采用cross-entropy loss(交叉熵损失函数)或者balance loss(平衡损失函数)来构建目标函数。具体他，在本实施例中，采用能够在一定程度上缓解训练数据不平衡问题的balanceloss来构建目标函数，其构建的目标函数如下述公式所示：
BL(pt)＝-α(1-pt)γlog(pt)
其中，BL用于表征目标函数，t用于表征图像的类别，pt用于表征不同类别的分类概率，γ是用于减少易分类图像的损失的超参数，α是用于平衡图像数量的超参数，并且有，γ>0，α∈(0,1)。
S105、以训练集中的图像为输入，以输入的训练集中的图像的类别为输出，训练图像分类模型。
在本实施例中，可以基于反向传播算法训练图像分类模型至目标函数的值收敛，如此，基本完成图像分类模型的训练。
S106、利用测试集测试经训练的图像分类模型的准确率。
在该步骤中，将测试集中的图像输入经训练得到的图像分类模型之后，图像分类模型相应输出该图像对应的类别，如此，通过比较测试集中所有图像的实际类别与图像分类模型输出的类别，来测试图像分类模型的准确率。
S107、判断准确率是否大于预设阈值；
若是，则转至步骤S108；若否，则转至步骤S109；
S108、利用经训练的图像分类模型进行图像分类；
S109、利用所述测试集中的图像更新所述训练集，并转至步骤S105。
在本实施例中，预设阈值，也即图像分类模型的上线标准可以根据实际应用进行自定义设置。具体地，若图像分类模型达到上线标准，则可以用于图像分类，若图像分类模型未达到上线标准，则利用测试集中的图像来更新训练集，继续训练图像分类模型，以进一步调整图像分类模型的参数，再对图像分类模型进行准确率的测试来判断能否上线。
在本实施例中，采用深度学习方法来训练图像分类模型，具体地，基于卷积神经网络来搭建图像分类模型，并基于反向传播算法来训练图像分类模型，能够实现图像的自动分类，提高图像分类的效率，满足日益增长的图像分类需求，免于手动进行特征提取，降低了人工成本。
实施例2
本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现(例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现实施例1提供的图像分类的方法。
图2示出了本实施例的硬件结构示意图，如图2所示，电子设备9具体包括：
至少一个处理器91、至少一个存储器92以及用于连接不同***组件(包括处理器91和存储器92)的总线93，其中：
总线93包括数据总线、地址总线和控制总线。
存储器92包括易失性存储器，例如随机存取存储器(RAM)921和/或高速缓存存储器922，还可以进一步包括只读存储器(ROM)923。
存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具925，这样的程序模块924包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1所提供的图像分类的方法。
电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且，电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器96通过总线93与电子设备9的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备9使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)***、磁带驱动器以及数据备份存储***等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分得到由多个单元/模块来具体化。
实施例3
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1提供的图像分类的方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中的图像分类的方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
实施例4
在实施例1的基础上，本实施例提供一种图像分类的方法，图3示出了本实施例的流程图。参照图3，本实施例较之实施例1的区别在于：
在本实施例中，步骤S104包括：
S1041、获取包括若干已标注类别的图像的公开数据集；
S1042、基于卷积神经网络构建图像分类模型；
S1043、以公开数据集中的图像为输入，以输入的公开数据集中的图像的类别为输出，预训练图像分类模型。
在实施例1中，尽管能够扩充目标数据集，但扩充后的目标数据集中的图像数量可能仍然难以满足深度学习的需求。在本实施例中，可以利用包括标注数据的公开数据集以及反向传播算法实现图像分类模型的预训练，由于公开数据集包括较大数量的训练数据，经预训练得到的图像分类模型具有更高的鲁棒性，其中，公开数据集例如可以是ImageNet(一个用于视觉对象识别软件研究的大型可视化数据库)、places365(一种场景分类数据库)等，之后，再通过迁移学习的方法利用目标数据集中的训练集最终训练得到图像分类模型。
在本实施例中，步骤S105可以包括：
S1051、训练经预训练的图像分类模型。
如此，通过迁移学习的方法，以训练集中的图像为输入，以输入的训练集中的图像的类别为输出，可以基于反向传播算法来继续训练经预训练的图像分类模型。
具体地，可以根据训练集中图像的数量对经预训练的图像分类模型的网络结构进行微调，例如，当目标数据集中的图像较多时，可以相应增多网络层，当目标数据集中的图像较少时，可以相应减少网络层，以期达到较好的分类效果。
具体地，在本实施例中，可以保持经预训练的图像分类模型的部分参数不变，基于反向传播算法采用自适应时刻估计优化器训练经预训练的图像分类模型，例如，可以保持输入卷积层以及前10个残差块的参数不变，利用自适应时刻估计优化器对后20个残差块以及全连接层的参数进行训练优化，直至图像分类模型收敛。
在本实施例中，步骤S109可以包括：
S1091、对测试集中假阴性以及假阳性的图像的类别进行标注；
S1092、将经标注的测试集中的图像加入训练集，转至步骤S105。
在步骤S106中，图像分类模型相应输出的除了该图像对应的类别之外，还包括该图像对应类别的置信度，在本实施例中，可以对测试集中置信度低于第一阈值(例如0.3)的假阴性的图像，以及置信度高于第二阈值(例如0.9)的假阳性图像进行标注，将经标注的假阳性和假阴性的图像加入训练集以实现训练集的优化，再转至步骤S105，重新以经优化的训练集中的图像为输入，以输入的所述训练集中的图像的类别为输出，基于反向传播算法训练所述图像分类模型，以进一步提升图像分类模型的准确率。
在本实施例中，还可以对后加入训练集中的假阳性和假阴性图像进行变更操作，以在产生足够多的训练数据的同时节约标注成本，其中，变更操作可以包括添加噪声、随机旋转、仿射变换、水平翻转、垂直翻转、亮度变化、对比度变化中的至少一种。
在本实施例中，采用迁移学习的方法训练图像分类模型，能够提高图像分类模型的训练效率，此外，训练集中的图像训练得到收敛的图像分类模型后，还可以从测试集中添加图像至训练集中以进一步训练图像分类模型，如此，图像分类模型与训练集之间相互影响，在实施例1的基础上实现对图像分类模型由粗到细地不断训练，能够极大地提高图像分类模型的准确率。
实施例5
本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现(例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现实施例4提供的图像分类的方法。
实施例6
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例4提供的图像分类的方法的步骤。
实施例7
本实施例提供一种图像分类的***，图4示出了本实施例的模块示意图。参照图4，本实施例的***包括：
获取模块11，用于获取包括若干图像的目标数据集。
本实施例的***可以适用于对OTA中的酒店图像进行分类，具体地，本实施例中的目标数据集可以包括OTA中众多酒店的酒店图像，其中，酒店图像可以涵盖酒店外观、房间设施、餐饮设施、休闲设施、周边设施、公共区域等的图像。
为使得模型训练过程中的梯度始终朝向最小值，以加速收敛，提高模型训练的效率，本实施例的***还可以包括预处理模块，用于在获取目标数据集之后，对目标数据集中的图像进行预处理，其中，预处理可以包括对图像进行归一化处理。在本实施例中，预处理模块可以对图像进行最大最小归一化操作，具体地，对于图像中每一像素点的像素值x，可以采用下述公式来计算其归一化后的像素值x′：
其中，xmax是图像中像素点的最大像素值，xmin是图像中像素点的最小像素值。
划分模块12，用于划分目标数据集得到训练集和测试集。
在本实施例中，划分模块12可以根据实际需要，按照一定比例，划分目标数据集以得到训练集和测试集。
标注模块13，用于对训练集中图像的类别进行标注。
在本实施例中，标注模块13可以根据预设的类别，例如酒店外观、房间设施、餐饮设施、休闲设施、周边设施、公共区域等，来标注训练集中图像的类别。
由于深度学***翻转、垂直翻转、亮度变化、对比度变化中的至少一种。
例如，对于训练集中的图像P，向图像P中添加噪声后得图像P1，随机旋转图像P后得图像P2，随机旋转图像P1后得图像P3，在图像P的基础上，产生了与图像P标注相同的图像P1、P2和P3，实现了训练集的扩充。
构建模块14，用于基于卷积神经网络构建图像分类模型。
在本实施例中，构建模块14可以用于设计图像分类模型的网络结构，例如，图像分类模型除输入和输出之外，还可以包括输入卷积层、30个由2个堆叠的3*3卷积核组成的残差块以及全连接层，共计62层的网络结构。
进一步地，构建模块14对图像分类模型的构建还可以包括其目标函数的构建，例如，可以采用cross-entropy loss(交叉熵损失函数)或者balance loss(平衡损失函数)来构建目标函数。具体他，在本实施例中，采用能够在一定程度上缓解训练数据不平衡问题的balance loss来构建目标函数，其构建的目标函数如下述公式所示：
BL(pt)＝-α(1-pt)γlog(pt)
其中，BL用于表征目标函数，t用于表征图像的类别，pt用于表征不同类别的分类概率，γ是用于减少易分类图像的损失的超参数，α是用于平衡图像数量的超参数，并且有，γ>0，α∈(0,1)。
训练模块15，用于以训练集中的图像为输入，以输入的训练集中的图像的类别为输出，训练图像分类模型。
在本实施例中，可以基于反向传播算法训练图像分类模型至目标函数的值收敛，如此，基本完成图像分类模型的训练。
测试模块16，用于利用测试集测试经训练的图像分类模型的准确率。
在本实施例中，将测试集中的图像输入经训练得到的图像分类模型之后，图像分类模型相应输出该图像对应的类别，如此，通过比较测试集中所有图像的实际类别与图像分类模型输出的类别，来测试图像分类模型的准确率。
判断模块17，用于判断准确率是否大于预设阈值；
若是，则调用应用模块18，应用模块18用于利用经训练的所述图像分类模型进行图像分类；
若否，则调用更新模块19，更新模块19用于利用所述测试集中的图像更新所述训练集。
在本实施例中，预设阈值，也即图像分类模型的上线标准可以根据实际应用进行自定义设置。具体地，若图像分类模型达到上线标准，则可以用于图像分类，若图像分类模型未达到上线标准，则利用测试集中的图像来更新训练集，继续训练图像分类模型，以进一步调整图像分类模型的参数，再对图像分类模型进行准确率的测试来判断能否上线。
在本实施例中，采用深度学习方法来训练图像分类模型，具体地，基于卷积神经网络来搭建图像分类模型，并基于反向传播算法来训练图像分类模型，能够实现图像的自动分类，提高图像分类的效率，满足日益增长的图像分类需求，免于手动进行特征提取，降低了人工成本。
实施例8
在实施例7的基础上，本实施例提供一种图像分类的***，图5示出了本实施例的模块示意图。参照图5，本实施例较之实施例7的区别在于：
在本实施例中，构建模块14包括：
获取单元141，用于获取包括若干已标注类别的图像的公开数据集；
构建单元142，用于基于卷积神经网络构建图像分类模型；
训练单元143，用于以公开数据集中的图像为输入，以输入的公开数据集中的图像的类别为输出，预训练图像分类模型。
在实施例7中，尽管能够扩充目标数据集，但扩充后的目标数据集中的图像数量可能仍然难以满足深度学习的需求。在本实施例中，可以利用包括标注数据的公开数据集以及反向传播算法实现图像分类模型的预训练，由于公开数据集包括较大数量的训练数据，经预训练得到的图像分类模型具有更高的鲁棒性，其中，公开数据集例如可以是ImageNet(一个用于视觉对象识别软件研究的大型可视化数据库)、places365(一种场景分类数据库)等，之后，再通过迁移学习的方法利用目标数据集中的训练集最终训练得到图像分类模型。
在本实施例中，训练模块15具体用于训练经预训练的图像分类模型。
如此，通过迁移学习的方法，以训练集中的图像为输入，以输入的训练集中的图像的类别为输出，可以基于反向传播算法来继续训练经预训练的图像分类模型。
具体地，可以根据训练集中图像的数量对经预训练的图像分类模型的网络结构进行微调，例如，当目标数据集中的图像较多时，可以相应增多网络层，当目标数据集中的图像较少时，可以相应减少网络层，以期达到较好的分类效果。
具体地，在本实施例中，可以保持经预训练的图像分类模型的部分参数不变，基于反向传播算法采用自适应时刻估计优化器训练经预训练的图像分类模型，例如，可以保持输入卷积层以及前10个残差块的参数不变，利用自适应时刻估计优化器对后20个残差块以及全连接层的参数进行训练优化，直至图像分类模型收敛。
在本实施例中，更新模块19可以包括：
标注单元191，用于对测试集中假阴性以及假阳性的图像的类别进行标注；
添加单元192，用于将经标注的测试集中的图像加入训练集，并调用训练模块15。
在本实施例中，图像分类模型相应输出的除了该图像对应的类别之外，还包括该图像对应类别的置信度，在本实施例中，可以对测试集中置信度低于第一阈值(例如0.3)的假阴性的图像，以及置信度高于第二阈值(例如0.9)的假阳性图像进行标注，将经标注的假阳性和假阴性的图像加入训练集以实现训练集的优化，再调用训练模块15，重新以经优化的训练集中的图像为输入，以输入的所述训练集中的图像的类别为输出，基于反向传播算法训练所述图像分类模型，以进一步提升图像分类模型的准确率。
在本实施例中，还可以对后加入训练集中的假阳性和假阴性图像进行变更操作，以在产生足够多的训练数据的同时节约标注成本，其中，变更操作可以包括添加噪声、随机旋转、仿射变换、水平翻转、垂直翻转、亮度变化、对比度变化中的至少一种。
在本实施例中，采用迁移学习的方法训练图像分类模型，能够提高图像分类模型的训练效率，此外，训练集中的图像训练得到收敛的图像分类模型后，还可以从测试集中添加图像至训练集中以进一步训练图像分类模型，如此，图像分类模型与训练集之间相互影响，在实施例7的基础上实现对图像分类模型由粗到细地不断训练，能够极大地提高图像分类模型的准确率。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (10)
1.一种图像分类的方法，其特征在于，所述方法包括：
获取包括若干图像的目标数据集；
划分所述目标数据集得到训练集和测试集；
对所述训练集中图像的类别进行标注；
基于卷积神经网络构建图像分类模型；
以所述训练集中的图像为输入，以输入的所述训练集中的图像的类别为输出，训练所述图像分类模型；
利用所述测试集测试经训练的所述图像分类模型的准确率；
判断所述准确率是否大于预设阈值；
若是，则利用经训练的所述图像分类模型进行图像分类；
若否，则利用所述测试集中的图像更新所述训练集，并转至所述训练所述图像分类模型的步骤。
2.如权利要求1所述的图像分类的方法，其特征在于，所述利用所述测试集中的图像更新所述训练集的步骤包括：
对所述测试集中假阴性以及假阳性的图像的类别进行标注；
将经标注的所述测试集中的图像加入所述训练集。
3.如权利要求1所述的图像分类的方法，其特征在于，在所述获取包括若干图像的目标数据集的步骤之后，所述方法还包括：
对所述目标数据集中的图像进行预处理；
其中，所述预处理包括归一化处理；
和/或，
在所述训练所述图像分类模型的步骤之前，所述方法还包括：
对经标注的训练集中的图像进行变更操作；
将经变更操作得到的图像加入所述训练集；
其中，所述变更操作包括添加噪声、随机旋转、仿射变换、水平翻转、垂直翻转、亮度变化、对比度变化中的至少一种；
和/或，
所述基于卷积神经网络构建图像分类模型的步骤包括：
根据下式构建所述图像分类模型的目标函数：
BL(pt)＝-α(1-pt)γlog(pt)
其中，BL用于表征目标函数，t用于表征图像的类别，pt用于表征不同类别的分类概率，γ、α是超参数，并且，γ>0，α∈(0,1)。
4.如权利要求1所述的图像分类的方法，其特征在于，所述基于卷积神经网络构建图像分类模型的步骤包括：
获取包括若干已标注类别的图像的公开数据集；
基于卷积神经网络构建图像分类模型；
以所述公开数据集中的图像为输入，以输入的所述公开数据集中的图像的类别为输出，预训练所述图像分类模型；
所述训练所述图像分类模型的步骤包括：
训练经预训练的所述图像分类模型。
5.如权利要求4所述的图像分类的方法，其特征在于，所述训练经预训练的所述图像分类模型的步骤包括：
保持经预训练的所述图像分类模型的部分参数不变，采用自适应时刻估计优化器训练经预训练的所述图像分类模型。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的图像分类的方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的图像分类的方法的步骤。
8.一种图像分类的***，其特征在于，所述***包括：
获取模块，用于获取包括若干图像的目标数据集；
划分模块，用于划分所述目标数据集得到训练集和测试集；
标注模块，用于对所述训练集中图像的类别进行标注；
构建模块，用于基于卷积神经网络构建图像分类模型；
训练模块，用于以所述训练集中的图像为输入，以输入的所述训练集中的图像的类别为输出，训练所述图像分类模型；
测试模块，用于利用所述测试集测试经训练的所述图像分类模型的准确率；
判断模块，用于判断所述准确率是否大于预设阈值；
若是，则调用应用模块，所述应用模块用于利用经训练的所述图像分类模型进行图像分类；
若否，则调用更新模块，所述更新模块用于利用所述测试集中的图像扩充所述训练集。
9.如权利要求8所述的图像分类的***，其特征在于，所述更新模块包括：
标注单元，用于对所述测试集中假阴性以及假阳性的图像的类别进行标注；
添加单元，用于将经标注的所述测试集中的图像加入所述训练集。
10.如权利要求8所述的图像分类的***，其特征在于，所述***还包括：
预处理模块，用于对所述目标数据集中的图像进行预处理；
其中，所述预处理包括归一化处理；
和/或，
所述***还包括：
扩充模块，具体用于对经标注的训练集中的图像进行变更操作，并将经变更操作得到的图像加入所述训练集；
其中，所述变更操作包括添加噪声、随机旋转、仿射变换、水平翻转、垂直翻转、亮度变化、对比度变化中的至少一种；
和/或，
所述构建模块具体用于根据下式构建所述图像分类模型的目标函数：
BL(pt)＝-α(1-pt)γlog(pt)
其中，BL用于表征目标函数，t用于表征图像的类别，pt用于表征不同类别的分类概率，γ、α是超参数，并且，γ>0，α∈(0,1)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910793262.0A CN110503154A (zh) | 2019-08-27 | 2019-08-27 | 图像分类的方法、***、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910793262.0A CN110503154A (zh) | 2019-08-27 | 2019-08-27 | 图像分类的方法、***、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110503154A true CN110503154A (zh) | 2019-11-26 |
Family
ID=68589718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910793262.0A Pending CN110503154A (zh) | 2019-08-27 | 2019-08-27 | 图像分类的方法、***、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110503154A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111737472A (zh) * | 2020-07-01 | 2020-10-02 | 携程计算机技术（上海）有限公司 | 文本分类模型的更新方法及***、电子设备及存储介质 |
| CN112016622A (zh) * | 2020-08-28 | 2020-12-01 | 中移（杭州）信息技术有限公司 | 模型训练的方法、电子设备和计算机可读存储介质 |
| CN112132222A (zh) * | 2020-09-27 | 2020-12-25 | 上海高德威智能交通***有限公司 | 车牌的类别识别方法、装置及存储介质 |
| CN112182268A (zh) * | 2020-09-27 | 2021-01-05 | 北京达佳互联信息技术有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
| CN112270974A (zh) * | 2020-09-22 | 2021-01-26 | 视隼智能科技(上海)有限公司 | 一种基于人工智能的智能辅助医学影像工作站 |
| CN112288015A (zh) * | 2020-10-30 | 2021-01-29 | 国网四川省电力公司电力科学研究院 | 基于边缘计算改进knn的配网电气拓扑识别方法及*** |
| CN112396923A (zh) * | 2020-11-25 | 2021-02-23 | 贵州轻工职业技术学院 | 一种市场营销的教学模拟*** |
| CN112395873A (zh) * | 2020-10-15 | 2021-02-23 | 北京百度网讯科技有限公司 | 对白角色标注模型的生成方法、装置及电子设备 |
| CN113065013A (zh) * | 2021-03-25 | 2021-07-02 | 携程计算机技术（上海）有限公司 | 图像标注模型训练和图像标注方法、***、设备及介质 |
| CN113945569A (zh) * | 2021-09-30 | 2022-01-18 | 河北建投新能源有限公司 | 离子膜的故障检测方法及装置 |
| CN114254146A (zh) * | 2020-09-21 | 2022-03-29 | 京东方科技集团股份有限公司 | 图像数据的分类方法、装置和*** |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273933A (zh) * | 2017-06-27 | 2017-10-20 | 北京飞搜科技有限公司 | 一种图像追踪分类器的构建方法及应用其的人脸追踪方法 |
| US20180032801A1 (en) * | 2016-07-27 | 2018-02-01 | International Business Machines Corporation | Inferring body position in a scan |
| CN108319968A (zh) * | 2017-12-27 | 2018-07-24 | 中国农业大学 | 一种基于模型融合的果蔬图像分类识别方法及*** |
| CN108564026A (zh) * | 2018-04-10 | 2018-09-21 | 复旦大学附属肿瘤医院 | 用于甲状腺肿瘤细胞学涂片图像分类的网络构建方法及*** |
| CN108564123A (zh) * | 2018-04-10 | 2018-09-21 | 复旦大学附属肿瘤医院 | 一种甲状腺肿瘤细胞学涂片图像分类方法及其装置 |
| CN109255340A (zh) * | 2018-10-29 | 2019-01-22 | 东北大学 | 一种融合多种改进vgg网络的人脸识别方法 |
| CN109359541A (zh) * | 2018-09-17 | 2019-02-19 | 南京邮电大学 | 一种基于深度迁移学习的素描人脸识别方法 |
| CN109508741A (zh) * | 2018-11-09 | 2019-03-22 | 哈尔滨工业大学 | 基于深度学习筛选训练集的方法 |
| CN109508650A (zh) * | 2018-10-23 | 2019-03-22 | 浙江农林大学 | 一种基于迁移学习的树种识别方法 |
| CN109766769A (zh) * | 2018-12-18 | 2019-05-17 | 四川大学 | 一种基于单目视觉与深度学习的道路目标检测识别方法 |
| CN109766775A (zh) * | 2018-12-18 | 2019-05-17 | 四川大学 | 一种基于深度卷积神经网络的车辆检测*** |
| CN109815864A (zh) * | 2019-01-11 | 2019-05-28 | 浙江工业大学 | 一种基于迁移学习的人脸图像年龄识别方法 |
-
2019
- 2019-08-27 CN CN201910793262.0A patent/CN110503154A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180032801A1 (en) * | 2016-07-27 | 2018-02-01 | International Business Machines Corporation | Inferring body position in a scan |
| CN107273933A (zh) * | 2017-06-27 | 2017-10-20 | 北京飞搜科技有限公司 | 一种图像追踪分类器的构建方法及应用其的人脸追踪方法 |
| CN108319968A (zh) * | 2017-12-27 | 2018-07-24 | 中国农业大学 | 一种基于模型融合的果蔬图像分类识别方法及*** |
| CN108564026A (zh) * | 2018-04-10 | 2018-09-21 | 复旦大学附属肿瘤医院 | 用于甲状腺肿瘤细胞学涂片图像分类的网络构建方法及*** |
| CN108564123A (zh) * | 2018-04-10 | 2018-09-21 | 复旦大学附属肿瘤医院 | 一种甲状腺肿瘤细胞学涂片图像分类方法及其装置 |
| CN109359541A (zh) * | 2018-09-17 | 2019-02-19 | 南京邮电大学 | 一种基于深度迁移学习的素描人脸识别方法 |
| CN109508650A (zh) * | 2018-10-23 | 2019-03-22 | 浙江农林大学 | 一种基于迁移学习的树种识别方法 |
| CN109255340A (zh) * | 2018-10-29 | 2019-01-22 | 东北大学 | 一种融合多种改进vgg网络的人脸识别方法 |
| CN109508741A (zh) * | 2018-11-09 | 2019-03-22 | 哈尔滨工业大学 | 基于深度学习筛选训练集的方法 |
| CN109766769A (zh) * | 2018-12-18 | 2019-05-17 | 四川大学 | 一种基于单目视觉与深度学习的道路目标检测识别方法 |
| CN109766775A (zh) * | 2018-12-18 | 2019-05-17 | 四川大学 | 一种基于深度卷积神经网络的车辆检测*** |
| CN109815864A (zh) * | 2019-01-11 | 2019-05-28 | 浙江工业大学 | 一种基于迁移学习的人脸图像年龄识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| MAHBUB HUSSAIN等: "A Study on CNN Transfer Learning for Image Classification", 《ADVANCES IN COMPUTATIONAL INTELLIGENCE SYSTEMS》 * |
| 张荣荣: "图像分类中融合Bagging的Tri-Training算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 高龙: "基于卷积神经网络的领域自适应算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111737472A (zh) * | 2020-07-01 | 2020-10-02 | 携程计算机技术（上海）有限公司 | 文本分类模型的更新方法及***、电子设备及存储介质 |
| CN112016622A (zh) * | 2020-08-28 | 2020-12-01 | 中移（杭州）信息技术有限公司 | 模型训练的方法、电子设备和计算机可读存储介质 |
| CN114254146A (zh) * | 2020-09-21 | 2022-03-29 | 京东方科技集团股份有限公司 | 图像数据的分类方法、装置和*** |
| CN112270974A (zh) * | 2020-09-22 | 2021-01-26 | 视隼智能科技(上海)有限公司 | 一种基于人工智能的智能辅助医学影像工作站 |
| CN112132222B (zh) * | 2020-09-27 | 2023-02-10 | 上海高德威智能交通***有限公司 | 车牌的类别识别方法、装置及存储介质 |
| CN112182268A (zh) * | 2020-09-27 | 2021-01-05 | 北京达佳互联信息技术有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
| CN112132222A (zh) * | 2020-09-27 | 2020-12-25 | 上海高德威智能交通***有限公司 | 车牌的类别识别方法、装置及存储介质 |
| CN112182268B (zh) * | 2020-09-27 | 2024-04-05 | 北京达佳互联信息技术有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
| CN112395873A (zh) * | 2020-10-15 | 2021-02-23 | 北京百度网讯科技有限公司 | 对白角色标注模型的生成方法、装置及电子设备 |
| CN112395873B (zh) * | 2020-10-15 | 2022-02-01 | 北京百度网讯科技有限公司 | 对白角色标注模型的生成方法、装置及电子设备 |
| CN112288015A (zh) * | 2020-10-30 | 2021-01-29 | 国网四川省电力公司电力科学研究院 | 基于边缘计算改进knn的配网电气拓扑识别方法及*** |
| CN112396923A (zh) * | 2020-11-25 | 2021-02-23 | 贵州轻工职业技术学院 | 一种市场营销的教学模拟*** |
| CN112396923B (zh) * | 2020-11-25 | 2023-09-19 | 贵州轻工职业技术学院 | 一种市场营销的教学模拟*** |
| CN113065013A (zh) * | 2021-03-25 | 2021-07-02 | 携程计算机技术（上海）有限公司 | 图像标注模型训练和图像标注方法、***、设备及介质 |
| CN113065013B (zh) * | 2021-03-25 | 2024-05-03 | 携程计算机技术（上海）有限公司 | 图像标注模型训练和图像标注方法、***、设备及介质 |
| CN113945569A (zh) * | 2021-09-30 | 2022-01-18 | 河北建投新能源有限公司 | 离子膜的故障检测方法及装置 |
| CN113945569B (zh) * | 2021-09-30 | 2023-12-26 | 河北建投新能源有限公司 | 离子膜的故障检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110503154A (zh) | 图像分类的方法、***、电子设备及存储介质 | |
| CN107358257B (zh) | 一种大数据场景下可增量学习的图像分类训练方法 | |
| CN109271967A (zh) | 图像中文本的识别方法及装置、电子设备、存储介质 | |
| CN110852447B (zh) | 元学习方法和装置、初始化方法、计算设备和存储介质 | |
| CN108021947B (zh) | 一种基于视觉的分层极限学习机目标识别方法 | |
| CN108288014A (zh) | 道路智能提取方法和装置、提取模型构建方法及混合导航*** | |
| CN106991382A (zh) | 一种遥感场景分类方法 | |
| CN104838420B (zh) | 基于图像内容进行图像旋转以修正图像取向 | |
| CN110991435A (zh) | 一种基于深度学习的快递运单关键信息定位方法和装置 | |
| CN109165645A (zh) | 一种图像处理方法、装置以及相关设备 | |
| CN110580500A (zh) | 一种面向人物交互的网络权重生成少样本图像分类方法 | |
| CN109460769A (zh) | 一种基于表格字符检测与识别的移动端***与方法 | |
| CN107251082A (zh) | 信息处理装置、信息处理方法和程序 | |
| CN110516671A (zh) | 神经网络模型的训练方法、图像检测方法及装置 | |
| CN104915673B (zh) | 一种基于视觉词袋模型的目标分类方法和*** | |
| CN108846413A (zh) | 一种基于全局语义一致网络的零样本学习方法 | |
| CN103258214A (zh) | 基于图像块主动学习的遥感图像分类方法 | |
| CN110321956B (zh) | 一种基于人工智能的牧草病虫害治理方法及装置 | |
| CN110245711A (zh) | 基于角度旋转生成网络的sar目标识别方法 | |
| CN109410190B (zh) | 基于高分辨率遥感卫星影像的杆塔倒断检测模型训练方法 | |
| CN111582395B (zh) | 一种基于卷积神经网络的产品质量分类*** | |
| CN110457677A (zh) | 实体关系识别方法及装置、存储介质、计算机设备 | |
| CN110059677A (zh) | 基于深度学习的数字表识别方法及设备 | |
| CN107203558A (zh) | 对象推荐方法和装置、推荐信息处理方法和装置 | |
| CN108932449A (zh) | 一种基于聚类的条码二值化方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191126 |
|
| RJ01 | Rejection of invention patent application after publication |