CN113496231B - 分类模型训练方法、图像分类方法、装置、设备及介质 - Google Patents

分类模型训练方法、图像分类方法、装置、设备及介质 Download PDF

Info

Publication number
CN113496231B
CN113496231B CN202010192246.9A CN202010192246A CN113496231B CN 113496231 B CN113496231 B CN 113496231B CN 202010192246 A CN202010192246 A CN 202010192246A CN 113496231 B CN113496231 B CN 113496231B
Authority
CN
China
Prior art keywords
image
classification
preliminary
module
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010192246.9A
Other languages
English (en)
Other versions
CN113496231A (zh
Inventor
林金表
刘伟峰
刘旭
徐卓然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202010192246.9A priority Critical patent/CN113496231B/zh
Publication of CN113496231A publication Critical patent/CN113496231A/zh
Application granted granted Critical
Publication of CN113496231B publication Critical patent/CN113496231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种分类模型训练方法、图像分类方法、装置、设备及介质，所述分类模型训练方法包括：获取样本图像、所述样本图像的形状标记以及所述样本图像的类别标记；基于所述样本图像、所述样本图像的形状标记以及所述样本图像的类别标记生成训练样本数据；使用所述训练样本数据对预先构建的图像分类模型进行训练，得到训练好的图像分类模型。本发明实施例提供的分类模型训练方法通过将样本形状标记作为图像分类模型的训练特征之一，避免了分类模型训练过程中的过拟合，提高了图像分类的准确率。

Description

分类模型训练方法、图像分类方法、装置、设备及介质
技术领域
本发明实施例涉及图像处理领域，尤其涉及一种分类模型训练方法、图像分类方法、装置、设备及介质。
背景技术
目前，基于图像识别的新型无人售卖柜已经逐渐成为零售业的主流发展方向。与传统的自动售货机不同，新型无人售卖柜能够让顾客打开柜门后如同在超市一样自助选取商品，关门智能结算，使用更为便捷。新型无人售卖柜通过摄像头捕捉顾客购买过程的图像，通过检测、分类等图像识别方法识别顾客拿取商品，进而推算出用户的购买清单，用于在用户关门后智能结算。
其中，分类方法用于判断顾客购买商品的类别，是新型无人售货柜的核心技术。目前，图像分类方法的主流方式是基于卷积神经网络，通过训练一个深度网络模型来实现分类的目的。现有的深度网络模型主要包括多个特征提取层，提取出图像特征后，根据图像的特征向量得到图像中商品所属类别。
在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：通过相同的特征提取模块对所有的商品进行特征提取，容易使训练出的网络模型对图像的部分信息过拟合，导致分类准确率较低。
发明内容
本发明实施例提供了一种分类模型训练方法、图像分类方法、装置、设备及介质，以实现避免分类模型训练过程中的过拟合，提高图像分类的准确率。
第一方面，本发明实施例提供了一种图像分类模型训练方法，包括：
获取样本图像、样本图像的形状标记以及样本图像的类别标记；
基于样本图像、样本图像的形状标记以及样本图像的类别标记生成训练样本数据；
使用训练样本数据对预先构建的图像分类模型进行训练，得到训练好的图像分类模型。
第二方面，本发明实施例还提供了一种图像分类方法，包括：
获取待分类图像；
将待分类图像输入至训练好的图像分类模型中，获得图像分类模型输出的分类结果，其中，训练好的图像分类模型是使用本发明任意实施例所提供的图像分类模型训练方法进行训练得到的；
根据分类结果确定待分类图像的目标类别。
第三方面，本发明实施例还提供了一种图像分类模型训练装置，包括：
样本数据获取模块，用于获取样本图像、样本图像的形状标记以及样本图像的类别标记；
训练样本生成模块，用于基于样本图像、样本图像的形状标记以及样本图像的类别标记生成训练样本数据；
分类模型训练模块，用于使用训练样本数据对预先构建的图像分类模型进行训练，得到训练好的图像分类模型。
第四方面，本发明实施例还提供了一种图像分类装置，包括：
待分类图像获取模块，用于获取待分类图像；
分类结果获取模块，用于将待分类图像输入至训练好的图像分类模型中，获得图像分类模型输出的分类结果，其中，训练好的图像分类模型是使用本发明任意实施例所提供的图像分类模型训练方法进行训练得到的；
目标类别确定模块，用于根据分类结果确定待分类图像的目标类别。
第五方面，本发明实施例还提供了一种计算机设备，设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例所提供的图像分类模型训练方法；和/或，实现如本发明任意实施例所提供的图像分类方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的图像分类模型训练方法；和/或，实现如本发明任意实施例所提供的图像分类方法。
本发明实施例通过获取样本图像、样本图像的形状标记以及样本图像的类别标记；基于样本图像、样本图像的形状标记以及样本图像的类别标记生成训练样本数据；使用训练样本数据对预先构建的图像分类模型进行训练，得到训练好的图像分类模型，通过将样本形状标记作为图像分类模型的训练特征之一，避免了分类模型训练过程中的过拟合，提高了图像分类的准确率。
附图说明
图1a是本发明实施例一所提供的一种图像分类模型训练方法的流程图；
图1b是本发明实施例一所提供的一种图像分类模型的结构示意图；
图1c是本发明实施例一所提供的又一种图像分类模型的结构示意图；
图2是本发明实施例二所提供的一种图像分类方法的流程图；
图3是本发明实施例三所提供的一种图像分类模型训练装置的结构示意图；
图4是本发明实施例四所提供的一种图像分类装置的结构示意图；
图5是本发明实施例五所提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a是本发明实施例一所提供的一种图像分类模型训练方法的流程图。本实施例可适用于对图像分类模型进行训练时的情形，尤其适用于对用于对售货柜中的物品进行分类的图像分类模型进行训练时的情形。该方法可以由图像分类模型训练装置执行，该图像分类模型训练装置可以采用软件和/或硬件的方式实现，例如，该图像分类模型训练装置可配置于计算机设备中。如图1a所示，所述方法包括：
S110、获取样本图像、样本图像的形状标记以及样本图像的类别标记。
目前，对用于售货机的图像分类模型进行训练时，仅利用了物品的图像信息，缺乏对物品信息的综合利用，使得对于所有的商品，提取的特征图都是通过同样的特征提取模块获取，上述训练方式容易导致训练出来的网络模型对图像的颜色信息过拟合，导致分类准确率低。在本实施例中，将物品的形状信息作为图像分类模型的训练特征之一，使得训练出的图像分类模型更加贴合售货柜的应用场景，提高售货柜中商品分类准确率。
在本实施例中，样本图像可以为包含目标识别物品的图像。获取样本图像后，对样本图像进行人工标注，标注出样本图像中目标识别物品的形状以及目标识别物品的类别，得到样本图像、样本图像的形状标记以及样本图像的类别标记。
优选的，为了使基于样本图像训练得到的图像分类模型更加适用于售货柜，样本图像可以基于售货柜中的物品图像获得。示例性的，可以获取售货柜中物品不同角度的图像作为样本图像。在此基础上，结合售货柜中物品的形状特点，对样本图像进行标记。可选的，样本图像的形状标记可以为饮料标记、袋装零食标记、罐装零食标记等标记类别，样本图像的类别标记可以为样本图像中目标识别物品的具体类别，如目标识别物品的物品标识。
S120、基于样本图像、样本图像的形状标记以及样本图像的类别标记生成训练样本数据。
对样本图像标注完成后，基于样本图像、样本图像的形状标记以及样本图像的类别标记生成训练样本对，大量的训练样本对构成训练样本数据，。
S130、使用训练样本数据对预先构建的图像分类模型进行训练，得到训练好的图像分类模型。
得到样本训练数据后，使用训练样本数据对预先构建的图像分类模型进行训练，得到训练好的图像分类模型。
在本实施例中，将样本图像的形状标记作为训练特征之一，相应的，需要在图像分类模型中构建相应的初步分类模块，并构建初步分类模块与进行最终分类的目标分类模块之间的关系，以使基于形状标记训练得到的特征与目标分类模块的特征提取相融合，提高目标分类模块分类的准确性。
在本发明的一种实施方式中，预先构建的图像分类模型包括：初步分类模块、注意力模块和目标分类模块；其中，初步分类模块，用于提取初步图像特征，并根据提取的初步图像特征输出初步分类结果；注意力模块，用于对初步分类模块提取的初步图像特征进行加权变换，并输出注意力矩阵数据；目标分类模块，用于根据注意力模块输出的注意力矩阵数据和初步分类模块提取的初步图像特征得到目标图像特征，并根据目标图像特征输出目标分类结果。
图1b是本发明实施例一所提供的一种图像分类模型的结构示意图。如图1b所示，图像分类模型包括初步分类模块10、注意力模块20和目标分类模块30。其中，初步分类模块的输入为待分类图像，输出为待分类图像的初步分类结果，注意力模块的输入为初步分类模块中特征提取层输出的初步图像特征，输出为注意力矩阵数据；目标分类模块输入为初步分类模块中特征提取层输出的初步图像特征以及注意力模块输出的注意力矩阵数据，输出为目标分类结果。图1b中的图像分类模型，通过初步分类结果调整初步分类模块中特征提取层的特征提取参数，从而影响注意力模块的输入以及目标分类模块的输入，使得用于目标分类的目标分类模块特征提取更加准确，进而提高了目标分类模块的分类准确度。
其中，初步分类模块可以包括至少两个顺次连接的初步特征提取网络以及第一分类模块，当初步分类模块中包括多个顺次连接的初步特征提取网络时，可以将第一个初步特征提取网络和最后一个初步特征提取网络与注意力模块相连，将第一个初步特征提取网络和注意力模块与目标分类模块的输入端相连，即将第一个初步特征提取网络输出的初步图像特征和最后一个初步特征提取网络输出的初步图像特征作为注意力模块的输入，将第一个初步特征提取网络输出的初步图像特征和注意力模块输出的注意力矩阵数据作为目标分类模块的输入。同理，目标分类模块中也可以包括顺次连接的至少一个目标特征提取网络，用于进行图像特征的多次提取。
在本发明的一种实施方式中，初步分类模块包括顺次连接的第一特征提取网络、第二特征提取网络和第一分类模块，目标分类模块包括顺次连接的特征融合层、第三特征提取网络和第二分类模块，第一特征提取网络和第二特征提取网络与注意力模块相连；第一特征提取网络和注意力模块与特征融合层相连；第一特征提取网络，用于提取第一图像特征；第二特征提取网络，用于从第一图像特征中提取第二图像特征；注意力模块，用于对一图像特征和第二图像特征进行加权变换，输出注意力矩阵数据；第一分类模块，用于根据第二图像特征输出初步分类结果；特征融合层，用于根据注意力矩阵数据对第一图像特征进行变化，得到第三图像特征；第三特征提取网络，用于从第三图像特征中提取目标图像特征；第二分类模块，用于根据目标图像特征输出目标分类结果。
具体的，以初步分类模块中包含两个特征提取网络，目标分类模块中包括一个特征提取网络为例，对图像分类模型的结构进行说明。图1c是本发明实施例一所提供的又一种图像分类模型的结构示意图。如图1c所示，图像分类模型包括初步分类模块10、注意力模块20和目标分类模块30；初步分类模块具体包括第一特征提取网络110、第二特征提取网络120和第一分类模块130，第一分类模块130包括第一全连接层131、第一指数归一化层132和初步分类结果层133；目标分类模块30包括特征融合层310、第三特征提取网络320和第二分类模块330，第二分类模块330包括第二全连接层331、第二指数归一化层332和目标分类结果层333。
在本实施例中，如图1c所示的图像分类模型，对待分类图像的分类流程为：将待分类图像输入至第一特征提取网络110中，获得第一特征提取网络110输出的第一图像特征v，将第一图像特征v输入至第二特征提取网络120中，获得第二特征提取网络120输出的第二图像特征q，将第二图像特征q通过第一分类模块130中的第一全连接层131生成一个长度与形状类别数目相等的特征向量，再通过第一指数归一化层132计算出图像属于每个形状类别的概率，最后通过初步分类结果层133根据各形状类别的概率输出初步分类结果；同时，将第一图像特征v和第二图像特征q输入至注意力模块20中，获得注意力模块20输出的注意力矩阵数据G；然后，将第一图像特征v和注意力矩阵数据G输入至特征融合层310中，获得特征融合层310输出的第三图像特征h，将第三图像特征h输入至第三特征提取网络320中，获得第三特征提取网络320输出的目标图像特征，最后将目标图像特征经过第二分类模块330中的第二全连接层331生成一个长度与目标类别数目相等的特征向量，再通过第二指数归一化层332计算出图像属于每个目标类别的概率，最后通过目标分类结果层333根据各目标类别的概率输出目标分类结果。
上述过程中，特征融合层310可以将第一图像特征v和注意力矩阵数据G的乘积作为第三图像特征h。假设q的尺寸为cq×sq×sq，v的尺寸为cv×sv×sv，其中，cq、cv为通道数，sq、sv为特征图的边长。记vj为v的第j个位置，hi为h的第i个位置，gij为矩阵G的第i行第j列元素，则有
可选的，注意力模块20根据第一图像特征v和第二图像特征q生成注意力矩阵数据G可以为：首先对于q和v，先分别通过ck个1x1的卷积核得到大小为ck×sq×sq和ck×sv×sv的特征图Kq和Kv，之后对特征图Kq和Kv进行转换(reshape)，转换为大小为和/>的矩阵Bq和Bv。然后通过Q＝WqBq、V＝WvBv以及A＝QTV，得到/>的注意力矩阵大小A；其中，Wq和Wv为cw×ck的参数矩阵。注意力矩阵A的第i行第j列元素描述了特征图q的第i个位置与v的第j个位置的关系密切程度。最后，对A进行指数归一化，即可得注意力模块输出的注意力矩阵数据G，即/>其中，gij为矩阵G的第i行第j列元素，aij为矩阵A的第i行第j列元素，cv为第一特征提取网络的通道数。
在上述方案的基础上，使用训练样本数据对预先构建的图像分类模型进行训练，得到训练好的图像分类模型，包括：获取初步分类模块输出的初步分类结果以及目标分类模块输出的目标分类结果；根据初步分类结果、形状标记、目标分类结果以及类别标记确定目标损失值，以目标损失值达到收敛条件为目标，对图像分类模型进行训练，得到训练好的图像分类模型。
在本实施例中，使用训练样本数据对图像分类模型进行训练时，通过上述分类过程得到样本图像的初步分类结果以及目标分类结果，然后结合初步分类结果、样本图像对应的形状标记、目标分类结果以及样本图像对应的类别标记计算目标损失值，当目标损失值满足收敛条件时，得到训练好的图像分类模型。可选的，目标损失值满足收敛条件可以为相邻两次目标损失值之差小于设定阈值，或迭代次数达到设定的目标迭代次数。
可选的，可以根据初步分类结果以及形状标记确定样本图像的形状损失值，根据目标分类结果以及类别标记确定样本图像的类别损失值，将形状损失值和类别损失值均作为目标损失值，以形状损失值和类别损失值均达到收敛条件为目标，对图像分类模型进行训练，得到训练好的图像分类模型；也可以基于形状损失值和类别损失值计算图像分类模型的目标损失值，以目标损失值达到收敛条件为目标，对图像分类模型进行训练，得到训练好的图像分类模型。其中，确定样本图像的形状损失值的第一损失函数，以及确定样本图像的类别损失值的第二损失函数可以根据实际需求设置。第一损失函数和第二损失函数可以为相同的损失函数，也可以为不同的损失函数。
在本发明的一种实施方式中，根据初步分类结果、形状标记、目标分类结果以及类别标记确定目标损失值，包括：根据初步分类结果和形状标记确定形状损失值，根据目标分类结果和类别标记确定类别损失值；将形状损失值与类别损失值之和作为目标损失值。具体的，可以将形状损失值与的类别损失值的和作为目标损失值。可选的，还可以根据实际需求为类别损失值和形状损失值设定不同的权值，对类别损失值和形状损失值进行加权求和，得到目标损失值。
本发明实施例通过获取样本图像、样本图像的形状标记以及样本图像的类别标记；基于样本图像、样本图像的形状标记以及样本图像的类别标记生成训练样本数据；使用训练样本数据对预先构建的图像分类模型进行训练，得到训练好的图像分类模型，通过将样本形状标记作为图像分类模型的训练特征之一，并构建相应的分类模块，避免了分类模型训练过程中的过拟合，提高了图像分类的准确率。
实施例二
图2是本发明实施例二所提供的一种图像分类方法的流程图。本实施例可适用于识别图像中物品类别时的情形，尤其适用于识别售货柜中的物品图像对应的类别的时情形。该方法可以由图像分类装置执行，该图像分类装置可以采用软件和/或硬件的方式实现，例如，该图像分类装置可配置于计算机设备中。
如图2所示，所述方法包括：
S210、获取待分类图像。
在本实施例中，待分类图像可以为设置于售货柜中的图像获取装置获取的，指示用户所购买的物品的图像。
S220、将待分类图像输入至训练好的图像分类模型中，获得图像分类模型输出的分类结果。
在本实施例中，获取待检测图像后，使用预先训练好的图像分类模型对待分类图像进行分类，获取图像分类模型的分类结果，以依据图像分类模型的输出信息确定图像分类结果。其中，训练好的图像分类模型是使用本发明任意实施例所提供的图像分类模型训练方法进行训练得到的。因此，图像分类模型的分类结果包括图像分类模型中初步分类模块输出的初步分类结果以及目标分类模块输出的目标分类信结果。
S230、根据分类结果确定待分类图像的目标类别。
在本实施例中，将图像分类模型中目标分类模块输出的目标分类结果作为待分类图像的目标类别。
本发明实施例通过获取待分类图像；将待分类图像输入至训练好的图像分类模型中，获得图像分类模型输出的分类结果，其中，训练好的图像分类模型是如本发明任意实施例所提供的图像分类模型训练方法进行训练得到的；根据分类结果确定待分类图像的目标类别，通过基于样本形状标记等训练特征得到的图像分类模型进行图像分类，提高了图像分类的准确率。
实施例三
图3是本发明实施例三所提供的一种图像分类模型训练装置的结构示意图。该图像分类模型训练装置可以采用软件和/或硬件的方式实现，例如该图像分类模型训练装置可以配置于计算机设备中。如图3所示，装置包括样本数据获取模块310、训练样本生成模块320和分类模型训练模块330，其中：
样本数据获取模块310，用于获取样本图像、样本图像的形状标记以及样本图像的类别标记；
训练样本生成模块320，用于基于样本图像、样本图像的形状标记以及样本图像的类别标记生成训练样本数据；
分类模型训练模块330，用于使用训练样本数据对预先构建的图像分类模型进行训练，得到训练好的图像分类模型。
本发明实施例通过样本数据获取模块获取样本图像、样本图像的形状标记以及样本图像的类别标记；训练样本生成模块基于样本图像、样本图像的形状标记以及样本图像的类别标记生成训练样本数据；分类模型训练模块使用训练样本数据对预先构建的图像分类模型进行训练，得到训练好的图像分类模型，通过将样本形状标记作为图像分类模型的训练特征之一，并构建相应的分类模块，避免了分类模型训练过程中的过拟合，提高了图像分类的准确率。
可选的，在上述方案的基础上，预先构建的图像分类模型包括：初步分类模块、注意力模块和目标分类模块；其中，初步分类模块，用于提取初步图像特征，并根据提取的初步图像特征输出初步分类结果；注意力模块，用于对初步分类模块提取的初步图像特征进行加权变换，并输出注意力矩阵数据；目标分类模块，用于根据注意力模块输出的注意力矩阵数据和初步分类模块提取的初步图像特征得到目标图像特征，并根据目标图像特征输出目标分类结果。
可选的，在上述方案的基础上，初步分类模块包括顺次连接的第一特征提取网络、第二特征提取网络和第一分类模块，目标分类模块包括顺次连接的特征融合层、第三特征提取网络和第二分类模块，第一特征提取网络和第二特征提取网络与注意力模块相连；第一特征提取网络和注意力模块与特征融合层相连；第一特征提取网络，用于提取第一图像特征；第二特征提取网络，用于从第一图像特征中提取第二图像特征；注意力模块，用于对一图像特征和第二图像特征进行加权变换，输出注意力矩阵数据；第一分类模块，用于根据第二图像特征输出初步分类结果；特征融合层，用于根据注意力矩阵数据对第一图像特征进行变化，得到第三图像特征；第三特征提取网络，用于从第三图像特征中提取目标图像特征；第二分类模块，用于根据目标图像特征输出目标分类结果。
可选的，在上述方案的基础上，分类模型训练模块330具体用于：
获取初步分类模块输出的初步分类结果以及目标分类模块输出的目标分类结果；
根据初步分类结果、形状标记、目标分类结果以及类别标记确定目标损失值，以目标损失值达到收敛条件为目标，对图像分类模型进行训练，得到训练好的图像分类模型。
可选的，在上述方案的基础上，分类模型训练模块330具体用于：
根据初步分类结果和形状标记确定形状损失值，根据目标分类结果和类别标记确定类别损失值；
将形状损失值与类别损失值之和作为目标损失值。
可选的，在上述方案的基础上，样本图像基于售货柜中的物品图像获得。
本发明实施例所提供的图像分类模型训练装置可执行本发明任意实施例所提供的图像分类模型训练方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4是本发明实施例四所提供的一种图像分类装置的结构示意图。该图像分类装置可以采用软件和/或硬件的方式实现，例如该图像分类装置可以配置于计算机设备中。如图4所示，装置包括待分类图像获取模块410、分类结果获取模块420和目标类别确定模块430，其中：
待分类图像获取模块410，用于获取待分类图像；
分类结果获取模块420，用于将待分类图像输入至训练好的图像分类模型中，获得图像分类模型输出的分类结果，其中，训练好的图像分类模型是使用如本发明任意实施例所提供的图像分类模型训练方法进行训练得到的；
目标类别确定模块430，用于根据分类结果确定待分类图像的目标类别。
本发明实施例通过待分类图像获取模块获取待分类图像；分类结果获取模块将待分类图像输入至训练好的图像分类模型中，获得图像分类模型输出的分类结果，其中，训练好的图像分类模型是使用如本发明任意实施例所提供的图像分类模型训练方法进行训练得到的；目标类别确定模块根据分类结果确定待分类图像的目标类别，通过基于样本形状标记等训练特征得到的图像分类模型进行图像分类，提高了图像分类的准确率。
本发明实施例所提供的图像分类装置可执行本发明任意实施例所提供的图像分类方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五所提供的计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备512的框图。图5显示的计算机设备512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备512以通用计算设备的形式表现。计算机设备512的组件可以包括但不限于：一个或者多个处理器516，***存储器528，连接不同***组件(包括***存储器528和处理器516)的总线518。
总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器516或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机设备512典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器528可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)530和/或高速缓存存储器532。计算机设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储装置534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该计算机设备512交互的设备通信，和/或与使得该计算机设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，计算机设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与计算机设备512的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理器516通过运行存储在***存储器528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的图像分类模型训练方法，该方法包括：
获取样本图像、样本图像的形状标记以及样本图像的类别标记；
基于样本图像、样本图像的形状标记以及样本图像的类别标记生成训练样本数据；
使用训练样本数据对预先构建的图像分类模型进行训练，得到训练好的图像分类模型；
和/或，实现本发明实施例所提供的图像分类方法，该方法包括：
获取待分类图像；
将待分类图像输入至训练好的图像分类模型中，获得图像分类模型输出的分类结果，其中，训练好的图像分类模型是使用如本发明任意实施例的图像分类模型训练方法进行训练得到的；
根据分类结果确定待分类图像的目标类别。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的图像分类模型训练方法和/或图像分类方法的技术方案。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所提供的图像分类模型训练方法，该方法包括：
获取样本图像、样本图像的形状标记以及样本图像的类别标记；
基于样本图像、样本图像的形状标记以及样本图像的类别标记生成训练样本数据；
使用训练样本数据对预先构建的图像分类模型进行训练，得到训练好的图像分类模型；
和/或，实现本发明实施例所提供的图像分类方法，该方法包括：
获取待分类图像；
将待分类图像输入至训练好的图像分类模型中，获得图像分类模型输出的分类结果，其中，训练好的图像分类模型是使用如本发明任意实施例的图像分类模型训练方法进行训练得到的；
根据分类结果确定待分类图像的目标类别。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的图像分类模型训练方法和/或图像分类方法的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像分类模型训练方法，其特征在于，包括：
获取样本图像、所述样本图像的形状标记以及所述样本图像的类别标记；
基于所述样本图像、所述样本图像的形状标记以及所述样本图像的类别标记生成训练样本数据；
使用所述训练样本数据对预先构建的图像分类模型进行训练，得到训练好的图像分类模型；
其中，所述预先构建的图像分类模型包括：初步分类模块、注意力模块和目标分类模块；
所述初步分类模块，包括至少两个顺次连接的初步特征提取网络和第一分类模块，用于提取初步图像特征，并根据提取的初步图像特征输出初步分类结果；
所述注意力模块，与所述至少两个顺次连接的特征提取网络中的第一个初步特征提取网络和最后一个初步特征提取网络相连接，用于根据第一个初步特征提取网络输出的初步图像特征和最后一个初步特征提取网络输出的初步图像特征进行加权变换，并输出注意力矩阵数据；
所述目标分类模块，用于根据所述注意力模块输出的所述注意力矩阵数据和所述初步分类模块提取的所述初步图像特征得到目标图像特征，并根据所述目标图像特征输出目标分类结果。
2.根据权利要求1所述的方法，其特征在于，所述初步分类模块包括顺次连接的第一特征提取网络、第二特征提取网络和第一分类模块，所述目标分类模块包括顺次连接的特征融合层、第三特征提取网络和第二分类模块，所述第一特征提取网络和所述第二特征提取网络与所述注意力模块相连；所述第一特征提取网络和所述注意力模块与所述特征融合层相连；
所述第一特征提取网络，用于提取第一图像特征；
所述第二特征提取网络，用于从所述第一图像特征中提取第二图像特征；
所述注意力模块，用于对所述一图像特征和所述第二图像特征进行加权变换，输出所述注意力矩阵数据；
所述第一分类模块，用于根据所述第二图像特征输出初步分类结果；
所述特征融合层，用于根据所述注意力矩阵数据对所述第一图像特征进行变化，得到第三图像特征；
所述第三特征提取网络，用于从所述第三图像特征中提取所述目标图像特征；
所述第二分类模块，用于根据所述目标图像特征输出所述目标分类结果。
3.根据权利要求1或2所述的方法，其特征在于，所述使用所述训练样本数据对预先构建的图像分类模型进行训练，得到训练好的图像分类模型，包括：
获取所述初步分类模块输出的初步分类结果以及所述目标分类模块输出的目标分类结果；
根据所述初步分类结果、所述形状标记、所述目标分类结果以及所述类别标记确定目标损失值，以所述目标损失值达到收敛条件为目标，对所述图像分类模型进行训练，得到训练好的图像分类模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述初步分类结果、所述形状标记、所述目标分类结果以及所述类别标记确定目标损失值，包括：
根据所述初步分类结果和所述形状标记确定形状损失值，根据所述目标分类结果和所述类别标记确定类别损失值；
将所述形状损失值与所述类别损失值之和作为所述目标损失值。
5.根据权利要求1所述的方法，其特征在于，所述样本图像基于售货柜中的物品图像获得。
6.一种图像分类方法，其特征在于，包括：
获取待分类图像；
将所述待分类图像输入至训练好的图像分类模型中，获得所述图像分类模型输出的分类结果，其中，所述训练好的图像分类模型是使用权利要求1-5任一项所述的图像分类模型训练方法进行训练得到的；
根据所述分类结果确定所述待分类图像的目标类别。
7.一种图像分类模型训练装置，其特征在于，包括：
样本数据获取模块，用于获取样本图像、所述样本图像的形状标记以及所述样本图像的类别标记；
训练样本生成模块，用于基于所述样本图像、所述样本图像的形状标记以及所述样本图像的类别标记生成训练样本数据；
分类模型训练模块，用于使用所述训练样本数据对预先构建的图像分类模型进行训练，得到训练好的图像分类模型；
其中，所述预先构建的图像分类模型包括：初步分类模块、注意力模块和目标分类模块；
所述初步分类模块，包括至少两个顺次连接的初步特征提取网络和第一分类模块，所述至少两个顺次连接的初步特征提取网络中的第一个初步特征提取网络和用于提取初步图像特征，并根据提取的初步图像特征输出初步分类结果；
所述注意力模块，与所述至少两个顺次连接的特征提取网络中的第一个初步特征提取网络和最后一个初步特征提取网络相连接，用于根据第一个初步特征提取网络输出的初步图像特征和最后一个初步特征提取网络输出的初步图像特征进行加权变换，并输出注意力矩阵数据；
所述目标分类模块，用于根据所述注意力模块输出的所述注意力矩阵数据和所述初步分类模块提取的所述初步图像特征得到目标图像特征，并根据所述目标图像特征输出目标分类结果。
8.一种图像分类装置，其特征在于，包括：
待分类图像获取模块，用于获取待分类图像；
分类结果获取模块，用于将所述待分类图像输入至训练好的图像分类模型中，获得所述图像分类模型输出的分类结果，其中，所述训练好的图像分类模型是使用权利要求1-5任一项所述的图像分类模型训练方法进行训练得到的；
目标类别确定模块，用于根据所述分类结果确定所述待分类图像的目标类别。
9.一种计算机设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的图像分类模型训练方法；和/或，实现如权利要求6中所述的图像分类方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的图像分类模型训练方法；和/或，实现如权利要求6中所述的图像分类方法。
CN202010192246.9A 2020-03-18 2020-03-18 分类模型训练方法、图像分类方法、装置、设备及介质 Active CN113496231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010192246.9A CN113496231B (zh) 2020-03-18 2020-03-18 分类模型训练方法、图像分类方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010192246.9A CN113496231B (zh) 2020-03-18 2020-03-18 分类模型训练方法、图像分类方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113496231A CN113496231A (zh) 2021-10-12
CN113496231B true CN113496231B (zh) 2024-06-18

Family

ID=77994293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010192246.9A Active CN113496231B (zh) 2020-03-18 2020-03-18 分类模型训练方法、图像分类方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113496231B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875734A (zh) * 2018-05-23 2018-11-23 平安科技（深圳）有限公司 肝脏癌变定位方法、装置及存储介质
CN110414344A (zh) * 2019-06-25 2019-11-05 深圳大学 一种基于视频的人物分类方法、智能终端及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110265141B (zh) * 2019-05-13 2023-04-18 上海大学 一种肝脏肿瘤ct影像计算机辅助诊断方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875734A (zh) * 2018-05-23 2018-11-23 平安科技（深圳）有限公司 肝脏癌变定位方法、装置及存储介质
CN110414344A (zh) * 2019-06-25 2019-11-05 深圳大学 一种基于视频的人物分类方法、智能终端及存储介质

Also Published As

Publication number Publication date
CN113496231A (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
CN109858555B (zh) 基于图像的数据处理方法、装置、设备及可读存储介质
CN109447078B (zh) 一种自然场景图像敏感文字的检测识别方法
CN108280477B (zh) 用于聚类图像的方法和装置
CN106951484B (zh) 图片检索方法及装置、计算机设备及计算机可读介质
CN108197532A (zh) 人脸识别的方法、装置及计算机装置
CN108664897A (zh) 票据识别方法、装置及存储介质
CN113657425B (zh) 基于多尺度与跨模态注意力机制的多标签图像分类方法
WO2020134102A1 (zh) 物品识别方法、装置、售货***和存储介质
CN107832662A (zh) 一种获取图片标注数据的方法和***
CN112949415A (zh) 图像处理方法、装置、设备和介质
US11501110B2 (en) Descriptor learning method for the detection and location of objects in a video
CN110781970B (zh) 分类器的生成方法、装置、设备及存储介质
CN110222780A (zh) 物体检测方法、装置、设备和存储介质
CN115797736B (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
CN112883990A (zh) 数据分类方法及装置、计算机存储介质、电子设备
CN110161480A (zh) 基于半监督深度概率模型的雷达目标识别方法
CN114529581A (zh) 基于深度学习及多任务联合训练的多目标跟踪方法
CN112766284A (zh) 图像识别方法和装置、存储介质和电子设备
CN113935774A (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN111126990A (zh) 物品自动识别方法、结算方法、装置、终端及存储介质
CN115063084A (zh) 一种卷烟零售商户库存盘点方法及***
CN114255377A (zh) 一种智能货柜的差异商品检测分类方法
CN114078299A (zh) 一种商品结算方法、装置、电子设备及介质
CN114332602A (zh) 一种智能货柜的商品识别方法
CN113496231B (zh) 分类模型训练方法、图像分类方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant