CN112163110B - 图像分类方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像分类方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN112163110B
CN112163110B CN202011030731.2A CN202011030731A CN112163110B CN 112163110 B CN112163110 B CN 112163110B CN 202011030731 A CN202011030731 A CN 202011030731A CN 112163110 B CN112163110 B CN 112163110B
Authority
CN
China
Prior art keywords
image
initial
detected
classification result
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011030731.2A
Other languages
English (en)
Other versions
CN112163110A (zh
Inventor
冯进亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN202011030731.2A priority Critical patent/CN112163110B/zh
Publication of CN112163110A publication Critical patent/CN112163110A/zh
Application granted granted Critical
Publication of CN112163110B publication Critical patent/CN112163110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像分类方法、装置、电子设备、计算机可读存储介质，电子设备将待检测图像输入预设的分类模型中进行分类和可信度检测，得到待检测图像的初始分类结果和可信度；然后，根据可信度对初始分类结果进行校验，获得待检测图像的目标分类结果；其中，上述可信度用于表征待检测图像与分类模型的训练样本的相似程度。采用上述方法可以获得更准确的图像分类结果，提升分类模型的输出准确度。

Description

图像分类方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及深度学习领域，特别是涉及一种图像分类方法、装置、电子设备和计算机可读存储介质。
背景技术
近年来，深度学习是计算机视觉热门方向，基于卷积神经网络的图像分类方法更是被广泛应用。
传统方法中，采用深度学习模型对图像分类，主要是将待检测图像输入深度学习模型，通过深度学习模型输出该待检测图像对应各个类型的类别概率，可以将最大的类别概率对应的类别，作为该待检测图像的类别标签。
然后，采用上述方法，当待检测图像的类型与深度学习模型的训练样本类型均不相同时，容易导致深度学习模型输出结果不准确。
发明内容
本申请实施例提供了一种图像分类方法、装置、电子设备、计算机可读存储介质。
一种图像分类方法，包括：
将待检测图像输入预设的分类模型中进行分类和可信度检测，得到待检测图像的初始分类结果和可信度；可信度用于表征待检测图像与分类模型的训练样本的相似程度；
根据可信度对初始分类结果进行校验，获得待检测图像的目标分类结果。
在其中一个实施例中，上述分类模型包括输入数据检测子模型以及类型识别子模型，将待检测图像输入预设的分类模型中进行分类和可信度检测，得到待检测图像的初始分类结果和可信度，包括：
将待检测图像输入类型识别子模型中进行分类，获得初始分类结果；
将待检测图像输入输入数据检测子模型中进行可信度检测，得到可信度。
在其中一个实施例中，上述将待检测图像输入类型识别子模型中进行分类，获得初始分类结果，包括：
通过类型识别子模型，输出待检测图像为各类型的类别概率；
获取各类别概率中的最大类别概率；
若最大类别概率大于或等于预设的异常检测阈值，则确定最大类别概率对应的目标类型为初始分类结果；
若最大类别概率小于异常检测阈值，则确定初始分类结果为空值；空值表示待检测图像为类别识别子模型不可识别的类型。
在其中一个实施例中，上述根据可信度对初始分类结果进行校验，获得待检测图像的目标分类结果，包括：
将可信度与预设的可信度阈值进行比较，得到比较结果；
根据比较结果对初始分类结果进行校验，获得待检测图像的目标分类结果。
在其中一个实施例中，上述根据比较结果对初始分类结果进行校验，获得待检测图像的目标分类结果，包括：
若比较结果为可信度大于或等于可信度阈值，根据初始分类结果确定待检测图像的目标分类结果。
在其中一个实施例中，上述根据初始分类结果确定待检测图像的目标分类结果，包括：
若初始分类结果为目标类型，则将初始分类结果确定为目标分类结果；
若初始分类结果为空值，则将分类模型输出的最大类别概率对应的类型确定为目标分类结果。
在其中一个实施例中，上述方法还包括：
若比较结果为可信度小于可信度阈值，则确定目标分类结果为空值。
在其中一个实施例中，上述方法还包括：
将训练样本集中的样本图像作为初始分类模型的输入，获得样本图像的初始可信度，以及样本图像为各类型的初始概率；训练样本集包含多个样本图像及其对应的样本标签；
基于初始可信度和样本标签，分别对各初始概率进行修正，获得样本图像的修正概率；
将修正概率以及初始可信度代入预设的损失函数，并根据损失函数的值对初始分类模型的参数进行调整，获得分类模型。
在其中一个实施例中，上述基于初始可信度和样本标签，分别对各初始概率进行修正，获得样本图像的修正概率，包括：
根据样本标签确定各初始概率对应的标签值；其中，样本标签对应的初始概率的标签值为第一值，其它初始概率的标签值为第二值；
分别将初始可信度、初始概率及其对应的标签值输入预设公式进行计算，得到修正概率。
一种图像分类装置，上述包括：
输入模块，用于将待检测图像输入预设的分类模型中进行分类和可信度检测，得到待检测图像的初始分类结果和可信度；可信度用于表征待检测图像与分类模型的训练样本的相似程度；
校验模块，用于根据可信度对初始分类结果进行校验，获得待检测图像的目标分类结果。
一种电子设备，包括存储器及处理器，存储器中储存有计算机程序，上述计算机程序被处理器执行时，使得处理器执行上述图像分类方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现上述图像分类方法的步骤。
上述图像分类方法、装置、电子设备、计算机可读存储介质，电子设备将待检测图像输入预设的分类模型中进行分类和可信度检测，得到待检测图像的初始分类结果和可信度；然后，根据可信度对初始分类结果进行校验，获得待检测图像的目标分类结果；其中，上述可信度用于表征待检测图像与分类模型的训练样本的相似程度。由于电子设备通过分类模型对待检测图像进行可信度检测，从而可以获得表征待检测图像与训练样本相似程度的可信度；进一步地，电子设备根据可信度对待检测图像的初始分类结果进行校验，从而可以根据待检测图像与训练样本的相似程度，获得更准确的目标分类结果，提升分类模型的输出准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像分类方法的应用环境图；
图2为一个实施例中图像分类方法的流程图；
图3为另一个实施例中图像分类方法的流程图；
图4为另一个实施例中图像分类方法的流程图；
图5为另一个实施例中图像分类方法的流程图；
图6为一个实施例中图像分类方法的示意图；
图7为另一个实施例中图像分类装置的流程图图；
图8为一个实施例中图像分类装置的结构框图；
图9为另一个实施例中图像分类装置的结构框图；
图10为另一个实施例中图像分类装置的结构框图；
图11为另一个实施例中图像分类装置的结构框图；
图12为另一个实施例中图像分类装置的结构框图；
图13为一个实施例中电子设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像分类方法的应用环境示意图。如图1所示，上述图像分类方法可以应用于电子设备100中，上述电子设备100可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，还可以是服务器。电子设备100可以对各种类型的待检测图像进行分类。
图2为一个实施例中图像分类方法的流程图。本实施例中的图像分类方法，以运行于图1中的电子设备上为例进行描述。如图2所示，图像分类方法包括：
S101、将待检测图像输入预设的分类模型中进行分类和可信度检测，得到待检测图像的初始分类结果和可信度；可信度用于表征待检测图像与分类模型的训练样本的相似程度。
上述分类模型可以是卷积神经网络模型，也可以是其他类型的用于对图片进行分类的神经网络模型，本申请实施例中不加以限制。电子设备可以将待检测图像输入分类模型中进行分类，获得待检测图像的初始分类结果。电子设备可以通过分类模型对待检测图像进行特征提取，根据提取到的图像特征获得各个图像类型分别对应的类别概率，然后根据类别概率确定待检测图像的初始分类结果。分类模型可以将最大的类别概率对应的类别确定为待检测图像的初始分类结果，也可以将最大的类别概率进一步与预设阈值进行比较，然后根据比较结果确定初始分类结果，对于初始分类结果的确定方式在此不做限定。
其中，上述初始分类结果可以是待检测图像的类别标签，上述类别标签可以是分类模型可以识别的类型中的其中一个类型；上述类型标签可以是待检测图像对应的场景类型，例如草地场景、天空场景；也可以是待检测图像中包含的待识别对象的类型，例如待检测图像中的动物类型、待检测图像中是否包含人类等；对于类型标签在此不做限定。另外，上述初始分类结果可以表征分类模型无法识别该待检测图像的类型，上述初始分类结果中还可以携带各个类别对应的类别概率。
上述分类模型还用于对待检测图像进行可信度检测。电子设备可以将待检测图像输入分类模型中进行可信度检测，获得待检测图像的可信度，可信度用于表征待检测图像与分类模型的训练样本的相似程度。例如，当待检测图像的类型与训练样本的类型相同时，可以认为待检测图像与分类模型的训练样本相似度高，那么该待检测图像的可信度较高；当待检测图像的类型与训练样本的类型均不相同时，可以认为待检测图像与分类模型的训练样本相似度低，那么该待检测图像的可信度较低。
上述可信度可以为可信度级别，例如待检测图像的可信度较高时对应的可信度级别高；另外，上述可信度也可以是可信度概率值，例如可信度可以是0-100％中的一个值；上述可信度的表示形式在此不做限定。
另外，在将待检测图像输入分类模型之前，还可以对待检测图像进行预处理。上述预处理的方式可以包括亮度调整、降噪处理、图像分割处理等。
电子设备可以将待检测图像输入分类模型，通过分类模型中的卷积层等对待检测图像进行特征提取，根据提取到的特征输出待检测图像的初始分类结果和可信度；另外，电子设备也可以将待检测图像分别输入不同的模型分支，通过各模型分支分别获得待检测图像的初始分类结果和可信度。可选地，分类模型包括输入数据检测子模型以及类型识别子模型，电子设备可以将待检测图像输入类型识别子模型中进行分类，获得初始分类结果；以及，将待检测图像输入输入数据检测子模型中进行可信度检测，得到可信度。以一个分类模型为例，分类模型包括输入数据检测子模型和类型识别子模型，上述类型识别子模型中可以包含卷积层对待检测图像进行特征提取，通过softmax输出不同类别的类别概率，然后根据各类别概率确定待检测图像的初始分类结果；上述输入数据检测子模型中可以包括若干个卷积层以及一个输出层，上述输出层可以输出概率C∈(0,1)作为待检测图像的可信度。
S102、根据可信度对初始分类结果进行校验，获得待检测图像的目标分类结果。
待检测图像的可信度较高时，表征待检测图像与分类模型的训练样本的相似程度高，上述待检测图像的类型可能是训练样本中出现的类型；分类模型在对训练样本中出现过的类型进行识别时，获得的初始分类结果的可信度较高。待检测图像的可信度较低时，表征待检测图像与分类模型的训练样本的相似程度高低，上述分类模型的训练样本中可能不包含该待检测图像的类型，也就是说该待检测图像为非样本类型。分类模型在对非样本类型的图像进行识别时，获得的初始分类结果的可信度较低。因此，在获得待检测图像的可信度和初始分类结果的基础上，电子设备可以根据可信度对初始分类结果进行校验，获得准确的目标分类结果。
例如，电子设备根据可信度对初始分类结果进行校验时，可以根据可信度的级别，确定是否接受初始分类结果；另外，电子设备还可以根据可信度的大小，对初始分类结果中，各类别对应的类别概率进行调整，然后根据调整后的概率值确定最终的目标分类结果，对于上述校验方式在此不做限定。
上述图像分类方法，电子设备将待检测图像输入预设的分类模型中进行分类和可信度检测，得到待检测图像的初始分类结果和可信度；然后，根据可信度对初始分类结果进行校验，获得待检测图像的目标分类结果；其中，上述可信度用于表征待检测图像与分类模型的训练样本的相似程度。由于电子设备通过分类模型对待检测图像进行可信度检测，从而可以获得表征待检测图像与训练样本相似程度的可信度；进一步地，电子设备根据可信度对待检测图像的初始分类结果进行校验，从而可以根据待检测图像与训练样本的相似程度，获得更准确的目标分类结果，提升分类模型的输出准确度。
图3为另一个实施例中图像分类方法的流程图，本实施例涉及电子设备获得初始分类结果的一种方式，在上述实施例的基础上，如图3所示，上述S101包括：
S201、通过类型识别子模型，输出待检测图像为各类型的类别概率。
具体地，电子设备可以将待检测图像输入类型识别子模型，通过类型识别子模型获得该子模型可以识别的各类型对应的类别概率。例如，类型识别子模型对待检测图像进行分类识别，识别出待检测图像属于类型A的概率为70％，识别出待检测图像属于类型B的概率为60％，识别出待检测图像属于类型C的概率为65％。
S202、获取各类别概率中的最大类别概率，确定最大类别概率是否大于或等于预设的异常检测阈值；若最大类别概率大于或等于预设的异常检测阈值，则执行步骤S203；若最大类别概率小于异常检测阈值，则执行步骤S204。
进一步地，电子设备可以在该待检测图像对应的各个类别概率中，提取最大类别概率。
S203、确定最大类别概率对应的目标类型为初始分类结果。
S204、确定初始分类结果为空值；空值表示待检测图像为类别识别子模型不可识别的类型。
若类型识别子模型对应的可识别类型包含的类型较多，在对待检测图像进行分类之后，每个类型对应的类别概率都较小；因此，如果仅仅将最大类别概率对应的类型作为初始分类结果，则易导致类型识别子模型输出结果错误。因此，分类模型中可以采用异常检测阈值来提升类型识别子模型的鲁棒性。
具体地，若最大类别概率大于或等于上述异常检测阈值，电子设备可以确定最大类别概率对应的目标类型为初始分类结果；若最大类别概率小于异常检测阈值，则确定初始分类结果为空值。其中，上述空值可以表示待检测图像为类别识别子模型不可识别的类型。
上述图像分类方法，电子设备通过异常检测阈值对类型识别子模型输出的结果进行异常检测，可以提升初始分类结果的准确度。
对于上述类型识别子模型，异常检测阈值通常为设定好的固定值，当不同的待检测图像输入该模型时，采用该异常检测阈值进行异常检测，可能会导致某些场景下初始分类结果的准确度下降。在一个场景中，上述类型识别子模型可以识别待检测图像中是否是猫，待检测图像中的猫可以是猫的正面，也可以是猫的背面。在该类型识别子模型中，可以确定类型猫对应的异常检测阈值为80％；如果待检测图像为猫的正面图像，该类型识别子模型可以输出类型为猫的类别概率为90％，由于类别概率大于异常检测阈值，类型识别子模型可以直接输出初始分类结果为类型标签猫。如果待检测图像为猫的背面图像，由于模型的训练样本中大部分为猫的正面图像，该模型输出的类型为猫的类别概率为70％，由于该类别概率小于异常检测阈值，此时类型识别子模型可能输出初始分类结果为空值。
在另一个场景中，上述类型识别子模型可以识别待检测图像的场景类型为草地场景或天空场景。当待检测图像中的场景类型为地砖场景时，由于该模型的训练样本中没有该类型的图像，不能对该类型的图像进行准确分类，可能将该待检测图像识别成草地场景，输出错误的初始分类结果。
基于此，有必要根据可信度对初始分类结果进行校验，获得准确的目标分类结果。图4为另一个实施例中图像分类方法的流程图，本实施例涉及电子设备根据可信度对初始分类结果进行校验的一种方式，在上述实施例的基础上，如图4所示，上述S102包括：
S301、将可信度与预设的可信度阈值进行比较，得到比较结果。
在本实施例中，电子设备可以将待检测图像的可信度与预设的可信度阈值进行比较，获得比较结果。上述可信度阈值可以基于分类模型的参数确定，可以基于分类模型的训练样本数量以及训练样本分布情况确定。
S302、根据比较结果对初始分类结果进行校验，获得待检测图像的目标分类结果。
进一步地，电子设备可以根据比较结果对初始分类结果进行校验。
若上述比较结果为可信度大于或等于可信度阈值，那么电子设备认为该待检测图像的可信度较高，可以根据初始分类结果确定待检测图像的目标分类结果。若上述比较结果为可信度小于可信度阈值，那么电子设备认为该待检测图像的可信度较低，该待检测图像与分类模型的训练样本的类型不同，因此通过分类模型获得的初始分类结果的准确率较低，电子设备可以确定目标分类结果为空值，表示该待检测图像的类型为分类模型无法识别的类型。继续以上述实施例中的另一个场景为例，当待检测图像中的场景类型为地砖场景时，虽然初始分类结果可能识别为草地场景，但是该待检测图像的可信度较低，通过可信度对初始分类结果进行校验，输出目标结果为空值，对于非样本类型的待检测图像，提升了分类模型的输出准确度。
当可信度大于或等于可信度阈值，电子设备在根据初始分类结果确定待检测图像的目标分类结果时，电子设备可以根据初始分类结果的类型来确定是否采用该结果。
若初始分类结果为目标类型，那么电子设备可以认为该待检测图像的可信度较高，分类模型识别的目标类型是可信的，可以将初始分类结果确定为目标分类结果。
若初始分类结果为空值，那么电子设备可以认为该待检测图像与分类模型的训练样本相似度较高，应该是分类模型可以识别的类型，电子设备可以将分类模型输出的最大类别概率对应的类型确定为目标分类结果。继续以上述实施例中的一个场景为例，当待检测图像为猫的背面图像时，虽然初始分类结果可能为空值，但是由于该待检测图像的可信度较高，电子设备可以根据该待检测图像的各个类别概率进行判断，将最大类别概率对应的类型确定为目标分类结果，也就是说使得分类模型输出的分类结果为类型标签猫，提升了分类模型的识别准确度。
上述图像分类方法，电子设备将待检测图像的可信度与预设的可信度阈值进行比较，若可信度大于或等于可信度阈值，那么电子设备可以根据初始分类结果确定待检测图像的目标分类结果；若可信度小于可信度阈值，那么电子设备可以确定待检测图像的目标分类结果为空值。采用上述方法可以提升分类模型的输出准确度，提升分类模型的鲁棒性。
图5为另一个实施例中图像分类方法的流程图，本实施例涉及电子设备获得分类模型的一种方式，在上述实施例的基础上，如图5所示，上述方法还包括：
S401、将训练样本集中的样本图像作为初始分类模型的输入，获得样本图像的初始可信度，以及样本图像为各类型的初始概率；训练样本集包含多个样本图像及其对应的样本标签。
具体地，电子设备可以获取多个样本图像，并对样本图像进行标注后获得样本图像的样本标签；进一步地，电子设备可以将训练样本集中的样本图像作为初始分类模型的输入，获得样本图像的初始可信度，以及样本图像为各类型的初始概率。例如，电子设备可以将样本图像输入初始输入数据检测子模型以及类型识别子模型，分别对待检测图像进行分类和可信度检测，获得样本图像的初始可信度，以及样本图像为各类型的初始概率。
S402、基于初始可信度和样本标签，分别对各初始概率进行修正，获得样本图像的修正概率。
进一步地，电子设备可以基于初始可信度和样本标签，对各初始概率进行修正。上述初始概率中，包括样本标签的类型对应的初始概率，以及其它类型对应的初始概率，电子设备可以根据初始可信度，增加样本标签的类型对应的初始概率，并减小其它类型对应的初始概率。
电子设备可以根据样本标签确定各初始概率对应的标签值；其中，样本标签对应的初始概率的标签值为第一值，例如标签值可以为1，其它初始概率的标签值为第二值，例如标签值可以为0；然后，分别将初始可信度、初始概率及其对应的标签值输入预设公式，获得修正概率。
在一种实现方式中，上述修正公式可以是：SC＝C·S+(1-C)Y；其中，C为初始可信度，S为初始概率，SC为修正概率，Y为初始概率对应的标签值。
当样本图像的初始可信度较高时，通过修正公式对初始概率修正的幅度较小，当样本图像的初始可信度较低时，通过修正公式对初始概率修正的幅度较大。
以一个具体的分类模型为例，如图6所示，该分类模型可以识别四种类型的图像，分别为类型A、类型B、类型C和类型D；在模型训练过程中，将样本标签为类型B的样本图像输入初始分类模型，获得四个类型的初始概率S；通过上述修正公式对S进行修正，可以获得修正概率SC。从图中可以看出，对于类型B，修改概率大于初始概率；对于类型A、类型C和类型D，修正概率小于初始概率。通过对初始概率进行修正，可以提升分型的训练效率。
S403、将修正概率以及初始可信度代入预设的损失函数，并根据损失函数的值对初始分类模型的参数进行调整，获得分类模型。
进一步地，电子设备可以将修正概率以及初始可信度代入预设的损失函数，计算样本图像的损失函数的值。对于上述损失函数，样本图像的初始可信度越低，对应的损失函数的值越大；那么基于上述损失函数的值对初始分类模型的参数进行调整后，当样本图像或者与样本图像的类型待检测图像输入分类模型之后，分类模型输出的可信度较高。
在一种实现方式中，上述损失函数可以为：
Figure BDA0002703537890000141
其中，C为初始可信度，SCi表示第i个可识别类型对应的修正概率；λ为可调超参数；N表示深度模型的可识别类型的个数，Yi＝1表示各修正概率对应的标签值，若SCi对应样本标签的类型，Yi＝1；若否，则Yi＝0。
上述图像分类方法，电子设备对分类模型进行训练的过程中，基于初始可信度和样本标签，分别对各初始概率进行修正获得样本图像的修正概率，并将修正概率输入损失函数中，可以提升分类模型的训练效率并提升分类模型的分类准确度；进一步地，电子设备将初始可信度代入预设的损失函数，并根据损失函数的值对初始分类模型的参数进行调整，使得分类模型可以识别待检测图像与训练样本的相似程度，从而可以根据待检测图像的可信度对初始分类结果进行校验，进一步提升分类模型的输出准确度。
在一个实施例中，提供一种图像分类方法，如图7所示，上述方法包括：
S501、通过类型识别子模型，输出待检测图像为各类型的类别概率。
S502、获取各类别概率中的最大类别概率。
S503、确定最大类别概率是否大于或等于预设阈值，若是，则执行S504，若否，则执行S505。
S504、确定最大类别概率对应的目标类型为初始分类结果。
S505、确定初始分类结果为空值。
S506、将待检测图像输入输入数据检测子模型中进行可信度检测，得到可信度。
S507、将可信度与预设的可信度阈值进行比较，确定可信度是否大于或等于可信度阈值；若是，则在S504之后执行S508，在S505之后执行S509；若否，则执行S510。
S508、初始分类结果确定为目标分类结果。
S509、将分类模型输出的最大类别概率对应的类型确定为目标分类结果。
S510、确定目标分类结果为空值。
上述提供的图像分类方法，其实现原理和技术效果与上述实施例类似，在此不再赘述。
应该理解的是，虽然图2-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种图像分类装置，包括：
输入模块10，用于将待检测图像输入预设的分类模型中进行分类和可信度检测，得到待检测图像的初始分类结果和可信度；可信度用于表征待检测图像与分类模型的训练样本的相似程度；
校验模块20，用于根据可信度对初始分类结果进行校验，获得待检测图像的目标分类结果。
上述提供的图像分类装置，可以执行上述图像分类方法实施例，其实现原理和技术效果类似，在此不再赘述。
在一个实施例中，在上述实施例的基础上，分类模型包括输入数据检测子模型以及类型识别子模型，如图9所示，上述输入模块10包括：
分类单元101，用于将待检测图像输入类型识别子模型中进行分类，获得初始分类结果；
检测单元102，用于将待检测图像输入输入数据检测子模型中进行可信度检测，得到可信度。
在一个实施例中，在上述实施例的基础上，如图10所示，上述分类单元101包括：
输出子单元1011，用于通过类型识别子模型，输出待检测图像为各类型的类别概率；
获取子单元1012，用于获取各类别概率中的最大类别概率；
确定子单元1013，用于在最大类别概率大于或等于预设的异常检测阈值的情况下，确定最大类别概率对应的目标类型为初始分类结果；在最大类别概率小于异常检测阈值的情况下，确定初始分类结果为空值；其中，空值表示待检测图像为类别识别子模型不可识别的类型。
在一个实施例中，在上述实施例的基础上，如图11所示，上述校验模块20包括：
比较单元201，用于将可信度与预设的可信度阈值进行比较，得到比较结果；
校验单元202，用于根据比较结果对初始分类结果进行校验，获得待检测图像的目标分类结果。
在一个实施例中，在上述实施例的基础上，上述校验单元202具体用于：在比较结果为可信度大于或等于可信度阈值的情况下，根据初始分类结果确定待检测图像的目标分类结果。
在一个实施例中，在上述实施例的基础上，上述校验单元202具体用于：在初始分类结果为目标类型的情况下，将初始分类结果确定为目标分类结果；在初始分类结果为空值的情况下，将分类模型输出的最大类别概率对应的类型确定为目标分类结果。
在一个实施例中，在上述实施例的基础上，上述校验单元202具体用于：在比较结果为可信度小于可信度阈值的情况下，确定目标分类结果为空值。
在一个实施例中，在上述实施例的基础上，如图12所示，上述装置还包括训练模块30，上述训练模块30包括：
输入单元301，用于将训练样本集中的样本图像作为初始分类模型的输入，获得样本图像的初始可信度，以及样本图像为各类型的初始概率；训练样本集包含多个样本图像及其对应的样本标签；
修正单元302，用于基于初始可信度和样本标签，分别对各初始概率进行修正，获得样本图像的修正概率；
调整单元303，用于将修正概率以及初始可信度代入预设的损失函数，并根据损失函数的值对初始分类模型的参数进行调整，获得分类模型。
在一个实施例中，在上述实施例的基础上，上述修正单元302具体用于：根据样本标签确定各初始概率对应的标签值；其中，样本标签对应的初始概率的标签值为第一值，其它初始概率的标签值为第二值；分别将初始可信度、初始概率及其对应的标签值输入预设公式进行计算，得到修正概率。
上述提供的图像分类装置，可以执行上述图像分类方法实施例，其实现原理和技术效果类似，在此不再赘述。
上述图像分类装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像分类装置按照需要划分为不同的模块，以完成上述图像分类装置的全部或部分功能。
关于图像分类装置的具体限定可以参见上文中对于图像分类方法的限定，在此不再赘述。上述图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图13为一个实施例中电子设备的内部结构示意图。如图13所示，该电子设备包括通过***总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像分类方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例中提供的图像分类装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像分类方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像分类方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像分类方法，其特征在于，包括：
通过类型识别子模型，输出待检测图像为各类型的类别概率；
获取各所述类别概率中的最大类别概率；
若所述最大类别概率大于或等于预设的异常检测阈值，则确定所述最大类别概率对应的目标类型为初始分类结果；
若所述最大类别概率小于所述异常检测阈值，则确定所述初始分类结果为空值；所述空值表示所述待检测图像为所述类别识别子模型不可识别的类型；
将所述待检测图像输入输入数据检测子模型中进行可信度检测，得到所述待检测图像的可信度；所述可信度用于表征所述待检测图像与所述类型识别子模型和所述输入数据检测子模型的训练样本的相似程度；
根据所述可信度对所述初始分类结果进行校验，获得所述待检测图像的目标分类结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述可信度对所述初始分类结果进行校验，获得所述待检测图像的目标分类结果，包括：
将所述可信度与预设的可信度阈值进行比较，得到比较结果；
根据所述比较结果对所述初始分类结果进行校验，获得所述待检测图像的目标分类结果。
3.根据权利要求2所述的方法，其特征在于，所述根据所述比较结果对所述初始分类结果进行校验，获得所述待检测图像的目标分类结果，包括：
若所述比较结果为所述可信度大于或等于所述可信度阈值，根据所述初始分类结果确定所述待检测图像的目标分类结果。
4.根据权利要求3所述的方法，其特征在于，所述根据所述初始分类结果确定所述待检测图像的目标分类结果，包括：
若所述初始分类结果为目标类型，则将所述初始分类结果确定为所述目标分类结果；
若所述初始分类结果为空值，则将分类模型输出的最大类别概率对应的类型确定为所述目标分类结果。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若所述比较结果为所述可信度小于所述可信度阈值，则确定所述目标分类结果为空值。
6.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
将训练样本集中的样本图像作为初始分类模型的输入，获得所述样本图像的初始可信度，以及所述样本图像为各类型的初始概率；所述训练样本集包含多个样本图像及其对应的样本标签；
基于所述初始可信度和所述样本标签，分别对各所述初始概率进行修正，获得所述样本图像的修正概率；
将所述修正概率以及所述初始可信度代入预设的损失函数，并根据所述损失函数的值对所述初始分类模型的参数进行调整，获得所述分类模型。
7.根据权利要求6所述的方法，其特征在于，所述基于所述初始可信度和所述样本标签，分别对各所述初始概率进行修正，获得所述样本图像的修正概率，包括：
根据样本标签确定各所述初始概率对应的标签值；其中，所述样本标签对应的初始概率的标签值为第一值，其它初始概率的标签值为第二值；
分别将所述初始可信度、所述初始概率及其对应的标签值输入预设公式进行计算，得到所述修正概率。
8.一种图像分类装置，其特征在于，包括：
输入模块，用于通过类型识别子模型，输出待检测图像为各类型的类别概率；获取各所述类别概率中的最大类别概率；若所述最大类别概率大于或等于预设的异常检测阈值，则确定所述最大类别概率对应的目标类型为初始分类结果；若所述最大类别概率小于所述异常检测阈值，则确定所述初始分类结果为空值；所述空值表示所述待检测图像为所述类别识别子模型不可识别的类型；将所述待检测图像输入输入数据检测子模型中进行可信度检测，得到所述待检测图像的可信度；所述可信度用于表征所述待检测图像与所述类型识别子模型和所述输入数据检测子模型的训练样本的相似程度；
校验模块，用于根据所述可信度对所述初始分类结果进行校验，获得所述待检测图像的目标分类结果。
9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的图像分类方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
CN202011030731.2A 2020-09-27 2020-09-27 图像分类方法、装置、电子设备和计算机可读存储介质 Active CN112163110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011030731.2A CN112163110B (zh) 2020-09-27 2020-09-27 图像分类方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011030731.2A CN112163110B (zh) 2020-09-27 2020-09-27 图像分类方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112163110A CN112163110A (zh) 2021-01-01
CN112163110B true CN112163110B (zh) 2023-01-03

Family

ID=73864122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011030731.2A Active CN112163110B (zh) 2020-09-27 2020-09-27 图像分类方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112163110B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705327B (zh) * 2021-07-06 2024-02-09 中国电子科技集团公司第二十八研究所 一种基于先验知识的细粒度目标分类方法
CN113763270B (zh) * 2021-08-30 2024-05-07 青岛信芯微电子科技股份有限公司 蚊式噪声去除方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764208A (zh) * 2018-06-08 2018-11-06 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN110414438A (zh) * 2019-07-30 2019-11-05 西南交通大学 基于空间聚类信息修正的高光谱图像识别方法
CN111695604A (zh) * 2020-05-20 2020-09-22 平安科技（深圳）有限公司 一种图像可信度的确定方法、装置及电子设备、存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6750732B2 (ja) * 2017-04-14 2020-09-02 株式会社湯山製作所 薬剤仕分装置、仕分容器、及び薬剤返却方法
CN108921040A (zh) * 2018-06-08 2018-11-30 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN110458107B (zh) * 2019-08-13 2023-06-16 北京百度网讯科技有限公司 用于图像识别的方法和装置
CN111046910A (zh) * 2019-11-12 2020-04-21 北京三快在线科技有限公司 图像分类、关系网络模型训练、图像标注方法及装置
CN111353549B (zh) * 2020-03-10 2023-01-31 创新奇智(重庆)科技有限公司 图像标签的核验方法及装置、电子设备、存储介质
CN111709371B (zh) * 2020-06-17 2023-12-22 腾讯科技（深圳）有限公司 基于人工智能的分类方法、装置、服务器和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764208A (zh) * 2018-06-08 2018-11-06 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN110414438A (zh) * 2019-07-30 2019-11-05 西南交通大学 基于空间聚类信息修正的高光谱图像识别方法
CN111695604A (zh) * 2020-05-20 2020-09-22 平安科技（深圳）有限公司 一种图像可信度的确定方法、装置及电子设备、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Assessment of CT Image Quality Using a Bayesian Framework;Alexander Khanin et al.;《IEEE Transactions on Medical Imaging》;20180619;第37卷(第12期);1-5 *
基于进化优化及卷积网络的遥感图像变化检测;李成洲;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20190215(第2期);I140-330 *

Also Published As

Publication number Publication date
CN112163110A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN111191539B (zh) 证件真伪验证方法、装置、计算机设备和存储介质
CN111950329B (zh) 目标检测及模型训练方法、装置、计算机设备和存储介质
CN109271870B (zh) 行人重识别方法、装置、计算机设备及存储介质
CN110569341B (zh) 配置聊天机器人的方法、装置、计算机设备和存储介质
CN109472213B (zh) 掌纹识别方法、装置、计算机设备和存储介质
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN111191532B (zh) 基于施工区域的人脸识别方法、装置、计算机设备
CN110706261A (zh) 车辆违章检测方法、装置、计算机设备和存储介质
CN109840524B (zh) 文字的类型识别方法、装置、设备及存储介质
CN110738236B (zh) 图像匹配方法、装置、计算机设备及存储介质
CN112163110B (zh) 图像分类方法、装置、电子设备和计算机可读存储介质
CN110335248B (zh) 医学图像病灶检测方法、装置、计算机设备和存储介质
CN110660078B (zh) 对象追踪方法、装置、计算机设备和存储介质
CN109711381B (zh) 遥感图像的目标识别方法、装置和计算机设备
CN111144372A (zh) 车辆检测方法、装置、计算机设备和存储介质
KR20220093187A (ko) 포지셔닝 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체
CN109271957B (zh) 人脸性别识别方法以及装置
CN110942067A (zh) 文本识别方法、装置、计算机设备和存储介质
CN111178203B (zh) 签名审核方法、装置、计算机设备和存储介质
CN111144285A (zh) 胖瘦程度识别方法、装置、设备及介质
CN109102549B (zh) 图像光源颜色的检测方法、装置、计算机设备及存储介质
CN113283388B (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
CN112766275B (zh) ***文字识别方法、装置、计算机设备和存储介质
CN114743067A (zh) 训练数据的增强方法、装置、计算机设备及存储介质
CN111178126A (zh) 目标检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant