CN110837869A - 图像分类模型训练方法、图像处理方法及装置 - Google Patents

图像分类模型训练方法、图像处理方法及装置 Download PDF

Info

Publication number
CN110837869A
CN110837869A CN201911097069.XA CN201911097069A CN110837869A CN 110837869 A CN110837869 A CN 110837869A CN 201911097069 A CN201911097069 A CN 201911097069A CN 110837869 A CN110837869 A CN 110837869A
Authority
CN
China
Prior art keywords
image
data
category
sample
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911097069.XA
Other languages
English (en)
Inventor
谭靖儒
王昌宝
李全全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201911097069.XA priority Critical patent/CN110837869A/zh
Priority to PCT/CN2019/127394 priority patent/WO2021093096A1/zh
Priority to KR1020217012461A priority patent/KR20210062687A/ko
Priority to JP2021522979A priority patent/JP7266674B2/ja
Publication of CN110837869A publication Critical patent/CN110837869A/zh
Priority to TW109111415A priority patent/TWI752455B/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种图像分类模型训练方法、图像处理方法及装置，能够提升分类模型对正样本较少的类别的识别精度。其中，该方法包括：获取标注样本图像集；所述标注样本图像集中包括多个标注样本图像，以及与每个标注样本图像分别对应的分类标签；基于所述标注样本图像，以及与每个所述标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息；基于所述多个标注样本图像分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定图像分类模型的损失信息；基于所述损失信息，对所述图像分类模型进行训练；所述图像分类模型用于确定待识别图像的类别。

Description

图像分类模型训练方法、图像处理方法及装置
技术领域
本公开涉及数据处理技术领域，具体而言，涉及一种图像分类模型训练方法、图像处理方法及装置。
背景技术
在基于神经网络模型执行分类任务之前，需要先对神经网络模型进行训练。而在对神经网络模型进行训练的时候，为了提升神经网络模型的分类精度，通常需要依赖大量的标注样本。
在对样本进行标注过程中，会出现不同类别所对应的正样本数量不均衡的情况，进而造成多分类任务的神经网络模型，对正样本较少的类别识别精度低的问题。
发明内容
本公开实施例至少提供一种图像分类模型训练方法、图像处理方法及装置。
第一方面，本公开实施例提供了一种图像分类模型训练方法，包括：获取标注样本图像集；所述标注样本图像集中包括多个标注样本图像，以及与每个标注样本图像分别对应的分类标签；基于所述标注样本图像，以及与每个所述标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息；基于所述多个标注样本图像分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定图像分类模型的损失信息；基于所述损失信息，对所述图像分类模型进行训练；所述图像分类模型用于确定待识别图像的类别。
这里，在对分类模型进行训练的时候，会基于标注样本图像以及与每个标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息，然后基于多个标注样本图像分别对应的分类标签、以及每个类别分别对应的频率信息来确定分类模型的损失信息，以基于该损失信息对分类模型进行训练，该过程中，由于是基于每个类别分别对应的频率信息和各个样本图像分别对应的分类标签来确定损失信息，能够根据各个类别的频率信息，来调节某个类别的正负样本在图像分类模型训练过程中，对图像分类模型的影响程度的方式，来平衡正负样本对各个类别产生的影响，进而提升分类模型对正样本较少的类别的识别精度。
一种可选的实施方式中，所述基于所述标注样本图像，以及与每个所述标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别对应的频率信息，包括：针对每个类别，基于属于该类别的标注样本图像，以及与各标注样本图像对应的原始样本图像，确定该类别对应的原始样本图像的数量；其中，每个原始样本图像对应有一个或多个标注样本图像；基于所述原始样本图像的数量，确定该类别对应的频率信息。
这里，采用该种方式来确定频率信息，避免将正样本较少的类别被判断为背景类。
一种可选的实施方式中，所述基于所述标注样本图像，以及与每个所述标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别对应的频率信息，包括：针对每个类别，基于所述标注样本图像集中的标注样本图像的总数量，以及属于该类别的标注样本图像的数量，确定该类别对应的频率信息；或者，将属于该类别的标注样本图像的数量作为该类别对应的频率信息。
这里，根据标注样本图像的数量来确定类别对应的频率信息，过程更简单快捷。
一种可选的实施方式中，所述基于所述多个标注样本图像分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定分类模型的损失信息，包括：针对每个标注样本图像，根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，得到在使用分类模型对该标注样本图像进行分类时的损失信息。
这里，针对每个标注样本图像来确定损失信息，实现基于每个标注样本图像对图像分类模型的参数进行调整，最终实现图像分类模型的训练。
一种可选的实施方式中，所述根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，得到在使用分类模型对该标注样本图像进行分类时的损失信息，包括：根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重；基于预设的多个类别中的每个类别对应的损失权重，得到在使用所述分类模型对该标注样本图像进行分类时的损失信息。
这里，基于分类标签，以及频率信息，确定损失信息，提升图像分类模型对于正样本数量较少的类别的识别精度。
一种可选的实施方式中，所述根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重，包括：针对任一类别，在确定该标注样本图像的分类标签指示该标注样本图像为非背景的标注样本图像，且该任一类别对应的频率信息小于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第一预设损失权重值。
这里，在图像分类模型训练过程中，通过调节某个类别的正负样本对图像分类模型的影响程度的方式，来提升分类模型对正样本较为稀少的类别的检测精度。
一种可选的实施方式中，所述根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重，包括：针对任一类别，在确定该标注样本图像的分类标签指示该标注样本图像为背景的标注样本图像，和/或，该任一类别对应的频率信息大于或者等于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第二预设损失权重值。
这里，在图像分类模型训练过程中，通过调节某个类别的正负样本对图像分类模型的影响程度的方式，来提升分类模型对正样本较为稀少的类别的检测精度。
一种可选的实施方式中，所述根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重，包括：根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，以及该标注样本图像对应的原始样本图像的正样本类别集、以及负样本类别集，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重。
其中，所述正样本类别集中，包括该原始样本图像中包含的至少一种目标对象的类别；所述负样本类别集中，包括该原始样本图像中并未包含的至少一种目标对象的类别。
这里，确定任一类别是否属于该标注样本图像对应的正样本类别集以及负样本类别集。若属于，则不会降低甚至忽略标注样本图像对该类别的影响，进而让图像分类模型能够学习到该任一类别的更多特征，和差异性特征，提升图像分类模型的精度。
一种可选的实施方式中，采用下述方式获取该标注样本图像对应的原始样本图像的正样本类别集：从所述标注样本图像集中，确定与该标注样本图像对应同一原始样本图像的目标标注样本图像；基于该标注样本图像以及所述目标标注样本图像分别对应的分类标签，确定该标注样本图像对应的原始样本图像的正样本类别集；或者，根据该标注样本图像对应的原始样本图像的第一辅助分类标签，确定该标注样本图像对应的原始样本图像的正样本类别集；所述第一辅助分类标签用于指示所述原始样本图像中包含的目标对象的类别。
这里，方便快速的确定每个标注样本图像对应的正样本类别集。
一种可选的实施方式中，采用下述方式获取该标注样本图像对应的原始样本图像的负样本类别集：根据该标注样本图像对应的原始样本图像的第二辅助分类标签，确定该标注样本图像对应的原始样本图像的负样本类别集；所述第二辅助分类标签用于指示所述原始样本图像中未包含的目标对象的类别。
这里，方便快速的确定每个标注样本图像对应的负样本类别集。
一种可选的实施方式中，所述根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，以及该标注样本图像对应的原始样本图像的正样本类别集、以及负样本类别集，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重，包括：针对任一类别，在确定该标注样本图像的分类标签指示该标注样本图像为非背景的标注样本图像，该任一类别不属于所述正样本类别集以及所述负样本类别集，该任一类别对应的频率信息小于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第一预设损失权重值。
一种可选的实施方式中，所述根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，以及该标注样本图像对应的原始样本图像的正样本类别集、以及负样本类别集，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重，包括：针对任一类别，在确定该标注样本图像的分类标签指示该标注样本图像为背景的标注样本图像，和/或，该任一类别属于所述正样本类别集或所述负样本类别集，和/或，该任一类别对应的频率信息大于或者等于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第二预设损失权重值。
这里，确定任一类别是否属于该标注样本图像对应的正样本类别集以及负样本类别集。若属于，则不会降低甚至忽略标注样本图像对该类别的影响，进而让图像分类模型能够学习到该任一类别的更多特征，和差异性特征，提升图像分类模型的精度。
第二方面，本公开实施例提供一种图像处理方法，该方法包括：基于预先训练的图像分类模型执行图像处理任务；所述图像分类模型通过上述第一方面任一项所述的图像分类模型训练方法训练得到；所述图像处理任务包括：图像分类、对象检测、关键点检测、图像分割、实例分割中一种或者多种。
第三方面，本公开实施例提供一种数据分类模型训练方法，包括：获取标注样本数据集；所述标注样本数据集中包括多个标注样本数据，以及与每个标注样本数据分别对应的分类标签；基于所述标注样本数据，以及与每个所述标注样本数据分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息；基于所述多个标注样本数据分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定数据分类模型的损失信息；基于所述损失信息，对所述数据分类模型进行训练；所述数据分类模型用于确定待识别数据的类别。
一种可选的实施方式中，所述基于所述标注样本数据，以及与每个所述标注样本数据分别对应的分类标签，确定预设的多个类别中每个类别对应的频率信息，包括：针对每个类别，基于属于该类别的标注样本数据，以及与各标注样本数据对应的原始样本数据，确定该类别对应的原始样本数据的数量；其中，每个原始样本数据对应有一个或多个标注样本数据；基于所述原始样本数据的数量，确定该类别对应的频率信息。
一种可选的实施方式中，所述基于所述标注样本数据，以及与每个所述标注样本数据分别对应的分类标签，确定预设的多个类别中每个类别对应的频率信息，包括：针对每个类别，基于所述标注样本数据集中的标注样本数据的总数量，以及属于该类别的标注样本数据的数量，确定该类别对应的频率信息；或者，将属于该类别的标注样本数据的数量作为该类别对应的频率信息。
一种可选的实施方式中，所述基于所述多个标注样本数据分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定分类模型的损失信息，包括：针对每个标注样本数据，根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，得到在使用分类模型对该标注样本数据进行分类时的损失信息。
一种可选的实施方式中，所述根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，得到在使用分类模型对该标注样本数据进行分类时的损失信息，包括：根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重；基于预设的多个类别中的每个类别对应的损失权重，得到在使用所述分类模型对该标注样本数据进行分类时的损失信息。
一种可选的实施方式中，所述根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重，包括：针对任一类别，在确定该标注样本数据的分类标签指示该标注样本数据为非背景的标注样本数据，且该任一类别对应的频率信息小于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第一预设损失权重值。
一种可选的实施方式中，所述根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重，包括：针对任一类别，在确定该标注样本数据的分类标签指示该标注样本数据为背景的标注样本数据，和/或，该任一类别对应的频率信息大于或者等于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第二预设损失权重值。
一种可选的实施方式中，所述根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重，包括：根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，以及该标注样本数据对应的原始样本数据的正样本类别集、以及负样本类别集，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重。
其中，所述正样本类别集中，包括该原始样本数据中包含的至少一种目标对象的类别；所述负样本类别集中，包括该原始样本数据中并未包含的至少一种目标对象的类别。
一种可选的实施方式中，采用下述方式获取该标注样本数据对应的原始样本数据的正样本类别集：从所述标注样本数据集中，确定与该标注样本数据对应同一原始样本数据的目标标注样本数据；基于该标注样本数据以及所述目标标注样本数据分别对应的分类标签，确定该标注样本数据对应的原始样本数据的正样本类别集；或者，根据该标注样本数据对应的原始样本数据的第一辅助分类标签，确定该标注样本数据对应的原始样本数据的正样本类别集；所述第一辅助分类标签用于指示所述原始样本数据中包含的目标对象的类别。
一种可选的实施方式中，采用下述方式获取该标注样本数据对应的原始样本数据的负样本类别集：根据该标注样本数据对应的原始样本数据的第二辅助分类标签，确定该标注样本数据对应的原始样本数据的负样本类别集；所述第二辅助分类标签用于指示所述原始样本数据中未包含的目标对象的类别。
一种可选的实施方式中，所述根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，以及该标注样本数据对应的原始样本数据的正样本类别集、以及负样本类别集，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重，包括：针对任一类别，在确定该标注样本数据的分类标签指示该标注样本数据为非背景的标注样本数据，该任一类别不属于所述正样本类别集以及所述负样本类别集，该任一类别对应的频率信息小于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第一预设损失权重值。
一种可选的实施方式中，所述根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，以及该标注样本数据对应的原始样本数据的正样本类别集、以及负样本类别集，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重，包括：针对任一类别，在确定该标注样本数据的分类标签指示该标注样本数据为背景的标注样本数据，和/或，该任一类别属于所述正样本类别集或所述负样本类别集，和/或，该任一类别对应的频率信息大于或者等于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第二预设损失权重值。
第四方面，本公开实施例提供一种数据处理方法，该方法包括：基于预先训练的数据分类模型执行数据处理任务；所述数据分类模型通过上述第二方面任一项所述的数据分类模型训练方法训练得到；述数据处理任务包括：数据分类、数据分割、实例分割中一种或者多种；所述数据包括：图像数据、以及文本数据中任一种。
第五方面，本公开实施例提供一种图像分类模型训练装置，包括：第一获取模块，用于获取标注样本图像集；所述标注样本图像集中包括多个标注样本图像，以及与每个标注样本图像分别对应的分类标签；第一频率信息确定模块，用于基于所述标注样本图像，以及与每个所述标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息；第一损失信息确定模块，用于基于所述多个标注样本图像分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定图像分类模型的损失信息；第一训练模块，用于基于所述损失信息，对所述图像分类模型进行训练；所述图像分类模型用于确定待识别图像的类别。
一种可选的实施方式中，所述第一频率信息确定模块，在所述基于所述标注样本图像，以及与每个所述标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别对应的频率信息时，用于：针对每个类别，基于属于该类别的标注样本图像，以及与各标注样本图像对应的原始样本图像，确定该类别对应的原始样本图像的数量；其中，每个原始样本图像对应有一个或多个标注样本图像；基于所述原始样本图像的数量，确定该类别对应的频率信息。
一种可选的实施方式中，所述第一频率信息确定模块，在基于所述标注样本图像，以及与每个所述标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别对应的频率信息时，用于：针对每个类别，基于所述标注样本图像集中的标注样本图像的总数量，以及属于该类别的标注样本图像的数量，确定该类别对应的频率信息；或者，将属于该类别的标注样本图像的数量作为该类别对应的频率信息。
一种可选的实施方式中，所述第一损失信息确定模块，在基于所述多个标注样本图像分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定分类模型的损失信息时，用于：针对每个标注样本图像，根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，得到在使用分类模型对该标注样本图像进行分类时的损失信息。
一种可选的实施方式中，所述第一损失信息确定模块，在根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，得到在使用分类模型对该标注样本图像进行分类时的损失信息时，用于：根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重；基于预设的多个类别中的每个类别对应的损失权重，得到在使用所述分类模型对该标注样本图像进行分类时的损失信息。
一种可选的实施方式中，所述第一损失信息确定模块，在根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重时，用于：针对任一类别，在确定该标注样本图像的分类标签指示该标注样本图像为非背景的标注样本图像，且该任一类别对应的频率信息小于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第一预设损失权重值。
一种可选的实施方式中，所述第一损失信息确定模块，在根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重时，用于：在确定该标注样本图像的分类标签指示该标注样本图像为背景的标注样本图像，和/或，该任一类别对应的频率信息大于或者等于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第二预设损失权重值。
一种可选的实施方式中，所述第一损失信息确定模块，在根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重时，用于：根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，以及该标注样本图像对应的原始样本图像的正样本类别集、以及负样本类别集，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重。
其中，所述正样本类别集中，包括该原始样本图像中包含的至少一种目标对象的类别；所述负样本类别集中，包括该原始样本图像中并未包含的至少一种目标对象的类别。
一种可选的实施方式中，所述第一损失信息确定模块，用于采用下述方式获取该标注样本图像对应的原始样本图像的正样本类别集：从所述标注样本图像集中，确定与该标注样本图像对应同一原始样本图像的目标标注样本图像；基于该标注样本图像以及所述目标标注样本图像分别对应的分类标签，确定该标注样本图像对应的原始样本图像的正样本类别集；或者，根据该标注样本图像对应的原始样本图像的第一辅助分类标签，确定该标注样本图像对应的原始样本图像的正样本类别集；所述第一辅助分类标签用于指示所述原始样本图像中包含的目标对象的类别。
一种可选的实施方式中，所述第一损失信息确定模块，用于采用下述方式获取该标注样本图像对应的原始样本图像的负样本类别集：根据该标注样本图像对应的原始样本图像的第二辅助分类标签，确定该标注样本图像对应的原始样本图像的负样本类别集；所述第二辅助分类标签用于指示所述原始样本图像中未包含的目标对象的类别。
一种可选的实施方式中，所述第一损失信息确定模块，在根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，以及该标注样本图像对应的原始样本图像的正样本类别集、以及负样本类别集，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重时，用于：
针对任一类别，在确定该标注样本图像的分类标签指示该标注样本图像为非背景的标注样本图像，该任一类别不属于所述正样本类别集以及所述负样本类别集，该任一类别对应的频率信息小于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第一预设损失权重值。
一种可选的实施方式中，所述第一损失信息确定模块，在根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，以及该标注样本图像对应的原始样本图像的正样本类别集、以及负样本类别集，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重时，用于：针对任一类别，在确定该标注样本图像的分类标签指示该标注样本图像为背景的标注样本图像，和/或，该任一类别属于所述正样本类别集或所述负样本类别集，和/或，该任一类别对应的频率信息大于或者等于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第二预设损失权重值。
第六方面，本公开提供一种图像处理装置，该装置包括：第一处理模块，用于基于预先训练的图像分类模型执行图像处理任务；所述图像分类模型通过上述第一方面任一项所述的图像分类模型训练方法训练得到；所述图像处理任务包括：图像分类、对象检测、关键点检测、图像分割、实例分割中一种或者多种。
第七方面，本公开实施例提供一种数据分类模型训练装置，包括：第二获取模块，用于获取标注样本数据集；所述标注样本数据集中包括多个标注样本数据，以及与每个标注样本数据分别对应的分类标签；第二频率信息确定模块，用于基于所述标注样本数据，以及与每个所述标注样本数据分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息；第二损失信息确定模块，用于基于所述多个标注样本数据分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定数据分类模型的损失信息；第二训练模块，用于基于所述损失信息，对所述数据分类模型进行训练；所述数据分类模型用于确定待识别数据的类别。
一种可选的实施方式中，所述第二频率信息确定模块，在基于所述标注样本数据，以及与每个所述标注样本数据分别对应的分类标签，确定预设的多个类别中每个类别对应的频率信息时，用于：针对每个类别，基于属于该类别的标注样本数据，以及与各标注样本数据对应的原始样本数据，确定该类别对应的原始样本数据的数量；其中，每个原始样本数据对应有一个或多个标注样本数据；基于所述原始样本数据的数量，确定该类别对应的频率信息。
一种可选的实施方式中，所述第二频率信息确定模块，在基于所述标注样本数据，以及与每个所述标注样本数据分别对应的分类标签，确定预设的多个类别中每个类别对应的频率信息时，用于：针对每个类别，基于所述标注样本数据集中的标注样本数据的总数量，以及属于该类别的标注样本数据的数量，确定该类别对应的频率信息；或者，将属于该类别的标注样本数据的数量作为该类别对应的频率信息。
一种可选的实施方式中，所述第二损失信息确定模块，在基于所述多个标注样本数据分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定分类模型的损失信息时，用于：针对每个标注样本数据，根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，得到在使用分类模型对该标注样本数据进行分类时的损失信息。
一种可选的实施方式中，所述第二损失信息确定模块，在根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，得到在使用分类模型对该标注样本数据进行分类时的损失信息时，用于：根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重；基于预设的多个类别中的每个类别对应的损失权重，得到在使用所述分类模型对该标注样本数据进行分类时的损失信息。
一种可选的实施方式中，所述第二损失信息确定模块，在根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重时，用于：针对任一类别，在确定该标注样本数据的分类标签指示该标注样本数据为非背景的标注样本数据，且该任一类别对应的频率信息小于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第一预设损失权重值。
一种可选的实施方式中，所述第二损失信息确定模块，在根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重时，用于：针对任一类别，在确定该标注样本数据的分类标签指示该标注样本数据为背景的标注样本数据，和/或，该任一类别对应的频率信息大于或者等于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第二预设损失权重值。
一种可选的实施方式中，所述第二损失信息确定模块，在根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重时，用于：根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，以及该标注样本数据对应的原始样本数据的正样本类别集、以及负样本类别集，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重。
其中，所述正样本类别集中，包括该原始样本数据中包含的至少一种目标对象的类别；所述负样本类别集中，包括该原始样本数据中并未包含的至少一种目标对象的类别。
一种可选的实施方式中，所述第二损失信息确定模块，用于采用下述方式获取该标注样本数据对应的原始样本数据的正样本类别集：从所述标注样本数据集中，确定与该标注样本数据对应同一原始样本数据的目标标注样本数据；基于该标注样本数据以及所述目标标注样本数据分别对应的分类标签，确定该标注样本数据对应的原始样本数据的正样本类别集；或者，根据该标注样本数据对应的原始样本数据的第一辅助分类标签，确定该标注样本数据对应的原始样本数据的正样本类别集；所述第一辅助分类标签用于指示所述原始样本数据中包含的目标对象的类别。
一种可选的实施方式中，所述第二损失信息确定模块，用于采用下述方式获取该标注样本数据对应的原始样本数据的负样本类别集：根据该标注样本数据对应的原始样本数据的第二辅助分类标签，确定该标注样本数据对应的原始样本数据的负样本类别集；所述第二辅助分类标签用于指示所述原始样本数据中未包含的目标对象的类别。
一种可选的实施方式中，所述第二损失信息确定模块，在根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，以及该标注样本数据对应的原始样本数据的正样本类别集、以及负样本类别集，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重时，用于：针对任一类别，在确定该标注样本数据的分类标签指示该标注样本数据为非背景的标注样本数据，该任一类别不属于所述正样本类别集以及所述负样本类别集，该任一类别对应的频率信息小于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第一预设损失权重值。
一种可选的实施方式中，所述第二损失信息确定模块，在根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，以及该标注样本数据对应的原始样本数据的正样本类别集、以及负样本类别集，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重时，用于：针对任一类别，在确定该标注样本数据的分类标签指示该标注样本数据为背景的标注样本数据，和/或，该任一类别属于所述正样本类别集或所述负样本类别集，和/或，该任一类别对应的频率信息大于或者等于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第二预设损失权重值。
第八方面，本公开实施例提供一种数据处理装置，该装置包括：第二处理模块，用于基于预先训练的数据分类模型执行数据处理任务；所述数据分类模型通过上述第三方面任一项所述的数据分类模型训练方法训练得到；所述数据处理任务包括：数据分类、数据分割、实例分割中一种或者多种；所述数据包括：图像数据、以及文本数据中任一种。
第九方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤；或执行上述第二方面，或第二方面中任一种可能的实施方式中的步骤；或执行上述第三方面，或第三方面中任一种可能的实施方式中的步骤；或执行上述第四方面，或第四方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤；或执行上述第二方面，或第二方面中任一种可能的实施方式中的步骤；或执行上述第三方面，或第三方面中任一种可能的实施方式中的步骤；或执行上述第四方面，或第四方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像分类模型训练方法的流程图；
图2示出了本公开实施例所提供的得到损失信息具体方法的流程图；
图3示出了本公开实施例所提供的一种数据分类模型训练方法的流程图；
图4示出了本公开实施例所提供的一种图像分类模型训练装置的示意图；
图5示出了本公开实施例所提供的一种数据分类模型训练装置的示意图；
图6示出了本公开实施例所提供的一种计算机设备的示意图；
图7示出了本公开实施例所提供的另一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，在对多分类的神经网络模型进行训练过程中，针对任一种类别而言，其他类别的正样本都会构成该任一种类别的负样本；若该任一类别的正样本数量较为稀少，对于该任一类别而言，正负样本的比例失衡，负样本会对该任一类别产生显著影响，造成多类别的神经网络模型在对该任一类别的目标对象进行识别时的识别精度较低。
基于上述研究，本公开提供了一种图像分类模型训练方法，在对分类模型进行训练的时候，会基于标注样本图像以及与每个标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息，然后基于多个标注样本图像分别对应的分类标签、以及每个类别分别对应的频率信息来确定分类模型的损失信息，以基于该损失信息对分类模型进行训练，该过程中，由于是基于每个类别分别对应的频率信息和各个样本图像分别对应的分类标签来确定损失信息，能够根据各个类别的频率信息，来调节某个类别的正负样本在图像分类模型训练过程中，对图像分类模型的影响程度的方式，来平衡正负样本对各个类别产生的影响，进而提升分类模型对正样本较少的类别的识别精度。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像的分类模型训练方法进行详细介绍，本公开实施例所提供的分类模型训练方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该分类模型训练方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
实施例一
参见图1所示，为本公开实施例提供的一种图像分类模型训练的流程图，方法包括步骤S101～S104，其中：
S101：获取标注样本图像集；标注样本图像集中包括多个标注样本图像，以及与每个标注样本图像分别对应的分类标签；
S102：基于标注样本图像，以及与每个标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息；
S103：基于多个标注样本图像分别对应的分类标签、以及每个类别分别对应的频率信息，确定图像分类模型的损失信息；
S104：基于损失信息，对图像分类模型进行训练；图像分类模型用于确定待识别图像的类别。
下面分别对上述S101～S104分别加以详细描述。
I：在上述S101中，标注样本图像集中包括多个标注样本图像，不同的标注样本图像可以对不同的原始样本图像进行标注生成，也可以对应相同的原始样本图像进行标注生成。每一个标注样本图像中，包括了至少一个被标注出来的目标对象，以及与该目标对象对应的标签，此处，目标对象是指图像分类模型能够识别的多种对象任一种，而目标对象对应的标签，则是指该目标对象所属的类别。
例如在某原始样本图像中，既包含有目标对象A，又包含有目标对象B，则在对该张原始样本图像进行标注的时候，可以将目标对象A在该原始样本图像中的位置标注出来，并添加“目标对象A”的分类标签，形成一个标注样本图像，也可以将目标对象B在该原始样本图像中的位置标注出来，并添加“目标对象B”的分类标签，形成另外一个标注样本图像。
另外，若在某张原始样本图像中包括了多个相同的目标对象，可以针对每个目标对象均形成一个标注样本图像，例如在某原始样本图像中包含了三个目标对象A，则在对该张原始样本图像进行标注的时候，针对第一个目标对象A，将第一个目标对象A在该原始样本图像中的位置标注出来，并添加“目标对象A”的分类标签；针对第二个目标对象A，将第二个目标对象A在该原始样本图像中的位置标注出来，并添加“目标对象A”的分类标签；针对第三个目标对象A，将第三个目标对象A在该原始样本图像中的位置标注出来，并添加“目标对象A”的分类标签。
另外，在某张原始样本图像中包括了多个相同的目标对象时，也可以针对所有相同的目标对象形成多个标注样本图像。
例如在某原始样本图像中包含了三个目标对象A，则在对该张原始样本图像进行标注的时候，针对三个目标对象A，将三个目标对象A均在该原始样本图像中的位置标注出来，并添加“目标对象A”的标签。
具体的标注方式可以根据分类目的来进行。例如若分类目的是实例分割，就要针对不同目标对象形成不同的标注样本图像。例如若分类目的是识别哪张图像中具有某种对象，则可以针对所有相同的目标对象形成一个标注样本图像。
在训练图像分类模型之前，首先要确定图像分类模型能够识别的对象的类别，然后根据确定的图像分类模型能够识别的对象的类别来确定标注样本图像集。
在标注样本图像集中，包括与每个类别分别对应的标注样本图像，也即针对任一类别，在该类别下的正样本。
而针对任一类别，其他类别对应的标注样本图像均构成该任一类别的负样本。
另外，在标注样本图像集中，还可以包括多个对于所有类别而言均属于负样本的标注样本图像。
例如，在对某原始图像进行标注时，将其中不属于任何一种类别的对象在原始样本图像中的位置标注出来，并添加“无类别”或“背景”的分类标签。
在另一实施例中，分类标签还可以用数字的形式来表达；例如图像分类模型能够识别的对象的类别有30种，则使用1～30分别表示30种类别，使用0作为对于所有类别均属于负样本的标注样本图像的分类标签。
II：在上述S102中，任一类别对应的频率信息，例如可以为下述中任一种：
该任一类别对应的标注样本图像的数量、该任一类别对应的标注样本图像在标注样本图像集中的占比、该任一类别对应的标注样本图像的原始样本图像的数量、该任一类别对应的标注样本图像的原始样本图像，在所有标注样本图像的原始样本图像中的数量占比。
进而，例如可以采用但不限于下述方式(1)、(2)、(3)中任一种确定多个类别中每个类别对应的频率信息：
(1)针对每个类别，基于属于该类别的标注样本图像，以及与各标注样本图像对应的原始样本图像，确定该类别对应的原始样本图像的数量；其中，每个原始样本图像对应有一个或多个标注样本图像；
基于原始样本图像的数量，确定该类别对应的频率信息。
这里，可以将原始样本图像的数量，直接确定为该类别对应的频率信息，也可以将原始样本图像的在所有原始样本图像中的数量占比确定为该类别对应的频率信息。
具体地，由于不同的标注样本图像可能是来源于相同的原始样本图像，因此，将这些来源于相同原始样本图像的不同标注样本图像输入至图像分类模型中后，在图像分类模型参数不变的情况下，为不同标注样本图像提取的特征数据是较为类似，甚至是相同的，而使用这些标注样本图像对图像分类模型进行训练，图像分类模型所学习到的特征，少于使用来源于不同的原始样本图像的不同标注样本图对图像分类模型进行训练时，图像分类模型能够学习到的特征。
例如，标注样本图像a1、标注样本图像a2，来源于相同的原始样本图像A，标注样本图像b1来源于原始样本图像B，图像分类模型对a1和a2进行特征学习能够学习到的特征，要少于其对a1和b1进行学习所能学习到的特征。
进而，若直接基于标注样本图像的数量来确定各个类别对应的频率信息，若某个类别对应的正样本有多个来源于相同的原始样本图像，即使正样本的数量较多，也会造成图像分类模型能够学习到的该类别下特征较少，造成对该类别的识别精度较低，也即造成某些正样本较少的类别被判断为正样本较多的类别。为了避免这种误判，在该实施例中，是基于各个标注样本图像对应的原始样本图像的数量，来确定频率信息。
(2)针对每个类别，基于标注样本图像集中的标注样本图像的总数量，以及属于该类别的标注样本图像的数量，确定该类别对应的频率信息。可以将属于该类别的标注样本图像的数量在标注样本图像的总数量的占比作为该类别对应的频率信息。
(3)将属于该类别的标注样本图像的数量作为该类别对应的频率信息。
其中，针对某个类别而言，该类别的频率信息越高，则认为该类别对应的正样本的数量越多，该类别的正样本和负样本之间的均衡度越高；频率信息越低，则认为该类别对应的正样本的数量越少，该类别的正样本与负样本之间的均衡度越低。
III：在上述S103和S104中，在基于多个标注样本图像分别对应的分类标签、以及每个类别分别对应的频率信息，确定图像分类模型的损失信息时，例如可以采用下述方式：
针对每个标注样本图像，根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，得到在使用图像分类模型对该标注样本图像进行分类时的损失信息。
在具体实现过程中，在基于标注样本图像对图像分类模型进行训练的过程中，每次将一个标注样本图像输入至图像分类模型，都能够确定一个分类结果。该分类结果例如为一个向量，向量中元素的数量，与图像分类模型能够识别的对象的类别数量一致，且一一对应。该向量中任一元素的值，表征该标注样本图像属于与该元素对应的类别的概率或置信度。
例如，若图像分类模型能够识别的对象的类别数量为30，则将任一标注样本图像输入至图像分类模型后，所得到的分类结果为一30维的向量，表示为：(p1，p2，……，p30)，其中，该向量中的第i个元素pi的值，表示该标注样本图像属于与pi对应的类别的置信度，且pi的值越高，则该标注样本图像属于与pi对应的类别的可能性就越高。
然后，根据该向量，以及与标注样本图像对应的分类标签，以及各个类别分别对应的频率信息，可以得到该标注样本图像对应的损失信息。
基于该损失信息，使得图像分类模型的参数向着降低该损失信息的趋势调整调，完成对该图像分类模型的一次参数调整过程。
然后，将下一个标注样本图像输入至图像分类模型，再次执行上述损失信息的确定，以及参数调整过程。
当使用所有标注样本图像对图像分类模型进行过一次参数调整过程后，称完成对该图像分类模型的一轮训练。
经过对图像分类模型的多轮训练，或者当图像分类模型的损失信息收敛，则可以得到最终训练完成的图像分类模型。
示例性的，参见图2所示，本公开实施例还提供一种据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，得到在使用分类模型对该标注样本图像进行分类时的损失信息的具体方法，包括：
S201：根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重。
S202：基于预设的多个类别中的每个类别对应的损失权重，得到在使用分类模型对该标注样本图像进行分类时的损失信息。
这里，针对每个标注样本图像，其损失信息例如满足下述公式(1)：
其中，
Figure BDA0002268662920000172
满足下述公式(2)：
Figure BDA0002268662920000173
其中，C表示分类模型能够识别的对象的类别数量；pj表示该标注样本图像属于类别j的置信度，c表示该标注样本图像对应的标注标签，wj表示针对该标注样本图像，类别j对应的损失权重。
在一种实施例中，在确定损失权重时，例如针对任一类别，根据该标注样本图像的分类标签，确定该标注样本图像的分类标签指示该标注样本图像是否为背景的标注样本图像；并确定该任一类别对应的频率信息是否小于预设的频率阈值。
在确定该标注样本图像的分类标签指示该标注样本图像为非背景的标注样本图像，且该任一类别对应的频率信息小于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第一预设损失权重值。
在确定该标注样本图像的分类标签指示该标注样本图像为背景的标注样本图像，和/或，该任一类别对应的频率信息大于或者等于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第二预设损失权重值。
其中，该预设的频率阈值的具体取值可以根据频率信息的形式(如数量或占比)，以及分类精度需求进行具体设定。
这里，第一预设损失权重值和第二预设损失权重值的具体取值可以根据实际需要进行具体设定。
在上述实施例中，在图像分类模型训练过程中，通过调节某个类别的正负样本对图像分类模型的影响程度的方式，来提升分类模型对正样本较为稀少的类别的检测精度，因而，第一预设损失权重值一般小于第二预设损失权重值。
在使用某个标注样本图像a对图像分类模型进行训练的过程中，针对某个分类m，若该分类m的正样本和负样本处于失衡状态，也即该分类m对应的频率信息小于预设的频率阈值，且同时，该标注样本图像a的标注标签指示该标注样本图像a属于某个类别，但是这个类别并非类别m，也并非是背景类，若该种情况下类别m为频率信息小于频率阈值的类别，则就降低甚至忽略该标注样本图像a对该类别m的影响，也即降低标注样本图像a对该类别m的损失的影响。
若在使用该标注样本图像a对图像分类模型进行训练过程中，针对某个分类m，若该分类m的正样本和负样本并未处于失衡状态，则不会降低甚至忽略该标注样本图像a对该类别m的影响。
若在使用该标注样本图像a对图像分类模型进行训练过程中，针对某个分类m，若该分类m的正样本和负样本并未处于失衡状态，但该标注样本图像a对于所有类别而言，均属于背景类的标注样本图像时，也不会降低甚至忽略该标注样本图像a对该类别m的影响。
例如，在忽略样本标注图像对类别的影响的情况下，第一预设损失权重值为0，第二预设损失权重值为1；可将分类模型可识别的对象类别的类别标签设定为1～C，背景类别的类别标签设定为0，则针对某一标注样本图像，类别j对应的损失权重wj满足下述公式(3)：
Figure BDA0002268662920000181
其中，其中，λ表示预设的频率阈值；c表示标注样本图像所属的类别，c>0表示标注样本图像属于非背景的样本标注图像。fj表示类别j对应的频率信息。
又例如，在降低样本标注图像对类别的影响的情况下，第一预设损失权重值为0.3，第二预设损失权重值为1；针对某一标注样本图像，类别j对应的损失权重wj满足下述公式(4)：
Figure BDA0002268662920000182
这里，需要注意的是，在降低样本标注图像对类别的影响的情况下，第一预设损失权重值和第二预设损失权重值的具体数值可以根据实际需要进行设定，例如设定为0.1、0.2、0.4、0.5等；第二预设损失权重值还例如为0.9、1.1、1.2等。这里不做限定。
另外，本公开另一实施例还提供另外一种确定损失权重的具体方式，在该实施例中，例如可以根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，以及该标注样本图像对应的原始样本图像的正样本类别集、以及负样本类别集，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重。
此处，正样本类别集中，包括该原始样本图像中包含的至少一种目标对象的类别。
具体地，可以采用下述方式①或②中任一种确定该标注样本图像对应的原始样本图像的正样本类别集：
①：从标注样本图像集中，确定与该标注样本图像对应同一原始样本图像的目标标注样本图像；
基于该标注样本图像以及目标标注样本图像分别对应的分类标签，确定该标注样本图像对应的原始样本图像的正样本类别集；
这里，在形成标注样本图像时，可能会存在多个不同的标注样本图像基于同一原始样本图像标注而成的情况。
例如，所针对任一标注样本图像a，与其对应同一原始样本图像的目标标注样本图像分别为：标注样本图像b、标注样本图像c、以及标注样本图像d，其中，标注样本图像a的分类标签为：m2，标注样本图像b的分类标签为m5，标注样本图像c的分类标签为m9，标注样本图像d的分类标签为m5，则该标注样本图像a的正样本类别集为：{m2，m5，m9}。
②：根据该标注样本图像对应的原始样本图像的第一辅助分类标签，确定该标注样本图像对应的原始样本图像的正样本类别集。
这里，在对原始样本图像进行标注，生成标注样本图像的过程中，在很多情况下，由于需要生成的标注样本图像数量过于巨大，在很多情况下，是无法对原始样本图像中存在的不同对象进行一一标注生成不同标注样本图像的，在该种情况下，可以为原始样本图像添加第一辅助分类标签，该第一辅助分类标签用于指示原始样本图像中包含的目标对象的类别。
这里，需要注意的是，该第一辅助分类标签在标注的时候，可以指示出原始样本图像中包含的目标对象的所有类别，也可以仅指示出原始样本图像中包含的目标对象的部分类别。
例如，若某原始样本图像中包含的目标对象的所有类别包括：m1、m3、m7、m8、m11，而在对原始样本图像标注第一辅助分类标签的时候，第一辅助分类标签例如为：m1、m3、m7；在该种情况下，所形成的该原始样本图像的正样本类别集为：{m1，m3，m7}。
第一辅助分类标签例如为：m7、m8、m11；在该种情况下，所形成的该原始样本图像的正样本类别集为：{m7，m8，m11}。
第一辅助分类标签例如为：m1、m3、m7、m8、m11。在该种情况下，所形成的该原始样本图像的正样本类别集为：{m1，m3，m7，m8，m11}。
负样本类别集中，包括该原始样本图像中并未包含的至少一种目标对象的类别。
此处，可以采用下述方式③对应的原始样本图像的负样本类别集：
③：根据该标注样本图像对应的原始样本图像的第二辅助分类标签，确定该标注样本图像对应的原始样本图像的负样本类别集。
这里，与上述②类似，在对原始样本图像进行标注，也可以为原始样本图像添加第二辅助分类标签，该第二辅助分类标签用于指示原始样本图像中未包含的目标对象的类别。
例如，若在对某原始样本图像进行标注时，确定在该原始样本图像中未包含的目标对象的类别包括：m3、m9、m15，则在对原始样本图像标注第二辅助分类标签的时候，第二辅助分类标签例如为：m3、m9、m15；在该种情况下，所形成的该原始样本图像的负样本类别集为：{m3，m9，m15}。
这里需要注意的是，第一辅助分类标签或者第二辅助分类标签所指示的内容也可以为空。在该种情况下，正样本类别集和负样本类别集对应也为空。
在该实施例中，在确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重时，例如针对任一类别，根据该标注样本图像的分类标签，确定该标注样本图像的分类标签指示该标注样本图像是否为背景的标注样本图像；并确定该任一类别对应的频率信息是否小于预设的频率阈值；并确定该任一类别是否属于该标注样本图像对应的正样本类别集以及负样本类别集。
在确定该标注样本图像的分类标签指示该标注样本图像为非背景的标注样本图像，该任一类别不属于正样本类别集以及负样本类别集，并且该任一类别对应的频率信息小于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第一预设损失权重值。
在确定该标注样本图像的分类标签指示该标注样本图像为背景的标注样本图像，和/或，该任一类别属于正样本类别集或负样本类别集，和/或，该任一类别对应的频率信息大于或者等于预设的频率阈值的情况下，该任一类别对应的损失权重确定为第二预设损失权重值。
在该实施例中，在调节某个类别的正负样本对图像分类模型的影响程度的时候，在降低或者忽略标注样本图像a对某个类别m影响的过程中，若该标注样本图像a对应的原始样本图像一定存在该类别m的目标对象，则不忽略这部分标注样本图像对该类别m的影响，可使得图像分类模型能够学习到该类别下的更多特征，进而能够进一步提升图像分类模型的精度。
另外，若某原始样本图像中一定不存在某个类别的目标对象，该原始样本图像实际上可以视作该类别m的背景图像，则不忽略基于该原始样本图像得到的标注样本图像对该分类m的影响，能够使得图像分类模型能够学习到与类别m的目标对象的差异性特征，也能够进一步提升图像分类模型的精度。
进而，在本公开实施例中，还会确定该任一类别是否属于该标注样本图像对应的正样本类别集或负样本类别集。若属于，则不会降低甚至忽略该标注样本图像a对该类别m的影响。
例如，在忽略样本标注图像对类别的影响的情况下，第一预设损失权重值为0，第二预设损失权重值为1；则针对某一标注样本图像，类别j对应的损失权重wj满足下述公式(5)：
Figure BDA0002268662920000211
其中，λ表示预设的频率阈值；c>0表示标注样本图像属于非背景的样本标注图像。fj表示类别j对应的频率信息。SP表示正样本类别集；SN表示负样本类别集。
又例如，在降低样本标注图像对类别的影响的情况下，第一预设损失权重值为0.15，第二预设损失权重值为1.1；针对某一标注样本图像，类别j对应的损失权重wj满足下述公式(6)：
Figure BDA0002268662920000212
这里，在降低样本标注图像对类别的影响的情况下，第一预设损失权重值和第二预设损失权重值的具体数值也可以根据实际需要进行设定。
本公开实施例在对分类模型进行训练的时候，会基于标注样本图像以及与每个标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息，然后基于多个标注样本图像分别对应的分类标签、以及每个类别分别对应的频率信息来确定分类模型的损失信息，以基于该损失信息对分类模型进行训练，该过程中，由于是基于每个类别分别对应的频率信息和各个样本图像分别对应的分类标签来确定损失信息，能够根据各个类别的频率信息，来调节某个类别的正负样本在图像分类模型训练过程中，对图像分类模型的影响程度的方式，来平衡正负样本对各个类别产生的影响，进而提升分类模型对正样本较少的分类的识别精度。
本公开实施例还提供另外一种图像处理方法，该方法包括：基于预先训练的图像分类模型执行图像处理任务；
图像分类模型可通过上述实施例的图像分类模型训练方法训练得到；
图像处理任务包括：图像分类、对象检测、关键点检测、图像分割、实例分割中一种或者多种。
本公开实施例中，图像分类模型具体可以根据实际图像处理任务选择。例如，当图像处理任务是对象检测时，该图像分类模型可以采用更快速区域卷积神经网络(FasterRegion-Convolutional Neural Networks，Faster R-CNN)；又例如，当图像处理任务是实例分割时，该图像分类模型可以采用实例分割模型Mask R-CNN。
本公开实施例中，对图像分类模型进行训练的标注样本集可以是微软上下文通用对象数据集(Microsoft Common Objects in Context，MS COCO)、大型词汇实例细分的数据集(A Dataset for Large Vocabulary Instance Segmentation，LVIS)、模式分析，统计建模和计算学习视觉对象类数据集(pattern analysis，statistical modelling andcomputationallearning visual object classes，Pascal VOC)、以及Open Image数据集中至少一个，也可以是对上述样本集中的至少一个进行处理(如重标注)后得到的样本集。
本公开实施例在执行图像处理任务时，是采用基于上述实施例所公开的图像分类模型训练方法训练得到的图像分类模型来实现的，能够以更高的精度得到图像处理结果。
参见图3所示，本公开实施例还提供一种数据分类模型训练方法，包括：
S301：获取标注样本数据集；标注样本数据集中包括多个标注样本数据，以及与每个标注样本数据分别对应的分类标签；
S302：基于标注样本数据，以及与每个标注样本数据分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息；
S303：基于多个标注样本数据分别对应的分类标签、以及每个类别分别对应的频率信息，确定数据分类模型的损失信息；
S304：基于损失信息，对数据分类模型进行训练；数据分类模型用于确定待识别数据的类别。
在该实施例中，样本数据集可以为：样本图像集、样本文本集中任一种。另外，根据待处理数据的不同，标注样本数据也有所区别，具体根据实际的应用场景来确定，在此不再赘述。
上述S301～S304的具体实现方式可参见上述实施例S101～S104，在此不再赘述。
本公开实施例还提供一种数据处理方法，该方法包括：
基于预先训练的数据分类模型执行数据处理任务；
数据分类模型通过上述实施例中的数据分类模型训练方法训练得到；
数据处理任务包括：数据分类、数据分割、实例分割中一种或者多种；
数据包括：图像数据、以及文本数据中任一种。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与图像分类模型训练方法对应的图像分类模型训练装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像分类模型训练方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图4所示，为本公开实施例提供的一种图像分类模型训练装置的示意图，所述装置包括：第一获取模块41、第一频率信息确定模块42、第一损失信息确定模块43，以及第一训练模块44；其中，
第一获取模块41，用于获取标注样本图像集；所述标注样本图像集中包括多个标注样本图像，以及与每个标注样本图像分别对应的分类标签；
第一频率信息确定模块42，用于基于所述标注样本图像，以及与每个所述标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息；
第一损失信息确定模块43，用于基于所述多个标注样本图像分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定图像分类模型的损失信息；
第一训练模块44，用于基于所述损失信息，对所述图像分类模型进行训练；所述图像分类模型用于确定待识别图像的类别。
一种可选实施方式中，所述第一频率信息确定模块42，在所述基于所述标注样本图像，以及与每个所述标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别对应的频率信息时，用于：
针对每个类别，基于属于该类别的标注样本图像，以及与各标注样本图像对应的原始样本图像，确定该类别对应的原始样本图像的数量；其中，每个原始样本图像对应有一个或多个标注样本图像；基于所述原始样本图像的数量，确定该类别对应的频率信息。
一种可选实施方式中，所述第一频率信息确定模块42，在基于所述标注样本图像，以及与每个所述标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别对应的频率信息时，用于：针对每个类别，基于所述标注样本图像集中的标注样本图像的总数量，以及属于该类别的标注样本图像的数量，确定该类别对应的频率信息；或者，将属于该类别的标注样本图像的数量作为该类别对应的频率信息。
一种可选实施方式中，所述第一损失信息确定模块43，在基于所述多个标注样本图像分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定分类模型的损失信息时，用于：针对每个标注样本图像，根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，得到在使用分类模型对该标注样本图像进行分类时的损失信息。
一种可选实施方式中，所述第一损失信息确定模块43，在根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，得到在使用分类模型对该标注样本图像进行分类时的损失信息时，用于：根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重；基于预设的多个类别中的每个类别对应的损失权重，得到在使用所述分类模型对该标注样本图像进行分类时的损失信息。
一种可选实施方式中，所述第一损失信息确定模块43，在根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重时，用于：针对任一类别，在确定该标注样本图像的分类标签指示该标注样本图像为非背景的标注样本图像，且该任一类别对应的频率信息小于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第一预设损失权重值。
一种可选实施方式中，所述第一损失信息确定模块43，在根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重时，用于：在确定该标注样本图像的分类标签指示该标注样本图像为背景的标注样本图像，和/或，该任一类别对应的频率信息大于或者等于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第二预设损失权重值。
一种可选实施方式中，所述第一损失信息确定模块43，在根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重时，用于：根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，以及该标注样本图像对应的原始样本图像的正样本类别集、以及负样本类别集，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重；
其中，所述正样本类别集中，包括该原始样本图像中包含的至少一种目标对象的类别；所述负样本类别集中，包括该原始样本图像中并未包含的至少一种目标对象的类别。
一种可选实施方式中，所述第一损失信息确定模块43，用于采用下述方式获取该标注样本图像对应的原始样本图像的正样本类别集：从所述标注样本图像集中，确定与该标注样本图像对应同一原始样本图像的目标标注样本图像；基于该标注样本图像以及所述目标标注样本图像分别对应的分类标签，确定该标注样本图像对应的原始样本图像的正样本类别集；或者，根据该标注样本图像对应的原始样本图像的第一辅助分类标签，确定该标注样本图像对应的原始样本图像的正样本类别集；所述第一辅助分类标签用于指示所述原始样本图像中包含的目标对象的类别。
一种可选实施方式中，所述第一损失信息确定模块43，用于采用下述方式获取该标注样本图像对应的原始样本图像的负样本类别集：根据该标注样本图像对应的原始样本图像的第二辅助分类标签，确定该标注样本图像对应的原始样本图像的负样本类别集；所述第二辅助分类标签用于指示所述原始样本图像中未包含的目标对象的类别。
一种可选实施方式中，所述第一损失信息确定模块43，在根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，以及该标注样本图像对应的原始样本图像的正样本类别集、以及负样本类别集，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重时，用于：针对任一类别，在确定该标注样本图像的分类标签指示该标注样本图像为非背景的标注样本图像，该任一类别不属于所述正样本类别集以及所述负样本类别集，该任一类别对应的频率信息小于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第一预设损失权重值。
一种可选实施方式中，所述第一损失信息确定模块43，在根据该标注样本图像的分类标签、以及每个类别分别对应的频率信息，以及该标注样本图像对应的原始样本图像的正样本类别集、以及负样本类别集，确定针对该标注样本图像，预设的多个类别中的每个类别对应的损失权重时，用于：针对任一类别，在确定该标注样本图像的分类标签指示该标注样本图像为背景的标注样本图像，和/或，该任一类别属于所述正样本类别集或所述负样本类别集，和/或，该任一类别对应的频率信息大于或者等于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第二预设损失权重值。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开另一实施例还提供一种图像处理装置，该装置包括：
第一处理模块，用于基于预先训练的图像分类模型执行图像处理任务；
所述图像分类模型通过上述实施例所述的图像分类模型训练方法训练得到；
所述图像处理任务包括：图像分类、对象检测、关键点检测、图像分割、实例分割中一种或者多种。
参照图5所示，为本公开实施例提供的一种数据分类模型训练装置的示意图，所述装置包括：第二获取模块51、第二频率信息确定模块52、第二损失信息确定模块53，以及第二训练模块54；其中：
第二获取模块51，用于获取标注样本数据集；所述标注样本数据集中包括多个标注样本数据，以及与每个标注样本数据分别对应的分类标签；
第二频率信息确定模块52，用于基于所述标注样本数据，以及与每个所述标注样本数据分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息；
第二损失信息确定模块53，用于基于所述多个标注样本数据分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定数据分类模型的损失信息；
第二训练模块54，用于基于所述损失信息，对所述数据分类模型进行训练；所述数据分类模型用于确定待识别数据的类别。
一种可选实施方式中，所述第二频率信息确定模块52，在基于所述标注样本数据，以及与每个所述标注样本数据分别对应的分类标签，确定预设的多个类别中每个类别对应的频率信息时，用于：针对每个类别，基于属于该类别的标注样本数据，以及与各标注样本数据对应的原始样本数据，确定该类别对应的原始样本数据的数量；其中，每个原始样本数据对应有一个或多个标注样本数据；基于所述原始样本数据的数量，确定该类别对应的频率信息。
一种可选实施方式中，所述第二频率信息确定模块52，在基于所述标注样本数据，以及与每个所述标注样本数据分别对应的分类标签，确定预设的多个类别中每个类别对应的频率信息时，用于：针对每个类别，基于所述标注样本数据集中的标注样本数据的总数量，以及属于该类别的标注样本数据的数量，确定该类别对应的频率信息；或者，将属于该类别的标注样本数据的数量作为该类别对应的频率信息。
一种可选实施方式中，所述第二损失信息确定模块53，在基于所述多个标注样本数据分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定分类模型的损失信息时，用于：针对每个标注样本数据，根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，得到在使用分类模型对该标注样本数据进行分类时的损失信息。
一种可选实施方式中，所述第二损失信息确定模块53，在根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，得到在使用分类模型对该标注样本数据进行分类时的损失信息时，用于：根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重；基于预设的多个类别中的每个类别对应的损失权重，得到在使用所述分类模型对该标注样本数据进行分类时的损失信息。
一种可选实施方式中，所述第二损失信息确定模块53，在根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重时，用于：针对任一类别，在确定该标注样本数据的分类标签指示该标注样本数据为非背景的标注样本数据，且该任一类别对应的频率信息小于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第一预设损失权重值。
一种可选实施方式中，所述第二损失信息确定模块53，在根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重时，用于：针对任一类别，在确定该标注样本数据的分类标签指示该标注样本数据为背景的标注样本数据，和/或，该任一类别对应的频率信息大于或者等于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第二预设损失权重值。
一种可选实施方式中，所述第二损失信息确定模块53，在根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重时，用于：根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，以及该标注样本数据对应的原始样本数据的正样本类别集、以及负样本类别集，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重；
其中，所述正样本类别集中，包括该原始样本数据中包含的至少一种目标对象的类别；所述负样本类别集中，包括该原始样本数据中并未包含的至少一种目标对象的类别。
一种可选实施方式中，所述第二损失信息确定模块53，用于采用下述方式获取该标注样本数据对应的原始样本数据的正样本类别集：从所述标注样本数据集中，确定与该标注样本数据对应同一原始样本数据的目标标注样本数据；基于该标注样本数据以及所述目标标注样本数据分别对应的分类标签，确定该标注样本数据对应的原始样本数据的正样本类别集；或者，根据该标注样本数据对应的原始样本数据的第一辅助分类标签，确定该标注样本数据对应的原始样本数据的正样本类别集；所述第一辅助分类标签用于指示所述原始样本数据中包含的目标对象的类别。
一种可选实施方式中，所述第二损失信息确定模块53，用于采用下述方式获取该标注样本数据对应的原始样本数据的负样本类别集：根据该标注样本数据对应的原始样本数据的第二辅助分类标签，确定该标注样本数据对应的原始样本数据的负样本类别集；所述第二辅助分类标签用于指示所述原始样本数据中未包含的目标对象的类别。
一种可选实施方式中，所述第二损失信息确定模块53，在根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，以及该标注样本数据对应的原始样本数据的正样本类别集、以及负样本类别集，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重时，用于：针对任一类别，在确定该标注样本数据的分类标签指示该标注样本数据为非背景的标注样本数据，该任一类别不属于所述正样本类别集以及所述负样本类别集，该任一类别对应的频率信息小于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第一预设损失权重值。
一种可选实施方式中，所述第二损失信息确定模块53，在根据该标注样本数据的分类标签、以及每个类别分别对应的频率信息，以及该标注样本数据对应的原始样本数据的正样本类别集、以及负样本类别集，确定针对该标注样本数据，预设的多个类别中的每个类别对应的损失权重时，用于：针对任一类别，在确定该标注样本数据的分类标签指示该标注样本数据为背景的标注样本数据，和/或，该任一类别属于所述正样本类别集或所述负样本类别集，和/或，该任一类别对应的频率信息大于或者等于预设的频率阈值的情况下，将该任一类别对应的损失权重确定为第二预设损失权重值。
本公开实施例还提供一种数据处理装置，该装置包括：
第二处理模块，用于基于预先训练的数据分类模型执行数据处理任务；
所述数据分类模型通过上述实施例所述的数据分类模型训练方法训练得到；所述数据处理任务包括：数据分类、数据分割、实例分割中一种或者多种；所述数据包括：图像数据、以及文本数据中任一种。
本公开实施例还提供了一种计算机设备60，如图6所示，为本公开实施例提供的计算机设备60结构示意图，包括：处理器61、存储器62、和总线63。所述存储器62存储有所述处理器61可执行的机器可读指令(比如，图4中的装置中第一获取模块41、第一频率信息确定模块42、第一损失信息确定模块43，以及第一训练模块44对应的执行指令等)，当计算机设备60运行时，所述处理器61与所述存储器62之间通过总线63通信，所述机器可读指令被所述处理器61执行时执行如下处理：
获取标注样本图像集；所述标注样本图像集中包括多个标注样本图像，以及与每个标注样本图像分别对应的分类标签；
基于所述标注样本图像，以及与每个所述标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息；
基于所述多个标注样本图像分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定图像分类模型的损失信息；
基于所述损失信息，对所述图像分类模型进行训练；所述图像分类模型用于确定待识别图像的类别。
处理器61在执行各处理时的详细过程具体参见上述实施例所示，在此不再赘述。
本公开实施例还提供了一种计算机设备70，如图7所示，为本公开实施例提供的计算机设备70结构示意图，包括：处理器71、存储器72、和总线73。所述存储器72存储有所述处理器71可执行的机器可读指令(比如，图5中的装置中第二获取模块51、第二频率信息确定模块52、第二损失信息确定模块53，以及第二训练模块54对应的执行指令等)，当计算机设备70运行时，所述处理器71与所述存储器72之间通过总线73通信，所述机器可读指令被所述处理器71执行时执行如下处理：
获取标注样本图像集；所述标注样本图像集中包括多个标注样本图像，以及与每个标注样本图像分别对应的分类标签；
获取标注样本数据集；所述标注样本数据集中包括多个标注样本数据，以及与每个标注样本数据分别对应的分类标签；
基于所述标注样本数据，以及与每个所述标注样本数据分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息；
基于所述多个标注样本数据分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定数据分类模型的损失信息；
基于所述损失信息，对所述数据分类模型进行训练；所述数据分类模型用于确定待识别数据的类别。
处理器71在执行各处理时的详细过程具体参见上述实施例所示，在此不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像分类模型训练方法、图像处理方法、数据分类模型训练方法、或数据处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的图像分类模型训练方法、图像处理方法、数据分类模型训练方法、或数据处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像分类模型训练方法、图像处理方法、数据分类模型训练方法、或数据处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的易失性或非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像分类模型训练方法，其特征在于，包括：
获取标注样本图像集；所述标注样本图像集中包括多个标注样本图像，以及与每个标注样本图像分别对应的分类标签；
基于所述标注样本图像，以及与每个所述标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息；
基于所述多个标注样本图像分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定图像分类模型的损失信息；
基于所述损失信息，对所述图像分类模型进行训练；所述图像分类模型用于确定待识别图像的类别。
2.一种图像处理方法，其特征在于，该方法包括：
基于预先训练的图像分类模型执行图像处理任务；
所述图像分类模型通过上述权利要求1所述的图像分类模型训练方法训练得到；
所述图像处理任务包括：图像分类、对象检测、关键点检测、图像分割、实例分割中一种或者多种。
3.一种数据分类模型训练方法，其特征在于，包括：
获取标注样本数据集；所述标注样本数据集中包括多个标注样本数据，以及与每个标注样本数据分别对应的分类标签；
基于所述标注样本数据，以及与每个所述标注样本数据分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息；
基于所述多个标注样本数据分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定数据分类模型的损失信息；
基于所述损失信息，对所述数据分类模型进行训练；所述数据分类模型用于确定待识别数据的类别。
4.一种数据处理方法，其特征在于，该方法包括：
基于预先训练的数据分类模型执行数据处理任务；
所述数据分类模型通过上述权利要求3所述的数据分类模型训练方法训练得到；
所述数据处理任务包括：数据分类、数据分割、实例分割中一种或者多种；
所述数据包括：图像数据、以及文本数据中任一种。
5.一种图像分类模型训练装置，其特征在于，包括：
第一获取模块，用于获取标注样本图像集；所述标注样本图像集中包括多个标注样本图像，以及与每个标注样本图像分别对应的分类标签；
第一频率信息确定模块，用于基于所述标注样本图像，以及与每个所述标注样本图像分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息；
第一损失信息确定模块，用于基于所述多个标注样本图像分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定图像分类模型的损失信息；
第一训练模块，用于基于所述损失信息，对所述图像分类模型进行训练；所述图像分类模型用于确定待识别图像的类别。
6.一种图像处理装置，其特征在于，该装置包括：
第一处理模块，用于基于预先训练的图像分类模型执行图像处理任务；
所述图像分类模型通过上述权利要求5所述的图像分类模型训练方法训练得到；
所述图像处理任务包括：图像分类、对象检测、关键点检测、图像分割、实例分割中一种或者多种。
7.一种数据分类模型训练装置，其特征在于，包括：
第二获取模块，用于获取标注样本数据集；所述标注样本数据集中包括多个标注样本数据，以及与每个标注样本数据分别对应的分类标签；
第二频率信息确定模块，用于基于所述标注样本数据，以及与每个所述标注样本数据分别对应的分类标签，确定预设的多个类别中每个类别分别对应的频率信息；
第二损失信息确定模块，用于基于所述多个标注样本数据分别对应的分类标签、以及每个类别分别对应的所述频率信息，确定数据分类模型的损失信息；
第二训练模块，用于基于所述损失信息，对所述数据分类模型进行训练；所述数据分类模型用于确定待识别数据的类别。
8.一种数据处理装置，其特征在于，该装置包括：
第二处理模块，用于基于预先训练的数据分类模型执行数据处理任务；
所述数据分类模型通过上述权利要求7所述的数据分类模型训练方法训练得到；
所述数据处理任务包括：数据分类、数据分割、实例分割中一种或者多种；
所述数据包括：图像数据、以及文本数据中任一种。
9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1所述的图像分类模型训练方法的步骤，或执行如权利要求2所述的图像处理方法的步骤，或执行如权利要求3所述的数据分类模型训练方法的步骤，或执行如权利要求4所述的数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1所述的图像分类模型训练方法的步骤，或执行如权利要求2所述的图像处理方法的步骤，或执行如权利要求3所述的数据分类模型训练方法的步骤，或执行如权利要求4所述的数据处理方法的步骤。
CN201911097069.XA 2019-11-11 2019-11-11 图像分类模型训练方法、图像处理方法及装置 Pending CN110837869A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201911097069.XA CN110837869A (zh) 2019-11-11 2019-11-11 图像分类模型训练方法、图像处理方法及装置
PCT/CN2019/127394 WO2021093096A1 (zh) 2019-11-11 2019-12-23 图像分类模型训练方法、图像处理方法及装置
KR1020217012461A KR20210062687A (ko) 2019-11-11 2019-12-23 이미지 분류 모델 훈련 방법, 이미지 처리 방법 및 장치
JP2021522979A JP7266674B2 (ja) 2019-11-11 2019-12-23 画像分類モデルの訓練方法、画像処理方法及び装置
TW109111415A TWI752455B (zh) 2019-11-11 2020-04-06 圖像分類模型訓練方法、影像處理方法、資料分類模型訓練方法、資料處理方法、電腦設備、儲存媒介

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911097069.XA CN110837869A (zh) 2019-11-11 2019-11-11 图像分类模型训练方法、图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN110837869A true CN110837869A (zh) 2020-02-25

Family

ID=69574764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911097069.XA Pending CN110837869A (zh) 2019-11-11 2019-11-11 图像分类模型训练方法、图像处理方法及装置

Country Status (5)

Country Link
JP (1) JP7266674B2 (zh)
KR (1) KR20210062687A (zh)
CN (1) CN110837869A (zh)
TW (1) TWI752455B (zh)
WO (1) WO2021093096A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429448A (zh) * 2020-04-09 2020-07-17 常州奥创医疗科技有限公司 一种基于弱分割信息的生物荧光目标计数方法
CN111783635A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 图像标注方法、装置、设备以及存储介质
CN112418327A (zh) * 2020-11-25 2021-02-26 Oppo广东移动通信有限公司 图像分类模型的训练方法、装置、电子设备以及存储介质
WO2022134362A1 (zh) * 2020-12-24 2022-06-30 平安科技（深圳）有限公司 视盘图像分类模型的训练方法、装置、设备及存储介质
US11507776B2 (en) 2020-10-14 2022-11-22 Industrial Technology Research Institute Image recognition method for detection tasks based on single convolutional neural network and image recognition system thereof

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI771010B (zh) * 2021-05-20 2022-07-11 鴻海精密工業股份有限公司 缺陷檢測方法、電腦裝置及儲存介質
CN113222043B (zh) * 2021-05-25 2024-02-02 北京有竹居网络技术有限公司 一种图像分类方法、装置、设备及存储介质
CN113947571A (zh) * 2021-09-30 2022-01-18 北京百度网讯科技有限公司 车辆损伤检测模型的训练方法及车辆损伤识别方法
CN114331379B (zh) * 2021-12-31 2023-08-15 北京百度网讯科技有限公司 用于输出待办任务的方法、模型训练方法和装置
TWI806500B (zh) * 2022-03-18 2023-06-21 廣達電腦股份有限公司 影像分類裝置和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655805B2 (en) * 2010-08-30 2014-02-18 International Business Machines Corporation Method for classification of objects in a graph data stream
CN103366013B (zh) * 2013-07-29 2016-03-02 腾讯科技（深圳）有限公司 一种数据处理的方法及服务器
US9916522B2 (en) * 2016-03-11 2018-03-13 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation
CN106021364B (zh) * 2016-05-10 2017-12-12 百度在线网络技术（北京）有限公司 图片搜索相关性预测模型的建立、图片搜索方法和装置
CN106096538B (zh) * 2016-06-08 2019-08-23 中国科学院自动化研究所 基于定序神经网络模型的人脸识别方法及装置
CN107609461A (zh) * 2017-07-19 2018-01-19 阿里巴巴集团控股有限公司 模型的训练方法、数据相似度的确定方法、装置及设备
CN108229541B (zh) * 2017-12-11 2021-09-28 上海海事大学 一种基于k最近邻算法的岸桥中拉杆应力数据分类方法
CN108229555B (zh) * 2017-12-29 2019-10-25 深圳云天励飞技术有限公司 样本权重分配方法、模型训练方法、电子设备及存储介质
JP6976360B2 (ja) * 2018-01-30 2021-12-08 富士フイルム株式会社 データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム
CN109829399B (zh) * 2019-01-18 2022-07-05 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429448A (zh) * 2020-04-09 2020-07-17 常州奥创医疗科技有限公司 一种基于弱分割信息的生物荧光目标计数方法
CN111783635A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 图像标注方法、装置、设备以及存储介质
US11507776B2 (en) 2020-10-14 2022-11-22 Industrial Technology Research Institute Image recognition method for detection tasks based on single convolutional neural network and image recognition system thereof
TWI812888B (zh) * 2020-10-14 2023-08-21 財團法人工業技術研究院 影像辨識方法及影像辨識系統
CN112418327A (zh) * 2020-11-25 2021-02-26 Oppo广东移动通信有限公司 图像分类模型的训练方法、装置、电子设备以及存储介质
WO2022134362A1 (zh) * 2020-12-24 2022-06-30 平安科技（深圳）有限公司 视盘图像分类模型的训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2022512065A (ja) 2022-02-02
TWI752455B (zh) 2022-01-11
JP7266674B2 (ja) 2023-04-28
KR20210062687A (ko) 2021-05-31
WO2021093096A1 (zh) 2021-05-20
TW202119288A (zh) 2021-05-16

Similar Documents

Publication Publication Date Title
CN110837869A (zh) 图像分类模型训练方法、图像处理方法及装置
CN109872162B (zh) 一种处理用户投诉信息的风控分类识别方法及***
CN110222330B (zh) 语义识别方法及装置、存储介质、计算机设备
CN111836063B (zh) 一种直播内容识别方法及装置
WO2020143301A1 (zh) 一种训练样本有效性检测方法、计算机设备及计算机非易失性存储介质
CN111061933A (zh) 图片样本库构建方法、装置、可读存储介质及终端设备
CN114861636A (zh) 文本纠错模型的训练方法及装置、文本纠错方法及装置
CN111611395A (zh) 一种实体关系的识别方法及装置
CN110580483A (zh) 一种室内外用户区分方法及装置
CN115830618A (zh) 一种文本识别方法、装置、计算机设备及存储介质
CN113379169B (zh) 信息处理方法、装置、设备及介质
CN114565797A (zh) 一种用于分类的神经网络的训练、图像分类方法以及装置
CN113705568A (zh) 文字识别网络训练方法、装置、计算机设备及存储介质
CN107622129B (zh) 一种知识库的组织方法及装置、计算机存储介质
JP2011118481A (ja) 画像処理プログラム及び画像処理装置
CN115186775B (zh) 一种图像描述文字的匹配度检测方法、装置及电子设备
CN113516208A (zh) 一种数据的审核方法、装置、电子设备及存储介质
CN113869329A (zh) 样本确定方法、装置、电子设备及介质
CN114282520A (zh) 数据特征提取方法、装置、设备及存储介质
CN114117294A (zh) 应用于物联网的多标签数据实例清洗方法及装置
CN115700582A (zh) 文本段落识别方法、装置、设备及存储介质
CN116955997A (zh) 建立用户类型识别模型、识别用户类型的方法及装置
CN115797950A (zh) 模型训练方法、图像分类方法及其装置、设备及存储介质
CN117271674A (zh) 字段类型识别方法、装置、电子设备及存储介质
CN114549934A (zh) 一种数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40017398

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20200225

RJ01 Rejection of invention patent application after publication