CN111582009B - 训练分类模型的装置和方法及利用分类模型分类的装置 - Google Patents

训练分类模型的装置和方法及利用分类模型分类的装置 Download PDF

Info

Publication number
CN111582009B
CN111582009B CN201910124176.0A CN201910124176A CN111582009B CN 111582009 B CN111582009 B CN 111582009B CN 201910124176 A CN201910124176 A CN 201910124176A CN 111582009 B CN111582009 B CN 111582009B
Authority
CN
China
Prior art keywords
training
sample image
classification model
predetermined number
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910124176.0A
Other languages
English (en)
Other versions
CN111582009A (zh
Inventor
张梦
刘汝杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201910124176.0A priority Critical patent/CN111582009B/zh
Priority to JP2019234844A priority patent/JP7347202B2/ja
Priority to US16/736,180 priority patent/US11514272B2/en
Priority to EP20151409.8A priority patent/EP3699819A1/en
Publication of CN111582009A publication Critical patent/CN111582009A/zh
Application granted granted Critical
Publication of CN111582009B publication Critical patent/CN111582009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了一种训练分类模型的装置和方法及利用分类模型分类的装置。训练分类模型的装置包括：特征提取单元，被配置成针对第一预定数量的训练集中的每个训练集分别设置特征提取层，并且提取样本图像的特征，至少两个训练集至少部分重叠；特征融合单元，被配置成针对训练集分别设置特征融合层，并且对样本图像的所提取出的特征进行融合；以及损失确定单元，被配置成针对每个训练集分别设置损失确定层，并且基于样本图像的融合后的特征来计算样本图像的损失函数，并基于损失函数来训练分类模型，其中，第一预定数量的训练集共享针对每个训练集分别设置的特征融合层和特征提取层中的至少一个层。

Description

训练分类模型的装置和方法及利用分类模型分类的装置
技术领域
本公开涉及信息处理领域，具体涉及一种训练分类模型的装置和方法、以及利用分类模型进行分类的装置和方法。
背景技术
近年来，由于大规模人脸数据、车辆数据等的收集和卷积神经网络的应用，人脸识别和车牌识别等分类技术在学术界和工业界都取得了很大的进展并得到了广泛的应用。目前提高人脸识别和车牌识别等分类性能的主要思路是增加数据。然而，收集大规模的数据费事费力。就人脸数据而言，现在存在VGG2Face、Ms-Celeb-1M、MegaFace等公开的人脸数据集。每个数据集都有各自的优缺点，充分利用每个数据集的优点可以有效地提升分类性能。最简单的方法是直接将多个数据集放到一起，但不同数据集的数据有交叉，容易出现同一个数据在不同数据集中标注不一样的情况，简单地将多个数据集融合到一起容易使训练的分类模型不收敛或者性能更差。进一步地，当应用场景出现姿态变化大、分辨率低、质量差等问题时，分类性能会明显降低。
发明内容
在下文中给出了关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。
鉴于以上问题，本公开的目的是提供能够解决现有技术中的一个或多个缺点的训练分类模型的装置和方法、以及利用分类模型进行分类的装置和方法。
根据本公开的一方面，提供了一种训练分类模型的装置，包括：特征提取单元，被配置成针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征提取层，并且被配置成对于每个样本图像，利用针对该样本图像所属的训练集而设置的特征提取层，分别提取该样本图像的特征，从而得到该样本图像的所提取出的特征，其中，所述第一预定数量的训练集中的至少两个训练集至少部分重叠；特征融合单元，被配置成针对所述第一预定数量的训练集分别设置相应数量的特征融合层，并且被配置成对于每个样本图像，利用针对该样本图像所属的训练集而设置的特征融合层，对该样本图像的所提取出的特征进行融合，从而得到该样本图像的融合后的特征；以及损失确定单元，被配置成针对所述第一预定数量的训练集中的每个训练集分别设置损失确定层，并且被配置成对于每个样本图像，利用针对该样本图像所属的训练集而设置的损失确定层，基于该样本图像的融合后的特征来计算该样本图像的损失函数，并基于所述损失函数来训练所述分类模型，其中，所述第一预定数量的训练集共享针对每个训练集分别设置的特征融合层和特征提取层中的至少一个层。
根据本公开的另一方面，提供了一种训练分类模型的方法，包括：特征提取步骤，针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征提取层，并且对于每个样本图像，利用针对该样本图像所属的训练集而设置的特征提取层，分别提取该样本图像的特征，从而得到该样本图像的所提取出的特征，其中，所述第一预定数量的训练集中的至少两个训练集至少部分重叠；特征融合步骤，针对所述第一预定数量的训练集分别设置相应数量的特征融合层，并且对于每个样本图像，利用针对该样本图像所属的训练集而设置的特征融合层，对该样本图像的所提取出的特征进行融合，从而得到每个样本图像的融合后的特征；以及损失确定步骤，针对所述第一预定数量的训练集中的每个训练集分别设置损失确定层，并且对于每个样本图像，利用针对该样本图像所属的训练集而设置的损失确定层，基于该样本图像的融合后的特征来计算该样本图像的损失函数，并基于所述损失函数来训练所述分类模型，其中，所述第一预定数量的训练集共享针对每个训练集分别设置的特征提取层和特征融合层中的至少一个层。
根据本公开的另一方面，提供了一种利用分类模型进行分类的装置，包括：第二特征提取单元，被配置成利用所述分类模型中针对第一预定数量的训练集中的每个训练集分别设置的相应数量的特征提取层，分别提取待分类图像的特征，从而得到所述待分类图像的所提取出的特征；第二特征融合单元，被配置成利用所述分类模型中针对所述第一预定数量的训练集中的每个训练集分别设置的相应数量的特征融合层，对所述待分类图像的所提取出的特征进行融合，从而得到所述待分类图像的融合后的特征；以及第二损失确定单元，被配置成利用所述分类模型中针对所述第一预定数量的训练集分别设置的损失确定层，基于所述待分类图像的融合后的特征来计算所述待分类图像的损失函数，并基于所述损失函数来对所述待分类图像进行分类，其中，在所述分类模型中，所述第一预定数量的训练集共享针对每个训练集分别设置的特征融合层和特征提取层中的至少一个层。
根据本公开的其它方面，还提供了用于实现上述根据本公开的方法的计算机程序代码和计算机程序产品。
在下面的说明书部分中给出本公开实施例的其它方面，其中，详细说明用于充分地公开本公开实施例的优选实施例，而不对其施加限定。
附图说明
本公开可以通过参考下文中结合附图所给出的详细描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分，用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：
图1是示出根据本公开实施例的训练分类模型的装置的功能配置示例的框图；
图2是示意性示出根据本公开实施例的训练分类模型的装置的一个结构配置示例的图；
图3是示意性示出根据本公开实施例的训练分类模型的装置的另一结构配置示例的图；
图4是示出根据本公开实施例的训练分类模型的方法的流程示例的流程图；
图5是示出根据本公开实施例的利用预先训练的分类模型进行分类的装置的功能配置示例的框图；
图6是示出根据本公开实施例的利用预先训练的分类模型进行分类的方法的流程示例的流程图；以及
图7是示出作为本公开实施例中可采用的个人计算机的示例结构的框图。
具体实施方式
在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与***及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或处理步骤，而省略了与本公开关系不大的其它细节。
下面结合附图详细说明根据本公开的实施例。
首先，将参照图1描述根据本公开实施例的训练分类模型的装置100的功能框图。图1是示出根据本公开实施例的训练分类模型的装置100的功能配置示例的框图。如图1所示，根据本公开实施例的训练分类模型的装置100包括特征提取单元102、特征融合单元104以及损失确定单元106。
特征提取单元102可以被配置成针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征提取层，并且被配置成对于每个样本图像，利用针对该样本图像所属的训练集而设置的特征提取层，分别提取该样本图像的特征，从而得到该样本图像的所提取出的特征，其中，第一预定数量的训练集中的至少两个训练集至少部分重叠。
针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征提取层意味着：针对第一预定数量的训练集中的每个训练集分别设置的特征提取层的数量可以各不相同。
假设第一预定数量为N，那么，第一预定数量的训练集可以是训练集1、…、训练集N。第一预定数量的训练集中的至少两个训练集至少部分重叠意味着N个训练集中的至少两个训练集之间存在相同的样本图像，即N个训练集中的至少两个训练集之间存在交叉数据。
作为示例，特征提取层可以是卷积神经网络的卷积层。本领域技术人员可以理解，特征提取层还可以是其他结构，这里不再累述。
特征融合单元104可以被配置成针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征融合层，并且被配置成对于每个样本图像，利用针对该样本图像所属的训练集而设置的特征融合层，对该样本图像的所提取出的特征进行融合，从而得到该样本图像的融合后的特征。
针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征融合层意味着：针对第一预定数量的训练集中的每个训练集分别设置的特征融合层的数量可以各不相同。
作为示例，特征融合层可以是卷积神经网络的全连接层。本领域技术人员可以理解，特征融合层还可以是其他结构，这里不再累述。
损失确定单元106可以被配置成针对第一预定数量的训练集中的每个训练集分别设置损失确定层，并且被配置成对于每个样本图像，利用针对该样本图像所属的训练集而设置的损失确定层，基于该样本图像的融合后的特征来计算该样本图像的损失函数，并基于损失函数来训练分类模型。
需要强调的是，在损失确定单元106中，在利用样本图像训练分类模型时，要利用针对样本图像所属的训练集而设置的损失确定层来计算该样本图像的损失函数，这样可以保证该样本图像被正确地分类。另外，在损失确定单元106中，利用损失确定层计算的损失函数的损失值进行误差反传来训练分类模型。作为示例，损失函数可以是softmax损失函数。另外，本领域技术人员还可以想到损失函数的其他示例，这里不再累述。
在根据本公开实施例的训练分类模型的装置100中，第一预定数量的训练集共享针对每个训练集分别设置的相应数量的特征融合层和的特征提取层中的至少一个层。在对第一预定数量的训练集进行组合从而形成更大的训练集时，第一预定数量的训练集通过共享针对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层，使得不同训练集之间的交叉数据能够被正确分类。以包括人脸数据的训练集为例，通过使第一预定数量的训练集共享针对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层，使得存在于不同训练集中的同一个人脸被正确分类。
图2是示意性示出根据本公开实施例的训练分类模型的装置100的一个结构配置示例的图。
如图2所示，存在第一预定数量为N的训练集，即，存在训练集1、…、训练集N。为了简单，图2示出了N个训练集共享的特征提取层，以及图2还示意性地示出了N个训练集共享特征融合层a。此外，图2示意性地示出了分别与N个训练集对应的损失确定层，即损失确定层1、…、损失确定层N。
以包括人脸数据的训练集为例，如果多种训练集之间有很多相同的人脸数据(即训练集中存在交叉数据)，如现有技术中那样简单地将多个训练集当做一个训练集，会出现存在于不同训练集中的同一个人脸被当做不同标签数据、进而导致训练模型很难收敛或者模型性能下降的情形。
通过以上描述可知，在根据本公开实施例的训练分类模型的装置100中，通过使不同的训练集共享针对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层，可以使得不同训练集之间的交叉数据能够被正确分类。即，在根据本公开实施例的训练分类模型的装置100中，可以组合多种训练集进行同时训练，并且使得不同训练集之间的交叉数据被正确分类。
优选地，在根据本公开实施例的训练分类模型的装置100中，针对每个训练集分别设置的特征融合层包括多个特征融合层，以及第一预定数量的训练集不共享针对每个训练集分别设置的多个特征融合层中的至少一个层。这意味着针对每个训练集而设置的特征融合层中的至少一个特征融合层是不被第一预定数量的训练集所共享的，从不被共享的特征融合层输出的特征被输出至针对每个训练集分别设置的与该训练集对应的损失确定层。图2示意性地示出了N个训练集不共享针对训练集1设置的特征融合层b1至针对训练集N设置的特征融合层bN。从不被共享的特征融合层b1至特征融合层bN输出的特征被分别输出至损失确定层1至损失确定层N。
优选地，根据本公开实施例的训练分类模型的装置100还包括获得局部区域单元，获得局部区域单元被配置成针对每个样本图像，获得该样本图像的第二预定数量的局部区域，其中，每个局部区域是样本图像的全局区域中的一部分，其中，特征提取单元102可以被配置成针对全局区域和每个预定局部区域分别设置相应数量的特征提取层，用以分别提取全局区域的全局特征和每个预定局部区域的局部特征，以及第一预定数量的训练集共享针对每个训练集中的样本图像的全局区域设置的特征提取层中的至少一个层。
针对全局区域和每个预定局部区域分别设置相应数量的特征提取层意味着：对于全局区域和每个预定局部区域分别设置的特征提取层的数量可以各不相同。
优选地，第一预定数量的训练集还共享针对每个训练集中的样本图像的预定局部区域中的至少一个预定局部区域设置的特征提取层中的至少一个层。
本领域技术人员应该理解，可以对有关获得局部区域单元的特征和上述有关多个特征融合层的特征进行组合，这样的组合落入本公开的范围内。
作为示例，全局区域是样本图像的整个区域，而局部区域是样本图像的整个区域中的一部分区域。
以样本图像为人脸图像为例，获得局部区域单元可以根据人脸5个关键点信息(两个眼睛、鼻子以及两个嘴角的信息)将人脸分成第二预定数量的人脸图像块，从而获得每个样本图像的局部区域例如包括眼睛的区域、包括鼻子的区域、包括嘴部的区域等。样本图像可以是人脸，也可以是车牌等。在获得局部区域单元中，还可以对除了人脸图像之外的图像(例如，车牌图像)进行上述类似处理。
具体地，特征提取单元102利用针对全局区域设置的特征提取层来提取全局区域的全局特征，并且利用针对每个预定局部区域分别设置的特征提取层来分别提取每个预定局部区域的局部特征。通过使第一预定数量的训练集共享针对每个训练集中的样本图像的全局区域设置的特征提取层中的至少一个特征提取层，可以使得不同训练集之间的交叉数据能够被正确分类。此外，通过使第一预定数量的训练集进一步共享针对每个训练集中的样本图像的预定局部区域中的至少一个预定局部区域设置的特征提取层中的至少一个特征提取层，可以使得不同训练集之间的交叉数据被正确分类的精度进一步提高。
图3是示意性示出根据本公开实施例的训练分类模型的装置100的另一结构配置示例的图。
如图3所示，存在训练集1、…、训练集N。作为样本图像的示例，图3示出了来自训练集1的男士面部图像和来自训练集N的女士面部图像。作为示例，可以通过以下方式来选取样本图像：从不同训练集中随机选取批量的面部图像，其中批量的面部图像中包括的每个训练集的图像的个数由训练集的大小决定，比如训练集1和训练集N中样本图像的数据量比例为1：P，那么批量的面部图像中训练集1和训练集N的图像个数的比例为1：P。
如图3所示，从每个样本图像得到包括眼睛的局部区域以及包括鼻子和嘴部的局部区域等。并且，为全局区域和每个预定局部区域分别设置相应数量的特征提取层。
为了简化，说明但非限定，在图3中示出了N个训练集共享针对每个训练集中的样本图像的全局区域和每个预定局部区域分别设置的特征提取层。作为示例，如图3中的箭头1和箭头2所示，训练集1和训练集N中的全局区域共享针对全局区域设置的特征提取层，如图3中的箭头3和箭头4所示，训练集1和训练集N中的样本图像的包括眼睛的局部区域共享针对该局部区域设置的特征提取层，以及如图3中的箭头5和箭头6所示，训练集1和训练集N中的样本图像的包括鼻子和嘴部的局部区域共享针对该局部区域设置的特征提取层。
优选地，在特征提取单元102中，全局区域和第二预定数量的预定局部区域共享针对全局区域和每个预定局部区域分别设置的特征提取层中的至少一个层，以在所共享的所述至少一个层中将全局特征和每个局部特征进行结合，从而得到每个样本图像的结合后的特征。作为示例，在所共享的所述至少一个层将全局特征和每个局部特征进行结合，使得每个局部区域的局部特征作为对全局特征的补充。
在现有技术中，利用人脸的多个图像块(即，上述局部区域)进行分类的分类模型为每一个图像块训练一个分类模型，M个图像块需要训练M个分类模型，计算量较大从而影响***的实时性。另外，当应用场景出现姿态变化大、分辨率低、质量差(例如因为灯光太暗等原因)等问题时，分类性能会明显降低。
在根据本公开实施例的训练分类模型的装置100中，在全局区域和第二预定数量的预定局部区域所共享的至少一个特征提取层将全局特征和每个局部特征进行结合，每个样本图像的由全局特征和每个局部特征结合后的特征能准确地表征样本图像的特征，从而有助于对样本图像进行准确的分类，会得到更鲁棒的分类模型，即使在应用场景出现姿态变化大、分辨率低、质量差等问题时，也能得到较好的分类性能。此外，可以提高训练的速度。
如图3所示，样本图像的全局区域、包括眼睛的局部区域以及包括鼻子和嘴部的局部区域等共享针对全局区域和每个预定局部区域分别设置的特征提取层中的特征提取层a和b。此外，样本图像的全局区域、包括眼睛的局部区域以及包括鼻子和嘴部的局部区域等也可以共享针对全局区域和每个预定局部区域分别设置的特征提取层中的特征提取层a和b之一
优选地，损失确定单元106被配置成对于每个样本图像，利用针对该样本图像所属的训练集而设置的损失确定层，基于该样本图像的结合后的特征来计算该样本图像的损失函数，并基于损失函数来训练分类模型。如上所述，样本图像的结合后的特征既包括全局特征又包括局部特征，因此能准确地表征样本图像的特征。可以利用特征融合层对样本图像的结合后的特征进行融合，以得到该样本图像的融合后的特征，并且基于该样本图像的融合后的特征来计算该样本图像的损失函数。
图3示意性地示出了分别与N个训练集对应的损失确定层，即损失确定层1、…、损失确定层N。如上所述，在利用样本图像训练分类模型时，通过利用针对样本图像所属的训练集而设置的损失确定层来计算该样本图像的损失函数，可以保证该样本图像被正确地分类。
优选地，第二预定数量的局部区域具有关于全局区域的互补信息。这样会使得局部区域的局部特征更全面地对全局特征进行补充，每个样本图像的由全局特征和每个局部特征结合后的特征能更准确地表征样本图像的特征，从而有助于对样本图像进行更准确的分类。
与上述训练分类模型的装置实施例相对应地，本公开还提供了以下训练分类模型的方法的实施例。
图4是示出根据本公开实施例的训练分类模型的方法400的流程示例的流程图。
如图4所示，根据本公开实施例的训练分类模型的方法400包括特征提取步骤S402、特征融合步骤S404以及损失确定步骤S406。
在特征提取步骤S402中，针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征提取层，并且对于每个样本图像，利用针对该样本图像所属的训练集而设置的特征提取层，分别提取该样本图像的特征，从而得到该样本图像的所提取出的特征，其中，第一预定数量的训练集中的至少两个训练集至少部分重叠。
作为示例，特征提取层可以是卷积神经网络的卷积层。本领域技术人员可以理解，特征提取层还可以是其他结构，这里不再累述。
在特征融合步骤S404中，针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征融合层，并且对于每个样本图像，利用针对该样本图像所属的训练集而设置的特征融合层，对该样本图像的所提取出的特征进行融合，从而得到该样本图像的融合后的特征。
作为示例，特征融合层可以是卷积神经网络的全连接层。本领域技术人员可以理解，特征融合层还可以是其他结构，这里不再累述。
在损失确定步骤S406中，针对第一预定数量的训练集中的每个训练集分别设置损失确定层，并且对于每个样本图像，利用针对该样本图像所属的训练集而设置的损失确定层，基于该样本图像的融合后的特征来计算该样本图像的损失函数，并基于损失函数来训练分类模型。
在根据本公开实施例的训练分类模型的方法400中，第一预定数量的训练集共享针对每个训练集分别设置的相应数量的特征融合层和的特征提取层中的至少一个层。在对第一预定数量的训练集进行组合从而形成更大的训练集时，第一预定数量的训练集通过共享针对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层，使得不同训练集之间的交叉数据能够被正确分类。以包括人脸数据的训练集为例，通过使第一预定数量的训练集共享针对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层，使得存在于不同训练集中的同一个人脸被正确分类。
以包括人脸数据的训练集为例，如果多种训练集之间有很多相同的人脸数据(即训练集中存在交叉数据)，如现有技术中那样简单地将多个训练集当做一个训练集，会出现存在于不同训练集中的同一个人脸被当做不同标签数据、进而导致训练模型很难收敛或者模型性能下降。
通过以上描述可知，在根据本公开实施例的训练分类模型的方法400中，通过使不同的训练集共享针对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层，可以使得不同训练集之间的交叉数据能够被正确分类。即，在根据本公开实施例的训练分类模型的方法400中，可以组合多种训练集进行同时训练，并且使得不同训练集之间的交叉数据被正确分类。
优选地，在根据本公开实施例的训练分类模型的方法400中，针对每个训练集分别设置的特征融合层包括多个特征融合层，以及第一预定数量的训练集不共享针对每个训练集分别设置的多个特征融合层中的至少一个层。这意味着针对每个训练集而设置的特征融合层中的至少一个特征融合层是不被第一预定数量的训练集所共享的，从不被共享的特征融合层输出的特征被输出至针对每个训练集分别设置的与该训练集对应的损失确定层。
优选地，根据本公开实施例的训练分类模型的方法400还包括获得局部区域步骤，在获得局部区域步骤中，针对每个样本图像，获得该样本图像的第二预定数量的局部区域，其中，每个局部区域是样本图像的全局区域中的一部分，其中，在特征提取步骤S402中，针对全局区域和每个预定局部区域分别设置相应数量的特征提取层，用以分别提取全局区域的全局特征和每个预定局部区域的局部特征，以及第一预定数量的训练集共享针对每个训练集中的样本图像的全局区域设置的特征提取层中的至少一个层。
优选地，第一预定数量的训练集还共享针对每个训练集中的样本图像的预定局部区域中的至少一个预定局部区域设置的特征提取层中的至少一个层。
本领域技术人员应该理解，可以对有关获得局部区域步骤的特征和上述有关多个特征融合层的特征进行组合，这样的组合落入本公开的范围内。
作为示例，全局区域是样本图像的整个区域，而局部区域是样本图像的整个区域中的一部分区域。
具体地，在特征提取步骤S402中，利用针对全局区域设置的特征提取层来提取全局区域的全局特征，并且利用针对每个预定局部区域分别设置的特征提取层来分别提取每个预定局部区域的局部特征。通过使第一预定数量的训练集共享针对每个训练集中的样本图像的全局区域设置的特征提取层中的至少一个特征提取层，可以使得不同训练集之间的交叉数据能够被正确分类。此外，通过使第一预定数量的训练集进一步共享针对每个训练集中的样本图像的预定局部区域中的至少一个预定局部区域设置的特征提取层中的至少一个特征提取层，可以使得不同训练集之间的交叉数据被正确分类的精度进一步提高。
优选地，在特征提取步骤S402中，全局区域和第二预定数量的预定局部区域共享针对全局区域和每个预定局部区域分别设置的特征提取层中的至少一个层，以在所共享的所述至少一个层中将全局特征和每个局部特征进行结合，从而得到每个样本图像的结合后的特征。作为示例，在所共享的所述至少一个层将全局特征和每个局部特征进行结合，使得每个局部区域的局部特征作为对全局特征的补充。
在现有技术中，利用人脸的多个图像块(即，上述局部区域)进行分类的分类模型为每一个图像块训练一个分类模型，M个图像块需要训练M个分类模型，计算量较大从而影响***的实时性。另外，当应用场景出现姿态变化大、分辨率低、质量差(例如因为灯光太暗等原因)等问题时，分类性能会明显降低。
在根据本公开实施例的训练分类模型的方法400中，在全局区域和第二预定数量的预定局部区域所共享的至少一个特征提取层将全局特征和每个局部特征进行结合，每个样本图像的由全局特征和每个局部特征结合后的特征能准确地表征样本图像的特征，从而有助于对样本图像进行准确的分类，会得到更鲁棒的分类模型，即使在应用场景出现姿态变化大、分辨率低、质量差等问题时，也能得到较好的分类性能。此外，可以提高训练的速度。
优选地，在损失确定步骤S406中，对于每个样本图像，利用针对该样本图像所属的训练集而设置的损失确定层，基于该样本图像的结合后的特征来计算该样本图像的损失函数，并基于损失函数来训练分类模型。如上所述，样本图像的结合后的特征既包括全局特征又包括局部特征，因此能准确地表征样本图像的特征。可以利用特征融合层对样本图像的结合后的特征进行融合，以得到该样本图像的融合后的特征，并且基于该样本图像的融合后的特征来计算该样本图像的损失函数。
优选地，第二预定数量的局部区域具有关于全局区域的互补信息。这样会使得局部区域的局部特征更全面地对全局特征进行补充，每个样本图像的由全局特征和每个局部特征结合后的特征能更准确地表征样本图像的特征，从而有助于对样本图像进行更准确的分类。
本公开还提供了一种利用分类模型进行分类的装置。图5是示出根据本公开实施例的利用预先训练的分类模型进行分类的装置500的功能配置示例的框图。如图5所示，根据本公开实施例的利用预先训练的分类模型进行分类的装置500包括第二特征提取单元502、第二特征融合单元504以及第二损失确定单元506。所述预先训练的分类模型可以是利用根据本公开上述的实施例的训练分类模型的装置100或者根据本公开上述的实施例的训练分类模型的方法400训练得到的分类模型。另外，所述预先训练的分类模型以上面结合图1-4训练的分类模型为例，但不限于此。
第二特征提取单元502可以被配置成利用分类模型中针对第一预定数量的训练集中的每个训练集分别设置的相应数量的特征提取层，分别提取待分类图像的特征，从而得到待分类图像的所提取出的特征。
作为示例，特征提取层可以是卷积神经网络的卷积层。本领域技术人员可以理解，特征提取层还可以是其他结构，这里不再累述
第二特征融合单元504可以被配置成利用分类模型中针对第一预定数量的训练集中的每个训练集分别设置的特征融合层，对待分类图像的所提取出的特征进行融合，从而得到待分类图像的融合后的特征。
作为示例，特征融合层可以是卷积神经网络的全连接层。本领域技术人员可以理解，特征融合层还可以是其他结构，这里不再累述。
第二损失确定单元506可以被配置成利用分类模型中针对第一预定数量的训练集分别设置的损失确定层，基于待分类图像的融合后的特征来计算待分类图像的损失函数，并基于损失函数来对待分类图像进行分类。作为示例，第二损失确定单元506可以从针对第一预定数量的训练集分别设置的损失确定层计算得到的损失函数中选择最小的损失函数，将与该最小的损失函数对应的类别作为待分类图像所属的类别。
其中，在分类模型中，第一预定数量的训练集共享针对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层。由此，使得不同训练集之间的交叉数据能够被正确分类。
通过以上描述可知，因为在预先训练的分类模型中通过使不同的训练集共享针对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层，可以使得不同训练集之间的交叉数据能够被正确分类，因此在根据本公开实施例的利用预先训练的分类模型进行分类的装置500中，能对待分类图像正确地分类。
优选地，根据本公开实施例的利用预先训练的分类模型进行分类的装置500还包括第二获得局部区域单元，第二获得局部区域单元被配置成获得待分类图像的第二预定数量的局部区域，其中，每个局部区域是待分类图像的全局区域中的一部分，第二特征提取单元502进一步被配置成利用分类模型中的针对全局区域和每个局部区域而设置的相应数量的特征提取层来分别提取全局区域的全局特征和每个预定局部区域的局部特征，其中，在分类模型中，全局区域和第二预定数量的预定局部区域共享针对全局区域和每个预定局部区域分别设置的特征提取层中的至少一个层，以在所共享的所述至少一个层中将全局特征和每个局部特征进行结合，从而得到所分类图像的结合后的特征，以及第二损失确定单元506进一步被配置成利用分类模型中针对第一预定数量的训练集分别设置的损失确定层，基于待分类图像的结合后的特征来计算待分类图像的损失函数，并基于损失函数来对待分类图像进行分类。
与上述利用分类模型进行分类的装置实施例相对应地，本公开还提供了以下利用分类模型进行分类的方法的实施例。
图6是示出根据本公开实施例的利用预先训练的分类模型进行分类的方法600的流程示例的流程图。
如图6所示，根据本公开实施例的利用预先训练的分类模型进行分类的方法600包括第二特征提取步骤S602、第二特征融合步骤S604以及第二损失确定步骤S606。所述预先训练的分类模型可以是利用根据本公开上述实施例的训练分类模型的装置100或者根据本公开上述实施例的训练分类模型的方法400训练得到的分类模型。另外，所述预先训练的分类模型以上面结合图1-4训练的分类模型为例，但不限于此。
在第二特征提取步骤S602中，利用分类模型中针对第一预定数量的训练集中的每个训练集分别设置的的相应数量的特征提取层，分别提取待分类图像的特征，从而得到待分类图像的所提取出的特征。
作为示例，特征提取层可以是卷积神经网络的卷积层。本领域技术人员可以理解，特征提取层还可以是其他结构，这里不再累述
在第二特征融合步骤S604中，利用分类模型中针对第一预定数量的训练集中的每个训练集分别设置的特征融合层，对待分类图像的所提取出的特征进行融合，从而得到待分类图像的融合后的特征。
作为示例，特征融合层可以是卷积神经网络的全连接层。本领域技术人员可以理解，特征融合层还可以是其他结构，这里不再累述。
在第二损失确定步骤S606中，利用分类模型中针对第一预定数量的训练集分别设置的损失确定层，基于待分类图像的融合后的特征来计算待分类图像的损失函数，并基于损失函数来对待分类图像进行分类。作为示例，在第二损失确定步骤S606中，可以从针对第一预定数量的训练集分别设置的损失确定层计算得到的损失函数中选择最小的损失函数，将与该最小的损失函数对应的类别作为待分类图像所属的类别。
其中，在分类模型中，第一预定数量的训练集共享针对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层。在分类模型中，第一预定数量的训练集通过共享针对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层，使得不同训练集之间的交叉数据能够被正确分类。
通过以上描述可知，因为在预先训练的分类模型中通过使不同的训练集共享针对每个训练集分别设置的特征融合层和的特征提取层中的至少一个层，可以使得不同训练集之间的交叉数据能够被正确分类，因此在根据本公开实施例的利用预先训练的分类模型进行分类的方法600中，能对待分类图像正确地分类。
优选地，根据本公开实施例的利用预先训练的分类模型进行分类的方法600还包括第二获得局部区域步骤，在第二获得局部区域步骤中，获得待分类图像的第二预定数量的局部区域，其中，每个局部区域是待分类图像的全局区域中的一部分；在第二特征提取步骤S602中，进一步利用分类模型中的针对全局区域和每个局部区域而设置的相应数量的特征提取层来分别提取全局区域的全局特征和每个预定局部区域的局部特征，其中，在分类模型中，全局区域和第二预定数量的预定局部区域共享针对全局区域和每个预定局部区域分别设置的特征提取层中的至少一个层，以在所共享的所述至少一个层中将全局特征和每个局部特征进行结合，从而得到所分类图像的结合后的特征，以及在第二损失确定步骤S606中，进一步利用分类模型中针对第一预定数量的训练集分别设置的损失确定层，基于待分类图像的结合后的特征来计算待分类图像的损失函数，并基于损失函数来对待分类图像进行分类。
应指出，尽管以上描述了根据本公开实施例的训练分类模型的装置和方法、以及利用分类模型进行分类的装置和方法的功能配置以及操作，但是这仅是示例而非限制，并且本领域技术人员可根据本公开的原理对以上实施例进行修改，例如可对各个实施例中的功能模块和操作进行添加、删除或者组合等，并且这样的修改均落入本公开的范围内。
此外，还应指出，这里的方法实施例是与上述装置实施例相对应的，因此在方法实施例中未详细描述的内容可参见装置实施例中相应部分的描述，在此不再重复描述。
此外，本公开还提供了存储介质和程序产品。根据本公开实施例的存储介质和程序产品中的机器可执行的指令可以被配置成执行上述图像处理方法，因此在此未详细描述的内容可参考先前相应部分的描述，在此不再重复进行描述。
相应地，用于承载上述包括机器可执行的指令的程序产品的存储介质也包括在本发明的公开中。该存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
相应地，用于承载上述包括机器可执行的指令的程序产品的存储介质也包括在本发明的公开中。该存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
另外，还应该指出的是，上述系列处理和装置也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图7所示的通用个人计算机700安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。
在图7中，中央处理单元(CPU)701根据只读存储器(ROM)702中存储的程序或从存储部分708加载到随机存取存储器(RAM)703的程序执行各种处理。在RAM 703中，也根据需要存储当CPU 701执行各种处理等时所需的数据。
CPU 701、ROM 702和RAM 703经由总线704彼此连接。输入/输出接口705也连接到总线704。
下述部件连接到输入/输出接口705：输入部分706，包括键盘、鼠标等；输出部分707，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等；存储部分708，包括硬盘等；和通信部分709，包括网络接口卡比如LAN卡、调制解调器等。通信部分709经由网络比如因特网执行通信处理。
根据需要，驱动器710也连接到输入/输出接口705。可拆卸介质711比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器710上，使得从中读出的计算机程序根据需要被安装到存储部分708中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质711安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图7所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质711。可拆卸介质711的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 702、存储部分708中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
以上参照附图描述了本公开的优选实施例，但是本公开当然不限于以上示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修改，并且应理解这些变更和修改自然将落入本公开的技术范围内。
例如，在以上实施例中包括在一个单元中的多个功能可以由分开的装置来实现。替选地，在以上实施例中由多个单元实现的多个功能可分别由分开的装置来实现。另外，以上功能之一可由多个单元来实现。无需说，这样的配置包括在本公开的技术范围内。
在该说明书中，流程图中所描述的步骤不仅包括以所述顺序按时间序列执行的处理，而且包括并行地或单独地而不是必须按时间序列执行的处理。此外，甚至在按时间序列处理的步骤中，无需说，也可以适当地改变该顺序。
另外，根据本公开的技术还可以如下进行配置。
附记1.一种训练分类模型的装置，包括：
特征提取单元，被配置成针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征提取层，并且被配置成对于每个样本图像，利用针对该样本图像所属的训练集而设置的所述特征提取层，分别提取该样本图像的特征，从而得到该样本图像的所提取出的特征，其中，所述第一预定数量的训练集中的至少两个训练集至少部分重叠；
特征融合单元，被配置成针对所述第一预定数量的训练集中的每个训练集分别设置相应数量的特征融合层，并且被配置成对于每个样本图像，利用针对该样本图像所属的训练集而设置的特征融合层，对该样本图像的所提取出的特征进行融合，从而得到该样本图像的融合后的特征；以及
损失确定单元，被配置成针对所述第一预定数量的训练集中的每个训练集分别设置损失确定层，并且被配置成对于每个样本图像，利用针对该样本图像所属的训练集而设置的损失确定层，基于该样本图像的融合后的特征来计算该样本图像的损失函数，并基于所述损失函数来训练所述分类模型，
其中，所述第一预定数量的训练集共享针对每个训练集分别设置的特征融合层和特征提取层中的至少一个层。
附记2.根据附记1所述的训练分类模型的装置，其中，
针对每个训练集分别设置的特征融合层包括多个特征融合层，以及所述第一预定数量的训练集不共享针对每个训练集分别设置的所述多个特征融合层中的至少一个层。
附记3.根据附记1所述的训练分类模型的装置，还包括获得局部区域单元，被配置成针对每个样本图像，获得该样本图像的第二预定数量的局部区域，其中，每个局部区域是所述样本图像的全局区域中的一部分，
其中，所述特征提取单元被配置成针对所述全局区域和每个预定局部区域分别设置的相应数量的特征提取层，用以分别提取所述全局区域的全局特征和每个预定局部区域的局部特征，以及
所述第一预定数量的训练集共享针对每个训练集中的样本图像的所述全局区域设置的特征提取层中的至少一个层。
附记4.根据附记3所述的训练分类模型的装置，其中，所述第一预定数量的训练集还共享针对每个训练集中的样本图像的预定局部区域中的至少一个预定局部区域设置的特征提取层中的至少一个层。
附记5.根据附记3所述的训练分类模型的装置，其中，
在所述特征提取单元中，所述全局区域和所述第二预定数量的预定局部区域共享针对所述全局区域和每个预定局部区域分别设置的特征提取层中的至少一个层，以在所共享的所述至少一个层中将所述全局特征和每个局部特征进行结合，从而得到每个样本图像的结合后的特征。
附记6.根据附记5所述的训练分类模型的装置，其中，所述损失确定单元被配置成对于每个样本图像，利用针对该样本图像所属的训练集而设置的损失确定层，基于该样本图像的结合后的特征来计算该样本图像的所述损失函数，并基于所述损失函数来训练所述分类模型。
附记7.根据附记3所述的训练分类模型的装置，其中，所述第二预定数量的局部区域具有关于所述全局区域的互补信息。
附记8.根据附记1所述的训练分类模型的装置，其中，所述特征提取层是卷积神经网络的卷积层，以及所述特征融合层是所述卷积神经网络的全连接层。
附记9.一种训练分类模型的方法，包括：
特征提取步骤，针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征提取层，并且对于每个样本图像，利用针对该样本图像所属的训练集而设置的特征提取层，分别提取该样本图像的特征，从而得到该样本图像的所提取出的特征，其中，所述第一预定数量的训练集中的至少两个训练集至少部分重叠；
特征融合步骤，针对所述第一预定数量的训练集中的每个训练集分别设置相应数量的特征融合层，并且对于每个样本图像，利用针对该样本图像所属的训练集而设置的特征融合层，对该样本图像的所提取出的特征进行融合，从而得到每个样本图像的融合后的特征；以及
损失确定步骤，针对所述第一预定数量的训练集中的每个训练集分别设置损失确定层，并且对于每个样本图像，利用针对该样本图像所属的训练集而设置的损失确定层，基于该样本图像的融合后的特征来计算该样本图像的损失函数，并基于所述损失函数来训练所述分类模型，
其中，所述第一预定数量的训练集共享针对每个训练集分别设置的特征提取层和特征融合层中的至少一个层。
附记10.根据附记9所述的训练分类模型的方法，其中，
针对每个训练集分别设置的特征融合层包括多个特征融合层，以及所述第一预定数量的训练集不共享针对每个训练集分别设置的所述多个特征融合层中的至少一个层。
附记11.根据附记9所述的训练分类模型的方法，还包括获得局部区域步骤，在该步骤中，针对每个样本图像，获得该样本图像的第二预定数量的局部区域，其中，每个局部区域是所述样本图像的全局区域中的一部分，
其中，在所述特征提取步骤中，针对所述全局区域和每个预定局部区域分别设置的相应数量的特征提取层，用以分别提取所述全局区域的全局特征和每个预定局部区域的局部特征，以及
所述第一预定数量的训练集共享针对每个训练集中的样本图像的所述全局区域设置的特征提取层中的至少一个层。
附记12.根据附记11所述的训练分类模型的方法，其中，所述第一预定数量的训练集还共享针对每个训练集中的样本图像的预定局部区域中的至少一个预定局部区域设置的特征提取层中的至少一个层。
附记13.根据附记11所述的训练分类模型的方法，其中，
在所述特征提取步骤中，所述全局区域和所述第二预定数量的预定局部区域共享针对所述全局区域和每个预定局部区域分别设置的特征提取层中的至少一个层，以在所共享的所述至少一个层中将所述全局特征和每个局部特征进行结合，从而得到每个样本图像的结合后的特征。
附记14.根据附记13所述的训练分类模型的方法，其中，在所述损失确定步骤中，对于每个样本图像，利用针对该样本图像所属的训练集而设置的损失确定层，基于该样本图像的结合后的特征来计算该样本图像的所述损失函数，并基于所述损失函数来训练所述分类模型。
附记15.根据附记11所述的训练分类模型的方法，其中，所述第二预定数量的局部区域具有关于所述全局区域的互补信息。
附记16.根据附记9所述的训练分类模型的方法，其中，所述特征提取层是卷积神经网络的卷积层，以及所述特征融合层是所述卷积神经网络的全连接层。
附记17.一种利用分类模型进行分类的装置，包括：
第二特征提取单元，被配置成利用所述分类模型中针对第一预定数量的训练集中的每个训练集分别设置的相应数量的特征提取层，分别提取待分类图像的特征，从而得到所述待分类图像的所提取出的特征；
第二特征融合单元，被配置成利用所述分类模型中针对所述第一预定数量的训练集中的每个训练集分别设置的相应数量的特征融合层，对所述待分类图像的所提取出的特征进行融合，从而得到所述待分类图像的融合后的特征；以及
第二损失确定单元，被配置成利用所述分类模型中针对所述第一预定数量的训练集分别设置的损失确定层，基于所述待分类图像的融合后的特征来计算所述待分类图像的损失函数，并基于所述损失函数来对所述待分类图像进行分类，
其中，在所述分类模型中，所述第一预定数量的训练集共享针对每个训练集分别设置的特征融合层和特征提取层中的至少一个层。
附记18.根据附记17所述的利用分类模型进行分类的装置，还包括第二获得局部区域单元，被配置成获得所述待分类图像的第二预定数量的局部区域，其中，每个局部区域是所述待分类图像的全局区域中的一部分，
所述第二特征提取单元进一步被配置成利用所述分类模型中的针对所述全局区域和每个局部区域而设置的特征提取层来分别提取所述全局区域的全局特征和每个预定局部区域的局部特征，其中，在所述分类模型中，所述全局区域和所述第二预定数量的预定局部区域共享针对所述全局区域和每个预定局部区域分别设置的特征提取层中的至少一个层，以在所共享的所述至少一个层中将所述全局特征和每个局部特征进行结合，从而得到所述待分类图像的结合后的特征，以及
所述第二损失确定单元进一步被配置成利用所述分类模型中针对所述第一预定数量的训练集分别设置的损失确定层，基于所述待分类图像的结合后的特征来计算所述待分类图像的损失函数，并基于所述损失函数来对所述待分类图像进行分类。

Claims (10)

1.一种训练分类模型的装置，包括：
特征提取单元，被配置成针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征提取层，并且被配置成对于每个样本图像，利用针对该样本图像所属的训练集而设置的特征提取层，分别提取该样本图像的特征，从而得到该样本图像的所提取出的特征，其中，所述第一预定数量的训练集中的至少两个训练集至少部分重叠；
特征融合单元，被配置成针对所述第一预定数量的训练集中的每个训练集分别设置相应数量的特征融合层，并且被配置成对于每个样本图像，利用针对该样本图像所属的训练集而设置的特征融合层，对该样本图像的所提取出的特征进行融合，从而得到该样本图像的融合后的特征；以及
损失确定单元，被配置成针对所述第一预定数量的训练集中的每个训练集分别设置损失确定层，并且被配置成对于每个样本图像，利用针对该样本图像所属的训练集而设置的损失确定层，基于该样本图像的融合后的特征来计算该样本图像的损失函数，并基于所述损失函数来训练所述分类模型，
其中，所述第一预定数量的训练集共享针对每个训练集分别设置的特征融合层和特征提取层中的至少一个层。
2.根据权利要求1所述的训练分类模型的装置，其中，
针对每个训练集分别设置的特征融合层包括多个特征融合层，以及所述第一预定数量的训练集不共享针对每个训练集分别设置的所述多个特征融合层中的至少一个层。
3.根据权利要求1所述的训练分类模型的装置，还包括获得局部区域单元，被配置成针对每个样本图像，获得该样本图像的第二预定数量的局部区域，其中，每个局部区域是所述样本图像的全局区域中的一部分，
其中，所述特征提取单元被配置成针对所述全局区域和每个预定局部区域分别设置相应数量的特征提取层，用以分别提取所述全局区域的全局特征和每个预定局部区域的局部特征，以及
所述第一预定数量的训练集共享针对每个训练集中的样本图像的所述全局区域设置的特征提取层中的至少一个层。
4.根据权利要求3所述的训练分类模型的装置，其中，所述第一预定数量的训练集还共享针对每个训练集中的样本图像的预定局部区域中的至少一个预定局部区域设置的特征提取层中的至少一个层。
5.根据权利要求3所述的训练分类模型的装置，其中，
在所述特征提取单元中，所述全局区域和所述第二预定数量的预定局部区域共享针对所述全局区域和每个预定局部区域分别设置的相应数量的特征提取层中的至少一个层，以在所共享的所述至少一个层中将所述全局特征和每个局部特征进行结合，从而得到每个样本图像的结合后的特征。
6.根据权利要求5所述的训练分类模型的装置，其中，所述损失确定单元被配置成对于每个样本图像，利用针对该样本图像所属的训练集而设置的损失确定层，基于该样本图像的结合后的特征来计算该样本图像的所述损失函数，并基于所述损失函数来训练所述分类模型。
7.根据权利要求3所述的训练分类模型的装置，其中，所述第二预定数量的局部区域具有关于所述全局区域的互补信息。
8.一种训练分类模型的方法，包括：
特征提取步骤，针对第一预定数量的训练集中的每个训练集分别设置相应数量的特征提取层，并且对于每个样本图像，利用针对该样本图像所属的训练集而设置的特征提取层，分别提取该样本图像的特征，从而得到该样本图像的所提取出的特征，其中，所述第一预定数量的训练集中的至少两个训练集至少部分重叠；
特征融合步骤，针对所述第一预定数量的训练集中的每个训练集分别设置相应数量的特征融合层，并且对于每个样本图像，利用针对该样本图像所属的训练集而设置的特征融合层，对该样本图像的所提取出的特征进行融合，从而得到每个样本图像的融合后的特征；以及
损失确定步骤，针对所述第一预定数量的训练集中的每个训练集分别设置损失确定层，并且对于每个样本图像，利用针对该样本图像所属的训练集而设置的损失确定层，基于该样本图像的融合后的特征来计算该样本图像的损失函数，并基于所述损失函数来训练所述分类模型，
其中，所述第一预定数量的训练集共享针对每个训练集分别设置的特征融合层和特征提取层中的至少一个层。
9.根据权利要求8所述的训练分类模型的方法，其中，
针对每个训练集分别设置的特征融合层包括多个特征融合层，以及
所述第一预定数量的训练集不共享针对每个训练集分别设置的所述多个特征融合层中的至少一个层。
10.一种利用分类模型进行分类的装置，包括：
第二特征提取单元，被配置成利用所述分类模型中针对第一预定数量的训练集中的每个训练集分别设置的相应数量的特征提取层，分别提取待分类图像的特征，从而得到所述待分类图像的所提取出的特征；
第二特征融合单元，被配置成利用所述分类模型中针对所述第一预定数量的训练集中的每个训练集分别设置的相应数量的特征融合层，对所述待分类图像的所提取出的特征进行融合，从而得到所述待分类图像的融合后的特征；以及
第二损失确定单元，被配置成利用所述分类模型中针对所述第一预定数量的训练集分别设置的损失确定层，基于所述待分类图像的融合后的特征来计算所述待分类图像的损失函数，并基于所述损失函数来对所述待分类图像进行分类，
其中，在所述分类模型中，所述第一预定数量的训练集共享针对每个训练集分别设置的特征融合层和特征提取层中的至少一个层。
CN201910124176.0A 2019-02-19 2019-02-19 训练分类模型的装置和方法及利用分类模型分类的装置 Active CN111582009B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910124176.0A CN111582009B (zh) 2019-02-19 2019-02-19 训练分类模型的装置和方法及利用分类模型分类的装置
JP2019234844A JP7347202B2 (ja) 2019-02-19 2019-12-25 分類モデルを訓練する装置と方法及び分類モデルを用いた分類装置
US16/736,180 US11514272B2 (en) 2019-02-19 2020-01-07 Apparatus and method for training classification model and apparatus for performing classification by using classification model
EP20151409.8A EP3699819A1 (en) 2019-02-19 2020-01-13 Apparatus and method for training classification model and apparatus for performing classification by using classification model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910124176.0A CN111582009B (zh) 2019-02-19 2019-02-19 训练分类模型的装置和方法及利用分类模型分类的装置

Publications (2)

Publication Number Publication Date
CN111582009A CN111582009A (zh) 2020-08-25
CN111582009B true CN111582009B (zh) 2023-09-15

Family

ID=69159649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910124176.0A Active CN111582009B (zh) 2019-02-19 2019-02-19 训练分类模型的装置和方法及利用分类模型分类的装置

Country Status (4)

Country Link
US (1) US11514272B2 (zh)
EP (1) EP3699819A1 (zh)
JP (1) JP7347202B2 (zh)
CN (1) CN111582009B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101246A (zh) * 2020-09-18 2020-12-18 济南博观智能科技有限公司 一种车辆识别方法、装置、设备及介质
CN112116005B (zh) * 2020-09-18 2024-01-23 推想医疗科技股份有限公司 影像分类模型的训练方法及装置、存储介质和电子设备
CN112149754B (zh) * 2020-09-30 2021-06-11 罗中岩 一种信息的分类方法、装置、设备及存储介质
CN112183669B (zh) * 2020-11-04 2024-02-13 航天科工(北京)空间信息应用股份有限公司 图像分类方法和装置、设备及存储介质
CN112465031A (zh) * 2020-11-27 2021-03-09 江苏云从曦和人工智能有限公司 数据分类方法、装置以及计算机可读存储介质
CN112668586B (zh) * 2020-12-18 2024-05-14 北京百度网讯科技有限公司 模型训练、图片处理方法及设备、存储介质、程序产品
CN112686394A (zh) * 2021-01-05 2021-04-20 北京三快在线科技有限公司 一种模型训练的方法及装置
CN113723527A (zh) * 2021-09-01 2021-11-30 重庆赛迪奇智人工智能科技有限公司 分类模型训练方法、瑕疵检测方法、装置和电子设备
CN114120433B (zh) * 2021-11-30 2022-12-30 北京百度网讯科技有限公司 图像处理方法、图像处理装置、电子设备和介质
US20230196732A1 (en) * 2021-12-20 2023-06-22 Kla Corporation Machine learning using a global texture characteristic for semiconductor-based applications
CN116778211A (zh) * 2022-03-07 2023-09-19 腾讯科技（深圳）有限公司 数据处理方法、装置、电子设备和计算机可读存储介质
CN115100472B (zh) * 2022-06-20 2023-06-27 北京达佳互联信息技术有限公司 展示对象识别模型的训练方法、装置和电子设备
CN115376195B (zh) * 2022-10-09 2023-01-13 珠海大横琴科技发展有限公司 训练多尺度网络模型的方法及人脸关键点检测方法
CN116630721B (zh) * 2023-06-14 2024-02-13 电子科技大学中山学院 基于局部特征补全的图像分类方法、装置、设备及介质
CN116958954B (zh) * 2023-07-27 2024-03-22 匀熵智能科技(无锡)有限公司 基于关键点与旁路矫正的车牌识别方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171112A (zh) * 2017-12-01 2018-06-15 西安电子科技大学 基于卷积神经网络的车辆识别与跟踪方法
CN109033938A (zh) * 2018-06-01 2018-12-18 上海阅面网络科技有限公司 一种基于可区分性特征融合的人脸识别方法
CN109215027A (zh) * 2018-10-11 2019-01-15 平安科技（深圳）有限公司 一种基于神经网络的车辆定损方法、服务器及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1065705A (ja) 1996-08-15 1998-03-06 Nec Corp Ｌａｎエミュレーションのデータ転送高速化
CN106358444B (zh) * 2014-04-11 2019-07-30 北京市商汤科技开发有限公司 用于面部验证的方法和***
WO2016141282A1 (en) * 2015-03-04 2016-09-09 The Regents Of The University Of California Convolutional neural network with tree pooling and tree feature map selection
JP2018005639A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 画像分類装置、画像検査装置、及び、プログラム
WO2018081135A1 (en) * 2016-10-25 2018-05-03 Vmaxx Inc. Point to set similarity comparison and deep feature learning for visual recognition
JP6798860B2 (ja) * 2016-11-29 2020-12-09 株式会社Ｓｏｋｅｎ 境界線推定装置
US10303981B1 (en) * 2018-10-04 2019-05-28 StradVision, Inc. Learning method and testing method for R-CNN based object detector, and learning device and testing device using the same
JP7413147B2 (ja) * 2020-05-21 2024-01-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7344847B2 (ja) * 2020-06-30 2023-09-14 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171112A (zh) * 2017-12-01 2018-06-15 西安电子科技大学 基于卷积神经网络的车辆识别与跟踪方法
CN109033938A (zh) * 2018-06-01 2018-12-18 上海阅面网络科技有限公司 一种基于可区分性特征融合的人脸识别方法
CN109215027A (zh) * 2018-10-11 2019-01-15 平安科技（深圳）有限公司 一种基于神经网络的车辆定损方法、服务器及介质

Also Published As

Publication number Publication date
CN111582009A (zh) 2020-08-25
JP7347202B2 (ja) 2023-09-20
JP2020135857A (ja) 2020-08-31
EP3699819A1 (en) 2020-08-26
US20200265272A1 (en) 2020-08-20
US11514272B2 (en) 2022-11-29

Similar Documents

Publication Publication Date Title
CN111582009B (zh) 训练分类模型的装置和方法及利用分类模型分类的装置
CN111582008B (zh) 训练分类模型的装置和方法及利用分类模型分类的装置
Xie et al. Statistical karyotype analysis using CNN and geometric optimization
CN110598030B (zh) 一种基于局部cnn框架的甲骨拓片分类方法
JP2014049118A (ja) 畳み込みニューラルネットワーク分類器システム、その訓練方法、分類方法および用途
Xu et al. Lightweight semantic segmentation of complex structural damage recognition for actual bridges
CN112257665A (zh) 图像内容的识别方法、图像识别模型的训练方法及介质
CN112308148A (zh) 缺陷类别识别、孪生神经网络训练方法、装置及存储介质
Jarabese et al. Sign to speech convolutional neural network-based filipino sign language hand gesture recognition system
CN112989312B (zh) 验证码的识别方法、装置、电子设备和存储介质
CN110717916B (zh) 一种基于卷积神经网络的肺栓塞检测***
CN111553685B (zh) 确定交易路由通道的方法、装置、电子设备和存储介质
Vani et al. Soft computing approaches for character credential and word prophecy analysis with stone encryptions
Deng et al. A Saliency Detection and Gram Matrix Transform‐Based Convolutional Neural Network for Image Emotion Classification
Huang et al. Expression-targeted feature learning for effective facial expression recognition
CN115953506A (zh) 基于图像生成模型的工业零件缺陷图像生成方法及***
Wang et al. A deep learning-based method for vehicle licenseplate recognition in natural scene
Xin et al. Surface defect detection with channel-spatial attention modules and bi-directional feature pyramid
Bruch et al. Evaluation of semi-supervised learning using sparse labeling to segment cell nuclei
Atif et al. DMPNet: Distributed Multi-Scale Pyramid Network for Real-Time Semantic Segmentation
Thiyagarajan Performance Comparison of Hybrid CNN-SVM and CNN-XGBoost models in Concrete Crack Detection
CN105844296B (zh) 基于cdcp局部描述子的遥感图像场景分类方法
Tang Research on Image Processing and Recognition Algorithms in Software Information Systems Based on Deep Learning
Zhang et al. Multi-modal Learning with Missing Modality in Predicting Axillary Lymph Node Metastasis
CN116524297B (zh) 一种基于专家反馈的弱监督学习训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant