CN114118196A - 用于训练用于图像分类的模型的方法和设备 - Google Patents

用于训练用于图像分类的模型的方法和设备 Download PDF

Info

Publication number
CN114118196A
CN114118196A CN202110925655.XA CN202110925655A CN114118196A CN 114118196 A CN114118196 A CN 114118196A CN 202110925655 A CN202110925655 A CN 202110925655A CN 114118196 A CN114118196 A CN 114118196A
Authority
CN
China
Prior art keywords
new
class
classification
base
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110925655.XA
Other languages
English (en)
Inventor
穆斯塔法·艾尔可哈米
崔裕镇
李正元
王思佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114118196A publication Critical patent/CN114118196A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供了用于训练用于图像分类的模型的方法和设备。用于图像分类的模型的训练方法包括：接收基础任务的基础类的第一图像样本集；基于第一图像样本集训练模型，以从训练后的模型获得针对基础任务的基础类的基础分类权重；顺序地接收多个新任务；以及在接收到所述多个新任务中的任意一个新任务时：接收所述任意一个新任务的新类的第二图像样本集，基于基础分类权重、针对所述多个新任务中的先前接收到的一个或多个其他新任务的新类的一个或多个其他新分类权重、第一图像样本集和第二图像样本集中的一个或多个来训练权重生成器，以获得针对所述任意一个新任务的新类的新分类权重，以及利用针对所述任意一个新任务的新类的新分类权重来更新所述模型。

Description

用于训练用于图像分类的模型的方法和设备
本申请基于并要求于2020年8月27日在美国专利和商标局(USPTO)提交并被分配第63/071,067号的美国临时专利申请的优先权以及于2021年1月22日在美国专利和商标局(USPTO)提交并被分配第17/156,126号的美国非临时专利申请的优先权，所述美国临时专利申请和美国非临时专利申请的内容通过引用包含于此。
技术领域
本公开总体涉及机器学习方法，更具体地，涉及用于训练用于图像分类的模型的方法和设备。
背景技术
在机器学习领域内，可能难以累积足够的数据来提高模型的准确性。在有限数据场景中，已经采用少样本学习算法来发现数据中的模式并做出推断。该技术通常用于对照片进行归类或分类的计算机视觉领域。
在少样本学习任务(其中，N是类的数量并且K是每个类中的样本(或图像)的数量)中，提供了小的训练集D。训练集的大小为|D|＝N·K。
可利用基础训练集D0来学习用于改进的少样本学习的可转移知识。基础训练集D0包含来自大量的类的大量的标记样本。然而，基础训练集D0中的类与训练集D中的类不同。因此，传统的少样本学习利用少量的训练数据或样本而不利用基础类对模型进行训练。
片段(episode)表示一个少样本学习任务的训练和测试对。图1是示出片段化(episodic)少样本学习方法的示图。第一训练任务102、第二训练任务104和第一测试任务106各自包括具有三个类(N＝3)和每个类两个样本(图像)(K＝2)的相应的支持集108、110和112。第一训练任务102、第二训练任务104和第一测试任务106各自还包括具有三个样本(图像)的相应的查询集114、116和118。第一训练任务、第二训练任务和第一测试任务中的每个中的类不同。
基于度量的训练算法和基于梯度的训练算法二者是在片段化学习框架之上开发的。例如，可将自监督损失添加到特征提取器训练过程，以实现鲁棒的语义特征学习并改进少样本分类。此外，可添加基于Wasserstein的方法以更好地将特征的分布与考虑的类的分布对齐。然而，如上所述，传统的少样本学习没有考虑在训练中使用的基础类。
已经开发了不遗忘基础类的少样本学习以在仅针对新类提供少量标记样本时对新类进行分类，同时还保留对特征嵌入网络在其上被训练的基础类进行分类的能力。例如，特征嵌入网络和针对基础类的分类权重通过常规监督学习进行预先训练，并且之后是固定的。
图2是示出专注于生成针对新类的分类权重的不遗忘基础类的少样本学习的示图。样本或测试图像202被提供给特征提取器204，特征提取器204将样本的特征输出到分类器206。分类器206从基础类的训练数据210获得基础分类权重(或者，针对基础类的分类权重)208。少样本分类权重生成器212针对新类别的有限训练数据216生成新分类权重(或者，针对新类的分类权重)214，并将新分类权重214提供给分类器206。
更具体地，针对少样本分类权重生成器212，权重铭记方法(weight imprintingmethod)根据预先训练的特征嵌入网络计算新类的原型，并将它们用作针对新类的分类权重。此外，通过将新类原型和针对基础类的分类权重208作为输入的权重生成器，在新分类权重214的生成中利用基于注意力的机制运用基础类和新类之间的关系，学习针对新类的分类权重214的生成。
基于基础分类权重208和新分类权重214，分类器输出针对样本202的基础类和新类的概率。
此外，可通过基于梯度的优化处理使用来自新类的一些标记样本的交叉熵损失来训练新分类权重，直到它们收敛为止。由于训练新分类权重的损失仅利用新类的样本来计算，因此可出现针对基础类的遗忘问题。为了防止这种情况，应用基于注意力的正则化方法。正则化损失由注意力吸引子网络(attention attractor network)提供。注意力吸引子网络使用基础类权重生成吸引子向量，并且正则化损失基于新分类权重与吸引子向量之间的马氏距离(Mahalanobis distance)来计算。
发明内容
根据一个实施例，提供了一种用于持续少样本学习的方法。利用针对基础任务的基础类的基础分类权重来生成针对基础任务的模型。顺序地接收一系列的新任务。在接收到一系列的新任务中的每个新任务时，通过权重生成器利用针对相应新任务的新类的新分类权重来更新所述模型。新分类权重基于以下中的一个或多个来生成：基础分类权重和当先前接收到系列中的一个或多个其他新任务时的针对所述一个或多个其他新任务的新类的一个或多个其他新分类权重。此外，针对每个新任务，使用更新后的模型将相应新任务的第一样本集分类到新类中。
根据一个实施例，提供了一种UE，所述UE包括处理器和存储指令的非暂时性计算机可读存储介质。所述指令在被执行时使得处理器：利用基础任务的基础类的基础分类权重生成针对基础任务的模型，并且顺序地接收一系列的新任务。所述指令还使得处理器：在接收到一系列的新任务中的每个新任务时，利用相应新任务的新类的新分类权重来更新模型。新分类权重通过权重生成器基于以下中的一个或多个来生成：基础分类权重和当先前接收到系列中的一个或多个其他新任务时的针对所述一个或多个其他新任务的新类的一个或多个其他新分类权重。所述指令还使得所述处理器：在接收到每个新任务时，使用更新后的模型将相应新任务的第一样本集分类到新类中。
附图说明
根据结合附图时的下面的详细描述，本公开的特定实施例的以上以及其他方面、特征和优点将更清楚，其中：
图1是示出片段化少样本学习的示图；
图2是示出不遗忘基础类的少样本学习的示图；
图3是示出根据实施例的在三个阶段中的持续少样本学习的示例的示图；
图4是示出根据实施例的用于持续少样本学习的方法的流程图；以及
图5是根据实施例的网络环境中的电子装置的框图。
具体实施方式
在下文中，参照附图详细描述本公开的实施例。应注意的是，相同的元件将由相同的附图标记表示，尽管它们在不同的附图中示出。在以下描述中，诸如详细配置和组件的具体细节仅仅被提供为帮助全面理解本公开的实施例。因此，对于本领域技术人员应清楚的是，在不脱离本公开的范围的情况下，可做出对在此描述的实施例的各种改变和修改。此外，为了清楚和简明，省略了对公知的功能和构造的描述。下面描述的术语是考虑到本公开中的功能而定义的术语，并且可根据用户、用户的意图或习惯而不同。因此，术语的定义应基于贯穿本说明书的内容来确定。
本公开可具有各种修改和各种实施例，在本公开之中，下面参照附图详细描述实施例。然而，应理解的是，本公开不限于实施例，而是包括在本公开的范围内的所有修改、等同物和替代物。
尽管可使用包括诸如第一、第二等序数的术语来描述各种元件，但是结构元件不受该术语的限制。该术语仅用于将一个元件与另一元件区分开。例如，在不脱离本公开的范围的情况下，第一结构元件可被称为第二结构元件。类似地，第二结构元件也可被称为第一结构元件。如在此所使用的，术语“和/或”包括一个或多个相关项的任何组合和所有组合。
在此使用的术语仅仅用于描述本公开的各种实施例，而不旨在限制本公开。除非上下文另外清楚地指示，否则单数形式旨在包括复数形式。在本公开中，应理解的是，术语“包括”或“具有”指示存在特征、数量、步骤、操作、结构元件、部件或它们的组合，并且不排除存在一个或多个其他特征、数量、步骤、操作、结构元件、部件或它们的组合或者添加一个或多个其他特征、数量、步骤、操作、结构元件、部件或它们的组合的可能性。
除非不同地定义，否则在此使用的所有术语具有与由本公开所属领域的技术人员所理解的含义相同的含义。除非在本公开中清楚地定义，否则术语(诸如在通用词典中定义的术语)将被解释为具有与相关技术领域中的上下文含义相同的含义，并且将不被解释为具有理想的含义或过于正式的含义。
根据一个实施例的电子装置可以是各种类型的电子装置中的一种。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据公开的一个实施例，电子装置不限于上述那些。
本公开中使用的术语不旨在限制本公开，而是旨在包括对应实施例的各种改变、等同物或替换物。关于附图的描述，类似的附图标记可用于指代类似的元件或相关的元件。除非相关上下文另有清楚地指示，否则与项对应的名词的单数形式可包括一个或多个事物。如在此所使用的，诸如“A或B”、“A和B中的至少一个”、“A、B或C”和“A、B和C中的至少一个”的短语中的每个可包括短语中的对应一个中一起列举的项的所有可能组合。如在此所使用的，诸如“第1”、“第2”、“第一”和“第二”的术语可用于将对应的组件与另一组件区分开，但不旨在在其他方面(例如，重要性或顺序)限制组件。意图是，如果在具有或不具有术语“可操作地”或“通信地”的情况下，元件(例如，第一元件)被称为“与”另一元件(例如，第二元件)“结合”、“结合到”另一元件(例如，第二元件)、“与”另一元件(例如，第二元件)“连接”或“连接到”另一元件(例如，第二元件)，则指示该元件可直接(例如，有线)、无线地或经由第三元件与所述另一元件结合。
如在此所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并且可与其他术语(诸如，以“逻辑”、“逻辑块”、“部件”和“电路”为例)可互换地使用。模块可以是适于执行一个或多个功能的单个集成组件或其最小单元或部件。例如，根据一个实施例，模块可以以专用集成电路(ASIC)的形式实现。
公开的实施例提供了用于持续少样本学习(continual few-shot learning)的框架。这样的框架可在许多应用中用于在不遗忘已经学习的旧任务的情况下，逐渐学习新任务(例如，新类、新对象等)。
用于基础任务(具有基础类)的模型被预先训练。例如，可基于基础任务的基础类的第一图像样本集来训练模型。然后，用于新任务(具有新类)的模型被更新。对于新任务，如在传统的少样本学习中那样，假设仅针对每个新类提供一些样本(例如，1个样本或5个样本)。在给定基础训练集D0的情况下提供基础任务T0。给定训练集Di，i＝1、2、……的情况下，顺序地学习一系列N-方式K-样本(N-way K-shot)少样本学习任务Ti。
少样本学习任务的数量是不确定的。训练集Di来自类Ci的集合，使得Ci∩Cj＝φ，
Figure BDA0003209194100000051
针对每个任务Ti，仅用当前训练集Di(例如，任务Ti的新类的第二图像样本集)来更新模型。不能重新访问来自过去任务的数据。然而，在测试中，对所有先前的类(即，C0∪C1∪…∪Ci)评估训练后的模型。
因为当训练数据逐渐到达时，模型记住所有学习的类，所以持续少样本学习比传统的少样本学习具有更实际的用途。
下面阐述了对上述持续少样本学习步骤的更详细描述。
首先，特征提取器Fθ和一组分类权重向量
Figure BDA0003209194100000061
被预先训练。例如，假设在特征提取之后线性分类，针对输入x的推断(或测试)输出y由下面等式(1)给出：
Figure BDA0003209194100000062
在学习任务Ti之后，如下面等式(2)中所阐述地执行推断：
Figure BDA0003209194100000063
给定W0，W1，...，Wi-1的情况下，学习的所有类都是感兴趣的，并且需要针对任务Ti的新类Ci的一组分类权重向量
Figure BDA0003209194100000064
为了获得针对新类Ci的一组分类权重向量Wi，权重生成器利用少样本训练集Di和针对先前学习的类的分类权重(即，W0，W1，...，Wi-1)。具体地，其中，gφ表示权重生成器，并且使用少样本训练集Di的特征提取器输出，在下面等式(3)中阐述Wi：
Wi＝gφ(Fθ(Di)，W0，W1，...，Wi-1)
(3)
因此，在持续少样本学习中，如在不遗忘基础类的少样本学习中那样，随着逐渐学习一系列少样本任务，权重生成器使用所有先前学习的分类权重作为其输入(而不是仅使用基础类权重)，以产生针对新类的分类权重。
随着学习的少样本任务的数量增大，提供给上述权重生成器的分类权重的数量增大。因此，提供了用于训练权重生成器的两种方法。
在第一种方法中，针对随机数量的新的基础类优化权重生成器。首先，从D0构建“假的”少样本学习任务。具体地，随机选择新的基础类
Figure BDA0003209194100000065
的数量(即，
Figure BDA0003209194100000066
)。
Figure BDA0003209194100000067
可以是最小的类的数量。从基础类C0随机选择“新的”基础类
Figure BDA00032091941000000618
和“假的”新类
Figure BDA0003209194100000068
(即，
Figure BDA0003209194100000069
)。针对
Figure BDA00032091941000000610
的每个类随机选择K个样本，并将K个样本放入
Figure BDA00032091941000000611
K个样本被馈送到权重生成器。针对来自
Figure BDA00032091941000000612
和
Figure BDA00032091941000000613
的每个类随机选择一些样本，并被分别放入
Figure BDA00032091941000000614
和
Figure BDA00032091941000000615
其中，
Figure BDA00032091941000000616
是与D0对应的新的训练集，
Figure BDA00032091941000000617
是与D1对应的新的训练集。随机选择的样本用于计算交叉熵。
根据下面等式(4)执行优化：
Figure BDA0003209194100000071
其中，
Figure BDA0003209194100000072
是W0中的对应于
Figure BDA0003209194100000073
的分类权重向量，CrossEntropy可表示用于计算交叉熵的函数，softmax可用于计算柔性最大，E可用于计算期望值。
在另外的实施例中，针对随机数量的“新的”基础类训练多个权重生成器。假设基础类的数量属于固定的有限范围(例如，50至100)，则针对每个随机数量的基础类训练单独的权重生成器。对多个权重生成器的权重进行平均以得到一个融合的权重生成器。
当在基础模型之后添加的少样本学习任务的数量是任意的并且未被预先确定时，难以针对任意数量的少样本学习任务来优化权重生成器。在用于训练权重生成器的第二种方法中，限制少样本学习任务的数量(例如，三个)，并且训练权重生成器以使固定数量的少样本学习任务上的分类误差最小化。
图3是示出根据实施例的在三个阶段中的持续少样本学习的示例的示图。在第一阶段中，模型针对基础类被训练。使用基础类权重(或者，针对基础类的分类权重)302和第一组新类样本304，权重生成器306生成针对第一少样本任务的第一组新分类权重308。在第二阶段中，基础类的分类权重302和生成的第一组分类权重308结合第二组新类样本310被权重生成器306使用，以生成针对第二少样本学习任务的第二组分类权重312。在第三阶段中，针对基础类的分类权重302、生成的第一组分类权重308和生成的第二组分类权重312结合第三组新类样本314被权重生成器306使用，以生成针对第三少样本学习任务的第三组分类权重316。
这种持续少样本学***均分类损失，并且优化权重生成器以使平均分类损失最小化。
具体地，关于针对固定数量的少样本学习任务的权重生成器的优化，首先从D0构建数量k个“假的”少样本学习任务。具体地，如下面等式(5)中所阐述的那样，从基础类C0随机选择“新的”基础类
Figure BDA0003209194100000074
和k组“假的”新类
Figure BDA0003209194100000075
Figure BDA0003209194100000076
对于1≤i≤k,，针对
Figure BDA0003209194100000077
的每个类分别随机选择K个样本，并将K个样本放入
Figure BDA0003209194100000081
随机选择的K个样本被馈送到权重生成器。对于0≤i≤k，针对每个类的一些样本从
Figure BDA0003209194100000082
分别被随机选择并被放入
Figure BDA0003209194100000083
这些随机选择的样本用于计算交叉熵。
根据下面等式(6)执行优化：
Figure BDA0003209194100000084
其中，Wi＝gφ(Si，W0，W1，...，Wi-1)和
Figure BDA0003209194100000085
是W0中的对应于
Figure BDA0003209194100000086
的分类权重向量。
权重生成器的第一架构包括双注意力权重生成器。
Figure BDA0003209194100000087
被设置为Di中的类c的数据。当
Figure BDA0003209194100000088
时，在下面等式(7)中阐述由双注意力权重生成器产生的针对类c的分类权重wc：
Figure BDA0003209194100000089
其中，WQ、WK和WV是双注意力模块的查询、关键字和值的线性变换权重，并且
Figure BDA00032091941000000810
mean可表示求平均值的函数。
权重生成器的第二架构包括自注意力权重生成器，其中，对于c1，，cN∈Ci，
Figure BDA00032091941000000811
在下面等式(8)中阐述由自注意力权重生成器产生的分类权重：
Wall←WVWallAtt(WQWall，WKWalI)T (8)
自注意力权重生成器与双注意力权重生成器的不同在于，在自注意力权重生成器中基础类权重被更新。
提出的权重生成器修改可应用于注意力吸引子网络，注意力吸引子网络具有用于对权重进行正则化的输出(而不是生成权重)。
双向注意力权重生成器和自注意力权重生成器可分别被修改为多头双向注意力权重生成器和多头自注意力权重生成器。
现在参照图4，流程图示出根据实施例的用于持续少样本学***均交叉熵损失。在408，使用随机数量的新的基础类和假的新类的假的新任务或者使用固定数量的假的新类的假的新任务来优化权重生成器。
在410，接收一系列的新任务中的新任务。在412，从新任务的第二图像样本集中的样本集提取特征。将样本集预分类为与基础类不同的新类。
在414，生成针对新类的新分类权重。在一个示例中，可基于以下中的一者或多者来训练权重生成器，以生成针对新类的新分类权重：基础分类权重、一个或多个其他新分类权重、基础任务的第一图像样本集以及新任务的第二图像样本集。例如，可通过权重生成器使用从用于训练权重生成器的图像样本集提取的特征、基础分类权重和一个或多个其他新分类权重来生成新分类权重。一个或多个其他新分类权重用于先前接收的系列中的一个或多个其他新任务的新类。一个或多个其他新任务的数量可小于或等于三。
作为另外的示例，可通过权重生成器使用针对从先前接收的系列中的一个或多个其他新任务的新类和基础类选择的类的分类权重和提取的特征，来生成新分类权重。针对每个新任务，可针对用于生成新分类权重的分类权重选择随机数量的类。
在416，利用针对新任务的新类的新分类权重来更新模型。
在418，使用更新的模型将新任务的未分类样本集(例如，新任务的第二图像样本集中的样本集)分类到新类中。这样可以更有效准确地对图像进行分类。在420，确定是否将要接收一系列的新任务中的另外的新任务。当将要接收另外的新任务时，方法返回到410。当不接收另外的新任务时，方法在422终止。
图5是根据一个实施例的网络环境中的电子装置(或用户设备)的框图。参照图5，网络环境500中的电子装置501可经由第一网络598(例如，短程无线通信网络)与电子装置502通信，或者经由第二网络599(例如，远程无线通信网络)与电子装置504或服务器508通信。电子装置501可经由服务器508与电子装置504通信。电子装置501可包括处理器520、存储器530、输入装置550、声音输出装置555、显示装置560、音频模块570、传感器模块576、接口577、触觉模块579、相机模块580、电源管理模块588、电池589、通信模块590、连接端子578、用户识别模块(SIM)596或天线模块597。在一个实施例中，可从电子装置501省略组件中的至少一个(例如，显示装置560或相机模块580)，或者可将一个或多个其他组件添加到电子装置501。组件中的一些可被实现为单个集成电路(IC)。例如，传感器模块576(例如，指纹传感器、虹膜传感器或照度传感器)可嵌入在显示装置560(例如，显示器)中。
处理器520可执行例如软件(例如，程序540)以控制电子装置501的与处理器520连接的至少一个其他组件(例如，硬件组件或软件组件)，并且可执行各种数据处理或计算(例如，上述用于持续少样本学习的方法)。作为数据处理或计算的至少一部分，处理器520可将从另外的组件(例如，传感器模块576或通信模块590)接收的命令或数据加载到易失性存储器532中，处理存储在易失性存储器532中的命令或数据，并将结果数据存储在非易失性存储器534中。处理器520可包括主处理器521(例如，中央处理器(CPU)或应用处理器(AP))以及可独立于主处理器521操作或与主处理器521结合操作的辅助处理器523(例如，图形处理器(GPU)、图像信号处理器(ISP)、传感器集线器处理器或通信处理器(CP))。另外地或可选地，辅助处理器523可适合于比主处理器521消耗更少的功率，或者执行特定功能。辅助处理器523可被实现为与主处理器521分离或者是主处理器521的一部分。
辅助处理器523可在主处理器521处于非激活(例如，睡眠)状态时代替主处理器521或者在主处理器521处于激活状态(例如，执行应用)时与主处理器521一起，控制与电子装置501的组件之中的至少一个组件(例如，显示装置560、传感器模块576或通信模块590)相关的功能或状态中的至少一些。辅助处理器523(例如，图像信号处理器或通信处理器)可被实现为在功能上与辅助处理器523相关的另外的组件(例如，相机模块580或通信模块590)的一部分。
存储器530可存储由电子装置501的至少一个组件(例如，处理器520或传感器模块576)使用的各种数据。各种数据可包括例如软件(例如，程序540)和用于与其相关的命令的输入数据或输出数据。存储器530可包括易失性存储器532或非易失性存储器534。
程序540可作为软件存储在存储器530中，并且可包括例如操作***(OS)542、中间件544或应用546。
输入装置550可从电子装置501的外部(例如，用户)接收将要由电子装置501的另外的组件(例如，处理器520)使用的命令或数据。输入装置550可包括例如麦克风、鼠标或键盘。
声音输出装置555可将声音信号输出到电子装置501的外部。声音输出装置555可包括例如扬声器或接收器。扬声器可用于一般目的(诸如，播放多媒体或录音)，并且接收器可用于接收传入呼叫。接收器可被实现为与扬声器分离或者是扬声器的一部分。
显示装置560可在视觉上将信息提供到电子装置501的外部(例如，用户)。显示装置560可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。显示装置560可包括适合于检测触摸的触摸电路，或者适合于测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块570可将声音转换为电信号，反之亦然。音频模块570可经由输入装置550获得声音，或者经由声音输出装置555或与电子装置501直接(例如，有线)或无线连接的外部电子装置502的耳机输出声音。
传感器模块576可检测电子装置501的操作状态(例如，功率或温度)或电子装置501外部的环境状态(例如，用户的状态)，然后生成与检测的状态对应的电信号或数据值。传感器模块576可包括例如手势传感器、陀螺仪传感器、大气压传感器、磁传感器、加速度传感器、握持传感器、近距离传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口577可支持用于电子装置501直接(例如，有线)或无线地与外部电子装置502连接的一个或多个指定协议。接口577可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端子578可包括连接器，电子装置501可经由该连接器与外部电子装置502物理连接。连接端子578可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块579可将电信号转换为可由用户经由触感或动觉识别的机械刺激(例如，振动或运动)或电刺激。触觉模块579可包括例如马达、压电元件或电刺激器。
相机模块580可捕获静止图像或运动图像。相机模块580可包括一个或多个透镜、图像传感器、图像信号处理器或闪光灯。
电源管理模块588可管理供应给电子装置501的电力。电源管理模块588可被实现为例如电源管理集成电路(PMIC)的至少一部分。
电池589可向电子装置501的至少一个组件供电。电池589可包括例如不可再充电的一次电池、可再充电的二次电池或燃料电池。
通信模块590可支持在电子装置501与外部电子装置(例如，电子装置502、电子装置504或服务器508)之间建立直接(例如，有线)通信信道或无线通信信道，并且经由建立的通信信道执行通信。通信模块590可包括可独立于处理器520(例如，AP)操作的一个或多个通信处理器，并且支持直接(例如，有线)通信或无线通信。通信模块590可包括无线通信模块592(例如，蜂窝通信模块、短程无线通信模块或全球导航卫星***(GNSS)通信模块)或有线通信模块594(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络598(例如，诸如蓝牙TM、无线保真(Wi-Fi)直连或红外数据协会(IrDA)标准的短程通信网络)或第二网络599(例如，诸如蜂窝网络、互联网或计算机网络(例如，LAN或广域网(WAN))的远程通信网络)与外部电子装置通信。这些各种类型的通信模块可被实现为单个组件(例如，单个IC)，或者可被实现为彼此分离的多个组件(例如，多个IC)。无线通信模块592可使用存储在用户识别模块596中的用户信息(例如，国际移动用户识别(IMSI))来在通信网络(诸如，第一网络598或第二网络599)中识别和认证电子装置501。
天线模块597可向电子装置501的外部(例如，外部电子装置)发送信号或电力，或者从电子装置501的外部(例如，外部电子装置)接收信号或电力。天线模块597可包括一个或多个天线，并且由此适合于在通信网络(诸如，第一网络598或第二网络599)中使用的通信方案的至少一个天线可例如由通信模块590(例如，无线通信模块592)选择。然后，可经由选择的至少一个天线在通信模块590与外部电子装置之间发送或接收信号或电力。
上述组件中的至少一些可相互连接并且经由***通信方案(例如，总线、通用输入和输出(GPIO)、串行***接口(SPI)或移动工业处理器接口(MIPI))在它们之间传送信号(例如，命令或数据)。
可经由与第二网络599连接的服务器508在电子装置501与外部电子装置504之间发送或接收命令或数据。电子装置502和504中的每个可以是与电子装置501相同类型或不同类型的装置。将要在电子装置501处执行的操作中的全部或一些可在外部电子装置502、504或服务器508中的一个或多个处执行。例如，如果电子装置501应该自动地或者响应于来自用户或另外的装置的请求来执行功能或服务，则电子装置501代替执行功能或服务，或者除了执行功能或服务之外，还可请求一个或多个外部电子装置执行功能或服务的至少一部分。接收请求的一个或多个外部电子装置可执行请求的功能或服务的至少一部分，或者与请求相关的附加功能或附加服务，并将执行的结果传送到电子装置501。电子装置501可在对结果进行进一步处理或不进行进一步处理的情况下提供结果，作为对请求的回复的至少一部分。为此，例如，云计算、分布式计算或客户端-服务器计算技术可被使用。
一个实施例可被实现为包括存储在可由机器(例如，电子装置501)读取的存储介质(例如，内部存储器536或外部存储器538)中的一个或多个指令的软件(例如，程序540)。例如，电子装置501的处理器可调用存储在存储介质中的一个或多个指令中的至少一个指令，并且在处理器的控制下在使用或不使用一个或多个其他组件的情况下执行至少一个指令。因此，机器可***作以根据调用的至少一个指令来执行至少一个功能。一个或多个指令可包括由编译器生成的代码或由解释器可执行的代码。机器可读存储介质可以非暂时性存储介质的形式被提供。术语“非暂时性”指示存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语不区分数据半永久地存储在存储介质中的位置和数据临时地存储在存储介质中的位置。
根据一个实施例，公开的方法可包括在计算机程序产品中和在计算机程序产品中提供。计算机程序产品可作为产品在卖方与买方之间交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者经由应用商店(例如，PlayStoreTM)在线分发(例如，下载或上传)，或者直接在两个用户装置(例如，智能电话)之间分发。如果在线分发，则计算机程序产品的至少一部分可临时生成或至少临时存储在机器可读存储介质(诸如，制造商的服务器的存储器、应用商店的服务器或中继服务器)中。
根据一个实施例，上述组件中的每个组件(例如，模块或程序)可包括单个实体(entity)或多个实体。可省略上述组件中的一个或多个，或者可添加一个或多个其他组件。可选地或另外地，多个组件(例如，模块或程序)可集成到单个组件中。在这种情况下，集成的组件仍然可与在集成之前所述多个组件中的每个的一个或多个功能由所述多个组件中的对应组件执行的方式相同或相似的方式，执行所述多个组件中的每个的一个或多个功能。由模块、程序或另外的组件执行的操作可顺序地、并行地、重复地或启发式地执行，或者操作中的一个或多个操作可以以不同的顺序执行或省略，或者一个或多个其他操作可被添加。
尽管已经在本公开的具体实施方式中描述了本公开的特定实施例，但是在不脱离本公开的范围的情况下，可以以各种形式修改本公开。因此，本公开的范围不应仅基于描述的实施例来确定，而是基于所附权利要求及其等同物来确定。

Claims (20)

1.一种用于图像分类的模型的训练方法，包括：
接收基础任务的基础类的第一图像样本集；
基于第一图像样本集训练模型，以从训练后的模型获得针对基础任务的基础类的基础分类权重；
顺序地接收多个新任务；以及
在接收到所述多个新任务中的任意一个新任务时：
接收所述任意一个新任务的新类的第二图像样本集，
基于基础分类权重、针对所述多个新任务中的先前接收到的一个或多个其他新任务的新类的一个或多个其他新分类权重、第一图像样本集和第二图像样本集中的一个或多个来训练权重生成器，以获得针对所述任意一个新任务的新类的新分类权重，以及
利用针对所述任意一个新任务的新类的新分类权重来更新所述模型。
2.根据权利要求1所述的训练方法，还包括：使用从基础类选择的随机数量的基础类和从基础类选择的假的新类的假的新任务、或者使用从基础类选择的假的新类的固定数量的假的新任务，来训练权重生成器。
3.根据权利要求2所述的训练方法，其中，训练权重生成器的步骤包括：使用从用于训练权重生成器的类的图像样本集中随机选择的样本来确定平均交叉熵损失。
4.根据权利要求1所述的训练方法，其中，使用更新后的模型将所述任意一个新任务的第二图像样本集中的第一样本集分类到新类中。
5.根据权利要求1所述的训练方法，其中，基于第一图像样本集训练模型的步骤包括：从第一图像样本集提取特征，并基于提取的特征训练所述模型。
6.根据权利要求1所述的训练方法，其中，训练权重生成器的步骤包括：
从所述任意一个新任务的第二图像样本集中的第二样本集提取特征；以及
通过权重生成器使用提取的特征、基础分类权重和所述一个或多个其他新分类权重来生成新分类权重。
7.根据权利要求6所述的训练方法，其中，所述一个或多个其他新任务的数量小于或等于三。
8.根据权利要求1所述的训练方法，其中，训练权重生成器的步骤包括：
从所述任意一个新任务的第二图像样本集中的第二样本集提取特征；以及
通过权重生成器使用针对从基础类和所述一个或多个其他新任务的新类选择的类的分类权重和提取的特征来生成新分类权重。
9.根据权利要求8所述的训练方法，其中，对于每个新任务，针对用于生成新分类权重的分类权重选择随机数量的类。
10.根据权利要求1至9中的任一项所述的训练方法，其中，权重生成器是双向注意力权重生成器或自注意力权重生成器。
11.一种训练用于图像分类的模型的用户设备，包括：
处理器；以及
存储指令的非暂时性计算机可读存储介质，所述指令在被执行时，使得处理器：
接收基础任务的基础类的第一图像样本集；
基于第一图像样本集训练模型，以从训练后的模型获得针对基础任务的基础类的基础分类权重；
顺序地接收多个新任务；以及
在接收到所述多个新的任务中的任意一个新任务时：
接收所述任意一个新任务的新类的第二图像样本集，
基于基础分类权重、针对所述多个新任务中的先前接收到的一个或多个其他新任务的新类的一个或多个其他新分类权重、第一图像样本集和第二图像样本集中的一个或多个来训练权重生成器，以获得针对所述任意一个新任务的新类的新分类权重，以及
利用针对所述任意一个新任务的新类的新分类权重来更新所述模型。
12.根据权利要求11所述的用户设备，其中，处理器还被配置为：使用从基础类选择的随机数量的基础类和假的新类的假的新任务或者使用从基础类选择的固定数量的假的新类的假的新任务，来训练权重生成器。
13.根据权利要求12所述的用户设备，其中，在训练权重生成器时，处理器还被配置为：使用从用于训练权重生成器的类的图像样本集中随机选择的样本来确定平均交叉熵损失。
14.根据权利要求11所述的用户设备，其中，使用更新后的模型将所述任意一个新任务的第二图像样本集中的第一样本集分类到新类中。
15.根据权利要求11所述的用户设备，其中，基于第一图像样本集训练模型的步骤包括：从第一图像样本集提取特征，并基于提取的特征训练所述模型。
16.根据权利要求11所述的用户设备，其中，在训练权重生成器时，处理器还被配置为：
从所述任意一个新任务的第二图像样本集中的第二样本集提取特征；以及
通过权重生成器使用提取的特征、基础分类权重和所述一个或多个其他新分类权重来生成新分类权重。
17.根据权利要求16所述的用户设备，其中，所述一个或多个其他新任务的数量小于或等于三。
18.根据权利要求11所述的用户设备，其中，在训练权重生成器时，处理器还被配置为：
从所述任意一个新任务的第二图像样本集中的第二样本集提取特征；以及
通过权重生成器使用针对从基础类和所述一个或多个其他新任务的新类选择的类的分类权重和提取的特征来生成新分类权重。
19.根据权利要求18所述的用户设备，其中，对于每个新任务，针对用于生成新分类权重的分类权重选择随机数量的类。
20.根据权利要求11至19中的任一项所述的用户设备，其中，权重生成器是双向注意力权重生成器或自注意力权重生成器。
CN202110925655.XA 2020-08-27 2021-08-12 用于训练用于图像分类的模型的方法和设备 Pending CN114118196A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063071067P 2020-08-27 2020-08-27
US63/071,067 2020-08-27
US17/156,126 US20220067582A1 (en) 2020-08-27 2021-01-22 Method and apparatus for continual few-shot learning without forgetting
US17/156,126 2021-01-22

Publications (1)

Publication Number Publication Date
CN114118196A true CN114118196A (zh) 2022-03-01

Family

ID=80221584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110925655.XA Pending CN114118196A (zh) 2020-08-27 2021-08-12 用于训练用于图像分类的模型的方法和设备

Country Status (5)

Country Link
US (1) US20220067582A1 (zh)
KR (1) KR20220027760A (zh)
CN (1) CN114118196A (zh)
DE (1) DE102021115299A1 (zh)
TW (1) TW202209196A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410051A (zh) * 2022-11-02 2022-11-29 华中科技大学 一种再可塑性启发的连续图像分类方法与***

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024000676A (ja) * 2022-06-21 2024-01-09 株式会社Ｊｖｃケンウッド 機械学習装置、機械学習方法、および機械学習プログラム
JP2024017751A (ja) * 2022-07-28 2024-02-08 株式会社Ｊｖｃケンウッド 機械学習装置、機械学習方法、および機械学習プログラム
CN115688779B (zh) * 2022-10-11 2023-05-09 杭州瑞成信息技术股份有限公司 一种基于自监督深度学习的地址识别方法
KR20240076915A (ko) * 2022-11-24 2024-05-31 세종대학교산학협력단 제조 공정에서 이상을 감지하는 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410051A (zh) * 2022-11-02 2022-11-29 华中科技大学 一种再可塑性启发的连续图像分类方法与***

Also Published As

Publication number Publication date
TW202209196A (zh) 2022-03-01
KR20220027760A (ko) 2022-03-08
US20220067582A1 (en) 2022-03-03
DE102021115299A1 (de) 2022-03-03

Similar Documents

Publication Publication Date Title
CN114118196A (zh) 用于训练用于图像分类的模型的方法和设备
TWI813802B (zh) 藉由共用表示進行多個隨機變數之間的隨機性推斷的方法及系統
CN113228064A (zh) 用于个性化的机器学习模型的分布式训练
US20220138633A1 (en) Method and apparatus for incremental learning
CN113330392B (zh) 用于确定包括多个动作的任务的电子装置和方法
US20220058507A1 (en) Method and apparatus for federated learning
US11442554B2 (en) Electronic device and method for recommending word in same
US20220093116A1 (en) Transformer with gaussian weighted self-attention for speech enhancement
CN113435568A (zh) 计算机实施的用于训练神经网络的方法和电子***
US20210081531A1 (en) Electronic device for classifying malicious code and operation method thereof
US20230334318A1 (en) Method and apparatus for data efficient semantic segmentation
US11929079B2 (en) Electronic device for managing user model and operating method thereof
TW202307789A (zh) 藉由判定用於無監督影像分割的損失函數來訓練特徵提取模型的設備及方法
US11113215B2 (en) Electronic device for scheduling a plurality of tasks and operating method thereof
US11556768B2 (en) Optimization of sparsified neural network layers for semi-digital crossbar architectures
TWI843848B (zh) 用於語音增強的高斯加權自注意的方法以及系統
US20220092383A1 (en) System and method for post-training quantization of deep neural networks with per-channel quantization mode selection
US20220245423A1 (en) Electronic device, user terminal, and method for running scalable deep learning network
US20230093968A1 (en) Electronic device using blockchain and operating method thereof
US11575453B2 (en) Method and apparatus for providing enhanced reference signal received power estimation
US11463539B2 (en) Electronic device for transmitting and receiving data with server device
EP4322073A1 (en) Electronic device corresponding to node included in blockchain network and operation method therefor
TW202137040A (zh) 無資料對抗式知識蒸餾的方法及系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination