CN114004315A - 一种基于小样本进行增量学习的方法及装置 - Google Patents

Abstract

本发明公开了一种基于小样本进行增量学习的方法及装置，属于人工智能技术领域。该方法包括：首先基于知识蒸馏对第一小样本数据进行增量学习，得到损失函数；并基于损失函数获得历史训练样本数据中的错误样本数据；之后，对所述错误样本数据进行特征聚类处理，并基于特征聚类结果对第二小样本数据进行增量处理，得到更新后第二小样本数据；最后，基于知识蒸馏对更新后第二小样本数据进行增量学习，得到最终新模型。由此，能够基于新增小样本对原始模型进行增量学习，解决了现有技术中由于历史训练样本数据丢失导致无法利用新增小样本数据来迭代原始模型的问题，从而对原始模型实现了有效更新。

Description

一种基于小样本进行增量学习的方法及装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于小样本进行增量学习的方法及装置。

背景技术

目前，在进行有监督学习的分类任务中，人们常常采用深度学习算法，利用大规模数据进行模型训练，之后再利用训练好的模型对待测数据进行预测，以提高预测结果的准确性。但随着时间的推移，每天均会产生新的可用来作为训练样本的有效数据。因此为了提高模型的准确性，通常利用新增小样本数据对原始模型进行迭代训练，从而实现对原始模型的更新。

然而，在原始模型使用过程中，由于经常会出现历史训练样本数据丢失的现象，因此导致无法利用新增小样本数据来迭代原始模型。为此，急需要提供一种基于小样本进行增量学习的方法，以解决由于历史训练样本数据丢失导致无法利用新增小样本数据来迭代原始模型的问题，从而实现对原始模型的更新。

发明内容

为了解决上述现有技术存在的问题，本发明实施例提供一种基于小样本进行增量学习的方法及装置，能够基于新增小样本对原始模型进行增量学习，解决了现有技术中由于历史训练样本数据丢失导致无法利用新增小样本数据来迭代原始模型的问题，从而对原始模型实现了有效更新。

为实现上述目的，根据本发明实施例第一方面，提供一种基于小样本进行增量学习的方法，该方法包括：基于知识蒸馏对第一小样本数据进行增量学习，得到损失函数；基于所述损失函数获得历史训练样本数据中的错误样本数据；对所述错误样本数据进行特征聚类处理，并基于特征聚类结果对第二小样本数据进行增量处理，得到更新后第二小样本数据；基于知识蒸馏对所述更新后第二小样本数据进行增量学习，得到最终新模型。

可选的，所述基于特征聚类结果对第二小样本数据进行增量处理，得到更新后第二小样本数据，包括：基于特征聚类结果对所述错误样本数据标记类别标签，得到具有类别标签的错误样本数据；将具有类别标签的错误样本数据添加至第二小样本数据中；更新添加后第二小样本数据中错误特征类别的采样权重，得到更新后第二小样本数据。

可选的，所述基于知识蒸馏对第一小样本数据进行增量学习，得到损失函数，包括：基于第一小样本数据训练原始模型生成第一新模型，获得第一损失函数；基于所述第一小样本数据同时训练所述第一新模型和所述原始新模型生成第二新模型，获得第二损失函数；基于所述第一小样本数据训练所述第一新模型生成第三新模型，获得第三损失函数；将所述第一损失函数、所述第二损失函数和所述第三损失函数确定为对第一小样本数据进行增量学习得到的损失函数。

可选的，所述基于所述损失函数获得历史训练样本数据中的错误样本数据，包括：基于所述第一损失函数，获得历史训练样本数据中的第一错误样本数据；基于所述第二损失函数，获得历史训练样本数据中的第二错误样本数据；基于第三损失函数，获得历史训练样本数据中的第三错误样本数据；将所述第一错误样本数据、第二错误样本数据和第三错误样本数据确定为错误样本数据。

可选的，所述基于知识蒸馏对所述更新后第二小样本数据进行增量学习，得到最终新模型，包括：基于所述更新后第二小样本数据训练原始模型生成第四新模型，获得第四损失函数；基于所述更新后第二小样本数据同时训练所述第四新模型和所述原始新模型生成第五新模型，获得第五损失函数；基于所述更新后第二小样本数据训练所述第五新模型，获得第六损失函数；将所述第四损失函数、所述第五损失函数和所述第六损失函数确定为总损失函数；当所述总损失函数达到最小时，得到最终新模型。

为实现上述目的，根据本发明实施例第二方面，还提供一种基于小样本进行增量学习的装置，该装置包括：第一学习模块，用于基于知识蒸馏对第一小样本数据进行增量学习，得到损失函数；获取模块，用于基于所述损失函数获得历史训练样本数据中的错误样本数据；增量模块，用于对所述错误样本数据进行特征聚类处理，并基于特征聚类结果对进行增量处理，得到更新后第二小样本数据；第二学习模块，用于基于知识蒸馏对所述更新后第二小样本数据进行增量学习，得到最终新模型。

可选的，所述增量模块包括：聚类单元，用于基于特征聚类结果对所述错误样本数据标记类别标签，得到具有类别标签的错误样本数据；添加单元，用于将具有类别标签的错误样本数据添加至第二小样本数据中；增量单元，用于更新添加后第二小样本数据中错误特征类别的采样权重，得到更新后第二小样本数据。

可选的，所述第一学习模块包括：第一获取单元，用于基于第一小样本数

据训练原始模型生成第一新模型，获得第一损失函数；第二获取单元，用于基于所述第一小样本数据同时训练所述第一新模型和所述原始新模型生成第二新模型，获得第二损失函数；第三获取单元，用于基于所述第一小样本数据训练所述第一新模型生成第三新模型，获得第三损失函数；确定单元，用于将所述第一损失函数、所述第二损失函数和所述第三损失函数确定为对第一小样本数据进行增量学习得到的损失函数。

为实现上述目的，根据本发明实施例第三方面，还提供一种电子设备，该电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如第一方面所述的基于小样本进行增量学习的方法。

为实现上述目的，根据本发明实施例的第四方面，还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于小样本进行增量学习的方法。

与现有技术相比，本发明实施例提供的一种基于小样本进行增量学习的方法及装置，该方法包括：首先基于知识蒸馏对第一小样本数据进行增量学习，得到损失函数；并基于所述损失函数获得历史训练样本数据中的错误样本数据；之后，对所述错误样本数据进行特征聚类处理，并基于特征聚类结果对第二小样本数据进行增量处理，得到更新后第二小样本数据；最后，基于知识蒸馏对所述更新后第二小样本数据进行增量学习，得到最终新模型。由此，能够基于新增小样本对原始模型进行增量学习，解决了现有技术中由于历史训练样本数据丢失导致无法利用新增小样本数据来迭代原始模型的问题，从而对原始模型实现了有效更新。

需要理解的是，本发明的教导并不需要实现上面所述的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本发明的其他实施方式还能够实现上面未提到的有益效果。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中在附图中，相同或对应的标号表示相同或对应的部分。

图1为本发明一实施例基于小样本进行增量学习的方法的示意性流程图；

图2为本发明另一实施例基于小样本进行增量学习的方法的示意性流程图；

图3为本发明一实施例基于小样本进行增量学习的装置的示意性框图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

如图1所示，本发明一实施例基于小样本进行增量学习的方法的示意性流程图。一种基于小样本进行增量学习的方法，包括如下步骤：S101，基于知识蒸馏对第一小样本数据进行增量学习，得到损失函数；S102，基于损失函数获得历史训练样本数据中的错误样本数据；S103，对错误样本数据进行特征聚类处理，并基于特征聚类结果对第二小样本数据进行增量处理，得到更新后第二小样本数据；S104，基于知识蒸馏对更新后第二小样本数据进行增量学习，得到最终新模型。

在S101和S102中，知识蒸馏是指通过引入与教师网络相关的软目标作为总损失的一部分，以诱导学生网络的训练，实现知识迁移。也就是说，先训练好一个教师网络，然后将教师网络的输出结果q作为学生网络的目标，训练学生网络，使得学生网络的输出结果p接近q。

可以基于第一小样本数据训练原始模型，得到损失函数；当损失函数趋于最小时，生成第一新模型；之后基于损失函数获得历史训练样本数据中的错误样本数据。

或者，首先基于第一小样本数据训练原始模型，得到第一损失函数；当第一损失函数趋于最小时，生成第一新模型。其次，基于第一小样本数据同时训练第一新模型和原始新模型，得到第二损失函数；当第二损失函数趋于最小时，生成第二新模型。最后基于第一损失函数和第二损失函数获得历史训练样本数据中的错误样本数据。

或者，首先基于第一小样本数据训练原始模型，得到第一损失函数；当第一损失函数趋于最小时，生成第一新模型。然后，基于第一小样本数据同时训练第一新模型和原始新模型，得到第二损失函数；当第二损失函数趋于最小时，生成第二新模型。之后，基于第一小样本数据训练第一新模型，得到第三损失函数；当第三损失函数趋于最小时，生成第三新模型。最后基于第一损失函数、第二损失函数和第三损失函数获得历史训练样本数据中的错误样本数据。

在S103中，可以通过将错误样本数据添加至第二小样本数据中，以实现对第二小样本数据进行增量处理，得到更新后的第二小样本数据。

或者，对错误样本数据进行特征聚类处理；基于聚类结果中错误样本数据的类别，对第二小样本数据添加对应类别的错误样本数据，得到更新后的第二小样本数据。在这里，添加至第二小样本数据中的错误样本数据可以包括从历史训练样本数据中获取的错误样本数据，也可以不包括从历史训练样本数据中获取的错误样本数据，但是添加至第二小样本数据中错误样本数据的特征一定和历史训练样本数据中错误样本数据的特征相同或相似。

或者，统计聚类结果中不同类别错误样本数据的比例关系；按照不同类别错误样本数据的比例关系，在第二小样本数据对每个类别错误样本数据进行增量处理，得到更新后第二小样本数据。

在S104中，基于知识蒸馏对更新后第二小样本数据进行增量学习的过程，与对第一小样本数据进行增量学习的过程相类似。

具体地，基于更新后第二小样本数据训练原始模型，得到第四损失函数；当第四损失函数趋于最小时，生成最终新模型。

或者，首先基于更新后第二小样本数据训练原始模型，得到第四损失函数；当第四损失函数趋于最小时，生成第四新模型；之后，基于更新后第二小样本数据同时训练第四新模型和原始新模型，得到第五损失函数；当第五损失函数趋于最小时，生成最终新模型。

或者，首先基于更新后第二小样本数据训练原始模型生成第四新模型，获得第四损失函数；然后，基于更新后第二小样本数据同时训练第四新模型和原始新模型生成第五新模型，获得第五损失函数；之后，基于更新后第二小样本数据训练第五新模型，获得第六损失函数；最后，将第四损失函数、第五损失函数和第六损失函数，确定为总损失函数；当总损失函数达到最小时，得到最终新模型。

在这里，第一小样本数据和第二小样本数据均是新训练样本数据。

本发明实施例首先基于知识蒸馏对第一小样本数据进行增量学习，得到损失函数；并基于损失函数获得历史训练样本数据中的错误样本数据；之后，基于错误样本数据对第二小样本数据进行增量处理，得到更新后第二小样本数据；最后，基于知识蒸馏对更新后第二小样本数据进行增量学习，得到最终新模型。由此，能够基于新增小样本对原始模型进行增量学习，解决了现有技术中由于历史训练样本数据丢失导致无法利用新增小样本数据来迭代原始模型的问题，从而对原始模型实现有效更新。

如图2所示，本发明另一实施例基于小样本进行增量学习的方法的示意性流程图。本实施例是在图1实施例的基础上进一步优化得到的。基于小样本进行增量学习的方法，包括如下步骤：S201，基于第一小样本数据训练原始模型生成第一新模型，获得第一损失函数；S202，基于第一小样本数据同时训练第一新模型和原始新模型生成第二新模型，获得第二损失函数；S203，基于第一小样本数据训练第一新模型生成第三新模型，获得第三损失函数；S204，将第一损失函数、第二损失函数和第三损失函数确定为对第一小样本数据进行增量学习得到的损失函数；S205，基于损失函数获得历史训练样本数据中的错误样本数据；S206，将错误样本数据进行特征聚类处理，得到特征聚类结果；基于特征聚类结果对错误样本数据标记类别标签，得到具有类别标签的错误样本数据；S207，将具有类别标签的错误样本数据添加至第二小样本数据中；S208，更新添加后第二小样本数据中错误特征类别的采样权重，得到更新后第二小样本数据；S209，基于知识蒸馏对更新后第二小样本数据进行增量学习，得到最终新模型。

在S201至S204中，当第一损失函数趋于最小时生成第一新模型；当第二损失函数趋于最小时生成第二新模型；当第三损失函数趋于最小时生成第三新模型。

在S205中，基于第一损失函数，获得历史训练样本数据中的第一错误样本数据；基于第二损失函数，获得历史训练样本数据中的第二错误样本数据；基于第三损失函数，获得历史训练样本数据中的第三错误样本数据；将第一错误样本数据、第二错误样本数据和第三错误样本数据确定为错误样本数据。具体地，当第一损失函数趋于最小时，获得历史训练样本数据中的第一错误样本数据；当第二损失函数趋于最小时，获得历史训练样本数据中的第二错误样本数据；当第三损失函数趋于最小时，获得历史训练样本数据中的第三错误样本数据。

在S206至S208中，将错误样本数据进行特征聚类处理，得到特征聚类结果；将特征聚类结果中不同类别错误样本数据标记类别标签，得到具有类别标签的错误样本数据；分别统计每个类别标签对应错误样本数据的数量，得到错误样本数据中不同类别标签的比例关系；将具有类别标签的错误样本数据添加至第二小样本数据中，并按种比例关系对已添加错误样本数据的第二小样本数据增加对应类别的错误样本数据，得到更新后第二小样本数据，由此提高了原始模型迭代的精度。

在S209中，基于更新后第二小样本数据训练原始模型生成第四新模型，获得第四损失函数；基于更新后第二小样本数据同时训练第四新模型和原始新模型生成第五新模型，获得第五损失函数；基于更新后第二小样本数据训练第五新模型，获得第六损失函数；将第四损失函数、第五损失函数和第六损失函数确定为总损失函数；当总损失函数达到最小时，得到最终新模型。

本实施例采用对原始模型进行蒸馏，并利用小样本进行增量学习，之后通过特征聚类分类错误小样本，并在迭代训练的小样本中增加与分类错误样本有近似特征的样本数量，从而对模型进行参数更新的增量学习，以达到不断提升训练精度的目的。

应理解，在本发明的各实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在的逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

下面将结合具体场景对上述基于小样本进行增量学习的方法进行进一步说明。

针对原始模型S_old中用于训练原始模型S_old的历史样本数据不完整（存在丢失）的情形，采用基于小样本进行增量学习的方法，包括如下步骤：

（1）利用第一小样本数据D_label_new对原始模型S_old进行训练，当损失函数Loss_function = abs|Y-Y_on’|达到最小时，对原始模型参数进行微调，生成第一新模型；其中，Y为真实值，Y_on’为训练过程中第一新模型输出的预测结果。

（2）利用第一小样本数据同时训练第一新模型和原始模型，当损失函数Loss_function=abs|Y_on-Y_nn|达到最小时，对原始模型和第一新模型进行参数调节，生成第二新模型；其中，Y_on为训练过程中原始模型输出的预测结果，Y_nn为训练过程中第一新模型输出的预测结果。

（3）利用第一小样本数据训练第一新模型，当损失函数Loss_function=abs|Y-Y_nn’|达到最小时，对第一新模型进行参数调节，生成第三新模型；其中，Y_nn’为训练过程中第一新模型输出的预测结果。

（4）基于损失函数Loss_function = abs|Y-Y_on’|、损失函数Loss_function=abs|Y_on-Y_nn|，以及损失函数Loss_function=abs|Y-Y_nn’|，得到历史训练数据中的错误样本数据；并对错误样本数据进行特征聚类处理，得到第一类错误样本数据、第二类错误样本数据和第三类错误样本数据；之后对三类错误样本数据标记类别标签，并分别统计每个类别标签对应错误样本数据的数量，得到三类错误样本数据的比例关系；将具有类别标签的错误样本数据添加至第二小样本数据中，然后根据类别标签，按照比例关系增加每个错误特征类别对应的错误样本数据，得到更新后第二小样本数据，由此能够加强与错误样本数据特征相似的数据在更新后第二小样本数据中的采样权重。

（5）重复迭代步骤（1）至（4），让总损失函数=abs|Y-Y_on’|+abs|Y_on-Y_nn|+abs|Y-Y_nn’|达到最小，生成最终新模型。

本发明是对新模型分类错误的样本进行聚类，找出错误样本数据，从而在第二小样本中通过聚类添加易导致分类错误的错误样本数量，从而实现在保留原始模型对应训练数据特征的基础上，更新小样本数据中易出现错误的数据，从而提高了新模型训练的准确率。

本发明的创新点在于将知识蒸馏和小样本更新相结合，在迭代过程中利用小样本预判历史训练数据中错误样本数据，并对错误样本数据进行特征聚类处理，从而在下一次训练中更新小样本中错误特征类别的采样权重，类似于xgboost的错误修正思想。

如图3所示，本发明一实施例基于小样本进行增量学习的装置的示意性框图。一种基于小样本进行增量学习的装置，该装置300包括：第一学习模块301，用于基于知识蒸馏对第一小样本数据进行增量学习，得到损失函数；获取模块302，用于基于所述损失函数获得历史训练样本数据中的错误样本数据；增量模块303，用于对所述错误样本数据进行特征聚类处理，并基于特征聚类结果对第二小样本数据进行增量处理，得到更新后第二小样本数据；第二学习模块304，用于基于知识蒸馏对所述更新后第二小样本数据进行增量学习，得到最终新模型。

在可选的实施例中，所述增量模块303包括：聚类单元，用于基于特征聚类结果对所述错误样本数据标记类别标签，得到具有类别标签的错误样本数据；添加单元，用于将具有类别标签的错误样本数据添加至第二小样本数据中；增量单元，用于更新添加后第二小样本数据中错误特征类别的采样权重，得到更新后第二小样本数据。

在可选的实施例中，所述第一学习模块301包括：第一获取单元，用于基于第一小样本数据训练原始模型生成第一新模型，获得第一损失函数；第二获取单元，用于基于所述第一小样本数据同时训练所述第一新模型和所述原始新模型生成第二新模型，获得第二损失函数；第三获取单元，用于基于所述第一小样本数据训练所述第一新模型生成第三新模型，获得第三损失函数；确定单元，用于将所述第一损失函数、所述第二损失函数和所述第三损失函数确定为对第一小样本数据进行增量学习得到的损失函数。

在可选的实施例中，所述获取模块302包括：第一获取单元，用于基于所述第一损失函数，获得历史训练样本数据中的第一错误样本数据；第二获取单元，用于基于所述第二损失函数，获得历史训练样本数据中的第二错误样本数据；第三获取单元，用于基于第三损失函数，获得历史训练样本数据中的第三错误样本数据；确定单元，用于将所述第一错误样本数据、第二错误样本数据和第三错误样本数据确定为错误样本数据。

在可选的实施例中，所述第二学习模块304包括：第一获取单元，用于基于所述更新后第二小样本数据训练原始模型生成第四新模型，获得第四损失函数；第二获取单元，用于基于所述更新后第二小样本数据同时训练所述第四新模型和所述原始新模型生成第五新模型，获得第五损失函数；第三获取单元，用于基于所述更新后第二小样本数据训练所述第五新模型，获得第六损失函数；确定单元，用于将所述第四损失函数、所述第五损失函数和所述第六损失函数确定为总损失函数；当所述总损失函数达到最小时，得到最终新模型。

上述测试装置可执行本发明一实施例所提供的基于小样本进行增量学习的方法，具备执行测试方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的基于小样本进行增量学习的方法。

根据本发明再一实施例，还提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现本发明上述实施例提供的基于小样本进行增量学习的方法。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备至少执行如下所示的操作步骤：S101，基于知识蒸馏对第一小样本数据进行增量学习，得到损失函数；S102，基于损失函数获得历史训练样本数据中的错误样本数据；S103，基于错误样本数据对第二小样本数据进行增量处理，得到更新后第二小样本数据；S104，基于知识蒸馏对更新后第二小样本数据进行增量学习，得到最终新模型。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于小样本进行增量学习的方法，其特征在于，包括：

基于知识蒸馏对第一小样本数据进行增量学习，得到损失函数；

基于所述损失函数获得历史训练样本数据中的错误样本数据；

对所述错误样本数据进行特征聚类处理，并基于特征聚类结果对第二小样本数据进行增量处理，得到更新后第二小样本数据；

基于知识蒸馏对所述更新后第二小样本数据进行增量学习，得到最终新模型。

2.根据权利要求1所述的方法，其特征在于，所述基于特征聚类结果对第二小样本数据进行增量处理，得到更新后第二小样本数据，包括：

基于特征聚类结果对所述错误样本数据标记类别标签，得到具有类别标签的错误样本数据；

将具有类别标签的错误样本数据添加至第二小样本数据中；

更新添加后第二小样本数据中错误特征类别的采样权重，得到更新后第二小样本数据。

3.根据权利要求1所述的方法，其特征在于，所述基于知识蒸馏对第一小样本数据进行增量学习，得到损失函数，包括：

基于第一小样本数据训练原始模型生成第一新模型，获得第一损失函数；

基于所述第一小样本数据同时训练所述第一新模型和所述原始模型生成第二新模型，获得第二损失函数；

基于所述第一小样本数据训练所述第一新模型生成第三新模型，获得第三损失函数；

将所述第一损失函数、所述第二损失函数和所述第三损失函数确定为对第一小样本数据进行增量学习得到的损失函数。

4.根据权利要求3所述的方法，其特征在于，所述基于所述损失函数获得历史训练样本数据中的错误样本数据，包括：

基于所述第一损失函数，获得历史训练样本数据中的第一错误样本数据；

基于所述第二损失函数，获得历史训练样本数据中的第二错误样本数据；

基于第三损失函数，获得历史训练样本数据中的第三错误样本数据；

将所述第一错误样本数据、第二错误样本数据和第三错误样本数据确定为错误样本数据。

5.根据权利要求1或2所述的方法，其特征在于，所述基于知识蒸馏对所述更新后第二小样本数据进行增量学习，得到最终新模型，包括：

基于所述更新后第二小样本数据训练原始模型生成第四新模型，获得第四损失函数；

基于所述更新后第二小样本数据同时训练所述第四新模型和所述原始模型生成第五新模型，获得第五损失函数；

基于所述更新后第二小样本数据训练所述第五新模型，获得第六损失函数；

将所述第四损失函数、所述第五损失函数和所述第六损失函数确定为总损失函数；

当所述总损失函数达到最小时，得到最终新模型。

6.一种基于小样本进行增量学习的装置，其特征在于，包括：

第一学习模块，用于基于知识蒸馏对第一小样本数据进行增量学习，得到损失函数；

获取模块，用于基于所述损失函数获得历史训练样本数据中的错误样本数据；

增量模块，用于对所述错误样本数据进行特征聚类处理，并基于特征聚类结果对进行增量处理，得到更新后第二小样本数据；

第二学习模块，用于基于知识蒸馏对所述更新后第二小样本数据进行增量学习，得到最终新模型。

7.根据权利要求6所述的装置，其特征在于，所述增量模块包括：

聚类单元，用于基于特征聚类结果对所述错误样本数据标记类别标签，得到具有类别标签的错误样本数据；

添加单元，用于将具有类别标签的错误样本数据添加至第二小样本数据中；

增量单元，用于更新添加后第二小样本数据中错误特征类别的采样权重，得到更新后第二小样本数据。

8.根据权利要求6所述的装置，其特征在于，所述第一学习模块包括：

第一获取单元，用于基于第一小样本数据训练原始模型生成第一新模型，获得第一损失函数；

第二获取单元，用于基于所述第一小样本数据同时训练所述第一新模型和所述原始模型生成第二新模型，获得第二损失函数；

第三获取单元，用于基于所述第一小样本数据训练所述第一新模型生成第三新模型，获得第三损失函数；

确定单元，用于将所述第一损失函数、所述第二损失函数和所述第三损失函数确定为对第一小样本数据进行增量学习得到的损失函数。

9.一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-5任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。

Images