CN112101552A - 用于训练模型的方法、装置、设备以及存储介质 - Google Patents

Abstract

本申请公开了一种用于训练模型的方法、装置、设备以及存储介质，涉及人工智能领域，具体为计算机视觉、深度学习技术领域。实现方案为：获取已训练模型、待训练模型以及训练数据集合；利用已训练模型提取训练数据集合中各训练数据的第一特征以及利用待训练模型提取训练数据集合中各训练数据的第二特征；根据得到的第一特征集合和第二特征集合，确定目标特征对集合；根据目标特征对集合，调整待训练模型的模型参数，以训练待训练模型。本实现方式通过根据差异较大的特征对，迭代训练待训练模型，可以提高模型训练效率以及训练效果，训练后的模型可以实现准确地对图像进行处理或对数据进行分类，简化训练过程，提高图像处理或数据处理的效率。

Description

用于训练模型的方法、装置、设备以及存储介质

技术领域

本申请涉及人工智能领域，具体为计算机视觉、深度学习技术领域，尤其涉及用于训练模型的方法、装置、设备以及存储介质。

背景技术

蒸馏技术是一种非常常用的模型压缩技术。模型蒸馏技术是采用一个已经训练好的大模型输出已训练好的标准特征用来监督更小的模型的训练，从而达到更小的模型达到大模型的效果。

目前的蒸馏方法对输入的所有训练数据进行监督，无法有效的解决难样本效果不好的问题。

发明内容

本公开提供了一种用于训练模型的方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种用于训练模型的方法，包括：获取已训练模型、待训练模型以及训练数据集合；利用已训练模型提取训练数据集合中各训练数据的第一特征以及利用待训练模型提取训练数据集合中各训练数据的第二特征；根据得到的第一特征集合和第二特征集合，确定目标特征对集合；根据目标特征对集合，调整待训练模型的模型参数，以训练待训练模型。

根据本公开的另一方面，提供了一种用于训练模型的装置，包括：获取单元，被配置成获取已训练模型、待训练模型以及训练数据集合；特征提取单元，被配置成利用已训练模型提取训练数据集合中各训练数据的第一特征以及利用待训练模型提取训练数据集合中各训练数据的第二特征；目标特征对集合确定单元，被配置成根据得到的第一特征集合和第二特征集合，确定目标特征对集合；模型训练单元，被配置成根据目标特征对集合，调整待训练模型的模型参数，以训练待训练模型。

根据本公开的再一方面，提供了一种用于训练模型的电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述用于训练模型的方法。

根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如上述用于训练模型的方法。

根据本申请的技术解决了目前的蒸馏方法对输入的所有训练数据进行监督，无法有效的解决难样本效果不好的问题，通过根据已训练模型获取的第一特征对集合和待训练模型获取的第二特征对集合，确定目标特征对集合，并据此得到差异较大的特征对，根据确定出的差异较大的特征对，迭代训练待训练模型，可以提高模型训练效率以及训练效果，训练后的模型可以实现准确地对图像进行处理或对数据进行分类，简化训练过程，提高图像处理或数据处理的效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请的一个实施例可以应用于其中的示例性***架构图；

图2是根据本申请的用于训练模型的方法的一个实施例的流程图；

图3是根据本申请的用于训练模型的方法的一个应用场景的示意图；

图4是根据本申请的用于训练模型的方法的另一个实施例的流程图；

图5是根据本申请的用于训练模型的装置的一个实施例的结构示意图；

图6是用来实现本申请实施例的用于训练模型的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的用于训练模型的方法或用于训练模型的装置的实施例的示例性***架构100。

如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如模型训练类应用等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如利用终端设备101、102、103上采集的训练数据集合对待训练模型进行训练的后台服务器。后台服务器可以获取训练数据集合，利用已训练模型和待训练模型分别提取训练数据集合中各训练数据的特征集合，并根据提取的特征集合确定目标特征对集合，以训练待训练模型。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本申请实施例所提供的用于训练模型的方法可以由终端设备101、102、103或服务器105执行。相应地，用于训练模型的装置一般设置于终端设备101、102、103或服务器105中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的用于训练模型的方法的一个实施例的流程200。本实施例的用于训练模型的方法，包括以下步骤：

步骤201，获取已训练模型、待训练模型以及训练数据集合。

本实施例中，用于训练模型的方法的执行主体(例如图1中的服务器105)可以通过有线连接或无线连接方式获取终端设备采集的训练数据集合以及调用服务器本地或终端设备上的已训练模型和待训练模型。已训练模型可以是已经训练好的可以对待识别图片或待分类数据进行准确地识别或分类的神经网络模型，用以监督待训练模型的训练。待训练模型可以是初始的未经过任何训练的神经网络模型或者是经过部分训练的中间态神经网络模型，本申请对此不做具体限定。训练数据集合可以是一定数量的待识别的图片，例如，训练数据集合可以是一定数量的用于人脸识别的人脸图片；也可以是一定数量的待分类数据，例如，训练数据集合可以是一定数量篇数的中英文文档，将文档中的中文和英文进行分类。

步骤202，利用已训练模型提取训练数据集合中各训练数据的第一特征以及利用待训练模型提取训练数据集合中各训练数据的第二特征。

执行主体在获取已训练模型、待训练模型以及训练数据集合后，可以利用已训练模型提取训练数据集合中各训练数据的第一特征以及利用待训练模型提取训练数据集合中各训练数据的第二特征。例如，当训练数据集合是待识别的人脸图片集合时，训练数据集合中各训练数据可以是每张人脸图片，第一特征可以是由已训练模型提取的每张人脸图片的特征点，第二特征可以是由待训练模型提取的每张人脸图片的特征点。由已训练模型提取的各第一特征得到第一特征集合，由待训练模型提取的各第二特征得到第二特征集合。第一特征和第二特征还可以是由提取的特征点转换的数值，也可以是由提取的特征点转换的特征向量，本申请对特征的具体表现形式不做限定。

步骤203，根据得到的第一特征集合和第二特征集合，确定目标特征对集合。

执行主体在得到第一特征集合和第二特征集合后，可以根据得到的第一特征集合和第二特征集合，确定目标特征对集合。具体地，执行主体可以计算第一特征集合和第二特征集合中对应于同一训练数据的第一特征和第二特征计算相似度，相似度越小，表明该对应同一训练数据的第一特征和第二特征的差异越大。因此在得到的各相似度中，选取相似度较小的预设数量个相似度，分别确定选取的该预设数量个相似度对应的第一特征和第二特征，将确定出的各第一特征和对应的第二特征组成目标特征对，得到目标特征对集合。目标特征对集合中的各目标特征对中的各目标特征之间的差异大于预设阈值，本申请对预设阈值的数值不做具体限定。

步骤204，根据目标特征对集合，调整待训练模型的模型参数，以训练待训练模型。

执行主体在得到目标特征对集合后，可以根据目标特征对集合，调整待训练模型的模型参数，以训练待训练模型。具体地，执行主体可以以目标特征对集合中的各目标特征对中的已训练模型提取的第一特征为标准，迭代调整待训练模型的模型参数，更新待训练模型再次提取到的对应同一训练数据的第二特征，并梯度回传及更新第二特征与对应同一训练数据的第一特征之间的差异，以训练待训练模型，直至确定该差异小于预设阈值，得到训练好的目标模型。

继续参考图3，其示出了根据本申请的用于训练模型的方法的一个应用场景的示意图。在图3的应用场景中，服务器301获取已训练模型303、待训练模型304以及训练数据集合302。服务器301利用已训练模型303提取训练数据集合中各训练数据的第一特征以及利用待训练模型304提取训练数据集合302中各训练数据的第二特征。服务器301根据得到的第一特征集合305和第二特征集合306，确定目标特征对集合307。服务器301根据目标特征对集合307，调整待训练模型304的模型参数308，以训练待训练模型304。

本实施例通过根据已训练模型获取的第一特征对集合和待训练模型获取的第二特征对集合，确定目标特征对集合，并据此得到差异较大的特征对，根据确定出的差异较大的特征对，迭代训练待训练模型，可以提高模型训练效率以及训练效果，训练后的模型可以实现准确地对图像进行处理或对数据进行分类，简化训练过程，提高图像处理或数据处理的效率。

继续参考图4，其示出了根据本申请的用于训练模型的方法的另一个实施例的流程400。如图4所示，本实施例的用于训练模型的方法，可以包括以下步骤：

步骤401，获取已训练模型、待训练模型以及训练数据集合。

步骤402，利用已训练模型提取训练数据集合中各训练数据的第一特征以及利用待训练模型提取训练数据集合中各训练数据的第二特征。

步骤403，根据得到的第一特征集合和第二特征集合，确定目标特征对集合。

步骤401～步骤403的原理与步骤201～步骤203的原理类似，此处不再赘述。

具体地，步骤403可以通过步骤4031～步骤4034实现：

步骤4031，确定第一特征集合的第一特征对。

执行主体在得到第一特征集合和第二特征集合后，可以确定第一特征集合的第一特征对。具体地，执行主体可以将第一特征集合中的各特征两两随意组合，得到各第一特征对。作为另一种实现方式，执行主体还可以将训练数据集中的各训练数据在矩阵中以标题的形式排列成一行和对应的该行中各训练数据的一列。然后将对应各训练数据的各第一特征在该矩阵中对应排列，从而得到对应同一训练数据的相同第一特征组成的特征对，或得到对应两个不同训练数据的不同第一特征组成的特征对。例如，训练数据集为：图1，图2，当然，训练数据集应该包括大量的训练数据，这里仅以训练数据集中包括两张图片为例。则该训练数据集中的各训练数据也就是图1和图2对应的第一特征集合可以为{1，2}。其中，图1对应第一特征1，图2对应第一特征2。则第一特征集合的第一特征对可以是对应同一训练数据即图1的特征对(1，1)，对应两个不同训练数据即图1、图2的特征对(1，2)，对应两个不同训练数据即图2、图1的特征对(2，1)，对应同一训练数据即图2的特征对(2，2)。

步骤4032，确定与各第一特征对对应的各训练数据对。

执行主体在确定第一特征集合的第一特征对后，可以确定与各第一特征对对应的各训练数据对。例如，特征对(1，1)对应同一训练数据即图1、图1训练数据对。特征对(1，2)对应两个不同训练数据组成的训练数据对，即图1、图2训练数据对。特征对(2，1)对应两个不同训练数据组成的训练数据对，即图2、图1训练数据对。特征对(2，2)对应同一训练数据组成的训练数据对，即图2、图2训练数据对。

步骤4033，根据各训练数据对，确定第二特征集合的第二特征对。

执行主体在确定与各第一特征对对应的各训练数据对后，可以根据各训练数据对，确定第二特征集合的第二特征对。例如，训练数据集为：图1，图2，当然，训练数据集应该包括大量的训练数据，这里仅以训练数据集中包括两张图片为例，识别图片中的人脸。则该训练数据集中的各训练数据也就是图1和图2对应的第二特征集合可以为{1’，2’}。其中，图1对应第二特征1’，图2对应第二特征2’。根据得到的各训练数据对，确定对应的第二特征对。例如，确定出的各训练数据对为图1、图1训练数据对、图1、图2训练数据对、图2、图1训练数据对和图2、图2训练数据对。则对应的第二特征对分别为(1’，1’)、(1’，2’)、(2’，1’)和(2’，2’)。

步骤4034，根据各第一特征对和各第二特征对，确定目标特征对集合。

执行主体在确定第一特征对和第二特征对后，可以根据各第一特征对和各第二特征对，确定目标特征对集合。具体地，执行主体可以将对应同一训练数据对的第一特征对和第二特征对中对应的特征进行相减，根据相减得到的结果，确定目标特征对。具体地，当结果差异大于预设阈值时，将该结果对应的第一特征对和第二特征对中对应同一训练数据的第一特征和第二特征组成的特征对确定为目标特征对，由此得到目标特征对集合。例如，第一特征对(1，2)减去对应同一训练数据对的第二特征对(1’，2’)，其结果大于预设阈值，比如预设阈值是0，本申请对预设阈值不做具体限定。则将对应同一训练数据图1的第一特征1和第二特征1’组成的特征对(1，1’)，以及对应同一训练数据图2的第一特征2和第二特征2’组成的特征对(2，2’)均确定为目标特征对，由此确定目标特征对集合{(1，1’)，(2，2’)}，当然，目标特征对集合中可以不仅包含这两个特征对，这里仅以这两个特征对为例进行说明。

本实施例通过确定出对应同一训练数据的已训练模型提取的特征和待训练模型提取的特征之间的差异较大的特征对集合，通过这些特征对集合训练待训练模型，可以提高对待训练模型的训练效率以及提高训练效果，实现小的、简单的模型可以达到大的、复杂的模型对图片或数据进行处理时的同样的处理效果，简化训练过程，提高图像处理或数据处理的效率。

具体地，步骤4034可以通过步骤40341～步骤40342实现：

步骤40341，计算各第一特征对的第一相似度和各第二特征对的第二相似度。

执行主体在确定第一特征对和第二特征对后，可以计算各第一特征对的第一相似度和各第二特征对的第二相似度。具体地，执行主体可以计算各第一特征对中的第一特征之间的相似度，例如，可以通过预设的特征与向量之间的对应关系，将各第一特征转换成各第一特征向量，然后计算各第一特征向量之间的余弦相似度，并作为各第一相似度。执行主体可以计算各第二特征对中的第二特征之间的相似度，例如，可以通过预设的特征与向量之间的对应关系将各第二特征转换成各第二特征向量，然后计算各第二特征向量之间的余弦相似度，并作为各第二相似度。

步骤40342，根据各第一相似度和各第二相似度，确定目标特征对集合。

执行主体在得到各第一相似度和各第二相似度后，可以根据各第一相似度和各第二相似度，确定目标特征对集合。具体地，执行主体可以将对应同一训练数据对的第一相似度和第二相似度相减，并将相减结果取绝对值，根据得到的绝对值确定目标特征对集合。具体地，执行主体可以将得到的各绝对值进行排序，可以是递增排序，也可以是递减排序，以递增排序为例，将排名在前N名的绝对值对应的训练数据对所对应的第一特征集合和第二特征集合中的第一特征和对应同一训练数据的第二特征组成目标特征对，可以理解的是，一个绝对值可以确定出一组或两组目标特征对。

示例的，计算第一特征对(1，2)的相似度，假设为0.1，计算对应同一训练数据对的第二特征对(1’，2’)的相似度，假设为0.3；计算第一特征对(1，1)的相似度，为1，计算对应同一训练数据对的第二特征对(1’，1’)的相似度，为1。则将对应同一训练数据对的第一相似度和第二相似度相减，得到0.1-0.3＝-0.2，绝对值为0.2；1-1＝0。对得到的绝对值进行递增排序0，0.2。假设将排名在第一名的绝对值对应的训练数据对所对应的第一特征集合和第二特征集合中的第一特征和第二特征组成目标特征对，则绝对值0对应的训练数据对为图1，图1；该训练数据对所对应的第一特征集合和第二特征集合中的第一特征和第二特征分别为1和1’，则最后得到的目标特征对为(1，1’)。由得到的各目标特征对组成目标特征对集合。

本实施例通过第一特征对的第一相似度和第二特征对的第二相似度确定目标特征对集合，可以准确地确定出已训练模型和待训练模型对同一训练数据所提取出的特征中差异较大的特征对，从而实现了对训练数据的有效蒸馏，可以提高对待训练模型的训练效率和提升模型训练效果，实现小的、简单的模型可以达到大的、复杂的模型对图片或数据进行处理时的同样的处理效果，简化训练过程，提高图像处理或数据处理的效率。

具体地，步骤40342可以通过步骤403421～步骤403422实现：

步骤403421，分别根据各第一相似度和各第二相似度，确定第一相似度矩阵和第二相似度矩阵。

执行主体在得到第一相似度和第二相似度后，可以分别根据各第一相似度和各第二相似度，确定第一相似度矩阵和第二相似度矩阵。具体地，执行主体可以将各第一相似度排列成第一相似度矩阵，然后，确定第一相似度矩阵中各第一相似度的位置；然后根据该确定的各位置确定与各第一相似度对应同一训练数据对的第二相似度在第二相似度矩阵中的位置；并根据确定的该位置和对应的第二相似度，得到第二相似度矩阵。第一相似度矩阵和第二系相似度矩阵中各第一相似度和对应位置的第二相似度是对应同一训练数据对的。

步骤403422，基于第一相似度矩阵和第二相似度矩阵，确定目标特征对集合。

执行主体在得到第一相似度矩阵和第二相似度矩阵后，可以基于第一相似度矩阵和第二相似度矩阵，确定目标特征对集合。具体地，执行主体可以将第一相似度矩阵中的各第一相似度和第二相似度矩阵中与各第一相似度对应位置的各第二相似度做比值计算，并将比值计算结果与1进行比较。当比值计算结果与1的差值的绝对值大于预设阈值时(预设阈值可以设为0.5，本申请对此不作具体限定)，表明该比值计算结果对应的第一相似度和第二相似度差异较大。则将该第一相似度和第二相似度对应的训练数据对所对应的第一特征集合和第二特征集合中的第一特征和对应同一训练数据的第二特征组成的特征对确定为目标特征对。将确定出的各目标特征对组成目标特征对集合。

本实施例通过得到第一相似度矩阵和第二相似度矩阵，可以精确的对对应于同一训练数据对的相似度进行计算处理，以准确地得到由目标特征对组成的目标特征对集合。

具体地，步骤403422可以通过步骤4034221～步骤4034223实现：

步骤4034221，根据第一相似度矩阵和第二相似度矩阵，确定各第一特征对与对应的各第二特征对的相似度差异值。

执行主体在得到第一相似度矩阵和第二相似度矩阵后，可以根据第一相似度矩阵和第二相似度矩阵，确定各第一特征对与对应的各第二特征对的相似度差异值。具体地，执行主体可以将第一相似度矩阵与第二相似度矩阵相减，即将第一相似度矩阵中的各第一相似度与第二相似度矩阵中对应位置的各第二相似度相减，然后将相减的结果取绝对值，得到各第一特征对与对应的各第二特征对的相似度差异值。相似度差异值为0或正数。

步骤4034222，根据相似度差异值和预设阈值，确定目标相似度差异值。

执行主体在得到相似度差异值后，可以判断各相似度差异值与预设阈值的大小。对每一个相似度差异值，响应于确定该相似度差异值大于预设阈值，则确定该相似度差异值为目标相似度差异值。目标相似度差异值，可以是差异值大于预设阈值的第一相似度与对应于同一训练数据的第二相似度之间的相似度差异值。得到目标相似度差异值的目的是为了得到其对应的差异较大的相似度，从而根据确定出的差异较大的相似度确定差异较大的第一特征和对应同一训练数据的第二特征，以训练待训练模型。这里的“差异较大”可以指的是差异超过预设阈值。

步骤4034223，根据目标相似度差异值，确定目标特征对集合。

执行主体在得到目标相似度差异值后，可以将该相似度差异值对应的各相似度所对应的训练数据对所对应的第一特征集合和第二特征集合中的第一特征和对应同一训练数据的第二特征组成的特征对确定为目标特征对。将确定出的各目标特征对组成目标特征对集合。

本实施例通过得到目标相似度差异值，从而得到其对应的差异较大的相似度，从而可以根据确定出的差异较大的相似度准确地确定差异较大的第一特征和对应同一训练数据的第二特征，提高待训练模型的训练效率和训练精度，实现小的、简单的模型可以达到大的、复杂的模型对图片或数据进行处理时的同样的处理效果，简化训练过程，提高图像处理或数据处理的效率。

步骤404，根据目标特征对集合，调整待训练模型的模型参数，以训练待训练模型。

步骤404的原理与步骤204的原理类似，此处不再赘述。

具体地，步骤404可以通过步骤4041～步骤4045实现：

步骤4041，根据目标特征对集合和待训练模型的损失函数，得到损失函数值。

执行主体在得到目标特征对集合后，可以根据目标特征对集合和待训练模型的损失函数，得到损失函数值。具体地，例如，目标特征对集合为{(1，1’)，(2，2’)}，假设待训练模型的损失函数为(X-Y)²，其中X，Y可以分别代表第一特征和第二特征。则(X-Y)²＝(1-1’)²即可以为损失函数值。(2-2’)²也可以为损失函数值。当然，(1-1’)²+(2-2’)²也可以为损失函数值。

步骤4042，根据损失函数值，调整并更新待训练模型的模型参数。

执行主体在得到损失函数值后，可以根据损失函数值，调整并更新待训练模型的模型参数。具体地，执行主体可以调整待训练模型的模型参数，使得损失函数值，例如(1-1’)²+(2-2’)²趋近于0。而在损失函数值趋近于0的调整过程中，模型参数也在跟随调整和更新。具体地，损失函数趋近于0时，待训练模型提取的第二特征在变化，而该提取的第二特征变化是由于待训练模型的模型参数在跟随损失函数值的变化在自适应地调整并更新。

步骤4043，根据更新的模型参数，再次提取各训练数据的第二特征，得到更新的第二特征集合。

执行主体在更新模型参数后，可以根据更新的模型参数，再次提取各训练数据的第二特征，得到更新的第二特征集合。具体地，执行主体更新模型参数，使得待训练模型识别的第二特征的权重改变，从而会使得待训练模型再次提取的第二特征不同于历史提取的第二特征。待训练模型在再次提取各训练数据的第二特征后，会更新第二特征集合，执行主体应用不断更新的第二特征集合不断地完善对待训练模型的训练。

步骤4044，根据第一特征集合以及更新的第二特征集合，确定更新的目标特征对集合。

执行主体在得到更新的第二特征集合后，可以根据第一特征集合以及更新的第二特征集合，确定更新的目标特征对集合。具体地，执行主体根据得到的更新的第二特征集合基于上述实施例提到的确定目标特征对集合的方法，迭代更新目标特征对集合，并根据迭代更新的目标特征对集合，不断完善对待训练模型的训练。

步骤4045，根据更新的目标特征对集合，调整待训练模型的模型参数。

执行主体得到的更新的目标特征对集合，仍然是第一特征和对应同一训练数据的第二特征的差异值超过预设阈值的特征对集合，执行主体可以将更新的目标特征对集合输入损失函数中，调整待训练模型的模型参数，迭代训练待训练模型，直至不输出目标特征对集合，结束对待训练模型的训练。或者是，当迭代次数超过阈值时，即使仍然会输出目标特征对集合，也可以结束对待训练模型的训练。

本实施例通过根据迭代更新的目标特征对集合，调整待训练模型的模型参数，以训练待训练模型，可以提高对待训练模型的训练效率和训练效果，实现小的、简单的模型可以达到大的、复杂的模型对图片或数据进行处理时的同样的处理效果，简化训练过程，提高图像处理或数据处理的效率。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于训练模型的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的用于训练模型的装置500包括：获取单元501、特征提取单元502、目标特征对集合确定单元503和模型训练单元504。

获取单元501，被配置成获取已训练模型、待训练模型以及训练数据集合。

特征提取单元502，被配置成利用已训练模型提取训练数据集合中各训练数据的第一特征以及利用待训练模型提取训练数据集合中各训练数据的第二特征。

目标特征对集合确定单元503，被配置成根据得到的第一特征集合和第二特征集合，确定目标特征对集合。

模型训练单元504，被配置成根据目标特征对集合，调整待训练模型的模型参数，以训练待训练模型。

在本实施例的一些可选的实现方式中，目标特征对集合确定单元503进一步被配置成：确定第一特征集合的第一特征对；确定与各第一特征对对应的各训练数据对；根据各训练数据对，确定第二特征集合的第二特征对；根据各第一特征对和各第二特征对，确定目标特征对集合。

在本实施例的一些可选的实现方式中，目标特征对集合确定单元503进一步被配置成：计算各第一特征对的第一相似度和各第二特征对的第二相似度；根据各第一相似度和各第二相似度，确定目标特征对集合。

在本实施例的一些可选的实现方式中，目标特征对集合确定单元503进一步被配置成：分别根据各第一相似度和各第二相似度，确定第一相似度矩阵和第二相似度矩阵；基于第一相似度矩阵和第二相似度矩阵，确定目标特征对集合。

在本实施例的一些可选的实现方式中，目标特征对集合确定单元503进一步被配置成：根据第一相似度矩阵和第二相似度矩阵，确定各第一特征对与对应的各第二特征对的相似度差异值；根据相似度差异值和预设阈值，确定目标相似度差异值；根据目标相似度差异值，确定目标特征对集合。

在本实施例的一些可选的实现方式中，模型训练单元504进一步被配置成：多次执行以下迭代步骤：根据目标特征对集合和待训练模型的损失函数，得到损失函数值；根据损失函数值，调整并更新待训练模型的模型参数；根据更新的模型参数，再次提取各训练数据的第二特征，得到更新的第二特征集合；根据第一特征集合以及更新的第二特征集合，确定更新的目标特征对集合；根据更新的目标特征对集合，调整待训练模型的模型参数。

应当理解，用于训练模型的装置500中记载的单元501至单元504分别与参考图2中描述的方法中的各个步骤相对应。由此，上文针对用于训练模型的方法描述的操作和特征同样适用于装置500及其中包含的单元，在此不再赘述。

根据本申请的实施例，本申请还提供了一种用于训练模型的电子设备和一种可读存储介质。

如图6所示，是根据本申请实施例的用于训练模型的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线605互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线605与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的用于训练模型的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于训练模型的方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及单元，如本申请实施例中的用于训练模型的方法对应的程序指令/单元(例如，附图5所示的获取单元501、特征提取单元502、目标特征对集合确定单元503和模型训练单元504)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于训练模型的方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据用于训练模型的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至用于训练模型的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

用于训练模型的方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线605或者其他方式连接，图6中以通过总线605连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与用于训练模型的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过根据已训练模型获取的第一特征对集合和待训练模型获取的第二特征对集合，确定目标特征对集合，并据此得到差异较大的特征对，根据确定出的差异较大的特征对，迭代训练待训练模型，可以提高模型训练效率以及模型训练效果。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种用于训练模型的方法，包括：

获取已训练模型、待训练模型以及训练数据集合；

利用所述已训练模型提取所述训练数据集合中各训练数据的第一特征以及利用所述待训练模型提取所述训练数据集合中各训练数据的第二特征；

根据得到的第一特征集合和第二特征集合，确定目标特征对集合；

根据所述目标特征对集合，调整所述待训练模型的模型参数，以训练所述待训练模型。

2.根据权利要求1所述的方法，其中，所述根据所述第一特征集合和第二特征集合，确定目标特征对集合，包括：

确定所述第一特征集合的第一特征对；

确定与各所述第一特征对对应的各训练数据对；

根据所述各训练数据对，确定所述第二特征集合的第二特征对；

根据各所述第一特征对和各所述第二特征对，确定目标特征对集合。

3.根据权利要求2所述的方法，其中，所述根据各所述第一特征对和各所述第二特征对，确定目标特征对集合，包括：

计算各所述第一特征对的第一相似度和各所述第二特征对的第二相似度；

根据各所述第一相似度和各所述第二相似度，确定目标特征对集合。

4.根据权利要求3所述的方法，其中，所述根据各所述第一相似度和各所述第二相似度，确定目标特征对集合，包括：

分别根据各所述第一相似度和各所述第二相似度，确定第一相似度矩阵和第二相似度矩阵；

基于所述第一相似度矩阵和所述第二相似度矩阵，确定目标特征对集合。

5.根据权利要求4所述的方法，其中，所述基于所述第一相似度矩阵和所述第二相似度矩阵，确定目标特征对集合，包括：

根据所述第一相似度矩阵和所述第二相似度矩阵，确定各所述第一特征对与对应的各所述第二特征对的相似度差异值；

根据所述相似度差异值和预设阈值，确定目标相似度差异值；

根据所述目标相似度差异值，确定目标特征对集合。

6.根据权利要求1所述的方法，其中，所述根据所述目标特征对集合，调整所述待训练模型的模型参数，包括：

多次执行以下迭代步骤：

根据所述目标特征对集合和所述待训练模型的损失函数，得到损失函数值；

根据所述损失函数值，调整并更新所述待训练模型的模型参数；

根据更新的模型参数，再次提取各训练数据的第二特征，得到更新的第二特征集合；

根据所述第一特征集合以及更新的第二特征集合，确定更新的目标特征对集合；

根据所述更新的目标特征对集合，调整所述待训练模型的模型参数。

7.一种用于训练模型的装置，包括：

获取单元，被配置成获取已训练模型、待训练模型以及训练数据集合；

特征提取单元，被配置成利用所述已训练模型提取所述训练数据集合中各训练数据的第一特征以及利用所述待训练模型提取所述训练数据集合中各训练数据的第二特征；

目标特征对集合确定单元，被配置成根据得到的第一特征集合和第二特征集合，确定目标特征对集合；

模型训练单元，被配置成根据所述目标特征对集合，调整所述待训练模型的模型参数，以训练所述待训练模型。

8.根据权利要求7所述的装置，其中，所述目标特征对集合确定单元进一步被配置成：

确定所述第一特征集合的第一特征对；

确定与各所述第一特征对对应的各训练数据对；

根据所述各训练数据对，确定所述第二特征集合的第二特征对；

根据各所述第一特征对和各所述第二特征对，确定目标特征对集合。

9.根据权利要求8所述的装置，其中，所述目标特征对集合确定单元进一步被配置成：

计算各所述第一特征对的第一相似度和各所述第二特征对的第二相似度；

根据各所述第一相似度和各所述第二相似度，确定目标特征对集合。

10.根据权利要求9所述的装置，其中，所述目标特征对集合确定单元进一步被配置成：

分别根据各所述第一相似度和各所述第二相似度，确定第一相似度矩阵和第二相似度矩阵；

基于所述第一相似度矩阵和所述第二相似度矩阵，确定目标特征对集合。

11.根据权利要求10所述的装置，其中，所述目标特征对集合确定单元进一步被配置成：

根据所述第一相似度矩阵和所述第二相似度矩阵，确定各所述第一特征对与对应的各所述第二特征对的相似度差异值；

根据所述相似度差异值和预设阈值，确定目标相似度差异值；

根据所述目标相似度差异值，确定目标特征对集合。

12.根据权利要求7所述的装置，其中，所述模型训练单元进一步被配置成：

多次执行以下迭代步骤：

根据所述目标特征对集合和所述待训练模型的损失函数，得到损失函数值；

根据所述损失函数值，调整并更新所述待训练模型的模型参数；

根据更新的模型参数，再次提取各训练数据的第二特征，得到更新的第二特征集合；

根据所述第一特征集合以及更新的第二特征集合，确定更新的目标特征对集合；

根据所述更新的目标特征对集合，调整所述待训练模型的模型参数。

13.一种用于训练模型的电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。

Images