CN114332558A

CN114332558A - 多任务神经网络的训练方法、装置、计算设备及存储介质

Info

Publication number: CN114332558A
Application number: CN202111533167.0A
Authority: CN
Inventors: 陈博文; 吴鸿伟; 翟永强; 林淑强; 徐晶; 吴顺平
Original assignee: Xiamen Meiya Pico Information Co Ltd
Current assignee: Xiamen Meiya Pico Information Co Ltd
Priority date: 2021-12-15
Filing date: 2021-12-15
Publication date: 2022-04-12

Abstract

本发明公开一种多任务神经网络的训练方法、装置、计算设备及存储介质，该方法包括：获取训练数据集，并且对于每个任务随机采集训练数据集中一定数量的图片进行标注；对训练数据集中的图片进行预处理，若图片具有所有任务的标签，采用第一方式得到第一图片，反之采用第一方式和第二方式得到第一图片和第二图片；对于每一任务，如果图片具有该任务的标签，则采用交叉熵方法计算该任务的损失函数，反之则计算对应的第一图片和第二图片在该任务上的KL散度值作为损失函数；根据所有损失函数计算梯度值，并根据梯度值调整预设的多任务神经网络模型。根据本发明实施例可以大大减少训练阶段人力成本和时间成本的投入，提升模型对于多任务的预测泛化能力。

Description

多任务神经网络的训练方法、装置、计算设备及存储介质

技术领域

本发明涉及计算机机器学习技术领域，特别涉及一种多任务神经网络的训练方法、装置、计算设备及存储介质。

背景技术

近几年，多任务模型发展迅速。传统的多任务神经网络模型需要对使用到的图片给出各项任务的标签，而多任务模型的训练，主要有以下几种方式：一，使用人工标注的方式，先对模型训练、测试所使用的每一张图片的各个任务的标签进行标注，再使用模型进行训练；二，收集各项单独任务的已有标签数据放入大数据集，训练模型时分别对各项单独的任务进行训练；三，对于每一条任务，每次随机采样一批图片进行标注，当进行模型训练时，忽略没有标注的标签；四，使用现有的各单任务模型对数据集进行预测，并给出图片伪标签，多任务模型使用伪标签进行训练，之后由多任务模型通过迭代自学习的方法不断进行“清洗标签+模型训练”的过程。

上述方案中，对于海量数据，使用人工标注的方法需要消耗大量的人力和时间成本；使用各项单独任务的数据集进行训练的方法则难以充分利用所有数据；而使用随机采样标注的方法可能会使模型学到训练集上特定有标签任务之间的组合信息，造成与实际情况的较大偏差；使用迭代自学习的方法可能会因模型受到在早期学到的错误信息影响到后续梯度优化的方向，并且训练所需时间相对较长。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施例部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

鉴于以上技术问题，本发明提供了一种半监督的多任务神经网络的训练方法、装置、计算设备及存储介质，其不需要进行大量人工标注，模型能够充分利用无标签数据进行训练从而克服因标签缺失造成的对所有图片信息的利用，并且克服了因为对无标签数据的不当利用所导致的优化梯度方向偏差的情况。

根据本发明的一个方面，提供一种多任务神经网络的训练方法，其包括：

获取训练数据集，并且对于每个任务随机采集所述训练数据集中一定数量的图片进行标注；

对所述训练数据集中的图片进行预处理，其中，若所述图片具有所有任务的标签，则采用第一方式进行预处理得到第一图片，反之则采用第一方式和第二方式分别进行预处理得到所述第一图片和第二图片；

将经过预处理的所述图片输入预设的多任务神经网络模型进行处理，并根据处理结果计算损失函数，其中，对于每一所述任务，如果输入所述预设的多任务神经网络模型的所述图片具有该任务的标签，则采用交叉熵方法计算该任务的损失函数，如果输入所述预设的多任务神经网络模型的图片不具有该任务的标签，则计算所述图片对应的第一图片和第二图片在该任务上的KL散度值作为损失函数；

根据所有损失函数计算梯度值，并根据所述梯度值调整所述预设的多任务神经网络模型。

根据本发明的另一方面，提供一种多任务神经网络的训练装置，其包括：

数据获取模块，用于获取训练数据集，并且对于每个任务随机采集所述训练数据集中一定数量的图片进行标注；

预处理模块，用于对所述训练数据集中的图片进行预处理，其中，若所述图片具有所有任务的标签，则采用第一方式进行预处理得到第一图片，反之则采用第一方式和第二方式分别进行预处理得到所述第一图片和第二图片；

训练模块，用于将经过预处理的所述图片输入预设的多任务神经网络模型进行处理，并根据处理结果计算损失函数，其中，对于每一所述任务，如果输入所述预设的多任务神经网络模型的所述图片具有该任务的标签，则采用交叉熵方法计算该任务的损失函数，如果输入所述预设的多任务神经网络模型的图片不具有该任务的标签，则计算所述图片对应的第一图片和第二图片在该任务上的KL散度值作为损失函数；

调整模块，用于根据所有损失函数计算梯度值，并根据所述梯度值调整所述预设的多任务神经网络模型。

根据本发明的又一方面，提供一种计算设备，所述设备包括：处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现根据本发明一方面的所述的多任务神经网络的训练方法。

根据本发明的再一方面，提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现根据本发明一方面的多任务神经网络的训练方法。

根据本发明的多任务神经网络的训练方法及装置、计算设备及存储介质，通过随机采集训练数据中的部分数据进行标注，并且在训练过程中对于无标签数据，例如经过预处理的两个对应数据的KL散度值作为损失函数，这样便使得整个训练不需要进行大量人工标注，且模型能够充分利用无标签数据进行训练从而克服因标签缺失造成的对所有图片信息的利用，并且克服了因为对无标签数据的不当利用所导致的优化梯度方向偏差的情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的多任务神经网络的训练方法的示意性流程图；

图2为本发明实施例的多任务神经网络的训练装置的示意性结构框图；

图3是本发明实施例提供的一种计算设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明实施例可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明实施例发生混淆，对于本领域公知的一些技术特征未进行描述。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

图1为根据本发明实施例的多任务神经网络的训练方法100的示意性流程图。

请参考图1，本发明实施例公开的多任务神经网络的训练方法100，包括：

步骤S101，获取训练数据集，并且对于每个任务随机采集所述训练数据集中一定数量的图片进行标注。

步骤S102，对所述训练数据集中的图片进行预处理，其中，若所述图片具有所有任务的标签，则采用第一方式进行预处理得到第一图片，反之则采用第一方式和第二方式分别进行预处理得到所述第一图片和第二图片。

步骤S103，将经过预处理的所述图片输入预设的多任务神经网络模型进行处理，并根据处理结果计算损失函数，其中，对于每一所述任务，如果输入所述预设的多任务神经网络模型的所述图片具有该任务的标签，则采用交叉熵方法计算该任务的损失函数，如果输入所述预设的多任务神经网络模型的图片不具有该任务的标签，则计算所述图片对应的第一图片和第二图片在该任务上的KL散度值作为损失函数。

步骤S104，根据所有损失函数计算梯度值，并根据所述梯度值调整所述预设的多任务神经网络模型。

在本申请中，多任务神经网络用于同时实现多种任务的处理，例如两种或三种或更多种的任务。作为一个示例，本申请训练的多任务神经网络可以用于人员的性别识别、口罩佩戴识别、墨镜佩戴识别等等。还可以用于人员服装穿着种类、随身物品识别等。

在S101中，训练数据集通过各种公开数据集或其他数据集获取，并且对于每个任务随机对于每个任务随机采集所述训练数据集中一定数量的图片进行标注。例如训练数据集包括M张图片，对于每个任务可以从训练数据集中随机采集m张图片进行标注。并且m的值远小于M。以人员口罩佩戴识别和性别识别的多任务神经网络的训练为例，对于人员口罩佩戴识别任务，可以从训练数据集中随机采集m1张图片进行标注。同样对于性别识别任务，也可以从训练数据集中随机采集m2张图片进行标注。m1和m2 均远小于M。这样，在本申请中由于不是对训练数据集中的所有图片进行标注，仅标注其中一部分图片，因此可以大大减少训练阶段的人力成本和时间成本的投入。

在本申请中，由于对于每个任务仅随机采集训练数据集中一定数量的图片进行标注，因此训练数据集包括无标签图片和有标签图片，即至少对于单个任务而言，训练数据集中很大一部分图片属于无标签图片(即未标注图片)。换言之，训练阶段既使用有标签图片，也使用无标签图片。

在本申请中，对训练数据集中的图片进行标注可以使用人为标注方式，也可以使用训练的标注模型进行标注，或者采用其它方式标注。

在本申请中，在训练阶段，对输入多任务神经网络模型的图片进行预处理，具体处理方式，根据该图片是否具有所有任务的标签采用不同的方式。

具体地，在S102中，对于具有所有任务的标签的图片而言，采用第一方式进行预处理得到第一图片，第一方式表示的是正常流程的有监督学***翻转、随机边缘裁剪等处理。

对于仅具有部分任务的标签或没有任何标签的图片而言，处理采用第一方式进行预处理得到第一图片之外，还采用第二方式进行预处理来得到第二图片。第二图片可以理解为失真图片。第二方式例如为随机改变图片形状、位置或色彩的数据增强处理。并且，第二方式的预处理可以执行两次或更多次。

以人员口罩佩戴识别和性别识别的多任务神经网络的训练为例，如果某一图片仅进行了人员口罩佩戴情况标注，则在进行预处理时，采用第一方式和第二方式分别进行预处理来得到该图片的第一图片和第二图片。如果某一图片既有人员口罩佩戴情况标注，也有性别标注，则仅采用第一方式进行预处理来得到该图片的第一图片。

当对图片完成预处理之后，则进行训练，即将经过将经过预处理的所述图片输入预设的多任务神经网络模型进行处理，并根据处理结果计算损失函数。应当理解，在本申请中，既可以在完成所有图片的预处理之后才开始训练，也可以一边对图片进行预处理，一边进行训练。

在本申请中，为了能够充分利用无标签数据进行训练从而克服因标签缺失造成的对所有图片信息的利用，并且克服了因为对无标签数据的不当利用所导致的优化梯度方向偏差的情况，在S103中针对有标签图片和无标签图片采用不同的处理方式，具体地，对于每一任务，如果输入预设的多任务神经网络模型的图片具有该任务的标签，则采用交叉熵方法计算该任务的损失函数，如果输入预设的多任务神经网络模型的图片不具有该任务的标签，则计算图片对应的第一图片和第二图片在该任务上的KL散度值作为损失函数。作为一个示例，以人员口罩佩戴识别和性别识别的多任务神经网络的训练为例，对于人员口罩佩戴识别任务而言，如果输入的图片具有口罩佩戴情况标签，则会采用交叉熵方法计算口罩佩戴识别任务的损失函数；如果输入的图片不具有口罩佩戴情况标签，则需要待该图片对应的第二图片输入网络后，计算该图片的第一图片(之前输入的图片即为第一图片) 和第二图片在口罩佩戴识别任务上的KL散度值作为损失函数。换言之，如果一个图片，既有口罩佩戴情况标签也有性别标签，则训练过程中直接使用交叉熵方法计算该图片在人员口罩佩戴识别任务和性别识别任务的损失函数。反之如果该图片仅有口罩佩戴情况标签或性别标签，则仅使用交叉熵方法计算有标签那项任务(例如口罩佩戴识别)的损失函数，至于没有标签的那项任务(例如性别识别)，则需要待该图片的第二图片输入多任务神经网络后，根据第一图片和第二图片在没有标签的那项任务上的输出，计算KL散度值作为损失函数。

在本申请中，对于无标签训练数据，在预处理时分别采用第一方式和第二方式来得到第一图片和第二图片，然后训练过程中通过计算第一图片和第二图片在相应任务上的KL散度值作为损失函数，这样，相当于利用地如图片的输出作为标签来计算损失函数，从而调整模型，不仅可以充分利用无标签数据进行训练从而克服因标签缺失造成的对所有图片信息的利用，并且克服了因为对无标签数据的不当利用所导致的优化梯度方向偏差的情况。

进一步地，在本申请中，为了使第二图片的输出能够标签使用，对第二图片的输出设定了相应的范围，例如当第二图片在对应任务上的输出值 p∈[t₁，t₂](其中t1和t2为超参数)时，才计算第一图片和第二图片在该任务上的KL散度值作为损失函数。反之如果第二图片在对应任务上的输出值不在设定范围之内，则不计算计算第一图片和第二图片在该任务上的KL散度值作为损失函，换言之，直接舍弃第二图片的输出数据，不使用该数据计算损失函数，也即不计算该图片在任务上的损失函数。

进一步地，在本申请中，在将经过预处理的所述图片输入预设的多任务神经网络模型进行处理时，对于所述第一图片记录处理数据和输出数据，对于所述第二图片仅记录输出数据。这是因为第一图片的处理数据(例如每层神经网络的参数和输出等数据)会用于后续梯度值计算和模型调整，因此需要记录，而第二图片不用于调整梯度，因此仅记录输出数据用于计算在无标签任务上的KL散度值即可。

根据本发明的多任务神经网络的训练方法，通过随机采集训练数据中的部分数据进行标注，并且在训练过程中对于无标签数据，例如经过预处理的两个对应数据的KL散度值作为损失函数，这样便使得整个训练不需要进行大量人工标注，且模型能够充分利用无标签数据进行训练从而克服因标签缺失造成的对所有图片信息的利用，并且克服了因为对无标签数据的不当利用所导致的优化梯度方向偏差的情况。

图2为根据本发明实施例的多任务神经网络的训练装置200的示意性结构框图。下面结合图2对根据本发明实施例的多任务神经网络的训练装置200进行描述。

请参考图2，根据本发明实施例的多任务神经网络的训练装置200包括数据获取模块210、预处理模块220、训练模块230和调整模块240。

数据获取模块210用于获取训练数据集，并且对于每个任务随机采集所述训练数据集中一定数量的图片进行标注。数据获取模块210用于执行结合图1描述的多任务神经网络的训练方法中的步骤S101，该过程的详细描述参见前述结合图1的描述，在此不再赘述。

预处理模块220用于对所述训练数据集中的图片进行预处理，其中，若所述图片具有所有任务的标签，则采用第一方式进行预处理得到第一图片，反之则采用第一方式和第二方式分别进行预处理得到所述第一图片和第二图片。预处理模块220用于执行结合图1描述的多任务神经网络的训练方法中的步骤S102，该过程的详细描述参见前述结合图1的描述，在此不再赘述。

训练模块230用于将经过预处理的所述图片输入预设的多任务神经网络模型进行处理，并根据处理结果计算损失函数，其中，对于每一所述任务，如果输入所述预设的多任务神经网络模型的所述图片具有该任务的标签，则采用交叉熵方法计算该任务的损失函数，如果输入所述预设的多任务神经网络模型的图片不具有该任务的标签，则计算所述图片对应的第一图片和第二图片在该任务上的KL散度值作为损失函数。训练模块230用于执行结合图1描述的多任务神经网络的训练方法中的步骤S103，该过程的详细描述参见前述结合图1的描述，在此不再赘述。

调整模块240用于根据所有损失函数计算梯度值，并根据所述梯度值调整所述预设的多任务神经网络模型。调整模块240用于执行结合图1描述的多任务神经网络的训练方法中的步骤S104，该过程的详细描述参见前述结合图1的描述，在此不再赘述。

在本申请一实施方式中，训练模块230包括判断子模块，用于在计算图片对应的第一图片和第二图片在该任务上的KL散度值作为损失函数之前，判断所述第二图片对应的该任务的输出是否处于设定范围之内，如果是，则计算所述图片对应的第一图片和第二图片在该任务上的KL散度值作为损失函数，反之则不计算所述图片在该任务的损失函数。

在本申请，训练模块230在将经过预处理的所述图片输入预设的多任务神经网络模型进行处理时，对于所述第一图片记录处理数据和输出数据，对于所述第二图片仅记录输出数据。

图2所示多任务神经网络的训练装置200中的各个模块/单元具有实现图1中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。

图3示出了本发明实施例提供的计算设备的硬件结构示意图。

计算设备600可以包括处理器601以及存储有计算机程序指令的存储器602。

具体地，上述处理器601可以包括中央处理器(Central Processing Unit， CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB) 驱动器或者两个或更多个以上这些的组合。在一个实例中，存储器602可以包括可移除或不可移除(或固定)的介质，或者存储器602是非易失性固态存储器。存储器602可在综合网关容灾设备的内部或外部。

在一个实例中，存储器602可以是只读存储器(Read Only Memory， ROM)。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM (PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

存储器602可以包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/ 有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本公开的一方面的方法所描述的操作。

处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现图1所示实施例中的方法/步骤S101至S104，并达到图1所示实例执行其方法/步骤达到的相应技术效果，为简洁描述在此不再赘述。

处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现图2所示实施例中的多任务神经网络的训练装置200，以及数据获取模块210、预处理模块220、训练模块230和调整模块240，并达到图2所示实例中的装置所达到的相应技术效果，为简洁描述在此不再赘述。

在一个示例中，计算设备600还可包括通信接口603和总线610。其中，如图3所示，处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。

通信接口603，主要用于实现本发明实施例中各模块、装置、单元和/ 或设备之间的通信。

总线610包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(Industry Standard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Express (PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

该计算设备600可以执行本发明实施例中的多任务神经网络的训练方法，从而实现结合图1描述的多任务神经网络的训练方法。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的多任务神经网络的训练方法的相应步骤，并且用于实现根据本发明实施例的多任务神经网络的训练装置的相应单元或模块。所述存储介质例如可以包括个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB 存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例多任务神经网络的训练装置中的各个功能模块，并且/或者可以执行根据本发明实施例的多任务神经网络的训练方法。

在一个实施例中，所述计算机程序指令在被计算机运行时执行以下步骤：获取训练数据集，并且对于每个任务随机采集所述训练数据集中一定数量的图片进行标注；对所述训练数据集中的图片进行预处理，其中，若所述图片具有所有任务的标签，则采用第一方式进行预处理得到第一图片，反之则采用第一方式和第二方式分别进行预处理得到所述第一图片和第二图片；将经过预处理的所述图片输入预设的多任务神经网络模型进行处理，并根据处理结果计算损失函数，其中，对于每一所述任务，如果输入所述预设的多任务神经网络模型的所述图片具有该任务的标签，则采用交叉熵方法计算该任务的损失函数，如果输入所述预设的多任务神经网络模型的图片不具有该任务的标签，则计算所述图片对应的第一图片和第二图片在该任务上的KL散度值作为损失函数；根据所有损失函数计算梯度值，并根据所述梯度值调整所述预设的多任务神经网络模型。

根据本发明实施例的多任务神经网络的训练方法中的各模块可以通过根据本发明实施例的多任务神经网络的训练方法的电子设备、服务器、***的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明的多任务神经网络的训练方法、装置、计算设备及存储介质，通过随机采集训练数据中的部分数据进行标注，并且在训练过程中对于无标签数据，例如经过预处理的两个对应数据的KL散度值作为损失函数，这样便使得整个训练不需要进行大量人工标注，且模型能够充分利用无标签数据进行训练从而克服因标签缺失造成的对所有图片信息的利用，并且克服了因为对无标签数据的不当利用所导致的优化梯度方向偏差的情况。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种多任务神经网络的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在计算所述图片对应的第一图片和第二图片在该任务上的KL散度值作为损失函数之前，还包括：

判断所述第二图片对应的该任务的输出是否处于设定范围之内，如果是，则计算所述图片对应的第一图片和第二图片在该任务上的KL散度值作为损失函数，反之则不计算所述图片在该任务的损失函数。

3.根据权利要求1或2所述的方法，其特征在于，所述第一方式包括裁剪或翻转处理。

4.根据权利要求1或2所述的方法，其特征在于，所述第二方式包括随机改变所述图片的形状、位置或色彩的数据增强处理。

5.根据权利要求1或2所述的方法，其特征在于，在将经过预处理的所述图片输入预设的多任务神经网络模型进行处理时，对于所述第一图片记录处理数据和输出数据，对于所述第二图片仅记录输出数据。

6.一种多任务神经网络的训练装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述训练模块包括：

判断子模块，用于在计算所述图片对应的第一图片和第二图片在该任务上的KL散度值作为损失函数之前，判断所述第二图片对应的该任务的输出是否处于设定范围之内，如果是，则计算所述图片对应的第一图片和第二图片在该任务上的KL散度值作为损失函数，反之则不计算所述图片在该任务的损失函数。

8.根据权利要求6所述的装置，其特征在于，所述训练模块在将经过预处理的所述图片输入预设的多任务神经网络模型进行处理时，对于所述第一图片记录处理数据和输出数据，对于所述第二图片仅记录输出数据。

9.一种计算设备，其特征在于，所述设备包括：处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-5中的任意一项所述的多任务神经网络的训练方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-5中的任意一项所述的多任务神经网络的训练方法。