CN113139664A - 一种跨模态的迁移学习方法 - Google Patents

Abstract

本发明实施例提供了一种跨模态的迁移学习方法，该方法通过构建迁移学习模型，用全局领域判别模块对齐边缘分布，用局部类别判别模块细粒度地从类别角度对齐特征的条件分布，用局部模态判别模块细粒度地从模态角度对齐特征的条件分布，该模型架构基于对抗网络的迁移学习的思想，能在训练过程中适配跨模态迁移学习中边缘分布差异和条件分布差异，并利用对抗训练去自适应学到更多可迁移特征，从而提高分类模型的性能。

Description

一种跨模态的迁移学习方法

技术领域

本发明涉及机器学习、个性化适配领域，具体来说涉及跨模态迁移学习领域，更具体地说，涉及一种跨模态的迁移学习方法。

背景技术

随着计算资源和数据规模的爆发式增长，机器学习技术在理论方法和实际应用领域都取得了显著的进展。机器学习是人工智能中的重要方法，也是目前发展最迅速、效果最显著的方法。对于传统的机器学习技术，学习的目标是在给定充足训练数据的基础上来学习一个模型，然后将这个学习的模型应用到新的待测试数据上进行预测。然而，实际应用往往复杂多变，在不同场景、不同计算条件和不同的用户需求下具有极强的动态变化性，传统的机器学习方法难以在适应这些场景动态性的同时保证良好的模型效果。

传统机器学习的目标是希望构建一个尽可能通用的模型，使得模型对于不同的用户，不同的计算环境，不同的需求都可以表现出很好的预测性能，这就要求模型具有足够的泛化性能去适应不同的用户、不同的数据类型、和不同的需求来服务于现实应用。然而，由于每个用户的个性化需求不同，短期内无法用一个通用的模型去满足。针对不同的用户需求，需要对通用的模型加以改造和适配，使其更好地服务于人们的个性化需求。此外，对于海量的数据，需要更多的计算资源去存储和训练机器学习模型，为了获得更好的性能，一些常用的模型通常具有很高的计算复杂度，训练周期较长，而雄厚的计算资源通常掌握在一些大公司手上，绝大多数普通用户很难具有这些强计算能力，这也是机器学习模型构建者需要考虑的重要问题。

上述问题在一定程度上阻碍了机器学习技术的发展和广泛应用。迁移学习作为机器学习中的一个代表性方法应运而生，是机器学习中一个重要的研究方向，其区别于传统机器学习方法之处在于，通过找寻待标定数据和已知标签数据之间的联系，将某个领域上学习到的知识应用到不同但相关的领域中。迁移学习试图实现人通过类比学习的能力，是从当前的监督学习、半监督学习，进一步过渡到无监督学习的重要工具。迁移学习在解决数据分布动态变化、数据类别多样以及个性化学习的问题时具有明显的优势，可以大大增强机器学习模型的泛化能力。

在数据模态多样、特征多变的应用场景中，由于收集途径和难度的差异，多模态数据通常存在严重的非均衡性和动态性挑战，如何将源域充足的知识向目标域迁移，根据应用场景的数据模态和变化进行有效的跨模态迁移和任务推理已经成为亟待解决的重要问题。在跨模态的迁移学习中，多模态数据的边缘分布和条件分布对于迁移学习的贡献往往不同，自适应的表征边缘分布和条件分布的相对重要性困难，难以学到单模态深度特征与多模态特征分布之间更本质关系等问题。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种跨模态的迁移学习方法。

本发明的目的是通过以下技术方案实现的：

根据本发明的第一方面，提供一种迁移学习模型，包括：分类模型，其是基于带类别标签的单模态的源域的数据预先训练得到的，包括：特征提取模块，用于根据输入样本数据提取样本的特征，和分类预测模块，用于根据样本的特征计算特征在各个类别上的概率分布；模态预测模块，其是基于带模态标签的多模态的目标域的数据预先训练得到的，用于根据样本的特征计算特征在各个模态上的概率分布；全局领域判别模块，用于根据域标签和样本的特征对齐源域和目标域的特征的边缘分布；局部领域判别模块，包括：局部类别判别模块，用于对多个类别分别基于样本的特征和特征在类别上的概率分布对齐源域和目标域的特征的条件分布，和局部模态判别模块，用于对多个模态分别对齐源域和目标域的特征的条件分布。

在本发明的一些实施例中，基于动态对抗因子自适应地调整源域和目标域之间数据特征分布的边缘分布和条件分布的重要度，减少源域和目标域之间数据特征分布的差异。

在本发明的一些实施例中，所述全局领域判别模块包括依次连接的梯度反转层和全局判别器，输入的样本的特征经过其梯度反转层后发送给全局判别器。

在本发明的一些实施例中，局部类别判别模块包括并行的多组梯度反转层和子类别判别器，其中，一组梯度反转层和子类别判别器对应一个类别，输入的样本的特征在输入该组的梯度反转层之前与其在对应类别上的概率分布进行基于注意力机制的加权操作。

在本发明的一些实施例中，所述局部模态判别模块包括并行的多组梯度反转层和子模态判别器，其中，一组梯度反转层和子模态判别器对应一个模态，输入的样本的特征在输入该组的梯度反转层之前与其在对应模态上的概率分布进行基于注意力机制的加权操作。

在本发明的一些实施例中，在训练过程中执行以下操作：通过特征提取模块对源域数据和目标域数据的样本提取特征；通过分类预测模块基于特征对源域数据和目标域数据中的样本进行类别分类，得到特征在各个类别上的概率分布和第一类别分类子损失；通过模态预测模块基于特征对源域数据和目标域数据中的样本进行模态分类，得到特征在各个模态上的概率分布和第一模态分类子损失；通过全局领域判别模块基于特征对源域数据和目标域数据中样本的域进行全局判别，得到全局子损失；通过局部类别判别模块基于特征和对应类别上的概率分布对样本进行细粒度的类别分类，得到第二类别分类子损失；通过局部模态判别模块基于特征和对应模态上的概率分布对样本进行细粒度的模态分类，得到第二模态分类子损失；通过第一类别分类子损失、第一模态分类子损失、全局子损失、第二类别分类子损失、第二模态分类子损失以及相应特征分布之间的最大均值差异距离计算总损失，根据总损失反向传播更新迁移学习模型的各个组成模块的权重参数。

在本发明的一些实施例中，按照以下公式计算总损失：

其中，

表示第一类别分类子损失，

表示第一模态分类子损失，d表示两个域的图像数据特征分布之间的最大均值差异距离，d_modal表示目标域中除图像数据以外的其余模态数据与图像数据的特征分布之间模态的最大均值差异距离，d_local(p^(c),q^(c))表示两个域的数据的特征分布之间类别的最大均值差异距离，μ₁、μ₂、μ₃是用于d、d_modal和d_local(p^(c),q^(c))的超参数，λ表示用于平衡L_y和

的第四超参数，ω表示动态对抗因子，L_g表示全局子损失，

表示第二类别分类子损失，

表示第二模态分类子损失。

在本发明的一些实施例中，按照以下公式在每批次更新动态对抗因子：

其中，

D_s表示源域数据集，D_t表示目标域数据集，C表示类别分类的类别数量，

表示来自源域中类别c的样本，

表示来自目标域中类别c的样本，M表示模态的数量，

表示来自源域中模态m的样本，

表示来自目标域中模态m的样本。

根据本发明的第二方面，提供一种基于第一方面所述的迁移学习模型进行迁移学习的方法，包括：A1、分批次用单模态的源域和多模态的目标域的数据对所述迁移学习模型进行训练，直至模型收敛，以调整分类模型的权重参数的方式将分类模型原来在单模态的源域学习的知识迁移到多模态的目标域。

在本发明的一些实施例中，所述基于第一方面所述的迁移学习模型进行迁移学习的方法还包括：A2、通过通道剪枝法对分类模型进行压缩，得到轻量化分类模型。

根据本发明的第三方面，还提供一种分类模型，所述分类模型包括特征提取模块和分类预测模块，所述特征提取模块用于对输入数据提取特征，所述分类预测模块用于基于特征对输入数据进行分类，输出预测的类别，其特征在于，所述分类模型是根第二方面所述的方法训练得到的分类模型或者经通道剪枝法剪枝后的轻量化分类模型。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1为根据本发明实施例的迁移学习模型的模型结构原理示意图；

图2为用于对边缘分布和条件分布进行介绍的示意图；

图3为根据本发明实施例的用于训练分类模型的方法的流程示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如在背景技术部分提到的，在跨模态的迁移学习中，多模态数据的边缘分布和条件分布对于迁移学习的贡献往往不同，自适应的表征边缘分布和条件分布的相对重要性困难，难以学到单模态深度特征与多模态特征分布之间更本质关系等问题。因此，本发明构建迁移学习模型，用全局领域判别模块对齐边缘分布，用局部类别判别模块细粒度地从类别角度对齐特征的条件分布，用局部模态判别模块细粒度地从模态角度对齐特征的条件分布，该模型架构基于对抗网络的迁移学习的思想，能在训练过程中适配跨模态迁移学习中边缘分布差异和条件分布差异，并利用对抗训练去自适应学到更多可迁移特征，从而提高分类模型的性能。此外，本发明还基于动态对抗因子自适应地调整两个域之间数据特征分布的边缘分布和条件分布的重要度，减少两个域之间数据特征分布的差异，以使源域的知识逐渐迁移至多模态的目标域。本发明针对不同场景、不同数据模态和不同计算条件下具有极强的动态变化性，实现自适应的快速适配和动态个性化学习。

在对本发明的实施例进行具体介绍之前，先对其中使用到的部分术语作如下解释：

迁移学习，也称为归纳迁移、领域适配，其目标是将某个领域(源域)或任务上学习到的知识或模式应用到不同的但相关的领域(目标域)或问题中。

源域(Source Domain)，是指在迁移学习中已有的知识所在的域。

目标域(Target Domain)，是指在迁移学习中要学习的新知识所在的域。

边缘分布，可以是指多维数据概率分布的部分数据所服从的概率分布。

条件分布，可以是指数据和标签之间的后验概率分布。条件分布和学习任务有关。

参见图1，一种迁移学习模型，包括：分类模型，其是基于带类别标签的单模态的源域的数据预先训练得到的，所述分类模型包括：特征提取模块G_f，用于根据输入样本数据提取样本的特征，和分类预测模块

用于根据样本的特征计算特征在各个类别上的概率分布；模态预测模块

其是基于带模态标签的多模态的目标域的数据预先训练得到的，用于根据样本的特征计算特征在各个模态上的概率分布；全局领域判别模块G_dg，用于根据域标签和样本的特征对齐源域和目标域的特征的边缘分布；局部领域判别模块G_dl，包括：局部类别判别模块G_dlc，用于对多个类别分别基于样本的特征和特征在类别上的概率分布对齐源域和目标域的特征的条件分布，和局部模态判别模块G_dlm，用于对多个模态分别对齐源域和目标域的特征的条件分布。

此处通过图2来示意性说明边缘分布和条件分布，以便更直观地理解两个分布的含义：自适应迁移学习方法通常将目标域数据和源域数据通过一个深度神经网络提取特征，然后在这个特征空间中对两个领域的特征分布进行对齐(Alignment)，希望通过特征分布对齐减少两个领域间的特征差异。在实际应用中，特征的边缘分布和条件分布对迁移学习的贡献往往不同。数据的边缘分布不同，就是数据整体不相似。数据的条件分布不同，就是数据整体相似，但是具体到每个类里，都不太相似。当两个领域分布非常不同时(图2中源域→目标域I)，针对边缘分布的全局对齐显得更重要，而当边缘分布很相似(图2中源域→目标域II)，这时候应该关注局部特征分布，即针对条件分布的局部对齐更加重要。

在该迁移学习模型中，单模态的源域(例如，为图像数据)和多模态的目标域(例如，包括图像数据以及非图像数据，如图1所示的图像、声音、文本、视频等数据或者其组合)的数据x输入到特征提取模块G_f，用以提取特征f(也可称特征图或者特性向量)。特征提取模块G_f连接于迁移学习模型的其余组成模块。该迁移学习模型的主要任务是训练分类模型将单模态的源域上学习到的分类知识迁移到多模态的目标域。分类包括但不限于动物分类、人物分类、物体分类。以动物分类为例，源域的图像数据包括不同动物的图像及对应的类别标签(例如，马、牛、猫、狗、猪)。目标域的图像数据包括不同动物的图像(没有类别标签或者可以在部分图像设置类别标签)。目标域的声音数据则是对应动物的叫声数据(可以在部分声音数据设置类别标签)。目标域的文本数据则是对应动物的描述文本(可以在部分文本数据设置类别标签)。目标域的视频数据则是对应动物的视频影像(可以在部分图像数据设置类别标签)。在输入到特征提取模块之前，可以将不同的模态数据转换为统一的数据形式，例如，将图像、声音、文本和视频均转换为N×N的数据矩阵，以便输入特征提取模块用神经网络进行处理。具体的转换方式有很多现有技术可用，本发明对此不作任何限定。

根据本发明的一个实施例，该迁移学习模型按照该结构形式进行组织的目的是：通过特征提取模块并行地对来自源域的单模态数据和目标域的多模态数据进行特征提取(分批次，每批次提取一部分源域数据和一部分目标域数据)，将数据映射到特定的特征空间，使分类预测模块G_yc能够分辨出来自源域数据的类别的同时，使各领域判别模块无法区分数据来自哪个域，其中，让全局领域判别模块难以判断数据来自源域还是目标域，让局部类别判别模块难以判断数据来自某个特定的类别，让局部模态判别模块难以判断数据来自某个特定的模态，从而通过对抗迁移的思想减少两个域之间数据特征分布的差异，以使源域的知识逐渐迁移至多模态的目标域。对抗训练的过程相当于特征生成模块和判别模块(包括全局领域判别模块和局部领域判别模块)的博弈游戏，特征生成模块想要产生更具欺骗性的特征，在迁移学习领域里也代表更本质的特征，而判别模块想尽可能的判别输入的特征是来自源域还是目标域，以及判别来自某个模态，通过对抗训练，特征生成器会最小化源域和目标域的特征分布差异，以及不同模态的特征分别的差异，生成更加具有本质性的特征，从而在目标域的任务上达到更好的泛化性能。

根据本发明的一个实施例，特征提取模块G_f可以为深度神经网络。进一步地，特征提取模块所采用深度神经网络包括但不限于ResNet、AlexNet、VGG Net及其组合。提取特征时，将源域数据和目标域数据分为多个批次(Batch)，每个批次通过特征提取模块获取该批次内源域数据和目标域数据对应的样本对应的特征。

根据本发明的一个实施例，分类预测模块

用于预测分类(标签)，模态预测模块

用于预测模态(标签)，因此，两者可以视为标签预测模块G_y的子模块。标签预测模块G_y用来对输入的源域数据提取的特征做分类，是一个有监督学习过程。

对于分类预测模块

其对应的第一类别分类子损失是一个标准的交叉熵损失，可以形式化地表示为：

其中，n_s表示当前批次中来自源域的样本的数量，x_i表示样本x_i，D_s表示源域数据集，c表示类别，C表示源域数据的类别总数，

表示输入样本x_i属于类别c的概率，G_f(·)表示特征提取模块的权重参数，

表示分类预测模块的权重参数。应当理解的是，

中的c仅是表示该损失是对应于类别分类的损失，并不是一个变量；

中的c仅是表示该模块是对应于类别分类的模块，并不是一个变量；

中的c是变量，c∈[1,C]。

对于模态预测模块

其对应的第一模态分类子损失

也是一个标准的交叉熵损失，可以形式化地表示为：

其中，n_t表示当前批次中来自目标域的样本的数量，x_i表示样本x_i，D_t表示目标域数据集，m表示模态，M表示目标域数据的模态总数，

表示输入样本x_i属于模态m的概率，G_f(·)表示特征提取模块的权重参数，

表示模态预测模块的权重参数。应当理解的是，

中的m仅是表示该损失是对应于模态分类的损失，并不是一个变量，

中的m仅是表示该模块是对应于模态分类的模块，并不是一个变量；

中的m是变量，m∈[1,M]。

分类预测模块在更新权重参数的过程中，还涉及到跨模态的知识共享和子领域自适应的过程，下面分别来进行说明。

(1)、跨模态知识共享

跨模态知识共享旨在将知识从源域中的单个模态转移到目标域中的所有模态，从而提供与模态无关的补充知识来促进跨模态的联合表示学习。特征提取模块将源域和目标域的多模态数据(例如，包括图像、音频、视频、文本等)映射到一个统一的特征空间中，得到多模态特征的联合表示R＝{R^Image,R^Audio,R^Video,…,R^Text}对于所有模态，R中的特征维数都是相同的，因此可以通过直接计算跨模态特征之间的相似性。

在进行跨模态知识迁移时，输入的样本主题或类别是密切相关的，联合表示中的各模态表征并行地输入迁移学习模型，假设源域拥有充足的图像数据，目标域拥有稀疏的多模态数据。首先，需要构建领域之间进行知识迁移的桥梁，例如，根据本发明的一个实施例，源域和目标域都存在的模态为图像的数据可以作为连接源域和目标域的桥梁，采用特征自适应方法，以最小化两个域之间的图像数据特征分布的最大均值差异(Maximum MeanDiscrepancy，MMD)：

其中，

表示当前批次从源域中获取的数量为n的图像数据的特征，

指当前批次从目标域中获取的数量为m的图像数据特征，

指再生核希尔伯特空间(Reproducing Kernel Hilbert Space,RKHS)，φ(·)是一个映射函数，用于把原变量映射到再生核希尔伯特空间中。通过最小化d，模型将被引导以匹配目标域的分布，以便源域中的知识可以有效地转移到目标域中。根据本发明的一个实施例，在迁移学习过程中，利用源域和目标域都具有的模态为图像的数据作为连接源域和目标域的关联点，采用特征自适应方法，以最小化两个域之间的图像数据的特征分布的最大均值差异。

在利用图像数据作为桥梁将源域和目标域知识进行连接后，构建跨模态的知识共享。跨模态的知识共享旨在对齐各种的表示(R^Image,R^Audio,R^Video,…,R^Text)并实现知识共享，根据任务目标分别计算目标域中各模态的MMD，目标域中除图像数据以外的其余模态数据与图像数据的特征分布之间模态的最大均值差异距离可表示为

其中，

表示当前批次从目标域中获取的数量为k的多模态数据特征，modal＝{Audio,Video,Text}，

表示当前批次从目标域中获取的数量为m的图像数据特征。通过最小化d_modal，可以减少跨模态的分布差异，以实现跨模式的知识共享和迁移。

(2)、子领域自适应

在分类预测模块的基础上，本发明引入了子领域的概念，一个领域下可以依据一些条件，将相似的样本划分到一个子领域，比如使用类标签作为划分依据，同一类放到一个子领域，分别对相关的子领域进行对齐。基于数据的类别，将源域数据集D_s和目标域数据集D_t划分为C个子领域

和

对应的分布分别记为p^(c)和q^(c)，其中c∈{1,2,…,C}，代表来自C个不同类别的子领域。子领域的自适应使具有相同标签的样本的相关子领域实现了更加细粒度的分布对齐，在本发明中，采用局部的MMD方法，面向不同类别的数据实现更加细粒度的分布差异度量，细粒度地分布差异度量，两个域的数据的特征分布之间类别的最大均值差异距离可以形式化地表示为：

其中，

指再生核希尔伯特空间，φ(·)是一个映射函数，用于把原变量映射到再生核希尔伯特空间中。

表示源域数据

在类别c中所占的权重或比例，

表示目标域数据

在类别c中所占的权重或比例，则

和

都是加权求和项。

基于子领域自适应，能够根据类别将源域划分成若干子领域，以子领域对象细粒度地对源域单模态数据和目标域跨模态数据进行分布对齐和后续的对抗训练。

结合以上信息，标签预测模G_y的损失函数L_y可表示为：

其中，

表示第一类别分类子损失，

表示第一模态分类子损失，d表示两个域的图像数据特征分布之间的最大均值差异距离，d_modal表示目标域中除图像数据以外的其余模态数据与图像数据的特征分布之间模态的最大均值差异距离，d_local(p^(c),q^(c))表示两个域的数据的特征分布之间类别的最大均值差异，μ₁、μ₂、μ₃是用于d、d_modal和d_local(p^(c),q^(c))的超参数。

根据本发明的一个实施例，全局领域判别模块G_dg可以包括依次连接的梯度反转层和全局判别器，输入的样本的特征经过其梯度反转层GRL后发送给全局判别器

全局领域判别模块G_dg的设计是用来对齐源域和目标域中特征的边缘分布，对输入的源域和目标域数据的特征进行全局判别，在训练过程中通过梯度反转层(Gradient Reversal Layer,GRL)进行负梯度反传，来对源域和目标域的数据进行全局特征适配，从而减小领域分布差异。全局领域判别模块G_dg对应的损失函数，全局子损失L_g可表示为：

其中，

表示全局判别器的损失，是一个标准的交叉熵损失，n_s表示当前批次中来自源域的样本的数量，n_t表示当前批次中来自目标域的样本的数量，G_dg(·)表示全局领域判别模块的权重参数，d_i代表输入样本的领域标签。例如，0表示样本来自源域，1表示样本来自目标域。

根据本发明的一个实施例，局部类别判别模块G_dl包括并行的多组梯度反转层GRL和子类别判别器

(相当于指代任意类别c对应的子类别判别器，

一组梯度反转层GRL和子类别判别器

对应一个类别c，输入的样本的特征在输入该组的梯度反转层GRL之前与其在对应类别上的概率分布进行基于注意力机制的加权操作。相当于局部领域判别模块可以被拆分为C个类别的子模块，包括梯度反转层GRL和子类别判别器

用于负责对齐该类别c的特征分布，由于无法获得目标域数据的类别标签，所以此处用输入特征经过Softmax函数后的概率分布来表示有多大权重的特征来自当前类别，这里隐式的用到了注意力机制。此处基于注意力机制的加权操作以更多地关注该组中的子类别判别器所判断的类别有关的特征，弱化或者遗忘与该组中的子类别判别器所判断的类别无关的特征，从而提高模型性能。类别判别模块对应的损失函数，第二类别分类子损失

表示为：

其中，

表示类别c的局部领域判别模块，

表示对应子类别判别器

的交叉熵损失，

表示输入样本的特征在类别c上的概率分布，d_i代表输入样本的领域标签。

根据本发明的一个实施例，局部模态判别模块G_dlm包括并行的多组梯度反转层GRL和子模态判别器

(相当于指代任意模态m对应的子模态判别器,

一组梯度反转层GRL和子模态判别器

对应一个模态m，输入的样本的特征在输入该组的梯度反转层GRL之前与其在对应模态上的概率分布进行基于注意力机制的加权操作。此处基于注意力机制的加权操作以更多地关注该组中的子模态判别器所判断的模态有关的特征，弱化或者遗忘与该组中的子模态判别器所判断的模态无关的特征，从而提高模型性能。源域和目标域数据存在非均衡性，源域标签充足，目标域标签往往不足或缺失；本发明中的迁移学习问题不是“冷启动问题”，目标域可以有部分标签可用作训练的，例如，对于目标域中一部分非图像数据，也标注其对应的分类标签用于训练。但是，模态和类别一样，人直观感觉容易区分，但是机器识别的时候往往要将它们进行编码(如one-hot)，机器拿到的只是提取后的特征，无法直接判断所属的类别/模态，需要去估计，然后在训练过程中估计值不断逼近真实值，训练网络参数，最后利用训练好的参数，输入特征去推理得到类别/模态。因此，模态判别模块旨在区分不同的模态，同类别判别模块的划分思想相似，被划分为M个模态判别模块

M为模态种类的数量。类别判别模块对应的损失函数，第二模态分类子损失

可以表示为：

其中，

(·)表示模态m的局部领域判别模块的权重参数，modal＝{Audio,Video,…,Text}，

表示对应子模态判别器

的交叉熵损失，

表示输入样本的特征在模态m上的概率分布，d_i代表输入样本的领域标签。

为了更好地减少两个域之间的数据特征分布的差异，提高模型的性能，根据本发明的一个实施例，迁移学习模型被配置为：基于动态对抗因子ω自适应地调整源域和目标域之间数据特征分布的边缘分布和条件分布的重要度，减少源域和目标域之间数据特征分布的差异。动态对抗因子ω用于简单、动态且定量地评估全局特征分布与局部特征分布的重要度，进而根据数据分布的差异化自适应地调整这两种分布的权重。全局特征分布和局部特征分布对应上述边缘分布和条件分布，可以用A-distance距离的标准定义式子计算全局领域判别模块的全局A-distance距离：

其中，A-distance距离用来估计不同分布之间的差异性，通常被用来计算两个领域数据的相似性程度，以便与实验结果进行验证对比。

局部A-distance距离分为类别和模态两部分，分别可计算为：

其中，

表示来自源域的类别c的样本，

表示来自目标域的类别c的样本，

表示来自源域的模态m的样本，

表示来自目标域的模态m的样本。假设m＝0,1,2,3，其中，0表示图像，1表示声音，2表示文本，3表示视频。应当理解，本发明假设

样本均为单模态的图像数据。单模态的源域的样本

的m均为1。

根据本发明的一个实施例，迁移学习模型可以被配置为：按照以下公式在每批次更新动态对抗因子：

其中，

D_s表示源域数据集，D_t表示目标域数据集，C表示类别分类的类别数量，

表示来自源域中类别c的样本，

表示来自目标域中类别c的样本，M表示模态的数量，

表示来自源域中模态m的样本，

表示来自目标域中模态m的样本。在实际训练过程中，当ω→0，代表全局特征分布(对应于边缘分布)对齐更重要。当ω→1，代表两个领域之间的全局特征分布差异较小，每个类别的局部特征分布(对应于条件分布)差异占主导作用。但是在实际应用中，随着应用场景的不同，往往存在多个不同的目标域，这些领域各自数据分布差异性存在动态性，源域和目标域的全局特征分布和局部特征分布差异程度不确定，因此在这种情况下，通过学习动态对抗因子ω，使得本发明能够被成功应用到各种各样的实际迁移学习场景中，提高不同迁移学习场景下最终得到的分类模型的性能。

根据本发明的一个实施例，该迁移学习模型被配置为在迁移学习过程中：通过特征提取模块对源域数据和目标域数据的样本提取特征；通过分类预测模块基于特征对源域数据和目标域数据中的样本进行类别分类，得到特征在各个类别上的概率分布和第一类别分类子损失；通过模态预测模块基于特征对源域数据和目标域数据中的样本进行模态分类，得到特征在各个模态上的概率分布和第一模态分类子损失；通过全局领域判别模块基于特征对源域数据和目标域数据中样本的域进行全局判别，得到全局子损失；通过局部类别判别模块基于特征和对应类别上的概率分布对样本进行细粒度的类别分类，得到第二类别分类子损失；通过局部模态判别模块基于特征和对应模态上的概率分布对样本进行细粒度的模态分类，得到第二模态分类子损失；通过第一类别分类子损失、第一模态分类子损失、全局子损失、第二类别分类子损失、第二模态分类子损失以及相应特征分布之间的最大均值差异距离计算总损失，根据总损失反向传播更新迁移学习模型的各个组成模块的权重参数。根据本发明的一个实施例，迁移学习模型的训练目的，是让总损失不断减小，以提高模型性能。其中，特征提取模块和分类预测模块构成了一个前馈神经网络，特征提取器和模态预测模块构成了一个前馈神经网络。在特征提取模块后接入各个域判别器，中间通过一个梯度反转层(gradient reversal layer,GRL)连接(在反向传播优化过程中，从领域判别器到特征提取器的梯度需要乘以一个负常数)。在训练的过程中，对来自源域的带标签数据，网络不断最小化标签预测模块的损失；对来自源域和目标域的全部数据，网络不断最小化全局领域判别模块的损失和局部领域判别模块的损失。

根据本发明的一个实施例，迁移学习模型被配置为：按照以下公式计算总损失：

其中，

表示第一类别分类子损失，

表示第一模态分类子损失，d表示两个域的图像数据特征分布之间的最大均值差异距离，d_modal表示目标域中除图像数据以外的其余模态数据与图像数据的特征分布之间模态的最大均值差异距离，d_local(p^(c),q^(c))表示两个域的数据的特征分布之间类别的最大均值差异，μ₁、μ₂、μ₃是用于d、d_modal和d_local(p^(c),q^(c))的超参数，λ表示用于平衡L_y和

的第四超参数，ω表示动态对抗因子，L_g表示全局子损失，

表示第二类别分类子损失，

表示第二模态分类子损失。

根据本发明的一个实施例，参见图3，本发明还提供一种基于前述实施例的迁移学习模型进行迁移学习的方法，包括：A1、分批次用单模态的源域和多模态的目标域的数据对迁移学习模型进行训练，直至模型收敛，以调整分类模型的权重参数的方式将分类模型原来在单模态的源域学习的知识迁移到多模态的目标域。经过步骤A1，本发明可以获得经迁移学习的方式训练好的分类模型。为了提升模型训练的效率，获取到预先建立和训练好的基线模型后，要对这个基线模型利用通道剪枝的方法进行压缩。根据本发明的一个实施例，该用于训练分类模型的方法还包括：A2、通过通道剪枝法对经迁移学习的方式训练好的分类模型进行压缩，得到轻量化分类模型。通道剪枝方法的关键是如何准确评估哪些层的输出通道对于一个任务来说是重要的和哪些层的通道对于一个任务来说是不怎么重要的甚至冗余的，尤其是对于迁移学习，因为训练的时候，目标域数据并没有标签，所以不能直接用常规的通道剪枝评估方法。因此，在一个实施例中，可以采用发明人之前的申请的发明CN110598848A一种基于通道剪枝的用于加速迁移学习的方法中的通道剪枝法进行剪枝；为了说明书的简要，通过引用将该发明申请的全文作为本发明的一个实施例。由此，本发明考虑模型的计算复杂度，在降低计算复杂度的情况下，保证模型效果，得到轻量级、个性化模型，实现通用机器学习模型的跨模态、自适应、轻量化和个性化学习，保证模型在动态场景下的高准确度和快速适配。

根据本发明的一个实施例，本发明还提供一种分类模型，所述分类模型包括特征提取模块和分类预测模块，所述特征提取模块用于对输入数据提取特征，所述分类预测模块用于基于特征对输入数据进行分类，输出预测的类别，所述分类模型是根据前述方法训练得到的分类模型或者轻量化分类模型。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (11)

1.一种迁移学习模型，其特征在于，包括：

分类模型，其是基于带类别标签的单模态的源域的数据预先训练得到的，包括：

特征提取模块，用于根据输入样本数据提取样本的特征，和

分类预测模块，用于根据样本的特征计算特征在各个类别上的概率分布；

模态预测模块，其是基于带模态标签的多模态的目标域的数据预先训练得到的，用于根据样本的特征计算特征在各个模态上的概率分布；

全局领域判别模块，用于根据域标签和样本的特征对齐源域和目标域的特征的边缘分布；

局部领域判别模块，包括：

局部类别判别模块，用于对多个类别分别基于样本的特征和特征在类别上的概率分布对齐源域和目标域的特征的条件分布，和

局部模态判别模块，用于对多个模态分别对齐源域和目标域的特征的条件分布。

2.根据权利要求1所述的迁移学习模型，其特征在于，基于动态对抗因子自适应地调整源域和目标域之间数据特征分布的边缘分布和条件分布的重要度，减少源域和目标域之间数据特征分布的差异。

3.根据权利要求1所述的迁移学习模型，其特征在于，所述全局领域判别模块包括依次连接的梯度反转层和全局判别器，输入的样本的特征经过其梯度反转层后发送给全局判别器。

4.根据权利要求1所述的迁移学习模型，其特征在于，局部类别判别模块包括并行的多组梯度反转层和子类别判别器，其中，一组梯度反转层和子类别判别器对应一个类别，输入的样本的特征在输入该组的梯度反转层之前与其在对应类别上的概率分布进行基于注意力机制的加权操作。

5.根据权利要求1所述的迁移学习模型，其特征在于，所述局部模态判别模块包括并行的多组梯度反转层和子模态判别器，其中，一组梯度反转层和子模态判别器对应一个模态，输入的样本的特征在输入该组的梯度反转层之前与其在对应模态上的概率分布进行基于注意力机制的加权操作。

6.根据权利要求1所述的迁移学习模型，其特征在于，在训练过程中执行以下操作：

通过特征提取模块对源域数据和目标域数据的样本提取特征；

通过分类预测模块基于特征对源域数据和目标域数据中的样本进行类别分类，得到特征在各个类别上的概率分布和第一类别分类子损失；

通过模态预测模块基于特征对源域数据和目标域数据中的样本进行模态分类，得到特征在各个模态上的概率分布和第一模态分类子损失；

通过全局领域判别模块基于特征对源域数据和目标域数据中样本的域进行全局判别，得到全局子损失；

通过局部类别判别模块基于特征和对应类别上的概率分布对样本进行细粒度的类别分类，得到第二类别分类子损失；

通过局部模态判别模块基于特征和对应模态上的概率分布对样本进行细粒度的模态分类，得到第二模态分类子损失；

通过第一类别分类子损失、第一模态分类子损失、全局子损失、第二类别分类子损失、第二模态分类子损失以及相应特征分布之间的最大均值差异距离计算总损失，根据总损失反向传播更新迁移学习模型的各个组成模块的权重参数。

7.根据权利要求6所述的迁移学习模型，其特征在于，按照以下公式计算总损失：

其中，

表示第一类别分类子损失，

表示第一模态分类子损失，d表示两个域的图像数据特征分布之间的最大均值差异距离，d_modal表示目标域中除图像数据以外的其余模态数据与图像数据的特征分布之间模态的最大均值差异距离，d_local(p^(c),q^(c))表示两个域的数据的特征分布之间类别的最大均值差异距离，μ₁、μ₂、μ₃是用于d、d_modal和d_local(p^(c),q^(c))的超参数，λ表示用于平衡L_y和

的第四超参数，ω表示动态对抗因子，L_g表示全局子损失，

表示第二类别分类子损失，

表示第二模态分类子损失。

8.根据权利要求7所述的迁移学习模型，其特征在于，按照以下公式在每批次更新动态对抗因子：

其中，

D_s表示源域数据集，D_t表示目标域数据集，C表示类别分类的类别数量，

表示来自源域中类别c的样本，

表示来自目标域中类别c的样本，M表示模态的数量，

表示来自源域中模态m的样本，

表示来自目标域中模态m的样本。

9.一种基于权利要求1至8任一项所述的迁移学习模型进行迁移学习的方法，其特征在于，包括：

A1、分批次用单模态的源域和多模态的目标域的数据对所述迁移学习模型进行训练，直至模型收敛，以调整分类模型的权重参数的方式将分类模型原来在单模态的源域学习的知识迁移到多模态的目标域。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：A2、通过通道剪枝法对分类模型进行压缩，得到轻量化分类模型。

11.一种分类模型，所述分类模型包括特征提取模块和分类预测模块，所述特征提取模块用于对输入数据提取特征，所述分类预测模块用于基于特征对输入数据进行分类，输出预测的类别，其特征在于，所述分类模型是根据权利要求9所述的方法训练得到的分类模型或者根据权利要求10所述的方法训练得到的轻量化分类模型。

Images