CN113569960A - 基于域适应的小样本图像分类方法及*** - Google Patents

Abstract

本发明涉及图像分类领域，公开了一种基于域适应的小样本图像分类方法及***，包括构建特征提取器，加载预训练参数初始化模型；使用域特征提取模块得到多个特征提取器；使用权重训练模块得到适合目标数据域的最终特征提取器；使用测试模块得到方法最终性能，解决了目前的小样本机器学习方法无法真正解决计算机视觉领域的小样本问题。本发明使得小样本机器学习方法无需再要求严格的元训练集，源域和目标域数据可以不相似，从而使小样本机器学习方法可以更好的应用于实际场景，具备拓展当前研究适用范围的优点。

Description

基于域适应的小样本图像分类方法及***

技术领域

本发明涉及图像分类领域，尤其涉及一种基于域适应的小样本图像分类方法及***。

背景技术

在计算机视觉领域，训练目前主流的神经网络模型，往往需要样本数量极为庞大的图像数据集，因为机器学习需要大量的训练数据来拟合目标任务的数据分布，样本数据量不足会显著影响机器学习模型的性能。图像数据集一般包括上万张图像样本，每一个图像类别都包括上百张样本。而在实际应用场景中，一般无法获得数量如此充足的样本数据，于是小样本图像分类问题逐渐成为了一个研究的热点，为了解决这个问题，提出了小样本机器学习方法。

小样本机器学习方法主要目的是解决可供模型训练的样本数据数量极端不足的情况(每类只包括1～5个样本)，在这个场景下，通用的神经网络模型和机器学习方法性能极差，而小样本机器学习方法通过使用特殊的神经网络模型和训练思想，能够在这个极端的场景下达到较好的性能，因此这个领域逐渐成为当前研究的主要方向。小样本机器学习方法一般会将可用数据集人为划分为元训练数据集和元测试数据集，并将训练过程分为元训练和元测试阶段。在元训练阶段，使用足够大的带注释的元训练数据集，用来训练方法模型；在元测试阶段，使用包含与元训练数据集不同类别的元测试数据集以评估方法模型学习和分类这些新的类的能力。并且为了模拟实际应用的场景，小样本机器学习方法将元测试集中每个类别取出1～5张图像组成支持集以供方法模型学习，剩余图像组成查询集以测试方法模型分类性能。当前针对小样本机器学习方法的研究主要从模型优化和元学习两个方向进行，模型优化方向即针对小样本机器学习方法使用的神经网络模型进行优化，使其能够适应小样本的场景，例如引入图卷积神经和生成对抗网络作为骨干网络以达到更好的分类效果；元学习方向则是将元学习的思想引入小样本机器学习方法中，在元训练阶段训练一个可迁移的元参数(如梯度，模型初始参数)，然后使用这些参数使方法模型在元测试阶段取得更好的分类性能。

在使用上述小样本机器学习方法时，由于小样本机器学习方法基本都包括元训练过程，需要在图像样本数据数量和类别数都足够充足且与元测试数据集高度相似的元训练集上训练方法模型，这样严格的要求使得当前的小样本机器学习方法往往只针对几个专门用于小样本图像分类的图像数据集做实验，而在实际场景中所能获得的数据往往只有几个类别且每类只有几张样本图像，无法划分出元训练集和元测试集，而且无法轻易获得与当前任务数据相似的公开数据集，这就导致关于小样本机器学习方法的研究基本处于理论研究阶段，无法进行实际应用，即目前的小样本机器学习方法无法真正解决计算机视觉领域的小样本问题，故有待改进。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于域适应的小样本图像分类方法及***，在小样本机器学习方法中创造性的使用域适应方法，使得小样本机器学习方法无需再要求严格的元训练集，而是在源域上训练出多个特征提取器，之后在目标域支持集上使用小样本机器学习方法训练得到组合这些特征提取器的最佳权重，从而得到最适合目标域的最终特征提取器，在目标域查询集上测试最终得到最佳的性能。

为达到上述目的，本发明的技术方案为：

一种基于域适应的小样本图像分类方法，包括以下步骤：

构建特征提取器，加载预训练参数初始化模型；

使用域特征提取模块得到多个特征提取器；

使用权重训练模块得到适合目标数据域的最终特征提取器；

使用测试模块得到方法最终性能。

通过采用上述技术方案，基于域适应的小样本图像分类方法依靠域特征提取模块、权重训练模块和预测模块三个模块创造性的在小样本机器学习方法中使用域适应方法，具体地，使用域特征提取模块在得到了在源域上充分训练的***了域特征提取模块的多个特征提取器之后，由权重训练模块在目标域的支持集上训练组合这些特征提取器的最佳权重，从而得到最适合目标域的最终特征提取器，并由预测模块得到最终的小样本图像分类结果以衡量该基于域适应的小样本图像分类方法的性能。

本发明进一步设置为：所述域特征提取模块使用如下公式对特征提取器输出的特征图X进行变换以提取输入图像的域特有全局特征：

X₁＝γ⊙X+β

其中，X为一个维度为HW×C的矩阵，其中H、W和C分别表示其高度、宽度和通道数，域特征提取模块以X为输入并对其进行处理；X₁为进行变换后的矩阵；γ，β为可训练的参数矩阵，维度均与X相同；⊙表示元素乘。

通过采用上述技术方案，域特征提取模块可对由特征提取器输出的特征图X进行变换以更好的提取输入图像的域特有全局特征。

本发明进一步设置为：所述域特征提取模块还使用如下公式对特征提取器输出的特征图X进行局部注意力操作以提取输入图像的域特有局部特征：

X₂＝PWConv₂(ReLU(PWConv₁(X)))

其中，X₂为进行局部注意力操作后的矩阵；PWConv₁表示第一个点卷积层，PWConv₂表示第二个点卷积层；ReLU为激活函数，当输入值m≤0时，ReLU(m)＝0，当m＞0时，ReLU(m)＝m；PWConv₁(X)表示输入的特征图X经点卷积进行点卷积层操作后的结果。

通过采用上述技术方案，域特征提取模块还使用如下公式对特征提取器输出的特征图X进行局部注意力操作以更好的提取输入图像的域特有局部特征。

本发明进一步设置为：所述域特征提取模块的最终输出如下公式表示：

其中，

为域特征提取模块的最终输出。

通过采用上述技术方案，经过局部注意力操作处理得到的X₂与输入的特征图X具有相同的维度，且可以保留和突出底层特征中的细微细节，更好的提取和保存并迁移域特有局部特征。由于变换操作和局部注意力操作中针对输入特征图X的操作均不改变其维度，所以两部分输出可直接相加，即同时提取到输入图像的域特有局部特征和域特有全局特征，大大提升了特征提取器提取域特有特征的能力，从而从源域中迁移出更多的特征信息，为目标域中的小样本机器学习方法提供帮助，从而提升最终的小样本图像分类性能。

本发明进一步设置为：所述权重训练模块使用如下公式得到权重λ：

其中，λ为组合多个特征提取器的权重，λ为一个维度为1×N的向量；N为包含域特有特征(包括域特有全局特征和域特有局部特征)的特征提取器的数量；s为目标域中的支持集，支持集s中的图像标签对为(x_i，y_i)，其中x_i表示第i个图像样本，y_i表示其对应的类别标签；j表示支持集s中的图像类别，共有N_s个类，n_s个图像样本，s_j表示图像类别标签等于j的图像样本下标集合，p为原型，f(·)表示特征提取器，d(·，·)表示距离函数，用于估算不同参数之间的相似性；L(λ)表示在支持集上关于λ的损失函数。

通过采用上述技术方案，权重训练模块使用目标域支持集数据训练组合域特征提取模块得到的多个特征提取器的权重，并结合训练得到的最佳权重得到最适合目标域的最终特征提取器。

本发明进一步设置为：所述测试模块使用如下公式得到测试样本的预测结果：

其中，x_k表示第k个图像样本，yk表示其对应的类别标签，

表示对于测试样本的预测结果，j表示支持集s中的图像类别，共有N_s个类，n_s个图像样本，s_j表示图像类别标签等于j的图像样本下标集合，p为原型，f(·)表示特征提取器，d(·，·)表示距离函数，用于估算不同参数之间的相似性。

通过采用上述技术方案，测试模块可预测目标域查询集样本数据的类别标签从而测试本发明方法的最终性能。

本发明进一步设置为：在构建特征提取器，加载预训练参数初始化模型之后还包括以下步骤：

域特征提取模块在源域上训练多个特征提取器；

权重训练模块在目标域支持集上使用小样本机器学习方法训练所有特征提取器得到组合所有特征提取器的权重并根据权重组合所有特征提取器得到适合目标域的最终特征提取器；

测试模块利用最终特征提取器在目标域查询集上测试最终图像分类性能。

通过采用上述技术方案，多个特征提取器在源域上进行训练，特征提取器的模型参数保存并携带着该域的域特有特征，在目标域的支持集数据结合小样本机器学习方法训练得到组合多个特征提取器的最佳权重，根据最佳权重组合所有特征提取器以得到能够在目标域上得到最佳性能的最终特征提取器，最终即可利用最终特征提取器在目标域查询集上测试最终图像分类性能。

本发明进一步设置为：源域中的每个数据域训练一个特征提取器。

通过采用上述技术方案，在每个数据域上训练的一个特征提取器的模型参数保存并携带着该域的域特有特征，从而使得所有的特征提取器可提取源域中的所有数据域的域特有特征，提高了源域的利用率同时也提高了最终的图像分类性能。

本发明进一步设置为：其中在源域上训练的多个特征提取器的模型结构相同。

通过采用上述技术方案，多个特征提取器的模型结构相同有利于后续的组合，降低了组合特征提取器的操作难度。

本发明还提供一种基于域适应的小样本图像分类***，包括域特征提取模块、权重训练模块和测试模块，其中，域特征提取模块使用如下公式对输入图像的特征图X进行变换以提取输入图像的域特有全局特征：

X₁＝γ⊙X+β

其中，X为一个维度为HW×C的矩阵，其中H、W和C分别表示其高度、宽度和通道数，域特征提取模块以X为输入并对其进行处理；X₁为进行变换后的矩阵；γ，β为可训练的参数矩阵，维度均与X相同；⊙表示元素乘；

所述域特征提取模块还使用如下公式对输入图像的特征图X进行局部注意力操作以提取输入图像的域特有局部特征：

X₂＝PWConv₂(ReLU(PWConv₁(X)))

其中，X₂为进行局部注意力操作后的矩阵；PWConv₁表示第一个点卷积层，PWConv₂表示第二个点卷积层；ReLU为激活函数，当输入值m≤0时，ReLU(m)＝0，当m＞0时，ReLU(m)＝m；PWConv₁(X)表示输入的特征图X经点卷积进行点卷积操作后的结果；

所述域特征提取模块的最终输出如下公式表示：

其中，

为域特征提取模块的最终输出。

通过采用上述技术方案，域特征提取模块能够方便的嵌入原始的神经网络，并且结合了局部注意力和特征图变换方法，能够同时提取到输入图像的域特有局部特征和域特有全局特征，大大提升了特征提取器提取域特有特征的能力，从而从源域中迁移出更多的特征信息，最终提升最终的小样本图像分类性能。

综上所述，本发明实现的有益效果如下：

(1)基于域适应的小样本图像分类方法依靠域特征提取模块、权重训练模块和预测模块三个模块创造性的在小样本机器学习方法中使用域适应方法，使用域特征提取模块在得到了多个特征提取器后，由权重训练模块得到组合这些特征提取器的最佳权重并得到最适合目标域的最终特征提取器，并由预测模块得到最终的小样本图像分类结果以衡量该基于域适应的小样本图像分类方法的性能；

(2)多个特征提取器在源域上进行训练，特征提取器的模型参数保存并携带着该域的域特有特征，在目标域的支持集数据结合小样本机器学习方法训练得到组合多个特征提取器的最佳权重，根据最佳权重组合所有特征提取器以得到能够在目标域上得到最佳性能的最终特征提取器，最终即可利用最终特征提取器在目标域查询集上测试最终图像分类性能；

(3)域特征提取模块能够方便的嵌入原始的神经网络，并且结合了局部注意力和特征图变换方法，能够同时提取到输入图像的域特有局部特征和域特有全局特征，大大提升了特征提取器提取域特有特征的能力，从而从源域中迁移出更多的特征信息，最终提升最终的小样本图像分类性能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为实施例一中基于域适应的小样本图像分类方法的流程示意图；

图2为本发明的关键模型结构图；

图3为***域特征提取模块的神经网络基础块的结构图；

图4为实施例二中基于域适应的小样本图像分类方法的流程示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如附图1所示，一种基于域适应的小样本图像分类方法，包括：

S101：构建特征提取器，加载预训练参数初始化模型；

如附图2所示，为本发明的关键模型结构，在本实施例中使用Resnet-18卷积神经网络(即共18层神经网络层的Resnet模型)作为骨干网络，该神经网络由4个基础块和分类层组成。基础块结构如附图3所示，其中，a表示本发明在每个基础块上***的两个域特征提取模块，3×3表示卷积核为3×3的卷积层，BN表示批标准化层，ReLU表示激活函数，

表示元素乘，

表示元素加。

设源域为R＝{r₁，r₂，…，r_N}，r_i表示第i个图像数据域，共有N个；

设目标域为T＝s∪q，其中s表示用于小样本机器学习方法训练的支持集，q表示用于性能测试的查询集，且

在本实施例中使用CUB数据集(即包含200种不同的鸟类的图像数据集)，Aircraft数据集(即包含100类飞机类别的图像数据集)和VGG-Flower数据集(即包含102种不同的花类的图像数据集)作为源域进行训练，上述三种数据集分别设为r₁，r₂，r₃，将CIFAR-10数据集(即包含10类常见物品的图像数据集)每一类随机取出5张图像组成支持集s，剩余图像样本组成查询集q作为目标域做小样本机器学习方法的训练和测试。分类网络由池化层，线性分类层和softmax(归一化指数函数)层组成，用于输出最终预测结果。

根据附图2中的关键模型结构构建作为特征提取器的神经网络，加载预训练参数初始化模型，将γ参数初始化为全1矩阵，β参数初始化为全0矩阵，使用随机参数初始化分类网络。

S102：使用域特征提取模块得到多个特征提取器；

域特征提取模块使用如下公式对特征提取器输出的特征图X进行变换以更好的提取输入图像的域特有全局特征：

X₁＝γ⊙X+β

其中，X为一个维度为HW×C的矩阵，其中H、W和C分别表示其高度、宽度和通道数，域特征提取模块以X为输入并对其进行处理；X₁为进行变换后的矩阵；γ，β为可训练的参数矩阵，维度均与X相同；⊙表示元素乘。

同时，为了更好的提取域特有局部特征，本发明还引入了局部注意力操作，由两个点卷积(point-wise convolution)层和一个ReLU激活函数组成。点卷积是一种特殊的卷积运算，可以实现跨通道信息的融合增加网络的非线性并实现通道数的升维与降维，在本实施例中将其实现为点卷积层。ReLU为激活函数，当输入值m≤0时，ReLU(m)＝0，当m＞0时，ReLU(m)＝m。因此，域特征提取模块使用如下公式对特征提取器输出的特征图X进行局部注意力操作以更好的提取输入图像的域特有局部特征：

X₂＝PWConv₂(ReLU(PWConv₁(X)))

其中，X₂为进行局部注意力操作后的矩阵；PWConv₁表示第一个点卷积层，PWConv₂表示第二个点卷积层；ReLU为激活函数，当输入值m≤0时，ReLU(m)＝0，当m＞0时，ReLU(m)＝m；PWConv₁(X)表示输入的特征图X经点卷积进行点卷积层操作后的结果。

最终，域特征提取模块的输出如下公式表示：

其中，

为域特征提取模块的最终输出。经过局部注意力操作处理得到的X₂与输入的特征图X具有相同的维度，且可以保留和突出底层特征中的细微细节，更好的提取和保存并迁移域特有局部特征。由于变换操作和局部注意力操作中针对输入特征图X的操作均不改变其维度，所以两部分输出可直接相加，即同时提取到输入图像的域特有局部特征和域特有全局特征，大大提升了特征提取器提取域特有特征的能力，从而从源域中迁移出更多的特征信息，为目标域中的小样本机器学习方法提供帮助，从而提升最终的小样本图像分类性能。

使用上述特征提取器分别在源域数据域r₁，r₂，r₃上进行充分的训练并分别保存训练得到的模型参数，将训练得到的特征提取器分别设为f₁(·)，f₂(·)，f₃(·)作为输出，使其充分的提取各个域的域特有特征信息，这些特征信息被保存于模型参数中。

S103：使用权重训练模块得到适合目标数据域的最终特征提取器；

权重训练模块使用如下公式得到权重λ：

其中，λ为组合多个特征提取器的权重，λ为一个维度为1×N的向量；N为包含域特有特征(包括域特有全局特征和域特有局部特征)的特征提取器的数量；s为目标域中的支持集，支持集s中的图像标签对为(x_i，y_i)，其中x_i表示第i个图像样本，y_i表示其对应的类别标签；j表示支持集s中的图像类别，共有N_s个类，n_s个图像样本，s_j表示图像类别标签等于j的图像样本下标集合，p为原型，f(·)表示特征提取器，d(·，·)表示距离函数，用于估算不同参数之间的相似性，实际应用时可以有多种选择，如欧氏距离、曼哈顿距离等；L(λ)表示在支持集上关于λ的损失函数。

使用上述公式所示的损失函数即可在支持集上使用梯度下降等方法训练得到最佳的组合权重λ，进而得到最适应目标域的最终特征提取器f_λ(·)。

具体地，在使用权重训练模块得到适合目标数据域的最终特征提取器的步骤中，还包括以下子步骤：

S1031：接受多域特征提取模块的输出特征提取器f₁(·)，f₂(·)，f₃(·)作为输入，将这些特征提取器的组合权重参数λ初始化为全1向量，由以下公式得到初始f_λ(·)：

其中，x表示目标域图像，f_λ(x)表示特征提取器针对x提取的特征，公式中的其他设置与步骤S103中的公式相同。

S1032：使用f_λ(·)处理支持集s上的图像样本，由以下公式得到初始的支持集每类原型

公式中的设置与步骤S103中的公式相同。

S1033：使用以下公式所示的损失函数遍历支持集s上的所有图像样本，得到当前λ的训练损失，使用随机梯度下降方法训练λ：

其中，λ为组合多个特征提取器的权重，λ为一个维度为1×N的向量；N为包含域特有特征(包括域特有全局特征和域特有局部特征)的特征提取器的数量；s为目标域中的支持集，支持集s中的图像标签对为(x_i，y_i)，其中x_i表示第i个图像样本，y_i表示其对应的类别标签；j表示支持集s中的图像类别，共有N_s个类，n_s个图像样本，s_j表示图像类别标签等于j的图像样本下标集合，p为原型，f(·)表示特征提取器，d(·，·)表示距离函数，用于估算不同参数之间的相似性，实际应用时可以有多种选择，如欧氏距离、曼哈顿距离等；L(λ)表示在支持集上关于λ的损失函数。

S1034：重复步骤S1033直至λ的训练损失不再下降，最终得到组合多个特征提取器的最佳权重参数λ，即得到最适合目标数据域的最终特征提取器f_λ(·)。

S104：使用测试模块得到方法最终性能。

测试模块使用如下公式得到测试样本的预测结果：

其中，x_k表示第k个图像样本，yk表示其对应的类别标签，

表示对于测试样本的预测结果，j表示支持集s中的图像类别，共有N_s个类，n_s个图像样本，s_j表示图像类别标签等于j的图像样本下标集合，p为原型，f(·)表示特征提取器，d(·，·)表示距离函数，用于估算不同参数之间的相似性，实际应用时可以有多种选择，如欧氏距离、曼哈顿距离等。

由权重训练模块得到最适合目标数据域的最终特征提取器f_λ(·)后，使用测试模块遍历查询集q，得到分类方法的最终性能。

本实施例中的基于域适应的小样本图像分类方法依靠域特征提取模块、权重训练模块和预测模块三个模块创造性的在小样本机器学习方法中使用域适应方法，具体地，使用域特征提取模块在得到了在源域上充分训练的***了域特征提取模块的多个特征提取器之后，由权重训练模块在目标域的支持集上训练组合这些特征提取器的最佳权重，从而得到最适合目标域的最终特征提取器，并由预测模块得到最终的小样本图像分类结果以衡量该基于域适应的小样本图像分类方法的性能。

本实施例还提供了一种基于域适应的小样本图像分类***，包括域特征提取模块、权重训练模块和测试模块，其中，域特征提取模块使用如下公式对输入图像的特征图X进行变换以提取输入图像的域特有全局特征：

X₁＝γ⊙X+β

其中，X为一个维度为HW×C的矩阵，其中H、W和C分别表示其高度、宽度和通道数，域特征提取模块以X为输入并对其进行处理；X₁为进行变换后的矩阵；γ，β为可训练的参数矩阵，维度均与X相同；⊙表示元素乘；

所述域特征提取模块还使用如下公式对输入图像的特征图X进行局部注意力操作以提取输入图像的域特有局部特征：

X₂＝PWConv₂(ReLU(PWConv₁(X)))

其中，X₂为进行局部注意力操作后的矩阵；PWConv₁表示第一个点卷积层，PWConv₂表示第二个点卷积层；ReLU为激活函数，当输入值m≤0时，ReLU(m)＝0，当m＞0时，ReLU(m)＝m；PWConv₁(X)表示输入的特征图X经点卷积进行点卷积操作后的结果；

所述域特征提取模块的最终输出如下公式表示：

其中，

为域特征提取模块的最终输出。

上述域特征提取模块能够方便的嵌入原始的神经网络，并且结合了局部注意力和特征图变换方法，能够同时提取到输入图像的域特有局部特征和域特有全局特征，大大提升了特征提取器提取域特有特征的能力，从而从源域中迁移出更多的特征信息，最终提升最终的小样本图像分类性能。

实施例二

如附图4所示，为本发明公开的一种基于域适应的小样本图像分类方法，与实施例一不同的是，在构建特征提取器，加载预训练参数初始化模型之后还包括以下步骤：

S201：域特征提取模块在源域上训练多个特征提取器；

S202：权重训练模块在目标域支持集上使用小样本机器学习方法训练所有特征提取器得到组合所有特征提取器的权重并根据权重组合所有特征提取器得到适合目标域的最终特征提取器；

S203：测试模块利用最终特征提取器在目标域查询集上测试最终图像分类性能。

在步骤S201中，源域中的每个数据域训练一个特征提取器。

在每个数据域上训练的一个特征提取器的模型参数保存并携带着该域的域特有特征，从而使得所有的特征提取器可提取源域中的所有数据域的域特有特征，提高了源域的利用率同时也提高了最终的图像分类性能。

进一步地，在源域上训练的多个特征提取器的模型结构相同，便于后续多个特征提取器的组合，降低了组合特征提取器的操作难度。

本实施例通过多个特征提取器在源域上进行训练，特征提取器的模型参数保存并携带着该域的域特有特征，在目标域的支持集数据结合小样本机器学习方法训练得到组合多个特征提取器的最佳权重，根据最佳权重组合所有特征提取器以得到能够在目标域上得到最佳性能的最终特征提取器，最终即可利用最终特征提取器在目标域查询集上测试最终图像分类性能。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于域适应的小样本图像分类方法，其特征在于，包括以下步骤：

构建特征提取器，加载预训练参数初始化模型；

使用域特征提取模块得到多个特征提取器；

使用权重训练模块得到适合目标数据域的最终特征提取器；

使用测试模块得到方法最终性能。

2.根据权利要求1所述的一种基于域适应的小样本图像分类方法，其特征在于，所述域特征提取模块使用如下公式对特征提取器输出的特征图X进行变换以提取输入图像的域特有全局特征：

X₁＝γ⊙X+β

其中，X为一个维度为HW×C的矩阵，其中H、W和C分别表示其高度、宽度和通道数，域特征提取模块以X为输入并对其进行处理；X₁为进行变换后的矩阵；γ，β为可训练的参数矩阵，维度均与X相同；⊙表示元素乘。

3.根据权利要求2所述的一种基于域适应的小样本图像分类方法，其特征在于，所述域特征提取模块还使用如下公式对特征提取器输出的特征图X进行局部注意力操作以提取输入图像的域特有局部特征：

X₂＝PWConv₂(ReLU(PWConv₁(X)))

其中，X₂为进行局部注意力操作后的矩阵；PWConv₁表示第一个点卷积层，PWConv₂表示第二个点卷积层；ReLU为激活函数，当输入值m≤0时，ReLU(m)＝0，当m＞0时，ReLU(m)＝m；PWConv₁(X)表示输入的特征图X经点卷积进行点卷积层操作后的结果。

4.根据权利要求3所述的一种基于域适应的小样本图像分类方法，其特征在于，所述域特征提取模块的最终输出如下公式表示：

其中，

为域特征提取模块的最终输出。

5.根据权利要求1所述的一种基于域适应的小样本图像分类方法，其特征在于，所述权重训练模块使用如下公式得到权重λ：

其中，λ为组合多个特征提取器的权重，λ为一个维度为1×N的向量；N为包含域特有特征的特征提取器的数量；s为目标域中的支持集，支持集s中的图像标签对为(x_i，y_i)，其中x_i表示第i个图像样本，y_i表示其对应的类别标签；j表示支持集s中的图像类别，共有N_s个类，n_s个图像样本，s_j表示图像类别标签等于j的图像样本下标集合，p为原型，f(·)表示特征提取器，d(·，·)表示距离函数，距离函数用于估算不同参数之间的相似性；L(λ)表示在支持集上关于λ的损失函数。

6.根据权利要求1所述的一种基于域适应的小样本图像分类方法，其特征在于，所述测试模块使用如下公式得到测试样本的预测结果：

其中，x_k表示第k个图像样本，yk表示其对应的类别标签，

表示对于测试样本的预测结果，j表示支持集s中的图像类别，共有N_s个类，n_s个图像样本，s_j表示图像类别标签等于j的图像样本下标集合，p为原型，f(·)表示特征提取器，d(·，·)表示距离函数，距离函数用于估算不同参数之间的相似性。

7.根据权利要求1所述的一种基于域适应的小样本图像分类方法，其特征在于，在构建特征提取器，加载预训练参数初始化模型之后还包括以下步骤：

域特征提取模块在源域上训练多个特征提取器；

权重训练模块在目标域支持集上使用小样本机器学习方法训练所有特征提取器得到组合所有特征提取器的权重并根据权重组合所有特征提取器得到适合目标域的最终特征提取器；

测试模块利用最终特征提取器在目标域查询集上测试最终图像分类性能。

8.根据权利要求6所述的一种基于域适应的小样本图像分类方法，其特征在于，源域中的每个数据域训练一个特征提取器。

9.根据权利要求6所述的一种基于域适应的小样本图像分类方法，其特征在于，其中在源域上训练的多个特征提取器的模型结构相同。

10.一种基于域适应的小样本图像分类***，其特征在于，包括域特征提取模块、权重训练模块和测试模块，其中，域特征提取模块使用如下公式对输入图像的特征图X进行变换以提取输入图像的域特有全局特征：

X₁＝γ⊙X+β

其中，X为一个维度为HW×C的矩阵，其中H、W和C分别表示其高度、宽度和通道数，域特征提取模块以X为输入并对其进行处理；X₁为进行变换后的矩阵；γ，β为可训练的参数矩阵，维度均与X相同；⊙表示元素乘；

所述域特征提取模块还使用如下公式对输入图像的特征图X进行局部注意力操作以提取输入图像的域特有局部特征：

X₂＝PWConv₂(ReLU(PWConv₁(X)))

其中，X₂为进行局部注意力操作后的矩阵；PWConv₁表示第一个点卷积层，PWConv₂表示第二个点卷积层；ReLU为激活函数，当输入值m≤0时，ReLU(m)＝0，当m＞0时，ReLU(m)＝m；PWConv₁(X)表示输入的特征图X经点卷积进行点卷积操作后的结果；

所述域特征提取模块的最终输出如下公式表示：

其中，

为域特征提取模块的最终输出。

Images