CN109919209A - 一种领域自适应深度学习方法及可读存储介质 - Google Patents

Abstract

本发明公开了一种领域自适应深度学习方法，该方法将目标域图像进行旋转变换，得到自监督学习训练样本集；将转换后的自监督学习训练样本集和源领域训练样本集进行联合训练，得到领域自适应深度学习模型用于目标域上的视觉任务。该方法无需对目标域样本进行标注，能有效地学习目标域特征表示，提升目标域上计算机视觉任务的性能。本申请还公开了一种领域自适应深度学习可读存储介质，同样具有上述有益效果。

Description

一种领域自适应深度学习方法及可读存储介质

技术领域

本发明涉及领域自适应深度学习领域，特别是面向计算机视觉任务的领域自适应深度学习方法及可读存储介质。

背景技术

计算机视觉任务中的图像分类、图像语义分割、目标识别、目标检测等模型，通常都是通过监督学习训练获得的。监督学习，特别是基于深度神经网络的监督学习，通常需要大量的标注的训练样本。这些样本的标注需要耗费大量的人力物力，比如，图像分割需要进行逐像素的语义标注，标注难度非常大，成本非常高。当模型在标注数据上训练完成之后，将其应用到测试数据上。当测试数据与训练数据具有相同的分布时，监督学习是一种非常有效的方法。然而实际应用中通常会出现测试数据与训练数据分布不同的情况，从而使得在训练数据上学习的模型性能下降。

领域自适应(domain adaptation)是解决上述由于训练和测试数据分布差异引起模型性能下降问题的一类技术方法。通常将训练数据集称为源领域，测试数据集称为目标领域。源领域的数据是带有标注信息的，而目标领域的数据通常是没有标注信息的。领域自适应技术旨在将源领域的监督信息迁移到目标领域，提升目标领域上任务的性能。

基于深度神经网络的领域自适应学习通常是通过学习跨领域不变的特征表示，即具有领域共性的特征表示，来提升目标领域上的任务的性能的。为了得到跨领域不变特征表示，当前主流的方法是通过领域对抗训练来实现的。领域对抗训练因为需要同时优化一对相互对抗的目标函数，训练过程的收敛比非对抗训练困难，训练得到的模型往往不是最优的。

发明内容

本发明要解决的技术问题是提供一种领域自适应深度学习方法，该方法面向计算机视觉任务，提供一种非对抗式的领域自适应方法，以提高目标领域上任务的性能；本申请同时提供一种领域自适应深度学习可读存储介质，同样解决上述技术问题。

本申请提供一种领域自适应深度学习方法，包括：

步骤1：对每一个目标域图像，按设定的角度旋转，旋转后形成的图像分别对应不同的类别标签；将旋转后形成的图像缩放裁剪到相同尺寸，然后将所有图像顺序随机打乱，每个图像对应的类别标签保持不变，形成自监督学习训练样本集；

步骤2：通过多任务学习深度神经网络，对源领域训练样本集构建目标域上的视觉任务(T)，同时对所述自监督学习训练样本集构建图像分类任务，然后对源领域训练样本集和自监督学习训练样本集进行联合训练；

步骤3：将上述联合训练得到的深度学习模型用于目标域上的视觉任务(T)。

可选地，对步骤1中每一个目标域图像进行0°、90°、180°的旋转，形成三张新的图片。

可选地，步骤1中旋转后形成的图像缩放裁剪到长、宽均为224像素。

可选地，步骤1中旋转后形成的图像缩放之前进行数据增强，所述数据增强包括随机亮度或饱和度调节。

可选地，所述多任务学习深度神经网络包括编码器主干网络(F),图像分类器网络分支(C)和视觉任务网络分支(S)；

其中编码器主干网络(F)和图像分类器网络分支(C)对所述自监督学习训练样本集构建图像分类任务，编码器主干网络(F)和视觉任务网络分支(S)对源领域训练样本集构建学习任务(T)。

本发明提供的可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现所述领域自适应深度学习方法的步骤。

本发明提供的领域自适应深度学习方法，通过联合源领域监督学习与目标领域自监督学习任务来学习目标领域特征表示，从而实现领域自适应。该方法既能充分发挥监督学习在深度神经网络训练中的高效性，又不依赖人工标注来构建目标领域自监督学习训练集。通过源领域样本和目标领域样本的联合训练，有效地利用了源领域与目标领域的共性，以建立适应目标领域任务的特征表示，从而提高目标领域上任务的性能。

本发明提供的领域自适应深度学习可读存储介质，同样具有上述有益效果。

附图说明

图1是本发明实施例的自监督领域自适应深度学习训练过程的流程示意图。

图2是将训练得到的模型用于目标领域测试的流程示意图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

图1给出了本发明实施例的领域自适应深度学习训练流程示意图。该方法主要包括以下步骤：

步骤1：将目标域图像进行旋转变换，得到自监督学习训练样本集；

步骤2：将转换后的自监督学习训练样本集和源领域训练样本进行联合训练，得到深度学习模型。

步骤3：将上述联合训练得到的模型用于目标域上的视觉任务T。

步骤1中将目标域图像进行旋转变换，得到自监督学习训练样本集。该过程首先对目标域图像分别进行0°、90°和180°的旋转，三个旋转角度分别对应类别标签0，1和2。这个过程不需要人工对每一张图片逐一进行标注，实现了自监督学习中标注样本的自动生成。对旋转后的图像进行数据增强预处理，包括随机调节对比度、亮度，然后缩放裁剪到统一的图片大小，本实施例图像缩放裁剪成长、宽均为224像素。将处理后的图像顺序随机打乱，每个图像对应的标签不变。该过程输入为目标域图像，输出为转换后的目标域图像X_t及其对应的旋转类别标签Y_t。

步骤2将转换后的自监督学习训练样本集和源领域训练样本进行联合训练，得到深度学习模型。该过程首先构建一个多任务学习深度神经网络，该网络包括一个特征提取编码器主干网络F，一个图像分类器网络分支C和用于目标域上的视觉任务T对应的网络分支S。该网络中的编码器主干网络F和视觉任务网络分支S用于源域样本上任务T的监督学习任务；编码器主干网络F和图像分类器网络分支C用于变换后的目标领域自监督学习样本上的图像分类任务。

图中，黑色实线箭头代表神经网络中数据的正向传播，虚线表示梯度的反向传播。对于图像分类任务，将目标域变换后的图像X_t输入编码器主干网络F,其输出的特征作为图像分类器网络分支C的输入，得到的输出Y_t ^*为预测的图像旋转类别。分类器损失函数根据标注类别Y_t与预测类别Y_t ^*计算出分类器误差，该误差通过反向传播对图像分类器网络分支C和特征编码器F的参数进行更新。对于视觉任务T，将源域图像X_s输入编码器主干网络F,其输出的特征作为视觉任务T的网络分支S的输入，得到的输出Y_s ^*为视觉任务T的预测值，视觉任务T损失函数根据标注类别Y_s与预测类别Y_s ^*计算出视觉任务T的误差，该误差通过反向传播对视觉任务网络分支S和编码器主干网络F的参数进行更新。由于源域和目标域的样本均影响编码器主干网络F的参数更新，因此通过训练得到的编码器主干网络F能够学习到跨领域的特征表示，从而实现对目标领域的自适应。

图2给出了将领域自适应学习得到的模型应用于目标领域视觉任务T的流程示意图。

如图2所示，特征提取编码器主干网络F对输入的目标领域图像提取特征，然后将得到的特征作为任务T网络分支C的输入，通过前向传播计算得到任务T预测结果。

下面对本申请实施例提供的可读存储介质进行介绍，下文描述的可读存储介质与上文描述的领域自适应深度学习方法可相互对应参照。

本申请公开的一种可读存储介质，其上存储有程序，程序被处理器执行时实现领域自适应深度学习方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的可读存储介质中程序的流程，可以参考前述方法实施例中的对应过程，在此不再赘述。

为了更好地说明本发明的技术效果，以图像语义分割任务为例，发明人还进行了下列实验：

实验1：从SYNTHIA数据集到Cityscapes数据集的图像语义分割领域自适应学习

该实验在SYNTHIA数据集和Cityscapes数据集之间进行领域自适应学***均交并比mIoU(mean intersection over union)。mIoU表示的是预测的图像语义分割结果相对真值的覆盖率。测试结果如下所示：

表1：

表1中从第三列到最后一列，每一列分别表示某一个语义类别，第二列平均精度为各类别语义分割精度的平均值。表1对比了三种方法，包括只利用源领域样本训练的方法(SRC)，基于对抗训练的方法(FCN-W)，以及本发明提出的方法(RotDA)。从表1中可以看出，只采用源领域样本训练的方法，由于没有做领域自适应调整，在目标域上性能最差。采用对抗训练的方法由于提高了特征表示的领域混淆度，可以得到较好的自适应学习效果。本发明通过自监督学习，得到了更适应目标领域的特征表示，因此在目标领域取得了显著的性能提升。

实验2：从GTA数据集到Cityscapes数据集的图像语义分割领域自适应学习

该实验在GTA数据集和Cityscapes数据集之间进行领域自适应学习。GTA数据集来源于三维视频游戏中的洛杉矶城市场景，该数据集包含24966张图片及其对应的语义分割标注。标注包含19类语义标签，和Cityscapes的语义标签定义一致，因此本实验在19类语义标签上进行评估。该实验中，GTA数据集作为源领域数据集，Cityscapes数据集作为目标领域数据集。测试结果如下所示：

表2：

从表2可以得到和表1类似的结论，即领域自适应深度学习方法可以取得优于源领域模型的性能，以及相比对抗训练更好的性能。得益于通过源领域和目标领域样本的联合训练得到了适应目标领域的特征表示，本发明取得了优异的性能。

虽然本发明已通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。

Claims (6)

1.一种领域自适应深度学习方法，其特征在于，包括下列步骤：

S1：对每一个目标域图像，按设定的角度旋转，旋转后形成的图像分别对应不同的类别标签；将旋转后形成的图像缩放裁剪到相同尺寸，然后将所有图像顺序随机打乱，每个图像对应的类别标签保持不变，形成自监督学习训练样本集；

S2：通过多任务学习深度神经网络，对源领域训练样本集构建目标域上的视觉任务(T)，同时对所述自监督学习训练样本集构建图像分类任务，然后对源领域训练样本集和自监督学习训练样本集进行联合训练；

S3：将上述联合训练得到的深度学习模型用于目标域上的视觉任务(T)。

2.根据权利要求1所述的方法，其特征在于：对步骤S1中每一个目标域图像进行0°、90°、180°的旋转，形成三张新的图片。

3.根据权利要求2所述的方法，其特征在于：步骤S1中旋转后形成的图像缩放裁剪到长、宽均为224像素。

4.根据权利要求1所述的方法，其特征在于：步骤S1中旋转后形成的图像缩放之前进行数据增强，所述数据增强包括随机亮度或饱和度调节。

5.根据权利要求1所述的方法，其特征在于：所述多任务学习深度神经网络包括编码器主干网络(F),图像分类器网络分支(C)和视觉任务网络分支(S)；

其中编码器主干网络(F)和图像分类器网络分支(C)对所述自监督学习训练样本集构建图像分类任务，编码器主干网络(F)和视觉任务网络分支(S)对源领域训练样本集构建学习任务(T)。

6.一种可读存储介质，其特征在于,所述可读存储介质上存储有程序，所述程序被处理器执行时实现如权利要求1至5任一项所述的领域自适应深度学习方法。