CN110880019B - 通过无监督域适应训练目标域分类模型的方法 - Google Patents

Abstract

本发明公开了一种通过无监督域适应训练目标域分类模型的方法，包括：对于源域和目标域输入的批图像数据，通过标准卷积网络来提取特征，然后结合初始化设定的质心特征构建对应于源域和目标域的实例图；实例图中的节点矩阵依次通过源域分类器与图卷积网络后，生成对应于源域和目标域的类别质心特征；使用类别质心对齐机制，约束图卷积网络每层中来自不同域的类别质心，使不同域的类别质心随着迭代训练而逐渐靠近；并且，使用质心指导的对抗性对齐机制，利用所有类别自动生成的质心作为域全局统计信息指导每批图像数据参与对抗训练；通过迭代训练最终得到在目标域有效的分类模型。上述方法具有很好的泛化性，且训练好的分类模型分类准确较高。

Description

通过无监督域适应训练目标域分类模型的方法

技术领域

本发明涉及图像分类技术领域，尤其涉及一种通过无监督域适应训练目标域分类模型的方法。

背景技术

无监督域适应能利用现有的源域带标签数据和网络模型以及相关的目标域无标签数据学习得到适用于目标域数据分类的网络模型。

传统的无监督域适应方法通常利用相关距离度量等措施去对齐深层网络输出的源域和目标域的数据分布。近年来许多对抗性域适应的方法也被提出，并取得了较为显著的成果，这些方法大多是基于生成对抗网络。主要做法是训练鉴别器鉴别采样特征是来自于源域还是目标域，同时训练特征提取器欺骗鉴别器，以此使得源域和目标域特征分布对齐，无法区分。

这些方法大多侧重于测量域级别上的域差异，而不区分来自两个域的样本是否根据所属的类别进行对齐。即便全局域统计数据完全混淆，源域和目标域之间的差距也不一定被减少，甚至还会将不同类别的样本混合到一起，因此，分类效果还有待提高。

发明内容

本发明的目的是提供一种通过无监督域适应训练目标域分类模型的方法，具有很好的泛化性，且训练好的分类模型分类准确较高。

本发明的目的是通过以下技术方案实现的：

一种通过无监督域适应训练目标域分类模型的方法，包括：

对于源域和目标域输入的批图像数据，通过标准卷积网络来提取图像特征，然后结合初始化设定的质心特征构建对应于源域和目标域的实例图；将实例图中的节点矩阵依次通过源域分类器与图卷积网络后，更新对应于源域和目标域的类别质心特征；

使用类别质心特征对齐机制，约束图卷积网络每层中来自不同域的类别质心特征，使不同域的类别质心特征随着迭代训练而逐渐靠近；

并且，使用质心指导的对抗性对齐机制，利用所有类别自动生成的质心特征作为域全局统计信息指导每批图像数据参与对抗训练；

通过迭代训练最终得到在目标域有效的分类模型。

由上述本发明提供的技术方案可以看出，能通过端到端的方式训练网络自动学***均1～2％的分类准确率的提升，且模型分类准确率收敛速度更快。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种通过无监督域适应训练目标域分类模型的方法的框架图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种通过无监督域适应训练目标域分类模型的方法，该方法所涉及的无监督域适应是基于图卷积类别感知结构建模，如图1所示，为相关方法的整体框架，训练过程主要包括如下几个部分：

1、类别质心特征自动生成。

对于源域和目标域输入的批图像数据，通过标准卷积网络来提取图像特征，然后结合初始化设定的类别质心特征构建对应于源域和目标域的实例图；实例图包含了由一系列特征节点构成的节点矩阵及相应的邻接矩阵，节点矩阵依次通过源域分类器与图卷积网络后，更新对应于源域和目标域的类别质心特征。

本发明实施例中，所述源域和目标域输入的批图像数据包括：有标签的源域数据与无标签目标域数据。

通过标准卷积网络提取图像特征，然后结合初始化设定的质心特征构建对应于源域和目标域的节点矩阵表示为：

上式中，AlexNet(X_batch)表示利用AlexNet标准卷积网络提取批图像数据X_batch的特征；C表示初始化设定的类别质心特征；

表示特征串联；*＝S，T，分别对应于源域和目标域，即

对应于源域的节点矩阵，

对应于目标域的节点矩阵。

如图1所示，其中的X_S、X_T为提取到的源域和目标域图像的特征。

利用源域分类器预测节点矩阵

中各特征节点的软标签

从而根据特征节点间相似性来构建相应特征节点离连边的权重，相应的邻接矩阵

表示为：

上式中，*＝S.T，

分别为源域的节点矩阵对应的邻接矩阵、源域特征节点的软标签；

分别为目标域的节点矩阵对应的邻接矩阵、目标域特征节点的软标签。

通过以上方式得到的节点矩阵与对应的邻接矩阵，构成了完整的实例图。

之后，源域和目标域的节点矩阵各自通过一个图卷积网络，相关操作表示为：

上式中，

对应的表示图卷积网络第l层、l+1层的输出结果；

表示度矩阵，度矩阵第i行第i列元素

为邻接矩阵

第i行第j列元素，类似的，*＝S，T分别对应于源域和目标域，W^(l+1)表示图卷积第l+1层可学习参数，源域和目标域对应的图卷积网络中的参数共享，σ表示激活函数。

利用特征节点间关系传播特征信息，更新节点特征，自动生成了新的类别质心特征并更新原来的类别质心特征。同时后文所介绍的两个针对类别质心特征的对齐机制将会约束特征是富有语义的。

本发明实施例中，因为图像样本最终要被准确分类，那么对应每个类别，所有图像样本的特征在特征空间上会存在一个类别质心特征来代表这个类别的所有图像样本。类别质心特征实际并不存在，在以往的方法中使用同类样本特征求均值来代表质心特征，本发明实施例中则利用图卷积网络来自动学习类别质心特征，如图1所示，左侧右侧所示的C_S和C_T都代表源域和目标域生成的类别质心特征，区别在于，左侧是更新前的类别质心特征，右侧为更新后的类别质心特征。本领域技术人员可以理解，更新前的类别质心特征是指始化设定的类别质心特征，或者是上一次操作后得到的类别质心特征。

2、类别质心特征对齐机制。

在实践中，以往的方法侧重于对类级信息进行建模，取得了令人印象深刻的效果，进一步强调了类级信息的重要性。为了确保来自不同域的相同类的特征被映射到邻近的位置，本发明实施例中，设计类别质心特征对齐机制对无监督域适应的类别信息建模，通过约束图卷积网络每层中来自不同域的类别质心特征，使不同域的类别质心特征随着迭代训练而逐渐靠近，以这样的方式将类别信息编码所学习的特征。因此，属于同类别的样本就可以嵌入到特征空间的附近位置。

类别质心特征对齐机制的损失函数为：

其中，K代表类别数量，φ代表距离度量函数，k为类别序号，C_S和C_T分别代表源域和目标域的类别质心特征。

3、质心指导的对抗性对齐机制。

本发明实施例中，使用质心指导的对抗性对齐机制，利用所有类别自动生成的质心特征作为域全局统计信息指导每批图像数据参与对抗训练，以缓解批样本输入带来的局部信息干扰鉴别器对域全局分布判断的影响。类别质心特征的参与可以提高训练效率和适应性能。

质心指导的对抗性对齐机制的损失函数为：

其中，χ_S＝{x|x∈D_S}，χ_T＝{x|x∈D_T}分别表示源域和目标域图像，C_S和C_T分别代表源域和目标域的类别质心特征，D代表鉴别器，G代表特征提取器，

代表特征串联。

如图1所示，特征提取器是由标准卷积网络AlexNet以及图卷积网络共同构成。

如图1所示，分类器F是针对域适应目标，随着训练更新的任务特定分类器(简称训练分类器F)，分类模型训练完毕后，将利用训练分类器F对目标域图片进行分类，输出分类得分。鉴别器D用于训练阶段，其主要作用是根据输入的特征与类别质心特征来判断图像来自源域还是目标域，可以表示为：D(Concat([X_S，C_S]，axis＝0))，D(Concat([X_T，C_T]，axis＝0))，Concat表示拼接操作，axis＝0表示在第0维上进行concat。

本发明实施例上述方案所设计的对抗性对齐机制有类别质心特征的参与，从而会帮助类别质心特征的对齐。反过来，类别质心特征对齐机制约束了学习更具语义的类别质心特征也会帮助指导对抗性对齐机制。因此两机制可以相互强化，使得的分类模型也可以在不依赖人类先验的情况下，以端到端的方式训练。

通过以上方式，结合定义的损失函数不断的迭代训练，最终可以得到在目标域有效的分类模型。训练得到的分类模型可以对输入的目标域图像进行有效分类，分类准确度也较高。在测试阶段，将目标域图像χ_T输入训练好的分类模型，通过特征提取器G，也即经过AlexNet提取特征，再结合训练得到的目标域质心特征

通过GCN得到进一步提取的特征G(χ_T)，即

将最后提取的特征G(χ_T)输入至训练分类器F得到类别结果。

本发明实施例上述方案，可以应用于大数据规模无标签图像的预分类。在实施上，可以以软件的方式安装于工作电脑上进行实时的小批图像数据的分类展示，也可以安装于大型服务器对大批图像数据进行处理。

上述方案与现有方法相比，主要获得如下技术效果：

能通过端到端的方式训练网络自动学***均1～2％的分类准确率的提升，且模型分类准确率收敛速度更快。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种通过无监督域适应训练目标域分类模型的方法，其特征在于，包括：

对于源域和目标域输入的批图像数据，通过标准卷积网络来提取图像特征，然后结合初始化设定的质心特征构建对应于源域和目标域的实例图；将实例图中的节点矩阵依次通过源域分类器与图卷积网络后，更新对应于源域和目标域的类别质心特征；

使用类别质心特征对齐机制，约束图卷积网络每层中来自不同域的类别质心特征，使不同域的类别质心特征随着迭代训练而逐渐靠近；

并且，使用质心指导的对抗性对齐机制，利用所有类别自动生成的质心特征作为域全局统计信息指导每批图像数据参与对抗训练；

通过迭代训练最终得到在目标域有效的分类模型；

其中，通过标准卷积网络来提取图像特征，然后结合初始化设定的质心特征构建对应于源域和目标域的实例图包括：

提取图像特征，并结合初始化设定的质心特征构建对应于源域和目标域的节点矩阵：

上式中，AlexNet(X_batch)表示利用AlexNet标准卷积网络提取批图像数据X_batch的特征；C表示初始化设定的类别质心特征；

表示特征串联；*S,T，分别对应于源域和目标域，即

对应于源域的节点矩阵，

对应于目标域的节点矩阵；

通过源域分类器预测节点矩阵

中各特征节点的软标签

从而根据特征节点间相似性来构建相应特征节点离连边的权重，相应的邻接矩阵

表示为：

上式中，*＝S,T，

分别为源域的节点矩阵对应的邻接矩阵、源域特征节点的软标签；

分别为目标域的节点矩阵对应的邻接矩阵、目标域特征节点的软标签；

通过以上方式得到的节点矩阵与对应的邻接矩阵，构成了实例图；

类别质心特征对齐机制的损失函数为：

其中，K代表类别数量，φ代表距离度量函数，k为类别序号，C_S和C_T分别代表源域和目标域的类别质心特征；

质心指导的对抗性对齐机制的损失函数为：

其中，

分别表示源域和目标域图像，C_S和C_T分别代表源域和目标域的类别质心特征，D代表鉴别器，G代表特征提取器，由标准卷积网络以及图卷积网络共同构成，

代表特征串联。

2.根据权利要求1所述的一种通过无监督域适应训练目标域分类模型的方法，其特征在于，所述源域和目标域输入的批图像数据包括：有标签的源域数据与无标签目标域数据。

3.根据权利要求1所述的一种通过无监督域适应训练目标域分类模型的方法，其特征在于，源域和目标域的节点矩阵各自通过一个图卷积网络，相关操作表示为：

上式中，

对应的表示图卷积网络第l层、l+1层的输出结果；

表示度矩阵，度矩阵第i行第i列元素

为邻接矩阵

第i行第j列元素，W^(l+1)表示图卷积第l+1层可学习参数，源域和目标域对应的图卷积网络中的参数共享，σ表示激活函数。

Images