CN111931814B - 一种基于类内结构紧致约束的无监督对抗域适应方法 - Google Patents

一种基于类内结构紧致约束的无监督对抗域适应方法 Download PDF

Info

Publication number
CN111931814B
CN111931814B CN202010637233.8A CN202010637233A CN111931814B CN 111931814 B CN111931814 B CN 111931814B CN 202010637233 A CN202010637233 A CN 202010637233A CN 111931814 B CN111931814 B CN 111931814B
Authority
CN
China
Prior art keywords
neural network
domain
intra
class
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010637233.8A
Other languages
English (en)
Other versions
CN111931814A (zh
Inventor
李玺
汪慧
田�健
赵涵斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010637233.8A priority Critical patent/CN111931814B/zh
Publication of CN111931814A publication Critical patent/CN111931814A/zh
Application granted granted Critical
Publication of CN111931814B publication Critical patent/CN111931814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于类内结构紧致约束的无监督对抗域适应方法。具体包括如下步骤：获取用于训练的有标签的源域数据集以及无标签的目标域数据集；用神经网络模型提取数据集中每张图片的特征，并根据聚类算法构建提取到的特征的类内结构；利用对抗域适应算法训练神经网络，并在训练过程中以类内结构的紧致性作为条件约束神经网络；利用训练过的模型重新提取每张图片的特征以及特征的类内结构，并以此作为约束用对抗域适应算法进一步训练神经网络；不断迭代进行特征提取，特征类内结构构造以及用以类内结构紧致性为条件的对抗域适应算法训练神经网络。本发明适用于无监督域适应领域中的知识迁移，面对各类复杂的情况具有较佳的效果和鲁棒性。

Description

一种基于类内结构紧致约束的无监督对抗域适应方法
技术领域
本发明属于无监督域适应领域，特别地涉及一种基于类内结构紧致约束的无监督对抗域适应方法。
背景技术
无监督域适应被定义为如下问题：在给定有标签的源域数据集和无标签的目标域数据集的情况下，将有标签的源域数据集的知识迁移到无标签的目标域数据集上。这类任务可以有效地减轻深度学习训练过程中对有标签数据的需求，从而减少可以减少标签的手工标注的成本。该任务主要有两个关键点：第一是如何将源域数据集的知识迁移到目标域数据集上；第二是如何对目标域的无标签数据集的内在关系进行建模从而更好的利用迁移过来的知识。针对第一点，本发明认为在迁移过程中，无监督域适应任务不仅需要将源域的知识迁移到目标域上，而且应该在迁移的过程中减少知识受到的外部干扰；针对第二点，本发明认为即使是在没有标签的困难场景，数据集内部仍然存在着固有的内部关系，这种关系对更好地利用源域迁移过来是必要的。传统的方法一般关注的是知识的迁移，而没有更深层次的考虑迁移过程中的知识的抗干扰性以及对目标域数据集的运用，这在本任务中是非常重要的。
由于对抗学习的成功，目前基于对抗的方法逐渐被应用到无监督域适应领域中。现有的对抗方法主要是分别输入源域的一组图片和目标域的一组图片，得到两者的特征，并用对抗的方式让两组特征对抗，从而使得源域特征逼近目标域特征。然而，这类方法没有考虑对抗过程中，特征的内在分布会受到干扰，影响最终的迁移效果。
发明内容
为解决上述问题，本发明的目的在于提供一种基于类内结构紧致约束的无监督对抗域适应方法。该方法基于神经网络，目标是在无监督域适应的迁移过程中保证类内结构的紧致性。在无监督域适应中，类内的图片存在相互的关系，例如同类的图片由于有着相似的属性，颜色，形状，对比度等关联信息，其对应特征与同类图片的距离一般小于其与异类图片的特征的距离。针对这个发现，我们的工作设计了一个统一的端到端的深度学习框架对目标域的特征的类内结构进行的建模，并以此作为约束保持了无监督域适应中迁移的类内结构的紧致性，从而使得到的模型更具准确性和鲁棒性。
为实现上述目的，本发明的技术方案为：
一种基于类内结构紧致约束的无监督对抗域适应方法，其包括以下步骤：
S1、获取用于训练的有标签的源域数据集以及无标签的目标域数据集；
S2、用神经网络模型提取数据集中每张图片的特征，并根据聚类算法构建提取到的特征的类内结构；
S3、利用对抗域适应算法训练神经网络，并在训练过程中以类内结构的紧致性作为条件约束神经网络；
S4、上一轮训练完成后，利用训练过的模型重新提取每张图片的特征以及特征的类内结构，并以此作为约束用对抗域适应算法进一步训练神经网络；
S5、不断重复步骤S4对神经网络进行特征提取，特征类内结构构造以及用以类内结构紧致性为条件的对抗域适应算法训练神经网络，直至网络收敛，得到最终的训练好的神经网络模型。
进一步的，定义的算法目标为：通过训练神经网络，使其能够为无标签的目标域数据集的每个样本预测对应的标签。
进一步的，步骤S1的具体实现步骤包括：
S11、获取包含ns个样本xs，以及它们对应的标签ys的源域数据集
其中，表示源域数据集的第i个样本，/>表示样本/>的标签，{1,2,…,K}是源域样本所属的标签空间，共包含K类标签，/>且i∈{1,2,…,ns}；
S12、获取包含nt个样本xt的目标域数据集
其中，表示目标域数据集的第j个个样本，j∈{1,2,…,nt}；目标域数据集的每个样本/>的标签/>所属的类别空间和源域数据集的类别空间一致，即/>
进一步的，步骤S2的具体实现步骤包括：
S21、用一个神经网络的特征提取模块提取源域数据集以及目标域数据集中每张图片的特征：
其中，是神经网络的特征提取模块，/>是特征提取模块随机初始化后的参数；
S22、计算出源域中每个类别所有图片的特征的均值并用其初始化目标域每个类团/>的中心/>
其中，是源域第k个类别中样本的数量，/>是源域第k类的样本的特征的中心，是初始目标域特征的第k个类团/>的中心，k∈{1,2,…,K}；
S23、计算每个目标类团的中心/>与每个目标样本特征的球面空间距离：
其中，‖·‖代表内部变量的模，<·,·>代表两个变量的向量点积；
S24、通过对每个目标样本与每个目标类团的中心/>的距离/>排序，将每个样本/>归于其最近的类团，再重新计算出每个类团/>的中心/>
其中，代表属于类团/>特征的数量。
S25、不断交替迭代S23和S24进行聚类，直至类中心收敛，得到K个类团这K个类团代表目标域数据集的类内结构。
进一步的，步骤S3的具体实现步骤包括：
S31、将每个类团的类别k作为属于该类团中的样本/>的估计标签/>
S32、通过优化loss函数l(·,·)，使得可反向传播的神经网络的替代分类器模块学习到不可反向传播的聚类得到的类内结构：
其中，是神经网络的替代分类器模块，/>是替代分类器模块随机初始化后的参数；
S33、通过优化loss函数l(·,·)，得到神经网络的特征提取模块和源域分类器模块/>在源域数据集/>上的最优参数/>和/>
其中，是神经网络的源域分类器模块，/>是源域分类器模块随机初始化后的参数；
S34、通过以学习到类内结构的替代分类器模块的输出为条件的对抗域适应算法训练神经网络，得到神经网络的特征提取模块/>和判别器模块/>在源域数据集/>和目标域数据集/>上的最优参数：
其中，是矩阵的外积运算；/>指学习到目标域特征的类内结构的替代分类器模块，训练时以学习到该模块的输出为条件用以保持目标域特征类内结构的紧致性；/>是神经网络的判别器模块，/>是判别器模块随机初始化后的参数。
进一步的，步骤S4的具体实现步骤包括：
S41、在第n轮的特征类内结构构造中，n≥2，以第n-1轮的最优的神经网络的特征提取模块为基础，参照S2步骤的操作，重新提取特征并得到对应的目标域的数据集的类团/>
S42、在第n轮的以类内结构紧致性为条件的对抗域适应算法训练神经网络过程中，以第n-1轮的最优的神经网络的特征提取模块替代分类器模块/>源域分类器模块/>和判别器模块/>为基础，参照S3步骤的操作，得到对应的第n轮训练后的神经网络的参数/>和/>
进一步的，步骤S5的具体实现步骤包括：
S51、不断重复步骤S4对神经网络进行训练，直至网络收敛；在最后一轮训练中，以上一轮的最优的神经网络的特征提取模块替代分类器模块/>源域分类器模块/>和判别器模块/>为训练的基础，参照S4步骤的操作，得到最优的神经网络的/>替代分类器模块/>源域分类器模块/>和判别器模块/>及它们对应的最优参数/> 和/>
本发明的基于类内结构紧致约束的无监督对抗域适应方法，相比于现有的无监督对抗域适应方法，具有以下有益效果：
首先，本发明的无监督对抗域适应方法定义了无监督域适应中两个重要的问题，即类内结构建模和以无监督对抗域适应过程建模。通过寻求这两个方向的解决方法，可以有效地提高的无监督对抗域适应的优化效果。
其次，本发明的基于类内结构紧致约束的无监督对抗域适应方法基于无监督对抗域适应的特点建立优化流程。在无监督对抗域适应的优化体系中，类内结构以条件的形式约束无监督对抗域适应过程，提高了无监督域适应过程的鲁棒性。
最后，本发明的类基于类内结构紧致约束的无监督对抗域适应方法充分利用了目标域不同图片对应特征的内在联系，有效地提高神经网络模型迁移后的效果。
本发明的基于类内结构紧致约束的无监督对抗域适应方法，实现简单，适用范围广，具有良好的应用价值。本发明的类基于类内结构紧致约束的无监督对抗域适应方法，能够有效减少神经网络模型的迁移时收到的干扰和提高神经网络模型迁移后的效果。
附图说明
图1为本发明的流程示意图；
图2为本发明提出的方法的效果的示意图；
图3为本发明提出的方法框架的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
参考图1，在本发明的较佳实施例中，一种基于类内结构紧致约束的无监督对抗域适应方法，该方法用于在给定有标签的源域数据集和无标签的目标域数据集的情况下，将有标签的源域数据集的知识迁移到无标签的目标域数据集上，并在迁移的过程中保证类内结构的紧致性。该方法包括以下步骤：
S1、获取用于训练的有标签的源域数据集以及无标签的目标域数据集。本步骤的具体实现步骤包括：
S11、获取包含ns个样本xs，以及它们对应的标签ys的源域数据集
其中，表示源域数据集的第i个样本，/>表示样本/>的标签，{1,2,…,K}是源域样本所属的标签空间，共包含K类标签，/>且i∈{1,2,…,ns}；
S12、获取包含nt个样本xt的目标域数据集
其中，表示目标域数据集的第j个个样本，j∈{1,2,…,nt}；目标域数据集的每个样本/>的具体类别标签/>不知道，但是它们的标签所属的类别空间和源域数据集的类别空间一致，即/>
本方法中定义的算法目标为：通过算法训练神经网络，使其能够为无标签的目标域数据集的每个样本预测对应的标签。
S2、用神经网络模型提取数据集中每张图片的特征，并根据聚类算法构建提取到的特征的类内结构。本步骤的具体实现步骤包括：
S21、用一个神经网络的特征提取模块提取源域数据集以及目标域数据集中每张图片的特征：
其中，是神经网络的特征提取模块，/>是特征提取模块随机初始化后的参数；
S22、计算出源域中每个类别所有图片的特征的均值并用其初始化目标域每个类团/>的中心/>
其中，是源域第k个类别中样本的数量，/>是源域第k类的样本的特征的中心，是初始目标域特征的第k个类团/>的中心，k∈{1,2,…,K}；
S23、计算每个目标类团的中心/>与每个目标样本特征的球面空间距离：
其中，‖·‖代表内部变量的模，<·,·>代表两个变量的向量点积；
S24、通过对每个目标样本与每个目标类团的中心/>的距离/>排序，将每个样本/>归于其最近的类团，再重新计算出每个类团/>的中心/>
其中，代表属于类团/>特征的数量。
S25、不断交替迭代S23和S24进行聚类，直至类中心收敛，得到K个类团这K个类团代表目标域数据集的类内结构。
S3、利用对抗域适应算法训练神经网络，并在训练过程中以类内结构的紧致性作为条件约束神经网络。本步骤的具体实现步骤包括：
S31、将每个类团的类别k作为属于该类团中的样本/>的估计标签/>
S32、通过优化loss函数l(·,·)，使得可反向传播的神经网络的替代分类器模块学习到不可反向传播的聚类得到的类内结构：
其中，是神经网络的替代分类器模块，/>是替代分类器模块随机初始化后的参数；
S33、通过优化loss函数l(·,·)，得到神经网络的特征提取模块和源域分类器模块/>在源域数据集/>上的最优参数/>和/>
其中，是神经网络的源域分类器模块，/>是源域分类器模块随机初始化后的参数；
S34、通过以学习到类内结构的替代分类器模块的输出为条件的对抗域适应算法训练神经网络，得到神经网络的特征提取模块/>和判别器模块/>在源域数据集/>和目标域数据集/>上的最优参数：
其中，是矩阵的外积运算；/>指学习到目标域特征的类内结构的替代分类器模块，训练时以学习到该模块的输出为条件用以保持目标域特征类内结构的紧致性；/>是神经网络的判别器模块，/>是判别器模块随机初始化后的参数。
S4、上一轮训练完成后，利用训练过的模型重新提取每张图片的特征以及特征的类内结构，并以此作为约束用对抗域适应算法进一步训练神经网络。本步骤的具体实现步骤包括：
S41、在第n轮的特征类内结构构造中，n≥2，以第n-1轮的最优的神经网络的特征提取模块为基础，参照S2步骤的操作，重新提取特征并得到对应的目标域的数据集的类团/>
S42、在第n轮的以类内结构紧致性为条件的对抗域适应算法训练神经网络过程中，以第n-1轮的最优的神经网络的特征提取模块替代分类器模块/>源域分类器模块/>和判别器模块/>为基础，参照S3步骤的操作，得到对应的第n轮训练后的神经网络的参数/>和/>S5、不断重复步骤S4对神经网络进行特征提取，特征类内结构构造以及用以类内结构紧致性为条件的对抗域适应算法训练神经网络，直至网络收敛，得到最终的训练好的神经网络模型。本步骤的具体实现步骤包括：
S51、不断重复步骤S4对神经网络进行训练，直至网络收敛；在最后一轮训练中，以上一轮的最优的神经网络的特征提取模块替代分类器模块/>源域分类器模块/>和判别器模块/>为训练的基础，参照S4步骤的操作，得到最优的神经网络的/>替代分类器模块/>源域分类器模块/>和判别器模块/>及它们对应的最优参数/> 和/>
上述方法的整体框架如图3所示。为了展示本发明所能达到的效果，下面将上述方法应用于一个具体实施例中。
实施例
下面基于上述方法进行仿真实验，本实施例的实现方法如前所述，不再详细阐述具体的步骤，下面仅针对实验结果展示其结果。
本实施例使用了两种复杂网络，分别是ResNet-50，和ResNet-101。并在无监督域适应任务的三大数据集Office-31、Office-Home、VisDA-2017数据集上实施多次重复训练实验，证明了本方法可以有效地提高无监督域适应的效果。
表1本发明方法在Office-31、Office-Home、VisDA-2017数据集上的实施效果
上述实施例中，本发明的基于类内结构紧致约束的无监督对抗域适应方法首先对数据特征的利用类内的紧致性特点建立其类内的结构。在此基础上，将类内结构的紧致性作为约束引入无监督对抗域适应，目的在于在无监督域适应的过程中保持类内的紧致性。如图2及表1所示，从结果看出，本发明的优化方法相比于传统方法能够明显提高无监督域适应效果，本方法优化后神经网络对于目标域数据集的测试准确率进一步提升。
通过以上技术方案，本发明实施例基于类内结构紧致约束的无监督对抗域适应方法。本发明可以将原本的无监督对抗域适应转化为以类内结构紧致性为约束条件的无监督对抗域适应，从而提高神经网络优化效果。本发明适用于无监督域适应中的从有标签的源域数据集迁移到无标签的目标域数据集的迁移学习任务，面对各类复杂的情况具有较佳的效果和鲁棒性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于类内结构紧致约束的无监督对抗域适应方法，其特征在于，包括以下步骤：
S1、获取用于训练的有标签的源域数据集以及无标签的目标域数据集；
S2、用神经网络模型提取数据集中每张图片的特征，并根据聚类算法构建提取到的特征的类内结构；
S3、利用对抗域适应算法训练神经网络，并在训练过程中以类内结构的紧致性作为条件约束神经网络；
S4、上一轮训练完成后，利用训练过的模型重新提取每张图片的特征以及特征的类内结构，并以此作为约束用对抗域适应算法进一步训练神经网络；
S5、不断重复步骤S4对神经网络进行特征提取，特征类内结构构造以及用以类内结构紧致性为条件的对抗域适应算法训练神经网络，直至网络收敛，得到最终的训练好的神经网络模型；
步骤S3的具体实现步骤包括：
S31、将每个类团的类别k作为属于该类团中的样本/>的估计标签/>
S32、通过优化loss函数l(·,·)，使得可反向传播的神经网络的替代分类器模块学习到不可反向传播的聚类得到的类内结构：
其中，是神经网络的替代分类器模块，/>是替代分类器模块随机初始化后的参数；
S33、通过优化loss函数l(·,·)，得到神经网络的特征提取模块和源域分类器模块/>在源域数据集/>上的最优参数/>和/>
其中，是神经网络的源域分类器模块，/>是源域分类器模块随机初始化后的参数；
S34、通过以学习到类内结构的替代分类器模块的输出为条件的对抗域适应算法训练神经网络，得到神经网络的特征提取模块/>和判别器模块/>在源域数据集/>和目标域数据集/>上的最优参数：
其中，是矩阵的外积运算；/>指学习到目标域特征的类内结构的替代分类器模块，训练时以学习到该模块的输出为条件用以保持目标域特征类内结构的紧致性；/>是神经网络的判别器模块，/>是判别器模块随机初始化后的参数。
2.如权利要求1所述的基于类内结构紧致约束的无监督对抗域适应方法，其特征在于，定义的算法目标为：通过训练神经网络，使其能够为无标签的目标域数据集的每个样本预测对应的标签。
3.如权利要求1所述的基于类内结构紧致约束的无监督对抗域适应方法，其特征在于，步骤S1的具体实现步骤包括：
S11、获取包含ns个样本xs，以及它们对应的标签ys的源域数据集
其中，表示源域数据集的第i个样本，/>表示样本/>的标签，{1,2,…,K}是源域样本所属的标签空间，共包含K类标签，/>且i∈{1,2,…,ns}；
S12、获取包含nt个样本xt的目标域数据集
其中，表示目标域数据集的第j个个样本，j∈{1,2,…,nt}；目标域数据集的每个样本/>的标签/>所属的类别空间和源域数据集的类别空间一致，即/>
4.如权利要求3所述的基于类内结构紧致约束的无监督对抗域适应方法，其特征在于，步骤S2的具体实现步骤包括：
S21、用一个神经网络的特征提取模块提取源域数据集以及目标域数据集中每张图片的特征：
其中，是神经网络的特征提取模块，/>是特征提取模块随机初始化后的参数；
S22、计算出源域中每个类别所有图片的特征的均值并用其初始化目标域每个类团的中心/>
其中，是源域第k个类别中样本的数量，/>是源域第k类的样本的特征的中心，/>是初始目标域特征的第k个类团/>的中心，k∈{1,2,…,K}；
S23、计算每个目标类团的中心/>与每个目标样本特征的球面空间距离：
其中，‖·‖代表内部变量的模，<·,·>代表两个变量的向量点积；
S24、通过对每个目标样本与每个目标类团的中心/>的距离/>排序，将每个样本/>归于其最近的类团，再重新计算出每个类团/>的中心/>
其中，代表属于类团/>特征的数量；
S25、不断交替迭代S23和S24进行聚类，直至类中心收敛，得到K个类团这K个类团代表目标域数据集的类内结构。
5.如权利要求1所述的基于类内结构紧致约束的无监督对抗域适应方法，其特征在于，步骤S4的具体实现步骤包括：
S41、在第n轮的特征类内结构构造中，n≥2，以第n-1轮的最优的神经网络的特征提取模块为基础，参照S2步骤的操作，重新提取特征并得到对应的目标域的数据集的类团/>
S42、在第n轮的以类内结构紧致性为条件的对抗域适应算法训练神经网络过程中，以第n-1轮的最优的神经网络的特征提取模块替代分类器模块/>源域分类器模块/>和判别器模块/>为基础，参照S3步骤的操作，得到对应的第n轮训练后的神经网络的参数/>和/>
6.如权利要求5所述的基于类内结构紧致约束的无监督对抗域适应方法，其特征在于，步骤S5的具体实现步骤包括：
S51、不断重复步骤S4对神经网络进行训练，直至网络收敛；在最后一轮训练中，以上一轮的最优的神经网络的特征提取模块替代分类器模块/>源域分类器模块/>和判别器模块/>为训练的基础，参照S4步骤的操作，得到最优的神经网络的/>替代分类器模块/>源域分类器模块/>和判别器模块/>及它们对应的最优参数/>和/>
CN202010637233.8A 2020-07-03 2020-07-03 一种基于类内结构紧致约束的无监督对抗域适应方法 Active CN111931814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010637233.8A CN111931814B (zh) 2020-07-03 2020-07-03 一种基于类内结构紧致约束的无监督对抗域适应方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010637233.8A CN111931814B (zh) 2020-07-03 2020-07-03 一种基于类内结构紧致约束的无监督对抗域适应方法

Publications (2)

Publication Number Publication Date
CN111931814A CN111931814A (zh) 2020-11-13
CN111931814B true CN111931814B (zh) 2023-12-12

Family

ID=73312211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010637233.8A Active CN111931814B (zh) 2020-07-03 2020-07-03 一种基于类内结构紧致约束的无监督对抗域适应方法

Country Status (1)

Country Link
CN (1) CN111931814B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801177B (zh) * 2021-01-26 2022-07-29 南京邮电大学 基于标签矫正的无监督领域自适应模型的实现方法
CN112836740B (zh) * 2021-01-29 2021-11-02 北京建筑大学 一种基于马尔可夫开放复合域提升模型域自适应性的方法
CN113269024B (zh) * 2021-03-31 2022-04-26 中南大学 顾及极化统计特性的非监督域自适应网络极化sar地物分类方法及设备
CN113673555B (zh) * 2021-07-09 2023-12-12 浙江大学 一种基于记忆体的无监督域适应图片分类方法
KR102387663B1 (ko) * 2021-08-30 2022-04-19 서울대학교산학협력단 도메인적응 및 의미군집화 알고리즘이 적용된 진단 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063113A (zh) * 2018-07-30 2018-12-21 成都快眼科技有限公司 一种基于不对称深度离散哈希的快速图像检索方法、检索模型及模型构建方法
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN110796260A (zh) * 2019-09-11 2020-02-14 浙江大学 一种基于类扩张学习的神经网络模型优化方法
CN111126464A (zh) * 2019-12-13 2020-05-08 南京邮电大学 一种基于无监督域对抗领域适应的图像分类方法
CN111275092A (zh) * 2020-01-17 2020-06-12 电子科技大学 一种基于无监督域适应的图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11604943B2 (en) * 2018-05-16 2023-03-14 Nec Corporation Domain adaptation for structured output via disentangled representations

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063113A (zh) * 2018-07-30 2018-12-21 成都快眼科技有限公司 一种基于不对称深度离散哈希的快速图像检索方法、检索模型及模型构建方法
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN110796260A (zh) * 2019-09-11 2020-02-14 浙江大学 一种基于类扩张学习的神经网络模型优化方法
CN111126464A (zh) * 2019-12-13 2020-05-08 南京邮电大学 一种基于无监督域对抗领域适应的图像分类方法
CN111275092A (zh) * 2020-01-17 2020-06-12 电子科技大学 一种基于无监督域适应的图像分类方法

Also Published As

Publication number Publication date
CN111931814A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111931814B (zh) 一种基于类内结构紧致约束的无监督对抗域适应方法
CN110555060B (zh) 基于成对样本匹配的迁移学习方法
CN110046671A (zh) 一种基于胶囊网络的文本分类方法
CN109308485A (zh) 一种基于字典域适应的迁移稀疏编码图像分类方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN112699247A (zh) 一种基于多类交叉熵对比补全编码的知识表示学习框架
CN111967325A (zh) 一种基于增量优化的无监督跨域行人重识别方法
CN109871892A (zh) 一种基于小样本度量学习的机器人视觉认知***
Ren et al. Convolutional neural network based on principal component analysis initialization for image classification
CN109711411B (zh) 一种基于胶囊神经元的图像分割识别方法
CN110458132A (zh) 一种基于端到端的不定长文本识别方法
CN114548279A (zh) 一种基于蒸馏网络的半监督图像分类方法
CN116452862A (zh) 基于领域泛化学习的图像分类方法
CN117611838A (zh) 一种基于自适应超图卷积网络的多标签图像分类方法
CN112766412A (zh) 一种基于自适应稀疏图学习的多视图聚类方法
CN106529601A (zh) 基于稀疏子空间多任务学习的图像分类预测方法
CN114037866B (zh) 一种基于可辨伪特征合成的广义零样本图像分类方法
CN112906763B (zh) 一种利用跨任务信息的数字图像自动标注方法
CN113673555B (zh) 一种基于记忆体的无监督域适应图片分类方法
CN114022762A (zh) 对农作物种植区域面积进行提取的无监督域自适应方法
Hu et al. Tree species identification based on the fusion of multiple deep learning models transfer learning
CN114155554A (zh) 一种基于Transformer的相机域适应行人重识别方法
CN113033641A (zh) 一种高维数据半监督分类方法
CN113902950B (zh) 一种基于几何保持双投影的图像多标签分类方法
CN110751153A (zh) 一种室内场景rgb-d图像的语义标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant