CN111062406B - 一种面向异构领域适应的半监督最优传输方法 - Google Patents

一种面向异构领域适应的半监督最优传输方法 Download PDF

Info

Publication number
CN111062406B
CN111062406B CN201910826004.8A CN201910826004A CN111062406B CN 111062406 B CN111062406 B CN 111062406B CN 201910826004 A CN201910826004 A CN 201910826004A CN 111062406 B CN111062406 B CN 111062406B
Authority
CN
China
Prior art keywords
data
domain
target domain
transmission
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910826004.8A
Other languages
English (en)
Other versions
CN111062406A (zh
Inventor
吴庆耀
闫玉光
毕朝阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Publication of CN111062406A publication Critical patent/CN111062406A/zh
Application granted granted Critical
Publication of CN111062406B publication Critical patent/CN111062406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种面向异构领域适应的半监督最优传输方法。本方法首先根据半监督优化的Gromov‑Wasserstein差异（SGW）度量两个领域分布的差异程度;然后采用基于相对熵的投影梯度下降法迭代求解直到传输矩阵的参数值更新小于一定限度，收敛的传输矩阵能将源域的数据分布有效转移至目标域分布当中;最后根据转移后的源域数据对未标注的目标域数据进行预测。该方法考虑了最优传输在特征空间不同的异构数据中的应用并对半监督场景作了适应性优化，在实际应用中在多种领域数据的信息迁移学习场景展现出良好的性能。

Description

一种面向异构领域适应的半监督最优传输方法
技术领域
本发明涉及迁移学习和半监督学习领域,具体涉及一种面向异构领域适应的半监督最优传输方法。
背景技术
通过对海量有标注样本的共性提取，机器学习算法可以对未来的同类样本进行准确的预测。但是对部分领域来说，数据的标注需要耗费大量时间和财力，如医学图像等领域甚至无法得到大量的有标注数据。考虑到不同领域之间往往包含有共同的信息，如何利用已知的、标注数据量大的领域提升未知的、标注数据量小的领域的学习效果是一个重要课题，这种情况称为半监督迁移学习。最优传输方法刻画了两个领域之间的差异程度，可以利用其来将源域的数据向目标域的分布逼近已提升迁移学习效果。同时，迁移学习分为同构迁移和异构迁移两种情况，本专利考虑更复杂的异构迁移学习问题，这种问题的设定较为困难，但是却具有很强的实际应用价值。
发明内容
本发明的目的是提供一种面向异构领域适应的半监督最优传输方法，克服现有技术存在的不足。
本发明的目的可以采取以下技术方案实现。
一种面向异构领域适应的半监督最优传输方法，包括以下步骤：
S1：从数据库中得到具有多种类别的、不同领域的异构数据，并根据半监督优化的Gromov-Wasserstein差异(SGW)度量两个领域分布的差异程度；
S2：采用基于相对熵的投影梯度下降法迭代求解传输矩阵，重复迭代算法直到算法收敛到一定范围；
S3：利用传输矩阵进行源域数据转移，后根据转移后的数据对未标记的目标域数据数据进行预测。
作为一种具体的实施方案，步骤S1中，数据及构建相应的目标函数的步骤为：
S21：源域数据表示为有标注信息和无标注信息的目标域数据表示为/>这里X表示数据特征，上下标s、l、u分别数据表示来自于源域、有标注目标域和无标注目标域，n为样本数量，d为数据特征维度，下标t代表整个目标域，是领域l、u的并集。
S22：采用核函数计算两个领域数据的度量矩阵Ms,Mt。以传输矩阵T为变量，基于最优传输的基本思想构建熵Gromov-Wasserstein差异度量函数如下式：
其中，搜索空间是源域和目标域的联合分布，是源域和目标域的经验分布；Ms,Mt是采用核函数计算的源域和目标域的度量矩阵，如线性核函数：/>ε是平衡超参数，用于控制传输矩阵T的熵损失，下标i、i'、j、j'用于指代所指矩阵M、T中的元素。
S23：对于含有相同标注信息，即类别相同的领域数据，它们在传输后的分布应当更加接近。基于该思想，利用有标注的目标域数据Xl及其相应类标，构建对传输矩阵T的正则化项Ωl(T)，如下式：
其中，是属于第k类的源域以及目标域样本数，/>是属于第k类的样本，上标K代表总的类别数。矩阵/>是源域和目标域的标签指示矩阵：
S24：基于的同类别的数据转移的概率应当更高的思想，对无标注的目标域数据的概率转移作出类别限制，构建对传输矩阵T的正则化项Ωu(T)，如下式：
其中,Ik是类别为k的源域样本的索引；是类别为k的源域样本传输至第j 个目标域样本的概率之和。
S25：加权组合Ωl(T)和Ωu(T)，得到半监督最优传输方法的最终目标函数/>如下式：
这里λ，γ为平衡超参数，用于限制正则化项Ωl(T)和Ωu(T)的作用强度。
作为一种具体的实施方案，步骤S2包括：
S31：采用指数梯度法，计算第τ轮的传输矩阵Tτ的指数梯度如下式：
其中步长α＞0，exp(·)指数操作是对矩阵的每个元素进行相应操作。
S32：采用相对熵，即KL距离将指数梯度投影至传输矩阵的定义空间，得到关于第τ+1 轮的转移矩阵Tτ+1的正则化最优传输问题。如下式：
其中是S31中得到的第τ轮指数梯度，T'∈Γ是搜索空间内所有可能的传输矩阵，搜索空间如前S22所述，是源域和目标域的联合分布，下标i、j代表所指矩阵的第i行第j列元素。
S33：采用Sinkhorn固定点法，令εα＝1，解该最优传输问题，得到第τ+1轮的传输矩阵 Tτ+1。如下式：
Tτ+1＝diag(uτ+1)Θτ+1diag(vτ+1)
其中ε，λ，γ为S22及S25所述平衡超参数，ps,pt是S22所述源域和目标域的经验分布。矩阵Θ、u以及v用于使所述公式更便于表达，没有具体物理意义。exp(·)指数操作以及除法操作是对矩阵或向量的每个元素进行相应操作。
S34：重复迭代S31至S33，直到传输矩阵的改变与前一轮相比小于预设的常值，则认为传输矩阵收敛，停止迭代，得到最优传输矩阵T*。
作为一种具体的实施方案，步骤S3中，所述传输后源域数据的计算和后续训练方法如下：
S41：通过Gromov-Wasserstein重心法，利用计算出的最优转移矩阵得到源域数据转移如下式：
S42：将转移后的源域样本以及有标注的目标域作为训练样本，使用一般分类方法，如支持向量机、神经网络等训练模型，用于对未知标签的待预测目标域样本作出预测。
本发明从数据库中得到具有多种类别的、不同领域的异构数据，采用最优传输方法将源域数据的分布转移至目标域数据的分布当中。具体而言，本方法首先根据半监督优化的 Gromov-Wasserstein差异(SGW)度量两个领域分布的差异程度；然后采用基于相对熵的投影梯度下降法迭代求解直到传输矩阵的参数值更新小于一定限度，收敛的传输矩阵能将源域的数据分布有效转移至目标域分布当中；最后根据转移后的源域数据对未标注的目标域数据进行预测。该方法考虑了最优传输在特征空间不同的异构数据中的应用并对半监督场景作了适应性优化，在实际应用中在多种领域数据的信息迁移学习场景展现出良好的性能。
与现有技术相比，本发明具有如下优点和技术效果：
本发明是利用最优传输的思想，通过最小化两个相关领域的分布差异达成源域对目标域的辅助训练，并加入了有类标样本对传输后源域数据的关系以及无类标样本对传输类别概率的关系作为正则化项，能够对目标域数据产生质量良好的类标标记，提升了在异构迁移学习问题上的预测准确率。
附图说明
图1为本发明实施例1的一种面向异构领域适应的半监督最优传输方法的流程图。
图2为本发明实施例1的一种面向异构领域适应的半监督最优传输方法中源域和目标域数据分布转移的示意图。
图3为本发明实施例1中采用发明专利方法进行预测和现有其他方法进行预测的准确率对比图。
具体实施方式
下面结合实施例及附图对本发明做进一步详细的描述，但本发明的实施方式不限于此，需指出的是，以下若有未特别详细说明之过程或符号，均是本领域技术人员可参照现有技术实现或理解的。
实施例1：
如图1所示的流程，本实施例1的一种面向异构领域适应的半监督最优传输方法，包括以下步骤：
S1：从数据库中得到具有多种类别的、不同领域的异构数据，并根据半监督优化的Gromov-Wasserstein差异(SGW)度量两个领域分布的差异程度；该数据可以是实际中以不同的维度存在的文本或者图像特征。具体的，在本实施例中，源域采用图像数据，并用传统的尺度不变特征(SIFT)进行表示，而目标域以图像数据用卷积神经网络如VGG进行特征提取。如图2的第一附图所示，为了方便展示，源域和目标域分别降维成两维和三维异构数据，并用坐标系表示，源域数据和目标域数据均有三种类别。
S2：采用基于相对熵的投影梯度下降法迭代求解传输矩阵，重复迭代算法直到算法收敛到一定范围；
S3：利用传输矩阵进行源域数据转移，后根据转移后的数据对未标记的目标域数据数据进行预测。
如图2所示，所述数据读取及相应的目标函数的构建步骤为：
S21：源域数据表示为有标注信息和无标注信息的目标域数据表示为/>这里X表示数据特征，上下标s、l、u分别数据表示来自于源域、有标注目标域和无标注目标域，n为样本数量，d为数据特征维度，下标t代表整个目标域，是领域l、u的并集。
S22：采用核函数计算两个领域数据的度量矩阵Ms,Mt。以传输矩阵T为变量，基于最优传输的基本思想构建熵Gromov-Wasserstein差异度量函数如下式：
其中，搜索空间是源域和目标域的联合分布，是源域和目标域的经验分布；Ms,Mt是采用核函数计算的源域和目标域的度量矩阵，如线性核函数：/>ε是平衡超参数，用于控制传输矩阵T的熵损失，下标i、i'、j、j'用于指代所指矩阵M、T中的元素。
S23：对于含有相同标注信息，即类别相同的领域数据，它们在传输后的分布应当更加接近。基于该思想，利用有标注的目标域数据Xl及其相应类标，构建对正则化项Ωl(T)，如下式：
其中，是属于第k类的源域以及目标域样本数，/>是属于第k类的样本，上标K代表总的类别数。矩阵/>是源域和目标域的标签指示矩阵：
S24：基于的同类别的数据转移的概率应当更高的思想，对无标注的目标域数据的概率转移作出类别限制，构建对传输矩阵T的正则化项Ωu(T)，如下式：
其中,Ik是类别为k的源域样本的索引；是类别为k的源域样本传输至第j 个目标域样本的概率之和。
S25：加权组合Ωl(T)和Ωu(T)，得到半监督最优传输方法的最终目标函数/>如下式：
这里λ，γ为平衡超参数，用于限制正则化项Ωl(T)和Ωu(T)的作用强度。
所述优化传输矩阵的具体方法为：
S31：采用指数梯度法，计算第τ轮的传输矩阵Tτ的指数梯度如下式：
其中步长α＞0，exp(·)指数操作是对矩阵的每个元素进行相应操作。
S32：采用相对熵，即KL距离将指数梯度投影至传输矩阵的定义空间，得到关于第τ+1 轮的转移矩阵Tτ+1的正则化最优传输问题。如下式：
其中是S31中得到的第τ轮指数梯度，T'∈Γ是搜索空间内所有可能的传输矩阵，搜索空间如前S22所述，是源域和目标域的联合分布，下标i、j代表所指矩阵的第i行第j列元素。
S33：采用Sinkhorn固定点法，令εα＝1，解该最优传输问题，得到第τ+1轮的传输矩阵 Tτ+1。如下式：
Tτ+1＝diag(uτ+1)Θτ+1diag(vτ+1)
其中ε，λ，γ为S22及S25所述平衡超参数，ps,pt是S22所述源域和目标域的经验分布。矩阵Θ、u以及v用于使所述公式更便于表达，没有具体物理意义。exp(·)指数操作以及除法操作是对矩阵或向量的每个元素进行相应操作。
S34：重复迭代S31至S33，直到传输矩阵的改变与前一轮相比小于预设的常值，则认为传输矩阵收敛，停止迭代，得到最优传输矩阵T*。在本实施例中，所计算得到的最优传输矩阵T*如图2第二附图所示。可以看到，转移矩阵中存在转移值的部分粗略分布在三个方框以内，最优传输矩阵T*有效学得了源域样本与目标域样本中同类别样本间的传输关系。
如图2所示，所述传输后源域数据的计算和目标域分类器训练方法如下：
S41：通过Gromov-Wasserstein重心法，利用计算出的最优转移矩阵得到源域数据转移如下式：
如图2第三附图所示，在本实施例中，源域数据转移将三维源域数据转移至二维目标域当中。而且转移后的源域数据与同类别的(在附图中表示为透明度相同)目标域数据样本能够聚合在相近位置。转移后的源域样本能够有效作为目标域的训练样本。
S42：将转移后的源域样本以及有标注的目标域作为训练样本，使用一般分类方法，如支持向量机、神经网络等训练模型，用于对未知标签的待预测目标域样本作出预测。
通过本发明专利的方法后，目标域图像的分类准确率如图3所示。可以发现，本发明专利提供的方法在图片的识别中，在提供少量有标签目标域图片的情况下，对未知标签的待预测目标域图片的预测效果能够有效超过现有的图片分类方案，展示了该发明专利的实用性。
以上所述，仅为本发明专利优选的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方法及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (3)

1.一种面向异构领域适应的图像数据半监督最优预测方法，其特征在于包括以下步骤：
S1：从数据库中得到具有多种类别的、不同领域的异构数据，所述异构数据是以不同的维度存在的文本或者图像特征，并根据半监督优化的Gromov-Wasserstein差异度量两个领域分布的差异程度；源域采用图像数据，并用传统的尺度不变特征进行表示，而目标域以图像数据用卷积神经网络VGG进行特征提取；源域和目标域分别降维成两维和三维异构数据，并用坐标系表示，源域数据和目标域数据均有三种类别；具体包括：
S21：源域数据表示为有标注信息和无标注信息的目标域数据表示为/>这里X表示数据特征，上下标s、l、u分别数据表示来自于源域、有标注目标域和无标注目标域，n为数据数量，d为数据特征维度；下标t代表整个目标域，是领域l、u的并集；
S22：采用核函数计算两个领域数据的度量矩阵Ms,Mt；以传输矩阵T为变量，基于最优传输的基本思想构建熵Gromov-Wasserstein差异度量函数
S23：对于含有相同标注信息，即类别相同的领域数据，它们在传输后的分布接近；利用有标注的目标域数据Xl及其相应类标，构建正则化项Ωl(T)；
S24：对无标注的目标域数据的概率转移作出类别限制，构建正则化项Ωu(T)；
S25：加权组合Ωl(T)和Ωu(T)，得到半监督最优传输方法的最终目标函数/>
S2：采用基于相对熵的投影梯度下降法迭代求解传输矩阵，重复迭代算法直到算法收敛到设定范围；
S3：利用传输矩阵进行源域数据转移，后根据转移后的数据对未标记的目标域数据进行预测，目标域图像的分类，在图片的识别中，在提供少量有标签目标域图片的情况下，对未知标签的待预测目标域图片的预测效果能够有效超过现有的图片分类方案。
2.根据权利要求1所述的一种面向异构领域适应的图像数据半监督最优预测方法，其特征在于步骤S2中，训练最优传输模型的具体方法为：
S31：采用指数梯度法，计算第τ轮的传输矩阵Tτ的指数梯度
S32：采用相对熵，即KL距离将指数梯度投影至传输矩阵的定义空间，得到关于第τ+1轮的转移矩阵Tτ+1的正则化最优传输问题；
S33：采用Sinkhorn固定点法解该最优传输问题，得到第τ+1轮的传输矩阵Tτ+1；
S34：重复迭代直到传输矩阵收敛。
3.根据权利要求1所述的一种面向异构领域适应的半监督最优传输方法，其特征在于步骤S3具体包括：
S41：通过Gromov-Wasserstein重心法，利用计算出的最优转移矩阵得到源域数据转移；
S42：将转移后的源域样本以及有标注的目标域作为训练样本，对未知标签的待预测目标域样本作出预测。
CN201910826004.8A 2019-03-09 2019-09-03 一种面向异构领域适应的半监督最优传输方法 Active CN111062406B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910177558 2019-03-09
CN201910177558X 2019-03-09

Publications (2)

Publication Number Publication Date
CN111062406A CN111062406A (zh) 2020-04-24
CN111062406B true CN111062406B (zh) 2023-11-28

Family

ID=70298344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910826004.8A Active CN111062406B (zh) 2019-03-09 2019-09-03 一种面向异构领域适应的半监督最优传输方法

Country Status (1)

Country Link
CN (1) CN111062406B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396097B (zh) * 2020-11-09 2022-05-17 中山大学 基于加权最优传输的无监督域自适应视觉目标检测方法
CN115578680B (zh) * 2022-09-09 2023-06-02 北京理工大学 一种视频理解方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895177A (zh) * 2017-11-17 2018-04-10 南京邮电大学 一种保持图像分类稀疏结构的迁移分类学习方法
CN108197643A (zh) * 2017-12-27 2018-06-22 佛山科学技术学院 一种基于无监督聚类和度量学习的迁移学习方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10275690B2 (en) * 2016-04-21 2019-04-30 Sas Institute Inc. Machine learning predictive labeling system
US10354204B2 (en) * 2016-04-21 2019-07-16 Sas Institute Inc. Machine learning predictive labeling system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895177A (zh) * 2017-11-17 2018-04-10 南京邮电大学 一种保持图像分类稀疏结构的迁移分类学习方法
CN108197643A (zh) * 2017-12-27 2018-06-22 佛山科学技术学院 一种基于无监督聚类和度量学习的迁移学习方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
learning discriminative correlation subspace for heterogencous domain adaptation;Yuguang Yan;《IJCAI》;第3252-3258页 *
online heterogeneous transfer by hedge ensemble of offline and online decisions;Yuguang Yan;《IEEE》;第29卷(第7期);第3252-3263页 *
semi-supervised optimal transport for heterogeneous domain adaptation;Yuguang Yan;《IJCAI》;第2969-2975页 *

Also Published As

Publication number Publication date
CN111062406A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
US11893781B2 (en) Dual deep learning architecture for machine-learning systems
US10956817B2 (en) Unsupervised domain adaptation with similarity learning for images
US10740881B2 (en) Deep patch feature prediction for image inpainting
Peng et al. Robust joint sparse representation based on maximum correntropy criterion for hyperspectral image classification
Sameen et al. Classification of very high resolution aerial photos using spectral‐spatial convolutional neural networks
CN105138973B (zh) 人脸认证的方法和装置
CN109993236B (zh) 基于one-shot Siamese卷积神经网络的少样本满文匹配方法
US20160140425A1 (en) Method and apparatus for image classification with joint feature adaptation and classifier learning
CN108132968A (zh) 网络文本与图像中关联语义基元的弱监督学习方法
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN111310846A (zh) 一种选取样本图像的方法、装置、存储介质和服务器
De Mathelin et al. Adversarial weighting for domain adaptation in regression
CN115953665B (zh) 一种目标检测方法、装置、设备及存储介质
WO2022218396A1 (zh) 图像处理方法、装置和计算机可读存储介质
Liu et al. Generative self-training for cross-domain unsupervised tagged-to-cine mri synthesis
CN111062406B (zh) 一种面向异构领域适应的半监督最优传输方法
Franchi et al. Latent discriminant deterministic uncertainty
CN117237733A (zh) 一种结合自监督和弱监督学习的乳腺癌全切片图像分类方法
CN109657693B (zh) 一种基于相关熵和迁移学习的分类方法
CN105787045B (zh) 一种用于可视媒体语义索引的精度增强方法
Wang et al. Subspace prototype learning for few-Shot remote sensing scene classification
CN113688757A (zh) 一种sar图像识别方法、装置及存储介质
CN112270334B (zh) 一种基于异常点暴露的少样本图像分类方法及***
CN117056771A (zh) 结合类内特征对齐与柔性超参度量学习的迁移学习方法
CN116883751A (zh) 基于原型网络对比学习的无监督领域自适应图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant