CN112257806A - 一种面向异构用户的迁移学习方法 - Google Patents

一种面向异构用户的迁移学习方法 Download PDF

Info

Publication number
CN112257806A
CN112257806A CN202011195428.8A CN202011195428A CN112257806A CN 112257806 A CN112257806 A CN 112257806A CN 202011195428 A CN202011195428 A CN 202011195428A CN 112257806 A CN112257806 A CN 112257806A
Authority
CN
China
Prior art keywords
data
classification
matrix
sample data
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011195428.8A
Other languages
English (en)
Other versions
CN112257806B (zh
Inventor
叶阿勇
张娇美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Normal University
Original Assignee
Fujian Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Normal University filed Critical Fujian Normal University
Priority to CN202011195428.8A priority Critical patent/CN112257806B/zh
Publication of CN112257806A publication Critical patent/CN112257806A/zh
Application granted granted Critical
Publication of CN112257806B publication Critical patent/CN112257806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种面向异构用户的迁移学习方法，服务器和其他参与者不会获得原始数据，一定程度上降低隐私泄露的风险。其次，通过域定界和二次降维筛选，样本数据与分类目标相关性更高，能够适应用户异构性，分类效果更好，能够极大程度上满足分类准确率高的需求。另一方面，Softmax和CNN的循环双分类算法，有监督的学习指导无监督的学习，提高标签不足数据分类精确度。本发明将本地端多渠道获取的数据，进行源域和目标域的选择和定界，以保证迁移学习有足够的数据量。在此基础上，满足多目标输出的需求并且提高分类准确率。

Description

一种面向异构用户的迁移学习方法
技术领域
本发明涉及机器学习技术领域，尤其涉及一种面向异构用户的迁移学习方法。
背景技术
随着传统机器学习的不断发展和成熟，从大量有标签的数据中训练得到一个好的分类模型已相对容易。但真实的应用场景中，传统的机器学习方法仍然不能完全应用需求。一方面，获取带标签的数据相对困难。生活中产生的数据大多不含标签，而人工标签的成本又过高；并且数据采集往往还要考虑个人隐私及安全性问题，这也这一步增加数据获取的难度。另一方面，传统机器学习在每次数据更新时都需要重新建立模型和训练，从而耗费大量的时间和资源。
迁移学习一定程度上缓解了传统机器学习的数据压力，但也并不是任何情况都能进行迁移学习，“迁移”的效果也受很多因素的影响。现如今大多数的研究使用随机的源域数据导致分类精确度不高，且不能适应用户异构性，即无法满足多目标分类需求。而在使用多渠道获取的数据时，由于数据相关性差别较大会降低分类结果的精确度，随机确定源域和目标域可能会导致迁移学习无法发挥其数据量充足的优势，反而学习效率不高且精确度无法保证。在各方面因素的限制下，迁移学习的应用并没有很广泛，多数的研究只提出针对某一领域的事务分类提出特定的算法，并没有完整的模型架构。
综上，现有的分类模型没有一个从数据采集、数据处理再到分类算法的完整流程，无法满足多目标输出的问题，且分类准确率难以保证。
发明内容
本发明的目的在于提供一种面向异构用户的迁移学习方法。
本发明采用的技术方案是：
一种面向异构用户的迁移学习方法，其包括以下步骤：
步骤1-1，参与者在本地根据原始数据Xn×h，计算数据的协方差矩阵F：
Figure BDA0002753890860000011
其中n为参与者本地数据的条目数，h为数据维度；
步骤1-2，根据|λE-F|＝0，计算其所有的特征值λ及其对应的特征向量μ，其中E为单位矩阵；
步骤1-3，对特征值λi(λi∈λ)进行排序，并根据预定的阈值r选取主成分个数；
步骤1-4，输出前r个特征值对应的特征向量集合(μ1,μ2,…,μr)，并且计算特征向量的模，单位化相应的r个特征向量，组成特征矩阵A；
步骤1-5，计算投影矩阵X'n×r＝Xn×hA(r<h)，得到新的数据样本X'；
步骤1-6，服务端接收并储存所有参与者上传的本地降维后的数据集合，形成样本数据池
Figure BDA0002753890860000021
其中X′v表示数据池中第v个参与者上传的样本数据矩阵，N表示参与者个数；3.根据权利要求1所述的一种面向异构用户的迁移学习方法，其特征在于：步骤2的具体步骤为：
步骤2-1，参与者u上传其分类需求Du＝(Nu,Mu,accu)，其中Nu为源域个数，Mu为类别个数，accu表示最低分类精确度要求；
步骤2-2，服务端计算数据池中每个数据样本Xv'与参与者u上传的数据样本Xu'的相关性I(Xv',Xu')，计算方法如下：
Figure BDA0002753890860000022
其中，x'表示的数据矩阵X'的一组数据；P(xv',xu')表示xv'及xu'两组数据的联合概率分布；P(x')表示的数据x'的概率分布；P(xv'|xu')表示数据xv在数据xu'的概率分布；KL表示距离，是Kullback-Leibler差异的简称；
步骤2-3，依据相关性I(Xv',Xu')，对Xv'从高到低排序，根据参与者的需求，选取相关性高的前Nu个作为本次迁移学习的源域XS，参与者的样本数据Xu'作为目标域XT；
步骤2-4，进行二次降维：使用迁移成分分析TCA算法，将多个领域的数据都映射到相同的维度空间上，特征映射伴随特征数的减少，最后将得到的新的数据特征样本矩阵。
进一步地，作为一种较优实施方式，步骤2-4的具体步骤为：
步骤2-4-1，定义核矩阵K：分别计算XS、XT和两个合成域的内核矩阵KS,S、KT,T、KT,S和KS,T，再使用公式(1)构建核矩阵K；
Figure BDA0002753890860000023
其中，K是一个(n1+n2)×(n1+n2)的矩阵，n1和n2分别是XS和XT映射到再生核希尔伯特空间(RKHS)的样本个数；
步骤2-4-2，使用经验核映射函数，将核矩阵K分解为K＝(KK-1/2)(K-1/2K)；
步骤2-4-3，根据K，按公式2计算源域和目标域的特征距离：
Dist(XS,XT)＝tr(KL) (2)
其中，tr(KL)表示矩阵KL的迹。
步骤2-4-4，根据方程组3计算W∈R(n1+n2)×m(m<n1+n2)：
Figure BDA0002753890860000031
其中，
Figure BDA0002753890860000032
表示XS和XT两个域的经验均值之间的最大平均误差(MMD)距离，即XS和XT两个域的KL距离；
Figure BDA0002753890860000033
是W的m维空间的经验核映射的结果；
步骤2-4-5，输出最终源域矩阵WXS，和目标域矩阵WXT；
进一步地，作为一种较优实施方式，步骤3的具体分类步骤为：
步骤3-1，初始化：首先训练WXS的标签数据，得到初始化的Softmax分类器；
步骤3-2，从WXT中选取部分样本，并初始化本批次数据的循环判别次数q为0；
步骤3-3，通过Softmax分类器预测标记其中的无标签样本数据，并为其加上伪标签得到初分类结果；
步骤3-4，同样将该批次样本通过CNN分类器得到二分类结果；
步骤3-5，对初分类结果和二分类结果相比较；当两者不一致，令q＝q+1，并判断q是否大于阈值Q，如果是，则删除此批次数据并返回步骤3-2，否则返回步骤3-3；
步骤3-6，将该样本数据用于训练Softmax分类器，获取分类精确度acc并与参与者的需求精确度accu相比较；当acc大于accu，则输出acc及分类结果；否则返回步骤3-3。
本发明采用以上技术方案，首先，服务器和其他参与者不会获得原始数据，一定程度上降低隐私泄露的风险。其次，通过域定界和二次降维筛选，样本数据与分类目标相关性更高，能够适应用户异构性，分类效果更好，能够极大程度上满足分类准确率高的需求。另一方面，Softmax和CNN的循环双分类算法，有监督的学习指导无监督的学习，提高标签不足数据分类精确度。本发明将本地端多渠道获取的数据，进行源域和目标域的选择和定界，以保证迁移学习有足够的数据量。在此基础上，满足多目标输出的需求并且提高分类准确率。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明的一种适应用户异构型的迁移学习模型的流程图；
图2为本发明的S-CNN算法的循环分类流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。
如图1或图2所示，本发明公开了一种面向异构用户的迁移学习方法，其包括以下步骤：
步骤1、参与者在本地端进行数据采集和初级处理，实现第一次数据降维。
具体地，步骤1包括如下步骤：
步骤1、参与者在本地端进行数据采集和初级处理，实现第一次数据降维。
步骤2、根据参与者需求服务器端进行源域和目标域的选择与定界，实现第二次数据降维。
步骤3、使用S-CNN循环分类算法进行分类。
进一步地，作为一种较优实施方式，步骤1的具体步骤为：
步骤1-1，参与者在本地使用原始数据Xn×h，计算数据协方差矩阵F：
Figure BDA0002753890860000041
其中n为参与者本地原始数据的条目数，h为数据的维度；
步骤1-2，根据|λE-F|＝0，计算其所有的特征值λ及其对应的特征向量μ，其中E为单位矩阵；
步骤1-3，对特征值λi(λi∈λ)进行排序，并根据预定的阈值r选取主成分个数；
步骤1-4，输出前r个特征值对应的特征向量集合(μ1,μ2,…,μr)，并且计算特征向量的模，单位化相应的r个特征向量，组成特征矩阵A；
步骤1-5，计算投影矩阵X'n×r＝Xn×hA(r<h)，得到新的数据样本X'；
步骤1-6，服务器接收所有参与者上传的本地降维后的数据集合并储存。形成数据池
Figure BDA0002753890860000042
其中X′v表示数据池中第v个参与者上传的样本数据矩阵，N表示参与者个数；3.根据权利要求1所述的一种面向异构用户的迁移学习方法，其特征在于：步骤2的具体步骤为：
步骤2-1，参与者u上传其分类需求(Nu,Mu,accu)，其中Nu为源域个数，Mu为类别个数，accu表示最低分类精确度；
步骤2-2，服务器计算数据池中的每一个数据样本矩阵Xv'与参与者u上传的数据样本Xu'的相关性，计算方法如下：
Figure BDA0002753890860000051
其中，I表示数据矩阵Xv'与Xu'之间的相关性；x'表示的数据矩阵X'的一组数据；P(xv',xu')表示xv'及xu'两组数据的联合概率分布；P(x)表示的数据x的概率分布；P(xv'|xu')表示数据xv在数据xu'的概率分布；KL表示距离，是Kullback-Leibler差异的简称；
步骤2-3，依据相关性I(Xv',Xu')，对Xv'从高到低排序，根据参与者的需求，选取相关性高的前Nu个作为本次迁移学习的源域XS，参与者的样本数据Xu'作为目标域XT；
步骤2-4，进行二次降维：使用迁移成分分析TCA算法，将多个领域的数据都映射到相同的维度空间上，特征映射伴随特征数的减少，最后将得到的新的数据特征样本矩阵。
进一步地，作为一种较优实施方式，步骤2-4的具体步骤为：
步骤2-4-1，定义核矩阵K：分别计算XS、XT和两个合成域的内核矩阵KS,S、KT,T、KT,S和KS,T，再使用公式(1)构建核矩阵K；
Figure BDA0002753890860000052
其中，K是一个(n1+n2)×(n1+n2)的矩阵，n1和n2分别是XS和XT映射到再生核希尔伯特空间(RKHS)的样本个数；
步骤2-4-2，使用经验核映射函数，将核矩阵K分解为K＝(KK-1/2)(K-1/2K)；
步骤2-4-3，根据K，按公式2计算源域和目标域的特征距离：
Dist(XS,XT)＝tr(KL) (2)
其中，tr(KL)表示矩阵KL的迹。
步骤2-4-4，根据方程组3计算W：
Figure BDA0002753890860000053
其中，
Figure BDA0002753890860000054
表示XS和XT两个域的经验均值之间的最大平均误差(MMD)距离，即XS和XT两个域的KL距离；
Figure BDA0002753890860000055
是W的m维空间的经验核映射的结果；
步骤2-4-5，输出最终源域矩阵WXS，和目标域矩阵WXT；
进一步地，作为一种较优实施方式，步骤3的具体分类步骤为：
步骤3-1，初始化：首先训练WXS的标签数据，得到初始化的Softmax分类器；
步骤3-2，从WXT中选取部分样本，并初始化本批次数据的循环判别次数q为0；
步骤3-3，通过Softmax分类器预测标记其中的无标签样本数据，并为其加上伪标签得到初分类结果；
步骤3-4，同样将该批次样本通过CNN分类器得到二分类结果；
步骤3-5，对初分类结果和二分类结果相比较；当两者不一致，令q＝q+1，并判断q是否大于阈值Q，如果是，则删除此批次数据并返回步骤3-2，否则返回步骤3-3；
步骤3-6，将该样本数据用于训练Softmax分类器，获取分类精确度acc并将分类精确度acc与参与者i的需求精确度accu相比较；当分类精确度acc大于accu，则输出分类精确度acc及分类结果；否则返回步骤3-3。
本发明采用以上技术方案，首先，服务器和其他参与者不会获得原始数据，一定程度上降低隐私泄露的风险。其次，通过域定界和二次降维筛选，样本数据与分类目标相关性更高，能够适应用户异构性，分类效果更好，能够极大程度上满足分类准确率高的需求。另一方面，Softmax和CNN的循环双分类算法，有监督的学习指导无监督的学习，提高标签不足数据分类精确度。本发明将本地端多渠道获取的数据，进行源域和目标域的选择和定界，以保证迁移学习有足够的数据量。在此基础上，满足多目标输出的需求并且提高分类准确率。
本发明采用以上技术方案，首先，服务器和其他参与者不会获得原始数据，一定程度上降低隐私泄露的风险。其次，通过域定界和二次降维筛选，样本数据与分类目标相关性更高，能够适应用户异构性，分类效果更好，能够极大程度上满足分类准确率高的需求。另一方面，Softmax和CNN的循环双分类算法，有监督的学习指导无监督的学习，提高标签不足数据分类精确度。本发明将本地端多渠道获取的数据，进行源域和目标域的选择和定界，以保证迁移学习有足够的数据量。在此基础上，满足多目标输出的需求并且提高分类准确率。
显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

Claims (5)

1.一种面向异构用户的迁移学习方法，其特征在于：其包括以下步骤：
步骤1、参与者在本地端进行数据采集和初级处理，使用主成分分析方法将原始数据进行第一次降维，得到样本数据；
步骤2、根据参与者需求，服务器端计算参与者提供的样本数据与数据池中其他样本数据的相关性；并根据相关性的高低，对所有的样本数据进行降序排列；最终依据用户自定义的源域个数，确定源域和目标域，实现第二次数据降维；
步骤3、使用S-CNN循环分类算法进行分类：首先，分批次输入样本数据训练Softmax分类器，得到数据初分类结果；然后，再将同批次样本数据输入CNN分类器得到二分类结果，并比较两个分类结果；如果一致，则将该批次样本数据循环送回Softmax分类器，进一步优化分类器直至准确度满足要求，最后输出分类结果；如果不一致，则将该批次样本数据送回至Softmax分类器重新分类，并进行新一轮判别。
2.根据权利要求1所述的一种面向异构用户的迁移学习方法，其特征在于：步骤1的具体步骤为：
步骤1-1，参与者在本地根据原始数据Xn×h，计算数据的协方差矩阵F：
Figure FDA0002753890850000011
其中n为参与者本地数据的条目数，h为数据维度；
步骤1-2，根据|λE-F|＝0，计算其所有的特征值λ及其对应的特征向量μ，其中E为单位矩阵；
步骤1-3，对特征值λi(λi∈λ)进行排序，并根据预定的阈值r选取主成分个数；
步骤1-4，输出前r个特征值对应的特征向量集合(μ1,μ2,…,μr)，并且计算特征向量的模，单位化相应的r个特征向量，组成特征矩阵A；
步骤1-5，计算投影矩阵X'n×r＝Xn×hA(r<h)，得到新的数据样本X'；
步骤1-6，服务端接收并储存所有参与者上传的本地降维后的数据集合，形成样本数据池
Figure FDA0002753890850000012
其中X′v表示数据池中第v个参与者上传的样本数据矩阵，N表示参与者个数。
3.根据权利要求1所述的一种面向异构用户的迁移学习方法，其特征在于：步骤2的具体步骤为：
步骤2-1，参与者u上传其分类需求Du＝(Nu,Mu,accu)，其中Nu为源域个数，Mu为类别个数，accu表示最低分类精确度要求；
步骤2-2，服务端计算数据池中每个数据样本Xv'与参与者u上传的数据样本Xu'的相关性I(Xv',Xu')，计算方法如下：
Figure FDA0002753890850000021
其中，x'为X'的一组数据；p(xv',xu')表示xv'及xu'的联合概率分布；p(x')表示的x'的概率分布；KL表示距离，是Kullback-Leibler差异的简称；
步骤2-3，依据I(Xv',Xu')，对Xv'从高到低排序；再根据Du，选取相关性高的前Nu个作为本次迁移学习的源域XS，Xu'作为目标域XT；
步骤2-4，进行二次降维：使用迁移成分分析TCA算法，将多个领域的数据都映射到相同维度空间上，特征映射伴随特征数的减少，最后得到新的数据特征样本矩阵W。
4.根据权利要求3所述的一种面向异构用户的迁移学习方法，其特征在于：作为一种较优实施方式，步骤2-4的具体步骤为：
步骤2-4-1，定义核矩阵K：分别计算XS、XT和两个合成域的内核矩阵KS,S、KT,T、KT,S和KS,T，再使用公式(1)构建K；
Figure FDA0002753890850000022
其中，K是一个(n1+n2)×(n1+n2)的矩阵，n1和n2分别是XS和XT映射到再生核希尔伯特空间(RKHS)的样本个数；
步骤2-4-2，使用经验核映射函数，将核矩阵K分解为K＝(KK-1/2)(K-1/2K)；
步骤2-4-3，根据K，按公式(2)计算源域和目标域的特征距离：
Dist(XS,XT)＝tr(KL) (2)
其中，tr(KL)表示矩阵KL的迹；
步骤2-4-4，根据方程组(3)计算W：
Figure FDA0002753890850000023
其中，
Figure FDA0002753890850000024
表示XS和XT两个域的经验均值之间的最大平均误差(MMD)距离，即XS和XT两个域的KL距离；
Figure FDA0002753890850000025
是W的m维空间的经验核映射结果；
步骤2-4-5，输出最终源域矩阵WXS和目标域矩阵WXT。
5.根据权利要求4所述的一种面向异构用户的迁移学习方法，其特征在于：步骤3的具体分类步骤为：
步骤3-1，初始化：首先训练WXS的标签数据，得到初始化的Softmax分类器；
步骤3-2，从WXT中选取部分样本，并初始化本批次数据的循环判别次数q为0；
步骤3-3，通过Softmax分类器预测标记其中的无标签样本数据，并为其加上伪标签得到初分类结果；
步骤3-4，同样将该批次样本通过CNN分类器得到二分类结果；
步骤3-5，对初分类结果和二分类结果相比较；当两者不一致，令q＝q+1，并判断q是否大于阈值Q，如果是，则删除此批次数据并返回步骤3-2，否则返回步骤3-3；
步骤3-6，将该样本数据用于训练Softmax分类器，获取分类精确度acc并与参与者i的需求精确度accu相比较；如果acc>accu，则输出acc及分类结果；否则返回步骤3-3。
CN202011195428.8A 2020-10-30 2020-10-30 一种面向异构用户的迁移学习方法 Active CN112257806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011195428.8A CN112257806B (zh) 2020-10-30 2020-10-30 一种面向异构用户的迁移学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011195428.8A CN112257806B (zh) 2020-10-30 2020-10-30 一种面向异构用户的迁移学习方法

Publications (2)

Publication Number Publication Date
CN112257806A true CN112257806A (zh) 2021-01-22
CN112257806B CN112257806B (zh) 2023-06-20

Family

ID=74267558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011195428.8A Active CN112257806B (zh) 2020-10-30 2020-10-30 一种面向异构用户的迁移学习方法

Country Status (1)

Country Link
CN (1) CN112257806B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095099A (zh) * 2016-06-12 2016-11-09 南京邮电大学 一种用户行为动作检测识别方法
US20170147944A1 (en) * 2015-11-24 2017-05-25 Xerox Corporation Adapted domain specific class means classifier
CN110134868A (zh) * 2019-05-14 2019-08-16 辽宁工程技术大学 一种基于用户偏好异构性分析的推荐方法
CN111400560A (zh) * 2020-03-10 2020-07-10 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170147944A1 (en) * 2015-11-24 2017-05-25 Xerox Corporation Adapted domain specific class means classifier
CN106095099A (zh) * 2016-06-12 2016-11-09 南京邮电大学 一种用户行为动作检测识别方法
CN110134868A (zh) * 2019-05-14 2019-08-16 辽宁工程技术大学 一种基于用户偏好异构性分析的推荐方法
CN111400560A (zh) * 2020-03-10 2020-07-10 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谭建平;刘波;肖燕珊;: "基于半监督的SVM迁移学习文本分类算法", 无线互联科技, no. 04 *

Also Published As

Publication number Publication date
CN112257806B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN110321926B (zh) 一种基于深度残差修正网络的迁移方法及***
US11809828B2 (en) Systems and methods of data augmentation for pre-trained embeddings
US10445374B2 (en) Systems and methods for conducting and terminating a technology-assisted review
Chong et al. Simultaneous image classification and annotation
US9400918B2 (en) Compact face representation
US8429212B1 (en) Training scoring models optimized for highly-ranked results
Li et al. Dual alignment for partial domain adaptation
CN108875816A (zh) 融合置信度准则和多样性准则的主动学习样本选择策略
Xu et al. Large-margin weakly supervised dimensionality reduction
CN109376796A (zh) 基于主动半监督学习的图像分类方法
CN110647904A (zh) 一种基于无标记数据迁移的跨模态检索方法及***
CN110766042B (zh) 一种基于最大相关最小冗余的多标记特征选择方法及装置
Ye et al. Alleviating domain shift via discriminative learning for generalized zero-shot learning
CN108804577B (zh) 一种资讯标签兴趣度的预估方法
KR102223687B1 (ko) 기계 학습 데이터 선택 방법 및 장치
Zeng et al. Learning a mixture model for clustering with the completed likelihood minimum message length criterion
CN115292532B (zh) 基于伪标签一致性学习的遥感图像域适应检索方法
CN109657159A (zh) 舆情数据角色识别中异构关系数据的迁移学习界限的确定方法
TW201604821A (zh) 協作性人臉標註方法以及協作性人臉標註系統
CN115393664A (zh) 一种用于目标检测的主动学习样本挑选方法
CN114357221B (zh) 一种基于图像分类的自监督主动学习方法
Ye et al. Reducing bias to source samples for unsupervised domain adaptation
Zeng et al. Pyramid hybrid pooling quantization for efficient fine-grained image retrieval
CN113837492B (zh) 物品供应量的预测方法、设备、存储介质及程序产品
CN108427730B (zh) 一种基于随机游走和条件随机场的社会标签推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant