CN110009038A - 筛查模型的训练方法、装置及存储介质 - Google Patents

筛查模型的训练方法、装置及存储介质 Download PDF

Info

Publication number
CN110009038A
CN110009038A CN201910269536.6A CN201910269536A CN110009038A CN 110009038 A CN110009038 A CN 110009038A CN 201910269536 A CN201910269536 A CN 201910269536A CN 110009038 A CN110009038 A CN 110009038A
Authority
CN
China
Prior art keywords
domain
subdomains
target domain
classifier
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910269536.6A
Other languages
English (en)
Other versions
CN110009038B (zh
Inventor
孙旭
杨叶辉
王磊
许言午
黄艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910269536.6A priority Critical patent/CN110009038B/zh
Publication of CN110009038A publication Critical patent/CN110009038A/zh
Application granted granted Critical
Publication of CN110009038B publication Critical patent/CN110009038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提出一种筛查模型的训练装置、方法及计算机可读存储介质。其中筛查模型的训练装置包括：聚类单元，用于利用聚类算法对源领域数据进行划分，将源领域划分为多个子领域；学习单元，用于在多个所述子领域分别进行迁移学习，得到多个用于对目标领域数据进行分类的子领域分类器；集成单元，用于将多个所述子领域分类器进行集成，得到目标领域分类器。本发明实施例由于在多个子领域进行了更细粒度的知识迁移，因而能够得到效果更好的分类器，同时通过多源迁移学习减少了目标领域中的数据标注成本。

Description

筛查模型的训练方法、装置及存储介质
技术领域
本发明涉及信息技术领域，尤其涉及一种筛查模型的训练方法、装置及计算机可读存储介质。
背景技术
目前常用的人工智能筛查***，在部署到新的应用环境中时，由于新的应用环境使用的筛查机型不一样，数据来源也不一样，例如图像的亮度、对比度可能都不同，直接使用源领域数据会影响性能。因此需要在新的应用环境中收集大规模的标注数据用于训练筛查模型，从而得到预测性能较高的筛查模型。这一迁移过程的数据收集和标注的成本较高。
另外，由于数据获取设备的不同，例如拍摄设备的多样性以及拍摄角度、光照条件等方面的不同，源领域的数据可能服从不同的数据分布。这些数据互相之间存在的分布差异会导致源领域训练的分类器在新的应用环境中难以得到令人满意的效果。
目前针对新的应用环境部署筛查***的方式包括以下几种：
(1)收集大量的数据，然后请专家进行人工标注，得到带有标记的训练数据，从而学习到分类器。
(2)直接利用已有的源领域标注数据训练得到分类器，对新的应用环境中的数据进行分类。
(3)利用单源迁移学习技术，利用带有标注的源领域数据和无标注的目标领域数据，学习到能够用于对目标领域数据进行分类的分类器。
以上部署方式的主要缺陷包括：
(1)对新的应用环境中的数据进行人工标注的方法，需要花费大量人力物力和时间，数据标注的成本较高。此外，这种方法没有有效利用已有的源领域数据。
(2)直接利用已有的源领域标注数据的方法，由于已有的源领域标注数据和新环境中的数据来自不同的采集设备和人群，因而数据之间存在较大的分布差异。这种差异往往导致源领域训练的分类器在新的应用环境中难以得到令人满意的效果。
(3)单源迁移学习的方法，由于在源领域数据采集过程中，设备、光照条件、人群、拍摄人员操作手法等方面的不同，在源领域中也可能存在多个子领域，各个子领域数据互相之间存在一定的分布差异。采用单源迁移学习算法，会忽略这种领域内部的子领域之间的分布差异，因而制约了源领域分类器的性能。
发明内容
本发明实施例提供一种筛查模型的训练方法、装置及计算机可读存储介质，以解决现有技术中的一个或多个技术问题。
第一方面，本发明实施例提供了一种筛查模型的训练装置，包括：
聚类单元，用于利用聚类算法对源领域数据进行划分，将源领域划分为多个子领域；
学习单元，用于在多个所述子领域分别进行迁移学习，得到多个用于对目标领域数据进行分类的子领域分类器；
集成单元，用于将多个所述子领域分类器进行集成，得到目标领域分类器。
在一种实施方式中，所述聚类单元用于：
对所述源领域数据进行特征提取；
利用聚类算法对所述特征进行聚类分析，从而将源领域划分为多个子领域。
在一种实施方式中，所述学习单元包括：
第一训练子单元，用于在多个所述子领域分别训练源领域编码器和所述子领域分类器；
第二训练子单元，用于在多个所述子领域分别利用生成式对抗网络训练领域分类器和目标领域编码器；
其中，所述源领域编码器的输入信息包括来源于所述子领域的第一样本，所述源领域编码器的输出信息包括从所述第一样本中提取的特征向量；
所述子领域分类器用于对所述特征向量进行分类；
所述目标领域编码器的输入信息包括来源于所述目标领域的第二样本，所述目标领域编码器的输出信息包括从所述第二样本中提取的特征向量；
所述领域分类器用于判别输入的特征向量来源于所述子领域或所述目标领域。
在一种实施方式中，所述第二训练子单元用于：
将所述源领域编码器输出的特征向量和所述目标领域编码器输出的特征向量输入到所述领域分类器，由所述领域分类器判别输入的特征向量来源于所述子领域或所述目标领域；
若所述领域分类器无法判别输入的特征向量来源于所述子领域或所述目标领域，则将所述目标领域编码器和所述子领域分类器用于对目标领域数据进行分类。
在一种实施方式中，所述集成单元用于：
将多个所述子领域分类器的分类结果的平均值，作为所述目标领域分类器的分类结果。
第二方面，本发明实施例提供了一种筛查模型的训练方法，包括：
利用聚类算法对源领域数据进行划分，将源领域划分为多个子领域；
在多个所述子领域分别进行迁移学习，得到多个用于对目标领域数据进行分类的子领域分类器；
将多个所述子领域分类器进行集成，得到目标领域分类器。
在一种实施方式中，利用聚类算法对源领域数据进行划分，将源领域划分为多个子领域，包括：
对所述源领域数据进行特征提取；
利用聚类算法对所述特征进行聚类分析，从而将源领域划分为多个子领域。
在一种实施方式中，在多个所述子领域分别进行迁移学习，得到多个用于对目标领域数据进行分类的子领域分类器，包括：
在多个所述子领域分别训练源领域编码器和所述子领域分类器；
在多个所述子领域分别利用生成式对抗网络训练领域分类器和目标领域编码器；
其中，所述源领域编码器的输入信息包括来源于所述子领域的第一样本，所述源领域编码器的输出信息包括从所述第一样本中提取的特征向量；
所述子领域分类器用于对所述特征向量进行分类；
所述目标领域编码器的输入信息包括来源于所述目标领域的第二样本，所述目标领域编码器的输出信息包括从所述第二样本中提取的特征向量；
所述领域分类器用于判别输入的特征向量来源于所述子领域或所述目标领域。
在一种实施方式中，在多个所述子领域分别利用生成式对抗网络训练领域分类器和目标领域编码器，包括：
将所述源领域编码器输出的特征向量和所述目标领域编码器输出的特征向量输入到所述领域分类器，由所述领域分类器判别输入的特征向量来源于所述子领域或所述目标领域；
若所述领域分类器无法判别输入的特征向量来源于所述子领域或所述目标领域，则将所述目标领域编码器和所述子领域分类器用于对目标领域数据进行分类。
在一种实施方式中，将多个所述子领域分类器进行集成，得到目标领域分类器，包括：
将多个所述子领域分类器的分类结果的平均值，作为所述目标领域分类器的分类结果。
第三方面，本发明实施例提供了一种筛查模型的训练装置，所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，所述装置的结构中包括处理器和存储器，所述存储器用于存储支持所述装置执行上述筛查模型的训练方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述装置还可以包括通信接口，用于与其他设备或通信网络通信。
第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储筛查模型的训练装置所用的计算机软件指令，其包括用于执行上述筛查模型的训练方法所涉及的程序。
上述技术方案中的一个技术方案具有如下优点或有益效果：由于在多个子领域进行了更细粒度的知识迁移，因而能够得到效果更好的分类器，同时通过多源迁移学习减少了目标领域中的数据标注成本。
上述技术方案中的另一个技术方案具有如下优点或有益效果：利用生成式对抗网络及多源迁移学习算法，能够学习到领域之间共享的特征子空间，从而减小了不同领域数据分布之间的差异。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1示出根据本发明实施例的筛查模型的训练装置的结构框图。
图2示出了正常眼球的眼底示意图。
图3示出了患有糖尿病视网膜病变的眼底示意图。
图4示出根据本发明实施例的筛查模型的训练装置的学习单元的结构框图。
图5示出根据本发明实施例的筛查模型的训练方法的流程图。
图6示出根据本发明另一实施例的筛查模型的训练方法的流程图。
图7示出根据本发明又一实施例的筛查模型的训练方法的流程图。
图8示出根据本发明又一实施例的筛查模型的训练装置的结构框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本发明实施例的筛查模型的训练装置的结构框图。如图1所示，本发明实施例的筛查模型的训练装置包括：
聚类单元100，用于利用聚类算法对源领域数据进行划分，将源领域划分为多个子领域；
学习单元200，用于在多个所述子领域分别进行迁移学习，得到多个用于对目标领域数据进行分类的子领域分类器；
集成单元300，用于将多个所述子领域分类器进行集成，得到目标领域分类器。
在实际应用中，由于筛查机型变化、数据来源变化等原因，人工智能筛查***的应用环境可能会发生改变。通常可将原有的应用环境称为源领域，将新的应用环境称为目标领域。本发明实施例利用迁移学习把源领域的知识，迁移到目标领域，使得目标领域能够取得更好的学习效果。通常，源领域数据量充足，而目标领域数据量较小，迁移学习需要将在数据量充足的情况下学习到的知识，迁移到数据量小的新的应用环境中。
在一个示例中，人工智能筛查***在部署到新的应用环境中时，除了在新的应用环境中(目标领域)收集的数据以外，还借助已有的带有标注的训练数据(源领域数据)，利用迁移学习技术，辅助解决目标领域中分类问题。借助源领域中的训练数据，能够降低对目标领域训练数据数量的要求。
以糖尿病视网膜病变的筛查为例，通过对拍摄的眼底图片的分析，可实现糖尿病视网膜病变的自动筛查。图2示出了正常眼球的眼底示意图。图3示出了患有糖尿病视网膜病变的眼底示意图，其中带有由于糖尿病造成的出血点。
如前述，在实际应用中，由于数据获取设备的不同，例如拍摄眼底图的设备多样，以及拍摄角度、光照条件等方面的不同，源领域的数据可能服从不同的数据分布。这些数据互相之间具有一定的差异。因此，本发明实施例先利用基于聚类的方法对源领域数据进行划分，将源领域划分成多个子领域，然后再利用多个子领域中的分类模型辅助目标领域中分类模型的训练，提高目标领域中的分类器的性能。
具体地，在聚类单元100中，利用聚类算法对源领域数据进行划分，得到多个子领域。然后在学习单元200中，在每个子领域中进行单源迁移学习，得到多个针对目标领域的子领域分类器。最后在集成单元300中，将多个集成单元300进行集成，得到最终的目标领域分类器。
上述技术方案中的一个技术方案具有如下优点或有益效果：由于在多个子领域进行了更细粒度的知识迁移，因而能够得到效果更好的分类器，同时通过多源迁移学习减少了目标领域中的数据标注成本。
在一种实施方式中，所述聚类单元用于：
对所述源领域数据进行特征提取；
利用聚类算法对所述特征进行聚类分析，从而将源领域划分为多个子领域。
在一个示例中，可定义带有标记的源领域数据集为X＝{x1,x2,...,xn}。其中，x表示源领域数据集中的训练图片；n表示源领域数据集中训练图片的个数。先对源领域数据集进行特征的提取，再利用聚类算法对训练图片的图片特征进行聚类，得到k个簇。
其中，可利用图像识别数据库中提供的机器学***方和局部最小。
具体地，可将ResNet提取特征的过程定义为映射fθ，其中θ为相应的参数。例如，可从每张图片提取到一个大小为2048×1的特征向量fθ(xn)。K-means将这n个训练图片的特征划分到k个集合中(k≤n)，使得集合内的特征向量与均值的差的平方和最小，即求解以下问题：
其中，μi是子领域Si中所有点的均值，即
通过k-means聚类，将源领域划分成了多个子领域S1,S2,...,Sk。
图4示出根据本发明实施例的筛查模型的训练装置的学习单元的结构框图。如图4所示，在一种实施方式中，所述学习单元200包括：
第一训练子单元210，用于在多个所述子领域分别训练源领域编码器和所述子领域分类器；
第二训练子单元220，用于在多个所述子领域分别利用生成式对抗网络训练领域分类器和目标领域编码器；
其中，所述源领域编码器的输入信息包括来源于所述子领域的第一样本，所述源领域编码器的输出信息包括从所述第一样本中提取的特征向量；
所述子领域分类器用于对所述特征向量进行分类；
所述目标领域编码器的输入信息包括来源于所述目标领域的第二样本，所述目标领域编码器的输出信息包括从所述第二样本中提取的特征向量；
所述领域分类器用于判别输入的特征向量来源于所述子领域或所述目标领域。
在一种实施方式中，所述第二训练子单元用于：
将所述源领域编码器输出的特征向量和所述目标领域编码器输出的特征向量输入到所述领域分类器，由所述领域分类器判别输入的特征向量来源于所述子领域或所述目标领域；
若所述领域分类器无法判别输入的特征向量来源于所述子领域或所述目标领域，则将所述目标领域编码器和所述子领域分类器用于对目标领域数据进行分类。
在学习单元200中，在每个子领域中进行单源迁移学习，得到与每个子领域对应的针对目标领域的子领域分类器。
在一个示例中，在子领域S1,S2,...,Sk上进行训练。对于每个子领域，利用生成式对抗网络及多源迁移学习算法，得到与每个子领域对应的针对目标领域的子领域分类器。
其中，生成对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型。这种模型的框架包括：生成模型(Generative Model，简称G)和判别模型(Discriminative Modell，简称D)。通过两个模型的互相博弈学习产生相当好的输出。在一个示例中，可使用深度神经网络作为生成模型G和判别模型D。
本发明实施例中，生成式对抗网络中的生成模型包括2个编码器，分别是源领域编码器和目标领域编码器。其中，源领域编码器的输入信息是来源于各个子领域的样本图片；目标领域编码器的输入信息是来源于目标领域的样本图片；这2个编码器的输出信息是从样本图片中提取的特征向量fθ(x)。生成式对抗网络中的判别模型包括领域分类器。将上述2个编码器输出的特征向量输入到领域分类器，让领域分类器去区分出输入的特征向量来源于子领域还是来源于目标领域。
若领域分类器无法区分出子领域和目标领域，则说明源领域和目标领域数据具有类似的分布。也就是说，从源领域中的各个子领域和从目标领域中分别提取的特征向量构成的特征空间是类似的。
在上述方法中，利用子领域和目标领域的数据训练领域分类器，对数据来源于子领域还是来源于目标领域进行识别，同时训练源领域编码器和目标领域编码器来迷惑领域分类器，使得领域分类器无法区分出数据来源于子领域还是来源于目标领域，从而使得源领域和目标领域数据具有类似的分布。
在第一训练子单元210中，可使用子领域的标注数据Si训练源领域编码器和子领域分类器对应的优化问题如下：
其中，子领域分类器用于对样本图片进行分类，例如诊断样本图片是否为患有糖尿病视网膜病变的眼底图。公式中的y表示分类结果，例如y可以表示诊断的结果类别，0为正常样本，1为患病样本。
在上述训练过程中，在各个子领域中训练子领域分类器可使用源领域中对应的子领域的标注数据。由于通过聚类将源领域划分成了多个子领域，因此本发明实施例中在进行聚类划分后需要重新使用源领域中对应的子领域的标注数据训练子领域分类器
在第二训练子单元220中，利用生成式对抗网络及多源迁移学习算法，训练领域分类器D和目标领域编码器对应的优化问题如下：
其中，领域分类器D是生成式对抗网络中的判别模型。如前述，目标领域编码器以目标领域的样本图片为输入，从样本图片中提取的特征向量。为了使特征向量构成的特征空间尽可能与源领域中对应的子领域类似，目标领域编码器需要产生足以“迷惑”判别模型D的输出结果，使得领域分类器无法区分出数据来源于子领域还是来源于目标领域。这一目标可以通过生成模型和判别模型之间的对抗训练达成，即判别模型不断提高区分数据来源的能力，而生成模型努力生成判别模型D难以区分的结果，不断提高“迷惑”判别模型的能力。也就是说，一方面训练判别模型D以最大化正确区分数据来源的概率；另一方面，训练生成模型最小化判别模型D得出正确答案的概率。可将上述训练过程看作是关于损失函数的极大极小博弈过程。
上述训练完成后，子领域数据和目标领域数据的特征分布基本一致，因而可以使用目标领域编码器和子领域分类器对目标领域数据进行分类。
上述技术方案具有如下优点或有益效果：利用生成式对抗网络及多源迁移学习算法，能够学习到领域之间共享的特征子空间，从而减小了不同领域数据分布之间的差异。
在一种实施方式中，所述集成单元300用于：
将多个所述子领域分类器的分类结果的平均值，作为所述目标领域分类器的分类结果。
具体地，基于多个子领域进行迁移学习得到多个子领域分类器，最后将多个子领域分类器的预测结果进行集成，得到最终的预测值，也就是所述目标领域分类器的分类结果。对于目标领域数据x，预测公式如下：
其中，表示所述目标领域分类器的分类结果；k表示子领域的个数；表示目标领域编码器对应的子领域的子领域分类器的预测结果。
在实际应用中，可将待分类的样本图片输入到各个子领域分类器分别得到预测结果。再将上述多个子领域分类器的预测结果进行集成，得到最终的分类结果。
图5示出根据本发明实施例的筛查模型的训练方法的流程图。如图5所示，该筛查模型的训练方法包括：
步骤S110，利用聚类算法对源领域数据进行划分，将源领域划分为多个子领域；
步骤S120，在多个所述子领域分别进行迁移学习，得到多个用于对目标领域数据进行分类的子领域分类器；
步骤S130，将多个所述子领域分类器进行集成，得到目标领域分类器。
在一种实施方式中，图5中的步骤S110，利用聚类算法对源领域数据进行划分，将源领域划分为多个子领域，具体可包括：
对所述源领域数据进行特征提取；
利用聚类算法对所述特征进行聚类分析，从而将源领域划分为多个子领域。
图6示出根据本发明另一实施例的筛查模型的训练方法的流程图。如图6所示，在一种实施方式中，图5中的步骤S120，在多个所述子领域分别进行迁移学习，得到多个用于对目标领域数据进行分类的子领域分类器，具体可包括：
步骤S210，在多个所述子领域分别训练源领域编码器和所述子领域分类器；
步骤S220，在多个所述子领域分别利用生成式对抗网络训练领域分类器和目标领域编码器；
其中，所述源领域编码器的输入信息包括来源于所述子领域的第一样本，所述源领域编码器的输出信息包括从所述第一样本中提取的特征向量；
所述子领域分类器用于对所述特征向量进行分类；
所述目标领域编码器的输入信息包括来源于所述目标领域的第二样本，所述目标领域编码器的输出信息包括从所述第二样本中提取的特征向量；
所述领域分类器用于判别输入的特征向量来源于所述子领域或所述目标领域。
图7示出根据本发明又一实施例的筛查模型的训练方法的流程图。如图7所示，在一种实施方式中，图6中的步骤S220，在多个所述子领域分别利用生成式对抗网络训练领域分类器和目标领域编码器，具体可包括：
步骤S310，将所述源领域编码器输出的特征向量和所述目标领域编码器输出的特征向量输入到所述领域分类器，由所述领域分类器判别输入的特征向量来源于所述子领域或所述目标领域；
步骤S320，若所述领域分类器无法判别输入的特征向量来源于所述子领域或所述目标领域，则将所述目标领域编码器和所述子领域分类器用于对目标领域数据进行分类。
在一种实施方式中，图5中的步骤S130，将多个所述子领域分类器进行集成，得到目标领域分类器，具体可包括：
将多个所述子领域分类器的分类结果的平均值，作为所述目标领域分类器的分类结果。
本发明实施例筛查模型的训练方法中的各步骤的实施方式可以参见上述装置中的各单元的功能的对应描述，在此不再赘述。
图8示出根据本发明又一实施例的筛查模型的训练装置的结构框图。如图8所示，该装置包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。所述处理器920执行所述计算机程序时实现上述实施例中的筛查模型的训练方法。所述存储器910和处理器920的数量可以为一个或多个。
该装置还包括：
通信接口930，用于与外界设备进行通信，进行数据交互传输。
存储器910可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent Interconnect)总线或扩展工业标准体系结构(EISA，Extended IndustryStandard Architecture)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述实施例中任一所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种筛查模型的训练装置，其特征在于，包括：
聚类单元，用于利用聚类算法对源领域数据进行划分，将源领域划分为多个子领域；
学习单元，用于在多个所述子领域分别进行迁移学习，得到多个用于对目标领域数据进行分类的子领域分类器；
集成单元，用于将多个所述子领域分类器进行集成，得到目标领域分类器。
2.根据权利要求1所述的装置，其特征在于，所述聚类单元用于：
对所述源领域数据进行特征提取；
利用聚类算法对所述特征进行聚类分析，从而将源领域划分为多个子领域。
3.根据权利要求1所述的装置，其特征在于，所述学习单元包括：
第一训练子单元，用于在多个所述子领域分别训练源领域编码器和所述子领域分类器；
第二训练子单元，用于在多个所述子领域分别利用生成式对抗网络训练领域分类器和目标领域编码器；
其中，所述源领域编码器的输入信息包括来源于所述子领域的第一样本，所述源领域编码器的输出信息包括从所述第一样本中提取的特征向量；
所述子领域分类器用于对所述特征向量进行分类；
所述目标领域编码器的输入信息包括来源于所述目标领域的第二样本，所述目标领域编码器的输出信息包括从所述第二样本中提取的特征向量；
所述领域分类器用于判别输入的特征向量来源于所述子领域或所述目标领域。
4.根据权利要求3所述的装置，其特征在于，所述第二训练子单元用于：
将所述源领域编码器输出的特征向量和所述目标领域编码器输出的特征向量输入到所述领域分类器，由所述领域分类器判别输入的特征向量来源于所述子领域或所述目标领域；
若所述领域分类器无法判别输入的特征向量来源于所述子领域或所述目标领域，则将所述目标领域编码器和所述子领域分类器用于对目标领域数据进行分类。
5.根据权利要求1至4中任一项所述的装置，其特征在于，所述集成单元用于：
将多个所述子领域分类器的分类结果的平均值，作为所述目标领域分类器的分类结果。
6.一种筛查模型的训练方法，其特征在于，包括：
利用聚类算法对源领域数据进行划分，将源领域划分为多个子领域；
在多个所述子领域分别进行迁移学习，得到多个用于对目标领域数据进行分类的子领域分类器；
将多个所述子领域分类器进行集成，得到目标领域分类器。
7.根据权利要求6所述的方法，其特征在于，利用聚类算法对源领域数据进行划分，将源领域划分为多个子领域，包括：
对所述源领域数据进行特征提取；
利用聚类算法对所述特征进行聚类分析，从而将源领域划分为多个子领域。
8.根据权利要求6所述的方法，其特征在于，在多个所述子领域分别进行迁移学习，得到多个用于对目标领域数据进行分类的子领域分类器，包括：
在多个所述子领域分别训练源领域编码器和所述子领域分类器；
在多个所述子领域分别利用生成式对抗网络训练领域分类器和目标领域编码器；
其中，所述源领域编码器的输入信息包括来源于所述子领域的第一样本，所述源领域编码器的输出信息包括从所述第一样本中提取的特征向量；
所述子领域分类器用于对所述特征向量进行分类；
所述目标领域编码器的输入信息包括来源于所述目标领域的第二样本，所述目标领域编码器的输出信息包括从所述第二样本中提取的特征向量；
所述领域分类器用于判别输入的特征向量来源于所述子领域或所述目标领域。
9.根据权利要求8所述的方法，其特征在于，在多个所述子领域分别利用生成式对抗网络训练领域分类器和目标领域编码器，包括：
将所述源领域编码器输出的特征向量和所述目标领域编码器输出的特征向量输入到所述领域分类器，由所述领域分类器判别输入的特征向量来源于所述子领域或所述目标领域；
若所述领域分类器无法判别输入的特征向量来源于所述子领域或所述目标领域，则将所述目标领域编码器和所述子领域分类器用于对目标领域数据进行分类。
10.根据权利要求6至9中任一项所述的方法，其特征在于，将多个所述子领域分类器进行集成，得到目标领域分类器，包括：
将多个所述子领域分类器的分类结果的平均值，作为所述目标领域分类器的分类结果。
11.一种筛查模型的训练装置，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求6至10中任一项所述的方法。
12.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求6至10中任一项所述的方法。
CN201910269536.6A 2019-04-04 2019-04-04 筛查模型的训练方法、装置及存储介质 Active CN110009038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910269536.6A CN110009038B (zh) 2019-04-04 2019-04-04 筛查模型的训练方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910269536.6A CN110009038B (zh) 2019-04-04 2019-04-04 筛查模型的训练方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110009038A true CN110009038A (zh) 2019-07-12
CN110009038B CN110009038B (zh) 2022-02-22

Family

ID=67169913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910269536.6A Active CN110009038B (zh) 2019-04-04 2019-04-04 筛查模型的训练方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110009038B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399492A (zh) * 2019-07-22 2019-11-01 阿里巴巴集团控股有限公司 针对用户问句的问题分类模型的训练方法和装置
CN112434746A (zh) * 2020-11-27 2021-03-02 平安科技（深圳）有限公司 基于层次化迁移学习的预标注方法及其相关设备
CN113486354A (zh) * 2021-08-20 2021-10-08 国网山东省电力公司电力科学研究院 一种固件安全评估方法、***、介质及电子设备
CN113723088A (zh) * 2020-05-25 2021-11-30 阿里巴巴集团控股有限公司 自然语言处理方法、装置、文本处理方法、设备和介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761311A (zh) * 2014-01-23 2014-04-30 中国矿业大学 基于多源领域实例迁移的情感分类方法
CN106650806A (zh) * 2016-12-16 2017-05-10 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
JP2018061091A (ja) * 2016-10-03 2018-04-12 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ データ圧縮装置、データ再現装置、データ圧縮方法、データ再現方法及びデータ転送方法
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
CN108197643A (zh) * 2017-12-27 2018-06-22 佛山科学技术学院 一种基于无监督聚类和度量学习的迁移学习方法
CN108710948A (zh) * 2018-04-25 2018-10-26 佛山科学技术学院 一种基于聚类均衡和权重矩阵优化的迁移学习方法
CN108959265A (zh) * 2018-07-13 2018-12-07 深圳市牛鼎丰科技有限公司 跨领域文本情感分类方法、装置、计算机设备及存储介质
CN109190750A (zh) * 2018-07-06 2019-01-11 国家计算机网络与信息安全管理中心 基于对抗生成网络的小样本生成方法及装置
CN109308689A (zh) * 2018-10-15 2019-02-05 聚时科技(上海)有限公司 基于掩码生成对抗网络迁移学习的无监督图像修复方法
CN109492099A (zh) * 2018-10-28 2019-03-19 北京工业大学 一种基于领域对抗自适应的跨领域文本情感分类方法
CN109523538A (zh) * 2018-11-21 2019-03-26 上海七牛信息技术有限公司 一种基于生成对抗神经网络的人群计数方法以及***
CN109522973A (zh) * 2019-01-17 2019-03-26 云南大学 基于生成式对抗网络与半监督学习的医疗大数据分类方法及***

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761311A (zh) * 2014-01-23 2014-04-30 中国矿业大学 基于多源领域实例迁移的情感分类方法
JP2018061091A (ja) * 2016-10-03 2018-04-12 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ データ圧縮装置、データ再現装置、データ圧縮方法、データ再現方法及びデータ転送方法
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
CN106650806A (zh) * 2016-12-16 2017-05-10 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
CN108197643A (zh) * 2017-12-27 2018-06-22 佛山科学技术学院 一种基于无监督聚类和度量学习的迁移学习方法
CN108710948A (zh) * 2018-04-25 2018-10-26 佛山科学技术学院 一种基于聚类均衡和权重矩阵优化的迁移学习方法
CN109190750A (zh) * 2018-07-06 2019-01-11 国家计算机网络与信息安全管理中心 基于对抗生成网络的小样本生成方法及装置
CN108959265A (zh) * 2018-07-13 2018-12-07 深圳市牛鼎丰科技有限公司 跨领域文本情感分类方法、装置、计算机设备及存储介质
CN109308689A (zh) * 2018-10-15 2019-02-05 聚时科技(上海)有限公司 基于掩码生成对抗网络迁移学习的无监督图像修复方法
CN109492099A (zh) * 2018-10-28 2019-03-19 北京工业大学 一种基于领域对抗自适应的跨领域文本情感分类方法
CN109523538A (zh) * 2018-11-21 2019-03-26 上海七牛信息技术有限公司 一种基于生成对抗神经网络的人群计数方法以及***
CN109522973A (zh) * 2019-01-17 2019-03-26 云南大学 基于生成式对抗网络与半监督学习的医疗大数据分类方法及***

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GUAN SHUYUE等: ""Using generative adversarial networks and transfer learning for breast cancer detection by convolutional neural networks"", 《SPIE MEDICAL IMAGING》 *
SHAYAN SHAMS等: ""Deep Generative Breast Cancer Screening and Diagnosis"", 《MICCAI 2018》 *
于重重等: ""非平衡集成迁移学习模型及其在桥梁结构健康监测中的应用"", 《智能***学报》 *
吕静: ""基于实例的迁移学习算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
臧文华: ""基于生成对抗网络的迁移学习算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399492A (zh) * 2019-07-22 2019-11-01 阿里巴巴集团控股有限公司 针对用户问句的问题分类模型的训练方法和装置
CN113723088A (zh) * 2020-05-25 2021-11-30 阿里巴巴集团控股有限公司 自然语言处理方法、装置、文本处理方法、设备和介质
CN112434746A (zh) * 2020-11-27 2021-03-02 平安科技（深圳）有限公司 基于层次化迁移学习的预标注方法及其相关设备
WO2022001233A1 (zh) * 2020-11-27 2022-01-06 平安科技（深圳）有限公司 基于层次化迁移学习的预标注方法及其相关设备
CN112434746B (zh) * 2020-11-27 2023-10-27 平安科技（深圳）有限公司 基于层次化迁移学习的预标注方法及其相关设备
CN113486354A (zh) * 2021-08-20 2021-10-08 国网山东省电力公司电力科学研究院 一种固件安全评估方法、***、介质及电子设备

Also Published As

Publication number Publication date
CN110009038B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
Ramcharan et al. A mobile-based deep learning model for cassava disease diagnosis
Rajalingham et al. Large-scale, high-resolution comparison of the core visual object recognition behavior of humans, monkeys, and state-of-the-art deep artificial neural networks
CN110009038A (zh) 筛查模型的训练方法、装置及存储介质
Sagar et al. On using transfer learning for plant disease detection
Yu et al. Image quality classification for DR screening using deep learning
CN109558942B (zh) 一种基于浅度学习的神经网络迁移方法
Lim et al. Transformed representations for convolutional neural networks in diabetic retinopathy screening
Rosenthal et al. Color statistics of objects, and color tuning of object cortex in macaque monkey
CN110139597A (zh) 利用神经生理信号进行迭代分类的***和方法
Al-Kharraz et al. Automated system for chromosome karyotyping to recognize the most common numerical abnormalities using deep learning
Chudzik et al. Exudate segmentation using fully convolutional neural networks and inception modules
CN106503723A (zh) 一种视频分类方法及装置
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
Douarre et al. Deep learning based root-soil segmentation from X-ray tomography images
Mia et al. Cucumber disease recognition using machine learning and transfer learning
de la Rosa et al. Visual categorization of social interactions
Niu et al. Automatic localization of optic disc based on deep learning in fundus images
CN110298364A (zh) 面向功能性脑网络的多阈值下基于多任务的特征选择方法
Shafi et al. Embedded AI for wheat yellow rust infection type classification
Pan et al. Generative adversarial networks and radiomics supervision for lung lesion synthesis
Ramcharan et al. Assessing a mobile-based deep learning model for plant disease surveillance
CN110084267A (zh) 人像聚类方法、装置、电子设备及可读存储介质
CN110210574A (zh) 合成孔径雷达图像解译方法、目标识别装置及设备
Merone et al. On using active contour to segment HEp-2 cells
Jerandu et al. Image Classification of Decapterus Macarellus Using Ridge Regression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant