CN110298415B - 一种半监督学习的训练方法、***和计算机可读存储介质 - Google Patents
一种半监督学习的训练方法、***和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110298415B CN110298415B CN201910766533.3A CN201910766533A CN110298415B CN 110298415 B CN110298415 B CN 110298415B CN 201910766533 A CN201910766533 A CN 201910766533A CN 110298415 B CN110298415 B CN 110298415B
- Authority
- CN
- China
- Prior art keywords
- semi
- supervised learning
- sample
- model
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012549 training Methods 0.000 title claims abstract description 68
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 230000006870 function Effects 0.000 claims abstract description 57
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 6
- 238000005457 optimization Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 4
- 238000010835 comparative analysis Methods 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种半监督学习的训练方法、***和计算机可读存储介质，所述方法包括：对历史标注样本进行聚类，计算得到聚类中心；接收新的标注样本和未标注样本；根据模型计算标注样本的预测标签，结合预测标签与实际标签求得第一损失函数；对比分析未标注样本和聚类中心的历史标注样本的一致性，并计算得到第二损失函数；结合第一损失函数和第二损失函数，并采用预设的半监督学习算法优化模型的参数。本发明只要标注少量的样本，极大降低了标注过程的成本；利用少量的标注样本，来引导大量的未标注样本进行特征训练，充分发挥了未标注样本的作用，可以进一步辅助模型的训练，提高模型的预测能力。
Description
技术领域
本发明涉及深度学习技术领域，尤其涉及一种半监督学习的训练方法、***和计算机可读存储介质。
背景技术
近年来，深度学习呈现井喷式的发展，在图像、语音、文字等多个领域的技术上，取得了全面的突破。以深度学习为主要技术的AI公司如雨后春笋般迅速崛起和发展，并带来许多典型的AI应用场景，如人脸检测、图像识别、语音识别、文字识别、智能监控、场景识别等。这些AI技术已经渗透到人们工作和生活的方方面面，比如手机上的人脸解锁、支付宝的“刷脸”支付、手机拍照时的美颜效果、人脸检测等。这些成功的背后，除了硬件的不断的革新，深度学习算法的不断突破外，更为重要的是日益增大的数据规模。
在这些深度学习技术中，应用最为广泛的还是监督学习，即训练过程中所有的数据都是有标注的。在监督学习中，收集大量标注数据对于提高深度学习模型的识别或者检测准确率非常重要。但是，在实际应用中，图像的标注是一件非常费时费力的事，特别是在工业生产领域，要想使识别精度达到生产要求，收集各类样本需要投入大量的人力物力，而且经常还受到产能的限制，使收集工作几乎难以实现。在此背景之下，一种半监督学习技术应运而生，它旨在通过少量的标注样本和大量的未标注数据来提供高度模型的性能。这也是本专利研究的主要内容。
到目前为止，关于半监督学***等对待，忽略了标注数据和非标注数据之间的本质区别，即相比于非标注数据，标注数据具有更多的有效信息。
当前的半监督学习可大致分为三类：1）基于图模型的半监督学习，2）基于扰动的半监督学习，3）基于生成模型的半监督学习。
1）基于图模型的半监督学习
基于图模型的学***滑性，因此通过训练获得到的模型在性能上要远远低于最新的半监督学习方法。
2）基于扰动的半监督学习
当对输入样本进行不同的扰动时，通过深度模型得到预测值应该是一致的。基于这种假设，很多扰动的半监督学***滑一些不稳定的噪声，产生更为准确的模型。与II 模型类似，Miyato等人也是约束样本对扰动的鲁棒性，但是不同的是使用了对抗扰动。Luo等人在对扰动的鲁棒性基础上，约束了相似样本之间应该保持平滑的过渡。这些方法虽然在一些公开的数据集上，可以取得令人惊艳的结果，但是他们将标注样本和非标注样本等同对待。
3）基于生成模型的半监督学习
生成模型很早就已经应用到半监督学习中。它采用一个概率模型，, 其中是一个可识别的混合模型，比如高斯概率混合模
型。早期的基于生成模型的半监督学习方法主要通过估计条件概率分布或者联合
分布，来生成样样本x。最近，以VAE（Variational Auto-encoder）为代表的
深度生成模型越来越流行。它们将变分方法应用到深度学习中，通过生成对抗网络
（Generative Adversarial Networks， 简称GAN）。GAN生成的样本可以被认为是一种数据
增强。举例而言，生成的“假”样本往往分布在低密度区域，从而可以引导分类器去更好地定
位它们的边界，进而提升了分类器的鲁棒性。基于生成模型的半监督学习方法虽然可以提
升模型的性能，获得一些不错的结果。但是这类方法要大量的时间来对进行对抗模拟和优
化，而且往往很难收敛。
发明内容
为了解决上述至少一个技术问题，本发明提出了一种半监督学习的训练方法、***和计算机可读存储介质。
为了实现上述目的，本发明第一方面提出了一种半监督学习的训练方法，所述方法包括：
对历史标注样本进行聚类，计算得到聚类中心；
接收新的标注样本和未标注样本；
根据模型计算标注样本的预测标签，结合预测标签与实际标签求得第一损失函数；
对比分析未标注样本和聚类中心的历史标注样本的一致性，并计算得到第二损失函数；
结合第一损失函数和第二损失函数，并采用预设的半监督学习算法优化模型的参数。
本方案中，对比分析未标注样本和聚类中心的历史标注样本的一致性，并计算得到第二损失函数，具体包括：
选定未标注样本和聚类中心的历史标注样本中的对应特征进行比对分析，并基于二者特征的偏差来计算得到第二损失函数。
本方案中，在采用预设的半监督学习算法优化模型的参数之后，所述方法还包括：
判断新的标注样本和未标注样本是否遍历一遍；
若否，则重新进入步骤“接收新的标注样本和未标注样本”以进行下一次迭代；若是，则进入步骤“对历史标注样本进行聚类，计算得到聚类中心” 以进行下一次迭代。
本方案中，所述聚类中心的计算方式如下：
其中， 表示标记样本属于第k类的概率；分类函
数由特征抽取器和最终的线性分类器构成，计算公式为。
本方案中，所述第二损失函数的计算公式为：
其中，为未标注样本的集合，K为聚类中心的集合，其是由模型在上一次迭
代时计算而来，为截断函数，以防止最小值低于0；
当权重趋向于1时，上述计算公式的第一项占据主导地位，引导样本的特征
靠近聚类中心；反之，上述计算公式的第二项占据主导地位，强迫样本的特征远离聚
类中心。
本方案中，预设的半监督学***均加权算法。
本方案中，所述半监督学习为Mean Teacher，其包括“student”模型和“teacher”模型，所述“teacher”模型是通过对一系列的“student”模型进行加权而来的，所述“student”模型的训练与监督学习训练方式相一致。
本发明第二方面还提出一种半监督学习的训练***，所述半监督学习的训练***包括：存储器及处理器，所述存储器中包括一种半监督学习的训练方法程序，所述半监督学习的训练方法程序被所述处理器执行时实现如下步骤：
对历史标注样本进行聚类，计算得到聚类中心；
接收新的标注样本和未标注样本；
根据模型计算标注样本的预测标签，结合预测标签与实际标签求得第一损失函数；
对比分析未标注样本和聚类中心的历史标注样本的一致性，并计算得到第二损失函数；
结合第一损失函数和第二损失函数，并采用预设的半监督学习算法优化模型的参数。
本方案中，在采用预设的半监督学习算法优化模型的参数之后，还包括：
判断新的标注样本和未标注样本是否遍历一遍；
若否，则重新进入步骤“接收新的标注样本和未标注样本”以进行下一次迭代；若是，则进入步骤“对历史标注样本进行聚类，计算得到聚类中心” 以进行下一次迭代。
本发明第三方面还提出一种计算机可读存储介质，所述计算机可读存储介质中包括一种半监督学习的训练方法程序，所述半监督学习的训练方法程序被处理器执行时，实现如上述的一种半监督学习的训练方法的步骤。
本发明只要标注少量的样本，极大降低了标注过程的成本；利用少量的标注样本，来引导大量的未标注样本进行特征训练，充分发挥了未标注样本的作用，可以进一步辅助模型的训练，提高模型的预测能力。同时，本发明也能达到不亚于监督学习的精度，可直接应用到实际的工业检测中。
本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1示出了本发明一种半监督学习的训练方法的流程图；
图2示出了本发明半监督学习方法Mean Teacher的流程框图；
图3示出了本发明一种特征引导的构造示意图；
图4示出了本发明一种半监督学习的训练***的框图；
图5示出了本发明一实施例的半监督学习的训练方法的流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种半监督学习的训练方法的流程图。
如图1所示，本发明第一方面提出一种半监督学习的训练方法，所述方法包括：
S102，对历史标注样本进行聚类，计算得到聚类中心；
S104，接收新的标注样本和未标注样本；
S106，根据模型计算标注样本的预测标签，结合预测标签与实际标签求得第一损失函数；
S108，对比分析未标注样本和聚类中心的历史标注样本的一致性，并计算得到第二损失函数；
S110，结合第一损失函数和第二损失函数，并采用预设的半监督学习算法优化模型的参数。
需要说明的是，本发明的技术方案可以在PC、手机、PAD等终端设备中进行操作。
需要说明的是，第一损失函数是基于标准的监督学***均加权算法（EMA算法），但不限于此。
需要说明的，在仅有少量的标注样本时，如何最大化地利用标注样本来引导未标注样本进行特征学习，从而可极大地提高模型的泛化能力。本发明主要是基于如下假设：未标注样本的潜在结构与标注样本的潜在结构是相似的，即这两种类型的样本数据分布是类似的。在此基础上，本发明使用从标注样本中学到的特征来引导未标注样本进行特征学习，从而可以很好地利用大量的未标注数据。
可以理解，使用少量的标注样本来引导大量的未标注样本进行特征学习，使其与标注样本具有相似的内在特征结构，其实相当于对扩充了标注样本的数据量，有助于提高模型的泛化能力。所述的引导是在特征空间进行操作，能够挖掘数据潜在的结构信息，避免无用信息的干扰。
可以理解， 本发明使用标注样本来引导大量的未标注样本进行特征训练，充分发挥易于获取的大量未标注样本的作用。
进一步的，对比分析未标注样本和聚类中心的历史标注样本的一致性，并计算得到第二损失函数，具体包括：
选定未标注样本和聚类中心的历史标注样本中的对应特征进行比对分析，并基于二者特征的偏差来计算得到第二损失函数。
进一步的，在采用预设的半监督学习算法优化模型的参数之后，所述方法还包括：
判断新的标注样本和未标注样本是否遍历一遍；
若否，则重新进入步骤“接收新的标注样本和未标注样本”以进行下一次迭代；若是，则进入步骤“对历史标注样本进行聚类，计算得到聚类中心” 以进行下一次迭代。
如图2所示，本发明在基于装配的半监督学习方法（比如Mean Teacher）的基础上，引入了一种新的引导约束，从而引导未标注样本进行特征学习。
半监督学***均加权（Exponential Moving Average, 简称EMA）。相比于直接使用最终更新的参数模型，对迭代过程中每次得到的参数模型进行加权，往往能够产生更为正确的结果。
根据本发明的实施例，所述聚类中心的计算方式如下：
其中， 表示标记样本属于第k类的概率；分类函
数由特征抽取器和最终的线性分类器构成，计算公式为。
进一步的，为了有效地使用标注数据来引导未标注数据进行特征学习，首先构造了一个相似性图，如图3所示，用来描述标注数据和未标注数据之间的相似性关系。图的顶点表示标注数据和未标注数据的特征，图的边表示特征点之间的相似性，如图3(a) 所示。为了进一步提高引导的效果，对标注数据在特征空间进行聚类，并以每个聚类作为引导的代表点，如图 3(c) 所示。
根据本发明的实施例，第二损失函数的计算公式为：
其中，为未标注样本的集合，K为聚类中心的集合，其是由模型在上一次迭
代时计算而来，为截断函数，以防止最小值低于0；
当权重趋向于1时，上述计算公式的第一项占据主导地位，引导样本的特征
靠近聚类中心；反之，上述计算公式的第二项占据主导地位，强迫样本的特征远离聚
类中心。
可以理解，上述参数为“student”模型的权重，上述参数为“teacher”模型的
权重。
可以理解，通过第二损失函数可以形成对未标注样本数据的正则化约束，来引导未标注样本数据进行特征学习，从而有利于进一步提升模型的分类精度。具体而言，对于每个相似图（如图3所示），正则约束项的目的为：1）引导未标注的特征尽可能靠近与其相似的聚类的中心；2）强迫未标注样本的特征远离与其不相似的聚类中心。
本发明的半监督学习的训练方法充分发挥标注数据对未标注数据的引导作用，从而使得大量的未标注数据可以学到一些更有意义的特征，进而辅助整个模型进行训练。相比之前的半监督学习方法，本发明使标注数据学到特征具有很强的指导性，因此赋予其更大的权重，以引导未标注数据进行特征训练。
图4示出了本发明一种半监督学习的训练***的框图。
如图4所示，本发明第二方面还提出一种半监督学习的训练***4，所述半监督学习的训练***4包括：存储器41及处理器42，所述存储器41中包括一种半监督学习的训练方法程序，所述半监督学习的训练方法程序被所述处理器42执行时实现如下步骤：
对历史标注样本进行聚类，计算得到聚类中心；
接收新的标注样本和未标注样本；
根据模型计算标注样本的预测标签，结合预测标签与实际标签求得第一损失函数；
对比分析未标注样本和聚类中心的历史标注样本的一致性，并计算得到第二损失函数；
结合第一损失函数和第二损失函数，并采用预设的半监督学习算法优化模型的参数。
需要说明的是，本发明的***可以在PC、手机、PAD等终端设备中进行操作。
需要说明的是，所述处理器可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
需要说明的是，第一损失函数是基于标准的监督学***均加权算法（EMA算法），但不限于此。
需要说明的，在仅有少量的标注样本时，如何最大化地利用标注样本来引导未标注样本进行特征学习，从而可极大地提高模型的泛化能力。本发明主要是基于如下假设：未标注样本的潜在结构与标注样本的潜在结构是相似的，即这两种类型的样本数据分布是类似的。在此基础上，本发明使用从标注样本中学到的特征来引导未标注样本进行特征学习，从而可以很好地利用大量的未标注数据。
可以理解，使用少量的标注样本来引导大量的未标注样本进行特征学习，使其与标注样本具有相似的内在特征结构，其实相当于对扩充了标注样本的数据量，有助于提高模型的泛化能力。所述的引导是在特征空间进行操作，能够挖掘数据潜在的结构信息，避免无用信息的干扰。
可以理解， 本发明使用标注样本来引导大量的未标注样本进行特征训练，充分发挥易于获取的大量未标注样本的作用。
进一步的，对比分析未标注样本和聚类中心的历史标注样本的一致性，并计算得到第二损失函数，具体包括：
选定未标注样本和聚类中心的历史标注样本中的对应特征进行比对分析，并基于二者特征的偏差来计算得到第二损失函数。
进一步的，在采用预设的半监督学习算法优化模型的参数之后，所述方法还包括：
判断新的标注样本和未标注样本是否遍历一遍；
若否，则重新进入步骤“接收新的标注样本和未标注样本”以进行下一次迭代；若是，则进入步骤“对历史标注样本进行聚类，计算得到聚类中心” 以进行下一次迭代。
根据本发明的实施例，本发明在基于装配的半监督学习方法（比如Mean Teacher）的基础上，引入了一种新的引导约束，从而引导未标注样本进行特征学习。
半监督学***均加权（Exponential Moving Average, 简称EMA）。相比于直接使用最终更新的参数模型，对迭代过程中每次得到的参数模型进行加权，往往能够产生更为正确的结果。
根据本发明的实施例，所述聚类中心的计算方式如下：
其中， 表示标记样本属于第k类的概率；分类函
数由特征抽取器和最终的线性分类器构成，计算公式为。
进一步的，为了有效地使用标注数据来引导未标注数据进行特征学习，首先构造了一个相似性图，如图3所示，用来描述标注数据和未标注数据之间的相似性关系。图的顶点表示标注数据和未标注数据的特征，图的边表示特征点之间的相似性，如图3(a) 所示。为了进一步提高引导的效果，对标注数据在特征空间进行聚类，并以每个聚类作为引导的代表点，如图 3(c) 所示。
根据本发明的实施例，第二损失函数的计算公式为：
其中，为未标注样本的集合，K为聚类中心的集合，其是由模型在上一次迭
代时计算而来，为截断函数，以防止最小值低于0；
当权重趋向于1时，上述计算公式的第一项占据主导地位，引导样本的特征
靠近聚类中心；反之，上述计算公式的第二项占据主导地位，强迫样本的特征远离聚
类中心。
可以理解，通过第二损失函数可以形成对未标注样本数据的正则化约束，来引导未标注样本数据进行特征学习，从而有利于进一步提升模型的分类精度。具体而言，对于每个相似图（如图3所示），正则约束项的目的为：1）引导未标注的特征尽可能靠近与其相似的聚类的中心；2）强迫未标注样本的特征远离与其不相似的聚类中心。
本发明的半监督学习的训练***充分发挥标注数据对未标注数据的引导作用，从而使得大量的未标注数据可以学到一些更有意义的特征，进而辅助整个模型进行训练。相比之前的半监督学习方法，本发明使标注数据学到特征具有很强的指导性，因此赋予其更大的权重，以引导未标注数据进行特征训练。
本发明第三方面还提出一种计算机可读存储介质，所述计算机可读存储介质中包括一种半监督学习的训练方法程序，所述半监督学习的训练方法程序被处理器执行时，实现如上述的一种半监督学习的训练方法的步骤。
为了进一步解释本发明的技术方案，下面以一实施例进行具体说明。
如图5所示，在本实施例中，半监督学习的训练流程具体包括如下步骤：
对历史标注样本进行聚类，计算得到聚类中心；
输入新的标注样本XL和未标注样本XU；
预测标注样本，与标签求得loss，记为第一损失函数LS；
对未标注样本和聚类中心的历史标注样本计算一致性loss，记为第二损失函数LC；
结合LS和LC，并使用指数移动平均加权算法（EMA算法），优化更新“teacher”模型参数；
判断样本数据是否遍历一遍；
若是，则进入上述第一步以进行下一次迭代；若否，则进入上述第二步以进行下一次迭代。
本发明提出的半监督学习的训练方法、***和计算机可读存储介质，能够最大化发挥标注样本的指导性，从而引导未标注样本进行有效的特征学习；未标注样本的特征训练反哺于监督学习网络，从而进一步提升模型的性能和泛化能力。
在工业检测中，监督学习需要大量的标注数据，但获取足够的标注数据成本较高且难以实现；而本发明只需少量的标注数据，就能引导未标注样本进行特征训练，获得较高的精度，极大地降低了获取标注数据的负担。即使使用少量的标注数据，本发明也能达到不亚于监督学习的精度，使其可以真正的应用到实际工业生产和检测中来。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种半监督学习的训练方法，其特征在于，所述方法包括：
对历史标注样本进行聚类，计算得到聚类中心；
接收新的标注样本和新的未标注样本；
根据半监督学习模型计算新的标注样本的预测标签，结合预测标签与新的标注样本事先标注好的实际标签求得第一损失函数；
对比分析新的未标注样本和聚类中心的历史标注样本的一致性，并计算得到第二损失函数；
结合第一损失函数和第二损失函数，并采用预设的半监督学习算法优化半监督学习模型的参数。
2.根据权利要求1所述的一种半监督学习的训练方法，其特征在于，对比分析新的未标注样本和聚类中心的历史标注样本的一致性，并计算得到第二损失函数，具体包括：
选定新的未标注样本和聚类中心的历史标注样本中的对应特征进行比对分析，并基于二者特征的偏差来计算得到第二损失函数。
3.根据权利要求1所述的一种半监督学习的训练方法，其特征在于，在采用预设的半监督学习算法优化半监督学习模型的参数之后，所述方法还包括：
判断新的标注样本和新的未标注样本是否遍历一遍；
若否，则重新进入步骤“接收新的标注样本和新的未标注样本”以进行下一次迭代；若是，则进入步骤“对历史标注样本进行聚类，计算得到聚类中心” 以进行下一次迭代。
4.根据权利要求3所述的一种半监督学习的训练方法，其特征在于，所述聚类中心的计算方式如下：
；
其中，，表示历史标注样本属于第k类的概率，表示历史标注样本的序号，表示历史标注样本的标签类别序号，为半监督学习模型中的“student”模型权重参数；半监督学习模型中的“teacher”模型权重参数；分类函数由特征抽取器和最终的线性分类器构成，计算公式为。
5.根据权利要求4所述的一种半监督学习的训练方法，其特征在于，所述第二损失函数的计算公式为：
；
其中，为新的未标注样本的集合，仅为标志字符，表示集合中的数据是未标注的，为具体新的未标注样本，为新的未标注样本的序号，K为聚类中心的集合，其是由半监督学习模型在上一次迭代时计算而来，为截断函数，以防止最小值低于0；
当权重趋向于1时，上述计算公式的第一项占据主导地位，引导样本的特征靠近聚类中心；反之，上述计算公式的第二项占据主导地位，强迫样本的特征远离聚类中心。
6.根据权利要求1所述的一种半监督学***均加权算法。
7. 根据权利要求1所述的一种半监督学习的训练方法，其特征在于，所述半监督学习模型为Mean Teacher模型，其包括“student”模型和“teacher”模型，所述“teacher”模型是通过对一系列的“student”模型进行加权而来的，所述“student”模型的训练与监督学习训练方式相一致。
8.一种半监督学习的训练***，其特征在于，所述半监督学习的训练***包括：存储器及处理器，所述存储器中包括一种半监督学习的训练方法程序，所述半监督学习的训练方法程序被所述处理器执行时实现如下步骤：
对历史标注样本进行聚类，计算得到聚类中心；
接收新的标注样本和新的未标注样本；
根据半监督学习模型计算新的标注样本的预测标签，结合预测标签与新的标注样本事先标注好的实际标签求得第一损失函数；
对比分析新的未标注样本和聚类中心的历史标注样本的一致性，并计算得到第二损失函数；
结合第一损失函数和第二损失函数，并采用预设的半监督学习算法优化半监督学习模型的参数。
9.根据权利要求8所述的一种半监督学习的训练***，其特征在于，在采用预设的半监督学习算法优化半监督学习模型的参数之后，还包括：
判断新的标注样本和新的未标注样本是否遍历一遍；
若否，则重新进入步骤“接收新的标注样本和新的未标注样本”以进行下一次迭代；若是，则进入步骤“对历史标注样本进行聚类，计算得到聚类中心” 以进行下一次迭代。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括一种半监督学习的训练方法程序，所述半监督学习的训练方法程序被处理器执行时，实现如权利要求1至7中任一项所述的一种半监督学习的训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910766533.3A CN110298415B (zh) | 2019-08-20 | 2019-08-20 | 一种半监督学习的训练方法、***和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910766533.3A CN110298415B (zh) | 2019-08-20 | 2019-08-20 | 一种半监督学习的训练方法、***和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110298415A CN110298415A (zh) | 2019-10-01 |
| CN110298415B true CN110298415B (zh) | 2019-12-03 |
Family
ID=68033000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910766533.3A Active CN110298415B (zh) | 2019-08-20 | 2019-08-20 | 一种半监督学习的训练方法、***和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110298415B (zh) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699908B (zh) * | 2019-10-23 | 2022-08-05 | 武汉斗鱼鱼乐网络科技有限公司 | 标注图片的方法、电子终端、计算机可读存储介质及设备 |
| CN110909803B (zh) * | 2019-11-26 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 图像识别模型训练方法、装置和计算机可读存储介质 |
| CN111222648B (zh) * | 2020-01-15 | 2023-09-26 | 深圳前海微众银行股份有限公司 | 半监督机器学习优化方法、装置、设备及存储介质 |
| CN111275101A (zh) * | 2020-01-19 | 2020-06-12 | 山东超越数控电子股份有限公司 | 一种飞机液压***故障识别方法，设备及可读存储介质 |
| CN111310799B (zh) * | 2020-01-20 | 2024-04-26 | 中国人民大学 | 一种基于历史评估结果的主动学习方法 |
| CN111523422B (zh) * | 2020-04-15 | 2023-10-10 | 北京华捷艾米科技有限公司 | 一种关键点检测模型训练方法、关键点检测方法和装置 |
| CN111523597B (zh) * | 2020-04-23 | 2023-08-25 | 北京百度网讯科技有限公司 | 目标识别模型训练方法、装置、设备以及存储介质 |
| CN111695413B (zh) * | 2020-04-28 | 2023-06-20 | 长江大学 | 联合U-Net和Temporal Ensembling的信号初至拾取方法及装置 |
| CN111797895B (zh) * | 2020-05-30 | 2024-04-26 | 华为技术有限公司 | 一种分类器的训练方法、数据处理方法、***以及设备 |
| CN111724867B (zh) * | 2020-06-24 | 2022-09-09 | 中国科学技术大学 | 分子属性测定方法、装置、电子设备及存储介质 |
| CN112102062A (zh) * | 2020-07-24 | 2020-12-18 | 北京淇瑀信息科技有限公司 | 一种基于弱监督学习的风险评估方法、装置及电子设备 |
| CN111881979B (zh) * | 2020-07-28 | 2022-05-13 | 复旦大学 | 多模态数据标注装置及包含程序的计算机可读存储介质 |
| CN112183577A (zh) * | 2020-08-31 | 2021-01-05 | 华为技术有限公司 | 一种半监督学习模型的训练方法、图像处理方法及设备 |
| CN112464645A (zh) * | 2020-10-30 | 2021-03-09 | 中国电力科学研究院有限公司 | 一种半监督学习方法、***、设备和存储介质及语义解析方法 |
| CN112232439B (zh) * | 2020-11-06 | 2024-04-05 | 四川云从天府人工智能科技有限公司 | 非监督ReID中的伪标签更新方法及*** |
| CN112287089B (zh) * | 2020-11-23 | 2022-09-20 | 腾讯科技（深圳）有限公司 | 用于自动问答***的分类模型训练、自动问答方法及装置 |
| CN112488209B (zh) * | 2020-11-25 | 2024-02-20 | 南京大学 | 一种基于半监督学习的增量式图片分类方法 |
| CN112347261A (zh) * | 2020-12-07 | 2021-02-09 | 携程计算机技术（上海）有限公司 | 分类模型训练方法、***、设备及存储介质 |
| CN112669330A (zh) * | 2020-12-25 | 2021-04-16 | 上海交通大学 | 基于双重一致性自集成学习的半监督评估方法及评估*** |
| CN112784749B (zh) * | 2021-01-22 | 2023-11-10 | 北京百度网讯科技有限公司 | 目标模型的训练方法、目标对象的识别方法、装置及介质 |
| CN113591914A (zh) * | 2021-06-28 | 2021-11-02 | 中国平安人寿保险股份有限公司 | 一种数据分类方法、装置、计算机设备和存储介质 |
| CN113688665B (zh) * | 2021-07-08 | 2024-02-20 | 华中科技大学 | 一种基于半监督迭代学习的遥感影像目标检测方法及*** |
| CN113408650B (zh) * | 2021-07-12 | 2023-07-18 | 厦门大学 | 基于一致性训练的半监督三维形状识别方法 |
| CN113792760B (zh) * | 2021-08-19 | 2024-07-19 | 北京爱笔科技有限公司 | 聚类分析方法、装置、计算机设备和存储介质 |
| CN113642671B (zh) * | 2021-08-27 | 2024-03-05 | 京东科技信息技术有限公司 | 基于任务分布变化的半监督元学习方法及装置 |
| CN113704479B (zh) * | 2021-10-26 | 2022-02-18 | 深圳市北科瑞声科技股份有限公司 | 无监督的文本分类方法、装置、电子设备及存储介质 |
| CN114612702A (zh) * | 2022-01-24 | 2022-06-10 | 珠高智能科技(深圳)有限公司 | 基于深度学习的图像数据标注***及其方法 |
| CN114925773A (zh) * | 2022-05-30 | 2022-08-19 | 阿里巴巴（中国）有限公司 | 模型训练方法、装置、电子设备以及存储介质 |
| CN115115886A (zh) * | 2022-07-11 | 2022-09-27 | 北京航空航天大学 | 基于teacher-student模型的半监督目标检测方法 |
| CN115690100B (zh) * | 2022-12-28 | 2023-04-07 | 珠海横琴圣澳云智科技有限公司 | 半监督信号点检测模型训练方法、信号点检测方法和装置 |
| CN116206035B (zh) * | 2023-01-12 | 2023-12-01 | 北京百度网讯科技有限公司 | 人脸重建方法、装置、电子设备以及存储介质 |
| CN115792807B (zh) * | 2023-02-13 | 2023-04-28 | 北京理工大学 | 基于孪生网络的半监督学习水下声源定位方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241816A (zh) * | 2018-07-02 | 2019-01-18 | 北京交通大学 | 一种基于标签优化的图像再识别***及损失函数确定方法 |
| CN110046660A (zh) * | 2019-04-10 | 2019-07-23 | 江南大学 | 一种基于半监督学习的乘积量化方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11120337B2 (en) * | 2017-10-20 | 2021-09-14 | Huawei Technologies Co., Ltd. | Self-training method and system for semi-supervised learning with generative adversarial networks |
| CN108133173B (zh) * | 2017-11-24 | 2019-07-23 | 西安电子科技大学 | 基于半监督梯形网络的极化sar图像分类方法 |
-
2019
- 2019-08-20 CN CN201910766533.3A patent/CN110298415B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241816A (zh) * | 2018-07-02 | 2019-01-18 | 北京交通大学 | 一种基于标签优化的图像再识别***及损失函数确定方法 |
| CN110046660A (zh) * | 2019-04-10 | 2019-07-23 | 江南大学 | 一种基于半监督学习的乘积量化方法 |
Non-Patent Citations (1)
| Title |
|---|
| 半监督学习方法;刘建伟等;《计算机学报》;20140828;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110298415A (zh) | 2019-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298415B (zh) | 一种半监督学习的训练方法、***和计算机可读存储介质 | |
| CN108491817B (zh) | 一种事件检测模型训练方法、装置以及事件检测方法 | |
| CN108427713B (zh) | 一种用于自制视频的视频摘要方法及*** | |
| CN109948735B (zh) | 一种多标签分类方法、***、装置及存储介质 | |
| CN114998602B (zh) | 基于低置信度样本对比损失的域适应学习方法及*** | |
| CN105549885A (zh) | 滑屏操控中用户情绪的识别方法和装置 | |
| CN110972499A (zh) | 神经网络的标注*** | |
| CN110889865A (zh) | 一种基于局部加权稀疏特征选择的视频目标跟踪方法 | |
| CN113657087B (zh) | 信息的匹配方法及装置 | |
| Chen et al. | Fast detection of human using differential evolution | |
| CN112819024B (zh) | 模型处理方法、用户数据处理方法及装置、计算机设备 | |
| CN115187772A (zh) | 目标检测网络的训练及目标检测方法、装置及设备 | |
| CN115690514A (zh) | 图像识别方法及相关设备 | |
| CN117671704B (zh) | 一种手写体数字识别方法、装置及计算机存储介质 | |
| CN114328942A (zh) | 关系抽取方法、装置、设备、存储介质和计算机程序产品 | |
| CN117668582A (zh) | 基于行为数据的用户聚类分析方法 | |
| CN115861902B (zh) | 无监督的动作迁移和发现方法、***、设备和介质 | |
| Nasfi et al. | A novel feature selection method using generalized inverted Dirichlet-based HMMs for image categorization | |
| CN116681961A (zh) | 基于半监督方法和噪声处理的弱监督目标检测方法 | |
| CN115240647A (zh) | 声音事件检测方法、装置、电子设备及存储介质 | |
| CN114492657A (zh) | 植物疾病分类方法、装置、电子设备及存储介质 | |
| CN115188022A (zh) | 一种基于一致性半监督深度学习的人体行为识别方法 | |
| CN114186613A (zh) | 基于注意力机制多视图深度学习的球鞋真伪鉴定方法及*** | |
| CN112651996A (zh) | 目标检测跟踪方法、装置、电子设备和存储介质 | |
| CN113822689A (zh) | 广告转化率预估方法及装置、存储介质、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |