CN111126576B - 一种深度学习的训练方法 - Google Patents
一种深度学习的训练方法 Download PDFInfo
- Publication number
- CN111126576B CN111126576B CN202010221098.9A CN202010221098A CN111126576B CN 111126576 B CN111126576 B CN 111126576B CN 202010221098 A CN202010221098 A CN 202010221098A CN 111126576 B CN111126576 B CN 111126576B
- Authority
- CN
- China
- Prior art keywords
- data
- training
- accuracy
- set data
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种深度学习的训练方法,收集跨域的测试数据训练模型,并根据模型预测测试集的准确率,将有监督学习和伪标签学习有效的结合起来,较大的提升了网络的泛化能力,使用训练得到的模型来对跨域的未标注的数据进行预测,生成伪标签,辅助人工标注,提升了人工标注的效率。
Description
技术领域
本发明涉及深度学习技术领域,特别是指一种深度学习的训练方法。
背景技术
大数据时代,每天都会产生巨量的数据,但是这些数据都是杂乱无章的,如果人工对这些数据进行总结和分析,不仅耗时耗力,而且结果很差。因此希望训练人工智能,让机器具有分析、总结甚至推理的能力,代替人类完成一些任务。
训练数据是深度学习中最重要的环节之一。标注训练数据需要大量的时间和人力,因此深度学习逐渐从有监督学习向伪标签、半监督学习、无监督学习发展。某些深度学习模型在特定的数据域上有良好的表现,换一个数据域后,准确率则大幅下降,因此出现了很多防止模型过拟合,提升模型泛化能力的策略。例如:使用有监督学习和无监督学习结合的学习策略、使用dropout策略,使用权重正则化策略等。
1、有监督学习:通俗的来讲,就是需要人工对数据进行标注。监督学习的训练集要求包括输入输出,也可以说是特征和目标。训练集中的目标是由人标注的。监督学习通过已有的训练样本(即已知数据及其对应的输出)去训练得到一个最优模型(这个模型属于某个函数的集合,最优表示某个评价准则下是最佳的),再利用这个模型将所有的输入映射为相应的输出,对输出进行简单的判断从而实现分类的目的。监督学习的目标往往是让计算机去学习已经创建好的分类***(模型)。监督学习是训练神经网络和决策树的常见技术,这两种技术高度依赖事先确定的分类***给出的信息。对于神经网络,分类***利用信息判断网络的错误,然后不断调整网络参数。对于决策树,分类***用它来判断哪些属性提供了最多的信息。
2、无监督学习:数据是没有标签的或者是有一样的标签。不知道数据的含义和作用,让网络自己学习如何对数据进行分类。输入数据没有被标记,也没有确定的结果。样本数据类别未知,需要根据样本间的相似性对样本集进行分类(聚类)试图使类内差距最小化,类间差距最大化。通俗的讲,实际应用中,不少情况下无法预先知道样本的标签,也就是说没有训练样本对应的类别,因而只能从原先没有样本标签的样本集开始学习分类器设计。非监督学习目标不是告诉计算机怎么做,而是让计算机自己去学习怎样做。无监督学习的方法分为两大类:
1)基于概率密度函数估计的直接方法:找到各类别在特征空间的分布参数,再进行分类。
2)基于样本间相似性度量的简洁聚类方法:其原理是设法定出不同类别的核心初始内核,然后依据样本与核心之间的相似性度量将样本聚集成不同的类别。利用聚类结果,可以提取数据集中隐藏信息,对未知数据进行分类和预测。
3、伪标签:在标签数据上训练模型,然后使用经过训练的模型来预测无标签数据的标签,从而创建伪标签。此外,将标签数据和新生成的伪标签数据结合起来作为新的训练数据。
4、Dropout:dropout是训练深度神经网络的一种trick,在网络进行前向传播的时候,让某些神经元的激活值以一定的概率P停止工作。
5、正则化:通常神经网络可以模拟任何非线性函数,即通过增加隐含层的数量来无限接近目标值,然而,这样的情况下,难免也会把噪声进行拟合,为了避免过拟合,需要将权重正则化,权重正则化的含义就是保证权重系数在绝对值意义上足够小,使得噪声不会被较好地拟合。L2正则化就是在代价函数后面再加上一个正则化项,计算方式如下:
其中θ是网络层的待学习参数,λ是正则化系数,控制正则项的大小,较大的λ取值将较大程度约束模型复杂度。
综上所述,可知现有的训练策略训练的模型在训练数据域上表现良好,但是在跨域数据上表现急剧下降,标注数据需要大量的人工成本。
发明内容
本发明提出一种深度学习的训练方法,解决了现有技术中训练的模型在训练数据域上表现良好,但是在跨域数据上表现急剧下降,标注数据需要大量的人工成本的问题。
本发明的技术方案是这样实现的:
一种深度学习的训练方法,具体包括以下步骤:
步骤1,从图像数据集中随机抽取多类别,获取与上述类别对应的在图像数据集之外的图片,组成数据集;
步骤2,将数据集按比例分为训练集data_0和测试集data_1,将训练集输入深度神经网络,得到模型model_0;
步骤3,使用模型model_0预测测试集data_1中的样本,计算预测结果和真实结果之间的差异,得到预测的准确率acc_0,记录预测得到的测试集data_1中样本的伪标签;
步骤4,将训练集data_0和带有伪标签的样本数据合并记为训练集data_2,训练集data_2输入深度神经网络,每次训练后测试模型model_0针对测试集data_1的准确率;
步骤5,若准确率连续n次小于准确率acc_0,则将准确率acc_0更新为n次准确率的平均值,从测试集data_1中取出10%的数据及其真实标签合并到训练集data_0中,重复步骤4;
步骤6,若准确率连续n次大于准确率acc_0,则将准确率acc_0更新为n次准确率的平均值,记录n次准确率中最高一次对应的模型为model_1,从训练集data_0中拿出10%的数据放入测试集data_1中,用模型model_1预测测试集data_1的伪标签,更新测试集data_1的伪标签,重复步骤4;
步骤7,若训练集data_0中的数据全部移至测试集data_1后,经过5次训练后停止训练;或者训练集data_0和测试集data_1处于平衡状态后停止训练。
作为本发明的一个优选实施例,步骤1具体包括,从图像数据集imageNet2012中随机抽样100个类别,获取与上述100个类别对应的在图像数据集之外的图片,每个类别10张图片,组成数据集。
作为本发明的一个优选实施例,步骤2具体包括,将数据集按4:6的比例分为训练集data_0和测试集data_1,将训练集输入深度神经网络,得到模型model_0。
作为本发明的一个优选实施例,步骤4具体包括,将训练集data_0和带有伪标签的样本数据合并记为训练集data_2,训练集data_2输入深度残差网络resnet50,每次训练后测试模型model_0针对测试集data_1的准确率。
作为本发明的一个优选实施例,步骤5具体包括,若准确率连续5次小于准确率acc_0,则将准确率acc_0更新为5次准确率的平均值,从测试集data_1中取出10%的数据及其真实标签合并到训练集data_0中,重复步骤4。
作为本发明的一个优选实施例,步骤6具体包括,若准确率连续5次大于准确率acc_0,则将准确率acc_0更新为5次准确率的平均值,记录5次准确率中最高一次对应的模型为model_1,从训练集data_0中拿出10%的数据放入测试集data_1中,用模型model_1预测测试集data_1的伪标签,更新测试集data_1的伪标签,重复步骤4。
本发明的有益效果在于:
1.可以有效的防止模型在训练集上过拟合,提高模型的泛化能力;
2.可以为数据生成伪标签,并合理的利用伪标签进行训练,节省人工标注成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种深度学习的训练方法一个实施例的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明提出了一种深度学习的训练方法,具体包括以下步骤:
步骤1,从图像数据集中随机抽取多类别,获取与上述类别对应的在图像数据集之外的图片,组成数据集;
步骤1具体包括,从图像数据集imageNet2012中随机抽样100个类别,利用爬虫技术或其他手段获取与上述100个类别对应的在图像数据集之外的图片,每个类别10张图片,组成数据集。Iamgenet图像数据集始于2009年,目前总共有14197122幅图像,总共分为21841个类别,是深度学习中被引用最多的一个数据集。本发明选择使用imageNet2012,其一共包含1000个类别。
步骤2,将数据集按比例分为训练集data_0和测试集data_1,将训练集输入深度神经网络,得到模型model_0;具体的,将数据集按4:6的比例分为训练集data_0和测试集data_1,将训练集输入深度神经网络,得到模型model_0;深度学习中通常会使用7:3或8:2来分配训练数据和测试数据,这样的分配方式不是很合理,因为深度学习本质上学习的是数据的分布概率,深度学习的最终目的也是应用于实际场景,然而,所收集的数据集相当于实际应用场景还是很渺小的,因此,为了模拟真实场景并兼顾保证能有充分的训练,将数据集按照4:6进行分配。
步骤3,使用模型model_0预测测试集data_1中的样本,计算预测结果和真实结果之间的差异,得到预测的准确率acc_0,记录预测得到的测试集data_1中样本的伪标签;
步骤4,将训练集data_0和带有伪标签的样本数据合并记为训练集data_2,训练集data_2输入深度神经网络,每次训练后测试模型model_0针对测试集data_1的准确率;具体的,将训练集data_2输入深度神经网络深度残差网络resnet50,损失函数选择softmax。softmax损失函数是最常用的分类损失函数,其计算方式如下:
步骤5,若准确率连续n次小于准确率acc_0,则将准确率acc_0更新为n次准确率的平均值,从测试集data_1中取出10%的数据及其真实标签合并到训练集data_0中,重复步骤4;在该步骤中,n的取值可为3-6,具体的,在本实施例中可选择5。
步骤6,若准确率连续n次大于准确率acc_0,则将准确率acc_0更新为n次准确率的平均值,记录n次准确率中最高一次对应的模型为model_1,从训练集data_0中拿出10%的数据放入测试集data_1中,用模型model_1预测测试集data_1的伪标签,更新测试集data_1的伪标签,重复步骤4;在该步骤中,n的取值可为3-6,具体的,在本实施例中可选择5。
步骤7,若训练集data_0中的数据全部移至测试集data_1后,经过5次训练后停止训练;或者训练集data_0和测试集data_1处于平衡状态后停止训练。
本发明与现有训练策略的准确率(%)对比如下表所示:
可知应用本发明训练策略balanced learning method后,模型在imagenet测试集上准确率几乎没有变化,在跨域测试集上的准确率有3%的提升,证明本发明训练策略balanced learning method对于提升模型的泛化能力有很大的帮助。
使用本发明训练策略balanced learning method策略训练得到模型来对未标注的数据进行预测,生成伪标签,辅助人工标注,提升人工标注的效率。
本发明的有益效果在于:
1.可以有效的防止模型在训练集上过拟合,提高模型的泛化能力;
2.可以为数据生成伪标签,并合理的利用伪标签进行训练,节省人工标注成本。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种深度学习的训练方法,其特征在于,具体包括以下步骤:
步骤1,从图像数据集中随机抽取多类别,获取与上述类别对应的在图像数据集之外的图片,组成数据集;
步骤2,将数据集按比例分为训练集data_0和测试集data_1,将训练集输入深度神经网络,得到模型model_0;
步骤3,使用模型model_0预测测试集data_1中的样本,计算预测结果和真实结果之间的差异,得到预测的准确率acc_0,记录预测得到的测试集data_1中样本的伪标签;
步骤4,将训练集data_0和带有伪标签的样本数据合并记为训练集data_2,训练集data_2输入深度神经网络,每次训练后测试模型model_0针对测试集data_1的准确率;
步骤5,若准确率连续n次小于准确率acc_0,则将准确率acc_0更新为n次准确率的平均值,从测试集data_1中取出10%的数据及其真实标签合并到训练集data_0中,重复步骤4;
步骤6,若准确率连续n次大于准确率acc_0,则将准确率acc_0更新为n次准确率的平均值,记录n次准确率中最高一次对应的模型为model_1,从训练集data_0中拿出10%的数据放入测试集data_1中,用模型model_1预测测试集data_1的伪标签,更新测试集data_1的伪标签,重复步骤4;
步骤7,若训练集data_0中的数据全部移至测试集data_1后,经过5次训练后停止训练;或者训练集data_0和测试集data_1处于平衡状态后停止训练。
2.根据权利要求1所述的一种深度学习的训练方法,其特征在于,步骤1具体包括,从图像数据集imageNet2012中随机抽样100个类别,获取与上述100个类别对应的在图像数据集之外的图片,每个类别10张图片,组成数据集。
3.根据权利要求1所述的一种深度学习的训练方法,其特征在于,步骤2具体包括,将数据集按4:6的比例分为训练集data_0和测试集data_1,将训练集输入深度神经网络,得到模型model_0。
4.根据权利要求1所述的一种深度学习的训练方法,其特征在于,步骤4具体包括,将训练集data_0和带有伪标签的样本数据合并记为训练集data_2,训练集data_2输入深度残差网络resnet50,每次训练后测试模型model_0针对测试集data_1的准确率。
5.根据权利要求1所述的一种深度学***均值,从测试集data_1中取出10%的数据及其真实标签合并到训练集data_0中,重复步骤4。
6.根据权利要求1所述的一种深度学***均值,记录5次准确率中最高一次对应的模型为model_1,从训练集data_0中拿出10%的数据放入测试集data_1中,用模型model_1预测测试集data_1的伪标签,更新测试集data_1的伪标签,重复步骤4。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010221098.9A CN111126576B (zh) | 2020-03-26 | 2020-03-26 | 一种深度学习的训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010221098.9A CN111126576B (zh) | 2020-03-26 | 2020-03-26 | 一种深度学习的训练方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111126576A CN111126576A (zh) | 2020-05-08 |
CN111126576B true CN111126576B (zh) | 2020-09-01 |
Family
ID=70493959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010221098.9A Active CN111126576B (zh) | 2020-03-26 | 2020-03-26 | 一种深度学习的训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111126576B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111740991B (zh) * | 2020-06-19 | 2022-08-09 | 上海仪电(集团)有限公司中央研究院 | 一种异常检测方法及*** |
CN111915020B (zh) * | 2020-08-12 | 2024-02-23 | 杭州海康威视数字技术股份有限公司 | 检测模型的更新方法、装置及存储介质 |
CN112149733B (zh) * | 2020-09-23 | 2024-04-05 | 北京金山云网络技术有限公司 | 模型训练、质量确定方法、装置、电子设备及存储介质 |
CN112906902A (zh) * | 2020-12-22 | 2021-06-04 | 上海有个机器人有限公司 | 一种基于主动学习技术的机器人数据收集迭代训练方法、***以及储存介质 |
CN113378895B (zh) * | 2021-05-24 | 2024-03-01 | 成都欧珀通信科技有限公司 | 一种分类模型生成方法、装置、存储介质及电子设备 |
CN117237814B (zh) * | 2023-11-14 | 2024-02-20 | 四川农业大学 | 一种基于注意力机制优化的大规模果园虫情监测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109726742A (zh) * | 2018-12-11 | 2019-05-07 | 中科恒运股份有限公司 | 分类模型快速训练方法和终端设备 |
CN110379420A (zh) * | 2018-04-10 | 2019-10-25 | 英特尔Ip公司 | 语言理解***对声学环境的动态适应 |
CN110516718A (zh) * | 2019-08-12 | 2019-11-29 | 西北工业大学 | 基于深度嵌入空间的零样本学习方法 |
CN110717390A (zh) * | 2019-09-05 | 2020-01-21 | 杭州电子科技大学 | 基于图半监督宽度学习的脑电信号分类方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11669724B2 (en) * | 2018-05-17 | 2023-06-06 | Raytheon Company | Machine learning using informed pseudolabels |
-
2020
- 2020-03-26 CN CN202010221098.9A patent/CN111126576B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110379420A (zh) * | 2018-04-10 | 2019-10-25 | 英特尔Ip公司 | 语言理解***对声学环境的动态适应 |
CN109726742A (zh) * | 2018-12-11 | 2019-05-07 | 中科恒运股份有限公司 | 分类模型快速训练方法和终端设备 |
CN110516718A (zh) * | 2019-08-12 | 2019-11-29 | 西北工业大学 | 基于深度嵌入空间的零样本学习方法 |
CN110717390A (zh) * | 2019-09-05 | 2020-01-21 | 杭州电子科技大学 | 基于图半监督宽度学习的脑电信号分类方法 |
Non-Patent Citations (5)
Title |
---|
Pseudo Labels for Imbalanced Multi-Label Learning;Wenrong Zeng等;《2014 International Conference on Data Science and Advanced Analytics (DSAA)》;20141101;1-7 * |
Pseudo-Label : The Simple and Ecient Semi-Supervised Learning Method for Deep Neural Networks;Dong-Hyun Lee;《ResearchGate》;20130731;1-6 * |
伪标签半监督学习;leadAI学院;《CSDN》;20180808;1-8 * |
基于Boosting思想的半监督学习算法研究;吴继民;《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》;20141015;I140-88 * |
基于机器学习的多定位点蛋白质亚细胞定位预测方法研究;曹隽喆;《中国博士学位论文全文数据库(电子期刊)基础科学辑》;20140515;A006-44 * |
Also Published As
Publication number | Publication date |
---|---|
CN111126576A (zh) | 2020-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111126576B (zh) | 一种深度学习的训练方法 | |
Fan et al. | Watching a small portion could be as good as watching all: Towards efficient video classification | |
EP3767536A1 (en) | Latent code for unsupervised domain adaptation | |
CN102314614B (zh) | 一种基于类共享多核学习的图像语义分类方法 | |
CN109117793B (zh) | 基于深度迁移学习的直推式雷达高分辨距离像识别方法 | |
Yu et al. | Meta-ADD: A meta-learning based pre-trained model for concept drift active detection | |
Tang et al. | Multi-label patent categorization with non-local attention-based graph convolutional network | |
KR20050007306A (ko) | 혼합형 수치 및/또는 비수치 데이터의 처리 | |
CN109063743B (zh) | 基于半监督多任务学习的医疗数据分类模型的构建方法 | |
Nepovinnykh et al. | Identification of Saimaa ringed seal individuals using transfer learning | |
CN110826639B (zh) | 一种利用全量数据训练零样本图像分类方法 | |
CN110659742A (zh) | 获取用户行为序列的序列表示向量的方法和装置 | |
CN111597340A (zh) | 一种文本分类方法及装置、可读存储介质 | |
CN112529638B (zh) | 基于用户分类和深度学习的服务需求动态预测方法及*** | |
CN107392311A (zh) | 序列切分的方法和装置 | |
CN115439715A (zh) | 基于反标签学习的半监督少样本图像分类学习方法及*** | |
CN115687610A (zh) | 文本意图分类模型训练方法、识别方法、装置、电子设备及存储介质 | |
CN111813939A (zh) | 一种基于表征增强与融合的文本分类方法 | |
Oza et al. | Utilizing patch-level category activation patterns for multiple class novelty detection | |
CN115062709A (zh) | 模型优化方法、装置、设备、存储介质及程序产品 | |
Feng et al. | Introspective robot perception using smoothed predictions from bayesian neural networks | |
CN114511023A (zh) | 分类模型训练方法以及分类方法 | |
CN114328942A (zh) | 关系抽取方法、装置、设备、存储介质和计算机程序产品 | |
CN113204975A (zh) | 一种基于远程监督的敏感文风识别方法 | |
CN116681128A (zh) | 一种带噪多标签数据的神经网络模型训练方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210319 Address after: Room 102, block B2, phase II, software new town, tianguba Road, Yuhua Street office, high tech Zone, Xi'an, Shaanxi 710000 Patentee after: Xi'an Zhizhen Intelligent Technology Co.,Ltd. Address before: 102629 Room 401, building 1, 38 Yongda Road, Daxing biomedical industrial base, Zhongguancun Science and Technology Park, Daxing District, Beijing Patentee before: Beijing precision diagnosis Medical Technology Co.,Ltd. |
|
TR01 | Transfer of patent right |