CN109034190A - 一种动态选择策略的主动样本挖掘的物体检测***及方法 - Google Patents
一种动态选择策略的主动样本挖掘的物体检测***及方法 Download PDFInfo
- Publication number
- CN109034190A CN109034190A CN201810623849.2A CN201810623849A CN109034190A CN 109034190 A CN109034190 A CN 109034190A CN 201810623849 A CN201810623849 A CN 201810623849A CN 109034190 A CN109034190 A CN 109034190A
- Authority
- CN
- China
- Prior art keywords
- sample
- mark
- model
- active
- self study
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000009412 basement excavation Methods 0.000 title description 5
- 230000008569 process Effects 0.000 claims abstract description 78
- 238000012549 training Methods 0.000 claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000013135 deep learning Methods 0.000 claims abstract description 20
- 238000005065 mining Methods 0.000 claims abstract description 20
- 230000009977 dual effect Effects 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 17
- 238000005457 optimization Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000004826 seaming Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/259—Fusion by voting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种动态选择策略的主动样本挖掘的物体检测***及方法,所述***包括:样本获取单元,用于获取少量标注样本和海量未标注样本;模型建立及初始化单元,用于建立深度学习物体检测模型,并利用少量的标注过的样本初始化深度学习物体检测模型;自学习单元,用于引入自学习课程指导自学习过程挖掘海量未标注样本中的高置信度样本自动进行伪标注;主动学习单元,用于引入主动学习课程指导主动学习过程挖掘海量未标注样本中的低置信度样本进行人工标注;双重对偶课程约束单元,通过引入双重对偶课程指导选择策略在自学习过程和主动学习过程中实现无缝切换;模型训练单元,用于将选择的伪标注样本和人工标注的样本训练模型以提升模型性能。
Description
技术领域
本发明涉及物体检测及深度学习技术领域,特别是涉及一种动态选择策略的主动样本挖掘的物体检测***及方法。
背景技术
近年来,随着互联网的快速发展和计算能力的提升,受益于大规模训练数据的深度学习技术取得了突破性的进步。物体检测作为计算机视觉领域的一个经典任务,检测精度取得了巨大的提升。以候选区域为基础的物体检测网络对一张输入的图像提取大量的候选物体区域,并对这些区域进行类别标注和位置回归,提升了物体检测的识别精度和识别速度。然而,神经网络的检测效果极其依赖训练网络的标注样本数据,因此,如何利用大规模的未标注或是少量标注的数据有效训练网络,提升其检测精度是亟待解决的问题。
为了使用更少的标注数据训练出高精度的检测模型,一般需要解决以下技术问题:
1)在保证模型效果的同时,尽量减少人工样本标注。通常的神经网络训练,非常依赖大量人工标注的数据集,而比起其他视觉任务(例如,图像分类和动作识别),标注物体需要提供图片中所有物体的类别标签和物体所处区域的边框坐标。因此,对图像进行人工标注非常耗时耗力,发展自动标注无标签数据的方法是减少人工标注负担的关键步骤。
2)挖掘能够显著提高分类器表现的特殊训练样本。现有的物体检测数据集通常包含了绝大多数普通的“简单”样本和少量有益的“困难”样本(即,富含各种光照,变形,遮挡和类内变化的信息量)。因为他们服从长尾分布,“困难”的例子是罕见的,为了利用这些能够最有效训练神经网络的“困难”样本,需要能够从大量样本中将其识别出来。
3)抑制噪声样本或离群点的负面影响。一些训练样本(例如,离群点或噪声样本)可能会使模型发生偏移,在训练时排除被数据集中的标注者标记为“混乱”的样本后,训练得到的物体检测性能可以得到大幅度的改进和提高。
发明内容
为克服上述现有技术存在的不足,本发明之目的在于提供一种动态选择策略的主动样本挖掘的物体检测***及方法,以结合样本挖掘技术和深度学习物体检测技术,利用少量标注的样本和海量的未标注样本联合训练提升模型的检测性能。
为达上述及其它目的,本发明提出一种动态选择策略的主动样本挖掘的物体检测***,包括:
样本获取单元,用于获取少量标注样本和海量未标注样本;
模型建立及初始化单元,用于建立深度学习物体检测模型,并利用少量的标注过的样本初始化所述深度学习物体检测模型;
自学习单元,用于引入自学习课程指导自学习过程挖掘海量未标注样本中的高置信度样本自动进行伪标注;
主动学习单元,用于引入主动学习课程指导主动学习过程挖掘海量未标注样本中的低置信度样本进行人工标注;
双重对偶课程约束单元,通过引入双重对偶课程指导选择策略在自学习过程和主动学习过程中实现无缝切换;
模型训练单元,用于将选择的伪标注样本和人工标注的样本训练模型以提升模型性能。
优选地,所述深度学习物体检测模型使用Fast-RCNN或Faster-RCNN或R-FCN作为主要的物体检测网络结构,其包括卷积层,降采样层,矫正线性单元层,区域建议层,位置分数感知层和全连层等结构构成,输出物体的类别和位置坐标。
优选地,所述自学习单元的自动伪标注过程的模式函数fSS〔vi,λ〕为:
其中,为样本x_i在训练第j类分类器上的权重,表示每个分类器j的高置信度样本,每个λ〔j〕初始是很小的值,随着模型的训练,λ〔j〕逐渐增加来选择具有更大损失的伪标注区域xi微调网络。
优选地,所述自学习单元根据如下公式判断该候选区域是否符合伪标注要求,若符合伪标注要求,则对其自动进行伪标注:
其中表示第j个分类器在当前训练周期中,在验证集中模型输出的平均精度的-log值,α为控制阈值增长率的参数。
优选地,所述主动学习单元根据主动学习使用最少样本最大化激活模型的思想,将主动学习过程的模式函数fAL〔ui,γ〕定义为:
fAL〔ui,γ〕=-γui,
其中γ为一个正的阈值来选择困难样本给予人工标注。
优选地,在物体检测中,假设有n个候选区域,m-1个类和一个背景类,所述动态选择策略的主动样本挖掘的物体检测***的表达式如下:
其中,训练集代表所有的候选区域,W代表了m个类别的物体检测网络共享的学习参数,样本xi的标签记为其中,对应xi第j类的标签,损失函数设置为其中为二分类的交叉熵损失:
ui∈{0,1}为每个样本xi隐式的指标变量,vi∈[0,1〕m为隐权重变量vi∈[0,1〕m作为m维的权重向量,隐变量集合是与类别无关的,决定此样本是否应该由用户主动标注,隐变量集合是当前的检测器检测出的每个样本具体分类的权重,为引入选择函数。
优选地,当ui=1时,有所以此时样本xi被fAL〔ui,γ〕选择进行人工标注;当ui=0时,有所以此时样本xi被fss〔vi,λ〕选择进行自动伪标注,类别根据分类器φj的阈值λ〔j〕判断。
优选地,所述双重对偶课程约束单元为主动学习过程与自学习过程引入主动学习课程Ψγ和自学习课程Ψλ的对偶课程来约束U和V的优化。
优选地,所述模型训练单元在训练模型以提升模型性能中待训练参数包括U,V,Y和W,初始化隐式权重变量V0和U0以及提供初始的标签Y0和初始化模型参数W0。
为达到上述目的,本发明还提供一种动态选择策略的主动样本挖掘的物体检测方法,包括如下步骤:
步骤一,获取少量标注样本和海量未标注样本;
步骤二,建立深度学习物体检测模型,并利用少量的标注过的样本初始化所述深度学习物体检测模型;
步骤三,引入自学习课程指导自学习过程挖掘海量未标注样本中的高置信度样本自动进行伪标注;
步骤四,引入主动学习课程指导主动学习过程挖掘海量未标注样本中的低置信度样本进行人工标注;
步骤五,通过引入双重对偶课程指导选择策略在自学习过程和主动学习过程中实现无缝切换;
步骤六,将选择的伪标注样本和人工标注的样本训练模型以提升模型性能。
与现有技术相比,本发明一种动态选择策略的主动样本挖掘的物体检测***及方法通过结合样本挖掘技术和深度学习物体检测技术,利用少量标注的样本和海量的未标注样本联合训练提升模型的检测性能,其首先利用少量的标注样本初始化模型,然后在线加入海量的未标注样本,利用主动学习课程指导主动学习过程挖掘从困难到简单的样本进行简单的人工标注,利用自学习课程指导自学习过程挖掘从简单到困难样本以让计算机进行伪标注,最后将标注了的样本加入训练微调模型提高检测精度,本发明具有低成本高效益的性能,可以减少大量的人力物力,节约成本,具有较强的商业价值和应用前景。
附图说明
图1为本发明一种动态选择策略的主动样本挖掘的物体检测***的***架构图;
图2为本发明具体实施例中物体检测网络结构的框架结构图;
图3为本发明具体实施例中动态选择策略的主动样本挖掘的物体检测***的框架示意图;
图4为本发明一种动态选择策略的主动样本挖掘的物体检测方法的步骤流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用,本说明书中的各项细节亦可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种动态选择策略的主动样本挖掘的物体检测***的***架构图。如图1所示,本发明一种动态选择策略的主动样本挖掘的物体检测***,包括:
样本获取单元101,用于获取少量标注样本和海量未标注样本。
于本发明中,样本获取单元101可通过互联网例如一些在线视频网站或者直播网站获得样本,并对少量样本进行人工标注。
模型建立及初始化单元102,用于建立深度学习物体检测模型,并利用少量的标注过的样本初始化所述深度学习物体检测模型。在本发明具体实施例中,所述深度学习物体检测模型使用Fast-RCNN,Faster-RCNN,R-FCN作为主要的物体检测网络结构,如图2所示,其可由卷积网络(卷积层,降采样层,矫正线性单元层),区域建议层,位置分数感知层(感兴趣区域)和池化层等结构构成,其输出物体的类别和位置坐标,这里需说明的是,所述网络结构的网络层的组合方式可以多样,本发明不以此为限。本发明于建立好深度学习物体检测框架后,利用少量的标注样本(例如10%的样本)预训练模型得到一个初始模型,剩余样本为未标注样本。
自学习单元103,用于引入自学习课程指导自学习过程挖掘海量未标注样本中的“简单”样本(高置信度样本)自动进行伪标注。也就是说,根据当前模型预测出一组高置信度的“简单”样本,这些样本可以通过自学习的方式让计算机进行自动地伪标注,标注出物体的类别和位置坐标。
具体地说,海量的未标注图像的候选区域,通过自学习过程中的高置信度样本自动进行伪标注。本发明受到自步学习技术的启发,将自动伪标注过程的模式函数fss〔vi,λ〕定义为:
其中,为样本x_i在训练第j类分类器上的权重,表示每个分类器j的高置信度样本,每个λ〔j〕初始是很小的值,随着模型的训练,λ〔j〕逐渐增加来选择具有更大损失的伪标注区域xi微调网络。
根据后面公式(4)判断该候选区域是否符合伪标注要求,若符合伪标注要求(即),模型将对其自动进行伪标注。将分类器分数最高一类作为其分类结果,将回归器的输出作为真实物***置坐标。
阈值参数更新如下:
其中表示第j个分类器在当前训练周期中,在验证集中模型输出的平均精度的-log值,α是控制阈值增长率的参数。阈值参数λ需要在几次更新后被移除,以防止允许太多的未标记的样本进入。因此引入了一个经验性的阈值τ,当且仅当q≤τ,λ会被更新。
本发明使用自学习单元,可以使训练中的模型能够在线地对未标注的样本进行伪标注,无需停止训练过程,实现增量式的端到端的持续学习,不断提高检测模型的精度,极大的解决了现实中人工标注样本不足的问题。随着模型性能的提高,伪标注能够获得更加精确的结果,而且每一次伪标注都是一次性伪标注,只在当前训练迭代次数下有效,下次微调训练将重新进行伪标注,这样可以减少因模型精度不高带来的累计误差。
主动学习单元104,用于引入主动学习课程指导主动学习过程挖掘“困难”样本进行人工标注。引入主动学习课程指导主动学习过程挖掘“困难”样本进行人工标注是主动学习课程表示一组具有丰富信息含义的代表性的“困难”样本,这些样本需要通过主动学习的方式进行简单的人工标注。在本发明具体实施例中,主动学习单元104根据主动学习使用最少样本最大化激活模型的思想,将主动学习过程的模式函数fAL〔ui,γ〕定义为:
fAL〔ui,γ〕=-γui, (3)
这里γ是一个正的阈值来选择困难样本给予人工标注。对于困难或信息量大的低置信度的样本,模型通常难以给出准确预测,而这样的样本通常能使模型学习到更加丰富的特征信息,提高模型预测准确性。本发明提出的主动学习过程可以充分利用困难样本,根据公式(4),当时(u*表示根据公式4优化后最优的值),选择此样本进行人工标注,主动学习过程标注最具信息量的困难样本加入训练微调模型,纠正自学习过程带来的累积误差,指导自学习过程,并将标注了的样本groundtruth(即物体的正确类别以及坐标)标记为True。
双重对偶课程约束单元105,通过引入双重对偶课程指导选择策略在自学习过程和主动学习过程中实现无缝切换。
在本发明具体实施例中,本发明动态选择策略的主动样本挖掘的物体检测***的公式化表达式如下:
该***的框架示意图如图3所示,在物体检测中,假设有n个候选区域,m-1个类和一个背景类。训练集代表所有的候选区域。W代表了m个类别的物体检测网络共享的学习参数,样本xi的标签记为这里对应xi第j类的标签。这里,损失函数设置为这里是二分类的交叉熵损失:
公式(4)中的fss〔vi,λ〕和fAL〔ui,γ〕分别对应自学习的高置信度样本自动伪标注过程和低置信度样本人工标注的主动学习过程,用于表示对应过程的模型训练过程。
本发明设计的模型训练过程中,该模型为每个样本xi计算隐式的指标变量ui∈{0,1}作为标注标记和一个隐权重变量vi∈[0,1〕m作为m维的权重向量。是与类别无关的,决定此样本是否应该由用户主动标注,第二个隐变量集合是当前的检测器检测出的每个样本具体分类的权重。本发明引入选择函数来决定用哪一个阶段来获得图像检测分类结果当ui=1时,有所以此时样本xi被fAL〔ui,γ〕选择进行人工标注;当ui=0时,有所以此时样本xi被fss〔vi,λ〕选择进行自动伪标注,类别根据分类器φj的阈值λ〔i〕判断。
由上可知,本发明提出的模型主要利用了两个学习过程——主动学习过程与自学习过程。为了模型的有效优化,本发明为以上两个过程引入对偶课程——主动学习课程Ψr和自学习课程Ψλ来约束U和V的优化。根据人的认知原理,Ψr和Ψλ能够提供专业的信息来指导模型训练过程。具体来说,这两个对偶课程分别被初始化为一个限制到{0,1}x和[0,1〕mx的域。例如在第t次迭代中,假设已经获得了人工标注的样本集合At-1,以及属于未定义的物体类别或易混淆而被分类器丢弃的样本集合Bt-1。
在每一个训练周期中,和将以以下方式更新:
根据公式(6),若xi∈At-1,Ui={1};若xi∈Bt-1,Ui={0};xi∈X/〔At-1∪Bt-1〕,Ui={0,1}。根据公式(7),若xi∈At-1∪Bt-1,Vi={0}m;xi∈X/〔At-1∪Bt-1〕,Ui={0,1〕m。中的样本ui=1将被用于人工标注,剩余样本ui∈{0,1}。根据公式(7)中ui=0的样本可能被fss〔vi,λ〕过程选中做伪标注,自学习课程限制了伪标注样本的权重。总的来说,使模型能从易到难地将伪标注的样本包含到训练中。与之相对的间断性地将人工标注样本从难到易地加入训练范围中。因此和两个作为彼此对偶的课程。主动学习课程指导主动学习过程自动选择可靠的具有丰富信息的样本,纠正自学习课程带来的累积误差和初始模型不可靠带来的预测误差;同时随着模型的持续训练,自学习课程指导的自学习过程获得更可靠的伪标注样本,模型参数具有更强的稳定性和鲁棒性,可以减少主动学习过程的人工标注。双重对偶课程互相补充,互为指导,可以在自学习过程和主动学习过程中无缝切换。
模型训练单元106,用于将将选择的伪标注样本和人工标注的样本训练模型以提升模型性能。也就是说,模型训练单元106将自学习单元103中计算机自动标注的伪标注样本和主动学习单元104中人工标注的样本加入训练微调模型以提升模型检测的性能。
在本发明具体实施例中,待训练参数包括U,V,Y和W,初始化隐式权重变量V0和U0以及提供初始的标签Y0和初始化模型参数W0。以下分别进行说明:
1、隐变量权重U和V
其优化目的是在每一轮迭代中提供越来越多的训练样本。为了这一目标,本发明使用针对隐权重变量U和V的最大-最小优化方法,在这里U代表了样本是否困难,V代表了使用伪标注的样本的可靠性。
其中和在更新U和V过程中被固定,根据公式(9)迭代求解可得最优解如下所示,其中
2、更新参数Y
通过固定以上计算出的U和V(表示为和),为每个无标记的候选物体区域更新Y。在本发明提出的框架中,极少数的候选物体区域会被人工标注获得ytruth,绝大多数候选区域会通过自学习过程做伪标注
根据公式(10)在自学习过程高置信度样本自动伪标注阶段和主动学习过程低置信度样本人工标注阶段更新参数Y。
3、更新参数W
利用给定{X,Y,U,V,Ψγ,Ψλ},可以优化网络参数W,根据公式(4),此时模型可以简化为如下优化目标函数:
该目标函数可以分解为一系列基于批量梯度下降法来求解,利用标准的反向传播算法更新参数W。
图4为本发明一种动态选择策略的主动样本挖掘的物体检测方法的步骤流程图。如图4所示,本发明一种动态选择策略的主动样本挖掘的物体检测方法,包括如下步骤:
步骤401,获取少量标注样本和海量未标注样本。
于步骤401中,这里的样本可通过互联网例如一些在线视频网站或者直播网站获得,并对少量样本进行人工标注。
步骤402,建立深度学习物体检测模型,并利用少量的标注过的样本初始化所述深度学习物体检测模型。在本发明具体实施例中,所述深度学习物体检测模型使用Fast-RCNN,Faster-RCNN,R-FCN作为主要的物体检测网络结构,其输出物体的类别和位置坐标。本发明于建立好深度学习物体检测框架后,利用少量的标注样本(例如10%的样本)预训练模型得到一个初始模型,剩余样本为未标注样本。
步骤403,引入自学习课程指导自学习过程挖掘海量未标注样本中的“简单”样本(高置信度样本)自动进行伪标注。也就是说,根据当前模型预测出一组高置信度的“简单”样本,这些样本可以通过自学习的方式让计算机进行自动地伪标注,标注出物体的类别和位置坐标。
具体地说,海量的未标注图像的候选区域,通过自学习过程中的高置信度样本自动进行伪标注。本发明受到自步学习技术的启发,将自动伪标注过程的模式函数fss〔vi,λ〕定义为:
这里表示每个分类器j的高置信度样本,每个λ〔j〕初始是很小的值,随着模型的训练,λ〔j〕逐渐增加来选择具有更大损失的伪标注区域xi微调网络。
在本发明具体实施例中,根据如下公式判断该候选区域是否符合伪标注要求,若符合伪标注要求(即),模型将对其自动进行伪标注。将分类器分数最高一类作为其分类结果,将回归器的输出作为真实物***置坐标。
阈值参数更新如下:
其中表示第j个分类器在当前训练周期中,在验证集中模型输出的平均精度的-log值,α是控制阈值增长率的参数。阈值参数λ需要在几次更新后被移除,以防止允许太多的未标记的样本进入。因此引入了一个经验性的阈值τ,当且仅当q≤τ,λ会被更新。
本发明使用自学习步骤,可以使训练中的模型能够在线地对未标注的样本进行伪标注,无需停止训练过程,实现增量式的端到端的持续学习,不断提高检测模型的精度,极大的解决了现实中人工标注样本不足的问题。随着模型性能的提高,伪标注能够获得更加精确的结果,而且每一次伪标注都是一次性伪标注,只在当前训练迭代次数下有效,下次微调训练将重新进行伪标注,这样可以减少因模型精度不高带来的累计误差。
步骤404,引入主动学习课程指导主动学习过程挖掘“困难”样本(低置信度样本)进行人工标注。引入主动学习课程指导主动学习过程挖掘“困难”样本进行人工标注是主动学习课程表示一组具有丰富信息含义的代表性的“困难”样本,这些样本需要通过主动学习的方式进行简单的人工标注。在本发明具体实施例中,步骤104根据主动学习使用最少样本最大化激活模型的思想,将主动学习过程的模式函数fAL〔ui,γ〕定义为:
fAL〔ui,γ〕=-γui,
这里γ是一个正的阈值来选择困难样本给予人工标注。对于困难或信息量大的低置信度的样本,模型通常难以给出准确预测,而这样的样本通常能使模型学习到更加丰富的特征信息,提高模型预测准确性。本发明提出的主动学习过程可以充分利用困难样本,当时,选择此样本进行人工标注,主动学习过程标注最具信息量的困难样本加入训练微调模型,纠正自学习过程带来的累积误差,指导自学习过程,并将标注了的样本groundtruth(即物体的正确类别以及坐标)标记为True。
步骤405,引入双重对偶课程指导选择策略在自学习过程和主动学习过程中实现无缝切换。
本发明提出的模型主要利用了两个学习过程——主动学习过程与自学习过程。为了模型的有效优化,本发明为以上两个过程引入对偶课程——主动学习课程Ψγ和自学习课程Ψλ来约束U和V的优化。根据人的认知原理,Ψγ和Ψλ能够提供专业的信息来指导模型训练过程。具体来说,这两个对偶课程分别被初始化为一个限制到{0,1}x和[0,1〕mx的域。例如在第t次迭代中,假设已经获得了人工标注的样本集合At-1,以及属于未定义的物体类别或易混淆而被分类器丢弃的样本集合Bt-1。
在本发明中,主动学习课程指导主动学习过程自动选择可靠的具有丰富信息的样本,纠正自学习课程带来的累积误差和初始模型不可靠带来的预测误差;同时随着模型的持续训练,自学习课程指导的自学习过程获得更可靠的伪标注样本,模型参数具有更强的稳定性和鲁棒性,可以减少主动学习过程的人工标注。双重对偶课程互相补充,互为指导,可以在自学习过程和主动学习过程中无缝切换。
步骤406将选择的伪标注样本和人工标注的样本训练模型以提升模型性能。也就是说,将自学习过程中计算机自动标注的伪标注样本和主动学习过程中人工标注的样本加入训练微调模型以提升模型检测的性能。
在本发明具体实施例中,待训练参数包括U,V,Y和W,初始化隐式权重变量V0和U0以及提供初始的标签Y0和初始化模型参数W0。以下分别进行说明:
1、隐变量权重U和V
其优化目的是在每一轮迭代中提供越来越多的训练样本。为了这一目标,本发明使用针对隐权重变量U和V的最大-最小优化方法,在这里U代表了样本是否困难,V代表了使用伪标注的样本的可靠性。
其中和在更新U和V过程中被固定,根据如下公式迭代求解可得最优解如下所示,其中
2、更新参数Y
通过固定以上计算出的U和V(表示为和),为每个无标记的候选物体区域更新Y。在本发明提出的框架中,极少数的候选物体区域会被人工标注获得ytruth,绝大多数候选区域会通过自学习过程做伪标注
根据以上公式在自学习过程高置信度样本自动伪标注阶段和主动学习过程低置信度样本人工标注阶段更新参数Y。
3、更新参数W
利用给定{X,Y,U,V,Ψγ,Ψλ},可以优化网络参数W,根据公式(4),此时模型可以简化为如下优化目标函数:
该目标函数可以分解为一系列基于批量梯度下降法来求解,利用标准的反向传播算法更新参数W。
在本发明具体实施例中,本发明之动态选择策略的主动样本挖掘的物体检测方法的学习过程算法如下:
输入:
训练数据集
输出:
模型的参数W。
初始化:
使用预训练好的CNN和少量标注样本来初始化神经网络模型,
初始化课程Ψγ和Ψλ,隐变量集V和U,阈值γ和
重复
开始批量数据t=1,…T
1.固定模型参数,根据公式(10)反向传播更新W
2.固定模型参数,根据公式(7)更新U,V
3.根据公式(9),自学习过程选择高一致性样本更新Y
结束
更新低置信度样本集At和Bt
4.判断AtUBt非空执行
5.根据公式(9),主动学习过程更新Y
6.根据公式(3)和(4)更新Ψγ,Ψλ
迭代训练β次,根据公式(6)更新λ
直到主动学习模块不能继续选出低置信度样本或达到最大迭代次数
综上所述,本发明一种动态选择策略的主动样本挖掘的物体检测***及方法通过结合样本挖掘技术和深度学习物体检测技术,利用少量标注的样本和海量的未标注样本联合训练提升模型的检测性能,其首先利用少量的标注样本初始化模型,然后在线加入海量的未标注样本,利用主动学习课程指导主动学习过程挖掘从困难到简单的样本进行简单的人工标注,利用自学习课程指导自学习过程挖掘从简单到困难样本以让计算机进行伪标注,最后将标注了的样本加入训练微调模型提高检测精度,本发明具有低成本高效益的性能,可以减少大量的人力物力,节约成本,具有较强的商业价值和应用前景。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰与改变。因此,本发明的权利保护范围,应如权利要求书所列。
Claims (10)
1.一种动态选择策略的主动样本挖掘的物体检测***,包括:
样本获取单元,用于获取少量标注样本和海量未标注样本;
模型建立及初始化单元,用于建立深度学习物体检测模型,并利用少量的标注过的样本初始化所述深度学习物体检测模型;
自学习单元,用于引入自学习课程指导自学习过程挖掘海量未标注样本中的高置信度样本自动进行伪标注;
主动学习单元,用于引入主动学习课程指导主动学习过程挖掘海量未标注样本中的低置信度样本进行人工标注;
双重对偶课程约束单元,通过引入双重对偶课程指导选择策略在自学习过程和主动学习过程中实现无缝切换;
模型训练单元,用于将选择的伪标注样本和人工标注的样本训练模型以提升模型性能。
2.如权利要求1所述的一种动态选择策略的主动样本挖掘的物体检测***,其特征在于:所述深度学习物体检测模型使用Fast-RCNN或Faster-RCNN或R-FCN作为主要的物体检测网络结构,其包括卷积层,降采样层,矫正线性单元层,区域建议层,位置分数感知层和全连层等结构构成,输出物体的类别和位置坐标。
3.如权利要求1所述的一种动态选择策略的主动样本挖掘的物体检测***,其特征在于:所述自学习单元的自动伪标注过程的模式函数fss(vi,λ)为:
其中,为样本x_i在训练第j类分类器上的权重,表示每个分类器j的高置信度样本,每个λ(j)初始是很小的值,随着模型的训练,λ(j)逐渐增加来选择具有更大损失的伪标注区域xi微调网络。
4.如权利要求3所述的一种动态选择策略的主动样本挖掘的物体检测***,其特征在于:所述自学习单元根据如下公式判断该候选区域是否符合伪标注要求,若符合伪标注要求,则对其自动进行伪标注:
其中表示第j个分类器在当前训练周期中,在验证集中模型输出的平均精度的-log值,α为控制阈值增长率的参数。
5.如权利要求4所述的一种动态选择策略的主动样本挖掘的物体检测***,其特征在于:所述主动学习单元根据主动学习使用最少样本最大化激活模型的思想,将主动学习过程的模式函数fAL(ui,γ)定义为:
fAL(ui,γ)=-γui,
其中γ为一个正的阈值来选择困难样本给予人工标注。
6.如权利要求5所述的一种动态选择策略的主动样本挖掘的物体检测***,其特征在于,在物体检测中,假设有n个候选区域,m-1个类和一个背景类,所述动态选择策略的主动样本挖掘的物体检测***的表达式如下:
其中,训练集代表所有的候选区域,W代表了m个类别的物体检测网络共享的学习参数,样本xi的标签记为其中,yi (j)对应xi第j类的标签,损失函数设置为其中为二分类的交叉熵损失:
ui∈{0,1}为每个样本xi隐式的指标变量,vi∈[0,1)m为隐权重变量vi∈[0,1)m作为m维的权重向量,隐变量集合是与类别无关的,决定此样本是否应该由用户主动标注,隐变量集合是当前的检测器检测出的每个样本具体分类的权重,为引入选择函数。
7.如权利要求6所述的一种动态选择策略的主动样本挖掘的物体检测***,其特征在于:当ui=1时,有所以此时样本xi被fAL(ui,γ)选择进行人工标注;当ui=0时,有所以此时样本xi被fss(vi,λ)选择进行自动伪标注,类别根据分类器φj的阈值λ(j)判断。
8.如权利要求6所述的一种动态选择策略的主动样本挖掘的物体检测***,其特征在于:所述双重对偶课程约束单元为主动学习过程与自学习过程引入主动学习课程Ψγ和自学习课程Ψλ的对偶课程来约束U和V的优化。
9.如权利要求6所述的一种动态选择策略的主动样本挖掘的物体检测***,其特征在于:所述模型训练单元在训练模型以提升模型性能中待训练参数包括U,V,Y和W,初始化隐式权重变量V0和U0以及提供初始的标签Y0和初始化模型参数W0。
10.一种动态选择策略的主动样本挖掘的物体检测方法,包括如下步骤:
步骤一,获取少量标注样本和海量未标注样本;
步骤二,建立深度学习物体检测模型,并利用少量的标注过的样本初始化所述深度学习物体检测模型;
步骤三,引入自学习课程指导自学习过程挖掘海量未标注样本中的高置信度样本自动进行伪标注;
步骤四,引入主动学习课程指导主动学习过程挖掘海量未标注样本中的低置信度样本进行人工标注;
步骤五,通过引入双重对偶课程指导选择策略在自学习过程和主动学习过程中实现无缝切换;
步骤六,将选择的伪标注样本和人工标注的样本训练模型以提升模型性能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810623849.2A CN109034190B (zh) | 2018-06-15 | 2018-06-15 | 一种动态选择策略的主动样本挖掘的物体检测***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810623849.2A CN109034190B (zh) | 2018-06-15 | 2018-06-15 | 一种动态选择策略的主动样本挖掘的物体检测***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109034190A true CN109034190A (zh) | 2018-12-18 |
CN109034190B CN109034190B (zh) | 2022-04-12 |
Family
ID=64609930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810623849.2A Active CN109034190B (zh) | 2018-06-15 | 2018-06-15 | 一种动态选择策略的主动样本挖掘的物体检测***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109034190B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109859123A (zh) * | 2019-01-10 | 2019-06-07 | 中国人民解放军陆军炮兵防空兵学院 | 基于Primal-dual的图像去噪方法及*** |
CN109886925A (zh) * | 2019-01-19 | 2019-06-14 | 天津大学 | 一种主动学习与深度学习相结合的铝材表面缺陷检测方法 |
CN110335594A (zh) * | 2019-07-11 | 2019-10-15 | 哈尔滨工业大学 | 基于多示例学习的自动语音识别困难样本挖掘方法 |
CN110688934A (zh) * | 2019-09-23 | 2020-01-14 | 云南电网有限责任公司电力科学研究院 | 一种空间采样主动学习分类方法、电子设备及存储介质 |
CN111476165A (zh) * | 2020-04-07 | 2020-07-31 | 同方赛威讯信息技术有限公司 | 基于深度学习的电子文档中标题***指纹特征检测方法 |
CN111652167A (zh) * | 2020-06-09 | 2020-09-11 | 四川大学 | 一种染色体核型图像智能评价方法及*** |
CN111782847A (zh) * | 2019-07-31 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 图像处理方法、装置和计算机可读存储介质 |
CN111881956A (zh) * | 2020-07-15 | 2020-11-03 | 北京市商汤科技开发有限公司 | 网络训练方法及装置、目标检测方法及装置和电子设备 |
CN112200274A (zh) * | 2020-12-09 | 2021-01-08 | 湖南索莱智能科技有限公司 | 一种目标检测方法、装置、电子设备和存储介质 |
CN112434806A (zh) * | 2020-11-18 | 2021-03-02 | 浙江大华技术股份有限公司 | 深度学习训练方法、装置、计算机设备及存储介质 |
WO2021051887A1 (zh) * | 2019-09-20 | 2021-03-25 | 初速度(苏州)科技有限公司 | 一种困难样本筛选方法及装置 |
CN112906902A (zh) * | 2020-12-22 | 2021-06-04 | 上海有个机器人有限公司 | 一种基于主动学习技术的机器人数据收集迭代训练方法、***以及储存介质 |
CN113205163A (zh) * | 2021-07-07 | 2021-08-03 | 数据堂(北京)科技股份有限公司 | 数据标注方法及装置 |
WO2022174436A1 (zh) * | 2021-02-22 | 2022-08-25 | 深圳大学 | 分类模型增量学习实现方法、装置、电子设备及介质 |
CN115859990A (zh) * | 2023-02-17 | 2023-03-28 | 智慧眼科技股份有限公司 | 基于元学习的信息抽取方法、装置、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218764A (zh) * | 2013-03-28 | 2013-07-24 | 黑龙江大学 | 一种辅助驾校教学的自动识别监测*** |
CN105989368A (zh) * | 2015-02-13 | 2016-10-05 | 展讯通信(天津)有限公司 | 一种目标检测方法及装置以及移动终端 |
CN106778829A (zh) * | 2016-11-28 | 2017-05-31 | 常熟理工学院 | 一种主动学习的肝脏损伤类别的图像检测方法 |
CN107316007A (zh) * | 2017-06-07 | 2017-11-03 | 浙江捷尚视觉科技股份有限公司 | 一种基于深度学习的监控图像多类物体检测与识别方法 |
-
2018
- 2018-06-15 CN CN201810623849.2A patent/CN109034190B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218764A (zh) * | 2013-03-28 | 2013-07-24 | 黑龙江大学 | 一种辅助驾校教学的自动识别监测*** |
CN105989368A (zh) * | 2015-02-13 | 2016-10-05 | 展讯通信(天津)有限公司 | 一种目标检测方法及装置以及移动终端 |
CN106778829A (zh) * | 2016-11-28 | 2017-05-31 | 常熟理工学院 | 一种主动学习的肝脏损伤类别的图像检测方法 |
CN107316007A (zh) * | 2017-06-07 | 2017-11-03 | 浙江捷尚视觉科技股份有限公司 | 一种基于深度学习的监控图像多类物体检测与识别方法 |
Non-Patent Citations (3)
Title |
---|
KEZE WANG ET AL: "Towards Human-Machine Cooperation:Self-supervised Sample Mining for Object Detection", 《ARXIV:1803.09867V2》 * |
LIANG LIN ET AL: "Active Self-Paced Learning for Cost-Effective and Progressive Face Identfication", 《ARXIV:1701.03555V2》 * |
LU JIANG ET AL: "Self-Paced Curriculum Learning", 《PROCEEDINGS OF THE TWENTY-NINTH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109859123A (zh) * | 2019-01-10 | 2019-06-07 | 中国人民解放军陆军炮兵防空兵学院 | 基于Primal-dual的图像去噪方法及*** |
CN109886925A (zh) * | 2019-01-19 | 2019-06-14 | 天津大学 | 一种主动学习与深度学习相结合的铝材表面缺陷检测方法 |
CN110335594A (zh) * | 2019-07-11 | 2019-10-15 | 哈尔滨工业大学 | 基于多示例学习的自动语音识别困难样本挖掘方法 |
CN111782847A (zh) * | 2019-07-31 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 图像处理方法、装置和计算机可读存储介质 |
WO2021051887A1 (zh) * | 2019-09-20 | 2021-03-25 | 初速度(苏州)科技有限公司 | 一种困难样本筛选方法及装置 |
CN110688934A (zh) * | 2019-09-23 | 2020-01-14 | 云南电网有限责任公司电力科学研究院 | 一种空间采样主动学习分类方法、电子设备及存储介质 |
CN110688934B (zh) * | 2019-09-23 | 2023-11-21 | 云南电网有限责任公司电力科学研究院 | 一种空间采样主动学习分类方法、电子设备及存储介质 |
CN111476165A (zh) * | 2020-04-07 | 2020-07-31 | 同方赛威讯信息技术有限公司 | 基于深度学习的电子文档中标题***指纹特征检测方法 |
CN111652167A (zh) * | 2020-06-09 | 2020-09-11 | 四川大学 | 一种染色体核型图像智能评价方法及*** |
CN111881956B (zh) * | 2020-07-15 | 2023-05-12 | 北京市商汤科技开发有限公司 | 网络训练方法及装置、目标检测方法及装置和电子设备 |
CN111881956A (zh) * | 2020-07-15 | 2020-11-03 | 北京市商汤科技开发有限公司 | 网络训练方法及装置、目标检测方法及装置和电子设备 |
CN112434806A (zh) * | 2020-11-18 | 2021-03-02 | 浙江大华技术股份有限公司 | 深度学习训练方法、装置、计算机设备及存储介质 |
CN112200274A (zh) * | 2020-12-09 | 2021-01-08 | 湖南索莱智能科技有限公司 | 一种目标检测方法、装置、电子设备和存储介质 |
CN112906902A (zh) * | 2020-12-22 | 2021-06-04 | 上海有个机器人有限公司 | 一种基于主动学习技术的机器人数据收集迭代训练方法、***以及储存介质 |
WO2022174436A1 (zh) * | 2021-02-22 | 2022-08-25 | 深圳大学 | 分类模型增量学习实现方法、装置、电子设备及介质 |
CN113205163B (zh) * | 2021-07-07 | 2021-11-19 | 数据堂(北京)科技股份有限公司 | 数据标注方法及装置 |
CN113205163A (zh) * | 2021-07-07 | 2021-08-03 | 数据堂(北京)科技股份有限公司 | 数据标注方法及装置 |
CN115859990A (zh) * | 2023-02-17 | 2023-03-28 | 智慧眼科技股份有限公司 | 基于元学习的信息抽取方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109034190B (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109034190A (zh) | 一种动态选择策略的主动样本挖掘的物体检测***及方法 | |
CN108985334A (zh) | 基于自监督过程改进主动学习的通用物体检测***及方法 | |
Hao et al. | An end-to-end architecture for class-incremental object detection with knowledge distillation | |
CN104992184B (zh) | 一种基于半监督极限学习机的多类图像分类方法 | |
CN110008842A (zh) | 一种基于深度多损失融合模型的行人重识别方法 | |
CN110276316A (zh) | 一种基于深度学习的人体关键点检测方法 | |
CN106557173B (zh) | 动态手势识别方法及装置 | |
WO2018150812A1 (en) | Balancing active learning | |
CN105911992A (zh) | 一种移动机器人的自动规划路径方法及移动机器人 | |
CN110211173A (zh) | 一种基于深度学习的古生物化石定位和识别方法 | |
CN103793926B (zh) | 基于样本重选择的目标跟踪方法 | |
CN110427807A (zh) | 一种时序事件动作检测方法 | |
CN106873585A (zh) | 一种导航寻路方法、机器人及*** | |
CN107423398A (zh) | 交互方法、装置、存储介质和计算机设备 | |
CN109671102A (zh) | 一种基于深度特征融合卷积神经网络的综合式目标跟踪方法 | |
CN105930877A (zh) | 一种基于多模态深度学习的遥感影像分类方法 | |
CN110135502A (zh) | 一种基于强化学习策略的图像细粒度识别方法 | |
CN105260746B (zh) | 一种可扩展的多层集成多标记学习*** | |
CN112365708B (zh) | 基于多图卷积网络的景区交通量预测模型建立和预测方法 | |
CN106454108B (zh) | 基于人工智能的跟踪拍摄方法、装置和电子设备 | |
CN110210462A (zh) | 一种基于卷积神经网络的仿生海马认知地图构建方法 | |
CN104680193A (zh) | 基于快速相似性网络融合算法的在线目标分类方法与*** | |
CN109903339A (zh) | 一种基于多维融合特征的视频群体人物定位检测方法 | |
CN109858430A (zh) | 一种基于强化学习优化的多人姿态检测方法 | |
CN115292532A (zh) | 基于伪标签一致性学习的遥感图像域适应检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220311 Address after: 511455 No. 106, Fengze East Road, Nansha District, Guangzhou City, Guangdong Province (self compiled Building 1) x1301-b013290 Applicant after: Guangzhou wisdom Technology (Guangzhou) Co.,Ltd. Address before: 511400 room 210-5, building 1, Chuangqi, No. 63, Chuangqi Road, Shilou Town, Panyu District, Guangzhou City, Guangdong Province Applicant before: GUANGZHOU SHENYU INFORMATION TECHNOLOGY CO.,LTD. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |