CN109977994A - 一种基于多示例主动学习的代表性图像选取方法 - Google Patents
一种基于多示例主动学习的代表性图像选取方法 Download PDFInfo
- Publication number
- CN109977994A CN109977994A CN201910107745.0A CN201910107745A CN109977994A CN 109977994 A CN109977994 A CN 109977994A CN 201910107745 A CN201910107745 A CN 201910107745A CN 109977994 A CN109977994 A CN 109977994A
- Authority
- CN
- China
- Prior art keywords
- sample
- original
- training
- classifier
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及机器学习领域,具体涉及一种基于多示例主动学习的代表性图像选取方法,包括以下步骤:(1)图像原始特征提取;(2)原始特征降维;(3)利用降维的特征进行原始样本图像预聚类;(4)选取初始训练样本;(5)训练分类器;(6)调整难分类样本集合;(7)调整原始样本集合;(8)重复执行步骤(5)至(7)进行迭代训练,直至收敛;(9)输出代表性图像。通过预聚类、多示例学习和主动学习方法从原始样本中筛选出对分类器分类精度贡献最大的样本集合,再对这些样本进行标注用于其它机器学习任务,这样不仅可以降低标注耗费的人力,而且可以滤除一部分噪声样本,保证其它机器学习任务的有效运行。
Description
技术领域
本发明涉及机器学习领域,具体涉及一种基于多示例主动学习的代表性图像选取方法。
背景技术
随着互联网技术的快速发展,借助各种互联网工具,人们可以从互联网快速获取大量数据,然而从互联网获取的数据也通常伴随着较多的噪声及大量的内容冗余。在机器学习算法的训练过程中,如果不对原始数据进行清洗而直接标注,不仅将造成大量人力资源浪费,而且由于噪声的影响算法难以达到期望的训练效果。利用弱监督学习强大的分析能力,可以先对获取的原始数据集进行筛选。
根据训练数据标注的程度,可将机器学习分为强监督学习、弱监督学习、无监督学习三种。强监督学习中每个训练样本都有唯一与其对应的正确的标签,应用有检测、分类等;无监督学习只有训练样本,没有标签,应用有聚类、降维;弱监督学习介于两者之间,并非所有样本都有正确的标签,应用有主动学习、多示例学习等。
1997年Dietterich等人在研究药物分子活性检测时提出了多示例学习模型(Dietterich,Thomas G.;Lathrop,Richard H.;Lozano-Pérez,Tomás,Solving themultiple instance problem with axis-parallel rectangles,ArtificialIntelligence,1997,89(1–2):31–71)。对于传统监督学习,所有训练数据都有唯一的与其对应的标签。在药分子活性预测问题中,科学家只能确认具有活性的药分子,而不能具体确定是哪种结构使其有效。因此在传统监督学习的条件下,需要将适于制药的药分子作为正样本,不适于制药的药分子作为负样本,此时学习模型认为正样本中所有结构都是有效的。然而正样本实际包含有大量无效的分子结构,大量的假正例导致正样本中包含大量噪声,从而导致学习失败。为解决该问题,Dietterich等人提出多示例学习模型,在多示例学习中,每个药分子被抽象成一个包,而药分子的多种结构抽象成多个示例。多示例学习中,只有包有与其对应的标签,包中的实例没有。在Dietterich等人的定义中,只要包中至少包含一个正样本的示例,则将该包标记为正包,否则标记为负包。
主动学习的目的是在不降低分类器精度的情况下降低人工标注的成本。数据集中不同的样本对于分类器分类精度的贡献不同,如SVM中靠近决策边界的样本点对于分类器的贡献大,而远离决策边界的样本点对分类器的贡献小。主动学习方法正是寻找这些对分类器精度贡献较大的样本,并且在此过程中滤除一部分噪声样本,因此主动学习不仅能有效地降低人工标注的成本,还可以提升分类器的分类精度。在主动学习过程中,初始化时需要有一部分有标签数据,使用这部分有标签数据训练分类器,然后使用分类器对未标注数据进行预测,根据预测结果和未标注数据的采样策略,从未标注数据中选择对分类器分类精度影响最大的样本进行人工标注,最后将新标注的样本放入训练数据集中进行迭代,直到分类器的分类精度不再变化。
多示例学习通过学习已知包的分布,对未知包标签进行预测。利用主动学习方法分析使包变成正包的关键示例,从而从这些关键示例中选择代表性图像。目前公开的专利中代表性图像选取方法主要集中在聚类方法的优化,有些方法仍需要手动参与标注。申请号为CN201310300591的专利公开了一种基于聚类和投票机制的主动学习初始样本选择方法。该方法通过聚类将原始图像集合划分为多个簇,对聚类簇进行高斯混合模型建模,利用高斯混合模型中的高斯混合分量对每个簇划分多个代表性区域;然后根据样本与代表性区域的关系为代表性区域投票,最终选择投票最多的代表性区域中的样本作为初始训练样本。申请号为CN105469118A的专利公开了一种基于核函数的融合主动学习和非参半监督聚类的稀有类别检测方法。该方法通过学习数据集的距离度量函数,得到核矩阵;再结合核矩阵对原始数据集进行非参层次聚类,然后根据多个聚类评价标准对得到的聚类结果进行筛选得到潜在聚类类别,将这些类别的聚类中心提交给专家进行标注;迭代后直到所有潜在类别中心点都被标注或者没有发现新的潜在类别。申请号为CN106991444A的专利公开了一种基于峰值密度聚类的主动学习方法。该方法通过对未标记数据的聚类结果构建选择器,从未标记的样本中选择最有价值样本交给标注专家标注;然后根据已标记样本和已有聚类结构对原始样本进行预测和分类;迭代上述步骤直到所有样本都被分类。
发明内容
为了从一组包含噪声和冗余的数据集中筛选代表性图像用于训练机器学习模型,本发明提供了一种基于多示例主动学习的代表性图像选取方法,所述方法包括以下步骤:
(1)图像原始特征提取
为了充分利用原始数据间潜在的分布特征,需要对原始输入图像进行预聚类;将聚类结果中的每一簇作为一个包,并依次为每个包设定唯一标签代表其类别。聚类前需要先提取原始输入图像特征,具体方法如下:
方向梯度直方图(Histogram of Oriented Gradient,HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。与其它特征描述方法相比,因为HOG在图像的局部进行特征提取操作,所以HOG特征具有较好的旋转不变性;其次特征计算过程中的归一化操作使得HOG特征对光照变化不敏感。因此本发明对所有原始输入图像提取HOG特征,并将其用于聚类。
首先将n张原始输入图像都调整至指定大小W×W,并进行灰度化,其中W的取值范围为[512,1024];使用Gamma矫正方法对灰度图像进行归一化处理,调节图像对比度,作为原始样本图像,从而降低原始输入图像的局部阴影和光照的影响;然后对原始样本图像每个像素分别求其梯度,并将梯度图划分为8×8大小的元图像块(Cell),计算每个Cell的梯度直方图,得到每个Cell的特征描述子;接着将每2×2大小的Cell重组成大的、空间上连通的基础图像块(Block),串联Block中每一个Cell的特征描述子即为Block的特征描述子;最终图像的特征即为所有Block特征描述子串联的结果。记CN和BN分别为图像中Cell和Block的个数,则CN=(W/8)2、BN=(W/8-1)2,其中W为图像的宽和高;则n张原始输入图像的HOG特征组合成大小为n×r的矩阵Xs,其中r=36×BN为原始HOG特征的维度。
(2)特征降维
原始HOG特征的维数较高,对于大小为640×640的图像,可将其分为79×79个Block,则最终得到特征维度为224676。特征维数过高的情况下进行聚类所需的内存可能超出计算机的支持范围,且计算量过大,会导致计算过于缓慢。
本发明使用主成分分析(Principal components analysis,PCA)将原始HOG特征降至指定维度。对步骤(1)得到的矩阵Xs每一行进行标准化;按式(1)计算Xs的协方差矩阵;
然后计算协方差矩阵的特征值与特征向量,并选择特征值最大的前m个相应特征向量组成矩阵P,m的取值范围为[128,1024];最后按式(2)计算得到降维后的数据特征集合X:
X=PXs (2)
(3)图像预聚类
本发明使用基于密度的聚类算法DBSCAN利用降维后的HOG特征对原始样本图像进行预聚类,该步骤只需做一次即可,后续无须迭代。对于降维后特征集合X中的特征xi(i∈[1,n]),可被标记为核心对象、噪声点或由核心对象密度直达。初始状态下,所有特征都处于未标记状态。对特征xi,通过距离度量计算其ε邻域子样本集Nε(xi),其中ε的取值范围为[0.01,0.1]。如果样本集中样本个数大于阈值T∈[20,100],则标记xj为核心对象,所有核心对象构成核心对象样本集合Ω=Ω∪xi。在核心对象集合中随机选择一个核心对象ε邻域内的所有核心对象,寻找与这些核心对象密度直达的对象,直到遍历完所有核心对象,得到一个聚类簇Cj,将已划分为聚类簇Cj中的核心对象从核心对象集合Ω中移除。重复上述步骤,直到Ω为空,即可得聚类结果C={C1,C2,...,Cm},剩余没有被标记的特征点被标记为游离点。
(4)选取初始训练样本
为了训练分类器,需要在原始样本集合中选择部分原始样本图像作为训练样本。遍历集合计算每个样本的ε邻域内子样本集中样本个数,ε邻域内样本个数最多的样本点即为簇Cj的密度中心cj,其中ε的取值范围为[0.01,0.1]。所有簇的密度中心组成集合c={c1,c2,...cm}。初始时将所有原始样本图像全部加入原始样本集合Dp,然后从每个簇中选择离密度中心cj(j∈[1,m])距离度量最近的s=nc×αc个原始样本图像点共s×m个原始样本图像作为分类器的初始训练样本图像,其中nc为簇内样本总数,m为聚类簇数,αc取值范围为[0.01,0.3]。对每一个聚类簇Cj(j∈[1,m]),将其视为一个包Pj,簇中每个样本图像视为包的一个示例。根据聚类结果,可得包集合P={P1,P2,...,Pm},同时为每个包Pj赋予一个标签J,包中示例的标签与包的标签相同。
本发明流程涉及三个样本集合,分别是原始样本集合Dp、难分类样本集合Dhs和训练样本集合Dtrain。其中训练样本集合Dtrain用于保存所有用于训练的原始样本图像,难分类样本集合Dhs用于保存分类器难以分类的原始样本图像。初始时所有原始样本图像属于原始样本集合Dp,选取训练样本后,训练样本从原始样本集合Dp中转移到训练样本集合Dtrain。所有样本有且仅有一个所属集合。
(5)训练分类器
利用步骤(4)得到的训练样本集Dtrain中的样本训练分类器,得到初始分类器。为了提高分类器的分类精度,本发明使用Xception网络作为分类器,实现分类任务。传统的卷积方法中,卷积核对输入特征图所有通道进行卷积操作后特征图相应位置值相加作为输出特征图中一个通道。这种卷积方法只考虑了特征图通道内的空间相关性,而忽略了通道间的相关性,同时如果输入特征图通道数过高的话,网络的参数也会增多,为网络的训练带来不便。Xception中使用组卷积代替经典卷积方法,在卷积层间加入1×1卷积操作。对输入n通道的特征图,Xception先使用1×1卷积核对输入特征图进行降维。对降维后的特征图使用卷积核对其进行卷积,但卷积后不对特征图对应位置相加,而是使用1×1的卷积核对其再次进行卷积,这样不仅可以利用通道内相关性还可以充分利用通道间的相关性。
为了在本发明中使用Xception网络,需要将Xception网络最后一个全连接层的输出个数从1000修改为聚类的类别数m。然后分别设置Xception网络最后一层和其它层学习率为lr和lr/20,其中lr取值范围为[0.0001,0.05]。使用训练样本集合Dtrain中的样本对网络进行训练,得到分类器。
(6)调整难分类样本集合
样本集合中不同样本对于分类器分类精度的贡献不同。例如对于SVM分类器,远离分类超平面的样本点对于分类器的贡献小,而越靠近分类平面的样本点对分类器分类精度贡献越大。通过一定的方法可以从所有样本中选择出对分类器分类精度贡献高的样本。样本选择策略有多种,如随机选择策略、基于概率的选择策略、基于版本空间缩减标准的选择策略等。
为了从原始样本集合Dp中选择代表性图像,本发明根据主动学习思想,利用BvSB准则从原始样本集合Dp中筛选样本。BvSB准则是一种基于概率的选择策略,针对多分类问题下基于熵的选择策略EBQ的不足,BvSB对样本的所有预测结果,只取其概率最大的两个结果。将原始样本集合Dp中所有样本输入网络,得到其预测值yout。再对预测值使用Softmax算法,得到对应每类别的概率取概率最高的结果p(ybest|xi)和次高的结果p(ysecond-best|xi)。则BvSB准则可以表示如下:
其中BvSB*表示根据BvSB准则从原始样本集合Dp中选择的样本,即BvSB准则从原始样本集合Dp中选择样本所属类别概率最高和次高差值最小的样本。由于BvSB准则只考虑样本分类概率最高和次高的两个类别,忽略了剩余类别对样本产生的干扰,所以BvSB准则在多分类问题时效果优于考虑了样本所有预测类别的EBQ准则。
对难分类样本进行调整时,若难分类样本集合Dhs为空,则跳过该步骤,执行步骤(7);否则,使用分类器对Dhs进行预测得到每个样本所属类别的概率Yhs,根据BvSB采样策略与预测结果Yhs,计算Yhs中每个样本最大两个的概率差值diffhs。设定阈值Vthre∈[0.05,0.3],如果差值大于阈值Vthre,则将该样本放回Dp中,否则该样本保留在Dhs中。
(7)调整原始样本集合
使用分类器对原始样本集合Dp中的每个样本进行预测得到每个样本所属类别的概率Yp,根据BvSB采样策略,Yp中最大的两个概率差值diff越小,表示分类器越难以分类该样本。将Yp中每个样本最大的两个概率差值diffp排序,选择其中差值最小的u=np×αp个样本加入难分类样本集Dhs,选择差值最大的v=np×βp个样本加入训练集合Dtrain,加入Dhs和Dtrain的样本从Dp中移除,其中n为原始样本集合Dp中样本总数,αp和βp的取值范围为[0.01,0.1]。
(8)重复执行步骤(5)至步骤(7)进行迭代训练
为了进行代表性图像选取,需要在样本集Dp、Dtrain、Dhs上迭代训练分类器,具体步骤如下:
(8-1)使用步骤(5)所述的方法对训练样本集Dtrain进行训练,得到分类器。
(8-2)使用步骤(6)所述的方法对难分类样本集合Dhs进行调整。
(8-3)使用步骤(7)所述的方法对原始样本集合Dp进行调整。
(8-4)重复上述训练步骤,直到原始样本集合Dp中总样本数量小于指定数量p=n×αt,其中n为输入样本总数,αt的取值范围为[0.1,0.3]。
(9)输出代表性图像
最终输出的代表性图像是基于难分类样本集合Dhs和训练样本集合Dtrain选取:对于难分类样本集合Dhs,选择其所有样本对应的原始输入图像作为代表性图像;对于训练样本集合Dtrain,按照一定的比例随机从集合中选择q个样本对应的原始输入图像作为代表性图像,其中q=nh×αo,nh为难分类样本集合Dhs中样本总数,αo的取值范围为[0.05,0.4]。
附图说明
图1为本发明流程图。
图2为本发明中样本集合调整流程图。
具体实施方式
下面结合实施例和附图来详细描述本发明,但本发明并不仅限于此。主动学习框架是指,首先使用初始样本训练初始分类器,将初始分类器用于预测原始样本集合中所有未标注的样本;然后根据分类器的预测结果及采样策略,从原始样本集合中选择对分类器分类精度贡献大的样本,交给标注专家进行标注;再将标注后的样本与初始样本一起训练分类器。如此迭代,直到分类器的精度不再变化,此时分类器虽然仅使用少数的标注样本,但可以达到较好的分类精度。
COCO数据集是微软提供的目标检测、分类数据集,数据集中图像主要从复杂的日常场景中截取,数据集中有超过30万张图像。本实施例基于COCO数据集。
如图1所示,一种基于多示例主动学习的代表性图像选取方法包括以下步骤:
(1)对原始输入图像进行原始特征提取;
(2)对提取的原始特征进行降维;
(3)利用降维后的特征对原始样本图像进行预聚类;
(4)计算聚类结果中聚类簇的密度中心,选取密度中心邻近区域的原始样本图像为初始训练样本,并初始化原始样本集合Dp、训练样本集合Dtrain和难分类样本集合Dhs;
(5)利用训练样本集合Dtrain中的样本训练分类器Xception网络;
(6)若难分类样本集合Dhs为空,则执行步骤(7);否则利用步骤(5)中训练的Xception网络对难分类样本进行预测,根据预测结果利用主动学习方法调整难分类样本集合Dhs;
(7)利用步骤(5)中训练的Xception网络对原始样本集合Dp进行预测,根据预测结果利用主动学习方法调整原始样本集合Dp;
(8)重复执行步骤(5)至步骤(7)进行迭代训练,直到原始样本集合Dp中总样本数量小于指定数量p;
(9)输出代表性图像。
步骤(1)具体包括:
从COCO数据集中随机选择n=300000张图像作为原始输入图像,将n张原始输入图像统一调整为W×W大小后进行灰度化处理,对灰度图像使用Gamma矫正方法进行灰度归一化,调整图像对比度,作为原始样本图像,其中W=640。然后对原始样本图像中每个像素计算梯度,得到梯度图。将梯度图分为8×8大小的Cell,对每个Cell计算梯度直方图。再每4个Cell单元组合成大的、空间上连通的区间Block;Cell的特征描述子串联为Block的特征描述子。一副图像中可得6400个Cell和6421个Block,然后将所有Block的特征描述子串联成的224676维向量即为原始样本图像的原始HOG特征。最后将300000张原始输入样本的原始HOG特征组合成大小为300000×224676的矩阵Xs。
步骤(2)具体包括:
由于原始特征维数过高,不利于聚类计算,因此本发明使用PCA对原始特征进行降维后再进行聚类。协方差矩阵表征了变量之间的相关性,根据Xs协方差矩阵可计算Xs的主成分,从而达到降维的目的。
将步骤(1)中得到的矩阵Xs每一行使用该行减去该行均值,对矩阵行进行标准化处理。然后根据式(1)计算矩阵Xs的协方差矩阵C,然后计算协方差矩阵的特征值与相应的特征向量。从协方差矩阵C的特征值中选择1024个最大的特征值,取其对应的特征向量组合成矩阵P,则根据式(2)可计算降维后特征集合X。
步骤(3)具体包括:
使用DBSCAN算法和步骤(2)降维后的特征对原始样本图像进行预聚类。首先对于降维特征集合X内的点xi(i∈[1,n])计算与其距离度量小于ε=0.05的样本点集合Nε(xi)。如果Nε(xi)中样本个数大于阈值T=20,则将该点标记为核心对象。遍历特征集合Y,找到所有满足核心对象要求的点,将其标记为核心对象,生成核心对象集合Ω。从核心对象集合Ω中随机选择一个对象xj,寻找与该核心对象密度直达的所有核心对象,这些核心对象与其ε邻域内的所有特征点构成一个聚类簇Cj,同时将这些划分为簇的核心对象从核心对象集合中移除。重复上述步骤直到核心对象集合Ω为空。此时所有聚类簇构成特征空间的聚类结果C={C1,C2,...,Cm}。
步骤(4)具体包括:
根据聚类结果选取初始训练样本用于训练分类器。初始化训练集合Dtrain为空、难分类集合Dhs为空,并将所有原始样本图像加入原始样本集合Dp中。对聚类簇Cj,根据以下准则计算其密度中心:对簇中每一个特征点计算其ε邻域内的特征点个数,选择邻域内特征点数量最多的特征点作为簇Cj的密度中心。按照每个簇内样本总数nc,从簇密度中心选择s=nc×αc个簇内原始样本图像作为初始训练样本,加入集合Dtrain中,并将这些样本从原始样本集合Dp中移除,其中n为簇内原始样本图像总数,αc取值0.05。将每个聚类簇视为一个包,为每个包赋予一个类别标签。包中的样本视为示例,包中示例的标签与对应的包相同。
步骤(5)具体包括:
采用Xception网络作为分类器,将Xception网络最后一个全连接层的输出个数从1000修改为聚类的类别数m,则该层为瓶颈层。加载网络除瓶颈层外其它层的预训练参数,设置瓶颈层学习率为lr=0.0005,其它层学习率lr/20。使用训练样本集合Dtrain中的样本对网络进行训练,得到分类器。
步骤(6)具体包括:
若难分类样本集合Dhs为空,则跳过该步骤,执行步骤(7);否则,使用步骤(5)得到的分类器对难分类样本集合Dhs中的每个样本进行预测,得到每个样本所属类别的概率Yhs。基于BvSB准则,计算样本预测结果Yhs中样本最大两个概率差值设置阈值Vthre=0.15,将集合Dhs中diff值大于阈值的样本从难分类样本集合Dhs中移动到原始样本集合Dp。
步骤(7)具体包括:
使用步骤(5)得到的分类器对原始样本集合Dp中每个样本进行预测得到每个样本所属类别的概率Yp。基于BvSB准则,计算预测结果Yp中最大两个概率的差值diffp=p(ybest|xi)-p(ysecond-best|xi)。根据集合中样本总数np,分别取u=np×αp、v=np×βp,这里αp和βp取值分别为0.02和0.03。将diff按值从大到小排序,选择值最大的u个样本从原始样本集合Dp中移动到训练样本集合Dtrain,选择值最小的v个样本从原始样本集合Dp中移动到难分类样本集合Dhs。
步骤(8)具体包括:
图2所示为步骤(8)流程图。重复执行步骤(5)至步骤(7),在所有样本集合上进行迭代训练。迭代训练时对原始样本集合Dp和难分类样本集合Dhs中的样本预测结果Yp和Yhs选择不同的采样策略,但都是基于BvSB准则,都计算集合中每个样本预测结果所属类别概率最大两个概率的差值并根据差值对集合中样本进行筛选。取p=n×αt,其中n为原始输入图像总数,αt取值为0.2。当原始样本集合Dp中总样本数量小于p时,结束迭代。
步骤(9)具体包括:
对于难分类样本集合Dhs中的样本,选择其所有样本对应的原始输入图像作为代表性图像;对于训练样本集合Dtrain中的样本,从集合中随机选取q个样本对于的原始输入图像作为代表性图像,其中q=nh×αo,nh为难分类样本集合Dhs中样本总数,αo取值为0.1。
Claims (8)
1.一种基于多示例主动学习的代表性图像选取方法,其特征在于:所述方法包括以下步骤:
(1)图像原始特征提取:
将n张原始输入图像都调整到统一大小,并进行灰度化以及使用Gamma矫正方法进行灰度归一化,作为原始样本图像;利用HOG算法获取原始样本图像的HOG特征;将所有原始样本图像的HOG特征组合成原始特征矩阵Xs;
(2)原始特征降维:
使用PCA算法对原始特征矩阵Xs进行降维,得到降维后的特征集合X;
(3)图像预聚类:
基于降维后的特征集合X,使用DBSCAN算法对原始样本图像进行预聚类,得到聚类集合C;
(4)选取初始训练样本:
初始化原始样本集合Dp、训练样本集合Dtrain、难分类样本集合Dhs为空;将所有原始样本图像加入到原始样本集合Dp;计算聚类集合C中聚类簇的密度中心,选取密度中心邻近区域的原始样本图像为初始训练样本,加入训练样本集合Dtrain;加入训练样本集合的原始样本图像从原始样本集合中移除,所有样本有且仅有唯一所属的集合;
(5)训练分类器:
采用Xception网络作为分类器,将Xception网络最后一个全连接层的输出个数设置为聚类结果的类别数,使用训练样本集合Dtrain中的样本训练分类器;
(6)调整难分类样本集合:
若难分类样本集合为空,则跳过该步骤,执行步骤(7),否则使用步骤(5)的分类器对难分类样本集合中的每个样本进行预测,根据预测结果和BvSB准则计算样本所属类别概率最大的前两个类别的概率差值diff,将差值diff大于阈值Vthre的样本从难分类样本集合Dhs中移动到原始样本集合Dp;
(7)调整原始样本集合:
使用步骤(5)的分类器对原始样本集合Dp中的每个样本进行预测,根据预测结果和BvSB准则计算样本所属类别概率最大的前两个类别的概率差值diff,将差值diff最大的u个样本从原始样本集合Dp中移动到训练样本集合Dtrain,将差值diff最小的v个样本从原始样本集合Dp中移动到难分类样本集合Dhs;
(8)迭代训练:
重复执行步骤(5)至步骤(7),以调整后的训练样本集合Dtrain重新训练分类器,使用得到的分类器分别对难分类样本集合Dhs和原始样本集合Dp进行预测,根据预测结果和BvSB准则调整三个样本集合中的样本,直至原始样本集合Dp中的样本数量小于指定数量p,结束迭代;p=n×αt,其中n为输入样本总数,αt的取值范围为[0.1,0.3];
(9)输出代表性图像:
输出的代表性图像是基于难分类样本集合Dhs和训练样本集合Dtrain选取:对于难分类样本集合Dhs,选择其所有样本对应的原始输入图像作为代表性图像;对于训练样本集合Dtrain,按照比例选择集合中q个样本对应的原始输入图像作为代表性图像,其中,q=nh×αo,nh为难分类样本集合Dhs中的样本总数,αo的取值范围为[0.05,0.4]。
2.根据权利要求1所述的一种基于多示例主动学习的代表性图像选取方法,其特征在于:所述的步骤(1)中,将n张原始输入图像的分辨率都调整至W×W后进行灰度化和灰度归一化处理,作为原始样本图像,其中W的取值范围为[512,1024];对原始样本图像提取HOG特征,将输入n张原始样本图像的HOG特征组合成大小为n×r的矩阵Xs,其中r=36×(W/8-1)2,为原始HOG特征的维度。
3.根据权利要求1所述的一种基于多示例主动学习的代表性图像选取方法,其特征在于:所述的步骤(2)中,对矩阵Xs的每行进行标准化处理;根据式(1),
计算矩阵Xs的协方差矩阵C,然后计算协方差矩阵C的特征值与相应的特征向量;从协方差矩阵C的特征值中选择m个最大的特征值,其中m的取值范围为[128,1024],取其对应的特征向量组合成矩阵P,根据式(2),
X=PXs (2)
计算降维后的特征集合X。
4.根据权利要求1所述的一种基于多示例主动学习的代表性图像选取方法,其特征在于:所述的步骤(3)中,对降维后特征集合X中的特征xi统计距离度量小于ε的样本点集合Nε(xi),其中,i的取值范围为[1,n],ε的取值范围为[0.01,0.1];标记所有Nε(xi)中样本数大于阈值T的特征xi为核心对象,生成核心对象集合Ω,T的取值范围为[20,100];从集合Ω中选择任意一个核心对象,寻找其密度直达的所有核心对象,将该核心对象和其密度直达的所有核心对象及这些核心对象ε邻域内所有特征点组合成一个聚类簇Cj;遍历核心对象集合Ω,得到聚类结果C={C1,C2,...,Cm}。
5.根据权利要求1或4所述的一种基于多示例主动学习的代表性图像选取方法,其特征在于:所述步骤(4)中,计算每个聚类簇的密度中心,对簇中每一个特征计算其ε邻域内的特征点个数,以ε邻域内特征点数量最多的特征点作为聚类簇的密度中心,ε的取值范围为[0.01,0.1];按照聚类簇内样本总数,从聚类簇的密度中心选择聚类簇内的s个样本作为初始训练样本,加入训练集合Dtrain中,其中,s=nc×αc,nc为聚类簇内的样本总数,αc的取值范围为[0.01,0.3];令步骤(3)中生成的每个聚类簇为一个包,聚类簇中的样本为示例;依次为每个包赋予唯一的标签,包中的示例的标签与对应的包相同。
6.根据权利要求1所述的一种基于多示例主动学习的代表性图像选取方法,其特征在于:所述步骤(5)中,使用Xception网络作为分类器,将Xception网络最后一个全连接层的输出个数设置为聚类结果的类别数m;分别设置Xception网络最后一层和其它层的学习率为lr和lr/20,其中lr的取值范围为[0.0001,0.005];使用步骤(4)中生成的训练样本集合训练Xception网络。
7.根据权利要求1所述的一种基于多示例主动学习的代表性图像选取方法,其特征在于:使用步骤(5)得到的分类器对难分类样本集合Dhs中的样本进行预测得到样本所属类别的概率Yhs;基于BvSB准则计算Yhs中每个样本最大的两个概率的差值diffhs;将集合Dhs中diffhs大于阈值Vthre的样本从集合Dhs中移动到集合Dp,其中Vthre取值范围为[0.05,0.3]。
8.根据权利要求1所述的一种基于多示例主动学习的代表性图像选取方法,其特征在于:所述步骤(7)中,使用步骤(5)得到的分类器对原始样本集合Dp中的样本进行预测得到样本所属类别的概率Yp;基于BvSB准则,计算Yp中每个样本最大的两个概率的差值diffp;将集合Dp中样本按diffp值从大到小排序,根据集合Dp中样本总数np,选择前u和后v个样本分别加入训练样本集合Dtrain和难分类样本集合Dhs中,其中,u=np×αp,v=np×βp,αp、βp的取值范围为[0.01,0.1]。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910107745.0A CN109977994B (zh) | 2019-02-02 | 2019-02-02 | 一种基于多示例主动学习的代表性图像选取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910107745.0A CN109977994B (zh) | 2019-02-02 | 2019-02-02 | 一种基于多示例主动学习的代表性图像选取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109977994A true CN109977994A (zh) | 2019-07-05 |
CN109977994B CN109977994B (zh) | 2021-04-09 |
Family
ID=67076898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910107745.0A Active CN109977994B (zh) | 2019-02-02 | 2019-02-02 | 一种基于多示例主动学习的代表性图像选取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109977994B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110443366A (zh) * | 2019-07-30 | 2019-11-12 | 上海商汤智能科技有限公司 | 神经网络的优化方法及装置、目标检测方法及装置 |
CN110688934A (zh) * | 2019-09-23 | 2020-01-14 | 云南电网有限责任公司电力科学研究院 | 一种空间采样主动学习分类方法、电子设备及存储介质 |
CN110837870A (zh) * | 2019-11-12 | 2020-02-25 | 东南大学 | 基于主动学习的声呐图像目标识别方法 |
CN111887834A (zh) * | 2020-07-15 | 2020-11-06 | 西安电子科技大学 | 基于多示例学习和进化优化的逐搏心率检测方法 |
CN112149721A (zh) * | 2020-09-10 | 2020-12-29 | 南京大学 | 一种基于主动学习降低标注需求的目标检测方法 |
CN112434628A (zh) * | 2020-11-30 | 2021-03-02 | 西安理工大学 | 基于主动学习和协同表示的小样本极化sar图像分类方法 |
CN112784818A (zh) * | 2021-03-03 | 2021-05-11 | 电子科技大学 | 基于分组式主动学习在光学遥感图像上的识别方法 |
CN115797340A (zh) * | 2023-02-03 | 2023-03-14 | 西南石油大学 | 一种基于多示例学习的工业表面缺陷检测方法 |
CN115953609A (zh) * | 2022-08-08 | 2023-04-11 | 中国航空油料集团有限公司 | 一种数据集筛选方法与*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101853400B (zh) * | 2010-05-20 | 2012-09-26 | 武汉大学 | 基于主动学习和半监督学习的多类图像分类方法 |
CN103617429A (zh) * | 2013-12-16 | 2014-03-05 | 苏州大学 | 一种主动学习分类方法和*** |
CN104268586A (zh) * | 2014-10-17 | 2015-01-07 | 北京邮电大学 | 一种多视角动作识别方法 |
CN104331716A (zh) * | 2014-11-20 | 2015-02-04 | 武汉图歌信息技术有限责任公司 | 面向大规模训练数据的svm主动学习分类算法 |
CN105117429A (zh) * | 2015-08-05 | 2015-12-02 | 广东工业大学 | 基于主动学习和多标签多示例学习的场景图像标注方法 |
CN107273912A (zh) * | 2017-05-10 | 2017-10-20 | 重庆邮电大学 | 一种基于三支决策理论的主动学习方法 |
CN109299668A (zh) * | 2018-08-30 | 2019-02-01 | 中国科学院遥感与数字地球研究所 | 一种基于主动学习和聚类分析的高光谱图像分类方法 |
-
2019
- 2019-02-02 CN CN201910107745.0A patent/CN109977994B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101853400B (zh) * | 2010-05-20 | 2012-09-26 | 武汉大学 | 基于主动学习和半监督学习的多类图像分类方法 |
CN103617429A (zh) * | 2013-12-16 | 2014-03-05 | 苏州大学 | 一种主动学习分类方法和*** |
CN104268586A (zh) * | 2014-10-17 | 2015-01-07 | 北京邮电大学 | 一种多视角动作识别方法 |
CN104331716A (zh) * | 2014-11-20 | 2015-02-04 | 武汉图歌信息技术有限责任公司 | 面向大规模训练数据的svm主动学习分类算法 |
CN105117429A (zh) * | 2015-08-05 | 2015-12-02 | 广东工业大学 | 基于主动学习和多标签多示例学习的场景图像标注方法 |
CN107273912A (zh) * | 2017-05-10 | 2017-10-20 | 重庆邮电大学 | 一种基于三支决策理论的主动学习方法 |
CN109299668A (zh) * | 2018-08-30 | 2019-02-01 | 中国科学院遥感与数字地球研究所 | 一种基于主动学习和聚类分析的高光谱图像分类方法 |
Non-Patent Citations (6)
Title |
---|
AJAY J. JOSHI ET AL.: "Scalable Active Learning for Multiclass Image Classification", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
LINGYUN SONG ET AL.: "A Deep Multi-Modal CNN for Multi-Instance Multi-Label Image Classification", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
李杰龙 等: "基于SVM的多示例多标签主动学习", 《计算机工程与设计》 * |
汪婵 等: "基于预聚类和主动半监督学习的遥感影像分类", 《湖北第二师范学院学报》 * |
田彦平 等: "主动学习与图的半监督相结合的高光谱影像分类", 《测绘学报》 * |
金良 等: "基于HS样本选择和BvSB反馈的多类图像分类", 《贵州师范大学学报(自然科学版)》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110443366A (zh) * | 2019-07-30 | 2019-11-12 | 上海商汤智能科技有限公司 | 神经网络的优化方法及装置、目标检测方法及装置 |
CN110688934A (zh) * | 2019-09-23 | 2020-01-14 | 云南电网有限责任公司电力科学研究院 | 一种空间采样主动学习分类方法、电子设备及存储介质 |
CN110688934B (zh) * | 2019-09-23 | 2023-11-21 | 云南电网有限责任公司电力科学研究院 | 一种空间采样主动学习分类方法、电子设备及存储介质 |
CN110837870B (zh) * | 2019-11-12 | 2023-05-12 | 东南大学 | 基于主动学习的声呐图像目标识别方法 |
CN110837870A (zh) * | 2019-11-12 | 2020-02-25 | 东南大学 | 基于主动学习的声呐图像目标识别方法 |
CN111887834A (zh) * | 2020-07-15 | 2020-11-06 | 西安电子科技大学 | 基于多示例学习和进化优化的逐搏心率检测方法 |
CN112149721A (zh) * | 2020-09-10 | 2020-12-29 | 南京大学 | 一种基于主动学习降低标注需求的目标检测方法 |
CN112149721B (zh) * | 2020-09-10 | 2023-11-17 | 南京大学 | 一种基于主动学习降低标注需求的目标检测方法 |
CN112434628A (zh) * | 2020-11-30 | 2021-03-02 | 西安理工大学 | 基于主动学习和协同表示的小样本极化sar图像分类方法 |
CN112434628B (zh) * | 2020-11-30 | 2023-06-16 | 西安理工大学 | 基于主动学习和协同表示的小样本图像分类方法 |
CN112784818A (zh) * | 2021-03-03 | 2021-05-11 | 电子科技大学 | 基于分组式主动学习在光学遥感图像上的识别方法 |
CN112784818B (zh) * | 2021-03-03 | 2023-03-14 | 电子科技大学 | 基于分组式主动学习在光学遥感图像上的识别方法 |
CN115953609A (zh) * | 2022-08-08 | 2023-04-11 | 中国航空油料集团有限公司 | 一种数据集筛选方法与*** |
CN115953609B (zh) * | 2022-08-08 | 2023-08-18 | 中国航空油料集团有限公司 | 一种数据集筛选方法与*** |
CN115797340A (zh) * | 2023-02-03 | 2023-03-14 | 西南石油大学 | 一种基于多示例学习的工业表面缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109977994B (zh) | 2021-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109977994A (zh) | 一种基于多示例主动学习的代表性图像选取方法 | |
CN111368896B (zh) | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 | |
CN107527068B (zh) | 基于cnn和域自适应学习的车型识别方法 | |
CN111259905B (zh) | 一种基于下采样的特征融合遥感图像语义分割方法 | |
CN109902732B (zh) | 车辆自动分类方法及相关装置 | |
CN106096531B (zh) | 一种基于深度学习的交通图像多类型车辆检测方法 | |
CN104809187B (zh) | 一种基于rgb‑d数据的室内场景语义标注方法 | |
CN105184309B (zh) | 基于cnn和svm的极化sar图像分类 | |
CN110689086A (zh) | 基于生成式对抗网络的半监督高分遥感图像场景分类方法 | |
CN111079674B (zh) | 一种基于全局和局部信息融合的目标检测方法 | |
CN109583425A (zh) | 一种基于深度学习的遥感图像船只集成识别方法 | |
CN109902806A (zh) | 基于卷积神经网络的噪声图像目标边界框确定方法 | |
CN109117879A (zh) | 图像分类方法、装置及*** | |
Parsons et al. | ARTMAP neural networks for information fusion and data mining: Map production and target recognition methodologies | |
CN109740603A (zh) | 基于cnn卷积神经网络下的车辆字符识别方法 | |
CN106919920A (zh) | 基于卷积特征和空间视觉词袋模型的场景识别方法 | |
CN109684922A (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
CN107977677A (zh) | 一种应用于大规模城区重建中的多标签像素分类方法 | |
CN107516103A (zh) | 一种影像分类方法和*** | |
CN109145964B (zh) | 一种实现图像颜色聚类的方法和*** | |
CN108764302A (zh) | 一种基于颜色特征和词袋特征的票据图像分类方法 | |
CN113807176B (zh) | 一种基于多知识融合的小样本视频行为识别方法 | |
CN108629373A (zh) | 一种图像分类方法、***、设备及计算机可读存储介质 | |
CN112819063B (zh) | 一种基于改进的Focal损失函数的图像识别方法 | |
CN113159067A (zh) | 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |