CN105205501A - 一种多分类器联合的弱标注图像对象检测方法 - Google Patents

Abstract

本发明是一种多分类器联合的弱标注图像对象检测方法，包括：输入M个不同标签的弱标注图像集，对其中的所有图片进行对象性分析，生成对象性区域集；对区域集生成图像特征，后对不同标签特征集分别进行聚类；根据聚类的结果，对每个聚类后区域集合训练中层区域分类器；每个分类器分别计算类别属性；输入测试图像，进行对象性分析得到区域块，生成区域特征。使用多分类器进行联合检测，判断出包含该类别对象的区域。本发明在多类别图像对象联合检测方面有良好的表现，可应用于图像对象自动标注，图像对象识别等领域。

Description

一种多分类器联合的弱标注图像对象检测方法

技术领域

本发明属于图像处理、计算机视觉技术领域，是一种多分类器联合的弱标注图像对象检测方法。

背景技术

1、基于弱标注的对象检测技术主要考虑如何利用简单标注信息和大量的未标注样本进行训练和分类的问题，在低成本的基础上能够更好的利用大量的数据获得相对较好的识别效果。在2010年，Alexe等人提出了图像对象性的概念，利用显著前景分析等方法在没有任何标注的图像上提取可能包含对象的区域，该方法综合考虑了颜色对比度(ColorContrast)，边缘密度(EdgeDensity)以及超像素跨度(SuperpixelsStraddling)。

在2012年Thomas等人提出了一种基于属性知识的弱监督学习和定位方法，该方法首先提供一些经过弱标注的图片，物体定位信息并没有给出，弱监督学习需要学习一个物体类别模型，可以被用来决定一张测试图片是否包含一个类别甚至将其定位出来(binding-box)。方法中的定位模型是一个稠密的CRF模型。其中每个训练图片都是一个节点，节点空间大小足以包含图片内的窗口集。其中的单点势能(unarypotential)测量的是一个窗口包含一个种类物体的可能性，而对于成对点势能(pairwisepotential)则是表示两个窗口是否包含同一未知类别的物体。方法同时通过学习一种特殊显示模型对物体进行定位，并且在不同的数据集上进行了测试，证明了对于许多类别具有通用性。基于弱标注的对象检测技术在大规模图像数据处理方面有相当广泛的用途，但在对弱标注样本的进行分析时，样本噪声信息会极大的影响最终的检测效果。

2、聚类假设是弱监督学习中使用的基本方法，聚类假设是指样本数据的特征距离较近时，样本就越可能属于同一类别，处在相同聚类(cluster)中的示例有较大的可能拥有相同的标记。1967年，JamesMacQuee提出了k-means算法，给定一组观测数据(x1,x2,…,xn),其中每个观测数据以d维的向量表示，k-means算法的目的是将n个观测值划分为k个类别：S＝{S₁,S₂,…,S_k}。k-means算法的公式如下：

$\underset{S}{\mathrm{argmin}}\underset{i=1}{\overset{k}{\Σ}}\underset{x\∈S_i}{\Σ}\left|\right|x-{\mathrm{\μ}}_i|{|}^2$

根据聚类假设，决策边界就应该尽量通过数据较为稀疏的地方，从而避免把稠密的聚类中的数据点分到决策边界两侧。在这一假设下，大量未标记示例的作用就是帮助探明示例空间中数据分布的稠密和稀疏区域，从而指导学习算法对利用有标记示例学习到的决策边界进行调整，使其尽量通过数据分布的稀疏区域。

3、TF-IDF是一种统计方法，用以评估字词对于一个文件集或一个语料库中的其中一份文件的重要程度。1983年，Salton等人在关于文本检索技术的著作中，提出了TF-IDF的准则，表明字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。词频(termfrequency，TF)指的是某一个给定的词语在该文件中出现的频率。逆向文件频率(inversedocumentfrequency，IDF)是一个词语普遍重要性的度量。在多分类器联合的弱监督检测方法中，我们假设两两分类器具有相似性度量，依据TF-IDF的概念，我们通过定义某一分类器和类内分类器之间的相似性度量，可计算任一分类器的类别独一性和类别无关性。

发明内容

本发明的目的是提出了一种多分类器联合的弱标注图像对象检测方法，这种方法在标准测试数据集上有良好的表现。

为完成本发明的目的，本发明采用的技术方案是：

一种多分类器联合的弱标注图像对象检测方法，其中，包括如下步骤：

步骤(1)，图片集预处理：输入包含M个类别标签的弱标注的图像数据集，进行对象性分析得到对象性区域集(boxproposals)：给定弱标注图片集，包含M个类别，每个类别标签定义为L＝{L₁,L₂,...,L_i}(i＝1,2,...,M)，对其中的所有图片进行对象性分析，生成图片数目百倍数量级的图片区域块集合。对于每个弱标注训练集，仅有图像集合类别的标注标签，而缺乏对图像内部对象位置的标注信息。

步骤(2)，生成区域特征，依据不同类别标签进行特征聚类：对每个区域块，我们使用ImageNet数据集训练的卷积神经网络模型，抽取神经网络模型的fc7层的特征(4096维)作为代表特征。

步骤(3)，根据聚类结果，对每个对象性区域集训练中层区域分类器，每个集合得到数个聚类中心以及对所有区域特征的聚类结果，并根据聚类结果将所有的区域分为不同的集合。根据之前的聚类结果，对上述每个类别集合分别训练线性SVM分类器，得到个图像中层区域分类器。每个中层分类器的训练时使表这个区域特征集的全部特征作为正样本，而使用其他特征集合内随即挑选的特征作为负样本，在具体训练过程中，我们利用10次10折交叉验证(10-foldcrossvalidation)建立较为可靠稳定的模型。

步骤(4)，计算每个中层区域分类器类别属性：每个分类器分别计算与其他分类器的相关性，由此得到分类器的类别独一性(category-specificattribute)以及类别无关性(category-irrelevantattribute)。对于多分类器的相关性，根据多分类器分析结果，需要计算分类器之间的相似性对输入图片进行联合分析与检测。在计算分类器的相似性时，我们首先需要估计两个聚类集合之间的相似性：首先在验证集合validation集合上生成对象性检测区域。然后利用每个中层分类器在validationset上进行检测，依据可信度对测试结果进行由大到小排序，排序编号进行记为P(i,k)，取前Tr个可信度最高的区域，比对其重合度，重合度的计算式如下所示：

$S(i,j)=\frac{1}{M}\underset{k=1}{\overset{M}{\Σ}}\frac{\left|P_{{(i,k)}_{\[1:Tr\]}}\∩P_{{(j,k)}_{\[1:Tr\]}}\right|}{Tr}$

其中P(i,k)表示第i个分类器在第k个类别上的测试结果，M表示类别的总个数。在计算分类器的相似性后，分别可以由类内相似度和类内相似度的计算得到第i个分类器的类别独一性T(i)(category-specificattribute)以及类别无关性D(i)(category-irrelevantattribute)。将第i个的分类器所在的类别集合记为g_i，则有：

$T\left(i\right)=\frac{1}{Tc}\underset{j\∈N(i,g_i)}{\Σ}S(i,j)$

$D\left(i\right)=\frac{1}{K-1}\underset{\stackrel{k=1}{k\≠g_i}}{\overset{K}{\Σ}}\underset{j\∈N(i,k)}{\Σ}S(i,j)$

N(i,g_i)表示i个分类器在自身所在类别内的邻接分类器集合，T(i)是集合N(i,g_i)内的第i个分类器的类别独一性，Tc表示集合内分类器个数。N(i,k)(k≠g_i)表示j个分类器在除自身所在类别外，其余类别集合的邻接分类器集。D(i)是第i个分类器的类别无关性。T(i)表示一个分类器在类内的共通性，拥有较大T(i)的分类器有较大的类内相似度，可以被认为能更好的代表这个类别的特征。D(i)表示一个分类器在不同类别之间的共通性，拥有较大D(i)的分类器有较大的类间相似度，可以被认为是更能表现不同类别物体中的相同场景区域特征，例如一些常见的背景。

步骤(5)，根据多分类器联合分析结果，得到联合检测器，对测试图片集合(testset)进行联合分析与检测。对输入的测试图像同样进行对象性分析并得到区域块，并生成对应的特征。然后我们利用多分类器属性分析结果进行相对应的联合测试，检测得分的计算式：

$F_0\left(R\right)=\underset{\stackrel{1\≤i\≤N}{gt=gR},}{\max }\{\[T\left(i\right)-D\left(i\right)\]\·v\left(i\right)\}-\underset{\stackrel{1\≤i\≤N}{gt\≠gR},}{\max }\{\[T\left(i\right)+D\left(i\right)\]\·v\left(i\right)\}$

式中，T(i)是区域R在第i个分类器上的检测得分，T(i),D(i)可以被认为是第个分类器的词频属性和逆向文件频率属性。最终的得分可被认为是用有该类别独有的特征而排除了类间共同特征。得分项F(R)计算方式：

F(R)＝F₀(R)+λ·o(R)

其中为了改善联合检测的效果，我们在得分项中添加对象性估计项o(R)，从而更好的改善得分估计效果，其中λ是0到1的值，加入λ可有效调节原始得分项的比例，使得对于物体的识别性能达到最佳。最终结果选取排名最靠前的区域作为检测结果。

附图说明

图1是本发明的流程图；

图2是本发明对于正负分类器协同检测直观示意图；

图3是本发明中对于多分类器的属性分析图；

图4是本发明中多分类器类别独特性与类别无关性的分布图；

图5是本发明的检测效果图；

图6是本发明的联合检测过程示意图。

具体实施方式

本发明提出了一种多分类器联合的弱标注图像对象检测方法,包括以下步骤：

(1)给定包含m个类别的多类别训练图片集，每个，对每个类别给予一个类别标签，定义为L＝{L₁,L₂,...,L_i}(i＝1,2,...,M)。每个类别包含N_i张图像(i＝1,2,...,M)。

(2)利用对象性检测方法对所有图像进行对象性分析(ObjectnessMeasure)，每张图像生成K个候选区域。

(3)对每个区域块，利用在ImageNet数据集上已训练好的卷积神经网络(CNN)模型，对于每个区域抽取fc7层4096维特征。

(4)对每个类别生成的目标区域特征分别使用聚类算法(如Kmeans算法)进行聚类，对第i类别得到C_i＝[N_i/100]个聚类中心以及对所有区域特征的聚类结果。

(5)根据之前的聚类结果，对上述每个类别集合分别训练线性SVM分类器，采用10-fold交叉验证法进行迭代优化(即把数据集分成10个子集，10个子集中得1个作为测试集，而其余的9个数据集作为训练集)，得到个图像中层区域分类器。每个中层分类器的训练时使用这个区域特征集的全部特征作为正样本，而使用其他特征集合内随即挑选的特征作为负样本。

(6)计算分类器之间的相似性，需要估计两个聚类集合之间的相似性：首先在验证集合validation集合上生成对象性检测区域。然后利用每个中层分类器在validationset上进行检测，依据可信度对测试结果进行由大到小排序，排序编号进行记为P(i,k)，取前Tr个可信度最高的区域，比对其重合度，重合度的计算式如下所示：

$S(i,j)=\frac{1}{M}\underset{k=1}{\overset{M}{\Σ}}\frac{\left|P_{{(i,k)}_{\[1:Tr\]}}\∩P_{{(j,k)}_{\[1:Tr\]}}\right|}{Tr}$

其中P(i,k)表示第i个分类器在第k个类别上的测试结果，M表示类别的总个数。

(7)如图2所示，需要在计算分类器的相似性后，分别可以由类内和类间相似性度量得到分类器的类别独特性(TF)和类别无关性(DF)。将i类的分类器集合记为g_i，则有：

$T\left(i\right)=\frac{1}{Tc}\underset{j\∈N(i,g_i)}{\Σ}S(i,j)$

$D\left(i\right)=\frac{1}{K-1}\underset{\stackrel{k=1}{k\≠g_i}}{\overset{K}{\Σ}}\underset{j\∈N(i,k)}{\Σ}S(i,j)$

大致的T(i)，D(i)分布情况如图4,所示。

(8)对于输入的图片集合利用对象性分析对每张图像生成K个候选区域，并以相同方式生成区域特征，对于每个候选区域利用多分类器进行联合检测，检测得分的计算式：

$F_0\left(R\right)=\underset{\stackrel{1\≤i\≤N}{gt=gR},}{\max }\{\[T\left(i\right)-D\left(i\right)\]\·v\left(i\right)\}-\underset{\stackrel{1\≤i\≤N}{gt\≠gR},}{\max }\{\[T\left(i\right)+D\left(i\right)\]\·v\left(i\right)\}$

(9)最终的得分可被认为是用有该类别独有的特征而排除了类间共同特征，即拥有最小的类内同性和类间异性。而为了改善联合检测的效果我们在得分项中添加对象性估计：F(R)＝F₀(R)+λ·o(R)

最终结果选取排名最靠前的区域作为检测结果。

Claims (8)

1.一种多分类器联合的弱标注图像对象检测方法，其特征在于包括如下步骤：

(1)图片集预处理：输入包含M个类别标签的弱标注的图像数据集，进行对象性分析得到对象性区域集(boxproposals)；

(2)生成区域特征，依据不同类别标签进行特征聚类；

(3)根据聚类结果，对每个对象性区域集训练中层区域分类器；

(4)计算每个中层区域分类器类别属性；

(5)根据多分类器联合分析结果，得到联合检测器，用于图像对象检测。

2.如权利要求1所述的多分类器联合的弱标注图像对象检测方法，其特征在于：其中，在所述步骤(1)中，选取的输入训练图片集可包含M个类别，每个类别包含N_i张图像，i＝1,2,...,M；利用对象性检测方法对所有图像进行对象性分析，每张图像生成K个候选区域；M个类别的类别标签集定义为L＝{L₁,L₂,...,L_i}(i＝1,2,...,M)，对于每个弱标注训练集，仅需输入图像集合的类别标签，而不需要输入对图像内部对象位置的具体标注信息。

3.如权利要求1所述的多分类器联合的弱标注图像对象检测方法，其特征在于，其中所述步骤(2)，对于生成的所有图像候选区域进行特征分析时，使用ImageNet数据集训练的卷积神经网络模型，抽取神经网络模型的fc7层的特征作为代表特征共4096维；之后对每个类别生成的目标区域特征分别使用聚类算法进行聚类，对第i类别得到C_i＝[N_i/100]个聚类中心以及对所有目标区域特征的聚类结果。

4.如权利要求3所述的多分类器联合的弱标注图像对象检测方法，其特征在于：所述步骤(3)，根据之前的聚类结果，对上述每个类别集合分别训练线性SVM分类器，得到个图像中层区域分类器；每个中层分类器的训练时使用这个区域特征集的全部特征作为正样本，而使用其他特征集合内随机挑选的特征作为负样本。

5.如权利要求1所述的多分类器联合的弱标注图像对象检测方法，其特征在于：所述步骤(4)，对于每个中层区域分类器，计算与相同类别内其他分类器的相关性，得到分类器的类别独一性；对于每个中层区域分类器，计算每个分类器与不同类别其他分类器的相关性，得到分类器的类别无关性。

6.如权利要求5所述的多分类器联合的弱标注图像对象检测方法，其特征在于：对于多分类器的相关性，根据多分类器分析结果，需要计算分类器之间的相似性对输入图片进行联合分析与检测；在计算分类器的相似性时，首先需要估计两个聚类集合之间的相似性：先在验证集合validation集合上生成对象性检测区域；然后利用每个中层分类器在validationset上进行检测，依据可信度对测试结果进行由大到小排序，排序编号进行记为P(i,k)，取前Tr个可信度最高的区域，比对其重合度，重合度的计算式如下所示：

$S(i,j)=\frac{1}{M}\underset{k=1}{\overset{M}{\Σ}}\frac{|P_{{(i,k)}_{\[1:Tr\]}}\∩P_{{(j,k)}_{\[1:Tr\]}}|}{Tr}$

其中P(i,k)表示第i个分类器在第k个类别上的测试结果，M表示类别的总个数。

7.如权利要求5所述的多分类器联合的弱标注图像对象检测方法，其特征在于：在计算分类器的相似性后，分别由类间相似性和类内相似性得到分类器的类别独一性(category-specificattribute)以及类别无关性(category-irrelevantattribute)；将i类的分类器集合记为g_i，则有：

$T\left(i\right)=\frac{1}{Tc}\underset{j\∈N(i,g_i)}{\Σ}S(i,j)$

$D\left(i\right)=\frac{1}{K-1}\underset{\underset{k\≠g_i}{k=1}}{\overset{K}{\Σ}}\underset{j\∈N(j,k)}{\Σ}S(i,j)$

T(i)是类别g_i内的第i个分类器的类别独一性，D(i)是类别g_i内的第i个分类器的类别无关性；T(i)表示一个分类器在类内的相似度，拥有较大T(i)的分类器，被认为能更好的代表这个类别的特征；T(i)表示一个分类器在类间的相似度，拥有较大D(i)的分类器有较大的类间相似度，被认为是更能表现不同类别物体中的相同场景区域特征。

8.如权利要求1所述的多分类器联合的弱标注图像对象检测方法，其特征在于：获取的多个中层区域分类器以及相对应的属性分析结果，后利用多分类器进行联合测试；对于输入的测试图片集合同样生成K个候选区域，并以相同方式生成区域特征，对于每个候选区域利用多分类器进行联合检测，检测得分的计算式：

$F_0\left(R\right)=\underset{\underset{gt=gR}{1\≤i\≤N,}}{max}\{\[T\left(i\right)-D\left(i\right)\]\·v\left(i\right)\}-\underset{\underset{gt\≠gR}{1\≤i\≤N,}}{max}\{\[T\left(i\right)+D\left(i\right)\]\·v\left(i\right)\}$

式中，T(i)是区域R在第i个分类器上的检测得分，T(i),D(i)可以被认为是第个分类器的词频属性和逆向文件频率属性；最终的得分被认为是用有该类别独有的特征而排除了类间共同特征，即拥有最小的类内相似性和类间相异性；得分项F(R)计算方式：

F(R)＝F₀(R)+λ·o(R)

而为了改善联合检测的效果我们在得分项中添加对象性估计，其中λ是0到1的值，加入λ能有效调节最终的结果，使得对于物体的识别性能达到最佳；最终结果选取排名最靠前的区域作为检测结果。