CN101344927B - 图像分类方法和设备 - Google Patents

Abstract

本公开涉及一种用于将图像分类成多个种类的方法，包括步骤：根据图像确定色彩直方图矢量以及基于色彩直方图矢量将图像分类成多个种类，其中色彩直方图矢量由从候选色彩直方图特征选择的一些色彩直方图特征组成。本方法可显著地提高图像的查全率并获得比现在方法更好的分类结果。

Description

图像分类方法和设备

技术领域

本发明一般地涉及图像分类方法和设备。 

背景技术

近年来在机器学习和图像比较方面，研究者已经获得令人可喜的进步。在机器学习领域，Boosting、支持矢量机器和其他所谓的大间隔(large-margin)技术不断地在当应用于老的技术时展示出改进的性能和更为确定的机器学习方法。Adaboost是一种用于提高任意给定学习方法精确度的通用方法。其从大的集合中选择少量的关键特征并且产生极其有效的分类器，并且具有用于例如人脸检测的视觉对象检测的成功应用。关于Adaboost的解释，参见由Yoav FreundRobert E.Schapire撰写的“A Short Introduction to Boosting”，通过参考将其内容全部并入在此。 

同时，针对于图像比较，图像检索领域的研究者已经设计出新的表示方法，其允许基于例如色彩和纹理分布的多个线索来进行图像间的快速比较。例如色彩直方图、冗余纹理滤波器组和其他技术已经显示出超出早期技术的重大改进。 

不幸地是除了一些特殊例外，当前很少有研究通过将每个的最佳元素进行合并来试图针对这两个领域。因此，将更新的图像分析技术和机器学习中同时发生的改进进行组合证明还包括巧妙。 

发明内容

本发明的目的在于提供一种图像分类方法和设备，以将图像分类成多个种类，从而获得比现有方法更好的分类结果。 

为了实现上述的目的，本发明提供一种用于将图像分类成多个种类的方法，包括步骤：设置针对色彩空间中的每个色彩分量的各色彩范围的候选色彩直方图特征，所述各色彩范围通过从针对每个色彩分量的一组值中选择任意两个值作为所述各色彩范围的色彩分量的上限值和下限值来限定；通过针对样本图像的所述候选色彩直方图特征采用Adaboost算法，来从所述候选色彩直方图特征中选择要用于分类的特定数量的色彩直方图特征；根据针对所述输入图像所选择的色彩直方图特征的加权和是否小于阈值，来确定分类函数的值；以及基于所述分类函数的值将所述输入图像分类成多个种类。

本发明还提供一种用于将图像分类成多个种类的设备，包括：设置模块，其用于设置针对色彩空间中的每个色彩分量的各色彩范围的候选色彩直方图特征，所述各色彩范围通过从针对每个色彩分量的一组值中选择任意两个值作为所述各色彩范围的色彩分量的上限值和下限值来限定；选择模块，其用于通过针对样本图像的所述候选色彩直方图特征采用Adaboost算法，来从所述候选色彩直方图特征中选择要用于分类的特定数量的色彩直方图特征；确定模块，其用于根据针对所述输入图像所选择的色彩直方图特征的加权和是否小于阈值，来确定分类函数的值，分类模块，其用于基于所述分类函数的值将所述输入图像分类成多个种类。 

由于Adaboost的效力，可以选择图像的关键和有效特征并且由此提高了计算效率。与考虑色彩样本的分布但忽略其有效性的其他直方图算法相比，有效性也在积分图像直方图的考虑之内。总之，本发明的使用可以显著提高图像的查全率并获得与现有方法更好的分类结果。 

附图说明

根据下面结合附图阅读的示例性的实施方式的详细描述，本发明的上述和其他目的、特征和优势将变得明显。 

图1是根据本发明一个实施方式的一种用于将图像分类成多个种类的方法的流程图； 

图2是在本发明的实施方式中所使用的Adaboost算法的流程图； 

图3是图2中的Adaboost算法中的WeakLearn(弱学习)算法的流程图； 

图4是根据本发明一个实施方式的一种用于将图像分类成多个种类的设备的示意框图；以及 

图5示出本发明可在其中实施的一个实施方式的示意性应用。 

具体实施方式

现在参考附图对本发明进行更为详细地描述。 

图1示出根据本发明的一个实施方式的一种用于将图像分类成多个种类的方法的流程图。在步骤100处，输入将要被分类的图像。 在步骤110处，执行确定图像的色彩直方图矢量(也可由图4中的确定模块400来执行)，下文将对其进行详细地描述。 

首先，定义一种简单但很有效的候选色彩直方图特征。其可由下面的方程来表达： 

$f(r_1,r_2,g_1,g_2,b_1,b_2)=\underset{r=r_1}{\overset{r_2}{\&Integral;}}\underset{g=g_1}{\overset{g_2}{\&Integral;}}\underset{b=b_1}{\overset{b_2}{\&Integral;}}p(r,g,b)\mathrm{drdgdb}(r_1<r_2,g_1<g_2,b_1<b_2)---\left(1\right)$

其中p(r，g，b)表示图像像素色彩的概率。符号r₁，r₂，g₁，g₂，b₁，b₂表示特征参数，换句话说，不同的r₁，r₂，g₁，g₂，b₁，b₂可产生不同的特征。图像的候选色彩直方图f(r₁，r₂，g₁，g₂，b₁，b₂)可根据下式计算： 

$f(r_1,r_2,g_1,g_2,b_1,b_2)=\frac{\left|A_{r_1{r}_2{g}_1{g}_2{b}_1{b}_2}\right|}{\left|A\right|}---\left(2\right)$

其中|A|代表图像中像素的总数，而 

代表像素的总数，其r值大于或等于r₁而小于或等于r₂，g值大于或等于g₁而小于或等于g₂，b值大于或等于b₁而小于或等于b₂的。从理论上来说，上述的六个参数可以是从0到255的任意值并且因此在图像中存在(257×256/2)³＝35，598，301，659，136个特征。尽管理论特征值是如此的巨大，但由于计算的限度，仅它们中的一些将用作候选特征。优选地，r₁，r₂，g₁，g₂，b₁，b₂可以是{10，30，50，70，90，110，130，150，170，190，210，230，250}集合中的一个值。然而，应该注意到r₁，r₂，g₁，g₂，b₁，b₂的值不限于这里所描述的值，本领域技术人员可以根据实际需要设置r₁，r₂，g₁，g₂，b₁，b₂的值。接着，将仅有(14×13/2)³＝753571个特征用作候选色彩直方图特征。然而，753571个特征对于本方法来说依然太大。出于进一步简化的目的，使用Adaboost算法来训练将在本方法中使用的一些特征(即，选择特征，这也可由图4中的确定模块410来执行)。 

现在参考图2，其示出了Adaboost算法的流程图。尽管本领域技术人员了解Adaboost，但对其简短的描述将有助于更好的理解本发明。在步骤200，输入m个训练样本，即，S＝{(x₁，y₁)，(x₂，y₂)，...，(x_m，y_m)}，其中输入标示y_i∈Y＝{0，1}。这里x_i是通过由方程(2)计算的候选色彩直方图特征f₁，f₂...f₇₅₃₅₇₁所组成的753571维矢量，而值仅可以分别为代表蓝天图 像样本和非蓝天图像样本的0或1的y_i是与x_i关联的分类标记。应该注意到使用本发明来将图像分类成蓝天图像和非蓝天图像仅是示例性的，并且其可被用于将图像分类成如期望的任意种类。另外，应该注意到y_i的值不限于这里所述的值，本领域技术人员还可根据实际需要来设置y_i的值。 

在步骤210，初始变量被设置成等于1，在步骤220，根据下式来执行D_t(i)的初始化： 

D_t(i)＝1/m  i＝1，2，...，m，t＝1，2，...，T    (3) 

其中D₁是第一轮的训练样本S＝{(x₁，y₁)，(x₂，y₂)，...，(x_m，y_m)}的分布并且利用均匀分布来初始化。为了稍后的迭代而预先指定T并且在本方法中T优选的是46。在每次迭代中基于先前D_t-1来计算随后的D_t。接着流程图前进到迭代部分，在步骤230，调用具有误标记分布D_t的弱学习(稍后描述)并且由此得到输出为0或1的假设h_t(x)。输入样本的分类取决于h_t(x)的输出，即，如果h_t(x)＝1，则输入样本被分类为正的样本，而如果h_t(x)＝0，则输入样本被分类为负的样本。接着h_t(x)的伪损失可以根据下式计算： 

${\mathrm{\&epsiv;}}_t=\underset{\mathrm{ht}\left(x_i\right)\&NotEqual;y_i}{\mathrm{\&Sigma;}}{D}_t\left(i\right)---\left(4\right)$

ε_t是估计假设h_t好坏程度的值。如果ε_t是零，则h_t的结果很好。另一方面，如果ε_t越大，则ε_t的结果越坏。应该注意到该误差是针对分布D_t(i)来测量的。接着将βt设置成等于ε_t/(1-ε_t)，该值仅是为表达方便起见的临时变量并且没有实质性的含意。根据下式来更新分布D_t(i)： 

其中z_t是归一化常量(这样选择使得D_t+1将是分布)。示例的权重与某个数相乘，使得可基于D_t来计算D_t+1。接着可通过除以归一化常量来重新归一化权重。有效地，由许多先前弱假设所分类的“容易”样本将得到更低的权重，而往往被误分类的“难”样本将得到更高的权重。因此，本方法将对于弱学习来说是最难的样本分配最大的权重。在步骤 270，获得h₁，h₂...h_T，来自f₁，f₂，f₃...f₇₅₃₅₇₁的相应特征F₁，F₂...F_T是由Adaboost所选择的特征。 

现在返回到图1，在步骤130，通过如下T个选择的特征来形成最终强的分类器： 

其中 ${\mathrm{\&alpha;}}_t=\log \frac{1}{{\mathrm{\&beta;}}_t},$ h₁，h₂，...，h_T和β₁，β₂，...，β_T可通过上述提到的过程获得。如果H(x)的结果是1，则图像被分类为目标种类，而如果H(x)的结果是0，则图像被分类为非目标种类。这也可以通过图4中的分类模块410来完成。 

现在参考图3，其示出图2中所称的弱学习算法。在步骤300，m个样本的S＝{(x₁，y₁)，(x₂，y₂)，...，(x_m，y_m)}训练集合以及其在Adaboost算法中的第t轮的相应分布D＝{D(1)，D(2)，..，D(m)}被输入。接着流程图前进到迭代处理。对于k＝1，2，3...，d(d是753571，即，候选色彩直方图特征的数目)，获得第k个模式P_k＝{p_k，1，p_k，2，...，p_k，m}，其中p_k，i＝x_i，k并且x_i，k是x_i的第k个元素，而x_i是第i个样本的特征向量。通过P_k对训练样本S进行排序，使得对于任意的i＜j，p_k，i＜p_k，j，得到符号权重w_k＝{w_k，1，w_k，2，...w_k，m}，w_k，i＝(y_i*2-1)*D(i)，因此对于正的(负的)样本，w_k，i是正的(负的)，得到负权重的和 ${S0}_k=\underset{w_{k,i}<0}{\mathrm{\&Sigma;}}-w_{k,i}$ (和是正数)，得到符号权重c_k＝{c_k，1，c_k，2，...，c_k，m}的累积和，其中 $c_{k,i}=\underset{j=1}{\overset{i}{\mathrm{\&Sigma;}}}{w}_{k,j}+{S0}_k-0.5,$ 接着找到索引i1和i2，使得c_k，i1＝max{c_k，1，c_k，2，...c_k，m-1}和c_k，i2＝min{c_k，1，c_k，2，...，c_k，m-1}，如果c_k，i1＞-c_k，i2，则设置S_k＝1，rk＝p_k，id1/2+p_k，id1+1/2，否则设置S_k＝-1，r_k＝-p_k，id2/2-p_k，id2+1/2，接着得到候选h′_k，其中 

得到损失函数  ${\mathrm{\&epsiv;}}_k=\underset{h_k\left(x_i\right)\&NotEqual;y_i}{\mathrm{\&Sigma;}}{D}_t\left(i\right).$

在上述的迭代处理之后，在步骤370，选择最佳k，即，k0，其中 

最终，弱学习输出如下的假设： 

假定在第t轮迭代中得到弱学习假设并且令h_t＝h’_t0。则f_k0是在Adaboost算法的第t轮中选择的特征。 

图5示出其中可实施本发明一个实施方式的示意应用。在步骤500输入图像。在步骤510，图像由根据本发明的如图1中的方法或如图4中的设备来进行分类。在步骤520，基于得到的图像种类来对图像施加图像改进处理。最后获得改进的图像。例如，假设目标种类是蓝天，并且在训练处理中，则原始的候选特征是f₁，f₂...ft(作为示例，t是753571)，由Adaboost从候选特征所选择的特征是f_n1，f_n2...f_nm(作为示例，m是43)。处理输入的色彩图像。对于特征值是v₁，...，v_m的例子，首先在图1的步骤110确定图像的特征f_n1，..，f_nm的值，并且将其施加到图1的步骤120，接着图像被分类为蓝天图像。接着在图5的步骤520中，施加图像改进处理以改进作为蓝天图像的输入图像(改进方法可以使得图像中的蓝色更深)。 

尽管已经公开了本发明的特定实施方式，但本领域技术人员将理解可针对特定的实施方式做出改变而不会偏离本发明的精神和范围。因此，本发明的范围不限于特定的实施方式，并且意图在于所附权利要求书涵盖本发明范围内的任何和所有这样的应用、修改和实施方式。 

Claims (12)

1.一种用于将输入图像分类成多个种类的方法，包括步骤：

设置针对同一色彩空间中的每个色彩分量的各色彩范围的候选色彩直方图特征，所述各色彩范围通过从针对每个色彩分量的一组值中选择任意两个值作为所述各色彩范围的色彩分量的上限值和下限值来限定；

通过针对样本图像的所述候选色彩直方图特征采用Adaboost算法，来从所述候选色彩直方图特征中选择要用于分类的特定数量的色彩直方图特征；

根据针对所述输入图像所选择的色彩直方图特征的加权和是否小于阈值，来确定分类函数的值；以及

基于所述分类函数的值将所述输入图像分类成多个种类。

2.根据权利要求1所述的方法，其中每个所述候选色彩直方图特征定义为由图像中所选色彩范围内的图像像素色彩的概率。

3.根据权利要求2所述的方法，其中所述概率计算为所选色彩范围内的像素与所述图像中所有像素的比值。

4.根据权利要求2所述的方法，其中所选色彩范围是任意同一色彩空间内的色彩范围。

5.根据权利要求4所述的方法，其中所述色彩空间是RGB色彩空间。

6.根据权利要求4所述的方法，其中所选色彩范围是所述色彩空间内的任意色彩范围。

7.一种用于将输入图像分类成多个种类的设备，包括：

设置模块，其用于设置针对同一色彩空间中的每个色彩分量的各色彩范围的候选色彩直方图特征，所述各色彩范围通过从针对每个色彩分量的一组值中选择任意两个值作为所述各色彩范围的色彩分量的上限值和下限值来限定；

选择模块，其用于通过针对样本图像的所述候选色彩直方图特征采用Adaboost算法，来从所述候选色彩直方图特征中选择要用于分类的特定数量的色彩直方图特征；

确定模块，其用于根据针对所述输入图像所选择的色彩直方图特征的加权和是否小于阈值，来确定分类函数的值，

分类模块，其用于基于所述分类函数的值将所述输入图像分类成多个种类。

8.根据权利要求7所述的设备，其中每个所述候选色彩直方图特征定义为由图像中所选色彩范围内的图像像素色彩的概率。

9.根据权利要求8所述的设备，其中所述概率计算为所选色彩范围内的像素与所述图像中所有像素的比值。

10.根据权利要求8所述的设备，其中所选色彩范围是任意同一色彩空间内的色彩范围。

11.根据权利要求10所述的设备，其中所述色彩空间是RGB色彩空间。

12.根据权利要求10所述的设备，其中所选色彩范围是所述色彩空间内的任意色彩范围。

Images