CN103440501A - 基于非参数空间判决隐狄利克雷模型的场景分类方法 - Google Patents

Abstract

本发明公开了一种基于非参数空间判决隐狄利克雷模型的场景分类方法。主要解决现有的分类方法中不包含场景空间信息的缺点。其实现步骤是：（1）输入图像；（2）提取图像块特征；（3）初始化非参数空间判决隐狄利克雷模型参数；（4）建立非参数空间判决隐狄利克雷模型；（5）图像场景分类。本发明利用了含有空间信息的图像块，可以更为丰富的描述图像场景，提高了图像场景分类的准确率。

Description

基于非参数空间判决隐狄利克雷模型的场景分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及模式识别技术领域中的一种基于非参数空间判决隐狄利克雷（Nonparametric Spatial Discriminative LatentDirichlet Allocation，NS-DiscLDA）模型的场景分类方法。本发明可用于对自然图像的场景分类，提高场景分类准确率。

背景技术

场景分类是图像理解的基本任务之一，它在场景识别中有非常重要的作用。传统的场景分类通常基于三种方法：其一，基于图谱分析的图像集合的场景分类方法；其二，基于监督流形学习的场景分类方法；其三，基于目标及其空间关系特性的场景分类方法。

清华大学申请的专利“基于谱图分析的图像集合的场景分类方法及装置”（申请号：201110221407.3申请日：2011-08-03申请公布号：CN102542285A）中公开了一种场景分类方法。该方法通过交互时间确定隶属度，主要解决现有方法中非线性数据丢失的问题，进而提高分类准确率。该方法实施方式是：首先提取图像集合的SIFT特征集合，并得到K个聚类和K个码字，根据任意图像的SIFT特征和码字建立有权图谱，确定有权图谱与任意节点的欧氏距离最近的K’个节点，得到节点集合对应的权重矩阵，然后根据权重矩阵得到拉普拉斯算子矩阵，对拉普拉斯算子矩阵进行运算得到任意图像的每一个SIFT特征与K个码字之间的交互时间，根据交互时间确定隶属度，最后根据隶属度确定码字分配结果，根据分配结果对场景进行分类。但是，该专利申请的方法存在的不足之处是：单纯利用分类器对图像场景进行分类，缺失了场景中语义信息，进而降低了场景分类的准确率。

清华大学申请的专利“基于监督流形学习的场景分类方法及装置”（申请号：201110202756.0申请日：2011-07-19申请公布号：CN102254194A）中公开了一种场景分类方法。该方法利用流形学习对图像场景进行了分类，主要解决现有方法没有考虑高维特征点的流形特征的问题。该方法实施方式是：首先提取图像特征并获取特征的聚类中心组成的码本，然后获取每个流形结构上的各个特征到码字上的度量，计算测试图像的特征到码字的隶属度并得到直方图向量，最后利用支持向量机对直方图向量进行学习，得到图像的场景类别。但是，该专利申请的方法存在的不足之处是：该方法采用了流形学习技术，然而流形学习技术的分类能力较弱，从而导致了场景分类的准确率降低，另外该方法的计算复杂度太高，导致场景分类速度降低。

中国科学院电子学研究所申请的专利“一种基于目标及其空间关系特性的图像场景分类方法”（申请号：201110214985.4申请日：2011-07-29申请公布号：CN102902976A）中公开了一种场景分类方法。该方法通过融合主题之间的空间关系特性提高场景分类准确率。该方法实施方式是：首先定义一种空间关系直方图，表征目标之间的空间关系，然后采用融合主题之间空间关系特性的概率隐含语义分析模型，建立图像模型，最后用支持向量机分类场景图像。但是，该专利申请的方法存在的不足之处是：由于该方法采用了pLSA主题模型建模的方法，然而pLSA主题模型缺失先验信息，导致细节信息丢失进而降低了场景分类的准确率。

发明内容

本发明的目的在于克服上述现有技术的不足，提出基于非参数空间判决隐狄利克雷模型的场景分析方法，更为全面地描述图像，提高场景分类准确率。

实现本发明的技术思路是，将图像均匀分割为许多8×8的图像块，提取图像块的SIFT特征，获取图像块的空间坐标，利用图像块的特征和空间坐标建立非参数空间判决隐狄利克雷模型，使得模型中包含图像块的空间信息，达到更为全面地描述图像，提高场景分类准确率的目的。

为实现上述目的，本发明包括如下主要步骤：

（1）输入图像：输入人工标注场景类别的训练图像。

（2）提取图像块特征。

将训练图像分成多个8×8的图像块，对每个图像块提取SIFT特征，记录每个图像块的空间坐标。

（3）初始化模型参数：对非参数空间判决隐狄利克雷模型进行手工初始化，获得场景元素空间分布参数。

（4）建立非参数空间判决隐狄利克雷模型。

估计模型中每个主题的单词分布的参数，对图像块的特征和空间坐标进行统计建模，建立非参数空间判决隐狄利克雷模型。

（5）图像场景分类。

根据非参数空间判决隐狄利克雷模型，预测测试图像的类别标记，完成图像场景的分类。

本发明与现有方法相比具有如下优点：

第一，本发明在提取图像块特征时记录图像块的空间坐标，克服了现有技术中不包含空间信息的缺点，使得本发明的图像信息更加完整，提高了图像场景分类准确率。

第二，本发明对图像块的特征和空间坐标进行统计建模，使图像块的特征通过空间坐标相互联系，克服了现有技术图像表示方法中图像块的信息不相关的缺点，使得本发明的图像表示方法保持了图像信息的全面性。

第三，本发明所建立的非参数空间判决隐狄利克雷模型利用了主题的单词分布进行建模，使建模更加容易，克服了现有技术中图像建模能力差的缺点，使得本发明表现出了更好的建模能力。

附图说明

图1为本发明的流程图；

图2为本发明的非参数空间判决隐狄利克雷模型图。

具体实施方式

下面结合附图对本发明作进一步的详细描述。

参照附图1，对本发明实现的步骤如下：

步骤1，输入图像。

输入人工标注场景类别的训练图像。本发明的人工标注是指对所有训练图像分别标注自然图像类别标记。

步骤2，提取图像块特征。

将训练图像分成多个8×8的图像块，对每个图像块提取SIFT特征，记录每个图像块的空间坐标。

SIFT特征提取的步骤如下：

第一步，将拟提取SIFT特征的图像块组成图像块集合。

第二步，为尺度值σ选取0.5、0.8、1.1、1.4、1.7五个尺度值，将五个尺度值分别带入下式，得到不同尺度的五个高斯函数。

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)}$

其中，G(x,y,σ)表示在σ尺度值下的高斯函数，x、y分别表示图像块像素点对应的横、纵坐标值。

第三步，将第一步图像块集合中每个图像块分别与五个不同尺度的高斯函数卷积，获得第一阶五层图像集。

第四步，将第一阶五层图像集的每幅图像隔点采样，获得第二阶五层图像集。

第五步，将第二阶五层图像集的每幅图像隔点采样，获得第三阶五层图像集。

第六步，将同层相邻阶的图像相减，获得二阶五层差分图像集。

第七步，获得所有图像的二阶五层差分图像集，所有图像的二阶五层差分图像集就是高斯差分尺度空间。

第八步，将高斯差分尺度空间中图像的每个像素点，分别与该像素点位置相邻的8个像素点和同阶上下层图像位置相邻的18个像素点进行灰度值大小比较，判断该像素点是否是极值点，如果该像素点是极值点，则标记为特征点，否则，不标记。

第九步，按照下式，计算高斯差分尺度空间中每个特征点的主曲率比值。

$C=\frac{{(\mathrm{\α}+\mathrm{\β})}^2}{\mathrm{\α\β}}$

其中，C表示高斯差分尺度空间中特征点的主曲率比值，α，β分别表示高斯差分尺度空间中的特征点在图像像素点横、纵坐标方向的梯度值。

第十步，判断高斯差分尺度空间中每个特征点的主曲率比值是否小于主曲率比值阈值10，如果小于，则标记该特征点为关键点，否则，不标记。

第十一步，按照下式，计算高斯差分尺度空间中图像每个关键点的梯度幅值。

$m(x,y)=\sqrt{{[L(x+1,y)-L(x-1,y)]}^2+{[L(x,y+1)-L(x,y-1)]}^2}$

其中，m(x,y)表示关键点的梯度幅值，x、y分别表示关键点对应的横、纵坐标值，L表示关键点在尺度空间中的尺度。

第十二步，按照下式，计算高斯差分尺度空间中图像每个关键点的梯度方向。

θ(x,y)=αtan2{[L(x,y+1)-L(x,y-1)]/[L(x+1,y)-L(x-1,y)]}

其中，θ(x,y)表示关键点的梯度方向，x、y分别表示关键点对应的横、纵坐标值，α表示关键点在横坐标方向的梯度值，L表示关键点在尺度空间中的尺度。

第十三步，统计高斯差分尺度空间中每个关键点周边8×8个像素点的梯度方向和幅值，获得梯度直方图，其中，梯度直方图的横轴是梯度方向角，纵轴是梯度方向角对应的幅值。

第十四步，将高斯差分尺度空间的坐标轴旋转为关键点的方向，计算每个关键点子区域的8维向量表示，将所有关键点子区域的8维向量组合，获得中每个关键点的128维SIFT特征。

步骤3，初始化模型参数。

对非参数空间判决隐狄利克雷模型进行手工初始化，获得场景元素空间分布参数。

模型初始化的步骤如下：

第一步，查找训练图像中是否存在场景元素空间布局信息，如果存在，转到第二步，否则，转到第三步。

第二步，将训练图像的场景元素空间布局信息作为场景元素空间分布参数。

第三步，将训练图像均匀分成多个8×8的图像块，由统计图像块的方法得到场景元素空间分布参数。

步骤4，建立非参数空间判决隐狄利克雷模型。

估计模型中每个主题的单词分布的参数，对图像块的特征和空间坐标进行统计建模，建立非参数空间判决隐狄利克雷模型。

下面结合附图2，对本发明建立非参数空间判决隐狄利克雷模型的过程作进一步的详细描述。

本发明建立非参数空间判决隐狄利克雷模型的步骤如下：

第一步，根据场景元素空间的分布参数，估计图像主题的概率分布R。

第二步，对图像d(d=1,2,...,D)在主题上的概率分布θ_d随机采样，得到图像块主题的采样样本z_dn，α表示变量θ_d的分布参数,k(k=1,2,...,K₁)表示主题。

第三步，根据图像块主题的采样样本z_dn，估计图像块主题的单词分布参数φ_k，β表示变量φ_k的分布参数。

第四步，根据图像块主题的单词分布参数φ_k，建立非参数空间判决隐狄利克雷模型，其中，π表示类别标记的分布，本发明中为均匀分布，y_d表示图像d的类别标记，T表示场景的映射矩阵，N_d表示图像块，u_dn表示图像块dn隐主题，w_dn表示图像块dn单词号，l_dn表示图像块dn的空间坐标。

步骤5，图像场景分类。

根据非参数空间判决隐狄利克雷模型，预测测试图像的类别标记，完成图像场景的分类。

第一步，将测试图像带入非参数空间判决隐狄利克雷模型，得到测试图像类别概率分布。

第二步，将测试图像类别概率分布中概率最大的类别作为测试图像的类别标记。

本发明的效果可以通过以下仿真实验做进一步的说明。

1.仿真条件

本发明是在中央处理器为Intel(R)Core i3-5302.93GHZ、内存4G、WINDOWS7操作***上，运用MATLAB软件进行的仿真。数据库采用LabelMe数据库和UIUC-Sports数据库。

2.仿真内容

本发明在图像场景数据库上进行场景分类仿真实验。测试图像采用LabelMe数据库和UIUC-Sports数据库。LabelMe数据库包含8个场景分类，分别是“高速公路”，“城市”，“高建筑物”，“街道”，“森林”，“海岸”，“山脉”和“乡村”。UIUC-Sports数据库包含8个场景分类，分别是“羽毛球”，“地掷球”，“槌球”，“马球”，“攀岩”，“赛艇”，“帆船”和“滑雪”。

本发明以分类准确率为指标对方法性能进行评测，仿真对比了不同场景分类方法对图像场景进行分类的准确率，对比的多种场景分类方法包括空间隐狄利克雷（Spatial Latent Dirichlet Allocation，sLDA）方法、判决隐狄利克雷（Discriminative Latent Dirichlet Allocation，DiscLDA）方法、空间判决隐狄利克雷（Spatial Discriminative Latent Dirichlet Allocation，S-DiscLDA）方法和本发明方法。对比实验结果如下表所示。

由上表可见，在两种数据库上进行场景分类实验，本发明的分类准确率是四种方法中最高的。这是因为本发明突出了包含空间信息的图像块，所以能够更好地描述图像场景，由此获得在分类准确率上优于其他场景分类方法的效果，进一步验证了本发明的先进性。

Claims (6)

1.一种基于非参数空间判决隐狄利克雷模型的场景分类方法，其特征在于，包括以下步骤：

（1）输入图像：输入人工标注场景类别的训练图像；

（2）提取图像块特征：

将训练图像分成多个8×8的图像块，对每个图像块提取SIFT特征，记录每个图像块的空间坐标；

（3）初始化模型参数：

对非参数空间判决隐狄利克雷模型进行手工初始化，获得场景元素空间分布参数；

（4）建立非参数空间判决隐狄利克雷模型：

估计模型中每个主题的单词分布的参数，对图像块的特征和空间坐标进行统计建模，建立非参数空间判决隐狄利克雷模型；

（5）图像场景分类：

根据非参数空间判决隐狄利克雷模型，预测测试图像的类别标记，完成图像场景的分类。

2.根据权利要求1所述的基于非参数空间判决隐狄利克雷模型的场景分类方法，其特征在于，步骤(1)所述的标注场景类别是指对所有训练图像分别标注自然图像类别标记。

3.根据权利要求1所述的基于非参数空间判决隐狄利克雷模型的场景分类方法，其特征在于，步骤(2)所述提取SIFT特征的步骤如下：

第一步，将拟提取SIFT特征的图像块组成图像块集合；

第二步，为尺度值σ选取0.5、0.8、1.1、1.4、1.7五个尺度值，将五个尺度值分别带入下式，得到不同尺度的五个高斯函数；

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)}$

其中，G(x,y,σ)表示在σ尺度值下的高斯函数，x、y分别表示图像块像素点对应的横、纵坐标值；

第三步，将第一步图像块集合中每个图像块分别与五个不同尺度的高斯函数卷积，获得第一阶五层图像集；

第四步，将第一阶五层图像集的每幅图像隔点采样，获得第二阶五层图像集；

第五步，将第二阶五层图像集的每幅图像隔点采样，获得第三阶五层图像集；

第六步，将同层相邻阶的图像相减，获得二阶五层差分图像集；

第七步，获得所有图像的二阶五层差分图像集，所有图像的二阶五层差分图像集就是高斯差分尺度空间；

第八步，将高斯差分尺度空间中图像的每个像素点，分别与该像素点位置相邻的8个像素点和同阶上下层图像位置相邻的18个像素点进行灰度值大小比较，判断该像素点是否是极值点，如果该像素点是极值点，则标记为特征点，否则，不标记；

第九步，按照下式，计算高斯差分尺度空间中每个特征点的主曲率比值；

$C=\frac{{(\mathrm{\α}+\mathrm{\β})}^2}{\mathrm{\α\β}}$

其中，C表示高斯差分尺度空间中特征点的主曲率比值，α，β分别表示高斯差分尺度空间中的特征点在图像像素点横、纵坐标方向的梯度值；

第十步，判断高斯差分尺度空间中每个特征点的主曲率比值是否小于主曲率比值阈值10，如果小于，则标记该特征点为关键点，否则，不标记；

第十一步，按照下式，计算高斯差分尺度空间中图像每个关键点的梯度幅值；

$m(x,y)=\sqrt{{[L(x+1,y)-L(x-1,y)]}^2+{[L(x,y+1)-L(x,y-1)]}^2}$

其中，m(x,y)表示关键点的梯度幅值，x、y分别表示关键点对应的横、纵坐标值，L表示关键点在尺度空间中的尺度；

第十二步，按照下式，计算高斯差分尺度空间中图像每个关键点的梯度方向；

θ(x,y)=αtan2{[L(x,y+1)-L(x,y-1)]/[L(x+1,y)-L(x-1,y)]}

其中，θ(x,y)表示关键点的梯度方向，x、y分别表示关键点对应的横、纵坐标值，α表示关键点在横坐标方向的梯度值，L表示关键点在尺度空间中的尺度；

第十三步，统计高斯差分尺度空间中每个关键点周边8×8个像素点的梯度方向和幅值，获得梯度直方图，其中，梯度直方图的横轴是梯度方向角，纵轴是梯度方向角对应的幅值；

第十四步，将高斯差分尺度空间的坐标轴旋转为关键点的方向，计算每个关键点子区域的8维向量表示，将所有关键点子区域的8维向量组合，获得中每个关键点的128维SIFT特征。

4.根据权利要求1所述的基于非参数空间判决隐狄利克雷模型的场景分类方法，其特征在于，步骤(3)所述的模型初始化的步骤如下：

第一步，查找训练图像中是否存在场景元素空间布局信息，如果存在，转到第二步，否则，转到第三步；

第二步，将训练图像的场景元素空间布局信息作为场景元素空间分布参数；

第三步，将训练图像均匀分成多个8×8的图像块，由统计图像块的方法得到场景元素空间分布参数。

5.根据权利要求1所述的基于非参数空间判决隐狄利克雷模型的场景分类方法，其特征在于，步骤(4)所述的建立非参数空间判决隐狄利克雷模型的步骤如下：

第一步，根据场景元素空间的分布参数，估计图像主题的概率分布；

第二步，对图像主题的概率分布随机采样，得到图像块主题的采样样本；

第三步，根据图像块主题的采样样本，估计图像块主题的单词分布参数；

第四步，根据图像块主题的单词分布参数，建立非参数空间判决隐狄利克雷模型。

6.根据权利要求1所述的基于非参数空间判决隐狄利克雷模型的场景分类方法，其特征在于，步骤(5)中所述的预测测试图像类别标记的步骤如下：

第一步，将测试图像带入非参数空间判决隐狄利克雷模型，得到测试图像类别概率分布；

第二步，将测试图像类别概率分布中概率最大的类别作为测试图像的类别标记。

Images