CN102663401A - 一种图像特征提取和描述方法 - Google Patents

Abstract

本发明涉及图像处理与计算机视觉领域，具体提供了一种适用于BoW(Bag of Words)模型应用在计算机视觉领域的图像特征提取与描述方法。本发明包括：对输入图像进行格式判断，若是灰度图像则不作处理，若不是灰度图像，则转换为HSV模型；选取尺度参数；采用均匀采样方法，按选取的尺度参数，以相同像素间隔对图像的特征点进行提取，计算图像H通道、S通道、V通道的DF-SIFT描述子，将颜色信息应用到分类任务中，采样密度由参数步长进行控制，得到图像的密集特征；对密集特征进行描述。本发明通过密集采样，使视觉词典更加准确可靠，利用双线性插值代替图像与高斯核函数卷积过程，使实现过程变得更简单、高效。

Description

一种图像特征提取和描述方法

技术领域

本发明涉及图像处理与计算机视觉领域，具体提供了一种适用于BoW(Bag of Words)模型应用在计算机视觉领域的图像特征提取与描述方法。

背景技术

图像分类作为图像处理的基础应用，长期以来受到各国专家学者以及工程技术人员的广泛关注。而BoW模型最初应用于文档处理领域，将文档表示成顺序无关的关键词的组合，通过统计文档中关键词出现的频率来进行匹配。近几年来，计算机视觉领域的研究者们成功地将该模型的思想移植到图像处理领域，通过对图像进行特征提取和描述，得到大量特征进行处理，从而得到用来表示图像的单词，并在此基础上构建视觉词典，然后对待分类图像采用相同的处理方法，将结果代入到训练的分类器中进行分类。该模型中最关键的步骤即为特征的提取与描述，传统方法中采用尺度无关特征变换(Scale-invariant Feature Transform，SIFT)方法应用于BoW模型，然而SIFT描述子只是针对图像的稳定特征点进行提取和描述，因此其必然存在信息丢失和遗漏的问题。在对图像应用SIFT描述子时，需要求图像具有较为标准的形式，例如图像尺寸足够大，关键物体所占比例足够大，这样才能保证有足够的特征点被提取后用到后续匹配。在特征点进行提取和描述的过程中，复杂度很高，需要消耗大量的计算时间，这也是对图像识别和分类任务不利的一面。而在BoW模型中，在进行特征提取环节之后，要应用聚类方法来生成视觉单词，因此如果在特征提取环节不能提供足够丰富的信息，则会直接影响生成的视觉单词的代表性，进而影响后续的分类准确度。因此，研究者们一直致力于对SIFT描述子进行改进或者用新的描述子来代替SIFT描述子应用于BoW模型中。例如采用PCA-SIFT描述子，通过一个正交矩阵变换把原数据变换到一个新的坐标***中，从而实现高维数据向低维数据的转换，降低计算的复杂度。此外，还有加速鲁棒特征(SpeededUp Robust of Features，SURF)描述子，主要针对SIFT描述子进行了改进，其效率更高，鲁棒性更强。

发明内容

本发明的目的在于提供一种在应用于BoW模型时更高效的DF-SIFT(Dense Fast-SIFT)图像特征提取与描述方法。

本发明的目的是这样实现的：

本发明的一种图像特征提取和描述方法，包括：

(1)对输入图像进行格式判断，若是灰度图像则不作处理，若不是灰度图像，则转换为HSV模型；

(2)选取尺度参数；

(3)采用均匀采样方法，按选取的尺度参数，以相同像素间隔对图像的特征点进行提取，计算图像H通道、S通道、V通道的DF-SIFT描述子，将颜色信息应用到分类任务中，采样密度由参数步长进行控制，得到图像的密集特征；

(4)对密集特征进行描述。

图像H通道、S通道、V通道的DF-SIFT描述子的模型为：

$s=\left\{\begin{array}{cc}0,& \mathrm{if}\max =0\\ \frac{\max -\min }{\max }=1-\frac{\min }{\max },& \mathrm{otherwise}\end{array}\right.,$

v＝max，

其中h代表色度，s代表饱和度、v代表亮度，max表示r，g，b三个分量中的最大值，min表示r，g，b三个分量中的最小值。

对密集特征进行描述，包括：

(1)将特征调整至0°；

(2)以特征点为圆心，以统一尺度为半径构造圆形区域，将落在该圆形区域的像素点分成4×4个不重叠的子区域；

(3)在每个子区域计算0°、45°、90°、135°、180°、225°、270°、315°八个方向的梯度值；

(4)对每个子区域进行均匀加权，应用高斯函数的均值对每个子区域进行加权，应用双线性插值完成对梯度的累积，每个特征由一个4*4*8的128维的向量进行描述。

对密集特征进行描述后，统计不同步长参数的准确率结果，得到最优步长参数，以最优步长参数重新提取图像的密集特征并进行描述。

尺度参数分别为4、6、8、10。

本发明的有益效果在于：

本发明所述的图像特征提取与描述方法采用简化的特征点提取方法，通过密集采样得到了充分表征图像信息的特征，使应用聚类方法进行聚类而生成的视觉词典更加准确可靠，采用多尺度描述方法保证了图像特征的尺度不变性。颜色信息的引入使得图像信息的利用更加完整，从而为后续的分类以及识别环节提供了更全面而准确的特征信息。

用矩形窗代替传统SIFT描述子中的高斯窗对图像进行平滑，利用双线性插值代替图像与高斯核函数卷积的过程，简化了实现过程。对特征进行统一的多尺度分配，避免了复杂的尺度计算过程。最优步长参数的选取使本发明在保证了准确性的基础上提高了效率。

附图说明

图1是本发明流程示意图；

图2是应用DF-SIFT描述子进行特征描述时得到的特征结果示意图；

图3是不同步长参数设置下应用DF-SIFT描述子于BoW模型中进行图像分类时所得到的分类正确率统计结果示意图；

图4是SIFT与DF-SIFT描述子应用于BoW模型时的单个类别图像分类正确率比较结果示意图。

具体实施方式

本发明的目的在于将原本应用于文本处理领域的BoW模型应用于图像分类领域时，能够通过应用DF-SIFT描述子，得到精确描述图像信息的特征，且适用于后续的构建词典以及SVM分类过程，从而克服现有图像特征提取与描述方法的复杂度高及分类结果欠佳的问题。在应用BoW模型进行图像表示时，其比较关键的步骤为对图像进行特征的提取和描述，并且需要大量丰富的特征来保证图像的信息得到完整的描述。因此，本发明提出的DF-SIFT描述子采用均匀采样的方法，逐像素进行特征点的提取，从而得到密集的图像特征，采样的密度由参数“步长”来控制。然而，这并不意味着特征点越多越好，因为特征点的增多会给后续的聚类步骤带来复杂的计算负担，因此本发明通过大量的随机实验进行了最优参数的选取。颜色信息是表征图像内容的重要信息，DF-SIFT描述子采用了自动HSV选择模型，即首先对图像表示模型进行判断，对灰度图像外的图像进行模型转换，在H、S、V三个通道上分别计算特征。

在完成特征提取对特征进行描述时，SIFT采用的是利用高斯窗函数进行梯度的加权累积，而在DF-SIFT中，将高斯窗函数用矩形窗来代替，对特征点的邻域进行均匀加权，而不是高斯加权，这样仅仅应用双线性插值来代替与高斯函数的卷积便可以完成对梯度的累积，之后应用高斯函数的均值对其所在单元进行统一加权。这种近似方法既提高了速度，又保证了性能不受损失。由于DF-SIFT采用的是均匀抽取关键点的方法，因此其特征的尺度不变性性能会受到一定的破坏，为了保证尺度不变性，我们采用多尺度提取的方法，对每一个关键点用多个不同的尺度进行提取和描述。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征，这样得到的特征同样能保证尺度的不变性。

下面结合附图举例对本发明做更详细地描述：

1.从Caltech 101与Caltech 256两个数据库中分别随机选取10类图像，再从每一类中随机抽取相应数目的图像进行训练。首先对每个训练图像进行格式判断，如果不是灰度图像，则转换为HSV模型，如果是灰度图像，则跳出，直接进行特征提取处理；

2.对图像进行均匀采样，逐相同像素间隔进行特征点的提取，首先在尺度为4的情况下进行，这样便得到了一系列尺度为4的特征区域；

3.对图像进行多尺度再次提取。这里，将尺度设定为6，8，10。至此便得到了大量的多尺度图像特征；

4.对每个特征进行描述。以特征点为圆心，尺度为半径构造圆形区域，将该区域分为4*4的子区域，在每个子区域里计算其8个方向(0°，45°，90°，135°，180°，225°，270°，315°)的梯度累加值。计算过程中用矩形窗对子区域进行平滑，这样用双线性插值就可以完成梯度的累积，最后应用高斯函数的均值对各个子区域进行加权。这样，每一个特征都可以用一个4*4*8＝128维的向量来进行描述。

5.对特征进行提取和描述之后，采用k-means聚类方法对得到的大量特征进行聚类，将聚类中心作为视觉单词；

6.将步骤5得到的视觉单词进行整合，构造视觉词典，每一类图像用基于视觉词典的直方图进行表示；

7.对待分类图像重复1-4的过程，得到待分类图像的特征提取与描述结果。然后通过计算每个特征向量与视觉单词库中的视觉单词的距离，判断其归属于哪一个视觉单词，并将图像表示成基于视觉词典的直方图；

8.将上述视觉词典直方图输入到SVM分类器中进行分类；

9.为保证方法的效率，进行大量的随机实验对不同步长设置下所得到的分类准确率结果进行统计，通过结果找到最优步长设置的参数值。

参照图2，图1表示的是应用DF-SIFT提取与描述方法多得到的特征示意图，从该图可以看出，应用DF-SIFT描述子可以得到的密集的多尺度特征。

参照图3，旨在对DF-SIFT描述子进行最优参数选取。从Caltech 101和Caltech 256两个数据库中随机抽取10类进行实验，并从中随机抽取20张用来训练，再随机抽取20张用来测试。步长的选择从2到20。假设在用来测试的20幅图像中，正确分类的有N幅图像，则显然，分类正确率为N/20。从图中可以看出，对于Caltech 101和Caltech 256两个数据库来讲，分类准确率在步长小于等于8时几乎保持不变，对Caltech 101的分类准确率为91％左右，而对Caltech 256的分类准确率为55.5％左右。可以看出，对于Caltech 256库的分类正确率较低，这是因为该库的图像具有较大的变化特性，因此分类难度更高。但这并不能否定DF-SIFT的性能，因为在与传统的SIFT算子进行比较时，其结果仍然具有较大的提高，当步长大于8时，分类的正确率开始下降。因此将参数“步长”设为8，这样在保证效率的基础上提高了分类的准确率。

表1

表1是SIFT与DF-SIFT描述子在应用于BoW模型时的图像分类正确率比较结果，旨在对在BoW模型中应用DF-SIFT描述子与应用SIFT描述子的分类正确率结果进行比较。同样选用Caltech 101和Caltech 256两个数据库进行验证，来保证实验结果的说服性。从数据库中随机抽取10类，将训练图像数目分别设为5，10，15，20，25，30。再随机抽取20张图像作为测试。实验结果为20次实验的统计平均。应用DF-SIFT描述子所得到的分类正确率要远远好于SIFT描述子的结果，这就验证了本发明提出的方法的有效性。

参照图4，旨在进一步验证算法的性能，对单次实验10类图像的每类分类结果进行了跟踪统计，这10类图像包括：Faces，Faces_easy，Leopards，Motorbikes，Airplanes，Bonsai，Brain，Buddha，Butterfly，car_side。实验结果为20次实验的统计平均。图4从左到右依次为训练图像N_train为5，10，15，20，25，30时各个具体类别在应用SIFT以及DF-SIFT描述子时的分类准确率比较，其中横轴1-10分别依次代表上述的10类对象，纵轴代表分类的正确率，条形图中，每对条形图形的左侧条形代表基于SIFT描述子的每类图像的分类正确率，右侧条形代表基于DF-SIFT描述子的每类图像的分类正确率，可以看出，右侧条形图的值要高于左侧的条形图。结合上述的实验结果，我们可以得出结论，无论是对于整体的平均分类正确率，还是对于具体类别的分类正确率，DF-SIFT的性能都要好于SIFT。

表2

表2是SIFT与DF-SIFT描述子应用于BoW模型进行图像分类时的处理时间统计结果，旨在验证方法的复杂度。如果仅仅考虑特征抽取环节，DF-SIFT因为避免了大量的复杂运算，所以其抽取速度要明显快于SIFT描述子。但是将其应用到BoW模型中时，其密集的特征区域必然会给后续的聚类环节带来一定的数据负担。为了解决这一问题，我们对DF-SIFT进行了最优参数选取，根据实验结果将参数“步长”的值设为8。在实验时，我们统计了当步长的值为8时的DF-SIFT以及SIFT的算法运行时间，这里，运行时间包括训练时间和测试时间。从图中可以看出，经过参数优化的DF-SIFT描述子的运行时间要小于应用SIFT描述子的运行时间，这也验证了对DF-SIFT描述子进行参数选取的必要性和意义。

上述为本发明特举之实施例，并非用以限定本发明。本发明提供的DF-SIFT特征提取和描述方法同样也适用于其他的图像识别领域。在不脱离本发明的实质和范围内，可做些许的调整和优化，以本发明的保护范围以权利要求为准。

Claims (9)

1.一种图像特征提取和描述方法，其特征是包括：

(1)对输入图像进行格式判断，若是灰度图像则不作处理，若不是灰度图像，则转换为HSV模型；

(2)选取尺度参数；

(3)采用均匀采样方法，按选取的尺度参数，以相同像素间隔对图像的特征点进行提取，计算图像H通道、S通道、V通道的DF-SIFT描述子，将颜色信息应用到分类任务中，采样密度由参数步长进行控制，得到图像的密集特征；

(4)对密集特征进行描述。

2.根据权利要求1所述的一种图像特征提取和描述方法，其特征是：所述图像H通道、S通道、V通道的DF-SIFT描述子的模型为：

$s=\left\{\begin{array}{cc}0,& \mathrm{if}\max =0\\ \frac{\max -\min }{\max }=1-\frac{\min }{\max },& \mathrm{otherwise}\end{array}\right.,$

v＝max，

其中h代表色度，s代表饱和度、v代表亮度，max表示r，g，b三个分量中的最大值，min表示r，g，b三个分量中的最小值。

3.根据权利要求1或2所述的一种图像特征提取和描述方法，其特征是：所述对密集特征进行描述，包括：

(1)将特征调整至0°；

(2)以特征点为圆心，以统一尺度为半径构造圆形区域，将落在该圆形区域的像素点分成4×4个不重叠的子区域；

(3)在每个子区域计算0°、45°、90°、135°、180°、225°、270°、315°八个方向的梯度值；

(4)对每个子区域进行均匀加权，应用高斯函数的均值对每个子区域进行加权，应用双线性插值完成对梯度的累积，每个特征由一个4*4*8的128维的向量进行描述。

4.根据权利要求1或2所述的一种图像特征提取和描述方法，其特征是：对密集特征进行描述后，统计不同步长参数的准确率结果，得到最优步长参数，以最优步长参数重新提取图像的密集特征并进行描述。

5.根据权利要求3所述的一种图像特征提取和描述方法，其特征是：对密集特征进行描述后，统计不同步长参数的准确率结果，得到最优步长参数，以最优步长参数重新提取图像的密集特征并进行描述。

6.根据权利要求1或2所述的一种图像特征提取和描述方法，其特征是：所述尺度参数分别为4、6、8、10。

7.根据权利要求3所述的一种图像特征提取和描述方法，其特征是：所述尺度参数分别为4、6、8、10。

8.根据权利要求4所述的一种图像特征提取和描述方法，其特征是：所述尺度参数分别为4、6、8、10。

9.根据权利要求5所述的一种图像特征提取和描述方法，其特征是：所述尺度参数分别为4、6、8、10。

Images