CN106682681A - 一种基于相关反馈的识别算法自动改进方法 - Google Patents

Abstract

本发明公开了一种基于相关反馈的图像识别自动改进算法。它包括以下步骤：通过在识别界面让用户对推送的识别图片进行对错判断；根据用户的交互情况，更新训练图像库进行视觉词典重新学习；通过引入动态调整松驰变量和惩罚因子进一步对识别算法进行自动改进。本发明从训练图像库和分类器两方面对识别算法进行改进，从而使得识别效果更准确，在不需要人工干预算法的情况下不断提高算法的检测准确率。

Description

一种基于相关反馈的识别算法自动改进方法

技术领域

本发明属于计算机图像处理领域，涉及一种基于相关反馈的图像识别自动改进算法。

背景技术

相关反馈依靠***与用户的交互，识别出用户真正感兴趣的对象。在相关反馈中，用户指出哪些对象是感兴趣的/正确的(即相关的)，以及哪些是完全离题的(即不相关的)，根据这些信息，***通过对内部特征的权重重新分配，来拟合用户的选择，从而改进识别或检索效果。

相关反馈技术在图像检索中应用较多。根据在相关反馈的学习中采用的检索模型，可以将相关反馈的算法分为基于距离度量的方法、基于概率框架的方法和机器学习的方法。

基于距离度量的方法使用的检索模型是向量空间模型，图像之间的相关性用图像到查询的距离来衡量。在这样的模型下，认为相关反馈的目的是让相关的图像离查询更近，不相关的离查询更远,因此相关反馈要做的是改进点之间的距离。具体的方法有：改变查询、改变特征权值等。这两种方法一种是通过改进查询，一种是通过改进坐标的度量来达到改进点之间距离的目的。

基于概率框架的方法使用的检索模型是概率模型，图像之间的相关性用图像的后验概率来衡量。概率模型最早是由Maron和Kuhn在1960年提出。它模拟了人对相似性的判断结果，即一部分结果是相关的，一部分是不相关的，而最优的排序结果应为按照查询与图像相关的概率降序排列。由于概率模型的假设就是排序是按照图像与查询相关的概率进行的，因此依据概率模型的排序应该能使精确率最大化,理论上是最好的模型。

基于机器学习的方法将相关反馈看成是一种监督学习问题，可使用机器学习的各种方法，如一类的学习问题，二类的分类问题等进行相关反馈的学习。如果基于这样的假设，即正相关和负相关的图像存在于不同的子空间，那么可以把相关反馈问题看成是找到一个映射子空间的问题，然后对其他图像进行投影，判断在哪个空间。如果把相关反馈看成是一个二分类问题，那么可以采用决策树、线性判别分析、最近邻法以及支持向量机等进行分类器的学习。例如MacArthur等人对反馈出来的图像全局特征使用决策树的方法顺序划分空间，直到在同一个划分中的点是同一类的，然后用得到的决策树对图像中的所有图像进行分类，再排序返回出相关的图像。

以上三类方法关注的都是整幅图像，且适用于图像检索，不能直接用于图像识别。对于有明确检索目的的用户来说，对一幅图像的关注点可能只是一部分。

发明内容

为了克服现有技术的不足，本发明的目的是提供一种基于相关反馈的图像识别自动改进算法。本发明用于实现用户对***推送的识别图片进行评判，从而使得算法能学习出更符合期望的词典和SVM分类模型，在不需要人工干预算法的情况下不断提高算法的检测准确率。

本发明的目的通过以下技术方案实现：

一种基于相关反馈的图像识别自动改进算法，其特征在于该算法包括以下步骤：

(1)通过在图像识别界面让用户对推送的识别图片进行对错判断；

(2)根据用户的交互情况，更新训练图像库进行视觉词典重新学习；

(3)通过动态调整松驰变量和惩罚因子进一步对图像识别算法进行自动改进。

所述的通过在图像识别界面让用户对推送的识别图片进行对错判断的步骤为：

通过给用户推送的每张识别图片记录后添加一个评价选择选项，用户可以从“完全正确”、“完全错误”、“模棱两可”三个选项中选一个作为自己的判断，如果用户没有选择，表示为模棱两可，即保持当前计算结果不变。

所述的对用户的选择，通过更新训练图像库改进算法的步骤为：

将用户判定为“完全正确”的图像加入正例图像库，而将判定为“完全错误”的图像加入负例图像库，判定为“模棱两可”的图像则加以抛弃，重新提取特征、聚类和学习SVM分类器。具体步骤为：

步骤1：提取图像的局部特征

提取Dense SIFT特征。用边长为8像素的均匀网格划分图像，在4个网格形成的块上提取SIFT描述子。每个块是16×16像素的矩形，包含4×4个小块，每个小块是4×4像素。在每个小块中计算8个方向的梯度信息，于是每个块由4×4×8＝128维向量表征。块移动的步长是网格边长8像素，整张图像的表征维度是块的个数乘以128维。

步骤2：视觉词典构建

在整个训练集上提取局部特征后，需要构建适合于该类图像的视觉词典，采用KMEANS聚类算法对局部特征进行聚类。每个聚类中心可以看作是词典中的一个视觉词汇，所有视觉词汇形成一个视觉词典，词典中所含词的个数反映了词典的大小。KMEANS算法的聚类数设定为300，即词典中包含300个视觉词。

步骤3：特征量化编码与空间金字塔

得到视觉词典后，则图像的每个特征都能映射到词典中的某个词上，然后统计词典 中每个视觉词在该图像上的出现次数，即可将该图像描述为一个维数固定的直方图向量。

空间金字塔是局部无序图像在不同空间分辨率上的聚集，相比图像分块再计算局部特征的直方图具有多分辨率的优势。采用多尺度的分块方法，将图像分为1×1、2×2、4×4空间分块的三层金字塔，分别统计每一子块的特征，最后将所有块的特征拼接起来，形成完整的特征。这样一幅图像的特征为6300维。

步骤4：训练分类模型并预测

用于图像分类时，对训练集采用上步方法提取特征，在核函数为histogramintersection函数的SVM支持向量机的策略下，对训练集提取的特征向量进行训练，获得对象或场景的分类模型；在分类模型下，对该特征进行预测，从而实现对待测图像的分类。核函数形式如下式：

所述的通过动态调整松驰变量和惩罚因子进一步对图像识别算法进行自动改进的步骤为：

在相关反馈中，在SVM分类器中加入一个松弛变量，即允许

y_i[(wx_i)+b]≥1-ζ_i(i＝1，2，…，I)(I是样本数)ζ_i≥0 (2)

从而目标函数最优化问题为：

subject to y_i[(wx_i)+b]≥1-ζ_i(i＝1，2，…，I)(I是样本数)

ζ_i≥0 (3)

为了克服数据集样本偏斜的问题，将目标函数中的松驰部分改为下式：

其中i＝1…p都是正样本，j＝p+1…p+q都是负样本，取C+＝10，C-＝1。

然后按照类似于普通SVM分类器的方法进行训练，得出分类器。

本发明的相关反馈方法的主要思想就是分析出用户感兴趣的部分来猜测用户意图。对于表示图像的特征来说，要关注的就是部分的特征。因此本发明的方法基于训练图像库和SVM学习分类器，对图像识别算法进行自动改进技术研究。

本发明用于实现用户能对***推送的识别图片进行评判，从而使得算法能学习出更符合期望的词典和SVM分类模型，在不需要人工干预算法的情况下不断提高算法的检测准确率，从训练图像库和分类器两方面对识别算法进行改进，从而使得识别效果更准确。

附图说明

图1是基于相关反馈的图像识别自动改进方法流程图；

图2(a)是局部特征关键点提取示意步长为8，行列上每隔8个像素选取一个关键点进行特征提取；

图2(b)是局部特征关键点的描述子计算；

具体实施方式

为了更好的理解本发明的技术方案，以下结合附图1对本发明作进一步的描述。附图1描述了本发明基于相关反馈的图像识别自动改进算法流程图。

一种基于相关反馈的图像识别自动改进算法，包括以下步骤：

(1)通过在图像识别界面让用户对推送的识别图片进行对错判断；

(2)根据用户的交互情况，更新训练图像库进行视觉词典重新学习；

(3)通过动态调整松驰变量和惩罚因子进一步对图像识别算法进行自动改进。

所述的通过在图像识别界面让用户对推送的识别图片进行对错判断的步骤为：

通过给用户推送的每张识别图片记录后添加一个评价选择选项，用户可以从“完全正确”、“完全错误”、“模棱两可”三个选项中选一个作为自己的判断，如果用户没有选择，表示为模棱两可，即保持当前计算结果不变。

所述的对用户的选择，通过更新训练图像库改进算法的步骤为：

将用户判定为“完全正确”的图像加入正例图像库，而将判定为“完全错误”的图像加入负例图像库，判定为“模棱两可”的图像则加以抛弃，重新提取特征、聚类和学习SVM分类器。具体步骤为：

步骤1：提取图像的局部特征

提取Dense SIFT特征。用边长为8像素的均匀网格划分图像，在4个网格形成的块上提取SIFT描述子。每个块是16×16像素的矩形，包含4×4个小块，每个小块是4×4 像素。在每个小块中计算8个方向的梯度信息，于是每个块由4×4×8＝128维向量表征。块移动的步长是网格边长8像素，整张图像的表征维度是块的个数乘以128维。

步骤2：视觉词典构建

在整个训练集上提取局部特征后，需要构建适合于该类图像的视觉词典，采用KMEANS聚类算法对局部特征进行聚类。每个聚类中心可以看作是词典中的一个视觉词汇，所有视觉词汇形成一个视觉词典，词典中所含词的个数反映了词典的大小。KMEANS算法的聚类数设定为300，即词典中包含300个视觉词。

步骤3：特征量化编码与空间金字塔

得到视觉词典后，则图像的每个特征都能映射到词典中的某个词上，然后统计词典中每个视觉词在该图像上的出现次数，即可将该图像描述为一个维数固定的直方图向量。

空间金字塔是局部无序图像在不同空间分辨率上的聚集，相比图像分块再计算局部特征的直方图具有多分辨率的优势。采用多尺度的分块方法，将图像分为1×1、2×2、4×4空间分块的三层金字塔，分别统计每一子块的特征，最后将所有块的特征拼接起来，形成完整的特征。这样一幅图像的特征为6300维。

步骤4：训练分类模型并预测

用于图像分类时，对训练集采用上步方法提取特征，在核函数为histogramintersection函数的SVM支持向量机的策略下，对训练集提取的特征向量进行训练，获得对象或场景的分类模型；在分类模型下，对该特征进行预测，从而实现对待测图像的分类。核函数形式如下式：

所述的通过动态调整松驰变量和惩罚因子进一步对图像识别算法进行自动改进的步骤为：

在相关反馈中，在SVM分类器中加入一个松弛变量，即允许

y_i[(wx_i)+b]≥1-ζ_i(i＝1，2，…，I)(I是样本数)ζ_i≥0 (2)

从而目标函数最优化问题为：

subject to y_i[(wx_i)+b]≥1-ζ_i(i＝1，2，…，I)(I是样本数)

ζ_i≥0 ₍3)

为了克服数据集样本偏斜的问题，将目标函数中的松驰部分改为下式：

其中i＝1…p都是正样本，j＝p+1…p+q都是负样本，取C+＝10,C-＝1。

然后按照类似于普通SVM分类器的方法进行训练，得出分类器。

实施实例

对于某一图像，给出了对包含在其中的目标车辆，包括吊车、挖掘机、水泥泵车的识别流程实例。下面结合本发明的方法详细说明该实例实施的具体步骤，如下：

初次识别正确和错误的图像，

(1)采用通过在图像识别界面让用户对推送的识别图片进行对错判断，在相关反馈图像识别界面左侧相关反馈前图片区域内，用户可以对图片识别正确与否，作出“正确”、“错误”或“放弃”的选择。其中“放弃”选项代表图片模棱两可，不易作出判断。

(2)对上步得到的用户选择结果，根据用户的交互情况，更新训练图像库进行视觉词典重新学习，对用户图片的选择情况更新到后台的训练图像库中，对图像特征进行重新编码分类，以及视觉词典重新学习。

(3)对上步得到的训练图像库更新结果，通过动态调整松驰变量和惩罚因子进一步对图像识别算法进行自动改进，改进后过滤掉错误的图像，得到正确的图像识别结果。正确的识别图像输出到相关反馈图像识别界面右侧相关反馈后图片区域内。

本方法能较好的修正原来识别模型中不合适的参数值，经过相关反馈后得到的识别结果比初次识别的结果准确率更高。

Claims (4)

1.一种基于相关反馈的图像识别自动改进算法，其特征在于该算法包括以下步骤：

(1)通过在图像识别界面让用户对推送的识别图片进行对错判断；

(2)根据用户的交互情况，更新训练图像库进行视觉词典重新学习；

(3)通过动态调整松驰变量和惩罚因子进一步对识别算法进行自动改进。

2.根据权利要求1所述的基于相关反馈的图像识别自动改进算法，其特征在于：步骤(1)中，通过给用户推送的每张识别图片记录后添加一个评价选择选项，用户可以从“完全正确”、“完全错误”、“模棱两可”三个选项中选一个作为自己的判断，如果用户没有选择，表示为模棱两可，即保持当前计算结果不变。

3.根据权利要求1所述的基于相关反馈的图像识别自动改进算法，其特征在于：步骤(2)中，将用户判定为“完全正确”的图像加入正例图像库，而将判定为“完全错误”的图像加入负例图像库，判定为“模棱两可”的图像则加以抛弃，重新提取特征、聚类和学习SVM分类器；具体步骤为：

步骤1：提取图像的局部特征

提取Dense SIFT特征；用边长为8像素的均匀网格划分图像，在4个网格形成的块上提取SIFT描述子；每个块是16×16像素的矩形，包含4×4个小块，每个小块是4×4像素；在每个小块中计算8个方向的梯度信息，于是每个块由4×4×8＝128维向量表征；块移动的步长是网格边长8像素，整张图像的表征维度是块的个数乘以128维；

步骤2：视觉词典构建

在整个训练集上提取局部特征后，需要构建适合于该类图像的视觉词典，采用KMEANS聚类算法对局部特征进行聚类；每个聚类中心看作是词典中的一个视觉词汇，所有视觉词汇形成一个视觉词典，词典中所含词的个数反映了词典的大小；KMEANS算法的聚类数设定为300，即词典中包含300个视觉词；

步骤3：特征量化编码与空间金字塔

得到视觉词典后，则图像的每个特征都能映射到词典中的某个词上，然后统计词典中每个视觉词在该图像上的出现次数，即可将该图像描述为一个维数固定的直方图向量；

空间金字塔是局部无序图像在不同空间分辨率上的聚集，相比图像分块再计算局部特征的直方图具有多分辨率的优势；采用多尺度的分块方法，将图像分为1×1、2×2、4×4空间分块的三层金字塔，分别统计每一子块的特征，最后将所有块的特征拼接起来，形成完整的特征；这样一幅图像的特征为6300维；

步骤4：训练分类模型并预测

用于图像分类时，对训练集采用上步方法提取特征，在核函数为histogramintersection函数的SVM支持向量机的策略下，对训练集提取的特征向量进行训练，获得对象或场景的分类模型；在分类模型下，对该特征进行预测，从而实现对待测图像的分类；核函数形式如下式：

$k(x,y)=\underset{k=1}{\overset{n}{\Σ}}min(x_k,y_k)---\left(1\right)$

4.根据权利要求1所述的基于相关反馈的图像识别自动改进算法，其特征在于：通过动态调整松驰变量和惩罚因子进一步对图像识别算法进行自动改进的步骤为：

在相关反馈中，在SVM分类器中加入一个松弛变量，即允许

y_i[(wx_i)+b]≥1-ζ_i(i＝1，2，...，I)(I是样本数)ζ_i≥0 (2)

从而目标函数最优化问题为：

$min\frac{1}{2}|\left|w\right|{|}^2+C\underset{i=1}{\overset{I}{\Σ}}{\mathrm{\ζ}}_i$

subjecttoy_i[(wx_i)+b]≥1-ζ_i(i＝1，2，...，I)(I是样本数)

ζ_i≥0

(3)

为了克服数据集样本偏斜的问题，将目标函数中的松驰部分改为下式：

$C_{+}\underset{i=1}{\overset{p}{\Σ}}{\mathrm{\ζ}}_i+C_{-}\underset{j=p+1}{\overset{p+q}{\Σ}}{\mathrm{\ζ}}_j,{\mathrm{\ζ}}_i\≥0---\left(4\right)$

其中i＝1...p都是正样本，j＝p+1...p+q都是负样本，取C+＝10，C-＝1；

然后按照类似于普通SVM分类器的方法进行训练，得出分类器。