CN101539930B - 一种相关反馈图像检索方法 - Google Patents
一种相关反馈图像检索方法 Download PDFInfo
- Publication number
- CN101539930B CN101539930B CN2009100617104A CN200910061710A CN101539930B CN 101539930 B CN101539930 B CN 101539930B CN 2009100617104 A CN2009100617104 A CN 2009100617104A CN 200910061710 A CN200910061710 A CN 200910061710A CN 101539930 B CN101539930 B CN 101539930B
- Authority
- CN
- China
- Prior art keywords
- feedback
- image
- images
- retrieval
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000005259 measurement Methods 0.000 claims abstract description 66
- 238000012706 support-vector machine Methods 0.000 claims abstract description 53
- 238000013507 mapping Methods 0.000 claims abstract description 26
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 69
- 230000000007 visual effect Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000011524 similarity measure Methods 0.000 claims description 6
- 239000006185 dispersion Substances 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 239000013598 vector Substances 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种相关反馈图像检索方法,包括具体步骤:初始检索、反馈样本选取、建立支持向量机分类面、通过有偏判别分析建立变换映射、构造分段相似性度量函数、多反馈轮次联合和反馈迭代。本发明通过执行支持向量机分类、有偏判别分析变换映射和多反馈轮次联合三方面的操作,使其在小样本情况下具有高效的智能检索效果,并且能够满足实时性需求。
Description
技术领域
本发明涉及图像检索识别领域,更具体地涉及一种相关反馈图像检索方法,尤其是基于分段相似性度量和多轮次联合的相关反馈图像检索方法。
背景技术
图像是多媒体信息库中的最常见,信息最丰富的媒体之一。随着摄影设备的发展和人们对数字图像的需求的日益提高,每天都有成百上千GB,甚至TB的数字图像产生。如何从大量的数字图像数据库中获取用户感兴趣的信息,则成为数字图像利用的一个关键问题。因此,研究图像检索技术对图像数据库的组织和管理,图像信息获取等都是非常有意义的。图像检索技术的应用领域也非常广泛。在艺术品管理领域,图像检索可以用来对博物馆的馆藏资料库进行管理,用户可以通过检索***来查询馆藏;在互联网应用领域,用户可以输入一些查询条件通过搜索引擎找到符合自己要求的图像资料;在遥感领域,大场景的光学遥感和合成孔径雷达图像越来越多,通过图像检索技术查询用户感兴趣的区域,可以用作环境监测,地貌勘查,城市规划等用途。早期的图像检索技术主要是基于文本的图像检索(Text Based Image Retrieval,TBIR)技术,对图像库中的图像标记一系列的关键词,然后通过文本检索的方法来进行图像检索。由于基于文本的检索方式所需人工标注关键词的代价太大,而且通过有限的关键词很难去准确的描述图像的内容,因此越来越多的研究者将研究重点放在基于内容的图像检索(Content Based Image Retrieval,CBIR)上。在CBIR***中,用户通过对图像的底层视觉特征(例如:颜色,纹理,形状等)进行提取,然后通过某种相似性度量函数对图像的底层视觉特征进行匹配,从而得到检索结果。但是,由于底层的视觉特征并不能很好的表达高层的语义信息,使得检索结果不能很好的满足用户的要求,检索性能不能达到用户的期望,这就是所谓的“语义鸿沟”。相关反馈(Relevance Feedback)技术是跨越“语义鸿沟”的有力手段,用户在经过初次检索之后,如果检索结果不能满足检索要求,则对当前的检索结果中的一部分图像进行分类,按照其与目标图像类之间的相关性分为相关图像类和不相关图像类,将属于相关图像类和不相关图像类的图像样本分别作为正负反馈样本返回给检索***,***根据这些反馈样本,对检索***中的相似性度量函数进行更新调整,使其更符合用户的检索意图。同时,相关反馈图像检索通常包括多个轮次反馈,综合利用各个轮次的反馈信息将可能有效提高检索性能和稳定性。
到目前为止,人们进行了许多关于相关反馈方面的研究工作:
比较典型的有Rui等提出的查询点移动。该方法利用文本检索中的Rachio公式对目标图像类的示例图像的特征向量进行修改,使得示例图像的特征向量向着用户期望的方向移动,修改后的示例图像的特征向量由原始示例图像特征,正反馈样本和负反馈样本这三部分的加权和组成: 其中qnew是修改后的示例图像的特征向量,q为初始的示例图像的特征向量,S+为正反馈样本集合,S-为负反馈样本集合,||为集合的大小,α,β,γ为可调的常数,Ij为反馈样本的特征向量。
另外一种常见的相关反馈方法是特征加权,***根据反馈回的正负样本对特征向量的每一维赋予不同的权值。对那些能够很好的代表查询目标共有性质的特征赋予较大的权值;反之,对那些不能够很好的代表查询目标性质的特征,赋予较小的权值。
当图像库中的图像在特征空间中的分布呈现出非线性,多峰等较为复杂的分布时,上面这些简单的反馈方法往往达不到很好的效果。在近年的相关反馈技术的发展中,机器学习方法逐渐成为相关反馈算法中的主流方法,例如支持向量机(SVM),AdaBoost等。在这些基于学习的方法中,大多将相关反馈看作一个带监督的分类问题:利用反馈样本作为训练样本,将相关性信息作为其对应的类别标号,训练一个分类器,并以此作为新的相似性度量函数对图像库中的所有图像与当次检索的目标图像类之间的相似性程度进行计算,排序后输出检索结果。在基于学习框架的这一类相关反馈方法中,支持向量机是目前使用最普遍,最流行的方法之一。支持向量机是基于结构风险最大化的一种学习算法,在训练支持向量机分类器的时候,它在保证训练准确率的同时,也兼顾了分类器的泛化性能。同时分类器的训练速度较快,符合相关反馈图像检索中对实时性的要求。在相关反馈图像检索的实际应用中,反馈样本的数量通常很有限(小样本)。虽然支持向量机在小样本问题上有较好的表现,但是当训练样本的数量远远小于样本的特征向量的维数时,基于支持向量机的相关反馈会出现较为严重的性能下降。所以基于支持向量机的相关反馈算法在小样本情况下准确性还有待改进,目前本领域有专家探讨了在相关反馈图像检索中利用支持向量机和欧氏距离构成相似性度量函数,对基于支持向量机的相关反馈的性能进行改善。但由于欧氏距离只适合于处理数据分布为线性,单峰等较简单的形式的问题,在非线性,多峰等较复杂的分布情况下,欧氏距离显然不是一个合适的度量方式。
发明内容
本发明目的是针对现有图像检索中基于支持向量机的相关反馈技术的不足和缺陷,提出了一种在小样本情况下具有高效智能检索效果的相关反馈图像检索方法。
本发明提供的相关反馈图像检索方法包括以下具体步骤:
步骤1,初始检索:针对检索图像,提取其底层视觉特征,与图像数据库中所有图像形成的特征库进行相似性度量,并按照相似性的大小对图像数据库中图像进行排序,依次输出作为初始检索结果;
步骤2,反馈样本选取:对初始检索结果中最靠前的一部分图像进行分类,即根据这一部分图像在内容上和检索图像之间的相关性,分为相关图像类和不相关图像类;将这一部分图像作为反馈样本返回,其中属于相关图像类的为正反馈样本,属于不相关图像类的为负反馈样本;
步骤3,建立支持向量机分类面:返回的正反馈样本和负反馈样本被用来训练支持向量机分类器,得到支持向量机分类面;
步骤4,通过有偏判别分析建立变换映射:返回的正反馈样本和负反馈样本被用来进行有偏判别分析,得到一个变换映射;
步骤5,构造分段相似性度量函数:利用步骤3中所得支持向量机的分类面,以及步骤4中得到的变换映射,构造一个分段相似性度量函数;
步骤6,多反馈轮次联合:将各轮反馈中得到的分段相似性度量函数加以组合,得到当前反馈轮次的总相似性度量函数;利用总相似性度量函数,对图像数据库中所有图像形成的特征库与检索图像的底层视觉特征进行相似性度量,并按照相似性的大小对图像数据库中图像进行排序,依次输出作为当前检索结果;步骤7,反馈迭代:如果当前检索结果不满足检索要求,则对当前检索结果中最靠前的一部分图像根据在内容上和检索图像之间的相关性进行分类,并加入到之前反馈轮次中已经得到的反馈样本内,然后基于扩大后的反馈样本集重复步骤3~7;如果当前检索结果满足检索要求,则停止反馈。
而且,在步骤4中,通过有偏判别分析得到一个变换映射的具体实现方式为,将正反馈样本和负反馈样本看作两类样本,计算类内散布矩阵和类间散布矩阵;求解一个变换,使得在变换后的空间中,类间散布矩阵和类内散布矩阵的比值最大化;以这个最大化问题的解作为变换映射。
而且,在步骤5中,构造一个分段相似性度量函数的具体实现为,根据支持向量机的分类面将图像数据库中的图像所在特征空间划分为两部分,然后对处于分类面两侧的特征空间中的图像分别采用不同的相似性度量函数来进行度量;
在分类面正侧的特征空间中,对图像数据库中位于这一区域的图像I+,首先通过有偏判别分析求出的变换映射,变换到新的特征空间中,在新的特征空间中以图像I+到正反馈样本的质心的欧氏距离作为相似性度量基准;
在分类面负侧的特征空间中,对图像数据库中位于这一区域的图像I-,以其到分类面的距离作为相似性度量基准。
而且,在步骤6中,将各轮反馈中得到的分段相似性度量函数加以组合,得到当前反馈轮次的总相似性度量函数的具体实施方式为,采用一个加权组合策略将每个反馈轮次中建立起的分段相似性度量函数联合起来,将第i轮反馈过程中得到的分段相似性度量函数记为Similarityi(x),则第i轮反馈过程中的总相似性度量函数为
Similaritytotal(x)=wi·Similarityi(x)+wi-1·Similarityi-1(x)+…+w1·Similarity1(x)
其中,wi,wi-1,...,w1为各个反馈轮次中得到的分段相似性度量函数对应的权重。
本发明提供了一种分段相似性度量和多轮次联合的相关反馈图像检索方法,通过执行支持向量机分类、有偏判别分析变换映射和多反馈轮次联合三方面的操作,使其在小样本情况下具有高效的智能检索效果。同时,实施该方法时不会增加过多的计算负担,能够快速提供检索结果,兼顾了检索***对实时性的要求。
附图说明
图1为本发明流程框图。
具体实施方式
本发明所提供相关反馈图像检索方法的具体实施方式可参见图1,按步骤详述如下:
步骤1,初始检索:针对检索图像,提取其底层视觉特征,与图像数据库中所有图像形成的特征库进行相似性度量,并按照相似性的大小对图像数据库中图像进行排序,依次输出作为初始检索结果。
具体实施时,检索图像可以任意选择,可由用户提供,或者从图像数据库任选。图像数据库中所有图像形成的特征库,即是图像数据库中所有图像的底层视觉特征的集合,可以数据库形式存储,属于基于内容的图像检索的实现基础。初始检索中,对检索图像的底层视觉特征与图像数据库中所有图像形成的特征库进行相似性度量,所采用的具体度量方式可以采用现有度量技术,例如通过欧氏距离进行相似性度量。
步骤2,反馈样本选取:对初始检索结果中最靠前的一部分图像进行分类,即根据这一部分图像在内容上和检索图像之间的相关性,分为相关图像类和不相关图像类;将这一部分图像作为反馈样本返回,其中属于相关图像类的为正反馈样本,属于不相关图像类的为负反馈样本。
具体实施时,可以根据需要设定从初始检索结果中取最靠前的一定数目图像,然后分类挑选反馈样本;也可以设定作为反馈样本的图像数目。因为每屏显示的图像数目通常是固定的,也可设定从初始检索结果中取最靠前的几屏图像,然后分类挑选反馈样本。
步骤3,建立支持向量机分类面:返回的正反馈样本和负反馈样本被用来训练支持向量机分类器,得到支持向量机分类面。
根据支持向量机技术,训练样本Strain:(xi,yi)1≤i≤n,xi∈Rd,yi∈{-1,1}由两部分组成,其中xi为反馈样本的底层视觉特征矢量,yi为类别标号,正反馈样本的类别标号为+1,负反馈样本的类别标号为-1,N为反馈样本总数,Rd为实数域R上的d维向量空间。为了更好的解决非线性问题,在本发明中采用带有核函数的支持向量机,利用一个非线性映射将样本映射到高维空间中,将原始空间中求解非线性分类面的问题转化为高维空间中的求解线性分类面的问题。
决策函数表示为以下形式:
g(x)=w·Φ(x)+b (1)
相应地,支持向量机分类面可以写成:
w·Φ(x)+b=0 (2)
其中,Φ(·)为一个非线性映射,w为权值向量,b为偏移常量。
落在w·Φ(x)+b=±1这两个超平面上的点称为支持向量(Support Vectors),支持向量到分类面的距离称为分类间隔(Margin),大小为1/‖w‖。分类间隔的大小代表了分类器的泛化能力。
此支持向量机分类面的建立在保证分类准确率的同时,使得分类间隔最大化:
subject to: (3)
yi(w·Φ(xi)+b)≥1,i=1,...,N
根据对(3)式的求解即可得到支持向量机分类面。其中,φ(w)为该最优化问题的目标函数,min表示取最小值,subject to表示以…为条件。通过拉格朗日乘子法对(3)式中的二次规划问题进行求解,可以得到:
w=∑iαiyiΦ(xi) (4)
其中,xi为支持向量,yi和αi分别为该支持向量对应的类别标号和拉格朗日系数。
样本到支持向量机分类面的距离可以表示为:
Distancesvm(x)=∑iαiyiΦ(xi)·Φ(x)+b (5)
其中,x为图像数据库中任意一个图像样本对应的底层视觉特征向量。
利用核函数避开非线性映射的显式表达,图像样本到支持向量机分类面的距离可以改写为:
Distancesvm(x)=∑iαiyiK(xi·x)+b (6)
其中K(.)为核函数,且K(xi,x)=Φ(xi)T·Φ(x),上标T表示转置矩阵。
步骤4,通过有偏判别分析建立变换映射:返回的正反馈样本和负反馈样本被用来进行有偏判别分析,得到一个变换映射。
在图像检索中,图像样本往往是不对称的,即和检索目标“相关”的图像Ir都来自于单一类别,而和检索目标“不相关”的图像Iir来自于图像集中剩下的所有类别。有偏判别分析针对这样的情况,对数据进行了一个(1+x)类的假设,将重点放在“相关”的图像类别上。
为了能更好的处理复杂的非线性问题,在本发明中,采用的是带核函数的有偏判别分析(Biased Discriminant Analysis using Kernel,KBDA)。通过一个非线性映射φ将样本映射到高维空间中。然后在这个高维空间中,寻找一个线性映射w,在经过这样的映射之后,Ir中的图像样本能够相互聚拢,而Iir中的图像样本能够远离Ir中的图像样本。
w通过以下的最优化问题进行求解:
类间散布矩阵Sy φ和类内散布矩阵Sx φ通过下面的表达形式进行估计:
其中,集合{xi}和{yi}分别为正负反馈样本的底层视觉特征向量,mx φ为 的均值。在求解和映射过程中,用核函数K(.)来代替非线性映射φ的显式表达:K(xi,xj)=φ(xi)Tφ(xj)。
步骤5,构造分段相似性度量函数:利用步骤3中所得支持向量机的分类面,以及步骤4中得到的变换映射,构造一个分段相似性度量函数。
在经过支持向量机分类器训练和KBDA变换之后,得到了两个新的特征空间,一个是由支持向量机中的核函数张成的特征空间SSVM(并将支持向量机分类面正侧的特征空间记为SSVM +,负侧的特征空间记为SSVM -),另外一个是由KBDA变换映射得到的特征空间SKBDA。
在图像检索应用中,用户最关心的往往是检索结果中最靠前的那一部分,也就是检索结果前几屏中的图像。因此在本发明中,为了重点改善检索结果前几屏的准确率,首先利用训练好的支持向量机分类器对图像数据库中的图像进行分类,对落于SSVM +中的图像样本进行KBDA变换映射,在SKBDA中度量其与检索图像之间的相似性。这一部分的相似性度量采用图像样本到所有正反馈样本的质心的欧氏距离。对于落在在SSVM -中图像样本,采用样本到支持向量机分类面的距离作为其相似性度量。在对SSVM +和SSVM -这两个区域分别进行相似性度量后,得到了一个分段式的相似性度量函数,表示如下:
图像数据库中的待测图像x的Similarity函数值越小,则x与检索图像之间的相似性越大;反之,则相似性越小。
步骤6,多反馈轮次联合:将各轮反馈中得到的分段相似性度量函数加以组合,得到当前反馈轮次的总相似性度量函数;利用总相似性度量函数,对图像数据库中所有图像形成的特征库与检索图像的底层视觉特征进行相似性度量,并按照相似性的大小对图像数据库中图像进行排序,依次输出作为当前检索结果。
为使检索***的相似性度量函数更加准确,应充分利用相关反馈过程中的各种有用信息。本发明提出通过联合当前反馈轮次和之前所有反馈轮次的相似性度量信息,在没有引入过多额外的计算负担的情况下,使相似性度量函数进一步得到优化。具体实施时,也可联合当前反馈轮次和之前部分反馈轮次的相似性度量信息,以降低有限精度要求的代价进一步减轻计算负担。
本发明提供了进一步技术方案:采用线性组合的方式,将当前反馈轮次中得到的分段相似性度量函数和之前所有反馈迭代过程中得到的分段相似性度量函数进行联合,得到当前的总相似性度量函数,表示如下:
Similaritytotal(x)=wi·Similarityi(x)+wi-1·Similarityi-1(x)+…+w1·Similarity1(x) (11)
其中,Similarityi(x)为第i轮反馈过程中得到的分段相似性度量函数,Similarityi-1(x)为第i-1轮反馈过程中得到的分段相似性度量函数…直到取Similarity1(x)为最开始第1轮反馈过程中得到的分段相似性度量函数;wi,wi-1,…,w1为各个反馈轮次中得到的分段相似性度量函数对应的权重,可在事先按照一定规则设定。
利用得到的总相似性度量函数Similaritytotat(·)对图像数据库中的图像与检索图像之间的相似性进行度量并按照相似性大小进行排列,以此输出作为当次反馈后的检索结果。
步骤7,反馈迭代:如果当前检索结果不满足检索要求,则对当前检索结果中最靠前的一部分图像根据在内容上和检索图像之间的相关性进行分类,并加入到之前反馈轮次中已经得到的反馈样本内,然后基于扩大后的反馈样本集重复步骤3~7;如果当前检索结果满足检索要求,则停止反馈。
本发明提供的多轮次反馈图像检索方法,可以采用计算机技术自动执行。步骤1~7可以采用顺序执行方式,当执行到步骤7时再根据检索结果判断结束流程还是自动返回步骤3,若返回则继续顺序执行到步骤7继续判断。其中步骤3和步骤4因为互相无依赖关系,执行顺序可以调换,也可以同时进行,都属于本发明权利要求的等同替换方案,应当在保护范围内。当前检索结果是否满足检索要求,可以利用人机交互界面确定,也可以设定相似度阈值由计算机自动判定。
结合本发明的内容进一步提供以下实施例:
本实施例将本发明所提供技术方案应用在高分辨率合成孔径雷达(High-Resolution Synthetic Aperture Radar)图像检索中。实施例中使用的图像数据库中共包括森林、草地、工业区、居民区和裸地5类地物的合成孔径雷达图像样本,共511幅。利用本发明的相关反馈图像检索方法从图像数据库中查找与检索图像属于同一地物类型的图像样本。检索过程中采用以下方式提取检索图像和图像数据库中图像的底层视觉特征:将每幅图像均匀的划分为4个子块,每个子块提取128维的SIFT(Scale Invariant Feature Transform,尺度不变特征变换)特征,组成512维的特征向量。
整个相关反馈图像检索过程实现如下:
1.初始检索
任意挑选一幅图像作为检索图像q,计算其对应的底层视觉特征向量xq,与图像数据库中的所有图像x的底层视觉特征通过欧氏距离进行相似性度量,相似度 并按照相似性大小进行排序,依次输出作为初始检索结果。
2.反馈样本获取
将初始检索结果中的前3屏图像进行分类,根据这一部分样本在内容上和检索图像之间的相关性,分为相关图像类和不相关图像类,从这两类中分别选择排在最靠前的各5幅图像作为正负反馈样本,并将正负反馈样本返回给检索***。
3.建立支持向量机分类面
利用返回到检索***的正负反馈样本训练一个支持向量机分类器,得到其分类面。在本实施例中,训练支持向量机分类器时采用的核函数是径向基核函数,K(xi,xj)=exp(-γ‖xi-xj‖2),参数γ=40。其中,exp()为指数函数。
4.通过有偏判别分析建立变换映射
返回到检索***的正负反馈样本被用来进行有偏判别分析,将正负反馈样本分别作为两类训练样本。通过(8),(9)式计算类间散布矩阵Sy φ和类内散布矩阵Sx φ,代入到(7)式中的最优化问题中,求解得到变换映射矩阵,在建立变换映射的过程中,采用的核函数同样为径向基核函数K(xi,xj)=exp(-γ‖xi-xj‖2),参数γ=40。
5.构造分段相似性度量函数
首先利用训练好的支持向量机分类器对图像数据库中的图像进行分类,对落于分类面正侧SSVM +中的图像样本利用步骤4中得到的变换映射矩阵映射到新空间SKBDA,在SKBDA中,对这一部分图像样本采用图像样本到所有正反馈样本的质心的欧氏距离来度量其与检索图像之间的相似性。对于落在分类面负侧SSVM -中图像样本,采用样本到支持向量机分类面的距离作为其相似性度量。在对SSVM +和SSVM -这两个区域分别进行相似性度量后,利用(10)式得到一个分段式的相似性度量公式,即分段相似性度量函数Similarityi(·)。
6.多反馈轮次联合
采用(11)式中线性组合的方式,将当前反馈轮次中得到的分段相似性度量函数和之前所有反馈轮次中得到的分段相似性度量函数Similarityi(·)进行联合,得到当前的总相似性度量函数Similaritytotal(·)。在本实施例中,联合权值的选择规则如下:第i轮反馈中训练得到的相似性度量函数对应的权值wi=1/2n-i,n为当前反馈轮次,且1≤i≤n。这样是为了让与当前反馈轮次越接近的之前反馈轮次所得分段相似性度量函数作用越大。利用总相似性度量函数Similaritytotal(·)对图像数据库中的图像与检索图像之间的相似性进行度量并按照相似性大小进行排列,依次输出作为检索结果。
7.反馈迭代
如果当前检索结果不满足检索要求,则对当前检索结果中最靠前的一小部分图像进行分类,获得新的正负反馈样本,加入到之前的反馈轮次中已经得到的反馈样本集中。基于扩大后的反馈样本集重新运行3-7步。
实施例中分别取5幅不同的检索图像进行检索实验。为重点评价按本发明技术方案实现的检索***在前几屏检索结果中的检索性能,采用如下部分平均准确率(Partial Average Precision,PAP)评价指标: 其中,P(R=t)为查全率R=t时对应的查准率。
表1给出了在对5幅不同的检索图像采用标准支持向量机方法和本发明中的方法分别进行检索时,前3次反馈中的部分平均准确率,并给出了采用本发明中的方法相对于标准支持向量机方法的性能提升百分比。从表1数据可看出,本发明中的方法在部分平均准确率指标上明显优于标准支持向量机方法。在经过少量的几次反馈迭代之后(实施例中为3次),***的检索性能已经达到一个较好的水平。同时,该方法没有引入过多额外的计算负担,较好的满足了检索***中的相关反馈环节对实时性的要求。
表1、前3次反馈的部分平均准确率
Claims (3)
1.一种相关反馈图像检索方法,其特征在于包括以下具体步骤:
步骤1,初始检索:针对检索图像,提取其底层视觉特征,与图像数据库中所有图像形成的特征库进行相似性度量,并按照相似性的大小对图像数据库中图像进行排序,依次输出作为初始检索结果;
步骤2,反馈样本选取:对初始检索结果中最靠前的一部分图像进行分类,即根据这一部分图像在内容上和检索图像之间的相关性,分为相关图像类和不相关图像类;将这一部分图像作为反馈样本返回,其中属于相关图像类的为正反馈样本,属于不相关图像类的为负反馈样本;
步骤3,建立支持向量机分类面:返回的正反馈样本和负反馈样本被用来训练支持向量机分类器,得到支持向量机分类面;
步骤4,通过有偏判别分析建立变换映射:返回的正反馈样本和负反馈样本被用来进行有偏判别分析,得到一个变换映射;
步骤5,构造分段相似性度量函数:利用步骤3中所得支持向量机的分类面,以及步骤4中得到的变换映射,构造一个分段相似性度量函数;构造一个分段相似性度量函数的具体实现如下,
根据支持向量机的分类面将图像数据库中的图像所在特征空间划分为两部分,然后对处于分类面两侧的特征空间中的图像分别采用不同的相似性度量函数来进行度量;
在分类面正侧的特征空间中,对图像数据库中位于这一区域的图像I+,首先通过有偏判别分析求出的变换映射,变换到新的特征空间中,在新的特征空间中以图像I+到正反馈样本的质心的欧氏距离作为相似性度量基准;
在分类面负侧的特征空间中,对图像数据库中位于这一区域的图像I-,以其到分类面的距离作为相似性度量基准;
步骤6,多反馈轮次联合:将各轮反馈中得到的分段相似性度量函数加以组合,得到当前反馈轮次的总相似性度量函数;利用总相似性度量函数,对图像数据库中所有图像形成的特征库与检索图像的底层视觉特征进行相似性度量,并按照相似性的大小对图像数据库中图像进行排序,依次输出作为当前检索结果;
步骤7,反馈迭代:如果当前检索结果不满足检索要求,则对当前检索结果中最靠前的一部分图像根据在内容上和检索图像之间的相关性进行分类,并加入到之前反馈轮次中已经得到的反馈样本内,然后基于扩大后的反馈样本集重复步骤3~7;如果当前检索结果满足检索要求,则停止反馈。
2.根据权利要求1所述的相关反馈图像检索方法,其特征在于:在步骤4中,通过有偏判别分析得到一个变换映射的具体实现方式为,将正反馈样本和负反馈样本看作两类样本,计算类内散布矩阵和类间散布矩阵;求解一个变换,使得在变换后的空间中,类间散布矩阵和类内散布矩阵的比值最大化;以这个最大化问题的解作为变换映射。
3.根据权利要求1或2所述的相关反馈图像检索方法,其特征在于:在步骤6中,将各轮反馈中得到的分段相似性度量函数加以组合,得到当前反馈轮次的总相似性度量函数的具体实施方式为,采用一个加权组合策略将每个反馈轮次中建立起的分段相似性度量函数联合起来,将第i轮反馈过程中得到的分段相似性度量函数记为Similarityi(x),则第i轮反馈过程中的总相似性度量函数为Similaritytotal(x)=wi·Similarityi(x)+wi-1·Similarityi-1(x)+…+w1·Similarity1(x)
其中,wi,wi-1,...,w1为各个反馈轮次中得到的分段相似性度量函数对应的权重。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100617104A CN101539930B (zh) | 2009-04-21 | 2009-04-21 | 一种相关反馈图像检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100617104A CN101539930B (zh) | 2009-04-21 | 2009-04-21 | 一种相关反馈图像检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101539930A CN101539930A (zh) | 2009-09-23 |
CN101539930B true CN101539930B (zh) | 2011-06-15 |
Family
ID=41123119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009100617104A Expired - Fee Related CN101539930B (zh) | 2009-04-21 | 2009-04-21 | 一种相关反馈图像检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101539930B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101833565B (zh) * | 2010-03-31 | 2011-10-19 | 南京大学 | 一种主动选择代表性图像的相关反馈方法 |
CN102467564B (zh) * | 2010-11-12 | 2013-06-05 | 中国科学院烟台海岸带研究所 | 一种基于改进支持向量机相关反馈的遥感图像检索方法 |
WO2013075310A1 (en) * | 2011-11-24 | 2013-05-30 | Microsoft Corporation | Reranking using confident image samples |
CN103377473B (zh) * | 2012-04-19 | 2017-10-24 | 深圳市世纪光速信息技术有限公司 | 一种图像排重方法和装置 |
JP5923744B2 (ja) * | 2012-05-24 | 2016-05-25 | パナソニックIpマネジメント株式会社 | 画像検索システム、画像検索方法及び検索装置 |
CN103218441B (zh) * | 2013-04-22 | 2015-12-09 | 北京邮电大学 | 一种基于内容和反馈的图像检索方法 |
WO2015042891A1 (zh) * | 2013-09-27 | 2015-04-02 | 华为技术有限公司 | 图像语义分割的方法和装置 |
CN103593425B (zh) * | 2013-11-08 | 2015-01-07 | 南方电网科学研究院有限责任公司 | 基于偏好的智能检索方法及*** |
CN103793721B (zh) * | 2014-03-04 | 2017-05-10 | 武汉大学 | 一种基于区域相关反馈的行人重识别方法及*** |
CN105737768B (zh) * | 2016-02-01 | 2018-05-08 | 绍兴文理学院 | 基于Cosine相似度量的结构面粗糙度系数评价方法 |
CN105678786B (zh) * | 2016-02-01 | 2018-08-17 | 绍兴文理学院 | 基于Jaccard相似度量的结构面粗糙度系数评价方法 |
CN105716545B (zh) * | 2016-02-01 | 2018-01-19 | 绍兴文理学院 | 基于Dice相似度量的结构面粗糙度系数评价方法 |
WO2017223412A1 (en) * | 2016-06-24 | 2017-12-28 | Beckman Coulter, Inc. | Image atlas systems and methods |
CN107918624B (zh) * | 2016-10-11 | 2022-03-15 | 富士通株式会社 | 图像检索装置及方法、电子设备 |
TWI649659B (zh) * | 2017-10-27 | 2019-02-01 | 財團法人工業技術研究院 | 自動光學檢測影像分類方法、系統及含有該方法之電腦可讀取媒體 |
US11315231B2 (en) | 2018-06-08 | 2022-04-26 | Industrial Technology Research Institute | Industrial image inspection method and system and computer readable recording medium |
CN109033308A (zh) * | 2018-07-16 | 2018-12-18 | 安徽江淮汽车集团股份有限公司 | 一种图像检索方法及装置 |
CN112685591A (zh) * | 2020-12-31 | 2021-04-20 | 荆门汇易佳信息科技有限公司 | 用户兴趣区域与反馈引导的图片精准检索方法 |
CN117437530A (zh) * | 2023-10-12 | 2024-01-23 | 中国科学院声学研究所 | 合成孔径声纳感兴趣小目标孪生匹配识别方法及*** |
-
2009
- 2009-04-21 CN CN2009100617104A patent/CN101539930B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101539930A (zh) | 2009-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101539930B (zh) | 一种相关反馈图像检索方法 | |
Kordopatis-Zilos et al. | Near-duplicate video retrieval by aggregating intermediate cnn layers | |
CN106202256B (zh) | 基于语义传播及混合多示例学习的Web图像检索方法 | |
CN103049526B (zh) | 基于双空间学习的跨媒体检索方法 | |
CN103559191B (zh) | 基于隐空间学习和双向排序学习的跨媒体排序方法 | |
EP3166020A1 (en) | Method and apparatus for image classification based on dictionary learning | |
Zhou et al. | Image retrieval based on effective feature extraction and diffusion process | |
CN106250925B (zh) | 一种基于改进的典型相关分析的零样本视频分类方法 | |
Li | Tag relevance fusion for social image retrieval | |
Zheng et al. | Encoding histopathological wsis using gnn for scalable diagnostically relevant regions retrieval | |
JP4937395B2 (ja) | 特徴ベクトル生成装置、特徴ベクトル生成方法及びプログラム | |
JP6680956B1 (ja) | 検索ニーズ評価装置、検索ニーズ評価システム、及び検索ニーズ評価方法 | |
Ismail | A survey on content-based image retrieval | |
CN114139634A (zh) | 一种基于成对标签权重的多标签特征选择方法 | |
CN110442736A (zh) | 一种基于二次判别分析的语义增强子空间跨媒体检索方法 | |
Park | Classification of audio signals using Fuzzy c-Means with divergence-based Kernel | |
CN112417082B (zh) | 一种科研成果数据消歧归档存储方法 | |
TW201243627A (en) | Multi-label text categorization based on fuzzy similarity and k nearest neighbors | |
CN105117735A (zh) | 一种大数据环境下的图像检测方法 | |
Wang et al. | A new ROI based image retrieval system using an auxiliary Gaussian weighting scheme | |
JP2020109689A (ja) | 検索ニーズ評価装置、検索ニーズ評価システム、及び検索ニーズ評価方法 | |
Mercy Rajaselvi Beaulah et al. | Categorization of images using autoencoder hashing and training of intra bin classifiers for image classification and annotation | |
Wei et al. | Integrating visual word embeddings into translation language model for keyword spotting on historical Mongolian document images | |
Waykar et al. | Multimodal features and probability extended nearest neighbor classification for content-based lecture video retrieval | |
Tian et al. | Learning label set relevance for search based image annotation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110615 Termination date: 20120421 |