CN106202250B - 基于类的综合特征和完整类匹配的图像检索方法 - Google Patents

基于类的综合特征和完整类匹配的图像检索方法 Download PDF

Info

Publication number
CN106202250B
CN106202250B CN201610497888.3A CN201610497888A CN106202250B CN 106202250 B CN106202250 B CN 106202250B CN 201610497888 A CN201610497888 A CN 201610497888A CN 106202250 B CN106202250 B CN 106202250B
Authority
CN
China
Prior art keywords
class
image
region
matching
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610497888.3A
Other languages
English (en)
Other versions
CN106202250A (zh
Inventor
孟繁杰
单大龙
石瑞霞
曾萍萍
王彦龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xihang Sichuang Intelligent Technology (Xi'an) Co.,Ltd.
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201610497888.3A priority Critical patent/CN106202250B/zh
Publication of CN106202250A publication Critical patent/CN106202250A/zh
Application granted granted Critical
Publication of CN106202250B publication Critical patent/CN106202250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于类的综合特征和完整类匹配的图像检索方法，是针对基于区域的图像检索中个别区域匹配方法易造成信息的丢失，完整区域匹配方法计算量大、相似区域重复匹配的问题，提出的基于类的图像检索方法，把图像中所有区域聚集为能完整代表图像且具有唯一性的若干个类，在类的层次提取特征并进行匹配；通过加速统计区域合并和近邻传播方法得到图像中的类；利用类的综合特征方法对类进行特征提取；完整类匹配方法被用来根据每个类在图像中的重要性为其分配权值并进行匹配。对Corel‑1000和Caltech‑256图像库进行实验，结果表明本发明方法比传统的基于区域的检索方法具有更好的检索效果。

Description

基于类的综合特征和完整类匹配的图像检索方法
技术领域
本发明属于图像检索技术领域，具体涉及一种基于类的综合特征和完整类匹配的图像检索方法。
背景技术
随着计算机网络技术的发展，信息越来越多的通过数字图像来承载，如何在数量庞大的图像库中检索出人们感兴趣的图像成为了一个热门研究领域，基于内容的图像检索(Content-based Image Retrieval，CBIR)技术由于其良好的检索效果而备受关注。尽管CBIR技术比起基于文本的图像检索(Text-based Image Retrieval，TBIR)技术在许多方面具有很大优势，但也面临着一些问题，最主要的是低级视觉特征与高级语义间的差异，目前解决这一问题最常用的方法是基于区域的图像检索(Region-based Image Retrieval，RBIR)技术。RBIR通过把图像分割为若干区域并进行区域匹配来检索图像，这更符合人的视觉感知***。传统的RBIR***通过分割算法把图像分割成区域，然后对区域进行匹配来实现图像检索。如何选择参与匹配的区域一直是RBIR研究中的一个关键问题。
在早期的研究中，出现了一些采用个别区域匹配的***，如Berkeley大学的Blobword和California大学的NeTra。这些***需要人工对区域，特征，特征权等值进行选择，这样保证了参与匹配的区域与用户的兴趣一致，并能满足不同的检索需求，但用户经常会为选择哪个区域及什么样的参数能达到最佳检索效果而困扰。
另一项今人瞩目的研究成果是Li等人提出的综合区域匹配(Integrated regionmatching，IRM)，该方法允许图像中所有区域参与匹配，保证了图像信息的完整性，降低了分割不准确对检索结果的影响。IRM最初在斯坦福大学的SIMPLIcity***中得到了应用并取得了不错的效果，直到现在，IRM依旧作为一个经典的匹配方法被广泛的应用着。
在一些基于个别区域匹配的检索***中，***会自动的对参与匹配的区域进行选择。如在Yuber提出的不规则兴趣区域(Irregular regions of interest,IROI)检索方法中，***根据每个区域的位置特征选择与兴趣点距离最近的若干区域参与匹配，无需人工进行选择，但这样的选择方法容易遗漏一些关键区域造成图像信息的丢失。
有文献(Yang,X.H.,Cai,L.J.:‘Adaptive region matching for region-basedimage retrieval by constructing region importance index’,IET Comput.Vis.,2013,8,(2),pp.1–11)提出了一种完整区域匹配方法(Active region matching,ARM)，可以根据区域的特征在个别区域匹配和完整区域匹配间切换。文献中的语义区域(Semanticmeaningful region，SMR)方法通过计算区域的面积和位置特征是否满足阈值来判断该区域是否参与匹配，当所有区域均满足条件SMR条件，此时***为完整区域匹配，否则为个别区域匹配。
在RBIR中，人工选择匹配区域会增加用户的负担；基于区域位置面积特征的自动匹配区域选择容易遗漏关键区域而造成信息丢失；完整区域匹配方法则有着区域重复匹配的弊端，尤其当重复匹配的区域为背景时会对检索结果产生巨大影响。因此，在RBIR中如何选择参与匹配的区域是研究的重点也是难点。
发明内容
本发明的目的是克服上述现有技术中存在的问题，提出一种基于类的图像检索方法，在保证图像信息完整的同时避免重复匹配，把图像中所有区域聚集为能完整代表图像且具有唯一性的若干个类，在类的层次提取特征并进行匹配。
本发明的技术方案是：基于类的综合特征和完整类匹配的图像检索方法，该方法是一种从图像中类的层面出发的新的图像检索框架，包括如下步骤：
步骤1：提取图像中的类
提出加速统计区域合并和近邻传播(Accelerated statistical region mergingand affinity propagation，ASRM-AP)方法提取图像中的类：首先通过ASRM方法对图像进行分割，对分割所得区域进行颜色纹理特征提取，然后进行AP聚类找出图像中具有相似特征的区域进行标记得到图像中的类；
步骤2：提取类的综合特征
利用类的综合特征(Integrated feature of category,IFOC)方法对类进行表述，在IFOC中，把类的颜色、纹理特征与类中区域的数量、分布特征相结合作为类的综合特征；类的颜色和纹理特征分别由类中区域的颜色直方图和局部二值模式(Local BinaryPattern，LBP)方法得到，类的数量特征通过统计类中区域的数量并进行归一化得到，分布特征为类中区域在图像中上，中，下层三层的分布直方图；
步骤3：对类进行完整匹配
在完整区域匹配(Integrated region matching,IRM)算法基础上提出面向类的完整类匹配(Integrated category matching,ICM)方法，并用质心代替面积为类分配权值，得到图像间的距离，实现图像检索。
上述步骤1中所述的加速统计区域合并和近邻传播(Accelerated statisticalregion merging and affinity propagation，ASRM-AP)方法具体包括如下步骤：
步骤2.1：对图像I进行ASRM分割。首先对图像进行打包处理，即把图像分割为3×3的块，计算块的像素均值作为IS的一个像素值得到图IS，然后对IS进行统计区域合并(Statistical region merging,SRM)分割，再把分割结果映射到原图像I；
ASRM分割算法：
(1)把图像I分割为3×3的块b，把每个块打包作为图IS中的一个像素点，像素点的值v为块b的像素平均值；
其中，R,G,B为图像中的三个颜色通道；
(2)对图IS进行SRM分割；
(3)把IS的分割结果映射到图像I，得到I的分割结果；
步骤2.2：对ASRM分割所得区域进行AP聚类，得到图像中的类。AP聚类算法通过消息传播方式来逐步确定聚类中心，也就是迭代更新吸引度矩阵R＝[r(i,k)]与归属度矩阵A＝[a(i,k)]，最终实现高质量的自适应聚类；其更新规则如下：
1)用归属度矩阵A与相似度矩阵S＝[s(i,k)]更新吸引度矩阵R:
2)用吸引度矩阵R更新归属度矩阵A:
其中，i和k为ASRM分割所得区域中任意两个区域；r(i,k)表示k对i的吸引度；a(i,k)表示i对k的归属度；i′为非i的某区域，k′为非k的某区域；s(i,k)为i到k的相似度：
s(i,k)＝-||cri-crk||2-||tri-trk||2 (5)
cri,crk和tri,trk分别代表i和k的颜色纹理特征向量，分别由颜色直方图统计和局部二值模式(Local Binary Pattern，LBP)方法求得，见公式(6)，公式(7)；N(h,s,v)代表区域中H,S,V颜色通道的值对应为h，s，v时像素的个数；Ntotal为区域中像素个数；N(lbp)为区域中LBP值为lbp的像素个数；gc，gr分别为3×3块的像素均值和位置r的像素值；
当i与k相等时，通过偏向参数p对s进行设置，p越大数据k越有可能被选为聚类中心：
s(k,k)＝p*mean(s(k,:)) (10)
函数mean(s(k,:))为s(k,:)中元素的均值；s(k,:)代表区域k与其他所有区域的相似度；参数p取0.6。
AP聚类后，根据聚类结果对区域进行标记，把第k类中区域的所有像素点设置为k，最终得到像素为1到n的标记图，从而得到图像的类。
上述步骤2中提出了的利用类的综合特征IFOC方法计算类的综合特征；以下为IFOC中类的区域数量和区域分布特征提取方法，包括以下步骤：
(a)类的区域数量特征ni:
ni＝g(N) (11)
其中，N表示经过ASRM-AP后第i类区域的个数，g(x)表示对变量x进行归一化运算，其规则为：
把同类区域个数归一化为[0,1]，当个数大于5时，认为区域数较多，对应特征值为1。
(b)类的区域分布特征：
由于图像中的对象往往在竖直方向存在一定的分布规律，如天空往往位于图像上层，动物、树木等往往位于图像中层，因此把图像分为上层，中层，下层，并对每个类中的区域质心所属层次进行统计，得类的区域分布特征li:
li＝[Nh(i)/N,Nm(i)/N,Nl(i)/N] (13)
其中，N表示由ASRM-AP算法得到的图像中第i类中区域的个数，Nh(i)，Nm(i)，Nl(i)分别表示第i类区域在图像上层，中层和下层的个数；
类的综合特征为f：
fi＝[ci,ti,ni,li] (14)
其中ci，ti，ni，li分别表示第i个类的颜色，纹理，类的区域数量和区域分布特征,n为第i个类中区域的个数，ak为区域k的像素个数占所在类的像素个数的比例。crk,trk为区域k的颜色纹理特征，在公式(6)，公式(7)中已给出；
上述步骤3中提出的ICM类匹配方法，用质心代替面积为类分配权值，得到图像间的距离；图像I1和图像I2中的类分别用C1＝(ca1,ca2,…,cam)，C2＝(ca′1,ca′2,…,ca′n)表示，则两图像的距离为D(I1，I2)：
di,j＝α1|ci-c′j|+α2|ti-t′j|+α3|ni-n′j|+α4|li-l′j| (18)
其中di,j表示类cai和ca′j的距离；si,j表示区域cai和ca′j匹配的兴趣度，兴趣度矩阵S为：
ci,ti,ni,li和c′j,t′j,n′j,l′j分别表示图像I1中的第i个类和图像I2中的第j个类的颜色，纹理，类中区域数量和区域分布的特征向量，计算方法分别在公式(15),(16)，(11)和(13)中给出；α1,α2,α3,α4为不同特征的权值，α1+α2+α3+α4＝1且α1,α2,α3,α4∈(0,1)，本发明中均设置为0.25；
对图像I进行canny边缘检测，由公式(22)求出所得纹理图的质心(xI,yI)，根据每个类中的区域到质心距离的均值计算其兴趣度si,j：
si,j＝max(si,sj) (20)
其中，f(r)为对区域r求质心的函数；Ni是类cai中区域的个数；xk和yk分别为区域r中像素的横坐标和纵坐标；M为区域r中像素的个数；sj与si计算方法类似。
本发明的有益效果：本发明提出了一种基于类的图像检索方法，在保证图像信息完整的同时避免重复匹配，把图像中所有区域聚集为能完整代表图像且具有唯一性的若干个类，在类的层次提取特征并进行匹配。本发明的优点包括：
1、提出基于类的图像检索(Category-based Image Retrieval,CaBIR)框架，找出图像中所有的类，对类进行特征提取和类匹配，得到图像的距离。解决了RBIR***中信息丢失和重复匹配的问题。
2、提出加速统计区域合并和近邻传播(Accelerated statistical regionmerging and affinity propagation，ASRM-AP)方法用以获得图像中的类。SRM是一种基于区域生长的分割方法，可以保证区域的完整性，同时对SRM进行加速处理以提高***效率；利用自适应的AP聚类算法把相似区域聚集并标记为不同的类，同时把相邻的相似区域进行合并，以防止过分割。
3、提出类的综合特征(Integrated feature of category,IFOC)方法，IFOC把类中区域的颜色、纹理等视觉信息与类中区域的数量及分布信息结合作为类的特征。IFOC方法丰富了特征包含的信息，减小了低级特征与高级语义的差异。
4、提出完整类匹配(Integrated category matching,ICM)方法对每个类分配不同的权值并进行匹配以得到图像距离。比起依靠面积比例为区域分配权值的完整区域匹配(Integrated region matching,IRM)，ICM方法通过类中区域的质心为类分配权值，更符合人的视觉感知。
以下将结合附图对本发明做进一步详细说明。
附图说明
图1是本发明的算法流程图；
图2是ASRM-AP类的提取算法流程图；
图3是图像I中三类区域对应的区域分布特征向量；
图4是部分图像的分割及分类结果；
图5是采用IFOC和传统视觉特征时查准率的变化实例图；
图6是雪山和篮筐图像的分割及分类结果；
图7是给出的三种方法在Corel-1000和Caltech-256图像库中的平均查准率；
图8(a)是在Corel-1000时，不同K值时各方法的平均查准率折线图；
图8(b)是在Caltech-256时，不同K值时各方法的平均查准率折线图；
图9是部分图像的检索结果。
具体实施方式
本发明中，提出了CaBIR检索框架，通过ASRM-AP方法提取图像中的类，利用IFOC对类进行特征提取以减小低级特征与高级语义的差异，ICM方法被用来根据每个类在图像中的重要性为其分配权值并进行匹配。通过把图像中所有区域聚集为能完整代表图像且具有唯一性的若干个类，在类的层次提取特征并进行匹配，在保证信息完整的同时避免了重复匹配，从而提高检索质量。具体流程在图1中给出。
本发明内容步骤如下：
1.提取图像中的类
类是图像中相似区域的集合，在本发明中，采取分割与聚类结合的方法提取图像中的类。首先通过ASRM方法对图像进行分割，对分割所得区域进行颜色纹理特征提取，然后进行AP聚类找出图像中具有相似特征的区域作为同一类并进行标记。由于AP算法是自适应的的聚类算法，***可以根据图像内容决定图像中类的个数。
检索可能面向大规模图像库，因此分割方法应该是简单高效的。SRM方法是一种基于区域生长的分割方法，其目标是把图像分割为具有以下两个特征的区域，即任意区域中每个通道的所有像素点的值与这个通道的均值的差；任意区域中至少有一个通道的像素点的值与邻域此通道的均值的差不在某阈值内。
SRM算法具体流程为：
(1)找出图像I中所有不重复的四连通像素对[(x1,y1),(x2,y2)]，其中(x1,y1),(x2,y2)为像素对中两个像素点的坐标。
(2)计算像素对的值f，并按照f的值升序为像素对排列得区域索引矩阵S(S中每行为像素对的坐标)。
f＝max(R(x1,y1)-R(x2,y2),G(x1,y1)-G(x2,y2),B(x1,y1)-B(x2,y2)) (1)
其中，R,G,B为图像I中的三个颜色通道。
(3)判断S中每行中的两个像素点所属的区域(初始区域为像素点本身)是否满足预测函数P。
其中，R和R′代表S某行中两个像素点的所属区域，和代表两个待判断区域R和R′中颜色通道a的均值。g为颜色通道分辨率的值，参数Q决定了分割的复杂度，值越大分割的数目越多。|R|为区域R中的像素点个数。δ为P(R,R′)＝no的最大概率，默认值很小。本发明中g＝256，Q＝20，δ＝1/(6|I|2)。
(4)由上到下遍历索引矩阵S，判断是否满足公式2，如果满足则合并这两个区域，如果不满足则对下一行进行判断。
由于SRM算法需要对图像中每个像素对对应的两个区域进行求均值、预测函数判断等运算，运行的时间较长。对SRM进行改进，在分割前对图像进行打包处理，即把图像分割为3×3的块，计算块的像素均值作为这个包的值，然后对打包图像进行SRM分割，再把分割结果映射到原图像。
对SRM算法进行加速处理：
(1)把图像I分割为3×3的块b，把每个块打包作为图IS中的一个像素点，像素点的值v为块b的像素平均值。
(2)对图IS进行SRM分割。
(3)把IS的分割结果映射到图像I，得到I的分割结果。
SRM运算量可表示为：
其中L(I),H(I)分别为图像的长和高；τ为常数且不大于1；对SRM进行加速处理，IS的长和高分别为L1(I)＝L(I)/3,H1(I)＝H(I)/3,加速处理后的运算量cal1为：
可知理论上加速处理后的运行时间大约为原来的1/27。
AP聚类算法通过消息传播方式来逐步确定聚类中心，也就是迭代更新吸引度矩阵R＝[r(i,k)]与归属度矩阵A＝[a(i,k)]，最终实现高质量的自适应聚类。更新规则如下：
(1)用归属度矩阵A与相似度矩阵S＝[s(i,k)]更新吸引度矩阵R:
(2)用吸引度矩阵R更新归属度矩阵A:
其中，i和k为ASRM分割所得区域中任意两个区域,r(i,k)表示k对i的吸引度；a(i,k)表示i对k的归属度；i′为非i的某对象，k′为非k的某对象；s(i,k)为i到k的相似度:
s(i,k)＝-||cri-crk||2-||tri-trk||2 (10)
cri,crk和tri,trk分别代表i和k的颜色纹理特征向量，分别由颜色直方图统计和局部二值模式(Local Binary Pattern，LBP)方法求得，见公式11，公式12；N(h,s,v)代表区域中H,S,V颜色通道的值对应为h，s，v时像素的个数；Ntotal为区域中像素个数；N(lbp)为区域中LBP值为lbp的像素个数；gc，gr分别为3×3块的像素均值和位置r的值；
当i与k相等时，通过偏向参数p对s进行设置，p越大数据k越有可能被选为聚类中心：
s(k,k)＝p*mean(s(k,:)) (15)
函数mean(s(k,:))为s(k,:)中元素的均值；s(k,:)代表区域k与其他所有区域的相似度；参数p取0.6。
AP聚类后，根据聚类结果对区域进行标记，把第k类中区域的所有像素点设置为k，最终得到像素为1到n的标记图，从而得到图像中的类。具体流程如图2所示。图2是图像中类的提取流程图①把图像I中3×3块打包得IS，②对IS进行SRM分割，③把IS分割结果映射到I，④对SRM分割结果进行AP聚类并对相似区域标记得到图像中的类，⑤把同类中相邻区域进行合并。
2.提取类的综合特征
本发明中的图像检索方法是基于类的方法，相比于RBIR***中利用区域颜色、纹理、形状等视觉特征对区域进行表述，提出一种IFOC方法对类进行表述。在IFOC中，把类的颜色、纹理特征与类中区域的数量、分布特征相结合作为类的综合特征，这种多特征的方法减小了低级特征与高级语义间的差异。类的颜色和纹理特征由类中区域的颜色纹理特征(对区域AP聚类时已得)均值表示，这里主要介绍类的区域数量和区域分布特征提取方法。
(1)类的区域数量特征ni:
ni＝g(N) (16)
其中，N表示经过ASRM-AP后第i类区域的个数，g(x)表示对x进行归一化运算，其规则为：
把同类区域个数归一化为[0,1]，当个数大于5时，认为区域数较多，对应特征值为1。
(2)类的区域分布特征：
由于图像中的对象往往在竖直方向存在一定的分布规律，如天空往往位于图像上层，动物、树木等往往位于图像中层。因此把图像分为上层，中层，下层，并对每个类中的区域质心所属层次进行统计，得类的区域分布特征li:
li＝[Nh(i)/N,Nm(i)/N,Nl(i)/N] (18)
其中，N表示由ASRM-AP算法得到的图像中第i类中区域的个数，Nh(i)，Nm(i)，Nl(i)分别表示第i类区域在图像上层，中层和下层的个数。
类的综合特征为f：
fi＝[ci,ti,ni,li] (19)
其中ci，ti，ni，li分别表示第i个类的颜色，纹理，类的区域数量和区域分布特征,n为第i个类中区域的个数，ak为区域k的像素个数占所在类的像素个数的比例。crk,trk为区域k的颜色纹理特征，在公式(11)，公式(12)中已给出；
3.对类进行完整匹配
IRM算法允许一个区域与多个区域进行匹配，减小了分割不精确导致的误差，提高了***的鲁棒性。然而，IRM中区域的权值仅由区域面积决定，当图像中包含了面积较大的背景区域如天空、草地等，会对检索产生较大干扰。本发明在IRM基础上提出了面向类的ICM匹配方法，用质心代替面积为参与匹配的类分配权值，更符合人的视觉感知。图像I1和图像I2中的类用C1＝(ca1,ca2,…,cam)，C2＝(ca′1,ca′2,…,ca′n)表示，两图像的距离为D(I1，I2)：
di,j＝α1|ci-c′j|+α2|ti-t′j|+α3|ni-n′j|+α4|li-l′j| (23)
其中di,j表示类cai和ca′j的距离；si,j表示区域cai和ca′j匹配的兴趣度，兴趣度矩阵S为：
ci,ti,ni,li和c′j,t′j,n′j,l′j分别表示图像I1中的第i个类和图像I2中的第j个类的颜色，纹理，类中区域数量和区域分布的特征向量，计算方法分别在公式20，21，16和18中给出；α1,α2,α3,α4为不同特征的权值，α1+α2+α3+α4＝1且α1,α2,α3,α4∈(0,1)，本发明中均设置为0.25。
文章(XIA Dingyuan,FU Pian,LIU Liduan.“Improved image retrievalalgorithm for integrated region matching”,[J].CEA,2012,48(26):197-200.)中提出一种基于中心的区域兴趣度计算方法，并得了不错的效果。然而，距离中心越近并不代表区域越受人们关注，图像中纹理复杂，梯度大的区域往往更容易吸引人们注意，因此提出一种基于质心距离的兴趣度计算方法。对图像I进行canny边缘检测，由公式27求出所得纹理图的质心(xI,yI)，根据每个类中的区域到质心距离的均值计算其兴趣度si,j：
si,j＝max(si,sj) (25)
其中，f(r)为对区域r求质心的函数；ni是类cai中区域的个数；xk和yk分别为区域r中像素的横坐标和纵坐标；M为区域r中像素的个数；sj与si计算方法类似。
实验结果及分析
1、实验环境及采用的图像库
实验的***测试环境为：酷睿i5 CPU，3.20GHz，8.0GB RAM；Windows 7操作***；Matlab R2014a开发软件。采用基于内容的图像检索实验中最常用的检索图像库Core-1000图像库和Caltech-256图像库。前者包含10类图像，分别为原始人、沙滩、遗迹、公交车、恐龙、大象、马、花、雪山、食物，每类包含100张大小为256×384和384×256的JPEG图像。后者则包含了256类不同对象的30607张图像，每类中包含80到827张图像，实验中选择了步枪、美国国旗、双肩包、棒球手套、篮框、球棒、浴缸、啤酒杯、蝙蝠、汽艇10类共1299张图像进行检索。
2、性能评估方法
基于内容的图像检索***中最常用的评价标准为查准率和查全率，查准率表示检索的得到的与查询示例图相关的图像个数与检索所得图像总数的比值；查全率表示检索得到的与查询示例图相关的图像个数与相关图像总数的比值。查准率与查全率的值越高说明算法的效果越好，即***性能越好。但是查准率和查全率又往往是矛盾关系。为了提高查准率而减少返回的图像集，必然会导致查全率下降；反之，为了提高查全率，增加返回的图像数目，也容易将更多的不相关图像结果包含进来，从而导致查准率下降。因此，本发明仅选用查准率P对检索结果进行评价。
P＝nk/K, (25)
K为检索结果数量，nk为检索结果中相关图像的个数。算法的平均查准率为：
Pq代表第q幅查询示例图的的查准率，i为查询示例图的个数。
3、关于图像分割和分类的实验
为了验证ASRM的可行性，从Corel-100和Caltech-256图像库中各随机选取100幅图像，对这些图像分别进行采用SRM的CaBIR检索和采用ASRM的CaBIR检索，并计算***平均运行时间和查准率。结果如表1所示，在Corel-1000图像库中对SRM进行加速***平均运行时间缩短了26倍，查准率下降0.03个百分点；Caltech-256图像库中对SRM进行加速***平均运行时间缩短22倍，查准率下降0.04个百分点。因此，采用ASRM分割方法能以极小的查准率为代价大大缩短***的运行时间。
表1采用SRM和ASRM的CaBIR***运行时间与查准率对比
图4中给出了部分图像的分类结果。图像a被划分为a1所示的背景、恐龙、土地三类，图像b被划分为b1所示的棕马、白马、草地三类，图像c被划分为c1所示的蔬菜、饼干、白色桌布、红色蛋糕四类，图像d被划分为d1所示的背景、金属枪身、木质枪身三类，图像e被划分为e1所示的星星、背景、白色条纹、红色条纹四类。从图中可以看出ASRM-AP算法能自适应的确定图像中包含类的个数，并准确的把相似的区域划分为同一类。
4、关于IFOC特征的实验
在IFOC中，***增加了对类中区域的分布特征和数量特征的识别能力。选取部分图像对传统特征和IFOC特征进行对比实验。图5中，a1，b1，c1，d1为采用传统视觉特征时的部分检索结果，a2，b2，c2，d2为采用IFOC特征时的部分检索结果。a1，a2中尽管检索结果都是马，但a1包含两幅一匹马的图像，a2包含一幅一匹马的图像且排名靠后；b1中第五第六幅图像中由于包含了与查询图视觉相似的一些类而被错误检索；c，d两组中也有类似情况。通过对比可以发现，引入区域分布特征能有效的增强***对类的区分能力，只有当类同时满足视觉相似和分布相似时才能获得较低的匹配距离，从而提高了查准率。图5采用IFOC和传统视觉特征时查准率的变化。a,b,c,d为查询示例图；a1,b1,c1,d1为采用传统视觉特征时前6幅检索结果；a2,b2,c2,d2为采用IFOC特征时的前6幅检索结果。
5、关于基于质心的兴趣度计算方法的实验
图6中，通过ASRM-AP算法得到雪山和篮筐图像中的类。表2给出了采用不同方法得到的每类的兴趣度与主观兴趣度的对比。主观兴趣度为10个人对不同类依据感兴趣程度打分的均值。从表2中可以看出，在雪山和篮筐图像中基于质心的方法所得兴趣度与主观兴趣度最为接近，其次是基于中心的方法，基于面积的兴趣度与主观兴趣度相差最大。由此可知，基于质心的兴趣度计算方法更符合人的视觉特性。
表2三种求兴趣度方法的对比
图7给出了三种方法在Corel-1000和Caltech-256图像库中的平均查准率，实验表明采用基于质心的兴趣度计算方法时获得了最高的查准率，能更好的反映人对不同类的兴趣度。
6 CaBIR与其他方法的对比
把本发明提出的基于类的图像检索方法与SIMPLIcity方法SRM-IRM方法、MN-MIN方法、SIS方法和MN-ARM这五种基于区域的图像检索方法进行对比。表3表4分别给出了K＝20时各***在Corel-1000和Caltech-256图像库中的查准率，图8给出了不同K值时各***平均查准率的变化趋势。
表3中，CaBIR的查准率在非洲、建筑、山三类中落后MN-ARM方法。这是由于土著人、建筑、山这些对象比起马、花、沙滩、恐龙、公交车等对象要复杂不利于图像的分割，为此采用完整类匹配方法，以降低分割误差带来的影响。在其他类图像中CaBIR查准率高于其他方法，尤其在马和公交车图像中查准率提高了约5％。总的来说，本发明方法平均查准率为77.19％，高于MN-ARM方法的76.60％。
表4中，本发明方法在大多数图像中查准率均有显著提升，尤其在美国国旗图像中，查准率比第二高出25％；在篮筐图像中查准率落后MN-ARM方法0.37％，这是由于在大多数篮筐图像中篮网小且稀疏，分割时容易被忽略，从而导致类的丢失。总体来说在Caltech-256图像库中，本发明方法平均查准率比MN-ARM高出5.68％，有着显著提高。本发明方法在Corel-1000图像库中的优势之所以没有在Caltech-256图像库中高，是由于后者中的对象没有前者复杂，更容易进行分割和分类，因此更能体现出基于类的图像检索的优势。
表3 K＝20时Corel-1000图像库中本发明方法与其他方法查准率对比
表4 K＝20时Caltech-256图像库中本发明方法与其他方法查准率对比
图8为不同方法的平均查准率折线图，分别给出了不同方法在K值为20、40、60、80、100时的平均查准率。从图中可以看出随着K值的增加，查准率随之不断下降，但本发明方法始终高于其他基于区域的检索方法，再次验证了CaBIR的优势，图9给出了用本发明方法对部分图像进行检索结果，涉及花(图像1)、马(图像2)、公交车(图像3)、美国国旗(图像4)、双肩包(图像5)、球棒(图像6)六种查询示例图检索结果中的前二十幅图像。
结论：本发明中，提出了一种基于类的图像检索方法。首先，通过ASRM-AP方法获得图像中的类，然后利用IFOC对类进行特征提取以减小低级特征与高级语义的差异，ICM方法被用来根据每个类在图像中的重要性为其分配权值并进行匹配得到图像的相似度。通过把图像中所有区域聚集为能完整代表图像且具有唯一性的若干个类，在类的层次提取特征并进行匹配，在保证信息完整的同时避免了重复匹配，从而提高检索质量。实验结果表明本发明方法比已有的基于区域的图像检索方法具有更好的效果。下一步工作重心是进一步提高分割的准确性，如何使本方法在复杂背景的图像中具有更好的适用性，以及尽可能的提高***的效率。
综上所述本发明在保证图像信息完整的同时避免重复匹配，把图像中所有区域聚集为能完整代表图像且具有唯一性的若干个类，在类的层次提取特征并进行匹配。
本发明的优点包括：
1、提出基于类的图像检索(Category-based Image Retrieval,CaBIR)框架，找出图像中所有的类，对类进行特征提取和类匹配，得到图像的距离。解决了RBIR***中信息丢失和重复匹配的问题。
2、提出加速统计区域合并和近邻传播(Accelerated statistical regionmerging and affinity propagation，ASRM-AP)方法用以获得图像中的类。SRM是一种基于区域生长的分割方法，可以保证区域的完整性，同时对SRM进行加速处理以提高***效率；利用自适应的AP聚类算法把相似区域聚集并标记为不同的类，同时把相邻的相似区域进行合并，以防止过分割。
3、提出类的综合特征(Integrated feature of category,IFOC)方法，IFOC把类中区域的颜色、纹理等视觉信息与类中区域的数量及分布信息结合作为类的特征。IFOC方法丰富了特征包含的信息，减小了低级特征与高级语义的差异。
4、提出完整类匹配(Integrated category matching,ICM)方法对每个类分配不同的权值并进行匹配以得到图像距离。比起依靠面积比例为区域分配权值的完整区域匹配(Integrated region matching,IRM)，ICM方法通过类中区域的质心为类分配权值，更符合人的视觉感知。
本实施方式中没有详细叙述的部分属本行业的公知的常用手段，这里不一一叙述。以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (4)

1.基于类的综合特征和完整类匹配的图像检索方法，其特征在于，该方法是一种从图像中类的层面出发的图像检索框架，包括如下步骤：
步骤1：提取图像中的类
通过加速统计区域合并和近邻传播ASRM-AP方法提取图像中的类：首先通过ASRM方法对图像进行分割，对分割所得区域进行颜色纹理特征提取，然后进行AP聚类找出图像中具有相似特征的区域进行标记得到图像中的类；
步骤2：提取类的综合特征
利用类的综合特征IFOC方法对类进行表述，在IFOC中，把类的颜色、纹理特征与类中区域的数量、分布特征相结合作为类的综合特征；类的颜色和纹理特征分别由类中区域的颜色直方图和局部二值模式LBP方法得到，类的数量特征通过统计类中区域的数量并进行归一化得到，分布特征为类中区域在图像中上，中，下层三层的分布直方图；
步骤3：对类进行完整匹配
在完整区域匹配IRM算法基础上提出面向类的完整类匹配ICM方法，并用质心代替面积为类分配权值，得到图像间的距离，实现图像检索。
2.如权利要求1所述的基于类的综合特征和完整类匹配的图像检索方法，其特征在于，步骤1中所述的加速统计区域合并和近邻传播ASRM-AP方法具体包括如下步骤：
步骤2.1：对图像I进行ASRM分割：首先对图像进行打包处理，即把图像分割为3×3的块，计算块的像素均值作为IS的一个像素值得到图IS，然后对IS进行统计区域合并SRM分割，再把分割结果映射到原图像I；
ASRM分割算法：
(1)把图像I分割为3×3的块b，把每个块打包作为图IS中的一个像素点，像素点的值v为块b的像素平均值；
其中，R,G,B为图像中的三个颜色通道；
(2)对图IS进行SRM分割；
(3)把IS的分割结果映射到图像I，得到I的分割结果；
步骤2.2：对ASRM分割所得区域进行AP聚类，得到图像中的类；AP聚类算法通过消息传播方式来逐步确定聚类中心，也就是迭代更新吸引度矩阵R＝[r(i,k)]与归属度矩阵A＝[a(i,k)]，最终实现高质量的自适应聚类；其更新规则如下：
1)用归属度矩阵A与相似度矩阵S＝[s(i,k)]更新吸引度矩阵R:
2)用吸引度矩阵R更新归属度矩阵A:
其中，i和k为ASRM分割所得区域中任意两个区域；r(i,k)表示k对i的吸引度；a(i,k)表示i对k的归属度；i′为非i的某区域，k′为非k的某区域；s(i,k)为i到k的相似度：
s(i,k)＝-||cri-crk||2-||tri-trk||2 (5)
cri,crk和tri,trk分别代表i和k的颜色纹理特征向量，分别由颜色直方图统计和局部二值模式LBP方法求得，见公式(6)，公式(7)；N(h,s,v)代表区域中H,S,V颜色通道的值对应为h，s，v时像素的个数；Ntotal为区域中像素个数；N(lbp)为区域中LBP值为lbp的像素个数；gc，gr分别为3×3块的像素均值和位置r的像素值；
当i与k相等时，通过偏向参数p对s进行设置，p越大数据k越有可能被选为聚类中心：
s(k,k)＝p*mean(s(k,:)) (10)
函数mean(s(k,:))为s(k,:)中元素的均值；s(k,:)代表区域k与其他所有区域的相似度；参数p取0.6；
AP聚类后，根据聚类结果对区域进行标记，把第k类中区域的所有像素点设置为k，最终得到像素为1到n的标记图，从而得到图像的类。
3.如权利要求2所述的基于类的综合特征和完整类匹配的图像检索方法，其特征在于，步骤2中提出了一种利用类的综合特征IFOC方法计算类的综合特征；以下为IFOC中类的区域数量和区域分布特征提取方法，包括以下步骤：
(a)类的区域数量特征ni:
ni＝g(N) (11)
其中，N表示经过ASRM-AP后第i类区域的个数，g(x)表示对变量x进行归一化运算，其规则为：
把同类区域个数归一化为[0,1]，当个数大于5时，认为区域数较多，对应特征值为1；
(b)类的区域分布特征：
把图像分为上层，中层，下层，并对每个类中的区域质心所属层次进行统计，得类的区域分布特征li:
li＝[Nh(i)/N,Nm(i)/N,Nl(i)/N] (13)
其中，N表示经过ASRM-AP后第i类区域的个数，Nh(i)，Nm(i)，Nl(i)分别表示第i类区域在图像上层，中层和下层的个数；
类的综合特征为f：
fi＝[ci,ti,ni,li] (14)
其中ci，ti，ni，li分别表示第i个类的颜色，纹理，类的区域数量和区域分布特征,n为第i个类中区域的个数，ak为区域k的像素个数占所在类的像素个数的比例；crk,trk为区域k的颜色纹理特征，在公式(6)，公式(7)中已给出。
4.如权利要求3所述的基于类的综合特征和完整类匹配的图像检索方法，其特征在于，步骤3中提出的ICM类匹配方法，用质心代替面积为类分配权值，得到图像间的距离；图像I1和图像I2中的类分别用C1＝(ca1,ca2,…,cam)，C2＝(ca′1,ca′2,…,ca′n)表示，则两图像的距离为D(I1，I2)：
di,j＝α1|ci-c′j|+α2|ti-t′j|+α3|ni-n′j|+α4|li-l′j| (18)
其中di,j表示类cai和ca′j的距离；si,j表示区域cai和ca′j匹配的兴趣度，兴趣度矩阵S为：
ci,ti,ni,li和c′j,t′j,n′j,l′j分别表示图像I1中的第i个类和图像I2中的第j个类的颜色，纹理，类中区域数量和区域分布的特征向量，计算方法分别在公式(15),(16)，(11)和(13)中给出；α1,α2,α3,α4为不同特征的权值，α1+α2+α3+α4＝1且α1,α2,α3,α4∈(0,1)；
对图像I进行canny边缘检测，由公式(22)求出所得纹理图的质心(xI,yI)，根据每个类中的区域到质心距离的均值计算其兴趣度si,j：
si,j＝max(si,sj) (20)
其中，f(r)为对区域r求质心的函数；Ni是类cai中区域的个数；xk和yk分别为区域r中像素的横坐标和纵坐标；M为区域r中像素的个数。
CN201610497888.3A 2016-06-29 2016-06-29 基于类的综合特征和完整类匹配的图像检索方法 Active CN106202250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610497888.3A CN106202250B (zh) 2016-06-29 2016-06-29 基于类的综合特征和完整类匹配的图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610497888.3A CN106202250B (zh) 2016-06-29 2016-06-29 基于类的综合特征和完整类匹配的图像检索方法

Publications (2)

Publication Number Publication Date
CN106202250A CN106202250A (zh) 2016-12-07
CN106202250B true CN106202250B (zh) 2019-12-17

Family

ID=57463603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610497888.3A Active CN106202250B (zh) 2016-06-29 2016-06-29 基于类的综合特征和完整类匹配的图像检索方法

Country Status (1)

Country Link
CN (1) CN106202250B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440646A (zh) * 2013-08-19 2013-12-11 成都品果科技有限公司 用于颜色分布和纹理分布图像检索的相似度获取方法
CN103678680A (zh) * 2013-12-25 2014-03-26 吉林大学 基于感兴趣区域多元空间关系模型的图像分类方法
CN105512175A (zh) * 2015-11-23 2016-04-20 东莞市凡豆信息科技有限公司 一种基于颜色特征和纹理特征的快速图像检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440646A (zh) * 2013-08-19 2013-12-11 成都品果科技有限公司 用于颜色分布和纹理分布图像检索的相似度获取方法
CN103678680A (zh) * 2013-12-25 2014-03-26 吉林大学 基于感兴趣区域多元空间关系模型的图像分类方法
CN105512175A (zh) * 2015-11-23 2016-04-20 东莞市凡豆信息科技有限公司 一种基于颜色特征和纹理特征的快速图像检索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MULTIPLE FEATURES-BASED IMAGE RETRIEVAL;Yanyan Gao等;《 2011 4th IEEE International Conference on Broadband Network and Multimedia Technology》;20120131;第240-244页 *
一种基于兴趣点颜色及空间分布的图像检索方法;孟繁杰等;《西安电子科技大学学报》;20050430(第2期);第256-259页 *
基于兴趣点颜色及纹理特征的图像检索算法;韩合民等;《计算机工程》;20080531;第34卷(第10期);第184-186页 *

Also Published As

Publication number Publication date
CN106202250A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN103207879B (zh) 图像索引的生成方法及设备
CN107564022B (zh) 基于贝叶斯融合的视频显著性检测方法
WO2017092431A1 (zh) 基于肤色的人手检测方法及装置
CN102073748B (zh) 一种基于视觉关键词的遥感影像语义检索方法
CN110060233B (zh) 一种玉米果穗破损检测方法
CN108629783B (zh) 基于图像特征密度峰值搜索的图像分割方法、***及介质
CN107392919B (zh) 基于自适应遗传算法的灰度阈值获取方法、图像分割方法
CN111798467A (zh) 一种图像分割方法、装置、设备及存储介质
Yu et al. Automatic interesting object extraction from images using complementary saliency maps
CN105574063A (zh) 基于视觉显著性的图像检索方法
CN106778852A (zh) 一种修正误判的图像内容识别方法
JP4098021B2 (ja) シーン識別方法および装置ならびにプログラム
CN112817755A (zh) 基于目标追踪加速的边云协同深度学习目标检测方法
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
CN107358176A (zh) 基于高分遥感影像区域信息和卷积神经网络的分类方法
CN109087330A (zh) 一种基于由粗到精图像分割的运动目标检测方法
CN108615229B (zh) 基于曲率点聚类及决策树的碰撞检测优化方法
CN108154158B (zh) 一种面向增强现实应用的建筑物图像分割方法
CN108388905A (zh) 一种基于卷积神经网络和邻域上下文的光源估计方法
CN106874421A (zh) 基于自适应矩形窗口的图像检索方法
CN110276764A (zh) 基于K值估计的K-Means水下图像背景分割改进算法
CN109801295A (zh) 基于二次限制区域生长法的图像分割方法
CN109447111A (zh) 一种基于子类训练样本的遥感监督分类方法
CN113705579A (zh) 一种视觉显著性驱动的图像自动标注方法
CN112561976A (zh) 一种图像主颜色特征提取方法、图像检索方法、存储介质及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210317

Address after: Floor 5, block D, Boyuan science and Technology Plaza, No.99, Yanxiang Road, Yanta District, Xi'an City, Shaanxi Province, 710000

Patentee after: Xijiao Sichuang Intelligent Technology Research Institute (Xi'an) Co.,Ltd.

Address before: 710071 Xi'an Electronic and Science University, 2 Taibai South Road, Shaanxi, Xi'an

Patentee before: XIDIAN University

TR01 Transfer of patent right
CP02 Change in the address of a patent holder

Address after: Room 709, 7th Floor, Building B, No. 168 Kechuang Road, Yanta District, Xi'an City, Shaanxi Province (Xi'an University of Electronic Science and Technology Science Park), 710071

Patentee after: Xijiao Sichuang Intelligent Technology Research Institute (Xi'an) Co.,Ltd.

Address before: Floor 5, block D, Boyuan science and Technology Plaza, No.99, Yanxiang Road, Yanta District, Xi'an City, Shaanxi Province, 710000

Patentee before: Xijiao Sichuang Intelligent Technology Research Institute (Xi'an) Co.,Ltd.

CP02 Change in the address of a patent holder
CP03 Change of name, title or address

Address after: Room 709, 7th Floor, Building B, No. 168 Kechuang Road, Yanta District, Xi'an City, Shaanxi Province (Xi'an University of Electronic Science and Technology Science Park), 710071

Patentee after: Xihang Sichuang Intelligent Technology (Xi'an) Co.,Ltd.

Country or region after: Zhong Guo

Address before: Room 709, 7th Floor, Building B, No. 168 Kechuang Road, Yanta District, Xi'an City, Shaanxi Province (Xi'an University of Electronic Science and Technology Science Park), 710071

Patentee before: Xijiao Sichuang Intelligent Technology Research Institute (Xi'an) Co.,Ltd.

Country or region before: Zhong Guo

CP03 Change of name, title or address