CN103324650A - 一种图像检索方法及*** - Google Patents

Abstract

本发明涉及数据检索技术领域，提供了一种图像检索方法，包括，对所有图像进行图像特征提取；根据图像的特征进行图像指纹提取；对数据库中的所有图像的指纹建立索引；进行相似图检索，得到相似图列表作为检索结果。本发明还提供了一种图像检索***。采用本发明的技术方案，大大提高了检索效率，并且提高了检索的效果。

Description

一种图像检索方法及***

技术领域

本发明涉及数据检索技术领域，特别地涉及一种图像检索方法及***。

背景技术

近年来，随着多媒体硬件的发展和互联网的发展，图像数据日益膨胀，针对相似图的检索技术也日益发展，并在很多领域得到了应用，如通过检索相似图获取图像相关信息，检索相似商品，或者进行相似图像的分类，以及相似图像的过滤等等。传统的图像检索主要基于文本信息（Text-based Image Retrieval，简称TBIR），包括图像的名称，图像所在网页包含的有关图像信息的描述等等，到90年代以后，出现了根据图像的内容语义，如图像的颜色、纹理、布局等进行分析和检索的图像检索技术，即基于内容的图像检索（Content-based Image Retrieval，简称CBIR）技术，目前的相似图检索技术大多基于这种技术，例如：中国专利申请201010574563.3提供了一种图片搜索方法，包括：接收并处理上传图片；计算所述图片局部特征；通过所述图片局部特征在图片特征索引中搜索相似图片；通过所述相似图片在文本索引中搜索文本数据；输出所述相似图片与所述文本数据。

目前对相似度的检索主要基于图像相似度的计算。即，通过特征提取，获得图像的特征，在检索相似图像时，用被检索图像的特征值与图像数据库中的所有图像的特征进行相似度计算，将与被检索图像特征相似度较高的图像按相似度大小进行排序，得到最终的检索结果。这种方式在数据规模较小时可以满足实时检索的需求，但是在图像数据库规模增大时存在以下几个问题：图像的特征大多是通过颜色提取的直方图信息等组成的一个矢量数据，根据所取得的特征的类型不同，可以采用不同的函数计算两种图像间的相似度，比如海明Hamming距离，城区距离，欧式距离等等，计算向量之间的相似度计算量比较大，耗费CPU资源较多。此外，如果要在图像数据库中检索到与被检测图像相似的所有图片，需要将被检测图像的特征与库中每张图像的特征分别进行计算，在图像数据库较大时，两两比对的代价是非常大的，这会直接影响检索请求的响应时间。因此，找到一种高效率的相似图检索方法极为重要。

发明内容

本发明解决的技术问题在于提供了一种图像检索方法及***，以解决现有检索方法效率低下的问题。

为解决上述问题，本发明提供了一种图像检索方法，包括，

对所有图像进行图像特征提取；

根据图像的特征进行图像指纹提取；

对数据库中的所有图像的指纹建立索引；

进行相似图检索，得到相似图列表作为检索结果。

进一步地，上述的方法，还包括，

对检索结果进行调优，返回给用户最佳的检索结果。

上述的方法，其中，所述对所有图像进行图像特征提取具体包括，

如果按图像颜色进行检索时，利用图像的颜色直方图作为图像特征；如果进行相似图检索时，使用图像的局部特征子特征作为图像的特征；如果对图像按图像内容的形状进行检索时，利用图像的边缘、纹理特征。

上述的方法，其中，所述根据图像的特征进行图像指纹提取具体包括，

采用LSH方法对图像的特征进行指纹化操作，以期使得相似图之间的指纹碰撞的概率较大，具体地，采用LSH方法得到图像的一个标识串，两张图像的标识串中的对应位置取值相等的概率同图像间的相似度成正比，如果对标识串按长度N，划分成M个分组，每个分组均可看成图像的一个指纹，则每张图得到M个指纹。

上述的方法，其中，所述对数据库中的所有图像的指纹建立索引具体为，

将图像的M个指纹进行区分，某一序号的指纹只同其他图像的同样序号的指纹进行比对，建立索引包括两种方式，第一种是将图像的不同序号的指纹建立在不同的倒排表中，得到M个倒排索引表；第二种方式是将不同序号的指纹中添加序号标识，将所有图像的所有指纹建立在一个倒排索引中。

上述的方法，其中，所述进行相似图检索，得到相似图列表作为检索结果具体包括，

在进行相似图检索时，需要对被检图像进行特征提取和指纹提取，按指纹的序号在相应的倒排索引中检索与其指纹相同的所有图片，得到和被检图像相似的相似图列表。

上述的方法，其中，所述对检索结果进行调优，返回给用户最佳的检索结果具体包括，

在得到被检图像的相似图列表之后，将误检到的非相似去除或将检索到的相似图像进行结果排序，以返回给用户最佳的检索结果。

本发明提供了一种图像检索***，包括，

图像特征提取模块，用于对所有图像进行图像特征提取；

图像指纹提取模块，用于根据图像的特征进行图像指纹提取；

指纹索引建立模块，用于对数据库中的所有图像的指纹建立索引；

相似图检索模块，用于进行相似图检索，得到相似图列表作为检索结果。

进一步地，上述的***，还包括

检索结果调优模块，用于对检索结果进行调优，返回给用户最佳的检索结果。

采用本发明的技术方案，将常规的通过的计算特征相似性查找相似图的问题转化成了通过查找同被检图像的含有相同指纹的图像问题，避免了所有图片都有与被检图像比对相似度的大量计算，而是使用检索的方式将本来的“比相似”问题转化成了“找相等”的问题，大大提高了检索效率。此外，为了提高检索效果，在得到候选的检索结果集之后，通过剔除误检到的相似图和对被检索到的相似图进行排序的处理，对检索到的结果进行了排序，提高了检索的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明第一实施例流程图；

图2是具体的层次划分方法和直方图的量化等级图；

图3是图像做降采样示意图；

图4是局部极值点检测示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

定义：相似图像指图像在某些维度上含有较为相似的特征。

如图1所示，是本发明第一实施例流程图，提供了一种图像检索方法，具体包括，

步骤S101，对所有图像进行图像特征提取；

如果按图像颜色进行检索时，可以利用图像的颜色直方图作为图像特征衡量图像之间的相似度；如果进行相似图检索时，可以使用图像的局部特征子特征作为图像的特征衡量图像之间的相似度；如果对图像按图像内容的形状进行检索时，可以利用图像的边缘、纹理特征等衡量图像之间的相似度，还可以根据需要提取合适的图像特征。

作为实施例，颜色特征提取采用Ondrej Chum. CIVR'07, july 9-11, 2007, Amsterdam, The Netherlands. Scalable NearIdentical Image and Shot Detection中的方法，具体步骤如下，

第一步：采用一种简单并容易计算的彩色模型，根据下列公式进行转化；

转化公式为：

I=(R+G+B)/3

O₁=(R+G-2B)/4+0.5

O₂=(R-2G+B)/4+0.5

第二步：将图像划分成3层，第零层为原始图像，第一层在第零层的基础上进行2*2的划分，第二层在第一层的基础上进行2*2的划分，在每层的每个划分上分别统计I、O1、O2的直方图，将每一层用128维向量表示，如图2所示，是具体的层次划分方法和直方图的量化等级图。

第三步：对各个颜色直方图进行L1归一化，将每个维度用一个字节表示，最终得到384个字节表示的图像特征向量。

作为实施例，由图像特征点的SIFT描述子获得图像bow（bag of words，词袋）特征，主要包含以下四个步骤，其中SIFT描述子的计算采用David G Lowe .2004  International journal of computer vision.  Distinctive Image Features from Scale-Invariant Key points 中提到的方法；具体地，

第一步：根据DOG提取图像中关键点位置；

本步骤中包含几个子步骤：

步骤1.1 生成高斯金字塔及DOG（Difference of Gaussian）金字塔

高斯金字塔的构建可分为两步：

1）对图像做高斯平滑，

$G\left(r\right)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-\frac{r^2}{2{\mathrm{\σ}}^2})$ ，其中r为模糊半径， $r=\sqrt{x^2+y^2}$

2）对图像做降采样。

如图3所示，是图像做降采样示意图，如左半部分所示，一副图像可以产生几组（ovtave）图像，每个箭头覆盖的范围代表一组，一组图像包括若干层（interval）图像。若将高斯金字塔的相邻层做减法，可以得到右半部分所示的DOG金字塔。

步骤1.2 检测DOG的局部极值点；

关键点是由DOG空间的局部极值点组成的。为了寻找DOG的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。如图4所示，是局部极值点检测示意图，其中中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9*2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

步骤1.3 精确定位极值点，去除低对比度点和不稳定边缘点。

第二步：对关键点的邻域内生成SIFT（Scale-invariant featuretransform，尺度不变特征转换）描述子；

1、将坐标轴旋转为关键点的方向，以确保旋转不变性；

2、对于一个关键点产生128维的描述，即最终形成128维的SIFT特征向量。

3、将所述SIFT特征向量的长度归一化，可以进一步去除光照变化的影响。

第三步：离线通过Kmeans/hierKmeans方法生成视觉词典；

随机选取若干图像的若干个SIFT算子，采用Kmeans或hierKmeans的方式将它们在128维空间内进聚类，聚成的类别的数目k对后续算法的效果和效率有较大影响，k值越大，对相似的定义越严格，判别的精度越高。将每个聚类中心作为词典中的一个词，最终可以得到一个包含k个词的视觉词典。

第四步：通过线性查找或层级查找的方式将图像中包含的所有SIFT算子用词典中的词号表示，用bow表征图像特征。

如果词典是通过Kmean方法生成，则计算SIFT算子到词典中每个词的欧氏距离，找到距该SIFT算子最近的词的词号代表这个SIFT算子，将所以SIFT算子都在词典中查找完毕之后，便能得到一组词号代表该图，可视作用BOW表征此张图像。如果词典是由HierKmeans方法生成，在查词典的过程中可采用层级查找的方式，查找效率较高。

因此，最终每张图像便得到了一个由词号组成的集合，作为该图像的特征。

步骤S102，根据图像的特征进行图像指纹提取；

上述两种特征提取方法提取的图像特征都是高维向量，相似图之间的图像特征间的距离较近，但是，如果通过计算特征相似度的方法进行相似图检索时，需要在全库的图像中依次进行相似度计算，才能把所有与被检图像的相似的图像全部检索出来，效率极低。在该实施例中，采用LSH（Locality Sensitive Hashing，位置敏感哈希）的方法对图像的原始特征进行指纹化操作，以期使得相似图之间的指纹碰撞（指某些部分相同）的概率较大。

（1）对于上述的颜色特征采用基于embedding的方法提取LSH指纹；

具体地，将384个字节向量的每一个字节用255个bit表示，如果此字节的取值为N，则在255个bit中，前N位赋1，剩余255-N位赋0，如此，384个字节一共可以用384*255个bit表示，随机选择某位的取值便可看作是一个随机的LSH函数，将若干个LSH函数的取值连接起来就可得到图像的一个标识串。

（2）对于上述由图像特征点的SIFT描述子获得图像bow特征采用minhash方法提取LSH指纹。

Minhash是基于集合距离的LSH方法，具体的实现方式为：对词典中各词的标号进行随机的变换，取bow的各词在变换后的最小取值值作为一个minhash函数值。取若干个minhash函数值链接起来就可得到图像的一个标识串。

由上述两种方法均可得到图像的一个标识串，两张图像的标识串中的对应位置取值相等的概率同图像间的相似度成正比。如果对标识串按长度N，划分成M个分组，每个分组均可看成图像的一个指纹，则每张图便可得到M个指纹。两张图像间含有完全相同的一个或若干个指纹的概率同图像间的相似度成正比，通过选取合适的指纹长度N和指纹组数M，可以做到相似度大的图像间含有相同指纹的数目>=1，由此，便可以通过对图像的指纹建立索引，进行相似图检索。其中，N的取值越大，对图像间的相似度程度要求越高，M的数目越大，检索到的相似图的范围越大。N和M的取值比较重要，实际应用时可以通过小规模的实验确定一个合适的取值。

在提取指纹时，应保证所有的图像使用的LSH函数的数目和顺序相同，且对所有图像来说，分组的方式和分组的数目也相同，这样才能保证相似图之间的指纹能够碰撞上。

步骤S103，对数据库中的所有图像的指纹建立索引；

为了保证图像检索的正确性，应该将图像的M个指纹进行区分，某一序号的指纹只同其他图像的同样序号的指纹进行比对，所以可以采用两种方式，第一种是将图像的不同序号的指纹建立在不同的倒排表中，这样便可以得到M个倒排索引表；第二种方式是将不同序号的指纹中添加序号标识，将所有图像的所有指纹建立在一个倒排索引中。这两种方式都是为了确保在检索过程中不会出现不同序号的指纹发生碰撞导致的检索错误，实际应用时可根据数据规模和检索效率进行选择。

步骤S104，进行相似图检索，得到相似图列表作为检索结果；

具体地，在进行相似图检索时，需要对被检图像按上述同样的方法进行特征提取和指纹提取，按指纹的序号在相应的倒排索引中检索与其指纹相同的所有图片，便可得到和被检图像相似的相似图列表。

步骤S105，对检索结果进行调优，返回给用户最佳的检索结果。

在得到被检图像的相似图列表之后，需要对检索结果进行进一步调优，以返回给用户最佳的检索结果。作为一个实施例，主要针对两个问题进行结果调优：

一是将误检到的非相似去除；由于按上述方法提取的图像指纹的碰撞概率是和图像间的相似图成正比，但是并不能完全排除在规模较大的图像数据库上检索时，非相似图之间也出现指纹碰撞的可能，通过实验发现，这种情况是无法避免的，虽然适当增长指纹长度N可以减少这种情况发生，但是不能够完全杜绝。所以需要将此种情况检到的相似图去除掉，通过下述方式解决此问题。在检索结果集内，计算各张图像的各组指纹与被检图像的各组指纹的海明hamming距离，设定一个距离阈值Tdist和指纹数目阈值Tnum，如果结果集中某张图像的指纹中，同被检图像的对应指纹的hamming距离大于Tdist的指纹数目大于Tnum，则将此张图像从结果列表中删除。

二是将检索到的相似图像进行结果排序；将检索结果中的所有图像的指纹与被检图像的指纹计算hamming距离，并将其按从小到大的顺序排列，将排序后的图像作为结果返回给用户。

上述实施例中，在实际应用时，可以根据对相似图的定义，选择其他的图像特征进行提取，而且在特征的指纹化方法时，也可以根据所提取的图像特征的属性提取不同的LSH函数进行计算，比如使用适合欧式距离的LSH函数等等。另外，上述的两种特征提取方式都是分别进行的，可选择其中之一进行操作，也可以采用融合的方式，把不同类型的特征融合起来，以满足对相似图检索***的进一步需求。

本发明实施例还提供了一种图像检索***，包括，

图像特征提取模块，用于对所有图像进行图像特征提取；

图像指纹提取模块，用于根据图像的特征进行图像指纹提取；

指纹索引建立模块，用于对数据库中的所有图像的指纹建立索引；

相似图检索模块，用于进行相似图检索，得到相似图列表作为检索结果；

检索结果调优模块，用于对检索结果进行调优，返回给用户最佳的检索结果。

上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.一种图像检索方法，其特征在于，包括，

对所有图像进行图像特征提取；

根据图像的特征进行图像指纹提取；

对数据库中的所有图像的指纹建立索引；

进行相似图检索，得到相似图列表作为检索结果。

2.根据权利要求1所述的方法，其特征在于，还包括，

对检索结果进行调优，返回给用户最佳的检索结果。

3.根据权利要求1或2所述的方法，其特征在于，所述对所有图像进行图像特征提取具体包括，

如果按图像颜色进行检索时，利用图像的颜色直方图作为图像特征；如果进行相似图检索时，使用图像的局部特征子特征作为图像的特征；如果对图像按图像内容的形状进行检索时，利用图像的边缘、纹理特征。

4.根据权利要求3所述的方法，其特征在于，所述根据图像的特征进行图像指纹提取具体包括，

采用位置敏感哈希LSH方法对图像的特征进行指纹化操作，以期使得相似图之间的指纹碰撞的概率较大，具体地，采用LSH方法得到图像的一个标识串，两张图像的标识串中的对应位置取值相等的概率同图像间的相似度成正比，如果对标识串按长度N，划分成M个分组，每个分组均可看成图像的一个指纹，则每张图得到M个指纹。

5.根据权利要求4所述的方法，其特征在于，所述对数据库中的所有图像的指纹建立索引具体为，

将图像的M个指纹进行区分，某一序号的指纹只同其他图像的同样序号的指纹进行比对，建立索引包括两种方式，第一种是将图像的不同序号的指纹建立在不同的倒排表中，得到M个倒排索引表；第二种方式是将不同序号的指纹中添加序号标识，将所有图像的所有指纹建立在一个倒排索引中。

6.根据权利要求5所述的方法，其特征在于，所述进行相似图检索，得到相似图列表作为检索结果具体包括，

在进行相似图检索时，需要对被检图像进行特征提取和指纹提取，按指纹的序号在相应的倒排索引中检索与其指纹相同的所有图片，得到和被检图像相似的相似图列表。

7.根据权利要求6所述的方法，其特征在于，所述对检索结果进行调优，返回给用户最佳的检索结果具体包括，

在得到被检图像的相似图列表之后，将误检到的非相似去除或将检索到的相似图像进行结果排序，以返回给用户最佳的检索结果。

8.一种图像检索***，其特征在于，包括，

图像特征提取模块，用于对所有图像进行图像特征提取；

图像指纹提取模块，用于根据图像的特征进行图像指纹提取；

指纹索引建立模块，用于对数据库中的所有图像的指纹建立索引；

相似图检索模块，用于进行相似图检索，得到相似图列表作为检索结果。

9.根据权利要求8所述的***，其特征在于，还包括

检索结果调优模块，用于对检索结果进行调优，返回给用户最佳的检索结果。

Images