CN101030230A

CN101030230A - 一种图像检索方法及***

Info

Publication number: CN101030230A
Application number: CN 200710098494
Authority: CN
Inventors: 陶建林
Original assignee: Peking University; Peking University Founder Group Co Ltd; Beijing Founder Electronics Co Ltd
Current assignee: Peking University; Peking University Founder Group Co Ltd; Beijing Founder Electronics Co Ltd
Priority date: 2007-04-18
Filing date: 2007-04-18
Publication date: 2007-09-05
Anticipated expiration: 2027-04-18
Also published as: CN100462978C

Abstract

本发明公开了一种数据检索领域的图像检索方法及***，包括：比较需检索图像与标准样本图像集每一标准样本图像的第一相似度集；根据第一相似度集与相似度集库从图像库中检索待检索图像，相似度集库是图像库中的每一待检索图像与标准样本图像集每一标准样本图像的第二相似度集组成的相似度集库。采用本发明能够有效的改善图像检索返回结果集的精确度，同时提高图像的检索速度。此外还可以应用于两个或多个图像库之间的图像相似性自动匹配以用作更多的检索运用。

Description

一种图像检索方法及***

技术领域

本发明涉及数据检索领域，特别涉及一种图像检索方法及***。

背景技术

从20世纪70年代开始有关图像检索的研究就已经开始了，一种是基于图像文本标引的图像检索技术(TBIR，Text-based Image Retrieval)，也是当前应用最为广泛、最为成熟的一种图像检索方法，主要是利用图像文本标引方式描述图像的特征，如图像说明、来源等。另一种是基于内容的图像检索(CBIR，Content-based Image Retrieval)技术，是代表图像检索技术未来的发展方向，主要是对图像的内容语义，如图像的颜色、纹理、布局等进行分析和检索的图像检索技术。随着计算机技术和通信技术的迅速发展，检索和浏览海量的包括数字图像在内的多媒体数据成为日益迫切的问题。

发明人在发明过程中注意到：对于绝大多数采用基于图像文本标引的图像检索技术，其存在如下的不足：

1)文本标引本身没有客观统一的标准，带有一定的主观性，譬如对同一幅图像不同的“人”可能标引的文本信息可能不一样；

2)通过图像文本标引信息检索，可能由于检索的文本关键词与检索的图像库中的图像文本标引不一致而导致检索失败，同时检索结果中可能存在大量的不相关的检索结果。即，由于标签与图像内容之间的关系是人为设置，因此标签与图像内容之间并不存在必然关联，不能检索出图像的真实内容。

对于目前基于内容的图像检索技术，一般收集和加工图像资源，提取诸如颜色特征、纹理特征、形状特征等特征作为图像数据库图像索引，然后计算检索图像与图像库中的图像的相似度大小，提取出满足阈值的记录作为结果，按照相似度降序的方式输出。但发明人注意到其存在以下不足：

1)由于采用颜色直方图来计算图像间的相似性的方法比较简单，因此它不能反映图像中对象的空间特征；

2)由于纹理描述比较困难，对纹理的检索都采用示例查询方式，多次交互，逐步求精，从而导致查询速度慢；

3)在采用基于形状特征进行检索时，用户通过勾勒图像的形状或轮廓，从图像库中检出形状类似的图像。基于此特征的检索方法有两种：i)分割图像经过边缘提取后，得到目标图像的轮廓线，针对这种轮廓线进行的形状特征检索。ii)直接针对图形寻找适当的矢量特征用于检索算法。显然，处理这种结构化检索更为复杂，需做更多的预处理等等，使得该方法不仅慢而且实现很难。

由上述可见，以上技术存在：1)检索返回的查询结果不够精确；或者2)计算复杂，需要多次交互，查询速度慢。因而导致现有图像检索技术并没有在实际广泛应用。

发明内容

本发明提供一种图像检索方法及***、装置，用以解决现有技术中存在的在图像检索时不能同时满足检索高效且检索结果准确的问题。

本发明提供了一种图像检索方法，包括如下步骤：

比较需检索图像与标准样本图像集每一标准样本图像的第一相似度集；

根据所述第一相似度集与相似度集库从图像库中检索待检索图像，所述相似度集库是所述图像库中的每一待检索图像与所述标准样本图像集每一标准样本图像的第二相似度集组成的相似度集库。

较佳地，进一步包括如下步骤：

根据所述相似度集库中第二相似度集与所述第一相似度集的相似度高低，从图像库中检索出与所述第二相似度集对应的待检索图像。

较佳地，进一步包括如下步骤：

当向图像库添加待检索图像时，将所述添加的待检索图像与所述标准样本图像集每一标准样本图像的第二相似度集添加至相似度集库。

较佳地，进一步包括如下步骤：

将图像相互之间相似度小的图像作为所述标准样本图像集中的标准样本图像。

较佳地，所述相似度是根据图像之间的特征向量来比较的。

本发明还提供了一种图像检索***，包括：

第一比较模块，用于比较需检索图像与标准样本图像集每一标准样本图像的第一相似度集；

第二比较模块，用于比较图像库中的每一待检索图像与所述标准样本图像集每一标准样本图像的第二相似度集；

存储模块，与所述第二比较模块相连，用于存储所述第二比较模块比较的第二相似度集组成的相似度集库；

检索模块，与第一比较模块、存储模块相连，用于根据所述第一比较模块比较的所述第一相似度集与所述存储模块中的所述相似度集库从图像库中检索待检索图像。

较佳地，进一步包括：

输出模块，与检索模块相连，用于根据所述检索模块检索所述相似度集库中第二相似度集与所述第一相似度集的相似度高低，从图像库中检索出与所述第二相似度集对应的待检索图像。

较佳地，进一步包括：

添加模块，与第二比较模块、存储模块相连，用于当向图像库添加待检索图像时，将所述第二比较模块比较的所述添加的待检索图像与所述标准样本图像集每一标准样本图像的第二相似度集添加至所述存储模块的相似度集库。

较佳地，进一步包括：

标准样本图像选取模块，用于将图像相互之间相似度小的图像作为所述标准样本图像集中的标准样本图像。

较佳地，进一步包括：

特征向量输入模块，用于输入图像的特征向量；

所述***根据图像的特征向量之间的所述相似度来检索图像。

本发明有益效果如下：

由于本发明先比较图像库中的每一待检索图像与所述标准样本图像集每一标准样本图像的第二相似度集；并将比较的第二相似度集组成的相似度集库；这种采用事先确定的标准样本图像集作为图像特征度量尺度，从而具有较强的客观性、一致性；

由于在建立了相似度集库后，通过比较需检索图像与标准样本图像集每一标准样本图像的第一相似度集；再根据第一相似度集与相似度集库从图像库中检索待检索图像。从而通过引入标准样本图像集作为比较的中介，扩大了图像的特征空间，包含了更多地图像特征信息，改善了检索返回结果集的精度。同时，不需要将检索图像与图像库中的图像一一比较计算其相似度，而是采用引入标准样本图像集作为比较的中介，即事先计算好图像库中的图像与标准样本图像集的各个标准样本图像的相似度作为其索引向量，从而提高了检索速度。

进一步的，由于采用了确定图像特征向量的方法来进行相似度的检索，使得发明实施简单、高效、易于实施。

附图说明

图1为本发明实施例中所述图像检索方法实施流程示意图；

图2为本发明实施例中所述图像检索***结构示意图；

图3为本发明实施例中所述图像检索流程实施示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行说明。

本发明的目的是针对通常的图像检索方法实际在检索过程中实现复杂，检索速度较慢，返回的结果集精度欠佳，从而提出了一个能够改善检索性能的检索方法，并籍此提出相应的实现方法。实现简单，既提高了检索的速度，又改善了返回结果集的精度效果。

图1为图像检索方法实施流程示意图，如图所示，检索中包括如下步骤：

步骤101、将图像库中的每一待检索图像与标准样本图像集每一标准样本图像进行比较，得到每一待检索图像的第二相似度集；

优选实施中，在选择标准样本图像时，可以将图像之间的相似性作为根据，将图像相互之间相似度小的图像作为标准样本图像集中的标准样本图像，从而使得相似度集库中图像的特征向量更为精准地刻画出图像的特征，换句话说，相似度集库中图像的特征向量能够更好地表达出相似度集库中图像之间的相互差异，从而使得后续的检索精度变高。

步骤102、将每一个第二相似度集组成的相似度集库；

通过以上两个步骤的准备，建立了待检索图像的相似度集库，以后的检索过程中便可由以前对图像内容的检索变成了相似度的检索，从而避免了基于图像内容直接检索的弊端。

实施中还可以视需要在向图像库添加待检索图像时，也将所添加的待检索图像与标准样本图像集每一标准样本图像的第二相似度集添加至相似度集库。

步骤103、比较需检索图像与标准样本图像集每一标准样本图像的第一相似度集；

步骤104、根据第一相似度集与相似度集库从图像库中检索待检索图像。

优选实施中，根据所述相似度集库中第二相似度集与所述第一相似度集的相似度高低，从图像库中检索出与所述第二相似度集对应的待检索图像，由于通过相似度检索出来的待检索图像并非一一精确匹配，因此在输出检索结果时，可以根据实际的需要按相似性匹配的高低输出。

实施中，相似度可以根据图像之间的特征向量的匹配高低来得出相似度的高低，可以视需要选取图像特征向量的数量，需精度高则选取较多的特征向量。

下面再以一实例来阐述基于图像相似性比对的检索方法实施，包括以下步骤：

1)确定图像库利用图像特征向量获得的与标准样本图像集中每一标准样本图像根据相似度组成的相似度集库。

实施例中，S表示图像为标准样本图像，[k]表示标准样本图像序号；D表示图像为图像库中待检索图像，[n]表示待检索图像序号，IS[i][j]表示第i标准样本图像与第j待检索图像之间的相似度，DX[i]＝(IS[i][1]，IS[i][2]，...，IS[i][K])为第i标准样本图像的相似度集(第二相似度集)。

输入标准样本图像(S[1]，S[2]，...，S[K])和图像库图像(D[1]，D[2]，...，D[n])，图像库图像逐一分别同标准样本图像进行相似性比对，分别计算得到它们之间的相似度IS[i][j]，如下表所示：

	S[1]	S[2]	…	S[K]
	S[1]	S[2]	…	S[K]	D[1]	IS[1][1]	IS[1][2]	…	IS[1][K]
D[2]	IS[2][1]	IS[2][2]	…	IS[2][K]	D[1]	IS[1][1]	IS[1][2]	…	IS[1][K]
D[2]	IS[2][1]	IS[2][2]	…	IS[2][K]	…	…	…	…	…
D[n]	IS[n][1]	IS[n][2]	…	IS[n][K]	…	…	…	…	…

于是，得到图像库待检索图像D[i]相对标准样本图像(S[1]，S[2]，...，S[K])的相似特征向量集DX[i]＝(IS[i][1]，IS[i][2]，...，IS[i][K])。

2)重复过程1)计算并保存所有图像库图像相对标准样本图像(S[1]，S[2]，...，S[K])的特征向量后，组成相似度集库。

3)利用需检索图像特征向量确定相似度集(第一相似度集)。

输入标准样本图像(S[1]，S[2]，...，S[K])和需检索图像KEY，需检索图像分别同标准样本图像进行相似性比对，分别计算得到它们之间的初步相似度KS[j]，于是，得到需检索图像KEY相对标准样本图像(S[1]，S[2]，...，S[K])的相似特征向量的相似度集KEYX＝(KS[1]，KS[2]，...，KS[K])。

4)进行图像检索计算。

分别计算需检索图像特征向量KEYX与图像库相似度集库中图像特征向量DX[i]之间的相似度FS[i]作为其最终的相似度。假设初步相似度KS[j]与IS[i][j]的取值范围为0-100，相似度FS[i]的计算方法可以这样定义，FS[i]＝100-(ABS(KS[1]-IS[i][1])+ABS(KS[2]-IS[i][2])+...+ABS(KS[K]-IS[i][K]))/K，其中ABS(a)表示a的绝对值计算。

具体实施中，基于利用需检索图像获得的相似度集与相似性集库来进行检索的原理实施方式很多，因此，本实施例提供了相似度FS[i]的计算方法但易知并不仅限于此方式。

5)输出查询结果。

FS[i]按倒序排序，最前面的结果即为最相似检索输出结果。

实施中，在进行图像检索前，应先确定好所有图像库图像相对标准样本图像相似特征向量，即可利用图像库图像相对标准样本图像的相似特征向量与检索图像相对标准样本图像的相似特征向量之间的相似度得到最相似的检索输出结果。

为了增强检索效果，优选实施中可以采取如下一些辅助措施：

1)选择标准样本图像集。选取标准样本图像时，将图像相互之间相似度小的图像作为标准样本图像集中的标准样本图像，尽可能地选择那些各张图像之间存在比较大的差异作为标准样本图像。譬如：可以从人物图像、山水图像等不同类别图像中各选择一张作为样本图像。

2)选择图像与图像之间初步相似度计算方法。选择初步相似度计算方法时，可以选择那些计算方法能够反映图像之间差异，并具有较强的客观性和一致性。

本发明还提供了一种图像检索***，图2为图像检索***结构示意图，如图所示，图像检索***中包括：第一比较模块、第二比较模块、存储模块、检索模块，其中：

第一比较模块用于比较需检索图像与标准样本图像集每一标准样本图像的第一相似度集；

第二比较模块用于比较图像库中的每一待检索图像与所述标准样本图像集每一标准样本图像的第二相似度集；

存储模块与所述第二比较模块相连，用于存储所述第二比较模块比较的第二相似度集组成的相似度集库；

检索模块与第一比较模块、存储模块相连，用于根据所述第一比较模块比较的所述第一相似度集与所述存储模块中的所述相似度集库从图像库中检索待检索图像。

优选实施中还可以进一步包括：

优选实施中，还可以进一步包括：

特征向量输入模块，用于输入图像的特征向量；图像检索***根据图像的特征向量之间的所述相似度来检索图像。

图3为图像检索流程实施示意图，简要地，如图所示，图像检索可按以下基本流程来实施：

步骤301、新增图像库待检索图像；

步骤302、计算待检索特征向量并添加；

步骤303、图像库待检索图像特征向量；

步骤304、输入需检索图像；

步骤305、计算需检索图像特征向量；

步骤306、利用图像库图像特征向量进行图像检索计算；

步骤307、输出查询结果。

下面结合实例对上述实施进行说明。

假设现在有一个拥有100万张图像的图像库。

首先，选取5张标准样本图像(S[1]，S[2]，...，S[5])作为标准样本图像集。

其次，分别计算图像库100万张待检索图像相对5张标准样本图像的相似特征向量DX[i]＝(IS[i][1]，IS[i][2]，...，IS[i][5])，i＝1，2，...，1000000。

再次，计算需检索图像KEY相对5张标准样本图像的相似特征向量KEYX＝(KS[1]，KS[2]，...，KS[5])。

然后，分别计算需检索图像特征向量KEYX与图像库图像特征向量DX[i]之间的最终相似度FS[i]，i＝1，2，...，1000000。

最后，FS[i](i＝1，2，...，1000000)按倒序排序，最前面的结果(譬如前10个)即为最相似检索输出结果。

通过本发明所述的方案，能够在现有技术基础上非常有效地获得较快速度与较精确的的图像检索效果。同时本发明提供的基于图像相似性比对地检索方案，可以根据要求的不同，可以采用不同的初步相似度计算方法来获得所需的检索效果。实现简单，易于操作。

由上述实施例可见，本发明：1)提出了一种新的图像特征提取方法，采用事先确定的标准样本图像集作为图像特征(向量)度量尺度，具有较强的客观性、一致性；2)确定图像特征(向量)的方法比较简单，不需要将检索图像与图像库中的图像一一比较计算其相似度，而是采用引入标准样本图像集作为比较的中介，即事先计算好图像库中的图像与标准样本图像集的各个标准样本图像的相似度作为其索引向量，提高了检索速度；3)由于引入标准样本图像集作为比较的中介，扩大了图像的特征空间，包含了更多地图像特征信息，改善了检索返回结果集的精度。

由上述实施还可知，由于现有的各种图像检索方法普遍存在对于大数据量图像库的检索返回结果集精确度不高、速度慢，很难到达实际应用要求。因此本发明在现有的图像检索方法基础上提出了一种基于图像相似性比对的检索方案。采用本发明所述的方案，能够有效的改善图像检索返回结果集的精确度，同时提高图像的检索速度。此外还可以应用于两个或多个图像库之间的图像相似性自动匹配以用作更多的检索运用。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1、一种图像检索方法，其特征在于，包括如下步骤：

2、如权利要求1所述的方法，其特征在于，进一步包括如下步骤：

3、如权利要求1所述的方法，其特征在于，进一步包括如下步骤：

4、如权利要求1所述的方法，其特征在于，进一步包括如下步骤：

5、如权利要求1至4任一所述的方法，其特征在于，所述相似度是根据图像之间的特征向量来比较的。

6、一种图像检索***，其特征在于，包括：

7、如权利要求6所述的***，其特征在于，进一步包括：

8、如权利要求6所述的***，其特征在于，进一步包括：

9、如权利要求6所述的***，其特征在于，进一步包括：

10、如权利要求6至9任一所述的***，其特征在于，进一步包括：

特征向量输入模块，用于输入图像的特征向量；

所述***根据图像的特征向量之间的所述相似度来检索图像。