CN1551018A

CN1551018A - 图像检索装置及图像检索程序

Info

Publication number: CN1551018A
Application number: CNA2004100422372A
Authority: CN
Inventors: 和田利昭
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-05-08
Filing date: 2004-05-08
Publication date: 2004-12-01
Also published as: CN1551017A; US20050036712A1; JP2004334594A; JP4388301B2

Abstract

一种图像检索装置及图像检索程序。该图像检索装置具有：图像输入单元；求得图像的属性值的属性值获得单元；图像存储单元；将从输入的或存储的多个图像中所选择的图像作为第1参照图像，根据所述属性值，从所存储的图像中检索与所述第1参照图像相似的至少一个第1图像的第1检索单元；显示所述被检索出的第1图像的缩小图像的单元；使图像检索的要求者选择与所述第1参照图像相似的至少一个第2图像的图像选择单元；对所有的图像，重新设置作为用于赋予表示和所述第1参照图像是否相似的符号的数据区域的类别，对所述被选择的至少一个第2图像赋予表示与该类别相似的符号的符号赋予单元；对应所述类别赋予表示相似的可靠度的数值的数值分配单元。

Description

图像检索装置及图像检索程序

技术领域

本发明涉及用于从存储有图像的图像数据库检索出所希望的图像的图像检索技术。

背景技术

首先，作为检索图像方法，对以下两种公知的方法进行说明。

第1种方法为：人们预先对图像赋予反映其内容的关键字，在进行检索时，从图像数据库中将被赋予了与用户所输入的关键字相同的关键字的图像提取出来进行提示。

在该方法中，存在有对每个图像赋予恰当的关键字的操作很麻烦的问题。另外，在用户和赋予关键字的人为不同的人的情况下，即使在概念上为相同的，但也会有参照关键字和在图像数据库中所使用的关键字不一致的情况，因而还存在着发生检索遗漏的问题。

第2种方法为：信息处理装置利用将图像所具有的色彩及形状、纹理等图像的物理特征进行定量化的属性值自动地进行检索，将参照图像和各属性值进行比较，从图像数据库中将相似性高的图像作为检索结果提取出来进行提示。

在该方法中，由于根据规定的算法抽出的属性值不一定与人们具有相同感觉的图像的属性值相同，所以还有多种情况是，被检索出的图像与参照图像的相似度往往比人们所感觉的相似度低，因此被指出了其检索精度低的问题。

作为避免上述问题的技术，提出了对于被赋予了数据库中的同样的关键字的图像的集合，求出其特征量向量和重要度，将关键字转换为属性值，以该属性值为基准进行图像检索的方法(特开2002-140332号公报)。

但是，在该检索方法中，由于按以往那样必须由用户对图像赋予关键字，因而在赋予关键字的操作上需要花费很大劳动。另外，由于被赋予了同样关键字的图像的特征量向量的分布，在特征空间上不能得到充分的定域化的保证，因而不能保证精确的相似图像的检索。

另外，作为其它的技术，提出有如下的技术。即利用所赋予的关键子进行检索，使用检索结果的图像的属性值进行相似检索(特开平10-289240号公报)。

但是，由于该检索方法也采用关键字，因而将关键字赋予给图像就成为很大的负担。并且，即使具有同样关键字的图像，也有图像的属性值有很大差异的情况，因而即使根据属性值来检索相似图像，也未必可以解决检索精确度低的问题。

发明内容

为了解决上述的问题，本发明之1的图像检索装置，具有：输入图像的图像输入单元；求得将所输入的多个图像的特征定量化的属性值的属性值获得单元；将所述图像和该图像的属性值建立对应关联并进行存储的图像存储单元；将从所述图像输入单元所输入的多个图像或所述图像存储单元所存储的多个图像中所选择的图像作为第1参照图像，根据所述属性值，从所述图像存储单元所存储的多个图像中检索与所述第1参照图像相似的至少一个第1图像的第1检索单元；将所述被检索出的至少一个第1图像的缩小图像进行显示的检索图像显示单元；使图像检索的要求者从所述被显示的缩小图像中选择与所述第1参照图像相似的至少一个第2图像的图像选择单元；对所述图像存储单元所存储的所有的图像，重新设置作为用于赋予表示和所述第1参照图像是否相似的符号的数据区域的类别，对所述被选择的至少一个的每个第2图像赋予表示与该类别相似的符号的符号赋予单元；对应所述类别，赋予表示相似的可靠度的数值的数值分配单元。

本发明之2的图像检索装置，具有：输入图像的图像输入单元；求得将所输入的多个图像的特征定量化的属性值的属性值获得单元；将所述图像与该图像的属性值建立对应关联并进行存储的图像存储单元；将从所述图像输入单元所输入的多个图像或所述图像存储单元所存储的多个图像中所选择的图像作为第1参照图像，根据所述属性值，从所述图像存储单元所存储的多个图像中检索出与所述第1参照图像相似的至少一个第1图像的第1检索单元；将所述被检索出的至少一个第1图像的缩小图像进行显示的检索图像显示单元；使图像检索的要求者从所述被显示的缩小图像中选择与所述第1参照图像相似的至少一个第2图像的图像选择单元；对所述图像存储单元所存储的所有的图像，重新设置作为用于赋予表示和所述第1参照图像是否相似的数值的数据区域的类别，对应所述类别，将表示和所述第1参照图像相似的可靠度的数值赋予所述被选择的至少一个的每个第2图像的数值分配单元。

本发明之1的图像检索程序，具有：输入图像的图像输入步骤；求得将所输入的多个图像的特征定量化的属性值的属性值获得步骤；将所述图像和该图像的属性值建立对应关联并进行存储的图像存储步骤；将从在所述图像输入步骤所输入的多个图像或在所述图像存储步骤所存储的多个图像中所选择的图像作为第1参照图像，根据所述属性值，从在所述图像存储步骤所存储的多个图像中检索与所述第1参照图像相似的至少一个第1图像的检索步骤；将所述被检索出的至少一个第1图像的缩小图像进行显示的检索图像显示步骤；使图像检索的要求者从所述被显示的缩小图像中选择与所述第1参照图像相似的至少一个第2图像的图像选择步骤；对在所述图像存储步骤所存储的所有的图像，重新设置作为用于赋予表示和所述第1参照图像是否相似的符号的数据区域的类别，对所述被选择的至少一个的每个第2图像赋予表示与该类别相似的符号的符号赋予步骤；对应所述类别，赋予表示相似的可靠度的数值的数值分配步骤。

本发明之2的图像检索程序，具有：输入图像的图像输入步骤；

求得将所输入的多个图像的特征定量化的属性值的属性值获得步骤；将所述图像与该图像的属性值建立对应关联并进行存储的图像存储步骤；将从在所述图像输入步骤所输入的多个图像或在所述图像存储步骤所存储的多个图像中所选择的图像作为第1参照图像，根据所述属性值，从所述图像存储步骤所存储的多个图像中检索出与所述第1参照图像相似的至少一个第1图像的检索步骤；将所述被检索出的至少一个第1图像的缩小图像进行显示的检索图像显示步骤；使图像检索的要求者从所述被显示的缩小图像中选择与所述第1参照图像相似的至少一个第2图像的图像选择步骤；对在所述图像存储步骤所存储的所有的图像，重新设置作为用于赋予表示和所述第1参照图像是否相似的数值的数据区域的类别，对应所述类别，将表示和所述第1参照图像相似的可靠度的数值赋予所述被选择的至少一个的每个第2图像的数值分配步骤。

附图说明

图1为表示应用本发明的图像检索方法的图像检索装置的结构的方框图。

图2为表示登录原图像时的图像检索装置的各功能的关联的图。

图3为表示登录原图像时的概略的处理顺序的流程图。

图4为表示索引数据的结构的图。

图5为表示对原图像赋予符号时的图像检索装置的各功能的关联的图。

图6为表示将符号赋予原图像时的概略的处理顺序的流程图。

图7为表示符号区域的结构的图。

图8为表示第1实施例的图像检索装置的图像检索方法的各功能的关联的图。

图9为表示图像检索方法的概略的处理顺序的流程图。

图10为加法运算方法的说明图。

图11为表示第2实施例的图像检索装置的图像检索方法的各功能的关联的图。

图12为表示图像检索方法的概略的处理顺序的流程图。

图13为表示第3实施例的图像检索装置的图像检索方法的各功能的关联的图。

图14为表示图像检索方法的各功能的关联的图。

图15为表示分组的顺序图。

具体实施方式

图1为表示本发明的第1实施例的图像检索装置的结构的方框图。以下将成为检索对象的图像称为「原图像」。

图像检索装置1由图像处理部4、属性处理部5、符号处理部6、分组分析部7、图像DB8及缓冲存储器9构成。

图像处理部4用于处理图像数据；属性处理部5用于处理图像的属性数据；符号处理部6用于处理表示图像是否属于该类别的符号；分组分析部7用于进行图像的分组分析；图像DB8是原图像的存储区域。缓冲存储器9为其他的数据存储区域。

在图像处理部4中，设置有：图像输入部11、索引图像作成部12、图像显示部13及图像选择部14。

图像输入部11从图像输入装置(未图示)中将原图像输入到图像检索装置1中。索引图像作成部12作成图像DB8所存储的原图像的缩小图像的索引图像。图像显示部13将索引图像及原图像显示到显示装置(未图示)。图像选择部14辅助用户的图像选择操作。

在属性处理部5中，设置有：属性处理部18、属性分析部19及相似度计算部20。

属性处理部18求得原图像的属性值。属性分析部19从属属性处理部18，从原图像中提取出各种属性值。相似度计算部20根据属性值来计算判断图像彼此之间是否相似的指数。

在符号处理部6中，设置有：符号赋予部23、符号加法运算部24、符号检索部25及加权处理部26。

符号赋予部23以图像显示部13所显示的索引图像为基准，对于在图像选择部所选择的所有原图像，作为与参照图像相似的图像赋予相同的符号。在原图像与参照图像相似的情况下，对于被赋予给各原图像的符号区域的特定的位数，作为从属相似参照图像的类别，例如将「1」赋予该参照图像。另外，在原图像与该参照图像不相似的情况下，例如对上述符号区域的相同类别的位数赋予「0」。符号加法运算部24对于多个原图像进行符号的加法运算。符号检索部25检索规定的符号为「1」的原图像。加权处理部26设定符号的加法运算所使用的加权系数，并进行附加加权的乘法运算。

在分组分析部7中，设置有：分组处理部41、分组判断部42及参数检索部43。

分组处理部41根据属性值将图像分类为组。分组判断部42判断是否存在定域化的分组。参数检索部43检索具有规定的属性的图像。

在图像DB8中，设置有：原图像区域28、索引图像区域29及索引数据区域30。

在原图像区域28中储存有成为检索对象的原图像。在索引图像区域29中储存有将原图像缩小的索引图像。在索引数据区域30中储存有用于访问原图像、索引图像的地址和原图像的属性值等的信息。

在缓冲存储器9内，具有：在图像检索时做为基准的图像的参照图像进行储存的参照图像存储器33及将在检索的中间阶段中所选择的原图像的储存地址等进行储存的备用索引存储器34。

下面，对本图像检索装置1的动作进行说明。

用户作为在准备阶段的操作，对图像检索装置1进行原图像的登录。

图2为表示在登录原图像时的图像检索装置的各功能的关联的图，图3为表示在登录原图像时的概略的处理顺序的流程图。

在步骤S1，图像输入部11从图像输入装置(未图示)中读取原图像。然后，图像输入部11在将所读取的原图像储存到DB8的原图像区域28内的同时，起动属性处理部18。

在步骤S2，属性处理部18将控制变量P设定为初始值1，起动第P个属性分析部19。

在步骤S3，第P个属性分析部19对所读取的原图像求得第P个属性值。在这里，所谓原图像的属性值，是指将原图像所表示的色彩、形状、纹理等的图像的物理属性进行数值化的值。因此，在这里所说的属性值，是对色彩、形状等的物理结构要素进行定量化所表现的量，不是基于人的主观感觉的要素的值。

在步骤S4，属性处理部18将第P个属性分析部19所求得的属性值P储存到索引数据区域30所存储的索引数据37的属性值区域内。

图4为表示索引数据37的结构的图。

在索引数据37中，设置有：图像ID37a、原图像地址37b、索引图像地址37c、属性值区域37d及符号区域37e。

图像ID37a用于特定原图像；原图像地址37b用于表示储存了原图像的原图像区域28内的地址；索引图像地址37c用于表示存储了为原图像的缩小图像的索引图像的索引图像区域29内的地址；属性值区域37d用于存储了多个原图像的属性值；符号区域37e用于将与被赋予原图像的类别相对应的符号和所有的符号数进行储存。

在这里所说的「类别」，是指用于识别和要求者在视觉上判断为与所提示的参照图像相同的图像的符号，对应在后面所述的每个参照图像而确定。所谓原图像属于第J个类别，是指要求者在视觉上判断为所提示的第J个参照图像与该原图像相似，符号区域37e的「符号J」成为1。

在步骤S5，调查是否求得了规定数N的所有属性值。在步骤S5未否定的情况下，即在还没有求得规定数N的属性值的情况下，在步骤S6，对控制变量P进行加1计数，然后重复步骤S3～S4的处理。

在步骤S5为肯定的情况下，即，在求得了规定数N的属性值的情况下，索引图像作成部12根据原图像制作成为原图像的缩小图像的索引图像，在步骤S7，在存储到索引图像区域29内的同时，更新索引数据37的索引图像地址37c。

在步骤S8，调查是否完成了所有的原图像的登录。当在步骤S8为否定的情况下，即，在还剩有应登录的图像的情况下，重复步骤S1～S7的处理。

当在步骤S8为肯定的情况下，即，在完成了所有的原图像的登录的情况下，结束图像的登录处理。另外，原图像的登录没有必要一次完成，根据需要可反复进行。

接下来，用户对登录到图像检索装置1的每个原图像赋予符号。在这里，在本发明中所说的「符号」，具有和以往的关键字相似的概念，但比关键字具有更广泛的上位概念。即、关键字根据「语言」来表示图像的特征，对此，「符号」并不限定通过语言来进行概念化，而是根据图像的视觉上的相似性来进行组化的。被判断为相似的图像表现为属于同样的类别，将1储存到符号区域37e的相同的位数上。除去符号区域37e的符号数的各位数表示各个类别。

图5为表示将符号赋予原图像的情况下的图像检索装置的各功能的关联的图，图6为表示将符号赋予原图像的情况下的概略的处理顺序的流程图。

在步骤S10，户准备好成为把符号赋予原图像时的基准的参照图像。在这里，参照图像为替代以往的关键字的图像，在以下的处理中，将表示与参照图像是否相似的符号赋予原图像。

在步骤S11，图像输入部11从图像输入装置(未图示)读取参照图像。然后，图像输入部11将所读取的参照图像储存到缓冲存储器9的参照图像存储器33内。另外，参照图像也可以不从图像输入装置(未图示)读取，而从图像DB8的原图像区域28所储存的原图像中进行选择。

在步骤S12，相似度计算部20从参照图像存储器33中取出参照图像，并对该参照图像计算上述的属性值。即、根据上述的步骤S3、S4的顺序，得到在属性分析部19所处理的多个属性值。

在步骤S13，相似度计算部20根据索引数据区域30所储存的索引数据37，计算出相似度，并特定与参照图像相似的原图像。相似的判断，是通过比较参照图像和原图像的多个属性值1～M来进行的。例如，将属性值1～M设定为参数的函数，如果参照图像的函数值和原图像的函数值接近的话，就可以判断该原图像与参照图像相似。然后，按照该相似度的大小顺序，对原图像进行排序。

在步骤S14，图像显示部13从索引图像区域29中取出按相似度大小顺序所特定的索引图像，只将规定数显示到显示装置上(未图示)。然后，对用户输出进行选择的敦促指示。

在步骤S15，用户看到所显示的索引图像，选择多个(一个或0个均可)被判断为与参照图像相似的原图像。图像选择部14在辅助用户的选择操作的同时，取得关于被选择的图像的信息。

在步骤S16，符号赋予部23将符号赋予对被选择的原图像的索引数据37的符号区域37e。

图7为表示符号区域37e的结构的图。符号赋予部23通过在被选择的原图像的符号区域37e中的「符号数」内加1而得到M，同时在新设定的「符号M」的位置上记入数字「1」。另外，符号赋予部23通过在没有被选择的原图像的符号区域37e的「符号数」内加1而得到M，同时在新设定的「符号M」的位置记入数字「0」。

在步骤S17为肯定的情况下，即，在对一个种类的参照图像可以附加多个符号的情况下，进行是否完成了符号赋予的判断。

加权处理部26对于在「符号M」的位置上被记载了「1」的图像，参照索引数据37中的属性值区域37d。并定义将属性值1～N作为要素的属性值向量Xi(i＝1～K)。在这里，K表示在「符号M」的位置上被记载了「1」的图像的数为K。

然后，在步骤S18，将属性值向量Xi的各要素(属性值)作为xij(j＝1～N)，对每个属性值计算在公式(1)中所表示的分布σ_j。

σ_{j} = \sqrt{\frac{Σ_{i = 1}^{K} {(x_{ij} - {\overset{&OverBar;}{x}}_{j})}^{2}}{K}}

…公式(1)

在这里：

K：图像数、 x_ij：属性值向量x_i的要素

N：属性值数 x_j：第j个的属性值的平均值

在步骤S19，加权处理部26根据分布σj(j＝1～N)计算出加权系数，这时，在分布大的情况下，将加权系数定为小的值、在分布小的情况下、将加权系数定为大的值来进行计算。

在分布大时，表示在「符号M」的位置上被记载了「1」的图像的属性值的不均衡性较大。因此，要考虑到波及到相似度的属性值的影响、换言之，相似度的可靠性较低。为此，考虑到该位置的符号对相似度的有用程度相对较低，将加权系数定为相对小的值比较妥当。

于此相反，在分布小时，表示在「符号M」的位置上被记载了「1」的图像的属性值的不均衡较小。因此，要考虑到波及到相似度的属性值的影响、换言之，相似度的可靠性较高。为此，考虑该位置的符号对相似度的有用程度相对较高，将加权系数定为相对大的值比较妥当。

另外，加权系数如果满足上述关系的话，例如，也可以用分布的倒数来进行定义，一般来讲，也可以设定将分布σj(j＝1～N)定为参数的函数、根据该函数值来进行定义。另外，即使不采用分布，也可以求得表示属性值的不均衡的统计量，并根据该值计算出加权系数。例如，也可以采用最大值和最小值的差。

另外，在计算加权系数时，为了排除属性值之间的个体差，最好在将各个属性值归一化后，再进行上述的运算。将所计算出的与类别M有关的加权系数存储到索引数据区域内。

在步骤S20，调查是否结束了符号赋予操作。例如，调查是否结束了对所有的参照图像的符号赋予处理。

当在步骤S20为否定的情况下，即，在还剩有未处理的参照图像的情况下，重复步骤S12～S19的处理。当在步骤S20为肯定的情况下，即，在结束了对所有的参照图像的符号赋予处理的情况下，结束本符号赋予处理。

另外，虽然在本实施方式中是采用符号「1」、「0」，但本发明并不限于该方式。符号也可以是英文字母、特殊符号，并不要求是具有特殊意义的符号。另外，由符号1～M所表示的是什么样的被摄体或被摄体的性质是不必要的信息。在这一点上，和必须在关键字自身包含特定的意思内容的关键字方式有本质上的不同。

另外，本实施方式的特征是，不仅根据属性值来定量地判断是否相似，并且还将人在视觉上所判断的与参照图像相似的结果作为符号加以利用。一般来讲，图像是否相似，主要取决于主观的因素。于是，通过构成为不局限于根据将图像数值化的物理数据的机械判断，而同时参照人的视觉判断，可以提供与使用检索装置1的用户的主观愿望相近的结果。

并且，在本实施方式中，在每次读取参照图像、实施符号赋予处理时，在图7中所示的「符号数」内所记载的数字就被增加1，使赋予符号的数据区域，即类别增加。这就意味着其构成为：对图像附加特征的符号信息随着反复进行和参照图像相似的图像的选择而增加。因此，可达到越是增加相似判断的次数，检索精确度就越好的效果。

另一方面，虽然本实施方式的特点为不使用关键字，但从步骤S10到S16可以应用在以往的关键字检索中的关键字赋予。通过将同样的关键字赋予到从步骤S10到S15所选择的图像中，与对每个图像分别赋予关键字的情况相比，可更简单地进行关键字赋予。

下面，对图像的检索方法进行说明。

图8为表示第1实施例的图像检索装置的图像检索方法的各功能的关联的图，图9为表示该图像检索方法的概略的处理顺序的流程图。

在步骤S21，用户准备好与希望检索的图像相似的参照图像。图像输入部11从图像输入装置(未图示)中读取参照图像。然后，图像输入部11在将所读取的参照图像储存到缓冲存储器9的参照图像存储器33内。另外，参照图像也可以不从图像输入装置(未图示)中读取，事先选择参照图像存储器33所储存的参照图像，另外，也可以将在原图像区域28所储存的原图像作为参照图像来进行选择。

在步骤S22，相似度计算部20从参照图像存储器33中取出参照图像，并对该参照图像计算上述的属性值。即、根据上述的步骤S3、S4的顺序，得到在属性分析部19所处理的多个属性值。

在步骤S23，相似度计算部20根据在索引数据区域30所储存的索引数据37，选择与参照图像相似的原图像。

相似的判断，是根据将参照图像和原图像分别作为多个属性值1～N的函数所求得的相似度的大小来进行的。例如，将属性值1～N进行归纳，将参照图像的属性值向量设为V，把第h个原图像的属性值向量设为Uh，采用公式(2)来计算相似度Dh。

Dh＝(Uh-V)·(Uh-V) …公式(2)

另外，运算符“·”表示在公式(3)中所示的向量的积。

W·V＝W1×V1+W2×V2+…WN×VN …公式(3)

公式(2)的Dh表示第h个原图像的属性向量和参照图像的属性向量之间的欧几里德距离的2次方，为相似性的指标。即、距离越近(Dh小)，相似度就越大。

另外，对各属性进行加权来计算距离，通过将其作为属性值，校正各属性值的特性的差异(例如色彩和形状)，可成为更妥当的相似性的指标。

在该情况下，将在各属性中表示加权的加权向量作为W，由公式(4)表示相似度Dh。

Dh＝(W*Uh-W*V)·(W*Uh-W*V) …公式(4)

另外，“*”为将在公式(5)中所示的每两个向量的要素相乘的值作为要素的向量的运算符。

W*V＝(W1×V1、W2×V2、…WN×VN) …公式(5)

作为加权，可以通过进行为了计算在步骤S18、S19中所示的加权系数的运算处理来求得。例如，使用从多个样品图像中所求得的各属性值样品的分布的倒数等。

然后，相似度计算部20按照相似度高的顺序将所选择的多个原图像(以下称为「一次选择图像」)的索引数据37进行分类，作为备用索引数据，储存到备用索引存储器34内。

在步骤S24，符号加法运算部24在一次选择图像内将一直到相似度高的上位的第K个图像作为对象，从备用索引存储器34中取出索引数据37，加上被赋予了符号区域37e的同样符号的数据(在本实施例中为「1」或「0」)。然后，加权处理部26用加权系数乘以该加法运算结果，计算出计数值。

图10为加法运算方法的说明图。

图10表示了与上位K个原图像(Image 1～K)相对应的符号区域37e的符号1～M。符号加法运算部24将数据加到每个符号1～M。即、在每个符号1～M中求得与该符号所表示的类别相似的原图像的个数。在图10的下段表示了加法运算的结果。

接下来，加权处理部26计算出用加权系数乘以该加法运算结果的新的加法运算值。在这里使用的加权系数为在步骤S18、S19中所求得的值，对每个符号1～M决定了值。在图10的最下段表示了修正后的新的加法运算值。

即、在符号1中，当初的加法运算值15通过乘以加权系数0.7变化为新的加法运算值10.5。同样，在符号2中，当初的加法运算值19通过乘以加权系数1.1变化为新的加法运算值20.9。

在步骤S25，符号加法运算部24根据新的加法运算值选定直到上位第T个大的符号。如果T＝3的话，如图10所示，符号2、符号4和符号M就被选定。

这表示被认为与参照图像「很」相似的原图像具备有很多由符号2、符号4和符号M所表示的视觉上的特征。即、判断具有符号2、符号4和符号M所表示的视觉上的特征的原图像与参照图像相似的可能性很大。

另外，在本实施方式中，是将符号和加权分开进行处理，但作为符号也可以不为0，1、也可以将包含了加权的符号作为符号。在该情况下，将被附加了加权的符号储存到符号区域37e内，在检索时，只要在加法运算部24对每个符号进行加上其值的处理，就可以完成加权附加处理，从而可以不需要加权处理部26。

在步骤S26，符号检索部25根据索引数据33，检索被选定的T个符号内的至少S个以上的符号为「1」的原图像。然后，将根据符号所检索的图像定为在上述原图像中作为一次选择图像而没有被选择的图像。即、在提取出根据属性值所选择的原图像的基础上，将根据符号所检索的原图像作为与参照图像相似的图像来提取出。另外，将这样根据符号来选择图像的方式称为符号检索方式。

在步骤S27，图像显示部13将一次选择图像和通过符号检索方式所提取出的图像的索引图像作为检索结果显示到显示装置(未图示)上。

根据第1实施例的图像检索装置，由于将基于属性值的检索和符号检索合并起来检索相似图像，因而就可以提高检索精确度。即、基于属性值的检索由于根据色彩、形状等的物理结构要素来判断相似，因而只靠此基准所选定的相似图像，未必是人在视觉上所感到的相似的图像。因此，通过将采用人的主观的感觉要素来判断相似的符号检索方式合并起来应用，就可以减少相似图像检索的遗漏，提高检索精确度。

另外，由于采用了基于属性值的加权系数，因而可以高精确度地进行相似图像的检索。

下面对本发明的第2实施例的图像检索装置进行说明。由于第2实施例的图像检索装置的结构和上述的图1所示的第1实施例的图像检索装置的结构相同，因而对同样的部分附以相同的符号，省略图示及详细的说明。

图11为表示第2实施例的图像检索装置的图像检索方法的各功能的关联的图。图12为表示其图像检索方法的概略的处理顺序的流程图。

在步骤S31，用户准备好与希望检索的图像相似的参照图像。图像输入部11从图像输入装置(未图示)读取参照图像。然后，图像输入部11将所读取的参照图像储存到缓冲存储器9的参照图像存储器33内。另外，参照图像也可以不从图像输入装置(未图示)中读取，事先选择参照图像存储器33所储存的参照图像，另外，也可以将原图像区域28所储存的原图像作为参照图像来进行选择。

在步骤S32，相似度计算部20从参照图像存储器33中取出参照图像，并对该参照图像计算上述的属性值。即、根据上述的步骤S3、S4的顺序，得到在属性分析部19所处理的多个属性值。

在步骤S33，相似度计算部20根据索引数据区域30所储存的索引数据37，选择与参照图像相似的原图像。相似的判断，用和所述第1实施例同样的方法来进行。

然后，相似度计算部20按照相似度高的顺序将所选择的多个一次选择图像的索引数据37进行分类，并储存到备用索引存储器34内。

在步骤S34，图像显示部13将一次选择图像的索引图像作为检索结果显示到显示装置上(未图示)。

在步骤S35，用户看到所显示的索引图像，选择多个(一个或0个均可)被判断为与参照图像相似的原图像，图像选择部14在辅助用户的选择操作的同时，取得有关被选择的图像的信息。另外，将0个选择作为和选择了所显示的全部的图像一样来进行处理。

在步骤S36，符号加法运算部24将用户所选择的原图像作为对象，从备用索引存储器34中取出索引数据37，加上符号区域37e的同样符号的数据，加权处理部26用加权系数乘以该加法运算值，计算出计数值。另外，由于加法运算方法和在第1实施例的检索方法中所述的方法同样，因而省略其详细说明。

在步骤S37，符号加法运算部24选定直到所加的结果数字大的上位第T个符号。

在步骤S38，符号检索部25根据索引数据37，检索被选定的T个符号内的至少S个以上的符号为「1」的原图像。然后，将根据符号所检索的图像定为在上述原图像中作为一次选择图像而没有被选择的图像。

在步骤S39，图像显示部13将一次选择图像和通过符号检索方式所提取出的原图像的索引图像作为检索结果显示到显示装置(未图示)上。

根据第2实施例的图像检索装置，由于根据人的视觉从一次选择图像中选择相似图像、并根据该被选择的图像应用符号检索方式，因而可以更加提高符号检索的相似图像检索的精确度。

下面对本发明的第3实施例的图像检索装置进行说明。由于第3实施例的图像检索装置的结构和上述的图1所示的第1实施例的图像检索装置的结构相同，因而对同样的部分附以相同的符号，省略图示及详细的说明。

图13为表示第3实施例的图像检索装置的图像检索方法的各功能的关联的图，图14为表示其图像检索方法的概略的处理顺序的流程图。

在步骤S51，用户准备好与希望检索的图像相似的参照图像。图像输入部11从图像输入装置(未图示)读取参照图像。然后，图像输入部11在将所读取的参照图像储存到缓冲存储器9的参照图像存储器33内。另外，参照图像也可以不从图像输入装置(未图示)中读取，事先选择参照图像存储器33所储存的参照图像，另外，也可以将原图像区域28所储存的原图像作为参照图像来进行选择。

在步骤S52，相似度计算部20从参照图像存储器33中取出参照图像，并对该参照图像计算上述的属性值。即、根据上述的步骤S3、S4的顺序，得到在属性分析部19所处理的多个属性值。

在步骤S53，相似度计算部20根据索引数据区域30所储存的索引数据37，选择与参照图像相似的原图像。相似的判断方法和步骤S23同样。

然后，相似度计算部20按照相似度高的顺序将所选择的多个原图像(以下称为「一次选择图像」)的索引数据37进行分类，并作为备用索引数据储存到备用索引存储器34内。

在步骤S54，符号加法运算部24将一次选择图像内的相似度高的上位第K个图像作为对象，从备用索引存储器34中取出索引数据37，加上被赋予了符号区域37e的同样符号的数据(在本实施例中为「1」或「0」)。然后，加权处理部26用加权系数乘以该加法运算结果，计算出计数值。计数值的计算方法和步骤S24相同。

在步骤S55，符号加法运算部24对新的加法运算值选定直到上位第T个大的符号。如果T＝3的话，如图10所示，选定符号2和符号4、符号M。

在步骤S56，符号检索部25根据索引数据33，检索被选定的T个符号内的至少S个以上的符号为「1」的原图像。然后，将根据符号所检索的图像定为在上述原图像中作为一次选择图像而没有被选择的图像。即、在提取出根据属性值所选择的原图像的基础上，将根据符号所检索的原图像作为与参照图像相似的图像来提取出。

在步骤S57，分组处理部41根据属性值，将一次选择图像和通过符号检索方式所提取出的图像分类为组(分组)。

图15为表示分组的顺序的图。

在步骤T1，设定分组处理的基准值的最小距离D和组的最小要素数N_min。

在步骤T2，调查所有的备用图像从属于哪一个组Ci。当在步骤T2为否定的情况下，即，有不从属于任何组Ci的备用图像的情况下，在步骤T3从备用图像中选择两个图像。然后，在步骤T4，调查是否为至少一方的图像不从属于任何的组CI的组合。

当在步骤T4为肯定的情况下，即，在备用图像的两个组合内，有至少一方的图像不从属于任何的组Ci的组合的情况下，在步骤T5，计算这两个图像(图像A及图像B)的属性值的距离X_AB。

在这里，根据公式(6)来定义图像A及图像B的属性值的距离X_AB的2次方。

X_AB ²＝(X_A-X_B)² …(6)

X_A：图像A的属性值向量

X_B：图像B的属性值向量

然后，在步骤T6，选择属性值的距离X_AB变为最小的图像A、B的组合。即、在这里所选择的图像A、B，为从属于同样的组的可能性最高的组合。

在步骤T7，将属性值的距离X_AB和为基准值的最小距离D进行比较。当在步骤T7为肯定的情况下，即，在属性值的距离X_AB小于为基准值的最小距离D的情况下，就判断为在这里所选择的图像A、B从属于同样的组。

因此，在步骤T8，调查图像A、B中的一方是否从属于任何一个组。当在步骤T8为肯定的情况下，即，在图像A、B中的任何一方从属于组Ci的情况下，将另外一方的图像也作为应从属于组Ci登录到组Ci中，在步骤T9，再次实施步骤T2以后的处理。

当在步骤T8为否定的情况下，即，在图像A、B中的任何一方不从属于组Ci的情况下，在步骤T10，将图像A、B登录到新的组Cj中。然后，再次实施步骤T2以后的处理。

当在步骤T7为否定的情况下，即，在属性值的距离X_AB大于基准值的最小距离D的情况下，判断为在这里所选择的图像A、B不从属于同样的组。因此，在步骤T11，将在图像A、B内不从属于组的图像登录到新的组Ci中。这时，在图像A、B任何一方都不从属于组的情况下，将各个图像登录到别的新的组中。然后，再次实施步骤T2以后的处理。

当在步骤T2为肯定的情况下，即，在备用图像的所有的图像都从属于任何一个组Ci的情况下，结束分组处理。

在以上的分组处理之后，分组判断部42调查是否存在定域化的组。即、在从属于组的要素数(图像数)大于最小要素数N_min、且从属于该组的所有的图像的属性值在规定的范围内存在有某个组的情况下，就判断该组为定域组，将这些组作为备用组。

即、在所提取出的图像内，存在多个具有特征型属性值的图像的情况下，作为相似的图像，重新检索具有与该特征性属性值接近的属性值的图像。

当在步骤S58为肯定的情况下，即，在存在定域化的组的情况下，在步骤S59，参数检索部43调查属于备用组的图像的属性值，检索具有在该属性值的分布范围内所包含的属性值的原图像。并且，将所检索的图像作为在原图像中在步骤S56中而没被选择的图像。

在这里，所谓属性值的分布范围，是指可以判断从属于该组的属性值的范围。例如，是指检索与从属于该组的图像的特征向量的重心的距离在规定值以下的原图像。

在步骤S60，图像显示部13将利用一次选择图像、通过符号检索方式所提取出的图像、及分组所检索的图像作为检索结果显示到显示装置(未图示)上。另外，分组处理为利用了统计学的方法，众所周知在上述以外还有很多的方法。也可以利用在本实施方式中所说明的以外的分组方法。

根据第3实施例的图像检索装置，由于将基于属性值的检索和符号检索合并起来检索相似图像，并将基于分组的图像检索加在一起来应用，因而就可以减少相似图像检索的遗漏，可以更加提高检索精确度。

根据以上所说明的各实施例，与以往的赋予关键字的操作相比，由于为引入了「符号」的概念的结构，因而可以大幅度地减轻赋予操作的劳动。另外，由于赋予的符号没有必要为关键字，因而在检索时也没有选定关键字的烦恼。另外，由于在以往的相似图像检索方法的基础上，将符号检索合并起来使用，因而可以提高相似图像的检索精确度。

另外，由于采用基于分组的图像检索，因而可以减少相似图像检索的遗漏，可以更加提高检索精确度。

还有，在上述的各实施例中所说明的功能，并不局限于采用硬件来构成，也可以通过采用软件使计算机读取具备各功能的程序来实现。另外，也可以为适宜地选择软件、硬件中的任何一方来构成各功能。

并且，也可以通过使计算机读取未图示的存储介质所储存的程序来实现各功能。在这里，本实施方式的存储介质，只要是可以存储程序、且计算机可读取的存储介质，其存储形式也可以为任何一种方式。

另外，本发明并不限于上述的实施方式，在实施阶段，在不脱离其技术构思的范围内可以将结构要素进行变形并具体化。另外，通过把在上述实施例中所公开的多个结构要素进行恰当的组合，可以构成各种的发明。例如，也可以从实施例所示的整体结构要素中削减几个结构要素。并且也可以将不同的实施例的结构进行恰当的组合。

Claims

1.一种图像检索装置，其特征在于，具有：

输入图像的图像输入单元；

求得将所输入的多个图像的特征定量化的属性值的属性值获得单元；

将所述图像和该图像的属性值建立对应关联并进行存储的图像存储单元；

将从所述图像输入单元所输入的多个图像或所述图像存储单元所存储的多个图像中所选择的图像作为第1参照图像，根据所述属性值，从所述图像存储单元所存储的多个图像中检索与所述第1参照图像相似的至少一个第1图像的第1检索单元；

将所述被检索出的至少一个第1图像的缩小图像进行显示的检索图像显示单元；

使图像检索的要求者从所述被显示的缩小图像中选择与所述第1参照图像相似的至少一个第2图像的图像选择单元；

对所述图像存储单元所存储的所有的图像，重新设置作为用于赋予表示和所述第1参照图像是否相似的符号的数据区域的类别，对所述被选择的至少一个的每个第2图像赋予表示与该类别相似的符号的符号赋予单元；

对应所述类别，赋予表示相似的可靠度的数值的数值分配单元。

2.根据权利要求1所述的图像检索装置，其特征在于，

所述第1检索单元将从所述图像输入单元所输入的多个图像或所述图像存储单元所存储的多个图像中所选择的图像作为第2参照图像，根据所述属性值，从所述图像存储单元所存储的多个图像中检索与所述第2参照图像相似的至少一个第3图像，

并具有：根据赋予给每个所述被检索出的至少一个第3图像的类别的所述符号和所述数值，至少选择一个用于检索与所述第2参照图像相似的图像的类别的类别选择单元；和

从所述图像存储单元所存储的多个图像中检索被赋予了表示与所述被选择的类别相似的符号的图像的第2检索单元。

3.根据权利要求2所述的图像检索装置，其特征在于，还具有：

将至少一个所述第3图像，根据该图像的所述属性值，至少分类为一个组的分组单元；

判断在所述的组内从属于该组的图像数为规定数以上的组的分组判断单元；和

从所述图像存储单元所存储的多个图像中检索被分类为从属于所述被判断的组的至少一个图像的第3检索单元。

4.根据权利要求2所述的图像检索装置，其特征在于，

所述第1检索单元具有：通过将所述第2参照图像的所述属性值和所述图像存储单元所存储的多个图像的所述属性值进行比较，计算出图像的相似度，来判断图像的相似的相似判断单元。

5.根据权利要求1所述的图像检索装置，其特征在于，

所述第1检索单元将从所述图像输入单元所输入的多个图像或所述图像存储单元所存储的多个图像中所选择的图像作为第2参照图像，根据所述属性值，从所述图像存储单元所存储的多个图像中检索出与所述第2参照图像相似的至少一个第3图像，

所述检索图像显示单元将被检索出的至少一个第3图像的缩小图像进行显示，

所述图像选择单元使图像检索的要求者从被显示的缩小图像中选择与所述第2参照图像相似的至少一个第4图像，

并具有：根据赋予给每个所述被选择的第4图像的类别的所述符号和所述数值，至少选择一个用于进一步检索与所述第2参照图像相似的图像的类别的类别选择单元；和

6.根据权利要求5所述的图像检索装置，其特征在于，还具有：

将至少一个所述第4图像，根据该图像的所述属性值，至少分类为一个组的分组单元；

7.根据权利要求1所述的图像检索装置，其特征在于，

所述第1检索单元具有：通过将所述第1参照图像的所述属性值和所述图像存储单元所存储的多个图像的所述属性值进行比较，计算出图像的相似度，来判断图像的相似的相似判断单元。

8.根据权利要求7所述的图像检索装置，其特征在于，

所述第1检索单元具有：按照所述相似度大的顺序对所述图像存储单元所存储的多个图像进行排序的图像排序单元。

9.根据权利要求1所述的图像检索装置，其特征在于，

所述数字分配单元具有：根据表示所述被选择的至少一个第2图像的所述属性值的分布状态的统计量来计算出表示所述相似的可靠度的数值的数值计算单元。

10.一种图像检索装置，其特征在于，具有：

输入图像的图像输入单元；

将所述图像与该图像的属性值建立对应关联并进行存储的图像存储单元；

将从所述图像输入单元所输入的多个图像或所述图像存储单元所存储的多个图像中所选择的图像作为第1参照图像，根据所述属性值，从所述图像存储单元所存储的多个图像中检索出与所述第1参照图像相似的至少一个第1图像的第1检索单元；

对所述图像存储单元所存储的所有的图像，重新设置作为用于赋予表示和所述第1参照图像是否相似的数值的数据区域的类别，对应所述类别，将表示和所述第1参照图像相似的可靠度的数值赋予所述被选择的至少一个的每个第2图像的数值分配单元。

11.根据权利要求10所述的图像检索装置，其特征在于，

并具有：根据赋予给每个所述被检索出的至少一个的第3图像的类别的所述数值，至少选择一个用于检索与所述第2参照图像相似的图像的类别的类别选择单元；和

从所述图像存储单元所存储的多个图像中检索出表示所述被选择的至少一个类别的相似的可靠度的数值在规定值以上的图像的第2检索单元。

12.根据权利要求10所述的图像检索装置，其特征在于，

所述图像选择单元使图像检索的要求者从所述被显示的缩小图像中选择与所述第2参照图像相似的至少一个第4图像，

并具有：根据赋予给每个所述被选择的第4图像的类别的所述数值，至少选择一个用于进一步检索与所述第2参照图像相似的图像的类别的类别选择单元；和

从所述图像存储单元所存储的多个图像中检索出表示所述被选择的类别的相似的可靠度的数值在规定值以上的图像的第2检索单元。

13.一种图像检索程序，其特征在于，使计算机执行如下的步骤，即：

输入图像的图像输入步骤；

求得将所输入的多个图像的特征定量化的属性值的属性值获得步骤；

将所述图像和该图像的属性值建立对应关联并进行存储的图像存储步骤；

将从在所述图像输入步骤所输入的多个图像或在所述图像存储步骤所存储的多个图像中所选择的图像作为第1参照图像，根据所述属性值，从在所述图像存储步骤所存储的多个图像中检索与所述第1参照图像相似的至少一个第1图像的检索步骤；

将所述被检索出的至少一个第1图像的缩小图像进行显示的检索图像显示步骤；

使图像检索的要求者从所述被显示的缩小图像中选择与所述第1参照图像相似的至少一个第2图像的图像选择步骤；

对在所述图像存储步骤所存储的所有的图像，重新设置作为用于赋予表示和所述第1参照图像是否相似的符号的数据区域的类别，对所述被选择的至少一个的每个第2图像赋予表示与该类别相似的符号的符号赋予步骤；

对应所述类别，赋予表示相似的可靠度的数值的数值分配步骤。

14.根据权利要求13所述的图像检索程序，其特征在于，使计算机执行如下的步骤，即：

将从在所述图像输入步骤所输入的多个图像或在所述图像存储步骤所存储的多个图像中所选择的图像作为第2参照图像，根据所述属性值，从在所述图像存储步骤所存储的多个图像中检索与所述第2参照图像相似的至少一个第3图像的检索步骤；

根据赋予给每个所述被检索出的至少一个第3图像的类别的所述符号和所述数值，至少选择一个用于检索与所述第2参照图像相似的图像的类别的类别选择步骤；和

从在所述图像存储步骤所存储的多个图像中检索被赋予了表示与所述被选择的类别相似的符号的图像的检索步骤。

15.根据权利要求14所述的图像检索程序，其特征在于，使计算机进一步执行如下的步骤，即：

将至少一个所述第3图像，根据该图像的所述属性值，至少分类为一个组的分组步骤；

判断在所述的组内从属于该组的图像数为规定数以上的组的分组判断步骤；和

从在所述图像存储步骤所存储的多个图像中检索被分类为从属于所述被判断的组的至少一个图像的检索步骤。

16.根据权利要求13所述的图像检索程序，其特征在于，使计算机进一步执行如下的步骤，即：

将从在所述图像输入步骤所输入的多个图像或所述图像存储步骤所存储的多个图像中所选择的图像作为第2参照图像，根据所述属性值，从在所述图像存储步骤所存储的多个图像中检索出与所述第2参照图像相似的至少一个第3图像；

将被检索出的至少一个第3图像的缩小图像进行显示的显示步骤；

使图像检索的要求者从被显示的缩小图像中选择与所述第2参照图像相似的至少一个第4图像的步骤；

根据赋予给每个所述被选择的第4图像的类别的所述符号和所述数值，至少选择一个用于进一步检索与所述第2参照图像相似的图像的类别的类别选择步骤；和

从在所述图像存储步骤所存储的多个图像中检索被赋予了表示与所述被选择的类别相似的符号的图像的第2检索步骤。

17.根据权利要求16所述的图像检索程序，其特征在于，使计算机进一步执行如下的步骤，即：

将至少一个所述第4图像，根据该图像的所述属性值，至少分类为一个组的分组步骤；

从所述图像存储步骤所存储的多个图像中检索被分类为从属于所述被判断的组的至少一个图像的检索步骤。

18.一种图像检索程序，其特征在于，使计算机执行如下的步骤，即：

输入图像的图像输入步骤；

将所述图像与该图像的属性值建立对应关联并进行存储的图像存储步骤；

将从在所述图像输入步骤所输入的多个图像或在所述图像存储步骤所存储的多个图像中所选择的图像作为第1参照图像，根据所述属性值，从所述图像存储步骤所存储的多个图像中检索出与所述第1参照图像相似的至少一个第1图像的检索步骤；

对在所述图像存储步骤所存储的所有的图像，重新设置作为用于赋予表示和所述第1参照图像是否相似的数值的数据区域的类别，对应所述类别，将表示和所述第1参照图像相似的可靠度的数值赋予所述被选择的至少一个的每个第2图像的数值分配步骤。

19.根据权利要求18所述的图像检索程序，其特征在于，使计算机进一步执行如下的步骤，即：

将从在所述图像输入步骤所输入的多个图像或在所述图像存储步骤所存储的多个图像中所选择的图像作为第2参照图像，根据所述属性值，从在所述图像存储步骤所存储的多个图像中检索出与所述第2参照图像相似的至少一个第3图像的第1检索步骤；

根据赋予给每个所述被检索出的至少一个的第3图像的类别的所述数值，至少选择一个用于检索与所述第2参照图像相似的图像的类别的类别选择步骤；和

从在所述图像存储步骤所存储的多个图像中检索出表示所述被选择的至少一个类别的相似的可靠度的数值在规定值以上的图像的第2检索步骤。

20.根据权利要求18所述的图像检索程序，其特征在于，使计算机进一步执行如下的步骤，即：

将从在所述图像输入步骤所输入的多个图像或所述图像存储步骤所存储的多个图像中所选择的图像作为第2参照图像，根据所述属性值，从所述图像存储步骤所存储的多个图像中检索出与所述第2参照图像相似的至少一个第3图像的检索步骤；

将被检索出的至少一个第3图像的缩小图像进行显示的步骤，

使图像检索的要求者从所述被显示的缩小图像中选择与所述第2参照图像相似的至少一个第4图像的选择步骤；

根据赋予给每个所述被选择的第4图像的类别的所述数值，至少选择一个用于进一步检索与所述第2参照图像相似的图像的类别的类别选择步骤；和

从在所述图像存储步骤所存储的多个图像中检索出表示所述被选择的类别的相似的可靠度的数值在规定值以上的图像的检索步骤。