CN105677696A - 检索设备和检索方法 - Google Patents

Abstract

根据实施例，检索设备包括接收器、检索处理器和显示控制器。接收器被配置为接收第一图像。检索处理器被配置为基于第一要素信息检索第二图像，第一要素信息包括与第一图像相关联的类别、位置、尺寸、形状和颜色中的一个或多个，第一图像包括一个以上的第一图像要素。显示控制器被配置为利用至少一个用符号表示一个以上第一图像要素的第一符号图像，在显示器上显示第二图像。

Description

检索设备和检索方法

相关申请的交叉引用

该申请基于和要求2014年12月5日提交的日本专利申请No.2014-247249的优先权的权利；其整个内容通过引用被结合与此。

技术领域

本文描述的实施例大体涉及检索设备和检索方法。

背景技术

常规已知一种检索设备，该检索设备利用用户输入的图像作为查询来检索欲搜索的图像。

然而，在上述常规的技术中，用户无法理解检索设备是如何解释输入图像以检索欲搜索的图像。

发明内容

实施例的目标为提供能使用户理解如何将输入图像解析检索要搜索的图像的检索设备和检索方法。

根据一实施例，检索设备包括接收器、检索处理器和显示控制器。接收器被配置为接收第一图像。检索处理器被配置为基于第一要素信息检索第二图像，第一要素信息包括与第一图像相关联的类别、位置、尺寸、形状和颜色中的一个或多个，第一图像包括一个以上的第一图像要素。显示控制器被配置为利用用符号表示一个以上的第一图像要素的第一符号图像，在显示器上显示第二图像。

上述检索设备能使用户理解输入图像是如何被解释以检索要搜索的图像的。

附图说明

图1是图示第一实施例的检索设备的实例的结构图；

图2是是图示第一实施例的显示屏幕的实例的示意图；

图3是图示第一实施例的检索设备的处理实例的流程图；

图4是图示第一变形例的检索设备的实例的结构图；

图5是图示第一变形例的显示屏幕的实例的示意图；

图6是图示第二变形例的显示屏幕的实例的示意图；

图7是图示第二实施例的检索设备的实例的结构图；

图8是图示第二实施例的查询显示区的实例的示意图；

图9是图示第二实施例的符号删除操作的实例的示意图；

图10是图示第二实施例的符号变色操作的实例的示意图；以及

图11是图示实施例和变形例的检索设备的硬件配置实例的示意图。

具体实施方式

实施例将参考附图在下文中进行详细地描述。

第一实施例

图1是图示第一实施例的检索设备10的实例的结构图。如图1所示，检索设备10包括存储单元11、图像输入单元13、接收单元15、信息生成单元17、检索单元19、图像生成单元21、显示控制器23、显示单元25和操作输入单元27。

例如，可以通过平板电脑终端、智能手机或者个人计算机(PC)来实施检索设备10。

例如，可以通过诸如硬盘驱动器(HDD)、固态驱动器(SSD)、存储卡、光盘、随机存取存储器(RAM)以及只读存储器(ROM)的能够进行磁、光或者电存储的存储设备来实施存储单元11。例如，可以通过如照相机的成像设备、如网络接口的通信设备和上述存储装置来实施图像输入单元13。

例如，可以通过调用如中央处理单元(CPU)的处理设备执行计算机程序来实施接收单元15、信息生成单元17、检索单元19、图像生成单元21和显示控制器23，即通过与如集成电路(IC)的硬件一起实施的软件，或者通过使用软件与硬件的结合来实施。

例如，可以通过如接触面板显示器和液晶显示器的显示器装置来实施显示单元25。例如，可以通过接触面板显示器、鼠标或者键盘来实施操作输入单元27。

存储单元11在其中储存大量的图像。具体地说，存储单元11在其中储存多条记录、要素信息和符号图像，每条记录与图像相关联，要素信息为构成图像的一个以上的组成部分的类别、位置、尺寸、形状和颜色中的至少一个，符号图像基于彼此之间的要素信息用符号表示一个以上的组成部分。虽然，在第一实施例中，描述了要素信息是表示一个以上的组成部分的类别和位置的信息的情况作为实例，但是要素信息并不限于此。

符号图像是对于一个以上的组成部分的每一个组成部分，其类别通过类别名称(关键字)、图标、图示、或者其他项目而被符号表示的图像。当要素信息表示组成部分的位置时，符号的位置被确定为与组成部分的位置相对应的位置，并且当要素信息表示组成部分的尺寸时，符号的尺寸被确定为与组成部分的尺寸对应的尺寸。当要素信息表示组成部分的形状时，符号的周界被沿组成部分的形状的线包围，并且当要素信息表示组成部分的颜色时，符号的颜色被确定为与组成部分的颜色对应的颜色。

要素信息从图像中产生并与图像相关联。产生它的处理可以类似于信息生成单元17的处理。因此，省略对其的描述，并在信息生成单元17的描述中对其进行描述。符号图像是从要素信息中产生的并与要素信息相关联。产生它的处理可以类似于图像生成单元21的处理。因此，省略对其的描述，并在图像生成单元21的描述中对其进行描述。

在下文中，将用于生成检索欲搜索的图像的查询的图像称为第一图像；将组成第一图像的一个以上的组成部分称为一个以上的第一组成部分；将作为一个以上第一组成部分的类别、位置、尺寸、形状和颜色中的至少一个的要素信息称为第一要素信息；并且将表示一个以上的第一组成部分的符号图像称为第一符号图像。检索欲搜索图像的查询与第一要素信息对应。

类似地，将欲搜索的图像称为第二图像；将组成第二图像的一个以上的组成部分称为第二组成部分；将作为一个以上的第二组成部分的类别、位置、尺寸、形状和颜色的至少一个的要素信息称为第二要素信息；以及将表示一个以上的第二组成部分的符号图像称为第二符号图像。

图像输入单元13输入第一图像。当通过成像设备成像的图像或者通过通信设备从外部接收的图像是第一图像时，储存在存储单元11中的图像都是第二图像。当通过成像设备成像的图像是动态图像时，组成动态图像的多帧图像中的任意帧可以是第一图像。当储存在存储单元11中的图像是第一图像时，存储在存储单元11中的图像除了第一图像以外的所有的图像是第二图像。

接收单元15从图像输入单元13接收第一图像的输入。接收单元15还从操作输入单元27接收多条操作输入。

信息生成单元17由接收自接收单元15的第一图像生成一个以上的第一组成部分的第一要素信息。一个以上的第一组成部分是在组成第一图像的多个第一组成部分中类别已知的第一组成部分。

为了从第一图像生成一个以上的第一组成部分的第一要素信息，可以使用J.肖顿、J.Winn、C.Rother和A.Criminisi在如IJCV中公开的用于图像理解的增强性纹理：通过纹理、布局和背景的联合建模的多类目标识别和分割的技术。

例如，信息生成单元17使用被训练的鉴别器，以便从组成第一图像的多个组成部分中提取(区分)属于预定的一个以上的类别的组成部分的范围、提取相应的一个以上的第一组成部分的类别和范围。

信息生成单元17可以从提取的第一组成部分的范围中确定第一组成部分的位置(例如，中心位置)、尺寸和形状。

相对于提取的第一组成部分的范围，信息生成单元17在任意彩色空间，如RGB彩色空间、LAB彩色空间和HSV彩色空间生成组成部分的颜色直方图，并确定具有最常见的值的代表色作为第一组成部分的颜色。第一组成部分的颜色可以通过单个颜色表示、通过如柱状图的分布表示、或者通过任意数量的代表色表示。

当储存在存储单元11中的任意图像是第一图像时，第一图像的第一要素信息同样储存在存储单元11中，并且信息生成单元17不需要生成第一要素信息。

检索单元19基于由接收单元15接收的第一图像的第一要素信息来检索第二图像。当通过信息生成单元17生成第一要素信息时，检索单元19使用第一要素信息来搜索第二图像，并在第一要素信息存储在存储单元11中时，使用第一要素信息来搜索第二图像。

具体地说，检索单元19从存储单元11中检索包含与第一要素信息类似的第二要素信息的记录。

例如，检索单元19量化第一要素信息表示的相应的一个以上的第一组成部分的类别和位置。检索单元19从存储单元11获取记录并量化在记录中表示的第二单元所包含的一个以上的第二组成部分的类别和位置。

然后，检索单元19对于一个以上的第一组成部分中的每一个组成部分，将第一组成部分的类别和位置的量化值与一个以上的第二组成部分中的每一个的类别和位置的量化值进行比较。如果匹配的量化值的比值是一定比值或更大，则检索单元19确定第二组成部分与第一组成部分类似。相似地，检索单元19设定第二组成部分与一个以上的第一组成部分相匹配的比值。如果相似度大于阈值，则第二要素信息与第一要素信息类似。

在第一实施例中，描述了一个实例，在该实例中类别和位置是被组成部分的，因为要素信息表示相应的一个以上的组成部分的类别和位置。如果要素信息还表示一个以上的组成部分各自的大小、形状和颜色，则同样使大小、形状和颜色组成部分。

例如，检索单元19可以通过判定第一组成部分和第二组成部分之间的差是否在预先限定的差异特性范围之内，来确定第一组成部分和第二组成部分之间的相似度。在这种情况下，作为类别的差异特性，可以使用类别之间语义的紧密关系；作为位置的差异特性，可以使用通过标准化坐标和图像尺寸之间的距离而获取的距离；作为尺寸的差异特性，可以使用长宽比；作为形状的差异特性，可以使用外切形状的边缘信息的关联性；以及作为颜色的差异特性，可以使用颜色直方图。

例如，检索单元19可以使用鉴别器来确定第一组成部分和第二之间的相似性。在这种情况下，可以使用鉴别器，被判定为主观匹配的组成部分对和被判定为主观不匹配的组成部分对作为统计数据，使用差异特性作为2个种类问题，通过诸如支持向量机(SVM)的一般的机器学习方法来培训该鉴别器。

图像生成单元21基于接收自接收单元15的第一图像的第一要素信息来生成第一符号图像，该第一符号图像用符号表示一个以上的第一组成部分。当信息生成单元17生成第一要素信息时，图像生产单元21利用第一要素信息来生成第一符号图像，并且当第一要素信息存储在存储单元11中时，图像生成单元21利用第一要素信息来生成第一符号图像。

显示控制器23基于检索单元19与第一符号图像一起检索到的第二图像，在显示单元25上显示图像。当图像生成单元21生成第一符号图像时，显示控制器23显示第一符号图像，并当第一符号图像存储在存储单元11中时，显示控制器23显示第一符号图像。虽然在第一实施例描述的情况中，作为一个例子，基于第二图像的图像是包含在检索设备19检索到的记录中的第二符号图像，但是此处并不限制基于第二图像的该图像。

在第一实施例中，当检索单元19检索到n(n≥2)条记录时，显示控制器23以相似度为顺序，在显示单元25上将包含在n条记录中的n个第二符号图像排列和显示为基于第二图像的图像。

在第一实施例中，当显示在显示单元25上的第二符号图像被指定或者被选择时，显示控制器23进一步在显示单元25上显示包含在记录中的第二图像的缩略图，该记录包含第二符号图像。具体地说，当显示在显示单元25上的指定(例如，触摸操作或者光标覆盖操作)或者选择(例如，光标覆盖操作和单击操作)的第二符号图像的操作是通过操作输入单元27输入并通过接收单元15接收时，显示控制器23获取包含在包含第二符号图像的记录中的图像，减小第二图像为缩略图，并进一步在显示单元25上显示该缩略图。

在第一实施例中，显示控制器23进一步在显示单元25上显示接收自接收单元15的第一图像的缩略图。具体地说，显示控制器23减小接收自接收单元15的第一图像为缩略图，并进一步在显示单元25上显示该缩略图。

图2是图示第一实施例的显示屏幕的实例的示意图。在图2所示的实例中，在查询显示区31中显示第一图像的缩略图32和第一符号图像33。

在第一符号图像33中，具有类别名称“天空”的符号34被排列在第一符号图像33中与缩略图32的天空对应的位置，具有类别名称“晚霞”的符号35被排列在第一符号图像33中与缩略图32的晚霞对应的位置，具有类别名称“山脉”的符号36被排列在第一符号图像33中与缩略图32的山脉对应的位置，以及具有类别名称“湖泊”的符号37被排列在第一符号图像33中与缩略图图像32的湖泊对应的位置。

在检索结果显示区域41上显示第二符号图像42至45以及其他检索到的图像。在图2所示的实例中，选择第二符号图像45(未示出)，并进一步显示包含在包含第二符号图像45的记录中的第二图像51。

图3是图示由第一实施例的检索设备10执行的处理的过程的实例的流程图。

首先，接收单元15从图像输入单元13接收输入的第一图像(步骤S101)。

然后，信息生成单元17根据接收自接收单元15的第一图像生成一个以上的第一组成部分的第一要素信息。

然后，检索单元19利用信息生成单元17生成的第一要素信息，检索包含与第一要素信息、第二图像和第二符号图像类似的第二单元信息的记录(步骤S105)。

然后，图像生成单元21基于信息生成单元17生成的第一要素信息来产生用符号表示一个以上的第一组成部分的第一符号图像(步骤S107)。

然后，显示控制器23在显示单元25上显示接收自接收单元15的第一图像、由图像生成单元21生成的第一符号图像、以及通过检索单元19检索到的第二符号图像(步骤S109)。

流程图中的步骤可以以改变后的顺序执行或者同时被执行，除非违反其自然规律。例如，可以在步骤S103或者之后和步骤S109之前随时执行第一符号图像的产生(在步骤S107处理的)。例如，可以在步骤S101或者该步骤之后随时执行第一图像的显示，可以在第一符号图像的生成之后随时执行第一符号图像的显示，并可以在步骤S105或者该步骤之后执行第二符号图像的显示。

如上所述，根据第一实施例，以及基于根据第一要素信息检索到的第二图像的图像，显示用符号表示一个以上的第一组成部分的第一符号图像，并因此使用户理解第一图像是如何被解释以检索第二图像的，第一要素信息为组成第一图像的一个以上的第一组成部分的类别、位置、大小、形状和颜色中的至少一个。于是，用户能够简单直观地理解为什么第二图像是由第一图像检索到的原因。

第一变形例

在第一实施例中，与显示所有检索到的第二符号图像不同，代表性符号图像的数目小于检索到的第二符号图像的数目，并显示表示归入相应的代表性符号图像的第二符号图像的数目的数目信息。以下主要描述与第一实施例不同之处。将具有与第一实施例相类似的功能的组成部分赋予与第一实施例相类似的名称和数字，并省略对其的描述。

图4是图示第一变形例的检索设备110的实例的结构图。如图4所示，第一变形例的检索设备110与第一实施例中的图像生成单元121和显示控制器123不同。

当检索单元19已经检索到n条记录时，图像生成单元121可以进一步基于生成的第一符号图像或者包含在n条记录中的第二符号图像来生成m(2≤m≤n)个代表性符号图像。

当从第一符号图像生成代表性符号图像时，图像生成单元121可以改变第一符号图像的符号的类别、位置、尺寸、形状和颜色中的至少一个，以生成代表性符号图像。

当从n个第二符号图像生成代表性符号图像时，图像生成单元121可以基于相似度或者其他特性，将n个第二符号图像分类为m个组，合并分类在同一组中的第二符号图像，并生成m个代表性符号图像。

显示控制器123可以将检索单元19检索到的n个第二符号图像分类为m个代表性符号图像，并在显示单元25上显示作为基于第二图像的图像的数目信息和m个代表性符号图像，数目信息表示分类到每个m个代表性图像的的第二符号图像的数目。当已经通过图像生成单元121执行n个第二符号图像的分类时，显示控制器123可省略其分类。

图5是图示第一变形例的显示屏幕的实例的示意图。在图5所示的实例中，在检索结果显示区域41上显示生成的代表性符号图像52至54以及其他图像，并显示多条分别与代表性符号图像52至54相关联的数目信息62至64。

第二变形例

在第一实施例中，第一图像和第二图像可以是面部图像。在这种情况下，第一要素信息可以是组成第一图像的一个以上的第一组成部分的类别、大小、形状和颜色中的至少一个和第一图像的类别。

第一图像的类别的实例包括笑脸和诸如生气的感觉。例如，信息生成单元17可以从面部表情识别感觉。为了从面部表情识别感觉，可以使用如D.帕里克、K.格劳曼公开在ICCV2011中的相对属性中的技术。

图6是图示第二变形例的显示屏幕的实例的示意图。在图6所示的实例中，在查询显示区域31上显示第一图像的缩略图82和第一符号图像83。在检索结果显示区域41上显示第二符号图像91至93和其他检索到的图像。在图6所示的实例中，选择第二符号图像93(未示出)，并进一步显示包含在包含第二符号图像93的记录中的第二图像96。

在图6所示的实例中，要素信息是表示一个以上的组成部分的类别、位置、大小、形状和颜色以及第一图像的类别的信息。

第三变形例

在第一实施例中，基于第二图像的图像可以是包含在检索单元19检索到的记录中的第二图像的缩略图。当指定或者选择显示在显示单元25上的第二图像的缩略图时，显示控制器23可以进一步在显示单元25上显示包含在包含第二图像的记录中的第二符号图像。

在第一实施例中，与同时显示第一图像的缩略图和第一符号图像不同，可以显示其中一个图像，并在该图像被指定或者选择时，显示其他的图像。

第四变形例

在第一实施例中，第一图像、第一要素信息和第一符号图像彼此相关联的记录可以被记录在存储单元11中。因此，可以将第一图像、第一要素信息和第一符号图像彼此间相关联的记录加入接下来和后续时间要搜索的目标中。

例如，可以将模式划分为检索模式和注册模式，并在注册模式中，可以将第一图像、第一要素信息和第一符号图像彼此相关联的记录记录在存储单元11中而不用执行检索。

第五变形例

虽然在第一实施例描述的实例中的存储单元11也在其中存储第二符号图像，但是，可以通过检索到的第二单元信息来生成第二符号图像，而不是在存储单元11中储存第二符号图像。

第六变形例

虽然在第一实施例中描述的实例中检索设备10包括存储单元11，但是存储单元11可以是检索设备10外部提供的(例如，云端)。检索设备10包括的除存储单元11的任何部件都可以形成在云端中。检索设备10可以通过多个分配式设备实现。

第二实施例

在第二实施例中，描述的实例的第一要素信息被改为由用户通过编辑第一符号图像而预期的第一要素信息，并且给予改变后的第一要素信息执行检索。以下主要描述与第一实施例的不同之处。具有与第一实施例的功能类似的组成部分将被赋予与第一实施例中的类似的名称和数字，并且省略对其的描述。

图7是图示第二实施例的检索设备210的结构图。如图7所示，第二实施例的检索设备210中的接收单元215、信息生成单元217、检索单元219和显示控制器223不同于第一实施例中的。

在第一实施例中，当第一图像的输入接收自接收单元15时，检索单元19利用通过信息生成单元17生成的第一要素信息来执行检索。然而，在第二实施例中，检索是在检索操作输入接收自接收单元215后执行的。

出于这个原因，显示控制器223在检索单元219执行检索之前在显示单元25上显示第一符号图像。

图8是图示第二实施例的显示屏幕的查询显示区域31的实例的示意图。如图8所示的实例，在查询显示区域31上显示第一图像的缩略图32、第一符号图像33和光标71。

接收单元215进一步接收改变组成第一符号图像的一个以上的第一组成部分的改变输入。具体地说，接收单元215从操作输入单元27接收改变第一符号图像上的符号的操作输入。

改变符号的操作输入的实例包括用光标71选择该符号后的多条操作输入，例如改变类别、移动符号的位置、改变符号的尺寸、改变符号的形状、改变符号的颜色、以及删除符号。

图9是图示第二实施例的符号删除操作的实例的示意图。在图9所示的实例中，显示删除图标72，并用光标71选择符号73。利用光标71，将符号73移动到删除图标72，从而删除符号73。

图10是图示第二实施例的符号变色操作的实例的示意图。在图10所示的实例中，显示变色图标74，并利用光标71选择符号73。在变色图标74上改变颜色，从而改变符号73的颜色。

信息生成单元217基于接收自接收单元215的改变输入改变生成的第一要素信息。具体地说，信息生成单元217做出改变，以使较早生成的第一要素信息为改变后的第一符号图像的第一要素信息。

当检索操作输入为来自操作输入单元27的输入并且接收自接收单元215时，如果其是在第一要素信息改变之前的，则检索单元219基于信息生成单元217生成的第一要素信息检索第二图像，并且如果其是在第一要素信息改变之后的，则检索单元219基于通过信息生成单元217改变的第一要素信息检索第二图像。

然后，显示控制器223进一步基于通过检索单元219检索到的第二图像，在显示单元25上显示图像。

如上所示，第二实施例除了第一实施例的效果之外，还可以生成用户预期的第一要素信息，并甚至在缺少第一图像时，可以基于预期的第一图像实现检索。

第七变形例

与第一修改例到第六修改例的修改类似地修改第二实施例。

硬件配置

图11是图示上述实施例和变形例的检索设备的硬件配置实例的示意图。上述实施例和变形例的每一个的检索设备为利用典型的计算机的硬件配置，包括如中央处理器(CPU)的控制设备901、如只读存储器(ROM)和随机存取存储器的存储设备902、如硬盘驱动器(HDD)的外部储存器设备903、如显示器的显示设备904、如键盘和鼠标的输入设备905、以及如通信接口的通信设备906。

通过上述实施例和变形例的检索设备执行的电子计算机程序被记录和安置在如只读光盘(CD-ROM)、刻录光盘(CD-R)、存储卡、数字化视频光盘(DVD)、以及软磁盘(FD)的计算机可读存储介质中作为安装型或者可执行文件。

通过上述实施例和变形例的检索设备执行的计算机程序可以存储在与如因特网的网络连接的计算机中并通过该网络的下载被提供。此外，通过上述实施例和变形例的检索设备执行的计算机程序可以通过如因特网的网络被提供或分配。例如，通过上述实施例和变形例的检索设备执行的计算机程序可以被储存在提供的ROM中。

通过上述实施例和变形例的检索设备执行的计算机程序在计算机上被模块化以实现上述单元。作为实际的硬件，CPU从HDD读取程序，装载由此读取到RAM的计算机程序，并执行计算机程序，从而在计算机上实现上述单元。

如上所述，上述实施例和变形例使用户能够理解输入图像是如何被解析以检索要搜索的图像的。

虽然已经描述了一些实施例，但是这些实施例仅仅以举例的方式被呈现，并不是意在限制本发明的范围。当然，本文描述的新颖的实施例可以被具体化为各种其他形式；此外，可以对本文描述的实施例的形式做各种省略、替换和变形而不偏离本发明的精神。所附的权利要求书和其等价的意在包涵这些变形例的形式在本发明的范围和精神之内。

Claims (16)

1.一种检索设备，其特征在于，包括：

接收器，所述接收器被配置为接收第一图像；

检索处理器，所述检索处理器被配置为基于第一要素信息来检索第二图像，所述第一要素信息包括与所述第一图像相关联的类别、位置、尺寸、形状和颜色中的一个或多个，所述第一图像包含一个以上的第一图像元素；和

显示控制器，所述显示控制器被配置为利用用符号表示所述一个以上的第一图像要素的至少第一符号图像，在显示器上显示所述第二图像。

2.如权利要求1所述的设备，其特征在于，进一步包括信息生成器，所述信息生成器被配置为从所述第一图像生成所述第一要素信息。

3.如权利要求1所述的设备，其特征在于，进一步包括图像生成器，所述图像生成器被配置为基于所述第一要素信息生成所述第一符号图像。

4.如权利要求1所述的设备，其特征在于，

所述检索处理器检索包括所述第二要素信息的记录，其中，基于所述第二要素信息和第一要素信息之间的相似度来识别所述记录，从存储器中检索到所述记录，所述存储器存储有多条记录以及第二符号图像，所述多条记录中的每条记录使所述第二图像与所述第二要素信息相关联，所述第二符号图像用符号表示一个以上的第二图像要素，其中

所述第二要素信息包括与所述第二图像相关联的类别、位置、尺寸、形状和颜色中的一个或多个，所述第二符号图像包括所述一个以上的第二图像要素。

5.如权利要求4所述的设备，其特征在于，所述第二符号图像被包含在检索到的记录中。

6.如权利要求5所述的设备，其特征在于，当指定或选择显示在所述显示器上的所述第二符号图像时，所述显示控制器进一步在所述显示器上显示包含在所述检索到的记录中的所述第二图像的缩略图。

7.如权利要求4所述的设备，其特征在于，所述图像生成器被配置为基于所述第一要素信息生成所述第一符号图像，其中

当已经检索到n(n≥2)条记录时，所述图像生成器基于所述第一符号图像或者包含在所述n条记录中的n个第二符号图像，进一步生成m(2≤m≤n)个代表性符号图像；

所述显示控制器将所述n个第二符号图像分类成所述m个代表性符号图像，并在所述显示器上显示各自伴随有数目信息的所述m个代表性符号图像，所述数目信息表示被分类成所述m个代表性符号图像中的每一个代表性符号图像的所述第二符号图像的数目。

8.如权利要求4所述的设备，其特征在于，当已经检索到n(n≥2)条记录时，所述显示控制器在所述显示器上按照第一符号图像的相似度的次序来显示包含在所示n条记录中的所述n个第二符号图像。

9.如权利要求1所述的设备，其特征在于，所述第一图像和所述第二图像为面部图像。

10.如权利要求9所述的设备，其特征在于，所述第一要素信息包括与所述第一图像相关联的类别、位置、大小、形状和颜色中的一个或多个。

11.如权利要求1所述的设备，其特征在于，所述一个以上的第一图像要素包括与多个第一图像要素相关联的第一类别，所述多个第一图像要素与所述第一图像相关联。

12.如权利要求1所述的设备，其特征在于，所述显示控制器进一步在所述显示器上显示所述第一图像的缩略图。

13.如权利要求1所述的设备，其特征在于，所述第二符号图像是包含在检索到的记录中的所述第二图像的缩略图。

14.一种检索设备，其特征在于，包括：

接收器，所述接收器被配置为接收第一图像；和

显示控制器，所述显示控制器被配置为基于包含与所述第一图像相关联的类别、位置、尺寸、形状和颜色中的一个或多个的第一要素信息，在显示器上显示用符号表示所述第一图像的一个以上的第一图像要素的第一符号图像，其中

所述接收器进一步接收改变与所述第一符号图像相关联的所述一个以上的第一图像要素的改变输入，

所述检索设备进一步包括检索处理器，所述检索处理器被配置为基于根据所述改变输入已经被改变的所述第一要素信息来检索第二图像，和

所述显示控制器进一步在所述显示器上显示所述第二图像。

15.一种检索方法，其特征在于，包括：

接收第一图像；

基于第一要素信息检索第二图像，所述第一要素信息包括与所述第一图像相关联的类别、位置、尺寸、形状和颜色中的一个或多个，所述第一图像包括一个以上的第一图像要素；和

基于所述第一要素信息，利用用符号表示所述第一图像的所述一个以上的第一图像要素的至少第一符号图像，在显示器上显示所述第二图像。

16.一种检索方法，其特征在于，包括：

接收第一图像；

基于包括与所述第一图像相关联的类别、位置、尺寸、形状和颜色中的一个或多个的第一要素信息，在显示器上显示用符号表示所述第一图像的一个以上的第一图像要素的第一符号图像；

接收改变与所述第一符号图像相关联的所述一个以上的第一图像要素的改变输入；

基于根据所述改变输入已经被改变的所述第一要素信息，检索第二图像；和

在所述显示器上显示所述第二图像。