CN101290657B - 类似度分析装置、图像显示装置和图像显示方法 - Google Patents

Abstract

本发明公开了类似度分析装置、图像显示装置和图像显示方法。该类似度分析装置包括：图像获得部，用于获得具有相关的图像拾取日期和/或时间的拾取图像；以及图像登记部，用于登记示出了所拾取的面部、并具有与之相关的图像拾取日期和/或时间的面部图像。该装置还包括：类似度等级计算部，用于检测图像获得部获得的每个拾取图像的面部，并计算检测到的面部与登记在图像登记部中的面部图像中的面部之间的类似度等级；以及类似度等级减少部，用于减少类似度等级计算部计算出的面部类似度等级，与拾取图像相关的图像拾取日期和/或时间和与面部图像相关的图像拾取日期和/或时间之间的差异越大，则类似度等级计算部计算出的面部类似度等级减少得越多。

Description

类似度分析装置、图像显示装置和图像显示方法

技术领域

本发明涉及一种类似度分析装置、用于显示拾取图像列表的图像显示装置、图像显示程序存储介质和用于分析多个面部之间的类似度等级的图像显示方法。 

背景技术

近来，除了数字摄像机正迅速小型化之外，经常随身携带的小型设备(例如移动电话等)上大多数也安装了图像拾取装置，所以可以很容易携带图像拾取装置。由于数字摄像机和小型设备上安装的图像拾取装置可以获得数字拾取图像，因此可以当场立即在液晶显示器上显示拾取的图像，进行确认，而且可以在打印输出之前，将不必要的拾取图像删除。此外，当将多个拾取图像集总地记录到记录介质等时，可以在不占用很多空间的情况下，以很高的图像质量存储拾取图像。 

作为一种有效地将拾取的图像顺序放置的方法，相册应用程序广泛用于使用个人计算机将拾取的图像顺序放置。个人计算机的优点在于，因为其具有大容量硬盘装置并且可以容易地执行用于复制拾取图像并将其附于电子邮件等的任务，所以个人计算机可以在不必特别注意剩余容量的情况下存储许多拾取图像。 

此外，在图像处理领域中，用于对其中正在拾取图像的图像拾取场景进行分析的场景分析技术、用于提取正在拾取的面部的面部提取技术等是广泛已知的，此外，在相册应用程序的领域中，正在发展应用场景分析技术和面部提取技术的附加功能。关于该点，提出了一种图像显示方法，在该方法中，当预先登记有面部图像时，从存储在硬盘装置等中的许多拾取图像中搜索具有与登记的面部相似的面部的拾取图像，并将其显示(例如，日本专利申请公报No.2006-314010和2004-172849)。 根据该图像显示方法，即使存储许多拾取图像，也可以容易地搜索其中拾取了朋友、家庭成员等的拾取图像，并将其附于电子邮件等，因此可以改善通信。 

上述面部提取技术等通常通过搜索拾取图像中的具有特征形状的图像部分(例如眼、鼻、嘴等)来提取面部。因此，存在一些问题。例如，一个问题是，当旨在搜索其中拾取了女儿的拾取图像时，甚至也搜索到了其母亲(就面部各部分而言，其早期面部与女儿的面部相似)的拾取图像，另一个问题是，很难彼此分辨其面部的各部分为略圆形状的婴儿。 

发明内容

考虑以上情况，本发明提供了类似度分析装置、图像显示装置、图像显示程序存储介质和图像显示方法，其能够准确地分析预定人的面部图像与正在拾取的面部之间的类似度等级。 

根据本发明的类似度分析装置包括： 

图像获得部，用于获得与图像拾取日期和/或时间相关的多个拾取图像； 

图像登记部，用于登记示出了所拾取的面部、并且与图像拾取日期和/或时间相关的面部图像； 

类似度等级计算部，用于检测图像获得部获得的多个拾取图像的每个拾取图像的面部，并计算检测到的面部与登记在图像登记部中的面部图像中的面部之间的类似度等级；以及 

类似度等级减少部，用于减少类似度等级计算部计算出的面部类似度等级，与所述拾取图像相关的图像拾取日期和/或时间和与所述面部图像相关的图像拾取日期和/或时间之间的差异越大，则类似度等级计算部计算出的面部类似度等级减少得越多。 

根据本发明的类似度分析装置，拾取图像的图像拾取日期和/或时间与面部图像的图像拾取日期和/或时间的差异越大，则拾取图像中的面部与登记的面部图像中的面部之间的类似度等级减少的越多。例如，当登记女儿的面部图像时，类似度等级计算部计算出的女儿的面部图像与其 中拾取了女儿的母亲的早期面部的拾取图像之间的类似度等级很高。然而，由于这些拾取图像的图像拾取日期和/或时间彼此非常不同，因此类似度等级减少部极大减少了计算出的类似度等级。如上所述，由于本发明的类似度分析装置除考虑了图像中的面部之间的类似度等级之外，还考虑了图像被拾取时的图像拾取日期和/或时间之间的差异，因此可以准确地分析类似度等级。 

在本发明的类似度分析装置中，优选的是，图像登记部除登记图像拾取日期和/或时间之外，还登记具有与之相关的年龄的面部图像，并且，在类似度等级减少部中，根据所述年龄来减少所述类似度等级，并且所述差异越大，所述类似度等级减少得越多。 

通常，虽然人的面部在他或她的童年改变较大，但是当其成年时面部改变较少。因此，可以通过极大地减少儿童年龄的类似度等级并抑制成人年龄的类似度等级的减少，可提高类似度等级计算的准确度。 

根据本发明的图像显示装置包括： 

图像获得部，用于获得与图像拾取日期和/或时间相关的多个拾取图像； 

图像登记部，用于登记示出了所拾取的面部、并与图像拾取日期和/或时间相关的面部图像； 

类似度等级计算部，用于检测图像获得部获得的多个拾取图像中的每个拾取图像的面部，并计算检测到的面部与在图像登记部中登记的面部图像中的面部之间的类似度等级； 

类似度等级减少部，用于减少类似度等级计算部计算的面部类似度等级，与拾取图像相关的图像拾取日期和/或时间和与面部图像相关的图像拾取日期和/或时间之间的差异越大，则类似度等级计算部计算的面部类似度等级减少得越多；以及 

图像显示部，用于按照类似度等级的降序来显示图像获得部获得的多个拾取图像。 

根据本发明的图像显示装置，即使存储了许多拾取图像，也可以有效确认其中拾取了与拾取图像中预定个人的面部之间具有很大类似度等 级的面部的拾取图像。 

在本发明的图像显示装置中，优选的是，图像登记部除登记图像拾取日期和/或时间之外，还登记具有与之相关的年龄的面部图像，并且，在类似度等级减少部中，根据所述年龄来减少类似度等级，并且所述差异越大，类似度等级减少得越多。 

根据该优选图像显示装置，可以更准确地计算面部图像中的面部与拾取图像中的面部之间的类似度等级。 

在本发明的图像显示装置中，优选的是，图像显示部分显示具有类似度等级的轴的三维空间，并在三维空间上将拾取图像置于类似度等级减少部减少的拾取图像类似度等级的位置。 

可以通过拾取图像在三维空间上放置的位置，很容易地计算面部图像中的面部与拾取图像中的面部之间的类似度等级。 

优选的是，本发明的图像显示装置包括辅助显示部，用于显示具有类似度等级的轴的二维空间，并在二维空间上将标记置于类似度等级减少部减少的拾取图像类似度等级的位置，以表示存在拾取图像。 

当按照类似度等级的降序将许多拾取图像从拾取图像顺序布置和放置时，因为拾取图像放置的位置重叠，所以有不知道是否存在拾取图像的可能性。除图像显示部的显示之外，可以通过将标记放置并显示在二维空间上，来很容易地识别存在拾取图像。 

优选的是，本发明的图像显示装置还包括： 

指定部，用于通过显示在二维空间的两个轴中的与类似度等级的轴不同的轴的方向延伸的指定框并且沿类似度等级的轴移动所述指定框，来在二维空间上指定类似度等级；以及 

显示控制部，用于使得图像显示部将具有由指定部指定的类似度等级的拾取图像，置于所述三维空间中的最前表面。 

优选的是，本发明的图像显示装置包括图像数目显示部，用于显示具有由指定部分指定的类似度等级的拾取图像的数量。 

根据该优选图像显示装置，可以很容易地确定具有由指定部指定的类似度等级的拾取图像的数量。 

在本发明的图像显示装置中，优选的是，数据获得部从存储多个拾取图像的存储部获得多个拾取图像。 

根据该优选图像显示装置，即使将许多拾取图像存储在硬盘装置等中时，也可以很容易地确定其上的面部与登记的面部图像中的面部相似的拾取图像。 

本发明的图像显示程序存储介质存储在计算机中执行的图像显示程序，并在计算机中构造； 

图像获得部，用于获得图像拾取日期和/或时间相关的多个拾取图像； 

图像登记部，用于登记表示拾取的面部、并且与图像拾取日期和/或时间相关的面部图像； 

类似度等级计算部，用于检测图像获得部获得的多个拾取图像的每个的面部，并计算检测到的面部与在图像登记部中登记的面部图像中的面部之间的类似度等级；以及 

类似度等级减少部，用于减少类似度等级计算部计算出的面部类似度等级，与所述拾取图像相关的图像拾取日期和/或时间和与所述面部图像相关的图像拾取日期和/或时间之间的差异越大，则类似度等级计算部计算出的面部类似度等级减少得越多；以及 

图像显示部，用于以类似度等级的降序显示图像获得部获得的多个拾取图像。 

注意，只描述了图像显示程序存储介质的基本特征，但这只是为了避免重复，根据本发明的图像显示程序存储介质不限于以上基本特征，并包括与上述图像显示装置的各种特征对应的各种特征。 

此外，在本发明的图像显示程序在计算机***上构造的例如图像获得部等的元件中，一个程序部分可能构造一个元件，或者一个程序部分可能构造多个元件。此外，可能将这些元件构造为本身执行其操作，或可能将其构造为通过命令与计算机***相似的其他程序和程序部分来执行操作。 

此外，本发明的图像显示方法包括： 

图像获得步骤，用于获得与图像拾取日期和/或时间相关的多个拾取图像； 

图像登记步骤，用于登记示出了所拾取的面部、并与图像拾取日期和/或时间相关的面部图像； 

类似度等级计算步骤，用于检测图像获得步骤获得的多个拾取图像的每个拾取图像的面部，并计算检测到的面部与在图像登记步骤中登记的面部图像中的面部之间的类似度等级； 

类似度等级减少步骤，用于减少类似度等级计算步骤中计算出的面部类似度等级，与拾取图像相关的图像拾取日期和/或时间和与面部图像相关的图像拾取日期和/或时间之间的差异越大，则类似度等级计算步骤中计算的面部类似度等级减少得越多；以及 

图像显示步骤，用于按照类似度等级的降序来显示在图像获得步骤中获得的多个拾取图像。 

根据本发明的图像显示方法，即使存储了许多拾取图像，也可以在许多拾取图像中有效地确认面部与预定个人面部类似度等级很高的拾取图像。 

注意，这里也只描述了显示方法的基本特征，但这只是为了避免重复，根据本发明的显示方法不限于以上基本特征，并包括与上述图像显示装置的各种特征对应的各种特征。 

根据本发明，可以准确地分析预定个人的面部与拾取图像中的面部之间的类似度等级。 

附图说明

图1是应用本发明实施方式的个人计算机的外部外观视图； 

图2是示出了个人计算机的内部配置的图； 

图3是示出了存储图像显示程序的CD-ROM的概念图； 

图4是拾取图像显示装置的功能框图； 

图5是示出了在图像拾取日期/时间模式中执行的用于显示拾取图像列表的处理的流程的流程图； 

图6是示出了三维空间的实施例的概念图； 

图7是示出了二维空间的实施例的概念图； 

图8是示出了其上显示三维图像、二维图像和滚动条的显示画面的实施例的图； 

图9是示出了显示弹出窗口之后的显示画面的实施例的图； 

图10是示出了登记画面的实施例的图； 

图11是示出了在个人模式中执行的处理的流程的流程图； 

图12是示出了个人选择画面的实施例的图； 

图13是示出了三维空间的实施例的概念图； 

图14是示出了其上显示三维图像、二维图像和滚动条的个人显示画面的实施例的图；以及 

图15是示出了在切换类似度等级之后的个人显示画面的实施例的图。 

具体实施方式

下面参照附图描述本发明的实施方式。 

图1是应用本发明实施方式的个人计算机的外部外观视图。 

个人计算机100包括主体装置101、图像显示装置102、键盘103和鼠标104。图像显示装置102响应于来自主体装置101的指令，将图像显示在显示画面102a上，键盘103响应于键操作将各类信息输入到主体装置101，鼠标104在显示画面102a上指定任意位置，并且，例如，根据在该位置显示的图标等而输入指令。此外，虽然没有示出，但是主体装置101具有安装DVD或CD-ROM的CD/DVD安装端口、以及安装软盘(在下文中缩写为FD)的FD安装端口。 

图2是示出了个人计算机100的内部配置的图。 

如图2所示，主体装置101在其内部包括CPU 111、主存储器112、硬盘装置113、CD/DVD驱动器114、FD驱动器115和通信接口116。CPU111执行各类程序，使用主存储器112，将存储在硬盘装置113中的程序读出到主存储器并且在主存储器中形成程序，从而由CPU 111执行，硬 盘装置113存储各类程序、数据等，CD/DVD驱动器114在其上安装有CD-ROM 300或者DVD时对它们进行访问，FD驱动器在其上安装有FD310时对FD 310进行访问，将通信接口116连接到例如数字摄像机等的外部装置，并将数据发送到外部装置或者从外部装置接收数据。并且如图2所示，通过总线105将这些不同类型元件连接到图像显示装置102、键盘103和鼠标104。 

CD-ROM 300存储图像显示程序，是本发明的图像显示程序存储介质的实施方式。在CD/DVD驱动器114上安装CD-ROM 300，将CD-ROM300中存储的图像显示程序上载到个人计算机100，并将其存储在硬盘装置113中。当开始并执行图像显示程序时，在个人计算机100中构造了应用本发明的显示装置的实施方式的拾取图像显示装置500(参见图4)。 

下面描述个人计算机100中执行的图像显示程序。 

图3是示出了存储图像显示程序的CD-ROM 300的概念图。 

图像显示程序400包括指令部410、捕获部412、登记部413、拾取图像信息/图像获得部414、位置计算部415、二维图像创建部416、三维图像创建部417、分析部418、显示部419、强调显示部420、图像存储部421、数目显示部422和控制部423。分析部418包括面部提取部4181、类似度等级计算部4182、差异计算部4183和类似度等级确定部4184。将与拾取图像显示装置500的各部分的操作一起，详细描述图像显示程序400的各部分。 

注意，虽然将CD-ROM 300用作本发明的图像显示程序存储介质的实施例，但是本发明的图像显示程序存储介质不限于CD-ROM并可能是不同于CD-ROM的例如光盘、MO、FD、磁带等的存储介质。此外，可能在不使用存储介质的情况下，通过通信网络直接向计算机提供本发明的显示程序。 

图4是当在图1中示出的个人计算机100上安装了图像显示程序400时，在个人计算机100中构造的拾取图像显示装置的功能框图。 

图4中示出的拾取图像显示装置500包括指令部511、捕获部512、登记部513、拾取图像信息/图像获得部514、位置计算部515、二维图像 创建部516、三维图像创建部517、分析部518、显示部519、强调显示部520、图像存储部521、数目显示部522、控制部523和存储部501。分析部518还包括面部提取部5181、类似度等级计算部5182、差异计算部5183和类似度等级确定部5184。当在图1中示出的个人计算机100上安装了图3中示出了的图像显示程序400时，图像显示程序400的指令部410构造图4的指令部511。以相同方式，捕获部412构造捕获部512，登记部413构造登记部513，拾取图像信息/图像获得部414构造拾取图像信息/图像获得部514，位置计算部415构造位置计算部515，二维图像创建部416构造二维图像创建部516，三维图像创建部417构造三维图像创建部517，分析部418构造分析部518，面部提取部4181构造面部提取部5181，类似度等级计算部4182构造类似度等级计算部5182，差异计算部分4183构造差异计算部5183，类似度等级确定部4184构造类似度等级确定部5184，显示部419构造显示部519，强调显示部420构造强调显示部分520，图像存储部421构造图像存储部521，数目显示部422构造数目显示部522，以及控制部423构造控制部523。 

图4的各元件与图3中示出了的图像显示程序400的各元件的不同在于，前者元件包括计算机的硬件和由计算机执行的OS和应用程序的组合，而后者元件只包括应用程序。 

以下描述图4中示出了的拾取图像显示装置500的各元件，通过该描述，也描述图3中示出了的图像显示程序400的各元件。 

图4中示出的拾取图像显示装置500示出了代表拾取对象的图像的拾取图像数据列表，以及将用户选择的拾取图像数据记录到记录介质等。 

当将记录拾取图像的数字摄像机或记录介质连接到图1中示出的个人计算机100时，捕获部512捕获附有例如图像拾取日期/时间、图像拾取条件等的拾取图像信息的拾取图像。将捕获的拾取图像数据和拾取图像信息发送到登记部513。 

登记部513通过缩小从捕获部512发送的拾取图像数据表示的拾取图像，来创建缩略图像，并将拾取图像数据与拾取图像信息和缩略图像一起存储到存储部501。 

图2中示出的硬盘装置113具有存储部501的作用，并将表示拾取图像的拾取图像数据、拾取图像信息(表示拾取图像的图像拾取条件、图像拾取日期/时间等)、以及其中缩小了拾取图像的缩略图像存储为集合。存储部501与根据本发明的存储部的实施例对应。 

本实施方式的拾取图像显示装置500具有“图像拾取日期/时间模式”和“个人模式”。在“图像拾取日期/时间模式”中，根据图像拾取日期/时间布置并显示存储在存储部501中的拾取图像，而在“个人模式”中，预先登记面部图像，并且，按照与登记的面部图像的面部的类似度等级较高的顺序，布置并显示存储在存储部501中的拾取图像。预先准备用于执行“图像拾取日期/时间模式”的图像拾取日期/时间按钮和用于执行“个人模式”的个人按钮。首先，描述如何在“图像拾取日期/时间模式”中显示拾取图像列表。 

图5是示出了在图像拾取日期/时间模式中执行的用于显示拾取图像列表的处理的流程的流程图。 

当用户使用鼠标104等选择图像拾取日期/时间按钮时，图4的指令部511命令拾取图像信息/图像获得部514执行“图像拾取日期/时间模式”。 

当命令显示列表时，拾取图像信息/图像获得部514获得存储在存储部501中的缩略图像和拾取图像信息(图5的步骤S1和S2)。缩略图像是通过缩小拾取图像来创建的并且等同于与拾取图像对应的数据。将获得的拾取图像信息发送到位置计算部515，并将获得的缩略图像发送到三维图像创建部517。 

位置计算部515在具有三个轴(即，将一天分段、每段四个小时的轴、进一步将四个小时分段、每段一个小时的轴、以及表示一天的轴)的三维空间上，计算从拾取图像信息/图像获得部514发送的拾取图像信息中包括的图像拾取日期/时间所对应的三维位置，以及在具有两个轴(即，将一天分段，每段四个小时的轴和表示一天的轴)的二维空间上，计算与三维位置对应的二维位置(图5的步骤S3)。 

图6是示出了三维空间的实施例的概念图，图7是示出了二维空间 的实施例的概念图。 

如图6所示，将三维空间应用到本实施方式，其中三维空间具有表示通过将一天分段、每段四个小时所获得的值的Y轴(纵向)，表示通过进一步将分配到Y轴的四个小时分段、每段一个小时来获得的值的X轴(横向)，以及表示一天的Z轴(深度方向)。 

向三维空间的X轴顺序分配从1开始的值2、3、4，获得通过将图像拾取日期/时间(YYYY年，MM月，DD日，HH时PP分)的“HH时”除以4来获得的值增加1所获得的值，作为X轴上的值。 

将从23时到20时的四个小时用作开始点，向三维空间的Y轴顺序分配19时到16时、...、7时到4时、3时到0时的各个四个小时。获得通过将图像拾取日期/时间(YYYY年，MM月，DD日，HH时PP分)的“HH时”除以4来获得的值，作为Y轴上的值。 

从作为开始点的今天起，向三维空间的Z轴顺序分配昨天、前天、...，并且根据图像拾取日期/时间(YYYY年，MM月，DD日，HH时PP分)来计算Z轴上的值。 

此外，如图7所示，将二维空间应用在实施方式中，其中二维空间具有示出了通过将一天分段、每段四个小时所获得的值的X轴(横向)和示出了一天的Y轴(纵向)。 

与图6中示出的三维空间的Y轴同样，将从23时到20时的四个小时用作开始点，向二维空间的X轴顺序分配从19时到16时、...、从7时到4时、以及从3时到0时的各个四个小时，将三维空间中的Y轴上的值原样不变地计算为二维空间中的X轴上的值。 

从作为开始点的今天起，向二维空间的Y轴顺序分配昨天、前天、...，将三维空间中Z轴上的值原样不变地计算为二维空间中的Y轴上的值。 

例如，当在相同日期的相同时区中拾取多个图像时，与作为各个拾取图像的图像拾取日期/时间的“HH时”对应地计算多个位置，作为三维空间上的位置。然而，对多个拾取图像计算相同位置，作为二维空间上的位置。即，二维空间上的标记表示存在着相同日期的相同时区中拾取的一个或更多个拾取图像。 

将在二维空间上计算出的位置(二维位置)发送到二维图像创建部516，将在三维空间上计算出的位置(三维位置)发送到三维图像创建部517。 

二维图像创建部516创建二维图像，其中将表示存在拾取图像的标记置于在从位置计算部515发送的二维空间上的二维位置(图5的步骤S4)。将创建的二维图像发送到显示部519。 

控制部523命令显示部519沿二维空间上的Y轴显示滚动条。 

三维图像创建部517创建三维图像，在该三维图像中，将从拾取图像信息/图像获得部514发送的缩略图像置于三维空间上的从位置计算部515发送的位置。(图5的步骤S5)。将创建的三维图像发送到显示部519。 

此外，数目显示部522计算在三维图像的最上表面上显示的拾取图像数量，并将计算的拾取图像数量发送到显示部519。 

显示部519在显示画面102a上显示从二维图像创建部516发送的二维图像、从三维图像创建部517发送的三维图像、控制部523命令的滚动条、以及从数目显示部522发送的拾取图像数量(图5的步骤S6)。 

图8是示出了其上显示了三维图像600、二维图像620和滚动条623的显示画面102a的实施例的图。 

注意，在被命令显示列表以及显示三维图像600、二维图像620和滚动条623的初始状态中，只在三维图像600和二维图像620上显示表示从作为开始点的今天开始的一周时间的区域。 

在图8中示出的三维图像600中，在相同表面上布置并显示在相同日期拾取的图像的缩略图像610。Y轴上缩略图像610的位置表示拾取了缩略图像610所表示的图像的时区(各个四个小时)，而X轴上缩略图像610的位置表示在Y轴表示的时区中各一个小时的时间。例如，当Y轴上的缩略图像610的位置是“8时到11时”，并且其X轴上的位置是“2”时，表示在作为Y轴上的位置表示的时区“8、9、10和11时”中的第二最早时间的“9时”拾取了缩略图像610。此外，在三维图像600中还并排显示了用来根据“图像拾取日期/时间模式”显示拾取图像列表的图像拾取日期/时间按钮631以及用来根据“个人模式”显示拾取图像列表 的个人按钮632。 

如上所述，根据本实施方式的拾取图像显示装置500，由于在三维图像600中的相同表面上布置在相同日期拾取的图像的缩略图像，因此可以集中地确认例如在学校入学典礼中拾取的图像。 

此外，图8中示出的二维图像620在将各个四个小时设定为X轴并且将日期设定为Y轴的二维空间上，在与在三维图像600上放置各个缩略图像610的位置对应的位置，显示标记621。标记621表示存在在X轴表示的“时区”中在Y轴表示的“日期”拾取的图像。可以通过查看二维图像620，来很容易地确定是否存在在预定日期拾取的图像。 

此外，二维图像620也显示滚动条623、框622、数目显示部624、期间改变按钮625和日期改变按钮626。滚动条623沿Y轴(日期)延伸并在二维图像620上指定日期，框622包围滚动条623选择的日期范围，数目显示部624表示在框622包围的图像拾取日期拾取的图像的数量，期间改变按钮625切换上述期间，日期改变按钮626切换日期。 

框622包围的图像拾取日期是在三维图像600上最上表面上显示的拾取图像的图像拾取日期，可以通过确认数目显示部624，来很容易地识别相同日期拾取的图像的数量。 

此外，当点击表示指针601的鼠标右键时，显示用于选择缩略图像的弹出窗口640。 

图9是示出了在显示了弹出窗口640之后显示画面102a的实施例的图。 

图9中示出了的弹出窗口640提供“深度菜单”、“行菜单”和“表面菜单”。“深度菜单”用来集总地选择在相同时区中拾取的图像的缩略图像，“行菜单”用来集总地选择相同日期的相同时区中拾取的图像的缩略图像，“表面菜单”用来集总地选择在相同日期拾取的图像的缩略图像。 

当用户使用弹出窗口640选择了缩略图像610时(图5的步骤S7：是)，将指定的内容从图4的命令部511发送到以强调方式显示选择的缩略图像610和与缩略图像610对应的标记621的强调显示部分520(图5的步骤S8)。在图9的实施例中，用户指定弹出窗口640的“表面菜单”， 并且集总地选择表示相同日期拾取的图像的缩略图像610并以强调方式显示(通过加亮来显示)。此外，也以强调方式(空显示，voided display)显示置于与选择的缩略图像610表示的图像的拾取日期/时间对应的位置的二维图像620上的标记621。如上所述，由于以强调方式显示选择的缩略图像和与缩略图像对应的标记图像，因此可以容易地在视觉上确定当前选择的缩略图像所表示的图像是何时拾取的。 

当用户在选择了缩略图像610的状态中在图1中所示的鼠标104右侧点击时，显示弹出窗口以将选择的缩略图像610的拾取图像存储到记录介质。 

当用户使用指针601选择了在弹出窗口上显示的命令时(图5的步骤S9：是)，将命令内容发送到图4的图像存储部521。图像存储部521从存储部501获得选择的缩略图像610的拾取图像数据，通过图2中示出的CD/DVD驱动器114将拾取图像数据存储在所安装的DVD(没有示出)等(DVD安装在个人计算机100上的CD-ROM 300的位置)中(图5的步骤S10)。 

如上所述，根据“图像拾取日期/时间模式”，由于将许多拾取图像存储在存储部501中，因此即使缩略图像在三维图像600上的深度方向上交叠，也可以通过查看二维图像620来很容易地识别在哪天执行了图像拾取操作等。 

以上描述了根据“图像拾取日期/时间模式”的处理的流程，随后将描述根据“个人模式”的处理的流程。 

当执行“个人模式”时，登记其上预先拾取了个人面部的面部图像。预先向拾取图像显示装置500准备登记画面，来登记面部图像。当用户通过鼠标选择了用于显示登记画面的显示按钮时，图4中示出的命令部511命令图像拾取信息/图像获得部514显示登记画面。图像拾取信息/图像获得部514获得存储在存储部501中的拾取图像，并将获得的拾取图像发送到面部提取部5181。面部提取部5181提取这些拾取图像中的面部图像。将提取的面部图像发送到显示部519，显示部519在显示画面102a上显示登记画面。 

图10是示出了登记画面的实施例的图。 

在图10的部分(A)中示出的登记画面710显示了从存储在存储部501中的拾取图像中提取的面部图像720。此外，为登记画面710配备下一步按钮712、返回按钮711、确定按钮713和取消按钮714。下一个按钮712用来显示下一页的面部图像720，返回按钮711用来显示前一页的面部图像720，确定按钮713用来确定设定内容，取消按钮714用来取消设定内容。在本实施方式中，可以为一个个人登记多个面部图像720。当用户从显示在登记画面710上的面部图像720中选择预定个人的面部图像720，并按下确定按钮713时，显示用于输入个人信息的信息输入画面730。 

在图10的部分(B)中示出的信息输入画面730显示了在图10的部分(A)中示出的登记画面710上选择的面部图像720。此外，为信息输入画面730配备：个人姓名输入部731，用于输入个人姓名；生日输入部732，用于输入个人生日；以及登记按钮733，用于确定设定内容。当用户输入了个人姓名和生日时，向图4中示出的差异计算部5183发送生日。根据输入的生日和用作面部图像720的来源的拾取图像的图像拾取日期，差异计算部5183计算拾取这些图像时其面部在面部图像720中的人的年龄(在下文中，称作图像拾取时年龄)。计算出的年龄被发送到显示部519，并显示在信息输入画面730的年龄显示部721上。当用户选择了登记按钮733时，使个人信息(其示出了用作所述来源的拾取图像的图像拾取日期/时间、个人姓名和生日)以及图像拾取时年龄与面部图像720对应，通过捕获部512和登记部513，在存储部501中登记面部图像720和个人信息的集合。登记部513是根据本发明的图像登记部的实施例，而用于登记个人的处理与本发明的图像显示方法中的图像登记步骤的实施例对应。 

当用户选择了图8中示出的个人按钮632时，图4的指令部511命令图像拾取信息/图像获得部514和分析部518执行“个人模式”。 

图11是示出了个人模式执行的处理的流程的流程图。 

当被命令执行“个人模式”时，图像拾取信息/图像获得部514获得 登记到存储部501的面部图像720和个人信息的集合，并且将个人信息发送到显示部519。显示部519在显示画面102a上显示个人选择画面，来选择个人。 

图12是示出了个人选择画面的实施例的图。 

个人选择画面740显示登记在存储部501中的个人姓名，而且，与个人姓名并行地显示单选按钮741，来选择一个个人。当用户使用鼠标104等选择了一个个人，并且按下了确定按钮742时，将选择的内容发送到图像拾取信息/图像获得部514(图11的步骤S11)。 

当选择了个人时，图像拾取信息/图像获得部514获得存储在存储部501中的多个拾取图像和图像拾取信息以及所选个人的面部图像720和个人信息，将多个拾取图像发送到面部提取部5181，将所选个人的面部图像720和个人信息发送到类似度等级计算部5182，并将图像拾取信息和个人信息发送到差异计算部5183和类似度等级确定部5184。图像拾取信息/图像获得部514与根据本发明的图像获得部的实施例对应，而用于获得多个拾取图像的处理与本发明的图像显示方法中的图像获得步骤的实施例对应。 

面部提取部5181从多个拾取图像提取面部。由于在图像中提取面部的处理是常规地、广泛地执行的，因此省略其详细描述。将提取的面部图像发送到类似度等级计算部5182。 

类似度等级计算部5182计算面部图像720与从多个拾取图像提取的各个面部之间的假定(tentative)类似度等级(图11的步骤S12)。由于在个人认证***等中广泛使用用于计算多个图像中包括的面部的类似度等级的技术，因此省略对其的详细描述。面部提取部5181和类似度等级计算部5182的组合与根据本发明的类似度等级计算部的实施例对应，而用于在拾取图像中提取面部和计算提取的面部与登记的面部图像720之间的类似度等级的处理与本发明的图像显示方法中的类似度等级计算步骤的实施例对应。 

当假设拾取图像中的个人是面部图像720中的个人时，差异计算部5183根据包括在与多个拾取图像对应的图像拾取信息中的图像拾取日期 /时间、包括在与面部图像720对应的个人信息中的图像拾取日期/时间和包括在该个人信息中的图像拾取时年龄，来计算当拾取该个人的图像时该个人的年龄(此后，称为假设年龄)(图11的步骤S13)。将计算出的假设年龄发送到类似度等级确定部5184。 

类似度等级确定部5184根据差异计算部5183计算出的假设年龄和面部图像720中的个人的图像拾取时年龄，减少类似度等级计算部5182计算出的假定类似度等级，并且确定面部图像720中的面部与拾取图像中的面部之间的类似度等级(图11的步骤S14)。差异计算部5183和类似度等级确定部5184的组合与根据本发明的类似度等级减少部的实施例对应，而用于减少假定类似度等级的步骤S13的处理与根据本发明的类似度等级减少步骤的实施例对应。在本实施方式中，预先确定各年龄的类似度等级的减少比率。 

表1示出了各年龄的类似度等级减少比率的实施例。 

[表1] 

年龄	减少比率
		0-1	20％
1-2	20％
		2-3	10％
3-4	10％
		...	10％
19-20	10％
		20-21	10％
22-23	5％
		...	5％

图像拾取时年龄每接近假设年龄1岁，就按照表1中示出的减少比率，从假定类似度等级减少类似度等级。例如，当面部图像720中个人的图像拾取时年龄是5，并且待分析的拾取图像中的该个人的假设年龄是1时，通过以下表达式计算类似度等级的减少比率。 

减少比率(年龄1→5)＝[年龄1-2的减少比率20]+[年龄2-3的减少比率10]+[年龄3-4的减少比率10]+[年龄4-5的减少比率10]＝50％ 

通过以下公式计算拾取图像中该个人相对面部图像720中该个人(5岁)的假设年龄(1岁)的类似度等级。 

类似度等级＝假定类似度等级×(100-减少比率(50)) 

在本实施方式中，假设年龄与图像拾取时年龄之间的差异越大，减少比率增加得越多。例如，当母亲年轻时的面部与她的女儿现在的面部非常相似时，根据她们面部的轮廓计算出的假定类似度等级很大。然而，由于拾取母亲年轻时的面部的拾取图像的拾取日期/时间与在拾取女儿现在的面部的面部图像的图像拾取日期/时间极大不同，所以拾取图像的假设年龄与面部图像的图像拾取时年龄极大不同，因此增加了减少比率。结果，根据本实施方式的图像显示装置，甚至可以准确地确定非常相似的父母和孩子的面部。 

此外，在本实施方式中，当假设年龄与图像拾取时年龄在0和2之间时，极大减少类似度等级，而当其超过20岁时，抑制类似度等级的减少比率。虽然大多数2岁或更小的儿童整体上具有略圆形状的类似的面部，但当他们成为大约2岁或更大时，其面部在很多情况下彼此改变。相反，当人们超过20岁时，其面部通常轻微改变。因此，可以通过增加从0到2岁的类似度等级的减少比率并和抑制超过20岁的类似度等级的减少比率，来准确地分析面部图像720中的面部与拾取图像中的面部之间的类似度等级。 

将如上所述计算出的多个拾取图像之间的类似度等级发送到位置计算部515。 

位置计算部515在三维空间上计算从类似度等级确定部5184发送的类似度等级对应的三维位置，该三维空间具有三个轴，即，表示拾取时区的轴、表示图像拾取日期的轴和表示类似度等级的轴，并在二维空间上计算与三维位置对应的二维位置，该二维空间具有二个轴，即，表示图像拾取时区的轴和一个表示类似度等级的轴(图11的步骤S3)。 

图13是示出了三维空间的实施例的概念图。 

如图13所示，在实施方式中，应用三维空间，其具有表示图像拾取时区的X轴(横向)、表示图像拾取日期的Y轴(纵向)和表示类似度等级的Z轴(深度方向)。 

将从4点到9点的六个小时用作开始点，顺序地向三维空间的X轴分配从10点到15点、从16点到21点和从22点到3点的各个六个小时。 

从比较晚的图像拾取日期/时间起顺序地向三维图像的Y轴分配图像拾取日期/时间。 

从作为开始点的类似度等级100到81开始，顺序地向三维空间的Z轴分配类似度等级80到61、60到41，......。 

此外，在本实施方式中，应用二维空间，其具有表示图像拾取时区的X轴(横向)和表示类似度等级的Z轴(纵向)。 

位置计算部515根据从类似度等级确定部5184发送的类似度等级和拾取图像的图像拾取日期/时间，计算二维空间上的位置(二维位置)和三维空间上的位置(三维位置)。将计算出的二维位置发送到二维图像创建部516，将三维位置发送到三维图像创建部517。 

二维图像创建部516创建二维图像(图11的步骤S4)，三维图像创建部517创建三维图像(图11的步骤S5)，并且数目显示部522计算要显示在三维图像上的最前表面上的拾取图像的数量。 

显示部519在显示画面102a上显示二维图像创建部516创建的二维图像、三维图像创建部517创建的三维图像、滚动条和数目显示部522计算出的拾取图像的数量(图11的步骤S6)。三维图像创建部517和显示部519的组合与根据本发明的显示部的实施例对应，二维图像创建部516和显示部519的组合与根据本发明的辅助显示部的实施例对应，而数目显示部522和显示部519的组合与根据本发明的图像数目显示部的实施例对应。 

图14是示出了其上显示有三维图像810到850、二维图像620和滚动条623的个人显示画面800的实施例的图。 

个人显示画面800显示五个三维图像810、820、830、840和850，其上放置具有不同类似度等级带的各个拾取图像。按照将类似度等级带最大的三维图像810置于最前表面上，然后设置类似度等级带较大的三维图像的顺序，将这五个三维图像810、820、830、840和850置于Z轴方向(深度方向)上。在最前上面的三维图像810中，将包括类似度等级(100到81)与在步骤S11选择的面部图像720中的面部的类似度等级一样大的面部的拾取图像的缩略图像610布置和显示在相同表面上。 各个缩略图像610在Z轴上的位置表示作为缩略图像610的来源的拾取图像的类似度等级，各个缩略图像610在Y轴上的位置表示作为缩略图像610来源的拾取图像的图像拾取日期/时间，各个缩略图像610在X轴上的位置表示作为缩略图像610的来源的拾取图像的图像拾取时区。 

如上所述，根据本实施方式的拾取图像显示装置500，由于将包括类似度等级近似相同的面部的拾取图像的缩略图像布置在三维图像600中的相同表面上，因此即使存储了多个拾取图像，也可以很容易地从这些拾取图像中找到包括与期望面部相似的面部的拾取图像。 

此外，将沿X轴(图像拾取时区)延伸的多个标记621’置于二维图像620上，并且显示各个类似度等级。此外，二维图像620也显示：滚动条623，其沿Y轴(类似度等级)延伸并且在二维图像620上指定类似度等级；框622，用于围绕表示滚动条623所选择的类似度等级的标记621’；数目显示部624，用于表示从其计算滚动条623选择的类似度等级的拾取图像的数量；等等。 

当用户滚动滚动条623时，图4中示出的指令部511响应于滚动量切换类似度等级，并且将切换的类似度等级发送到控制部523。控制部523命令二维图像创建部516和三维图像创建部517切换类似度等级，因此将二维图像620上的框622移动到切换的类似度等级的位置，以及再次将具有切换后的类似度等级的三维图像放置为在最上表面显示。指令部511与根据本发明的指定部的实施例对应，而控制部523与根据本发明的显示控制部的实施例对应。 

图15是示出了在切换了类似度等级之后的个人显示画面800的实施例的图。 

在图15中，框622围绕表示第二类似度等级的标记621’，数目显示部624表示属于第二类似度等级的拾取图像的数量。此外，在最上表面显示其上放置有第二类似度等级带的拾取图像的缩略图像610的三维图像820。 

用户可以通过使用滚动条623来很容易地切换显示的三维图像。 

此外，如图14中所示，当用户单击指示指针601的鼠标右键时，显 示弹出窗口640’来选择缩略图像。 

图14中示出的弹出窗口640’提供了“表面菜单”和“行菜单”。“表面菜单”用来集总地选择表示属于相同类似度等级带的拾取图像的缩略图像，“行菜单”用来集总地选择表示属于相同类似度等级带并且在相同拾取日期拾取的拾取图像的缩略图像。 

当用户使用弹出窗口640’选择了缩略图像610时(图11的步骤S7：是)，将指定内容从图4的指令部511发送到图4的强调显示部520，与图5中表示的“图像拾取日期/时间模式”一样，强调显示部520以强调方式显示选择的缩略图像610和与缩略图像610对应的标记621(图11的步骤S8)。 

此外，当用户在选择了缩略图像610的状态下在右侧点击图1中所示的鼠标104时，显示弹出窗口以将选择的缩略图像610的拾取图像存储到记录介质。 

当用户使用指针601选择在弹出窗口上显示的指令时(图11的步骤S9：是)，将命令的内容发送到图4的图像存储部521，并且将选择的缩略图像610的拾取图像数据存储在安装在个人计算机100上的DVD(没有示出)等中(图11的步骤S10)。 

如上所述，根据本实施方式，可以准确地分析预定个人的面部图像与拾取图像中的面部之间的类似度等级，而且可以显示分析结果以便很容易地进行查看。 

到这里为止描述的实施方式是本发明的第一实施方式，随后描述本发明的第二实施方式。除第二实施方式的类似度等级确定部中减少类似度等级的方法与第一实施方式不同之外，本发明的第二实施方式具有与第一实施方式相同的设置。在下文中，只描述与第一实施方式不同的第二实施方式的特征。 

在本实施方式的图像显示装置中，如图10的部分(B)所示，向一个个人登记图像拾取时间彼此不同的多个面部图像720。 

当图4中表示的类似度等级确定部5184减少类似度等级计算部5182计算出的假定类似度等级时，首先，使用多个登记面部图像720计算减 少比率。 

在本实施方式中，将拾取图像与多个登记面部图像720的最近面部图像720比较。例如，当拾取图像中的个人的假设年龄是1，并且最近面部图像720的图像拾取时年龄是5时，首先，计算5岁的面部图像720与1岁的面部图像720之间的类似度等级。随后，使用类似度等级计算部5182计算出的拾取图像的类似度等级和计算出的面部图像之间的类似度等级，利用以下公式计算拾取图像的类似度等级。 

类似度等级＝假定类似度等级×面部图像720之间的类似度等级/100 

如上所述，也可以通过分析登记个人的面部如何随个人年龄改变并将分析结果用作减少比率，来准确地分析类似度等级。 

虽然以上描述了当登记拾取图像时创建缩略图像的实施例，但是根据本发明的图像显示部可以在显示拾取图像列表时创建缩略图像。 

此外，虽然以上描述了从存储的拾取图像选择面部图像的实施例，但是根据本发明的图像登记部可以从外部装置输入面部图像。 

Claims (7)

1.一种图像显示装置，该图像显示装置包括：

图像获得部，用于获得具有与图像拾取日期和/或时间相关的多个拾取图像；

图像登记部，用于登记面部图像，该面部图像示出了所拾取的面部，并与图像拾取日期和/或时间相关；

类似度等级计算部，用于检测所述图像获得部获得的所述多个拾取图像的每个拾取图像的面部，并计算检测到的面部与登记在所述图像登记部中的面部图像中的面部之间的类似度等级；

类似度等级减少部，用于减少所述类似度等级计算部计算出的面部的类似度等级，与所述拾取图像相关的图像拾取日期和/或时间和与所述面部图像相关的图像拾取日期和/或时间之间的差异越大，则所述类似度等级计算部计算出的面部的类似度等级减少得越多；以及

图像显示部，用于按照类似度等级的降序来显示所述图像获得部获得的多个拾取图像；

其中所述图像显示部显示具有所述类似度等级的轴的三维空间，并在所述三维空间上将所述拾取图像置于经所述类似度等级减少部减少了的拾取图像类似度等级的位置。

2.根据权利要求1所述的图像显示装置，其中所述图像登记部除登记所述图像拾取日期和/或时间之外，还登记具有与之相关的年龄的面部图像，并且

在所述类似度等级减少部中，根据所述年龄来减少类似度等级，并且所述差异越大，类似度等级减少得越多。

3.根据权利要求1所述的图像显示装置，所述图像显示装置包括辅助显示部，用于显示具有所述类似度等级的轴的二维空间，并在所述二维空间上将标记置于经所述类似度等级减少部减少了的拾取图像类似度等级的位置，以表示存在所述拾取图像。

4.根据权利要求3所述的图像显示装置，所述图像显示装置还包括：

指定部，用于通过显示在所述二维空间的两个轴中的与所述类似度等级的轴不同的轴的方向延伸的指定框并且沿所述类似度等级的轴移动所述指定框，来在所述二维空间上指定所述类似度等级；以及

显示控制部，用于使得所述图像显示部将具有由所述指定部指定的类似度等级的所述拾取图像置于所述三维空间中的最前表面。

5.根据权利要求4所述的图像显示装置，所述图像显示装置还包括图像数目显示部，该图像数目显示部用于显示具有由所述指定部指定的所述类似度等级的所述拾取图像的数量。

6.根据权利要求1所述的图像显示装置，其中所述图像获得部从其中存储了所述多个拾取图像的存储部获得所述多个拾取图像。

7.一种图像显示方法，该图像显示方法包括以下步骤：

图像获得步骤，用于获得与图像拾取日期和/或时间相关的多个拾取图像；

图像登记步骤，用于登记示出了所拾取的面部、并与图像拾取日期和/或时间相关的面部图像；

类似度等级计算步骤，用于检测所述图像获得步骤获得的所述多个拾取图像的每个拾取图像的面部，并计算检测到的面部与在所述图像登记步骤中登记的面部图像中的面部之间的类似度等级；

类似度等级减少步骤，用于减少所述类似度等级计算步骤中计算出的面部类似度等级，与所述拾取图像相关的图像拾取日期和/或时间和与所述面部图像相关的图像拾取日期和/或时间之间的差异越大，则所述类似度等级计算步骤中计算出的面部类似度等级减少得越多；以及

图像显示步骤，用于按照类似度等级的降序来显示在所述图像获得步骤中获得的所述多个拾取图像；

其中所述图像显示步骤显示具有所述类似度等级的轴的三维空间，并在所述三维空间上将所述拾取图像置于经所述类似度等级减少步骤减少了的拾取图像类似度等级的位置。

Images