CN1959705A - 信息处理装置、方法和程序 - Google Patents

Abstract

本发明公开了一种信息处理装置，包括：提取单元，用于由拍摄图像和关于拍摄图像的属性信息中的至少一个，来提取用于识别与拍摄图像相关联的事件的元数据；以及识别单元，用于根据由提取单元提取出的元数据，从多个预定事件中识别出与拍摄图像相关联的事件。

Description

信息处理装置、方法和程序

相关申请的交叉参考

本发明包含涉及于2005年11月2日提交到日本专利局的日本专利申请JP 2005-319724的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及一种信息处理装置、方法和程序，更具体地涉及一种可识别与所拍摄的图像相关联的事件的信息处理装置、方法和程序。

背景技术

已知有多种用于对由数码相机拍摄的照片进行分类的技术。

日本未审查专利申请公开第10-51721号公开了以下技术。在照片中嵌入不可改变的ID，通过使用这些ID，对图像进行分组或检索，或者限制图像的再生。在日本未审查专利申请公开第2002-32751号中公开了另一种技术，从图像中分隔出预定区域，并从分隔出的区域中提取特征，从而根据提取出的特征来确定图像的类别。

发明内容

根据事件来排列照片，例如将在聚会或者旅游期间拍摄的照片排列为一组是通常的作法。根据这样的排列，如果用户想看聚会上拍摄的照片，那么他/她只能通过指定被分类为聚会的照片来察看它们。

为了根据事件排列照片，用户需要对每个事件创建文件夹，并将照片分配到相应的文件夹中，这对于不熟悉这一操作的用户来说很麻烦。因此，如果装置可以自动地根据图像来识别与所拍摄图像相关联的事件，然后根据事件排列图像可能会非常方便。

因此，期望信息处理装置可以根据图像或者关于图像的属性信息来识别与所拍摄图像相关联的事件。

根据本发明的实施例，提供了一种信息处理装置，包括：提取装置，用于由拍摄图像和关于拍摄图像的属性信息中的至少一个，来提取用于识别与拍摄图像相关联的事件的元数据；以及识别装置，用于根据提取装置提取出的元数据，从多个预定事件中识别出与拍摄图像相关联的事件。

识别装置可管理关于识别出的与拍摄图像相关联的事件的信息。

该信息处理装置可进一步包括用于将多个图像分组的计算装置，并且，识别装置可对由计算装置形成的各个组设置事件。

该信息处理装置可进一步包括显示控制装置，用于显示包括在设置有同样事件的组中的代表图像。

显示控制装置可将包括在从代表图像中选取的代表图像所对应的组中的图像显示为列表。

计算装置可在由包括在关于每个图像的属性信息中的时间信息所表示的时间之间的时间间隔的变化大于阈值的节点用作组间边界的情况下对多个图像进行划分。

计算装置可以管理具有二进制树形结构形式的多个图像，并可这样来对这多个图像进行划分：计算装置计算连接到作为子节点的父节点的目标节点的子节点之间时间间隔的偏差与由关于目标节点中图像的时间信息表示的时间的时间间隔的标准偏差之间的比值，并将计算出的比值与阈值进行比较，以确定包括在子节点中的图像是被划分到不同的组中还是被归类到相同的组中。

根据本发明的另一实施例，提供了一种信息处理方法和程序，包括以下步骤：由拍摄图像和关于拍摄图像的属性信息中的至少一个，来提取用于识别与拍摄图像相关联的事件的元数据；以及根据提取出的元数据，从多个预定事件中识别出与拍摄图像相关联的事件。

根据本发明的实施例，可以识别出与所拍摄的图像相关联的事件。

附图说明

图1示出了根据本发明实施例的个人计算机与数码相机相连的状态；

图2示出了图像浏览屏幕的实例；

图3示出了图像浏览屏幕的另一实例；

图4示出了个人计算机中图像管理的概念；

图5是示出个人计算机结构实例的方框图；

图6是示出个人计算机的功能结构的方框图；

图7示出了由特征提取单元提取的信息的实例；

图8示出了元数据的实例；

图9示出了学习过程和测试过程的概念；

图10示出了学习的具体实例；

图11示出了测试的具体实例；

图12至图20示出了生成二进制树形结构的实例；

图21示出了基于分组条件进行的分群；

图22示出了群的粒度等级；

图23示出了设置组A分割标记的实例；

图24示出了基于分组条件A获得的分群结果的实例；

图25示出了设置组B分割标记的实例；

图26示出了基于分组条件B获得的分群结果的实例；

图27示出了群的嵌套关系；

图28～图35示出了生成二进制树形结构的另一实例；

图36示出了由个人计算机执行的事件识别处理实例的流程图；

图37示出了由个人计算机执行的图像显示处理实例的流程图；

图38示出了由个人计算机执行的群数据生成处理的流程图；

图39示出了由个人计算机执行的事件识别处理的另一实例的流程图；

图40示出了由个人计算机执行的图像显示处理的另一实例的流程图；

图41示出了图像浏览屏幕的另一实例；以及

图42示出了执行事件识别服务的结构的实例。

具体实施方式

在描述本发明的实施例之前，以下论述了说明书中描述的或附图所示的实施例和权利要求书中的特征之间的对应关系。该描述内容的目的是确保在说明书中描述了或者附图中示出了支持要求权利的实施例。因此，即使以下实施例中的元件没有被描述为与本发明的特定特征相关，但这并不一定意味着该元件与权利要求的特征不相关。相反，即使元件在文中被描述为与权利要求的特定特征相关，这也并不必然意味着该元件不与权利要求的其他特征相关。

根据本发明实施例的信息处理装置(例如，图1所示的个人计算机1)包括：提取装置(例如，图6中所示的特征提取单元62)，用于由拍摄图像和关于拍摄图像的属性信息(例如，EXIF信息)中的至少一个，提取用于识别出与拍摄图像相关联的事件(例如，旅行、赏花或聚会)的元数据；以及识别装置(例如，图6所示的事件识别器63)，用于根据由提取装置提取出的元数据，从多个预定事件中识别出与拍摄图像相关联的事件。

该信息处理装置可包括用于将多个图像分组的计算装置(例如，图6所示的运算单元64)。

该信息处理装置还可以包括用于显示设置有相同事件的组中所包含的代表图像的显示控制装置(例如，图6所示的用户界面控制器65)。

根据本发明另一实施例的信息处理方法或程序包括以下步骤：由拍摄图像和关于拍摄图像的属性信息(例如，EXIF信息)中的至少一个提取元数据，该元数据被用于识别出与拍摄图像相关联的事件(例如，旅行、赏花或聚会)(例如，图36中所示步骤S2)；以及根据提取出的元数据，从多个预定事件中识别出与所拍摄图像相关联的事件(例如，图36中所示的步骤S4)。

下面参照附图描述本发明的实施例。

图1示出了数码相机2与根据本发明实施例构造的个人计算机1相连接的状态。

在图1所示的实例中，个人计算机1和数码相机2通过其间的电缆3彼此连接，使得它们可以通过电缆3彼此通信。在数码相机2中设置有诸如闪存的记录介质，用户拍摄的照片均记录在该记录介质上。

在如图1所示个人计算机1与数码相机2相连的情况下，当用户操作个人计算机1以读取记录在数码相机2上的图像并将它们写入个人计算机1中时，在个人计算机1上运行的应用程序将识别与每张图片相关联的事件。在个人计算机1中管理关于识别出的事件的信息，使得关于每个已识别事件的信息可以与相应的图像相关联。

例如，在个人计算机1中，预先准备了诸如“旅行”、“赏花聚会”、“焰火”、“驾车/远足”、“聚会”、“婚礼”、“烤肉/露营”和“运动”的八个事件，作为可以被识别的事件，关于从这八个事件中选出的一个事件的信息与目标图像相关联。

在个人计算机1中，由目标图像或关于图像的属性信息(例如，可交换图像文件格式(EXIF)信息)提取元数据，并通过支持向量机(support vector machine，SVM)根据提取出的元数据来识别目标图像的事件。由某一图像提取的元数据包括关于图像中人数和位置的信息、色空间信息(例如，亮度、色调和饱和度)、以及由EXIF信息提取的拍摄日期和时间和表示是否使用闪光灯的信息等。根据这些信息，可识别出与图像相关联的事件。元数据的细节将在下文给出。

这样，用户不需要选择事件，通过个人计算机1就可以自动识别与每个图像相关联的事件，并根据事件来生成文件夹，使得在相同事件中拍摄的照片可以排列在相同的文件夹中。这使得用户能够根据事件来管理图像，并指定事件来浏览相应图像。

如果用户要浏览最近赏花聚会的照片，个人计算机1可以自动显示前些年拍摄的赏花聚会的照片，从而可以唤起用户的回忆。

通过这种方式，个人计算机1可以根据与图像关联管理的事件来执行各种类型的处理。

图2示出了在个人计算机1上显示的图像浏览屏幕的实例。

在图2所示的实例中，在屏幕的上部形成图像显示区11，该屏幕中显示了用于识别相应事件的图像。在图2中所示的图像显示区11中，显示的是包括树和正在举行赏花聚会的一家人的图像。

在图2所示的例子中，图像显示区11中显示的图像的存储位置(C：\Documents and Setting...)信息显示在图像显示区11的下面，该显示信息(C：\Documents and Setting...)下面显示的是识别结果显示区12。在图2中所示的识别结果显示区12中，与图像显示区11中所显示图像相关联的事件的识别结果表示为“赏花聚会”。

这样，用户可根据识别结果显示区12的指示来确认与图像显示区11中显示的图像相关联的事件。

在识别结果显示区12下面，水平排列了下列按钮：按钮13，用于将在图像显示区11中显示的图像变为在相同文件夹中管理的图像中的首张图像；按钮14，用于将在图像显示区11中显示的图像变为前一图像；按钮15，用于将在图像显示区11中显示的图像变为下一图像；以及按钮16，用于将在图像显示区11中显示的图像变为在相同文件夹中管理的图像中的最后图像。用户可以通过按按钮13～16来切换在图像显示区11中显示的图像，即，用于识别事件的图像。

在按钮13～16下面表示有信息“如果识别结果不正确，请按下列按钮，以指出正确事件”，在该信息下面，显示的是与上述八个事件和其他事件相关联的事件按钮17，用户可以按事件按钮17来显示正确的事件。

用户将图像显示区11中显示的图像与在识别结果显示区12中指出的识别结果进行比较，如果他/她发现识别的事件不正确，则通过操作事件按钮17来指定正确事件。这样可使个人计算机1将图像显示区11中显示的图像与正确事件相关联。

当用户指定正确事件时，更新存储在个人计算机1中用于识别事件的文件，从而可以提高事件识别精度。通过参照上述文件，个人计算机1可根据从图像中提取的元数据类型，来确认由相关联的图像将识别出什么事件。

图3示出的是在个人计算机1上显示的图像浏览屏幕的另一实例。

在个人计算机1中，从数码相机2中读取的图像自动分组，并根据组来管理，用户可根据组来浏览或复制图像。

如下文所述，从数码相机2读取的图像在将图像的拍摄时间变化大于阈值的节点用作组间边界的情况下进行分类。在一个组中，设置了根据从包括在组中的图像或关于图像的属性信息提取的数据而识别的一个事件。

图3中示出的浏览屏幕主要包括在屏幕左侧形成的代表图像显示区31和在屏幕右侧形成的图像显示区32。

在代表图像显示区31中，显示的是设置有相同事件的各个组中的代表图像。在图3所示的实例中，在代表图像显示区31中，垂直显示的是事件为“焰火”的组(例如，“焰火2005”、“焰火2004”和“焰火2003”)的代表图像。

例如，如果用户选择组“焰火2005”，则其中设置了与组“焰火2005”相同的事件(即，“焰火”事件)的组“焰火2004”和组“焰火2003”的图像从个人计算机1管理的组中自动选出，使得可以显示如图3所示的图像浏览屏幕。

在设置于相应组中的事件名称中，“焰火”是设置在相应组中的事件名称，并且根据这些组中包含的关于拍摄时间和日期(日、月、年)的信息来设置“2005”、“2004”和“2003”。

用户从显示代表图像的组中选取预定组，使得可以显示选中组中的图像的列表。

在图3所示的实例中，选取组“焰火2005”，包括在组“焰火2005”中的14幅图像以列表(缩略图)形式显示在图像显示区32中。在图3所示的图像显示区32中显示的图像是在事件“焰火”中拍摄的照片。

如上所述，与用户所选组的事件设置有相同事件的组的代表图像自动显示，从而可以实现基于群的灵活选择功能。从而，用户可查看过去与用户所选图像的情况相同情况下拍摄的图像。

如图4所示，通过个人计算机1，以分层结构来管理其中设置了事件的组。如箭头所指，在图4的右侧示出的分层结构中，设有事件“旅行”的根节点n_root设置在顶部，设有事件“驾车/远足”的节点n₁和设有事件“聚会”的节点n₂作为子节点与根节点n_root连接。设有事件“聚会”的节点n₃和设有事件“烤肉/露营(B.B.Q)”的节点n₄作为子节点与节点n₂连接。应当注意，节点n₃和节点n₄中包括多个图像。

包括在每个节点(组)中的图像被直接连接到该节点或通过其他节点间接连接到该节点，用户可以根据具有优选粒度等级的事件来选择预定节点，以浏览或排列图像。

下面将参照流程图论述如上所述的通过个人计算机1执行的用于管理图像和显示浏览屏幕的操作。

图5是示出图1所示的个人计算机1结构的方框图。

中央处理单元(CPU)41根据记录在只读存储器(ROM)42或存储单元48中的程序，执行各种类型的处理。在随机存取存储器(RAM)43中，记录由CPU 41执行的程序和数据。CPU 41、ROM 42、和RAM 43通过总线44彼此连接。

可以使用2005年2月28日Nikkei Business Publications公司在Nikker Electronics的“Cell Tanjo(Cell的产生)”中描述的Cell作为CPU 41。

CPU 41通过总线44连接到输入/输出接口45。输入/输出接口45连接到输入单元46(包括键盘、鼠标或麦克风)和输出单元47(包括显示器或扬声器)。响应于从输入单元46输入的命令，CPU41执行各类处理。CPU 41将处理结果输出至输出单元127。

连接到输入/输出接口45的存储单元48包括例如硬盘，并记录各种类型的数据(例如，由CPU 41执行的程序和从数码相机2中读取的图像)。通信单元49与数码相机2通信，并将从数码相机2读取的图像或EXIF信息输出到CPU 41。通信单元49也通过诸如互联网或局域网(LAN)的网络与外部装置通信。

连接到输入/输出接口45的驱动50驱动安装在驱动50中的可移动介质51(例如，磁盘、光盘、磁光盘(MO)或半导体存储器)，并获取记录在可移动介质51中的程序或数据。如果需要，将获取的程序或数据传输到存储单元48，并将其记录于其上。可通过移动介质51执行对来自数码相机2的图像或EXIF信息的读取。

图6是示出个人计算机1的功能结构的方框图。通过图5所示的CPU 41执行预定的程序来实现图6所示功能的至少一部分。

在个人计算机1中，实现了图像数据库(DB)61、特征提取单元62、事件识别器63、计算单元64和用户界面控制器65。特征提取单元62包括EXIF信息处理器71、面部信息提取部72和相似图像识别处理器73。计算单元64包括分群部81和层级确定部82。

在图像DB 61中，记录了从数码相机2读取的图像或作为关于每个图像的属性信息的EXIF信息(主要用于数码相机的图像信息标签，通过遵从JEITA CP-3451-1 EXIF Ver.2.21和JEITA CP-3461DCF Ver.2.0的JEITA定义)。

特征提取单元62读取EXIF信息和用于识别事件的图像，以根据读出的数据提取表示图像特征的元数据，并将提取的元数据输出到事件识别器63。

更具体地，特征提取单元62的EXIF信息处理器71根据从图像DB 61读取的EXIF信息提取诸如拍摄时间和日期的预定信息。EXIF信息处理器71还将包含在EXIF信息中的关于拍摄时间和日期的信息输出到运算单元64。

面部信息提取部72分析从图像DB 61读取的图像，以提取关于包括在图像中的面部的信息。例如，在日本未审查专利申请公开第2005-44330号中公开了用于提取面部信息的技术，通过使用该技术来提取关于例如图像中包含的面部数的信息。

相似图像识别处理器73分析从图像DB 61读取的图像，以提取关于例如图像的色空间的信息。例如，在国际公开第00/39712号中公开了用于提取色空间信息的技术。

图7示出了从构成特征提取单元62的EXIF信息处理器71、面部信息提取部72和相似图像识别处理器73提取的信息的实例。

标签名“DataTimeOriginal”代表的信息表示拍摄时间和日期，标签名“Flash”代表的信息表示闪光灯的状态。标签名“ExposureTime”代表的信息表示拍摄图像时的曝光时间，以及标签名“FNumber”代表的信息表示当拍摄图像时的F数(光圈)。

“DataTimeOriginal”、“Flash”、“ExposureTime”和“FNumber”这四个项目通过EXIF信息处理器71从目标图像的EXIF信息提取。

“nx”代表的值表示图像中包含的面部在X轴方向上的位置，“ny”代表的值表示图像中包含的面部在y轴方向上的位置。例如，(0，0)、(1，0)、(0，1)和(1，1)分别表示一个图像的左上、右上、左下和右下，并通过“nx”和“ny”表示在X轴方向和Y轴方向上表示被检测面部的范围的帧的位置。

“nwidth”代表的值表示图像中包括的面部的宽度，“nheight”代表的值表示图像中包括的面部的长度。“pitch”代表的值表示图像中包括的面部的垂直方向，“yaw”代表的值表示图像中包括的面部的水平方向。“TotalFace”代表的值表示图像中包括的面部的数量。

“nx”、“ny”、“nwidth”、“nheight”、“pitch”、“yaw”和“TotalFace”这七项信息通过面部信息提取部72从目标图像提取。对于“nx”、“ny”、“nwidth”、“nheight”、“pitch”、“yaw”和“TotalFace”的每一项，提取与包括在图像中的面部数量相同数量的值。

“L”代表的值表示亮度。“a”代表的值表示图像的色调，“b”代表的值表示图像的饱和度。

“L”、“a”和“b”这三项信息通过相似图像识别处理器73由目标图像提取。

将包括上述项信息的元数据从特征提取部62输出到事件识别器63，并用于识别与图像相关联的事件。

再次参照图6的描述，事件识别器63从例如上述八个事件中选取事件，以根据由特征提取单元62提供的元数据来识别与图像相关联的事件，并将关于识别出的事件的信息写入元数据中。包含事件信息的元数据从事件识别器63根据需要输出到计算单元64或用户界面控制器65。

图8示出的是由事件识别器63管理的元数据(包括事件信息)的实例。在图8中，只是为了解释的方便而在每一行的左侧附有带符号“：”的数字(例如，1：)，它们并不够成元数据的一部分。

如图8所示的元数据作为例如可扩展置标语言(XML)文档进行管理。

第1行中的“Photo”表示与某一图像相关联的元数据的开始位置。

第2行中的“guid”标签表示与如图8所示的元数据相关联的全球唯一标识(GUID)。在图8所示的实例中，图像的GUID是“{624D4F19-1249-4d18-AAF8-15E1BFFF076F}”。基于该GUID，能够识别出与该元数据相关联的图像。

第3行中“FilePath”标签表示与图8所示元数据相关联的图像在个人计算机1中的存储位置。在图8所示的实例中，图像的存储位置为“C：\Documents and settings\aaa\Desktop\test\IMGP2198.JPG”。

第4行中“PixelXDimension”标签和第5行中“PixelYDimension”标签分别表示与图8所示元数据相关联的图像在水平方向(X轴方向)上的像素数量和在垂直方向(Y轴方向)上的像素数量。在图8所示的实例中，在水平方向和在垂直方向上的像素数分别为2400和1600。

第6行中的“Make”标签表示拍摄与图8所示元数据相关联的图像的数码相机2的制造者。在图8所示的实例中，数码相机2的制造者是“AAA”。

第7行中的“Model”标签表示拍摄与图8所示元数据相关联的图像的数码相机2的型号名称。在图8所示的实例中，数码相机2的型号名称是“BBB”。

第8行中的“EXIFversion”标签表示添加到与图8所示元数据相关联的图像的EXIF信息的版本。在图8所示的实例中，EXIF信息的版本是“0221”(版本2.21)。在第9行到第25行中，描述的是通过EXIF信息处理器71提取的EXIF信息。

第9行中的“DataTimeOriginal”标签和第10行中的“DataTimeDigitized”标签表示与图8所示元数据相关联的图像的拍摄日期和拍摄时间。在图8所示的实例中，拍摄日期是“2005:06:05”(2005年6月5日)，拍摄时间是“12:02:26”。

第11行中的“SceneCaptureType”标签表示拍摄与图8所示元数据相关联的图像的模式。在图8所示的实例中，拍摄模式是“人像”。

第12行中“Flash”标签表示当拍摄与图8所示元数据相关联的图像时闪光灯的模式。在图8所示的实例中，闪光灯的模式为“预留(reserved)”。

第13行中的“ExposureTime”标签表示当拍摄与图8所示元数据相关联的图像时的曝光时间。在图8所示的实例中，曝光时间为1/8。

第14行中的“FNumber”标签表示当拍摄与图8所示元数据相关联的图像时的F数。在图8所示的实例中，F数为35/10。

第15行中的“FocalLength”表示当拍摄与图8所示元数据相关联的图像时的焦距。在图8所示的实例中，焦距为18/1。

第16行中的“FlocalLengthln35mmFilm”标签表示当拍摄与图8所示元数据相关联的图像时以35mm换算的焦距。在图8所示的实例中，以35mm换算的焦距是27。

第17行中的“ExposureProgram”标签表示当拍摄与图8所示元数据相关联的图像时的曝光调节程序。在图8所示的实例中，曝光调节程序为“人像模式”。

第18行中的“MeteringMode”标签表示当拍摄与图8所示元数据相关联的图像时的计量模式。在图8所示的实例中，计量模式为“典型(Pattern)”。

第19行中的“ExposureMode”标签表示当拍摄与图8所示元数据相关联的图像时的曝光模式。在图8所示的实例中，曝光模式为“手控曝光”。

第20行中的“WhiteBalance”标签表示当拍摄与图8所示元数据相关联的图像时的白平衡。在图8所示的实例中，白平衡的设置为“自动白平衡”。

第21行中的“FaceNumber”标签表示与图8所示元数据相关联的图像中包括的面部数。在图8所示的实例中，面部数是2(在图像中有两个人的脸)。在第22和第23行中，表示从面部信息提取部72中提取的面部信息。

第22行中的“FaceData”标签表示关于与图8所示元数据相关联的图像中两个面部中的一个的信息。在图8所示的实例中，面部信息是“0.766962，0.477876，0.088496，0.058997，0.000000，-30.000000”，其中从左到右的数字分别表示在X轴方向上的面部位置(图7中的“nx”)、在Y轴方向上的面部位置(图7中的“ny”)、面部宽度(图7中的“nwidth”)、面部长度(图7中的“nheight”)、面部的垂直方向(图7中的“Pitch”)和面部的水平方向(图7中的“yaw”)。

第23行中的“FaceData”标签表示关于与图8所示元数据相关联的图像中两个面部中的另一个的信息。在图8所示的实例中，该面部信息是“0.501475，0.433628，0.088496，0.058997，0.000000，-30.000000”。面部信息描述了在图像中发现的每个面部。

第24行中的“ClassifiedEvent”表示当拍摄与图8所示元数据相关联的图像时的事件。当通过事件识别器63来识别事件时，将识别出的事件写入该标签部分中。在图8所示的实例中，事件识别结果为“婚礼”。

第25行中的“UpdataEvent”标签表示当拍摄与图8所示元数据相关联的图像时的事件。当用户通过操作图2所示屏幕上的事件按钮17来指定正确的事件时，通过事件识别器63将指定事件写入该标签部分中。在图8所示的实例中，所指定的事件为“不更新”(未指定事件)。

第26行中的“/Photo”表示元数据的结束位置。这样，对每个图像设置如图8所示的元数据，并通过事件识别器63管理。以与如上所述写入由EXIF信息处理器71和面部信息提取部72提取的信息相同的方式，也将通过相似图像识别处理器73提取的信息写入元数据中。

下面，论述事件识别器63对事件的识别。

事件识别器63根据例如SVM识别事件。

SVM是一种执行分类的学***面(separating hyperplane)，使等于识别平面与位于分类边界附近的训练点之间距离的余量(被称作“支持向量”)最大，并通过使用所构造的分离超平面来执行分类。如果难以执行线性分类，则通过已知的“核心技巧(kernel trick)”的技术将输入空间映射到高阶特征空间，然后在高阶特征空间中执行线性分类。从而，可以通过SVM技术解决由非线性分类造成的问题。SVM展现出比通过误差逆传输(error back propagation，广泛应用于已知的图案识别领域)引导学习的多层感知器更高的概括化性能，并因为他们被公式化以解决二次凸面的编程问题，所以可以获得最优的解决方案作为学习的结果。

图9示出的是通过事件识别器63引导的学习过程和事件识别测试的概念。当开发出执行例如如图6所示功能的应用程序并在事件识别器63中设置当识别事件时引用的识别文件时，进行如图9所示的学习和测试。

当向个人计算机1提供关于某一图像的元数据时，在SVM识别器63A处于学习模式时，元数据作为监控数据通过鉴别单元输出到SVM识别器63A。SVM识别器63A通过使用关于大约800幅图像的元数据指导SVM学习，并生成用于识别事件的识别文件。

当SVM识别器63A处于测试状态时，提供到个人计算机1的元数据通过鉴别单元输出到SVM识别器63A。然后，SVM识别器63A参照作为学习结果获得的识别文件，以根据提供的元数据来识别事件。

SVM识别器63A获得的识别结果以图2所示的形式输出到屏幕上，应用程序的开发者察看识别结果，并确定识别结果是否正确来评价测试结果。如果识别结果不正确，则更新识别文件并结束对该图像的评估。

对关于800幅图像的元数据重复执行上述评估，在这种情况下，元数据是与用于学习的数据相同的数据，并且在事件识别器63中设置得到的识别文件。作为评估方法，可使用保持法(Holdout)或K-次交叉验证(K-fold cross-validation)。

图10示出了事件识别学习过程的具体实例。

如图10所示，通过使用学习图像(训练照片数据)根据学习算法(训练算法)进行学习，从而生成识别文件(分类)。根据图10所示实例中的识别文件，如果图像中面部数量大于“5”，如果闪光灯的情况是“关”(不用闪光灯)，以及如果拍摄时间是19:00到22:00，则可以获得识别结果“聚会”。

图11示出了事件识别测试(分类)的具体实例。

通过参照作为学习结果生成的识别文件来执行用于测试图像(测试照片数据)的事件识别，该测试图像是与用于图10所示学习的图像相同的图像。如果提供关于不同于用于学习或测试的图像的新图像(新照片)的元数据，则通过参照相同的识别文件来识别拍摄新图像时的事件。在图11所示的实例中，当拍摄具有文件名“New.jpg”的新图像时的事件被识别为“聚会”。

再次参照图6的描述，如上所述，事件识别器63识别某一图像的事件，并且还设置通过计算单元64分类的图像组所对应的事件。

例如，事件识别器63从计算单元64读取分组结果信息，并生成每组的元数据，该元数据通过平均由特征提取单元62提供的组的图像的元数据来获得。然后，事件识别器63根据生成的元数据识别组所对应的事件，并且设置组中的事件作为识别结果。

对每组设置的事件被用于显示如图3所示的屏幕，呈现与由用户选取的图像所关联的事件相同的事件中拍摄的图像。

计算单元64的分群部81根据存储在分群部81中的群数据和由EXIF信息处理器71提供的拍摄时间来执行图像的分群(分组)。作为由分群部81执行的分群结果，可获得例如下列分群结果：包括过去已被分群的图像的全部目标图像显示为二进制树形结构。

存储在分群部81中的群数据包括表示过去获得的每个图像所属哪个群(组)的信息或者关于全部图像的二进制树形结构的信息。

层级确定部82根据作为从分群部81获得的分群结果的、关于二进制树形结构的信息，来确定满足预定条件的群。例如，层级确定部82获得在每个群中包括哪些图像的信息和表示每个图像属于哪个群的信息，并生成表示全部图像的二进制树形结构的群数据和最终的分群结果。

下面论述由计算单元64执行的处理的细节。

下面，给出将100幅图像p1到p100分到事件群A(包括满足分组条件A的图像)和子事件群B(满足分组条件B的图像)的处理的描述。

首先，参照图12到图20论述通过分群部81执行的二进制树形结构的构成。

在图12到图20中，包含带数字的字母“p”的每个圆表示一个图像，包含带数字的字母“n”的每个圆表示一个节点。在图12到图20中，时间按照从左到右的顺序流逝。现在，假设对图像p1～p100按照拍摄时间的顺序(按照图像p1～p100的时间顺序，即，图像p1最旧，图像p100最新)执行分群。稍后将描述不考虑拍摄时间顺序来对各个图像进行分群，而不是以拍摄时间顺序排列的图像组执行分群，例如，在将图像p1和p2设置为进行分群的目标图像(将图像p1和p2***二进制树形结构)之后，将比图像p1新比图像p2旧的图像p3设置为目标图像。

在还没有执行分群的状态下，将首先拍摄并从数码相机2中读取的图像p1***树中。在这一初始状态中，在树中没有用作根节点的节点。因此，如图12所示，图像p1本身便为根节点。

如图13所示，如果在图像p1之后***图像p2，则形成新的节点(即，节点n1)。因为图像p2的拍摄时间在图像p1的拍摄时间之后，所以将图像p1作为左子节点连接到节点n1，而将图像p2作为右子节点连接到节点n1。节点n1代替图像p1成为根节点。

图像p1的拍摄时间被记录为节点n1的最小时间，而图像p2的拍摄时间记录为节点n1的最大时间。可选地，可以记录父节点的两个子节点的拍摄时间的平均值(中间时间)作为父节点的时间。

如图14所示，如果在图像p2之后把图像p3***树中，并且如果图像p3的拍摄时间和p2的拍摄时间之间的时间间隔td_p2p3小于图像p2的拍摄时间和p1的拍摄时间之间的时间间隔td_p1p2，则如图15所示，创建新节点(即，节点n2)。然后，图像p2作为左子节点连接到节点n2，而图像p3作为右子节点连接到节点n2。节点n2代替图像p2作为右子节点连接到节点n1。

图像p2的拍摄时间被记录为节点n2的最小时间，而图像p3的拍摄时间被记录为节点n2的最大时间。在这种情况下，作为节点n2的父节点的节点n1的最大时间被更新为图像p3的拍摄时间。

如果在图像p3之后把图像p4***树中，以及如图16所示，如果图像p4的拍摄时间和图像p3的拍摄时间之间的时间间隔td_p3p4大于图像p3的拍摄时间和图像p2的拍摄时间之间的时间间隔td_p2p3，并且如果图像p4的拍摄时间和节点n2的最大时间之间的时间间隔td_n2maxp4大于节点n2的最小时间和图像p1的拍摄时间之间的时间间隔td_p1n2min，则如图17所示，创建新节点n3(即，节点n3)。然后，节点n1作为左子节点连接到n3，而图像p4作为右子节点连接到节点n3。

节点n1的最小时间被记录为节点n3的最小时间，而图像p4的拍摄时间被记录为节点n3的最大时间。

如果在图像p4之后把图像p5***树中，以及如图18所示，如果图像p4的拍摄时间和节点n1的最大时间之间的时间间隔td_n1maxp4大于图像p5的拍摄时间和图像p4的拍摄时间之间的时间间隔td_p4p5，则如图19所示，创建新节点(即，节点n4)。然后，图像p4作为左子节点连接到节点n4，而图像p5作为右子节点连接节点n4。节点n4代替图像p4作为右子节点连接到节点n3。

图像p4的拍摄时间被记录为节点n4的最小时间，而图像p5的拍摄时间被记录为节点n4的最大时间。在这种情况下，作为节点n4的父节点的节点n3的最大时间被更新为图像p5的拍摄时间。

此时，由包括p1至p5五幅图像的节点n1到n4形成二进制树形结构。

包括在每个节点中的图像直接连接到节点，或者通过其他节点间接连接到节点。因此，如果创建了图19所示的树，包括在节点n3中的图像为五个图像p1至p5，包括在节点n1中的图像为三个图像p1至p3。包括在节点n2中的图像为两个图像p2和p3，并且包括在节点n4的图像为两个图像p4和p5。

通过这种方式，每次***新图像时，连接图像拍摄时间的间隔较小的多个图像或者图像拍摄时间与节点设置时间的间隔较小的图像以及节点，以使其连接于相同的节点。

当***图像p6至p100时，节点的形成以及多幅图像或者图像与节点的连接以与图像p1至p5相类似的方式形成。最终，获得图20中所示的二进制树形结构，其中，根节点n_root包括图像p1至p100。

现在，参照图21至27，给出由层级确定部82基于分组条件执行的分群的细节。

在层级确定部82中，二进制树形结构中的每个节点被指定为目标节点，并根据式(1)，针对目标节点中的全部图像来计算两个图像的拍摄时间之间的时间间隔的标准偏差sd：

$\mathrm{sd}=\sqrt{\frac{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{({\mathrm{td}}_n-\stackrel{\‾}{\mathrm{td}})}^2}{N}}\·\·\·\left(1\right)$

其中，N表示图像的拍摄时间之间的时间间隔的数量，等于从目标节点中所包括的图像的数量减一所获得的值，td_n表示在N个时间间隔中第n个时间上最早的时间间隔，以及 td表示目标节点中的时间间隔td的平均值。

根据式(2)计算作为子节点的父节点的目标节点所连接的子节点之间的时间间隔的偏差dev(偏差dev为子节点之间时间间隔和拍摄时间的时间间隔的平均值的差的绝对值)。

dev＝|td_c- td|               …(2)

其中，N表示图像的拍摄时间之间的时间间隔的数量，并等于目标节点中所包括的图像的数量减一所获得的值，td_c表示子节点之间的时间间隔，以及 td表示目标节点中的时间间隔的平均值。子节点(作为子节点的父节点的目标节点所连接的两个子节点)之间的时间间隔是包括在时间上较早的子节点中的时间上较晚图像的拍摄时间与包括在时间上较晚的子节点中的时间上较早图像的拍摄时间之间的时间间隔。稍后描述时间间隔td_c的具体实例。

将通过式(2)计算的偏差dev与通过式(1)计算的标准偏差sd的比值作为分割参数th设置到目标节点中。分割参数th通过表达式(3)表示，并作为用作确定连接到作为父节点的目标节点的子节点是否划分到不同的群中的基础的参数。

$\mathrm{th}=\frac{\mathrm{dev}}{\mathrm{sd}}\·\·\·\left(3\right)$

下面，参照图21，具体地描述从上述式(1)到(3)确定的值。

图21示出与图19所示相同的树，其构成由分群部81构造的整个二进制树形结构的一部分。

在图21中，td₁表示图像p1的拍摄时间和图像p2的拍摄时间之间的时间间隔；td₂表示图像p2的拍摄时间和图像p3的拍摄时间之间的时间间隔；td₃表示图像p3的拍摄时间和图像p4的拍摄时间之间的时间间隔；以及，td₄表示图像p4的拍摄时间和图像p5的拍摄时间之间的时间间隔。

例如，如果将与图21中最接近于根节点的节点n3设置为目标节点，则将相应值代入式(1)中，从而可通过式(4)表示标准偏差sd。

$\mathrm{sd}=\sqrt{\frac{{({\mathrm{td}}_1-\stackrel{\‾}{\mathrm{td}})}^2+{({\mathrm{td}}_2-\stackrel{\‾}{\mathrm{td}})}^2+{({\mathrm{td}}_3-\stackrel{\‾}{\mathrm{td}})}^2+{({\mathrm{td}}_4-\stackrel{\‾}{\mathrm{td}})}^2}{4}}\·\·\·\left(4\right)$

通过式(5)表示拍摄时间之间的时间间隔的平均值。

$\stackrel{\‾}{\mathrm{td}}=\frac{{\mathrm{td}}_1+{\mathrm{td}}_2+{\mathrm{td}}_3+{\mathrm{td}}_4}{4}\·\·\·\left(5\right)$

通过式(6)表示偏差dev

dev＝|td₃- td|               …(6)

具体来说，连接到作为子节点的父节点的目标节点n3的两个子节点是节点n1和n4。包括在时间上较早的节点n1中的时间上较晚图像p3的拍摄时间与包括在时间上较晚的节点n4中的时间上较早图像p4的拍摄时间之间的时间间隔td₃是节点n1和n4之间的时间间隔，并且当节点n3是目标节点时，用其计算偏差dev。

根据由式(4)计算的标准偏差sd和由式(6)计算的偏差dev，计算当节点n3是目标节点时的分割参数th，并将其设置到节点n3中。

当对所有节点设置分割参数后，层级确定部82设置作为分组条件的阈值。

例如，将阈值a设置为分组条件A，并将阈值b设置为分组条件B。在这种情况下，当满足条件“a＞b”时，例如在a＝3.0且b＝2.6的情况下，如图22所示，由分组条件A规定的群大于由分组条件B规定的群，换句话说，在由分组条件A规定的群中，形成了由分组条件B规定的一些群。

在图22所示的情况下，按分组条件A将目标图像分成两个群，即，组g₁和g₂，同时按分组条件B将目标图像分成五个群，即，组g₃到g₇。

如随后所描述的，如果分割参数大于阈值，则设置有该分割参数的节点成为群间边界。因此，阈值越大，节点作为群间边界的可能性越小。因此，从全部图像中划分的群的粒度越粗糙。相反，阈值越小，节点作为群间边界的可能性越大。因此，从全部图像中划分的群的粒度越精细。

如果在某一图像的拍摄时间与下一图像的拍摄时间之间的时间间隔为30分钟或更长(间隔td＞30分钟)或者一天或更长(间隔td＞1天)，则可以将分组条件设置成将具有该间隔的节点用作群间边界，即，规定包括在一个群中的图像的拍摄时间的时间间隔的上限。根据该分组条件，具有30分钟或更长或者一天或者更长的时间间隔的图像被分到不同群中。

在设定了作为分组条件的阈值之后，根据设定的阈值和在节点中设定的分割参数th，层级确定部82在每个节点中设置分割标记。

例如，在分割参数大于设置为分组条件A的阈值的节点中，设置组A分割标记为1，并在分割参数不大于阈值a的节点中，设置组A分割标记为0。

如果在节点中设置分割标记1，其表示：连接到作为父节点的节点的子节点之间的时间间隔大于包括在目标节点中的图像的拍摄时间之间的时间间隔。相反，如果在节点中设置分割标记0，其表示：连接到作为父节点的节点的子节点之间的时间间隔小于或等于包括在目标节点中的图像的拍摄时间之间的时间间隔。

在设置了组A分割标记之后，层级确定部82以升序(从叶到根的方向)顺序设置二进制树形结构中作为目标节点的节点，并通过使用作为边界的节点来分割图像，该节点中子节点之间的时间间隔大于包括在目标节点中的图像的时间间隔，即，组A分割标记设置为1的节点。结果，能够通过分组条件A来规定群。

图23示出了设置组A分割标记的实例。

在图23示出的实例中，节点n11和节点n12分别作为左子节点和右子节点连接到最接近于根节点的节点n10。节点n13和节点n14分别作为左子节点和右子节点连接到节点n11。节点n15和节点n16分别作为左子节点和右子节点连接到节点n12。节点n17和节点n18分别作为左子节点和右子节点连接到节点n14。

在图23的实例中，将组A分割标记1设置到节点n10、n11、n12、n13和n14中，如图23中的粗线所示，通过将这些节点用作边界来生成群。

如图23中的右侧所示，节点n13包括图像p1至p17；节点n17包括图像p18至p30；节点n18包括图像p31至p68；节点n15包括图像p69至p93；以及节点n16包括图像p94至p100。

因此，如图24所示，如果通过使用其中设置有组A分割标记1的节点作为边界来生成群，则进行分群的图像p1至p100被划分到群(事件群A)中。

即，节点n13中包含的图像p1至p17构成群A₁；节点n17中包含的图像p18至p30构成群A₂；节点n18中包含的图像p31至p68构成群A₃；节点n15中包含的图像p69至p93构成群A₄；以及节点n16包含中的图像p94至p100构成群A₅。

如上所述，根据分组条件A执行分群，可获得表示由分组条件A规定的每个群所包括的图像范围的信息，或者表示每个图像属于哪个群的信息，作为基于分组条件A的分群结果。

在执行基于分组条件A的分群同时，也可以相同的方式执行基于分组条件B的分群。

具体来说，在层级确定部82中，在分割参数th大于被设置为分组条件B的阈值b的节点中设置组B分割标记1，在分割参数th不大于阈值b的节点中设置值组B分割标记0。

当设置组B分割标记之后，层级确定部82以升序顺序设置二进制树形结构中作为目标节点的节点，并通过使用作为边界的节点来分割图像，该节点中子节点之间的时间间隔大于包括在目标节点中的图像的时间间隔，即，组B分割标记1设置于其中的节点。结果，能够通过分组条件B来规定群。

图25示出了设置组B分割标记的实例。

在图25所示的实例中，节点n11作为左子节点连接到最接近于根节点的节点n10。节点n13和n14分别作为左子节点和右子节点连接到节点n11。节点n17和n18分别作为左子节点和右子节点连接到节点n14，节点n19和n20分别作为左子节点和右子节点连接到节点n17。节点n21和n22分别作为左子节点和右子节点连接到节点n18，节点n23和n24分别作为左子节点和右子节点连接到节点n19。

在图25的实例中，在节点n10、n11、n14、n17、n18和n19中设置组B分割标记1，并且如图25中的粗线所示，通过将这些节点用作边界来生成群。

如图25的右侧所示，节点n13包括图像p1至p17；节点n23包括图像p18至p21；节点n24包括图像p22至p26；节点n20包括图像p27至p30；节点n21包括图像p31至p57；以及节点n22包括图像p58至p68。

因此，如图26所示，如果通过使用组B分割标记1被设置为边界的节点来生成群时，图像p1至p100中被分群的图像p1至p68被划分到群(子事件群B)中。

也就是说，节点n13中包含的图像p1至p17构成群B₁；节点n23中包含的图像p18至p21构成群B₂；节点n24中包含的图像p22至p26构成群B₃；节点n20中包含的图像p27至p30构成群B₄；节点n21中包含的图像p31至p57构成群B₅；并且节点n22中包含的图像p58至p68构成群B₆。

如上所述，基于分组条件B执行分群，可获得表示由分组条件B规定的每个群所包括的图像范围的信息，或者表示每个图像所属群的信息，作为基于分组条件B的分群结果。由层级确定部82来管理获得的分群结果。

图27以叠加方式示出基于分组条件A的分群结果(图24)和基于分组条件B的分群结果(图26)。

如图27所示，如果基于多个分组条件执行分组，则得到的群具有嵌套关系(nest relation)。

在图27示出的实例中，群A₁和B₁包括相同范围的图像。群A₂包括群B₂至B₄，并且群A₃包括群B₅和B₆。

如果这些群都具有图27中示出的嵌套关系，则表示群B₂至B₄的文件夹显示为比表示群A₂的文件夹更低的文件夹，并且表示群B₅和B₆的文件夹显示为比表示群A₃的文件夹更低的文件夹。

如上所述，计算单元64中执行分层级的分群和基于分布的分群(基于所有图像的拍摄间隔的平均值的分群)。作为分层级的分群和基于分布的分群结合的结果，具有相似拍摄间隔的图像包括在同一群中，并且具有短于阈值的时间间隔的图像也包括在同一群中。

下面，参照图28至图35论述由分群部81生成的二进制树形结构的另一实例。

在该实例中，不使用拍摄时间顺序对图像执行分群，而是不考虑时间顺序针对各个图像执行分群。例如，在个人计算机1对由数码相机2拍摄的图像执行分群之后，由不同的数码相机拍摄的图像(例如，由别人提供的图像)也被载入到个人计算机1中。在这种情况下，包括新图像的图像单独用于分群，而不是以拍摄时间为顺序对图像执行分群。

例如，在如图13所示的图像p1和图像p2分别作为左子节点和右子节点连接到节点n1的情况下，比图像p1新且比图像p2旧的新节点(即，图像p3)***树中。在这种情况下，如果如图28所示，图像p1的拍摄时间和图像p3的拍摄时间之间的时间间隔td_p1p3大于图像p2的拍摄时间和图像p3的拍摄时间之间的时间间隔td_p2p3，则如图29所示，创建新节点(即，节点n2)。图像p3和图像p2作为左子节点和右子节点分别连接到节点n2。节点n2代替图像p2作为右子节点连接到节点n1。

图像p3的拍摄时间被记录作为节点n2的最小时间，并且图像p2的拍摄时间被记录作为节点n2的最大时间。在这种情况下，作为节点n2的父节点的节点n1的最小时间和最大时间保持不变。即，节点n1的最小时间和最大时间分别为图像p1的拍摄时间和图像p2的拍摄时间。

在如图13所示的图像p1和图像p2分别作为左子节点和右子节点连接到节点n1的情况下，比图像p1新且比图像p2旧的新节点(即，图像p3)***树中。在这种情况下，如果如图30所示的图像p1的拍摄时间和图像p3的拍摄时间之间的时间间隔td_p1p3小于图像p2的拍摄时间和图像p3的拍摄时间之间的时间间隔td_p2p3，则如图31所示，创建新节点(即，节点n2)。图像p1和图像p3作为左子节点和右子节点分别连接到节点n2。节点n2代替图像p1作为左子节点连接到节点n1。

图像p1的拍摄时间被记录为节点n2的最小时间，并且图像p3的拍摄时间被记录为节点n2的最大时间。在这种情况下，作为节点n2的父节点的节点n1的最小时间和最大时间保持不变。即，节点n1的最小时间和最大时间分别为图像p1的拍摄时间和图像p2的拍摄时间。

在如图13所示的图像p1和图像p2分别作为左子节点和右子节点连接到节点n1的情况下，比图像p1旧的新节点(即，图像p3)***树中。在这种情况下，如果如图32所示的图像p1的拍摄时间和图像p3的拍摄时间之间的时间间隔td_p1p3小于图像p1的拍摄时间和图像p2的拍摄时间之间的时间间隔td_p1p2，则如图33所示，生成新节点(即，节点n2)。图像p3和图像p1作为左子节点和右子节点分别连接到节点n2。节点n2代替图像p1作为左子节点连接到节点n1。

图像p3的拍摄时间被记录为节点n2的最小时间，并且图像p1的拍摄时间被记录为节点n2的最大时间。在这种情况下，作为节点n2的父节点的节点n1的最小时间改写为图像p3的拍摄时间，并且节点n1的最大时间保持不变。即，节点n1的最大时间为图像p2的拍摄时间。

在如图13所示的图像p1和图像p2分别作为左子节点和右子节点连接到节点n1的情况下，比图像p1旧的新节点(即，图像p3)***树中。在这种情况下，如果如图34所示的图像p1的拍摄时间和图像p3的拍摄时间之间的时间间隔td_p1p3大于图像p1的拍摄时间和图像p2的拍摄时间之间的时间间隔，则如图35所示，生成新节点(即，节点n2)。图像p3和节点n1分别作为左子节点和右子节点连接到节点n2。

图像p3的拍摄时间被记录为节点n2的最小时间，并且图像p2的拍摄时间被记录为节点n2的最大时间。在这种情况下，节点n1的最小时间和最大时间保持不变。即，节点n1的最小时间和最大时间分别为图像p1的拍摄时间和图像p2的拍摄时间。

当***新图像(例如，图像p4、p5、...)时执行类似的处理。如果***的图像是已进行分群图像中最新的图像，则执行参照图12至图20论述的处理，在另一种情况下，执行参照图28至图35论述的处理。

在事件识别器63中，在如上所述生成的每个群(节点)中设置一个事件。从而，如果形成如图24所示的群，则在群A₁中，将从图像p1至p17自身或者从关于这些图像的EXIF信息中提取的元数据的平均值设置为群A₁的元数据，并与群A₁相关联设置并管理基于该元数据识别的事件。这使用户可以指定确定的事件，来浏览与指定事件相关联的群中所包含的图像。

再次参照图6的描述，用户界面控制器65显示从图像DB 61读取的图像，也显示在通过事件识别器63管理的元数据中描述的事件识别结果。于是，显示出如图2所示的图像和表示与图2所示图像相关联的事件名称的屏幕。

当显示某一组的图像时，用户界面控制器65根据由计算单元64的层级确定部82管理的信息，确定其中设置有与该某一组的事件相同事件的组，并显示所确定的组的代表图像。然后，显示如图3所示的屏幕，其中包括设置了相同事件的组的代表图像。

下面，将描述如上所述配置的个人计算机1的操作。

首先，参照图36和37中的流程图，描述通过个人计算机1执行的用于识别特定图像的事件并显示图2所示的屏幕的一系列处理。

图36是示出由个人计算机1执行的事件识别处理的流程图。

在步骤S1中，通信单元49从数码相机2中读取记录在记录介质中的图像和EXIF信息。由通信单元49读取的图像和EXIF信息被记录在形成在例如存储单元48中的图像DB 61上，并用于识别在预定时间的事件。

在步骤S2中，特征提取单元62从目标图像和EXIF信息中提取特征。即，EXIF信息处理器71由EXIF信息中包含的各项信息提取预定信息。面部信息提取部72提取关于图像中包含的面部的信息，以及相似图像识别处理器73提取诸如图像的色空间的信息。

在步骤S3中，特征提取单元62生成表示在步骤S2中提取的信息的元数据(使图像矢量化)，并将生成的元数据输出到事件识别器63。

在步骤S4中，事件识别器63通过参照准备好的识别文件，根据由特征提取单元62提供的元数据中的各项信息识别事件。然后，在步骤S5中，事件识别器63将识别出的事件写入元数据。然后，对每个图像生成如图8所示的元数据。

在步骤S6中，事件识别器63将生成的元数据写入管理关于多个图像的元数据的文件中。然后，事件识别器63完成处理。

然后，下面将参照图37中的流程图论述由个人计算机1执行的图像显示处理。

在步骤S11中，用户界面控制器65从图像DB 61中读取将显示的图像，并从事件识别器63中管理的元数据中确认与读取的图像相关联的事件。

在步骤S12中，用户界面控制器65显示从图像DB 61中读取的图像，也在图像附近显示在步骤S11中核对的事件名称。然后，显示如图2所示的屏幕。

现在，参照图38至40，描述通过个人计算机1执行的用于根据在每个群中设置的事件来显示如图3所示的屏幕的一系列处理。

首先，参照图38中的流程图，描述通过个人计算机1生成群数据的处理。

在步骤S21中，通信单元49从数码相机2中读取记录在记录介质上的图像和EXIF信息。在图像DB 61上记录读取的信息和EXIF信息。

在步骤S22中，特征提取单元62的EXIF信息处理器71从目标图像的EXIF信息中获取拍摄时间，并将获得的拍摄时间输出到计算单元64。

在步骤S23中，根据参照图12至图20论述的过程，计算单元64的分群部81基于由EXIF信息处理器71提供的拍摄时间和存储在分群部81中的群数据，构建包括全部将分群的图像的二进制树形结构。

在步骤S24中，层级确定部82将位于二进制树形结构的预定层中的一个节点设置为目标节点。然后，在步骤S25中，层级确定部82计算目标节点中全部图像的拍摄时间的标准偏差sd。

在步骤S26中，层级确定部82计算连接到作为子节点的父节点的目标节点的子节点之间的时间间隔的偏差dev。

在步骤S27中，层级确定部82计算在步骤S26中计算的偏差dev和在步骤S25中计算的标准偏差sd之间的比值，并将计算的比值记录到目标节点，作为分割参数。

然后，在步骤S28中，层级确定部82确定形成二进制树形结构的所有节点是否均被设置为目标节点。如果在步骤S28中发现了未被设置为目标节点的节点，则过程返回到步骤S24，然后切换目标节点。

如果在步骤S28中确定形成二进制树形结构的所有节点均已被设置为目标节点，则层级确定部82执行步骤S29，将阈值设置为分组条件。如果对相同图像生成具有不同粒度等级的群，则在步骤29中设置多个分群条件。

在步骤S30中，层级确定部82比较设置在每个节点中的分割参数th与在步骤S29中作为分组条件设置的阈值。作为比较的结果，层级确定部82在具有超过阈值的分割参数的节点中设置分割标记1，并在具有不超过阈值的分割参数的节点中设置分割标记0。如果设置了多个分组条件，则针对每个分组条件在每个节点中设置分割参数th。

在步骤S31中，层级确定部82将二进制树形结构中的节点按时间顺序依次设置为目标节点，并通过使用分割标记1设置于其中作为边界的节点将节点划分到群中，然后生成表示每个群范围的群数据。

在步骤S32中，层级确定部82存储生成的群数据，并结束处理。

下面，参照图39中的流程图，论述通过个人计算机1执行的用于识别通过上述过程生成的每个群的事件的处理。

在步骤S41中，事件识别器63读取由层级确定部82管理的群数据。然后，在步骤S42中，事件识别器63提取每个群的特征。例如，事件识别器63确定在每个群中包含的图像的元数据的平均值，并将确定的平均值设置为群的特征。

在步骤S43中，事件识别器63生成表示在步骤S42中提取的群的特征的元数据。

在步骤S44中，事件识别器63根据在步骤S43中生成的元数据来识别群的事件。然后，在步骤S45中，事件识别器63设置(标记)事件，使得事件识别结果可与每个群相关联，并将事件信息输出到层级确定部82。

在步骤S46中，层级确定部82存储表示每个群中设置了事件的二进制树形结构的群数据，然后结束处理。

下面，参照图40中的流程图论述通过个人计算机1执行的图像显示处理。

在步骤S51中，用户界面控制器65显示特定的图像，以允许用户浏览图像。

例如，响应于当显示图像时执行的预定操作，在步骤S52中，用户界面控制器65从计算单元64的层级确定部82中读取表示每个群中设置了事件的二进制树形结构的群数据。

在步骤S53中，用户界面控制器53选择具有相同粒度等级的群，其中设置了与用户浏览的图像相关联的事件相同的事件。用户界面控制器53显示所选取的群的代表图像，并显示在从代表图像表示的群中选取的群中包含的全部图像，作为缩略图。然后，可显示如图3所示的屏幕。

其中设置了与用户浏览的图像相关联的事件相同的事件的图像可以自动地向用户显示，来唤起用户的记忆。在这种情况下，向用户显示的屏幕不限于图3所示的屏幕。

图41示出了显示图像浏览屏幕的另一实例。

在图41中，在屏幕上水平显示的带状区91是根据拍摄时间从左到右按时间顺序显示群的代表图像的区域。在图41所示的实例中，从左到右顺序显示了图像91A～91F。

在图41所示的实例中，在垂直于带状区91显示的方向上，每个群中包含的图像以正交于带状区92和93的垂直方向显示。

例如，如果用户从带状区91中显示的图像中选择了图像91B，则在相对于图像91B位置的带状区92中显示了包括作为代表图像的图像91B的群中所包含的图像。

如果用户选取了图像91B，同时在区域92中会显示图像，则在相对于图像91E位置的区域93中将显示出以图像91E作为代表图像的群中所包含的图像。这样的同步显示是由于，以用户从区域91中的图像中选取的图像91B作为代表图像的群中设置的事件与以图像91E作为代表图像的群中设置的事件相同。

也就是，在图41所示的屏幕上，当用户从区域91中显示的图像中选择了某一图像时，将显示出以用户所选图像作为代表图像的群中所包含的图像，并且，还会自动显示出设置有与用户所选图像的事件相同事件的群中所包含的图像，即，在与拍摄所选图像相同的情况下拍摄的图像，从而能够唤起用户的记忆。

如果在图41所示的状态下，用户将图像91B切换为图像91C，则在相对于图像91C的位置将垂直显示出以图像91C作为代表图像的群所包含的图像，并且，设置有与以图像91C作为代表图像的群的事件相同事件的群中所包含的图像，将垂直显示在相对于该群的代表图像的位置。

基本上形成在图41所示的屏幕中心的区域94是以放映幻灯片的形式显示由用户选取的预定群中包含的图像的区域。区域95是显示关于以放映幻灯片形式显示的图像的信息的区域。在屏幕右侧形成的区域96显示的是关于由用户选取的图像(在图41中的图像91B)的信息和关于设置有与包含用户所选图像的群的事件相同事件的群的代表图像的信息(在图41中的图像91E)。

在上述实施例中，由个人计算机1执行事件的识别。可选地，可执行下列事件识别服务。用户可在网络上将图像和EXIF信息发送到服务器，然后服务器识别事件并将识别结果返回用户。

图42示出的是事件识别服务配置的实例。

在图42中，数码相机2和服务器101通过诸如互联网的网络102彼此连接，使得它们可以彼此通信。

例如，当数码相机2的用户执行预定操作时，记录在数码相机2上的图像与EXIF信息一起通过网络102发送到服务器101上，然后服务器101基于接受到的信息来执行上述事件识别。事件识别的结果通过网络102返回到数码相机2或用户使用的个人计算机，并且该结果被用于显示如图2所示的图像浏览屏幕。

以这种方式，装置可通过网络102将图像和EXIF信息发送到服务器101，然后服务器101识别事件，并将事件识别结果返回给装置。

在这种事件识别服务中，服务器101也可以执行上述分群处理并将分群结果返回到装置。然后，装置接收分群结果和事件识别结果，并显示如图3所示的屏幕。可选地，数码相机2可提取用于事件识别的元数据，并且只将提取的元数据发送到服务器而不发送图像本身，使得服务器101可以执行事件识别。

在上述实施例中，诸如“旅行”、“赏花聚会”、“焰火”、“驾车/远足”、“聚会”、“婚礼”、“烤肉/露营”和“运动”的八个事件作为进行识别的目标事件。然而，也可通过学习来生成并准备用于识别其他事件的识别文件，使得可以识别其他事件。

用于事件识别的数据不限于图8所示的数据，也可以使用诸如从图像或EXIF信息获得的数据的其他信息。例如，可使用关于从全球定位***(GPS)传感器获得的拍摄位置的信息。

在上述实施例中，通过个人计算机1执行事件识别、分群和作为事件识别或分群结果的图像显示。可选地，可在其他装置(例如，数码相机本身、蜂窝式电话、个人数字助理(PDA)、或者结合有数码相机的便携式游戏机)上载入实现诸如事件识别、分群和图像显示的功能。

在上述实施例中，由数码相机2拍摄的静止图像被用于事件识别。可选地，另一种类型的内容(例如，电影或音乐的基调)也可用于识别。在音乐基调的识别中，例如，当以放映幻灯片的形式显示在事件中拍摄的图像时，可以自动播放具有与该事件相匹配基调的音乐。

可以通过硬件或软件实现上述的系列处理。如果使用软件，则通过网络将相应的软件程序从程序记录介质安装到内置于专用硬件的计算机，或者安装到例如通过安装各种程序来实现各种功能的多功能个人计算机的装置。

这种记录介质可由如图5所示的、被分配给用户以提供程序并且不包含在计算机中的可移动介质51构成，或者可由在记录有程序的存储单元48中包含的ROM 42或硬盘来构成，其以内置于计算机的形式提供给用户。

在本说明书中，构成存储在程序记录介质中的程序的步骤可以说明书中论述的时间顺序来执行。可选地，其可以并行或单独执行。

本领域技术人员应当理解，在所附权利要求及其等同物的范围之内，根据设计要求和其他因素，可以对本发明做出各种修改、组合、再组合和变更。

Claims (10)

1.一种信息处理装置，包括：

提取装置，用于由拍摄图像和关于所述拍摄图像的属性信息中的至少一个，来提取用于识别与所述拍摄图像相关联的事件的元数据；以及

识别装置，用于根据由所述提取装置提取的所述元数据，从多个预定事件中识别出与所述拍摄图像相关联的事件。

2.根据权利要求1所述的信息处理装置，其中，所述识别装置管理关于识别出的与所述拍摄图像相关联的事件的信息。

3.根据权利要求1所述的信息处理装置，还包括用于将多个图像分组的计算装置，

其中，所述识别装置对由所述计算装置形成的各个组设置事件。

4.根据权利要求3所述的信息处理装置，还包括显示控制装置，用于显示在设置有同样事件的组中包括的代表图像。

5.根据权利要求4所述的信息处理装置，其中，所述显示控制装置将在从所述代表图像中选取的代表图像所对应的组中包括的图像显示为列表。

6.根据权利要求3所述的信息处理装置，其中，所述计算装置在关于每个图像的所述属性信息中包括的时间信息所表示的时间之间的时间间隔的变化大于阈值的节点用作组间边界的情况下划分所述多个图像。

7.根据权利要求3所述的信息处理装置，其中，所述计算装置管理具有二进制树形结构形式的所述多个图像，并对所述多个图像进行划分，使得所述计算装置计算连接到作为子节点的父节点的目标节点的所述子节点之间时间间隔的偏差与由关于所述目标节点中图像的时间信息表示的时间的时间间隔的标准偏差之间的比值，并将计算出的比值与阈值进行比较，以确定包括在所述子节点中的图像是被划分到不同的组中还是被归类到相同的组中。

8.一种信息处理方法，包括以下步骤：

由拍摄图像和关于所述拍摄图像的属性信息中的至少一个，提取用于识别与所述拍摄图像相关联的事件的元数据；以及

根据所提取的元数据，从多个预定事件中识别出与所述拍摄图像相关联的事件。

9.一种用于使计算机执行包括以下步骤的处理的程序：

由拍摄图像和关于所述拍摄图像的属性信息中的至少一个，提取用于识别与所述拍摄图像相关联的事件的元数据；以及

根据所提取的元数据，从多个预定事件中识别出与所述拍摄图像相关联的事件。

10.一种信息处理装置，包括：

提取单元，用于由拍摄图像和关于所述拍摄图像的属性信息中的至少一个，来提取用于识别与所述拍摄图像相关联的事件的元数据；以及

识别单元，用于根据由所述提取单元提取的所述元数据，从多个预定事件中识别出与所述拍摄图像相关联的事件。

Images