CN101645089B - 图像处理设备、成像装置、图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理设备、成像装置、图像处理方法和程序，该图像处理设备包括存储单元、脸部检测单元、脸部识别单元和控制单元。存储单元用于存储内容管理文件，该内容管理文件存储用于管理内容的文件条目和用于管理特定脸部的特定脸部条目。所述文件条目和所述特定脸部条目都是具有分级结构的分级条目。脸部检测单元用于检测包含在所述内容中的脸部。脸部识别单元用于通过对所述特定脸部与所检测的脸部进行比较，确定所检测的脸部是否是所述特定脸部。控制单元用于当所检测的脸部被识别为所述特定脸部时，执行将所述特定脸部条目与所述文件条目相关联的控制。

Description

图像处理设备、成像装置、图像处理方法

技术领域

本发明涉及图像处理设备，特别是涉及能够检测内容中的脸部的图像处理设备。本发明还涉及具备这样的图像处理设备的成像装置。而且，本发明涉及在各图像处理设备和成像装置中使用的图像处理方法。而且，本发明涉及使计算机执行这样的图像处理方法的程序。 

背景技术

人们已经提出使用元数据来便利各种操作的技术。这里，静止图像或视频等内容数据与其附带的元数据相关联，并且在使用之前存储在存储器中。近年来，存在用于检测静止图像或视频等内容数据中包含的人物的脸部的技术。另外，有人提出用于将与所检测的脸部有关的信息作为元数据登记的技术。 

例如，在被提出的元数据登记方法中，在所拍摄的图像中检测脸部。将包含该脸部的矩形区域与该脸部的对应的人名等个人信息相组合，然后作为元数据以XML格式存储。接着，通过将元数据写入图像文件的一部分来登记该元数据(例如参照日本未审查专利申请公开No.2004-336466(图2))。 

发明内容

根据上述提出的方法，例如在观看具有元数据的图像文件时对所关心的脸部的点击使用户可以参照与该脸部对应的登记元数据来执行任何操作。 

这里，可以使用通过上述方法登记的元数据来搜索多个内容，以找到包含特定脸部的内容。但是，在这种情况下，元数据被写入每个 内容。从而，需要逐个地重复打开和关闭内容以读出要用于搜索操作的期望元数据。检测和验证每个元数据是很耗费时间的，导致包含特定脸部的内容的检索时间变长。由于这个原因，包含特定脸部的内容的检索时间增加。 

近年来，提出了用于识别脸部以确定图像中的人物的脸部是否对应于特定人物的脸部(特定脸部)的技术。而且，近年来，提出了另一种能够以用户几乎意识不到等待时间的高速度执行脸部识别处理的脸部识别技术。能够以高速度识别脸部的图像处理设备可以用于搜索多个内容以找到包含特定脸部的内容。但是，在这种情况下，需要逐个地重复打开和关闭各个内容以执行脸部识别处理。因此，这样的处理需要很多时间来读出内容和执行脸部识别处理，导致检索包含特定脸部的内容的时间增加。因此，用户很难在短时间内拾取和使用包含特定脸部的内容。 

因此希望快速地拾取和使用包含特定脸部的内容。 

本发明的第一实施方式是一种图像处理设备，包括如下构成的存储单元、脸部检测单元、脸部识别单元和控制单元。存储单元用于存储内容管理文件，该内容管理文件存储用于管理内容的文件条目和用于管理作为特定人物的脸部的特定脸部的特定脸部条目。这里，所述文件条目和所述特定脸部条目都是具有分级结构的分级条目。脸部检测单元用于检测包含在内容中的脸部。脸部识别单元用于通过对特定脸部与所检测的脸部进行比较，确定所检测的脸部是否是特定脸部。控制单元用于当所检测的脸部被识别为特定脸部时，执行将特定脸部条目与文件条目相关联的控制。本实施方式还包括在该信息处理设备中执行的处理和用于使计算机执行这样的处理的程序。因此，可以对任何所检测的脸部与特定脸部进行比较，确定所检测的脸部是否对应于特定脸部。控制单元当所检测的脸部对应于特定脸部时，执行将所检测的脸部的文件条目与特定脸部条目相关联的控制。 

在第一实施方式中，内容管理文件可以存储特征量条目，所述特征量条目是分级条目，包含特定脸部的特征量，并且与特定脸部条目 的层次的下层(也简称为下层)链接。另外，图像处理设备还可以包括特征量提取器，用于提取所检测的脸部的特征量。从而，脸部识别单元通过对包含在特征量条目中的特征量与所提取的特征量进行比较，确定所检测的脸部是否是特定脸部。因此可以提取所检测的脸部的特征量，对所检测的脸部的特征量与包含在特征量条目中的特征量进行比较，确定所检测的脸部是否对应于特定脸部。 

在第一实施方式中，内容管理文件存储元数据条目，所述元数据条目是包含与所检测的脸部对应的脸部数据的分级条目，并且链接到文件条目的下层。当所检测的脸部被识别为特定脸部时，控制单元可以在包含在元数据条目中的脸部数据中存储所提取的特征量。因此，当所检测的脸部被识别为特定脸部时，可以在包含在元数据条目中的脸部数据中存储所提取的特征量。 

另外，在第一实施方式中，特定脸部条目存储用于识别特定人物的特定人物识别符。内容管理文件存储元数据条目，所述元数据条目是包含与所检测的脸部对应的脸部数据的分级条目，并且链接到文件条目的下层。当所检测的脸部被识别为特定脸部时，控制单元可以在包含在元数据条目中的脸部数据中存储特定人物识别符。因此，当所检测的脸部被识别为特定脸部时，可以在包含在元数据条目中的脸部数据中存储特定人物识别符。 

而且，在第一实施方式中，每个分级条目可以设置有用于识别分级条目的条目识别符。当所检测的脸部被识别为特定脸部时，控制单元可以通过在特定脸部条目中存储文件条目的条目识别符，而将特定脸部条目与文件条目相关联。因此，当所检测的脸部被识别为特定脸部时，可以在特定脸部条目中存储文件条目的条目识别符。 

在该实施方式中，内容管理文件可以存储包含特定脸部的至少一部分的特定脸部图像，特定脸部条目可以存储特定脸部图像在内容管理文件上的存储位置。因此，当所检测的脸部被识别为特定脸部时，可以执行将文件条目与特定脸部图像相关联的控制。 

而且，本发明的第二实施方式是一种图像处理设备，包括如下结 构的内容存储单元、内容管理文件存储单元、操作输入接收器、选择器、提取器和显示器。内容存储单元用于存储内容。内容管理文件存储单元用于存储内容管理文件。内容管理文件具有分级结构，并且存储各个分级条目，该各个分级条目设置有用于识别对应的分级条目的各个条目识别符。内容管理文件存储文件条目、特定脸部条目和特定脸部图像。文件条目是用于管理内容的分级条目。特定脸部条目作为用于管理作为特定人物的脸部的特定脸部的分级条目，并且用于存储与内容存储单元所存储的内容中的、包含特定脸部的内容相对应的文件条目的条目识别符。特定脸部图像作为包含特定脸部的至少一部分并且与特定脸部条目相关联的图像。操作输入接收器用于接收选择操作，该选择操作用于从当前存储在内容管理文件中的特定脸部图像中选择期望的特定脸部图像。选择器用于从当前存储在内容管理文件中的特定脸部条目中选择与所选择的特定脸部图像对应的特定脸部条目。提取器用于从存储在内容存储单元中的内容中提取与当前存储在所选择的特定脸部条目中的条目识别符对应的内容。显示器用于显示所提取的内容。本实施方式还包括在上述图像处理设备中执行的处理方法和使计算机执行该处理方法的程序。因此，可以从特定脸部图像中选择期望的特定脸部图像，然后从特定脸部条目中选择与所选择的特定脸部图像对应的特定脸部条目。另外，可以从内容中提取与当前存储在所选择的特定脸部条目中的条目识别符对应的内容，并显示所提取的内容。 

本发明的第三实施方式是一种成像装置，包括如下结构的存储单元、成像单元、脸部检测单元、脸部识别单元和控制单元。存储单元用于存储内容管理文件，该内容管理文件存储用于管理拍摄视频的文件条目和用于管理作为特定人物的脸部的特定脸部的特定脸部条目，其中所述文件条目和所述特定脸部条目都是具有分级结构的分级条目。成像单元用于拍摄对象的图像以生成拍摄视频。脸部检测单元用于检测包含在拍摄视频中的脸部。脸部识别单元用于通过对特定脸部和所检测的脸部进行比较，确定所检测的脸部是否是特定脸部。控制 单元用于当所检测的脸部被识别为特定脸部时，执行将特定脸部条目与文件条目相关联的控制。本实施方式还包括在该成像装置中执行的处理方法和用于使计算机执行这样的处理方法的程序。因此，可以通过对特定脸部和所检测的脸部进行比较，确定所检测的脸部是否是特定脸部，然后，当所检测的脸部被识别为特定脸部时，执行将特定脸部条目与文件条目相关联的控制。 

因此，本发明的任意实施方式都有利地用于快速拾取和使用包含特定脸部的内容。 

附图说明

图1是示出本发明的实施方式的成像装置的示例性结构的框图。 

图2是示意性地示出在本发明的实施方式的文件***上登记的实际文件的文件结构的图。 

图3是示出由本发明的实施方式的属性文件管理的文件夹和文件的分级结构的例子的图。 

图4是示出本发明的实施方式的属性文件、视频内容文件和特定人物之间的关系的示意图。 

图5是示意性地示出本发明的实施方式的存储在缩略图文件中的各图像、视频内容文件和人物之间的关系的图。 

图6是示出本发明的实施方式的对存储在缩略图文件中的登记脸部图像进行登记的方法的示意图。 

图7是示出本发明的实施方式的存储在存储介质中的视频内容文件与登记脸部图像之间的关系的示意图。 

图8是示出本发明的实施方式的属性文件和缩略图文件与视频内容文件之间的关系的示意图。 

图9是示出本发明的实施方式的构成内容管理文件的属性文件和缩略图文件之间的关系的示意图。 

图10是示意性地示出视频文件夹条目之间的父子关系、日期文件夹条目之间的父子关系、视频文件条目之间的父子关系和元数据条 目之间的父子关系以及出现登记脸部列表的对应关系的图。 

图11是示意性地示出各个登记脸部文件夹条目的条目列表之间的父子关系、登记脸部条目的条目列表和元数据条目的条目列表之间的父子关系、以及出现登记脸部内容列表(即出现登记脸部的内容的列表)与视频文件条目的对应关系的图。 

图12是示意性地示出本发明的实施方式的属性文件的基本结构的图。 

图13是示意性地示出本发明的实施方式的属性文件的整体结构的图。 

图14是示意性地示出元数据条目的内部结构的图。 

图15示出要存储在标题(header)部分中的信息的概要。 

图16是示意性地示出脸部数据部分中存储的脸部数据的图。 

图17示出标题部分的脸部数据结构标志的数据结构。 

图18示出脸部数据结构标志中存储的位与脸部数据部分中存储的脸部数据之间的关系。 

图19示出脸部数据结构标志中存储的位与脸部数据部分中存储的脸部数据之间的关系。 

图20示出脸部数据结构标志中存储的位与脸部数据部分中存储的脸部数据之间的关系。 

图21示出脸部数据结构标志中存储的位与脸部数据部分中存储的脸部数据之间的关系。 

图22示出脸部数据结构标志中存储的位与脸部数据部分中存储的脸部数据之间的关系。 

图23是示出本发明的一个实施方式的成像装置的框图。 

图24是示意性地示出本发明的实施方式的识别拍摄图像中的脸部的处理和将该拍摄图像中的脸部作为登记脸部图像登记的处理中的一系列步骤的图。 

图25示出从包括在视频内容文件中的帧检测的脸部与存储在脸部数据部分中的脸部数据的关系。 

图26是示出本发明的实施方式的成像装置的与其重放功能有关的示例性结构的框图。 

图27是示意性地示出登记脸部条目、视频文件条目、元数据条目、缩略图文件和视频内容文件之间的关系的图。 

图28示出本发明的实施方式的使用内容管理文件的应用的例子。 

图29示出本发明的实施方式的使用内容管理文件的应用的例子。 

图30示出本发明的实施方式的使用内容管理文件的应用的例子。 

图31示出本发明的实施方式的使用内容管理文件的应用的例子。 

图32是示出本发明的实施方式的成像装置对要登记的脸部进行登记的处理的流程图。 

图33是示出本发明的实施方式的成像装置进行的内容管理文件的记录处理的流程图。 

图34是本发明的实施方式的成像装置播放视频内容文件的过程的流程图。 

图35是本发明的实施方式的成像装置播放视频内容文件的过程的流程图。 

图36是本发明的实施方式的成像装置播放视频内容文件的过程的流程图。 

图37示出本实施方式的图像处理***的***结构。 

具体实施方式

以下参照附图详细说明本发明的实施方式。 

图1是示出本发明的一个实施方式的成像装置100的示例性结构的框图。成像装置100包括相机部分110、相机数字信号处理器(DSP)120和同步动态随机存取存储器(SDRAM)121。成像装置100还包 括控制器130、操作单元140和介质接口(I/F)150。成像装置100还包括液晶显示器(LCD)控制器171、外部接口(I/F)172、通信接口(I/F)173和LCD 180。成像装置100可以是便携式摄像机(camcorder)。这里，“便携式摄像机”一词来源于“相机(camera)”和“录像机(recorder)”。便携式摄像机通过图像分析提取所拍摄的对象的图像的特征量，并且使用所提取的特征量进行各种图像处理。 

相机部分110包括光学单元111、电荷耦合器件(CCD)112、预处理单元113、光学单元驱动器114、CCD驱动器115和定时生成器116。光学单元111包括集中来自拍摄对象的光的多个透镜、聚焦机构、快门机构、光圈机构等。光学单元111经由这些透镜和快门机构向CCD 112输出从对象入射的光。 

CCD 112响应于来自CCD驱动器115的驱动信号而操作，从光学单元111取入来自对象的入射光。响应于来自定时生成器116的定时信号，CCD 112以光电方式将入射光转换成电信号。所生成的电信号(图像信息)然后被输出到预处理单元113。可以将CCD 112替换为互补金属氧化物半导体(CMOS)传感器等光电转换器(图像传感器)。 

预处理单元113对从CCD 112输出的电信号进行各种信号处理，向相机DSP 120生成数字图像数据。换言之，为了将信噪(S/N)比保持在优良水平，预处理单元113对作为从CCD 112提供的图像信息的电信号执行相关双采样(CDS)处理。预处理单元113还对电信号执行自动增益控制(AGC)处理，由此控制增益。而且，预处理单元113对电信号执行模拟-数字转换(A/D)处理，以生成数字信号(数字图像数据)。 

光学单元驱动器114在控制器130的控制下生成用于操作光学单元111的驱动信号，然后将所生成的驱动信号提供给光学单元111。可以响应于来自光学单元驱动器114的驱动信号来控制光学单元111的聚焦机构、快门机构和光圈机构。CCD驱动器115响应于来自定时生成器116的定时信号而生成用于操作CCD 112的驱动信号，然后将 生成的驱动信号提供给CCD 112。 

定时生成器116在控制器130的控制下生成用于提供预定定时的定时信号，然后将生成的定时信号提供给CCD 112和CCD驱动器115。 

相机DSP 120与SDRAM 121连接，对从预处理单元113输出的数字图像数据执行各种相机信号处理。相机信号处理例如可以是自动聚焦(AF)处理、自动曝光(AE)处理或自动白平衡(AWB)处理。利用联合图像专家组(JPEG)或JPEG 2000等预定的编码方式，对进行了上述相机信号处理的图像数据进行编码。然后将编码图像数据经由***总线135和介质I/F 150提供给存储介质160，然后作为文件存储在存储介质160中。相机DSP 120对经由介质I/F 150从存储介质160读出的编码图像数据进行解码，然后经由***总线135将该解码图像数据提供给LCD控制器171。相机DSP 120检测从预处理单元113和存储介质160之一提供的图像数据中包含的脸部，然后将包含所检测的脸部的脸部图像正规化，以生成正规化脸部图像。接着，相机DSP 120向控制器130输出与所检测的脸部有关的脸部检测信息和正规化脸部图像。 

控制器130包括中央处理单元(CPU)131、随机存取存储器(RAM)132、闪速只读存储器(ROM)133和计时器134。另外，CPU 131、RAM 132、闪速ROM 133和计时器134经由***总线135彼此连接。控制器130可以是通用的内置微型计算机或专用的大规模集成电路(LSI)。 

CPU 131根据存储在闪速ROM 133等中的各种程序来执行各个处理。RAM 132用作工作区以临时存储由CPU 131执行的各处理的中间结果。 

闪速ROM 133存储由CPU 131执行的各种程序、以及CPU 131在各处理中所需的数据等。 

计时器134向CPU 131给出当前日期、当前星期和当前时刻。计时器134还向CPU 131给出图像拍摄日期和时间。 

操作单元140用于接收由用户输入的操作内容，并且生成对应于所接收的操作内容的控制信号，然后向CPU 131输出该控制信号。 

操作单元140可以包括成像装置100上的操作部件，例如用于登记脸部记录模式的设定/解除按钮、登记按钮、用于视频存储模式的设定/解除按钮和记录按钮。另外，操作单元140还可以包括用于静止图像存储模式的设定/解除按钮、快门按钮、用于重放模式的设定/解除按钮、重放按钮等。而且，操作单元140例如可以如图28～图31所示由触摸面板构成。用于登记脸部记录模式的设定/解除按钮是用于进行登记脸部记录模式的设定或解除的按钮。该模式可以登记在识别从预处理单元113或存储介质160输出的图像数据中的脸部的处理中使用的特定人物的脸部(特定脸部)。登记按钮是在登记脸部记录模式下一边拍摄图像一边登记脸部(脸部图像)时按下的按钮。用于视频存储模式的设定/解除按钮是用于进行可以存储视频的视频存储模式的设定或解除的按钮。记录按钮是在设定了视频存储模式的情况下当开始或结束视频记录时按下的按钮。用于静止图像存储模式的设定/解除按钮是用于进行可以存储静止图像的静止图像存储模式的设定或解除的按钮。快门按钮是在静止图像存储模式下在存储正在成像的图像(静止图像)时按下的按钮。用于重放模式的设定/解除按钮是用于进行可以重放存储介质160中存储的内容文件或者从外部设备获取的内容文件的重放模式的设定或解除的按钮。重放按钮是在设定了重放模式的情况下在开始或结束视频的重放时按下的按钮。 

介质I/F 150是用于存储介质160和控制单元130之间的各种图像数据和其它信息的发送和接收的接口。 

存储介质160是存储与相机DSP 120生成的图像数据相对应的内容文件的存储介质。另外，存储介质160还用于存储从外部个人计算机(PC)(未示出)向成像装置100输出的图像数据。而且，存储介质160用于存储与成像装置100通过网络获取的图像数据相对应的各种信息。这里，存储介质160可以安装在成像装置100中，或者可以可拆卸地连接在成像装置100上。另外，可用于本实施方式的存储 介质160的例子包括存储卡、光存储介质、磁盘和硬盘驱动器(HDD)。这里，光存储介质例如可以是可记录数字通用盘(DVD)、可记录高密度盘(CD)和蓝光盘(Blue-ray Disc，注册商标)。 

LCD控制器171用于生成图像信号并将所生成的图像信号提供给LCD 180。这里，该图像信号用于在LCD 180上显示从相机DSP 120输出的图像。 

外部I/F 172是用于PC等外部设备(未示出)与成像装置100之间的各种数据的发送和接收的接口。例如，成像装置100可以通过外部I/F 172连接PC，以便从PC接收图像数据和在存储介质160中存储所输入的图像数据。另外，成像装置100可以将该图像数据从存储介质160提供给PC。 

通信I/F 173是由网络接口卡(NIC)等构成、连接到互联网等网络从而进行各种图像数据和其它信息的发送和接收的接口。而且，通信I/F 173可以是依照预定标准的有线接口。例如，该标准可以是电气电子工程师学会(IEEE)1394或通用串行总线(USB)。可替代地，通信I/F 173可以是依照IEEE 802.11a、IEEE 802.11b、IEEE802.11g或蓝牙(注册商标)标准的无线接口。换言之，通信I/F 173可以是有线或无线的任何接口。 

LCD 180用于显示与LCD控制器171生成的图像信号相对应的图像。例如，在LCD 180上显示与存储在存储介质160中的视频内容文件对应的视频。后面将参照图28～图31详细说明显示的例子。 

如上所述，成像装置100在存储介质160中存储通过对拍摄对象进行成像而得到的图像或视频。另外，成像装置100读出存储在存储介质160中的图像或视频，并在LCD 180上显示该图像或视频。而且，成像装置100可以在存储介质160中存储从外部PC输出的图像数据、通过网络获取的图像数据等。另外，从外部PC等获取并且存储在存储介质160中的图像数据等可以被读出并显示在LCD 180上。 

以下参照附图说明存储在存储介质160中的实际文件。 

图2是示意性地示出在本发明的实施方式的文件***上登记的 实际文件的文件结构的图。在本实施方式中，视频内容文件或静止图像内容文件、与这些内容文件相关的脸部元数据、以及登记脸部信息以不同于实际目录的分级结构的分级条目管理。具体地说，存储介质160除了视频或静止图像内容文件外，还存储用于管理这些文件、脸部元数据和登记脸部信息的内容管理文件340。这里，登记脸部信息是登记在成像装置100中的特定人物的脸部(特定脸部)的信息，包括图9所示的登记脸部管理信息、登记脸部属性信息等。该信息被存储在内容管理文件340中。在本发明的实施方式中，登记脸部信息被存储在内容管理文件340中的特定脸部被称为登记脸部。 

根目录300包括视频内容文件夹310、静止图像内容文件夹320和内容管理文件夹330。 

视频内容文件夹310包括由成像装置100生成的视频内容文件311和312。换言之，在本实施方式中，视频内容文件311和312属于视频内容文件夹310。 

静止图像内容文件夹320包括作为由成像装置100生成的静止图像数据的静止图像内容文件321和322。换言之，在本实施方式中，静止图像内容文件321和322属于静止图像内容文件夹320。 

内容管理文件夹330包括内容管理文件340。内容管理文件340通过分级条目管理属于视频内容文件夹310和静止图像内容文件夹320中的每一个的内容文件。内容管理文件夹330由属性文件400和缩略图文件500构成。属性文件400存储用于管理各内容文件的文件条目和元数据条目、用于管理登记脸部信息的登记脸部条目和元数据条目等。缩略图文件500存储各内容文件的代表性缩略图像和包含登记脸部的登记脸部图像。后面将参照图3～图11详细说明属性文件400和缩略图文件500。 

属于视频内容文件夹310的各视频内容文件和属于静止图像内容文件夹320的各静止图像内容文件对用户是可见的。换言之，用户可以在LCD 180上显示与用户的操作输入所指定的每个内容文件相对应的图像。这种情况下，例如，该图像可以是代表内容文件的图标。 另一方面，内容管理文件340对用户是不可见的，从而内容管理文件340的内容不会被用户修改。例如通过设定使文件***的内容管理文件夹330不可见的标志，来将内容管理文件340的内容设定为对用户不可见。当成像装置100识别出该成像装置100经由通用串行总线(USB)接口与个人计算机(PC)连接(大容量存储器连接)时，可以将该标志设定为有效。这种情况下，例如当成像装置识别出该连接时(即，当从PC接收到已经正确建立连接的信号时)，使上述标志有效。以下参照附图详细说明属性文件400的条目结构。 

图3是示出由本发明的实施方式的属性文件400管理的文件夹和文件的分级结构的例子的图。 

属性文件400管理存储介质160中存储的视频文件和静止图像内容文件。属性文件400按照应用柔性地管理文件。例如，属性文件400可以按照由成像装置100记录的日期和时间来管理各个视频或静止图像内容文件。另外，各个视频或静止图像内容文件可以按照其类型来管理。 

在本实施方式中，说明用于按照记录日期和时间来分类管理各视频内容文件并且将包含登记脸部的视频内容文件与登记脸部相关联地管理文件的管理方法的例子。在图3中，各条目具有用于识别自身的各自的编号。在以下说明中，条目编号将附带“#”。后面将参照图12和图13详细说明条目编号的细节。 

根条目405位于分级条目结构的所有其它条目之上。在该例子中，视频文件夹条目(#1)410、静止图像文件夹条目(#3)450和登记脸部文件夹条目(#5)460属于根条目405。另外，简档条目(#150)406集中地存储各文件条目的编解码器信息(例如编码格式、图像大小和位速率)。简档条目(#150)406的细节将参照图12C后述。 

视频文件夹条目(#1)410在下层管理用于视频的日期文件夹条目。在该例子中，日期文件夹条目(#35)420、(#51)430和(#67)440属于视频文件夹条目(#1)410。 

静止图像文件夹条目(#3)450在下层管理用于静止图像的日期文件夹条目。在本发明的实施方式中，条目的说明将集中于用于视频的各条目，用于静止图像的各条目的说明将部分省略。 

日期文件夹条目(#35)420、(#51)430和(#67)440是用于通过日期来分类管理视频内容文件的条目，并且在下层管理分类后的视频内容文件。在该例子中，日期文件夹条目(#35)420管理在“5/5/2008”记录的视频内容文件。视频文件条目(#37)421和视频文件条目(#44)423都属于日期文件夹条目(#35)420。另外，日期文件夹条目(#51)430管理在“6/14/2008”记录的视频内容文件。视频文件条目(#53)431和视频文件条目(#60)433都属于日期文件夹条目(#51)430。而且，日期文件夹条目(#67)440管理在“7/19/2008”记录的视频内容文件。视频文件条目(#69)441属于日期文件夹条目(#67)440。以下将参照图8详细说明文件夹条目的细节。 

视频文件条目(#37)421、(#44)423、(#53)431、(#60)433和(#69)441分别存储内容管理信息和内容属性信息以管理视频内容文件。另外，每个视频文件条目与元数据条目链接，元数据条目存储与对应的视频内容文件相关联的元数据。后面将参照图4详细说明视频文件条目与视频内容文件的关系。另外，后面将参照图8详细说明内容管理信息、内容属性信息等的文件条目的细节。 

元数据条目(#40)422、(#47)424、(#56)432、(#63)434和(#72)442中的每一个存储与由链接在其上的视频文件条目管理的视频内容文件相关联的元数据。在该例子中，属于对应的视频文件条目的每个元数据条目中包含从视频内容文件提取的脸部数据。脸部数据包含与从视频内容文件提取的脸部有关的各种数据。如图16所示，例如，脸部数据包括脸部检测时刻信息、基本脸部信息、脸部得分和笑脸得分的数据。元数据条目将参照图8～图14详细说明。 

登记脸部文件夹条目(#5)460在分级结构的下层管理用于管理登记脸部的登记脸部条目。在该例子中，登记脸部条目(#7)461、 (#14)463、(#21)465和(#28)467属于登记脸部文件夹条目(#5)460。登记脸部条目(#7)461、(#14)463、(#21)465和(#28)467是分别管理登记脸部的条目。这些登记脸部条目中的每一个包括出现登记脸部的内容的列表，并且还包括登记脸部的属性信息。登记脸部条目与特定人物的关系将参照图4详细说明。另外，本发明的实施方式的登记脸部条目的细节将参照图9详细说明。 

元数据条目(#10)462、(#17)464、(#24)466和(#31)468中的每一个存储与由链接在其上的登记脸部条目管理的登记脸部相关联的元数据。在该例子中，元数据存储从包含登记脸部的登记脸部图像提取的特征量。这里，特征量是用于确定从内容数据检测的脸部是否对应于登记脸部的识别信息。换言之，例如，特征量是表示用于识别眼睛、鼻子、嘴、眼眉及其形状等脸部的位置关系的脸部图像的特征和属性的数据。特征量可以根据颜色、亮度等的水平来提取。本发明的实施方式的元数据条目的细节将参照图9～图14详细说明。 

图4是示出本发明的实施方式的属性文件400、视频内容文件和特定人物之间的关系的示意图。这里，视频文件条目(#37)421、(#44)423、(#53)431、(#60)433和(#69)441以及登记脸部条目(#7)461、(#14)463、(#21)465和(#28)467与图3所示的相同。在本实施方式中，将ICHIRO KODA 521、GOROOTOGUCHI 522、HANAKO YAMAKAWA 523和YOSHIMIICHIYA 524作为脸部被登记在成像装置100中的特定人物的例子来进行说明。 

视频内容文件311～315由成像装置100拍摄并存储在存储介质160中。另外，这些视频内容文件311～315属于视频内容文件夹310。在图4中，视频内容文件311～315与视频文件条目(#37)421、(#44)423、(#53)431、(#60)433和(#69)441之间的对应关系由连接对应要素的虚线箭头表示。 

4个人物ICHIRO KODA 521、GORO OTOGUCHI 522、HANAKO YAMAKAWA 523和YOSHIMI ICHIYA 524(以下将这些 人物分别简称为人物521～524)是脸部分别在登记脸部条目461、463、465和467中登记和管理的特定人物。另外，人物521～524的各脸部图像的特征量存储在图3中的元数据条目(#10)462、(#17)464、(#24)466和(#31)468中。在图4中，人物521～524与登记脸部条目(#7)461、(#14)463、(#21)465和(#28)467之间的对应关系由连接对应要素的虚线箭头表示。 

图5是示意性地示出本发明的实施方式的存储在缩略图文件500中的各图像、视频内容文件和人物之间的关系的图。图5所示的人物521～524和视频内容文件311～315与图4所示的相同。 

缩略图文件500存储作为各内容文件的代表性图像的代表性缩略图像、以及分别至少包含特定人物的脸部的一部分的登记脸部图像。代表性缩略图像可以是从视频内容文件中提取的至少一个图像。例如，与视频内容文件的第一帧对应的图像被作为代表性缩略图像提取。 

例如，如图5所示，脸部图像511～514作为人物521～524的登记脸部图像被存储在缩略图文件500中。另外，代表性缩略图像501～506作为视频内容文件311～315的代表性图像被存储在缩略图文件500中。而且，对登记脸部图像进行登记的方法将参照图6和图24详细说明。 

图6是示出本发明的实施方式的对存储在缩略图文件500中的登记脸部图像进行登记的方法的示意图。图6所示的例子是在成像装置100处于登记脸部记录模式时对登记脸部图像进行登记的方法。 

图6A示出在成像装置100处于登记脸部记录模式时显示在LCD180上的包含辅助图像531的模板图像530。辅助图像531用于在拍摄图像以进行登记时，便于将作为成像对象的人物的脸部定位在拍摄图像的适当位置处。例如，如图6B所示，LCD 180在登记脸部记录模式下显示辅助图像531。然后，LCD 180在其上显示辅助图像531的同时，显示由相机DSP 120生成的拍摄图像(所谓的直通图像(through image))。 

这里，如图6B所示，用户可以在显示在LCD 180上的辅助图像531与拍摄图像中的脸部(要登记的脸部)的轮廓基本一致时按下登记按钮。在图6B中，示出了拍摄HANAKO YAMAKAWA 523的图像的情况。这样，当如上所述按下了登记按钮时，由相机DSP 120生成的拍摄图像的预定区域内的图像作为登记脸部图像记录在缩略图文件500中。在图6C中，示出HANAKO YAMAKAWA 523的图像作为要存储在缩略图文件500中的登记脸部图像而被拍摄的情况。除了在缩略图文件500中存储登记脸部图像外，还在登记脸部文件夹条目(#5)460的下层的登记脸部条目中存储登记脸部管理信息和登记脸部属性信息(图9所示)。而且，从登记脸部图像中提取脸部的特征量，然后将所提取的特征量存储在链接到登记脸部条目的下层的元数据条目中。例如，如图5所示，将HANAKO YAMAKAWA 523的登记脸部图像513存储在缩略图文件500中。另外，在登记脸部条目(#21)465(图4所示)中存储HANAKO YAMAKAWA 523的登记脸部图像513的登记脸部管理信息和登记脸部属性信息。另外，在元数据条目(#24)466(图3所示)中存储HANAKO YAMAKAWA523的登记脸部图像513的特征量。而且，登记脸部图像的特征量的提取将参照图24进行说明。可替代地，登记脸部图像可以在参照眼睛进行正规化后存储在缩略图文件500中。 

图7是示出本发明的实施方式的存储在存储介质160中的视频内容文件311～315与登记脸部图像511～514之间的关系的示意图。在图7中，视频内容文件311～315中的每一个通常用矩形表示。在该矩形中以规则的间隔配置对应于帧的图像。另外，在各个矩形的左角配置对应于开头帧的图像，即代表性缩略图像501～506。例如，在表示视频内容文件311的矩形中，对应于规则间隔的帧的代表性缩略图像501和图像541～544沿着成像时间序列排列。在该例子中，代表性缩略图像501和图像541、542都包含登记脸部图像511的脸部(ICHIRO KODA)。 

另外，例如，构成视频内容文件312的代表性缩略图像502和图 像545～548都包含登记脸部图像511的脸部(ICHIRO KODA)。同样，图像546～548都包含登记脸部图像513的脸部(HANAKOYAMAKAWA)。图像548包含登记脸部图像514的脸部(YOSHIMIICHIYA)。因此，在图7中，构成对应的视频内容文件311～315的图像被表示成，包含各个登记脸部图像511～514的脸部的图像用与对应的登记脸部图像511～514连接的线表示。 

这里，在视频内容文件的每个帧中检测到的脸部的脸部数据被依次存储在与对应于该视频内容文件的视频文件条目的下层连接的元数据条目中。另外，根据从各个检测出的脸部提取的特征量来依次识别脸部。然后，当检测出的脸部被识别为登记脸部时，将视频文件条目的条目编号存储在对应于该登记脸部的登记脸部条目中。在本发明的实施方式中，还将说明对应于登记脸部的个人识别ID被包括在脸部数据中并且被存储在元数据条目中的例子。而且，这些存储过程将参照图10和图11说明。 

以下参照附图说明内容管理文件340与内容文件之间的关系。 

图8是示出本发明实施方式的构成内容管理文件340的属性文件400和缩略图文件500与属于视频内容文件夹310的视频内容文件311～315之间的关系的示意图。这里，主要说明图3所示的日期文件夹条目(#35)420、视频文件条目(#44)423、元数据条目(#47)424、代表性缩略图像502和视频内容文件312之间的对应关系。缩略图文件500中的代表性缩略图像501～505和视频内容文件夹310中的视频内容文件311～315与图5所示的相同，省略对其的说明。 

日期文件夹条目(#35)420管理实际内容文件的日期。日期文件夹条目(#35)420包含“条目类型”、“父条目列表”、“父条目类型”、“子条目列表”、“子条目类型”、“槽(slot)有效标志”、“槽链”等。各条目编码识别对应的条目。例如，日期文件夹条目420被分配了条目编号“#3”。分配条目编号的方法将参照图12和图13后述。 

“条目类型”表示条目的类型。取决于各条目的类型，条目类型可以是“视频文件夹条目”、“静止图像文件夹条目”、“日期文件夹条目”、 “视频文件条目”、“元数据条目”、“登记脸部文件夹条目”和“登记脸部条目”等中的一个。例如，“日期文件夹条目”被存储在日期文件夹条目(#35)420的“条目类型”中。 

“父条目列表”包含与作为对应的条目所属的层次的上层(也简称为上层)的父条目相对应的条目编号。例如，存储“#1”作为日期文件夹条目(#35)420的“父条目列表”。 

“父条目类型”表示与存储在“父条目列表”中的条目编号相对应的父条目的类型。取决于父条目的类型，“父条目类型”存储“视频文件夹条目”、“日期文件夹条目”、“视频文件条目”、“静止图像文件夹条目”、“登记脸部文件夹条目”和“登记脸部条目”等中的一个。例如，“视频文件夹条目”被存储在日期文件夹条目(#35)420的“父条目类型”中。 

“子条目列表”存储与作为属于该条目的层次的下层(也简称为下层)的子条目相对应的条目编号。例如，在日期文件夹条目(#35)420的“子条目列表”中存储“#37”和“#44”。 

“子条目类型”表示与存储在“子条目列表”中的条目编号相对应的子条目的类型。取决于子条目的类型，“子条目类型”可以是“视频文件夹条目”、“静止图像文件夹条目”、“日期文件夹条目”、“视频文件条目”、“静止图像文件条目”、“元数据条目”和“登记脸部条目”等中的一个。例如，“视频文件条目”被存储在日期文件夹条目(#35)420的“子条目类型”中。 

“槽有效标志”表示构成该条目的槽是否有效。“槽链”是与构成该条目的各槽的链接或连结的信息。“槽有效标志”和“槽链”将参照图12说明。 

视频文件条目(#44)423管理实际内容文件并且存储内容管理信息401和内容属性信息402。内容管理信息401存储“条目类型”、“内容类型”、“内容地址”、“父条目列表”、“父条目类型”等。另外，内容管理信息401存储“子条目列表”、“子条目类型”、“出现登记脸部列表”、“槽有效标志”、“槽链”等。“条目类型”、“父条目列表”、“父 条目类型”、“子条目列表”、“子条目类型”、“槽有效标志”和“槽链”与参照日期文件夹条目(#35)420说明的那些相同，这里省略对其的说明。 

“内容类型”表示与文件条目对应的内容文件的类型。取决于与文件条目对应的内容文件的类型，“内容类型”可以是“视频内容文件”和“静止图像内容文件”之一。例如，视频文件条目(#44)423的内容类型是“视频内容文件”。 

“内容地址”是表示存储在存储介质160中的视频内容文件的存储位置的信息。按照该存储位置信息可以访问存储在存储介质160中的视频内容文件。例如，视频文件条目(#44)423的“内容地址”是表示视频内容文件312的地址的“A312”。 

“出现登记脸部列表”存储与对应于文件条目的内容文件中包含的登记脸部相对应的登记脸部条目的条目编号。例如，如图7所示，对应于视频文件条目(#44)423的视频内容文件312包含登记脸部图像511、513和514。因此，视频文件条目(#44)423的“出现登记脸部列表”存储与登记脸部图像511、513和514相对应的各个登记脸部条目461、465和467的条目编号“#7”、“#21”和“#28”(参照图10)。 

内容属性信息402是存储在内容管理信息401中的内容文件的属性信息。内容属性信息402包括“创建日期和时间”、“更新日期和时间”、“区间信息”、“大小信息”、“缩略图地址”、“简档信息”等。“创建日期和时间”存储对应于文件条目的内容文件被创建的日期和时间。“更新日期和时间”存储对应于文件条目的内容文件被更新的日期和时间。使用该“更新日期和时间”来确定元数据的不一致性。“区间信息”存储对应于文件条目的内容文件的时间长度信息。“大小信息”存储对应于文件条目的内容文件的大小信息。 

“缩略图地址”是表示存储在缩略图文件500中的代表性缩略图像的存储位置的信息。该存储位置信息使得用户可以访问存储在缩略图文件500中的代表性缩略图像。例如，视频文件条目(#44)423 的“缩略图地址”存储作为视频内容文件312的代表性缩略图像的代表性缩略图像502的缩略图文件500中的条目编号“#02”。缩略图文件500中的条目编号将参照图12说明。 

“简档信息”包含存储在简档条目(#150)406中的视频音频条目的条目编号。视频音频条目将参照图12C详细说明。 

元数据条目(#47)424包含“条目类型”、“父条目列表”、“父条目类型”、“槽有效标志”、“槽链”、“元数据”等。“条目类型”、“父条目列表”、“父条目类型”、“槽有效标志”和“槽链”与参照日期文件夹条目(#35)420说明的那些相同，这里省略对其的说明。 

“元数据”存储从与元数据条目所属的上层的视频文件条目相对应的内容文件获取的各种属性信息(元数据)。存储在“元数据”中的各种信息将参照图16说明。 

图9是示出本发明实施方式的构成内容管理文件340的属性文件400和缩略图文件500之间的关系的示意图。这里，主要说明图3所示的登记脸部条目(#7)461、元数据条目(#10)462和登记脸部图像511之间的对应关系。缩略图文件500中的登记脸部图像511～514与图5所示的相同，省略对其的说明。 

登记脸部条目(#7)461是管理登记脸部的条目，存储了登记脸部管理信息403和登记脸部属性信息404。登记脸部管理信息403存储“条目类型”、“父条目列表”、“父条目类型”、“子条目列表”、“子条目类型”、“出现登记脸部内容列表”、“槽有效标志”、“槽链”等。在这些信息中，不再说明与图8所示的日期文件夹条目(#35)420或视频文件条目(#44)423中所示的信息相同的信息。具体地说，相同的信息包括“条目类型”、“父条目列表”、“父条目类型”、“子条目列表”、“子条目类型”、“槽有效标志”和“槽链”。 

“出现登记脸部内容列表”表示其中包含了对应于登记脸部条目的登记脸部的内容文件的列表。因此，对应于登记脸部所属的内容文件的文件条目的条目编号被存储在该列表中。例如，如图7所示，对应于登记脸部条目(#7)461的登记脸部图像511的脸部出现在视频 内容文件311、312和315的每一个中。因此，对应于视频内容文件311、312和315的各个视频文件条目421、423和441的条目编号被存储在登记脸部条目(#7)461的“出现登记脸部内容列表”中(参照图11)。换言之，“出现登记脸部内容列表”存储视频文件条目421、423和441的条目编号“#37”、“#44”和“#69”。 

登记脸部属性信息404是存储在登记脸部管理信息403中的登记脸部的属性信息。登记脸部属性信息404包括“创建日期和时间”、“更新日期和时间”、“登记脸部姓名”、“个人识别ID”、“缩略图地址”等。 

“创建日期和时间”存储对应于登记脸部条目的登记脸部图像被创建的日期和时间。“更新日期和时间”存储对应于登记脸部条目的登记脸部图像被更新的日期和时间。“登记脸部姓名”存储对应于登记脸部条目的登记脸部的人物的姓名。例如，该姓名可以通过用户的手动操作而输入。 

“个人识别ID”存储给予对应于登记脸部条目的登记脸部的、用于识别个人的ID。例如，个人识别ID可以按照登记的顺序自动地被提供自己的识别编号。 

“缩略图地址”存储缩略图文件500中所存储的登记脸部图像的存储位置。该存储位置信息使得用户可以访问存储在缩略图文件500中的登记脸部图像。例如，在登记脸部条目(#7)461的“缩略图地址”中存储登记脸部图像511的缩略图文件500中的条目编号“#11”。这里，缩略图文件500中的条目编号将参照图12说明。 

元数据条目(#10)462存储“条目类型”、“父条目列表”、“父条目类型”、“槽有效标志”、“槽链”、“元数据”等。“条目类型”、“父条目列表”、“父条目类型”、“槽有效标志”和“槽链”与参照日期文件夹条目(#35)420说明的那些相同，这里省略对其的说明。 

“元数据”包含从与元数据条目所在的上层的登记脸部条目相对应的登记图像获取的各种属性信息(元数据)。这里，链接到登记脸部条目的下层的元数据条目的基本结构与链接到文件条目的下层的元数据条目的基本结构相同。但是，与链接到文件条目的下层的元数 据条目的不同在于，用于脸部识别的特征量主要存储在链接到登记脸部条目的下层的元数据条目的“元数据”中。存储在“元数据”中的各种信息将参照图16说明。 

现在参照附图详细说明存储在属性文件中的各个条目之间的父子关系、以及出现登记脸部列表(出现登记脸部的列表)与出现登记脸部内容列表(出现登记脸部的内容的列表)之间的对应关系。 

图10是示意性地示出视频文件夹条目、日期文件夹条目、视频文件条目和元数据条目之间的父子关系以及出现登记脸部列表的对应关系的图。图10示出包括图3所示的视频文件夹条目(#1)410、日期文件夹条目(#35)420、视频文件条目(#37)421和(#44)423、元数据条目(#40)422和(#47)424的例子。 

视频文件夹条目(#1)410存储“子条目列表”等的信息。例如，“子条目列表”存储条目“#35”、“#51”、“#67”。 

日期文件夹条目(#35)420存储“父条目列表”、“子条目列表”等的信息。例如，“父条目列表”存储“#1”，“子条目列表”存储“#7”和“#28”。 

视频文件条目(#37)421和(#44)423都存储“父条目列表”、“子条目列表”、“内容地址”、“缩略图地址”、“出现登记脸部列表”等的信息。例如，在视频文件条目(#37)421中，“父条目列表”存储“#35”，“子条目列表”存储“#40”。另外，“内容地址”存储“A311”，“缩略图地址”存储“#01”，“出现登记脸部列表”存储“#7”。而且，存储在“缩略图地址”中的“#01”是缩略图文件500中的条目编号，不同于存储在属性文件400中的各条目的条目编号。另外，图11所示的“缩略图地址”也同样。 

元数据条目(#40)422和(#47)424存储“父条目列表”等的信息。例如，在元数据条目(#40)422中，“父条目列表”存储条目“#37”。在图10中，各个条目的条目列表之间的父子关系由从“父条目列表”或“子条目列表”延伸到对应的“子条目列表”或对应的“父条目列表”的箭头来表示。在图10中，各个视频文件条目的出现登记脸 部列表之间的对应关系由从“出现登记脸部列表”延伸到对应的“登记脸部条目”的箭头来表示。 

图11是示意性地示出各个登记脸部文件夹条目、登记脸部条目和元数据条目之间的父子关系以及出现登记脸部内容列表的对应关系的图。在图11中，针对图3所示的登记脸部文件夹条目(#5)460、登记脸部条目(#7)461和(#14)463、元数据条目(#10)462和(#17)464说明父子关系的例子。 

登记脸部文件夹条目(#5)460存储“子条目列表”的信息。例如，“#37”、“#14”、“#21”和“#28”被存储在“子条目列表”中。 

登记脸部条目(#7)461和(#14)463都存储“父条目列表”、“子条目列表”、“缩略图地址”、“出现登记脸部内容列表”等。例如，在登记脸部条目(#7)461中，“#5”存储在“父条目列表”中，“#10”存储在“子条目列表”中。另外，“#11”存储“缩略图地址”中，“#37”、“#44”和“#69”存储在“出现登记脸部内容列表”中。 

元数据条目(#10)462和(#17)464都存储“父条目列表”等的信息。例如，在元数据条目(#10)462中，在“父条目列表”中存储“#7”。在图11中，各个条目的条目列表之间的父子关系由从“父条目列表”或“子条目列表”延伸到对应的“子条目列表”或对应的“父条目列表”的箭头来表示。在图11中，各个登记脸部条目的出现登记脸部内容列表之间的对应关系由从“出现登记脸部内容列表”延伸到对应的“视频文件条目”的箭头来表示。图10和图11中示出的父子关系对于图3所示的所有其它条目都适用，从而省略对其的说明。另外，图10和图11中示出的对应关系对于图3所示的其它视频文件条目的出现登记脸部列表以及图3所示的其它登记脸部条目的出现登记脸部内容列表都适用。 

在图3所示的属性文件400中，存在一个文件条目被链接到一个对应的元数据条目的例子。但是可替代地，一个文件条目可以被链接到两个或更多个元数据条目。换言之，一个父文件条目可以对应于两个或更多个子元数据条目。 

例如，视频文件条目(#37)421的子元数据条目除了包括存储脸部元数据的元数据条目(#40)422以外，还可以包括存储GPS信息的元数据条目(#76)(未示出)。并且，“#40”和“#76”可以存储在视频文件条目(#37)421的子条目列表中。这种情况下，子条目列表的存储顺序可以根据元数据的类型而预先定义。因此，即使在一个文件条目中存储两个或更多个元数据时元数据的数量增加的情况下，也会防止数据管理变得复杂，并且用于提取期望的元数据的时间将缩短。这里，元数据的类型可以是数据的类型(脸部元数据、GPS等类型)或者是元数据和二进制数据等编码的类型。 

而且，在图3所示的属性文件400中，存在一个登记脸部条目被链接到一个对应的元数据条目的例子。但是可替代地，一个登记脸部条目可以被链接到两个或更多个元数据条目。即，多个子元数据条目可以对应于一个父登记脸部条目。 

例如，存储“ICHIRO KODA”的通常脸部的特征数据的元数据条目被设置为元数据条目(#10)462，而存储“ICHIRO KODA”的笑脸的特征数据的元数据条目被设置为元数据条目(#80)(未示出)。并且，“#10”和“#80”被存储在登记脸部条目(#7)461的子条目列表中，以使元数据条目(#10)462和元数据条目(#80)对应于登记脸部条目(#7)461的子元数据条目。可替代地，笑脸、生气的脸、哭泣的脸等的三个或更多个元数据条目可以对应于一个登记脸部条目。因此，即使存在以“ICHIRO KODA”的不同的脸部表情拍摄的两个或更多个内容时，用户也可以识别包括“ICHIRO KODA”的内容，并将识别的内容存储在登记脸部条目(#7)461的出现登记脸部内容列表中。 

图12是示意性地示出本发明实施方式的属性文件400的基本结构的图。图12A示出属性文件400的基本结构的例子，图12B示出每个条目中的槽的结构，图12C示出简档条目(#150)406中的信息的例子。另外，在标题部分470中包含的不同信息中，图12D示出表示由内容管理文件340管理的内容的类型的信息的例子。 

图13是示意性地示出本发明实施方式的属性文件400的整体结构的图。 

如图12A所示，属性文件400具有包括标题部分470和条目部分480的基本结构，其中各条目是表示一个文件夹或一个文件等的单位。 

构成条目部分480的各条目包括一个或更多个槽。取决于各条目中存储的数据量，向该条目分配一个或更多个槽。另外，各条目的槽被定义为具有针对属性文件或缩略图文件等每个文件确定的固定长度的数据块。但是，由于不同的条目具有不同的槽个数，因此各条目的长度与槽的整数倍成比例地可变。 

如图12A所示，根据要存储的数据487的数据大小，视频文件夹条目(#1)410被分配了两个槽481和482。根据要存储的数据488的数据大小，静止图像文件夹条目(#3)450被分配了两个槽483和484。 

由于槽的长度固定，因此，通常不是槽的整个区域都填充了有效数据。有时会发生数据损失。但是，在改善数据访问和数据管理方面，固定长度槽的使用是优选的。 

条目部分480的每个条目如图3所示由条目编号管理。考虑到从整个属性文件400的第一个槽到条目的开头槽存在的槽个数来分配条目编号。如图12A和图13所示，例如，当从整个属性文件400的所有槽的开头开始数时，视频文件夹条目(#1)410的槽481和482中的开头槽481成为第1个槽。从而，“#1”被分配为视频文件夹条目(#1)410的条目编号。另外，当从整个属性文件400的所有槽的开头开始数时，静止图像文件夹条目(#3)450的槽483和484中的开头槽483成为第3个槽。从而，“#3”被分配为静止图像文件夹条目(#3)450的条目编号。而且，当从整个属性文件400的所有槽的开头开始数时，登记脸部文件夹条目(#5)460的槽485和486中的开头槽485成为第5个槽。从而，“#5”被分配为登记脸部文件夹条目(#5)460的条目编号。其它条目的条目编号也同样。按照条目编号 来管理各条目并且管理各条目的父子关系。在搜索条目时，从开头开始数构成条目部分480的各条目，检索对象条目。 

如图12B所示，构成各条目的槽包含槽标题部分491和实际数据部分494。槽标题部分491包括表示槽的有效性的有效/无效标志492和链493。 

如果存在有效的对应的内容文件，则在有效/无效标志492上设置有效标志。如果对应的内容文件被删除，则设定无效标志。这样，当删除了对应的内容文件时，设定无效标志，从而不进行与被删除的内容文件对应的槽内的信息的删除，该槽看起来好象不存在。如果没有有效/无效标志492，则如果删除了对应的内容文件，则需要进行与被删除的内容文件对应的槽内的信息的删除。另外，被删除的槽的后续槽内的信息应向前移动以填充到被删除的槽中。因此，当没有有效/无效标志492时，处理变得复杂。 

链493存储用于链接槽的链接或连结的信息。包含在链493中的信息形成链接多个条目的一个条目。实际数据部分494存储各条目的实际数据。 

简档条目(#150)406存储大约100种数据，在各内容文件中分别包括一对视频和音频编解码器信息。作为视频的编解码器信息的视频条目存储“编解码器类型”、“画面大小”、“采样率”、“位速率”等。作为音频的编解码器信息的音频条目存储“编解码器类型”、“采样率”等。每对视频和音频条目被分配条目编号。按照简档条目(#150)406内的存储顺序来分配条目编号。如图12C所示，例如，第1对视频和音频条目495被分配“#1”，第2对视频和音频条目496被分配“#2”。视频和音频条目对的条目编号被存储在文件条目的“简档信息”中(参照图8)。对应于文件条目的内容文件的编解码器信息按照存储在“简档信息”中的条目编号读出。 

缩略图文件500的结构与属性文件400基本相同，每个条目包括一个或更多个槽。各槽作为用于表示一个代表性缩略图像或登记脸部图像的单位。缩略图文件500没有标题部分。各槽在文件内长度固定。 一个槽的槽大小存储在属性文件400的标题部分470中。缩略图文件500中的条目的对应关系存储在属性文件400中。在该例子中，缩略图文件500的槽大小与属性文件400不同。 

缩略图文件500的槽大小可以针对每个缩略图文件定义，可以存储在属性文件400的标题部分470中。缩略图文件500的缩略图文件名存储在标题部分470中。 

内容文件的代表性缩略图像针对与内容文件相对应的每个文件条目存储在缩略图文件500中。这里，在标准的缩略图文件的情况下，一个槽对应于一个文件条目。缩略图文件500的各条目被分配条目编号。如果缩略图文件内的一个条目对应于一个槽，则缩略图文件的条目编号是槽编号。缩略图文件的条目编号存储在各文件条目的“缩略图地址”中(参照图8～图11)。 

标题部分470存储管理各条目的各种信息。例如，如图12D所示，标题部分470存储表示由内容管理文件340管理的内容文件的类型的信息。在图12D的例子中，由内容管理文件340管理的内容文件是高清晰度(HD)视频或标准清晰度(SD)视频，不是静止图像。即使在能够存储视频和静止图像的内容存储设备中，内容管理文件340也可以不管理静止图像。如图12D所示存储在标题部分470中的静止图像以标准的文件***管理。由于视频也以标准的文件***管理，因此在不支持内容管理文件的内容播放设备中，按照文件***的信息来播放内容。成像装置100可以连接到其它内容播放设备或者可以将可拆卸存储介质移动到其它内容播放设备来播放。如果其它内容播放设备支持内容管理文件，则可以按照内容文件读出内容文件。标题部分470存储简档条目(#150)406的条目编号。从而在条目部分480的条目中识别简档条目的位置。 

图13是示意性地示出属性文件400的每个条目、对应于该条目的槽以及每个槽中存储的数据的关系的图。在图13中，表示每个条目的方框仅标上其条目编号，省略条目的名称。另外，在图13中，具有较小编号的条目和简档条目代表图3所示的所有条目。 

图14是示意性地示出元数据条目600的内部结构的图。元数据条目600对应于图3所示的属于视频文件夹条目(#1)410的下层的元数据条目(#40)422和属于登记脸部文件夹条目(#5)460的下层的元数据条目(#10)462。在本发明的实施方式中，脸部元数据针对每个视频内容文件存储。另外，脸部元数据(特征量)针对每个特定人物存储。 

元数据条目600包括一个或更多个元数据单元(Meta_data_Unit)610。这里，元数据单元610由数据单元大小(data_unit_size)611、语言(language)612和编码格式(encoding_type)613构成。另外，元数据单元610还包括元数据类型(data_type_ID)614和元数据(meta_data())615。 

数据单元大小611包含存储在元数据单元610中的元数据的大小。语言612包含存储在元数据单元610中的元数据的语言。编码格式613包含存储在元数据单元610中的元数据的编码格式。元数据类型614包含用于识别元数据的各类型的识别信息。 

而且，元数据615存储脸部元数据620和脸部元数据以外的元数据650。例如，元数据650可以包括内容文件的标题信息和类型信息。 

脸部元数据620包括标题部分630和脸部数据部分640。标题部分630存储用于管理脸部元数据的信息。标题部分630具有针对每个内容文件或登记脸部定义的固定长度。对应于内容文件的脸部数据部分640存储要作为脸部元数据存储的各脸部的脸部数据，其中该脸部是从内容文件中检测出来的。例如，脸部数据部分640存储脸部数据621～623。如图16所示，脸部数据包括脸部检测时刻信息、基本脸部信息、脸部得分、笑脸得分等。脸部数据部分640存储一个视频内容文件作为固定长度。另一方面，对应于登记脸部的脸部数据部分640存储从特定人物的登记脸部图像中提取的特征量作为脸部元数据。如图16所示，脸部数据包括个人识别ID、脸部的特征量等。另外，脸部数据部分640存储一个人物的登记脸部图像作为固定长度。由于标题部分630和脸部数据部分640都是固定长度，因此可以容易地进行 对脸部数据的访问。 

其它元数据650具有与脸部元数据620相同的结构，省略对其的说明。 

图15示出要存储在标题部分630中的信息的概要。 

标题部分630存储标题大小631、元数据版本632、内容更新日期和时间633、脸部数据结构标志660、时间刻度634和脸部数据单元个数635。标题部分630还存储脸部数据大小636、脸部检测引擎版本637、内容图像大小638和错误检测代码值639。 

数据的这些存储部分各自的数据大小如图15的“大小”栏所列出的那样，用字节单位表示。以下将主要说明视频内容文件的脸部元数据(视频文件条目的下层的元数据条目)。在登记脸部的脸部元数据(登记脸部条目的下层的元数据条目)中，例如，除了标题大小631和脸部数据结构标志660以外记录“0”。 

标题大小631存储标题部分630的数据大小。从而，当访问脸部数据部分640时，标题大小631使得可以跳过标题部分630而直接访问脸部数据部分640。标题大小631的数据大小是2个字节。 

元数据版本632存储对应于标题部分630的脸部数据部分640中存储的脸部元数据的版本信息。当在内容播放设备上播放内容文件时，内容播放设备检查元数据版本632中存储的脸部数据的版本，从而验证该版本是否是播放设备支持的版本。根据本发明的一个实施方式，记录“1.00”。元数据版本632的数据大小是2个字节，其中高8位表示主要版本，低8位表示次要版本。如果脸部元数据格式被扩展，则在此存储扩展后的版本信息。 

内容更新日期和时间633存储内容文件被存储的更新日期和时间。例如，由成像装置100拍摄的视频内容文件可以被传送到另一设备，然后经过编辑的视频内容文件可以存储在成像装置100中。这种情况下，在经过编辑的视频内容文件与脸部元数据之间产生不一致。具体地说，例如，视频内容文件可以在如下所述的3个步骤1～3中传送。这种情况下，检测出不一致，从视频内容文件B中检测脸部元 数据，从而修正在经过编辑的视频内容文件与脸部元数据之间产生的不一致。 

(1)步骤1 

在内容存储设备A中存储视频内容文件A，然后生成对应于该视频内容文件A的脸部元数据。这种情况下，视频内容文件A的创建日期和时间以及更新日期和时间与脸部元数据的内容更新日期和时间相同。

(2)步骤2 

将视频内容文件A传送到内容播放设备B，然后在内容播放设备B上进行编辑。从而视频内容文件A变成视频内容文件B。这种情况下，视频内容文件B的更新日期和时间被更新为编辑时的日期和时间。 

(3)步骤3 

将视频内容文件B传送到内容存储设备A。这种情况下，视频内容文件B和脸部元数据在内容更新日期和时间的值上不同。 

脸部数据结构标志660包括表示由存储在脸部数据部分640中的脸部数据定义的元数据的有无的标志。脸部数据结构标志660将参照图17～图22详细说明。 

时间刻度634包含在脸部数据部分中使用的时刻信息的时间刻度(表示每秒的单位数)的记录。更具体地说，将表示从视频内容文件中检测出脸部的时刻的信息(脸部检测时刻信息)作为脸部数据存储在脸部数据部分中。该时刻信息的时间刻度被存储在时间刻度634中。时间刻度634的单位是Hz。脸部数据单元个数635存储在标题部分630之后记录的脸部数据单元的个数的记录。如果没有检测出脸部，则记录“0”。 

脸部数据大小636包含表示在标题部分630之后存储的一个脸部数据单元的数据大小的信息。按照脸部数据大小636中存储的信息，可以跳过各脸部数据单元。如果没有检测出脸部，则记录“0”。 

脸部检测引擎版本637存储用于从视频内容文件中检测脸部的 脸部检测引擎的信息。如果内容播放设备在脸部元数据的播放过程中识别出由性能低于自身设备的脸部检测引擎检测出的脸部元数据，则脸部检测引擎版本637用作是否重新检测脸部元数据的判断标准。脸部检测引擎的信息例如以ASCII代码描述。 

例如，如果元数据版本是“1.00”，则数据记录按照图16所示的顺序在脸部数据部分640上执行。当内容播放设备识别出元数据版本为“1.00”时，由于具有固定长度的各数据位于预定的数据位置，因此脸部数据部分640的期望数据被迅速访问。 

内容图像大小638存储表示从其中检测出脸部的图像的高度和宽度的信息。错误检测代码值639存储表示在从其中检测出脸部的图像的预定范围内计算的错误检测代码值(错误纠正代码值)的信息。例如，在生成脸部元数据的期间，将从对应的图像数据计算的校验和的值记录到错误检测代码值639上。校验和用作错误检测代码值。可替代地，错误检测代码值可以是循环冗余校验(CRC)值和基于hash(哈希)函数的hash值之一。 

与内容更新日期和时间633同样，内容图像大小638和错误检测代码值639可以用于检测视频内容文件与脸部元数据之间的不一致。引起不一致的机制与步骤1～3相同。例如，静止图像内容文件包含大量的静止图像编辑软件程序，在一些程序中，即使在静止图像被更新时，内容数据中的内容日期和时间也可能未被更新。这种情况下，对内容更新日期和时间以及内容图像大小进行比较处理。从而可靠地检测出不一致。 

图16是示意性地示出本发明实施方式的脸部数据部分640中存储的脸部数据的图。脸部数据部分640按照标题部分630的脸部数据结构标志660的位分配的顺序来存储脸部数据。 

脸部数据部分640存储脸部检测时刻信息641、基本脸部信息642、脸部得分643、笑脸得分644、脸部重要度645、个人识别ID 646和脸部特征量647。这些信息的存储单位是字节。以下用“1.00”的元数据版本来定义这里将说明的视频内容文件的脸部元数据(视频文件 条目的下层的元数据条目)。另外，例如仅将个人识别ID 646和脸部特征量647作为登记脸部的脸部元数据(下层的元数据条目)存储。 

脸部检测时刻信息641将对应的视频内容文件的开头作为“0”而存储检测出脸部数据的帧的时刻。脸部检测时刻信息641包含是存储在标题部分630的时间刻度634中的时间刻度的整数倍的值。 

基本脸部信息642存储从构成视频内容文件的各帧检测出的脸部的位置和大小的信息。在基本脸部信息642中，脸部位置信息由高4个字节定义，脸部大小信息由低4个字节定义。例如，脸部位置信息可以表示从其中检测出脸部的图像的左上角与所检测的脸部的左上点之间的差，脸部的横轴由高16位定义，脸部的纵轴由低16位定义。例如，脸部大小信息表示所检测的脸部的图像大小，脸部宽度由高16位定义，脸部高度由低16位定义。基本脸部信息642是使用脸部元数据的应用中最重要的元数据。 

脸部得分643存储与表示所检测的脸部的脸部相似度的得分有关的信息。 

笑脸得分644存储与表示所检测的脸部笑的程度的得分有关的信息。 

脸部重要度645存储表示在相同时刻检测的图像的优先级(重要度)的信息。例如，可能在相同的帧内检测出多个脸部。可以向靠近图像中心的脸部或被聚焦的脸部分配高的优先级。在其中包含的信息中，值越小，该脸部就越重要。例如，“1”可能是最重要的值。在将该图像显示在移动终端的小屏幕上时，可以仅显示具有最高优先级的脸部，代替以小的尺寸显示其它脸部。 

个人识别ID 646存储针对各个登记脸部设置以识别检测出的脸部的识别符。另外，例如在登记脸部的脸部元数据(下层的元数据条目)中，存储对应于上层的登记脸部条目的登记脸部的个人识别ID。另外，当确定所检测的脸部对应于任意的登记脸部时，针对视频内容文件的脸部元数据(视频文件条目的下层的元数据条目)，存储对应于登记脸部的个人识别ID。 

脸部特征量647存储在从所检测的脸部提取特征量时使用的算法以及用于识别在脸部识别中使用的辞典等的识别信息。另外，在登记脸部的脸部元数据(登记脸部条目的下层的元数据条目)的情况下，脸部特征量647存储用于识别个人的特征量。在视频内容文件的脸部元数据(视频文件条目的下层的元数据条目)的情况下，当确定所检测的脸部对应于任意的登记脸部时，可以存储从所检测的脸部提取的特征量。 

根据本发明的一个实施方式，当存储了所检测的脸部的脸部数据时，按照其检测的顺序存储该脸部数据。从而可以按照时间顺序快速地搜索脸部数据。而且，在相同的视频内容文件中，包含在所有脸部数据中的元数据被认为是相同的类型，并且按照图16所示的顺序存储脸部数据。不必存储图16的所有数据，但存储相同视频内容文件中的相同类型的元数据。这样，所有的脸部数据保持固定长度，从而增加了脸部数据的可访问性。由于存储了相同视频内容文件中的相同类型的元数据，从而提高了预定的元数据的可访问性。 

图17示出本发明实施方式的标题部分630(如图15所示)的脸部数据结构标志660的数据结构。图18～图22示出本发明实施方式的脸部数据结构标志660中存储的位与脸部数据部分640中存储的脸部数据之间的关系。 

根据本发明的实施方式，如图16所示，定义了脸部数据部分640的7个单位的元数据。按照脸部数据部分640的顺序，将数据分配到从脸部数据结构标志660的最低有效位(Least Significant Bit，LSB)开始的0位～6位。脸部数据结构标志660的各个位填充了脸部数据的对应的数据字段的数据有无的指示。更具体地说，如果在脸部元数据的数据字段中有数据，则在脸部数据结构标志660的对应位中存储“1”，如果在脸部元数据的数据字段中没有数据，则在对应位中存储“0”。这样，如果在脸部数据部分640中有元数据，则在对应位中设定“1”。而且，在脸部数据结构标志660中，7位和后续位被保留用于脸部数据内的将来的扩展。 

更具体地说，例如，在视频内容文件的脸部元数据的情况下，脸部数据部分640如图18A所示存储由“1.00”的元数据版本定义的数据。这种情况下，如图18B所示，从LSB开始的0位～6位填充“1”。成像装置100不必存储所有的数据，但存储必要的数据。脸部元数据取决于脸部元数据的应用而柔性地存储，从而降低了数据量。 

另外，例如在登记脸部的脸部元数据(登记脸部条目的下层的元数据条目)的情况下，脸部数据部分640如图19A所示存储个人识别ID和脸部特征量的数据。这种情况下，如图19B所示，从LSB开始的0位～4位填充“0”，从LSB开始的5位～6位填充“1”。 

另外，在视频内容文件的脸部元数据(视频文件条目的下层的元数据条目)的情况下，例如如图20～图22所示定义脸部数据部分640中的元数据。 

如图20A所示，例如另一内容存储设备在脸部数据部分640中存储由“1.00”的元数据版本定义的7个数据单元中的3个数据单元。这种情况下，所记录的元数据的顺序如图16所示，没有数据的空字段被填充数据。图20B示出存储在另一内容存储设备中的脸部数据结构标志660的实际数据的例子，“1”被存储在分配给当前作为脸部数据的数据字段的标志中。这样，在由“1.00”的元数据版本定义的范围内，内容存储设备可以存储任何元数据。即使在另一内容存储设备中存储了不同的元数据，播放脸部元数据的内容播放设备也可以参照标题部分的信息，从而验证元数据内的元数据的有无。由于脸部数据在数据长度上是固定的，因此可以快速访问期望的元数据。 

参照附图说明本发明的一个实施方式的脸部数据部分640中存储的脸部数据的扩展方法。如果将来脸部检测技术提高，或者如果将脸部检测结果用于新的应用，则仅是由“1.00”的元数据版本定义的元数据可能是不够的。因此，以下说明对存储在脸部数据部分640中的脸部数据进行扩展的例子。 

图21A示出扩展脸部数据的例子。扩展脸部数据包括表示所检测的脸部的性别差异的“性别差异得分”和表示所检测的脸部在帧中 的角度的“角度信息”。增加了这些数据的脸部元数据被定义为“1.10”的元数据版本，在标题部分630的元数据版本632的字段中存储“1.10”。通过在由以前的版本定义的数据下增加新的元数据来扩展元数据。更具体地说，当数据被存储在存储介质160中时，从其中记录了由版本“1.00”定义的数据的物理地址之后的物理地址开始，以脸部数据单位存储由版本“1.10”定义的数据。同样，在其中记录了由版本“1.10”定义的数据的物理地址之后的地址，以脸部数据单位存储下一元数据。 

图22示出在由“1.10”的版本定义的元数据中，由一个存储设备存储的元数据。例如，当存储了图21A的扩展脸部数据时，不必存储图21A的所有脸部数据。如果有任何脸部数据没有被存储，则按照图22A所示的数据的顺序存储图21A的脸部数据中的预定脸部数据，并且用当前数据填充没有脸部数据的空的数据字段。 

随着版本更新到“1.10”，脸部数据结构标志也被扩展。在“1.00”的版本中保留的位按照图21A所示定义的字段的顺序被分配新的位。如果在脸部数据部分中有数据，则如图21B所示设定“1”。支持“1.10”的版本的播放设备验证标题部分的脸部数据结构标志的位串，识别脸部数据部分的数据结构。由于各脸部数据在数据长度上固定，因此期望的元数据被快速访问。 

支持“1.10”的版本的存储设备可以在其可拆卸地装载的存储介质中存储脸部元数据，并且可以将该存储介质移动到仅支持“1.00”的版本的播放设备。这种情况下，播放设备可以识别标题部分的脸部数据结构标志的0位～6位。由于脸部数据大小的规格没有改变，因此，如果脸部数据不被“1.00”的版本拒绝，则播放设备可以识别由“1.00”的版本定义的脸部数据。在图22所示的例子中，例如播放设备可以识别“脸部检测时刻信息”、“基本脸部信息”、“脸部得分”、“脸部重要度”、“个人识别ID”、和“脸部特征量”。从而，播放设备可以访问这些信息。元数据条目具有可访问性优良的数据结构，即使在记录器或播放器的版本改变时，也可以支持结构上的变更。 

以下说明本发明的一个实施方式的成像装置100的功能结构。 

图23是示出本发明的一个实施方式的成像装置100的框图。成像装置100包括操作输入接收器140、成像单元211、脸部检测器212、脸部元数据生成器213、内容管理信息生成器214、代表性缩略图像提取器215和内容属性信息生成器216。另外，成像装置100还包括正规化单元220、特征量提取器221、脸部识别器222、记录控制器223、内容管理文件存储器250和内容存储器260。操作输入接收器140与图1所示的相同，省略对其的说明。 

内容管理文件存储器250存储内容管理文件340，该内容管理文件340存储由分级结构构成的分级条目。而且，内容管理文件340的细节如图3～图11所示。内容管理文件存储器250是本发明的实施方式的存储设备的例子。 

内容存储器260存储视频或静止图像等内容文件。这里，例如内容管理文件存储器250和内容存储器260可以对应于图1所示的存储介质160。 

成像单元211用于生成拍摄图像(帧)并将生成的图像发送给各部分。换言之，生成的图像被输出到脸部检测器212、脸部元数据生成器213、内容管理信息生成器214、代表性缩略图像提取器215、内容属性信息生成器216、正规化单元220和记录控制器223。成像单元211例如对应于图1所示的相机部分110和相机DSP 120。 

脸部检测器212检测由成像单元211输入的内容文件中包含的脸部。然后，脸部检测器212将所检测的脸部的出现时刻和位置输出到脸部元数据生成器213和正规化单元220。如果在相同时刻检测出多个脸部，则向脸部元数据生成器213输出所检测的每个脸部的出现时刻和位置。这里，用于检测脸部的处理可以包括记录了脸部的亮度分布的模板与脸部的实际图像的匹配(例如参照日本公开专利申请No.2004-133637)、以及基于拍摄图像中的皮肤的颜色或人物脸部的特征量等。 

脸部元数据生成器213根据经由成像单元211输入的内容文件生 成脸部元数据。脸部元数据生成器213将生成的脸部元数据输出到记录控制器223。脸部元数据生成器213包括脸部数据生成器218和标题信息生成器219。根据由脸部检测器212检测的脸部的出现时刻和位置，脸部数据生成器218生成脸部的脸部数据(图16的脸部数据部分640的各数据)。另外，标题信息生成器219生成管理由脸部数据生成器218生成的脸部数据的标题信息(图15的标题部分630的信息)。记录控制器223接收由脸部数据生成器218生成的脸部数据和由标题信息生成器219生成的标题信息。可选地，脸部数据生成器218可以具有对于以预定间隔检测出但不满足预定条件的任何一个脸部不生成脸部数据的选择。 

内容管理信息生成器214根据内容文件生成用于管理经由成像单元211输入的内容文件的内容管理信息401(图5)。内容管理信息生成器214将所生成的内容管理信息401输出到记录控制器223。 

代表性缩略图像提取器215从经由成像单元211输入的内容文件中提取内容文件的代表性缩略图像501～506(参照图5)。接着，代表性缩略图像提取器215将所提取的代表性缩略图像输出到内容属性信息生成器216和记录控制器223。 

内容属性信息生成器216根据内容文件生成与经由成像单元211输入的内容文件相关的内容属性信息402(图8)。然后，内容属性信息生成器216将所生成的内容属性信息402输出到记录控制器223。内容属性信息生成器216生成包括由代表性缩略图像提取器215提取的代表性缩略图像的存储位置的属性信息。换言之，内容属性信息生成器216通过在与对应于代表性缩略图像提取器215提取的代表性缩略图像的内容文件相关的内容属性信息中包括代表性缩略图像在缩略图文件500中的存储位置(缩略图地址)，来生成属性信息。 

正规化单元220参照由脸部检测器212检测的脸部中的双眼，对与所检测的脸部对应的脸部图像进行正规化，然后将正规化后的脸部图像(正规化脸部图像)输出到特征量提取器221和记录控制器223。这里，例如可以以类似于脸部检测处理的方式来检测眼睛，包括记录 了眼睛的亮度分布的模板与眼睛的实际图像之间的匹配。另外，正规化单元220保持用于正规化的正规化模板，然后基于该正规化模板对脸部图像进行正规化。例如，该正规化模板可以是图24C所示的基于脸部图像中的眼睛的位置的正规化模板280。换言之，正规化单元220通过对脸部图像除了进行缩放处理和旋转处理外还进行分辨率转换，来对脸部图像进行正规化，从而脸部图像中的眼睛的位置将对应于正规化模板280中的眼睛的位置。而且，脸部图像正规化和正规化模板将参照图24详细说明。特征量提取器221从正规化单元220输出的正规化脸部图像中提取特征量，然后将所提取的特征量输出到脸部识别器222和记录控制器223。该特征量用于脸部识别器222的脸部识别处理，并且向脸部数据部分640的脸部特征量647存储在提取特征量时使用的算法。 

脸部识别器222确定由脸部检测器212检测出的脸部是否是存储在内容管理文件存储器250中的登记脸部。脸部识别器222将识别结果输出到记录控制器223。换言之，脸部识别器222对从特征量提取器221输出的特征量与存储在链接到登记脸部条目的下层的元数据条目中的特征量进行比较。然后，脸部识别器222确定由脸部检测器212检测出的脸部是否是登记脸部。另外，识别结果例如包括向记录控制器223输出的、与所识别的登记脸部对应的个人识别ID和脸部检测时刻信息。当在内容管理文件存储器250中存储了两个或更多个登记脸部条目时，使用链接到各个登记脸部条目的下层的元数据条目中存储的特征量来进行识别处理。例如，该脸部识别处理可以从作为比较候选的登记脸部图像和正规化脸部图像提取特征量，然后根据所提取的特征量进行脸部识别。即，进行从登记脸部图像提取的特征量与从正规化脸部图像提取的特征量之间的比较，计算这些特征量之间的类似度。当所计算的类似度超过阈值时，确定正规化脸部图像中的脸部对应于登记脸部。可替代地，脸部识别处理可以利用弱识别器来进行识别处理，该弱识别器使用在作为比较候选的登记脸部图像和正规化脸部图像上的两个不同点处获得的特征量之差。可替代地，脸部识别 处理可以使用特征向量作为特征量来进行识别处理(例如参照日本公开专利申请No.2008-129830)。 

记录控制器223使内容管理文件存储器250存储包括由内容管理信息生成器214生成的内容管理信息401和由内容属性信息生成器216生成的内容属性信息402的视频文件条目。记录控制器223还使内容管理文件存储器250将包括由脸部元数据生成器213生成的脸部元数据的元数据条目存储到与这样的内容文件对应的视频文件条目的下层。而且，记录控制器223使内容管理文件存储器250存储由代表性缩略图像提取器215提取的代表性缩略图像作为缩略图文件500。另外，当从脸部识别单元得到登记脸部的识别结果时，记录控制器223使内容管理文件存储器250在所生成的元数据条目中存储识别结果。另外，对应于登记脸部的登记脸部条目的识别编号被存储在所生成的视频文件条目中。而且，所生成的视频文件条目的条目编号被存储在对应于登记脸部的登记脸部条目中。当进行脸部登记时，从正规化单元220输出的正规化脸部图像作为登记脸部图像存储在缩略图文件500中。并且，记录控制器223根据从特征量提取器221输出的特征量生成标题信息，该标题信息将存储在脸部元数据的标题部分630中。然后，生成元数据条目。元数据条目包括存储了所生成的标题信息的标题部分和存储了对应于特征量的脸部数据的脸部数据部分。记录控制器223生成管理对应于所生成的元数据条目的登记脸部的登记脸部条目。接着，所生成的元数据条目和所生成的登记脸部条目都被存储在内容管理文件存储器250中。这里，记录控制器223是本发明的实施方式的控制单元的例子。 

图24是示意性地示出本发明实施方式的在识别拍摄图像中的脸部的处理和将该拍摄图像中的脸部作为登记脸部图像登记的处理中的一系列步骤的图。图24A表示与成像单元211输出的帧相对应的图像270。图24B表示包括由脸部检测器212检测的脸部的脸部图像273。另外，图24C表示使用正规化模板280正规化后的正规化脸部图像276，图24D表示正规化脸部图像276中的脸部被识别的情况和正规 化脸部图像276被作为登记脸部图像登记的情况。在该例子中，图像270中包括的人物是ICHIRO KODA 521。 

如图24A所示，例如，当脸部检测器212接收到从成像单元211输出的图像270时，脸部检测器212检测图像270中的ICHIRO KODA521的脸部272。这里，在图24B中，脸部图像273中的ICHIRO KODA521的脸部272的各个眼睛的中心位置分别用位置274和275表示。 

正规化单元220进行缩放处理、旋转处理等，从而脸部图像273中的眼睛的位置274和275与图24C所示的正规化模板280中的参考位置281和282重叠。这里，正规化模板280保持在正规化单元220中，当正规化单元220进行正规化处理时使用。例如，可以对脸部图像273进行旋转处理，从而生成正规化脸部图像276。如图24C所示，正规化脸部图像276中的脸部272的眼睛的位置274和275与正规化模板280中的参考位置281和282重叠。 

如图24D所示，当特征量提取器221接收到由正规化单元220正规化后的正规化脸部图像276时，特征量提取器221从正规化脸部图像276中提取特征量。如果该提取的特征量被输出到脸部识别器222，则脸部识别器222使用当前存储在与登记脸部条目的下层链接的元数据条目中的特征量，进行脸部识别处理。该脸部识别处理的结果被输出到记录控制器223。例如，当作为脸部识别处理的结果识别为包含在正规化脸部图像中的脸部是登记脸部时，将对应于所识别的登记脸部的个人识别ID和脸部检测时刻信息输出到记录控制器223。 

另外，如图24D所示，当按下登记按钮时，从正规化单元220输出的正规化脸部图像被存储在缩略图文件500中，然后，由属性文件400生成对应于该正规化脸部图像的登记脸部条目。另外，生成链接到登记脸部条目的下层的元数据条目，然后将从特征量提取器221输出的特征量存储在该元数据条目中。 

例如，当如图24D所示登记ICHIRO KODA 521的脸部时，在缩略图文件500中存储登记脸部图像511。然后，生成存储了从登记脸部图像511提取的特征量的元数据条目(#10)462，然后将该元 数据条目(#10)462存储在属性文件400中。 

如上所述，当登记特定人物的脸部时，可以将正规化脸部图像作为登记脸部图像登记。可替代地，可以将由成像装置拍摄的原始脸部图像作为登记脸部图像登记。另外，例如当通过脸部识别处理，所检测的脸部不对应于任何现有的登记脸部时，可以在每次检测出来时，将所检测的脸部作为新的登记脸部登记。 

在存储介质160中存储视频内容文件的情况下，例如当针对由脸部检测器212检测的所有脸部中的每个脸部生成脸部数据时，所生成的数据量庞大。当用于脸部检测的时间间隔被设定得短时，可能发生脸部数据量的增加，存储在存储介质160中的数据量可能增加。这样，为了降低存储在存储介质160中的数据量，以下说明防止不希望的脸部数据被存储的例子。 

例如，在一帧中检测出的脸部当中，可以定义将存储在脸部数据部分640中的脸部数据的值。例如，可以根据在一帧中检测的脸部的大小和位置、以及脸部得分的高级别的脸部的预定条件等，定义和限制将存储在脸部数据部分640中的脸部数据的最大值。而且，例如，可以预先决定存储在脸部数据部分640中的脸部数量的上限，当所检测的脸部的数量超过该上限时，可以根据所检测的脸部的大小和位置限制脸部元数据。上述限制能够防止存储介质160由于在脸部数据部分640中存储不希望的脸部(条件差的脸部、难以识别的脸部等)而被填满。因此，不必生成在一帧中检测出的所有脸部的脸部数据。 

而且，例如可以仅当从作为脸部检测对象的连续帧检测的脸部数量改变时，才存储脸部数据。该例子将参照图25详细说明。 

图25示出从包括在视频内容文件中的帧823～828检测的脸部与存储在脸部数据部分640中的脸部数据811～822的关系。如图25所示，从帧823～828检测的各脸部被包围在矩形轮廓中。从帧823和帧824各检测出1个脸部。从帧825和帧827各检测出2个脸部。从帧826和帧828各检测出3个脸部。 

图25所示的例子示出将条件(1)和条件(2)设定为在内容管 理文件340中存储脸部数据的条件。在条件(1)下，如果从检测时刻的帧中检测出的脸部数量等于从下一检测时刻的下一帧检测的脸部数量，则不在脸部数据部分640中存储从下一检测时刻的帧检测的脸部的脸部数据。这是因为，由于在这些帧中检测的相同的脸部数量，存储相同脸部的元数据的可能性很高。在条件(2)下，从检测时刻的帧中检测出的脸部数量小于从下一检测时刻的下一帧检测的脸部数量，则不在脸部数据部分640中存储在下一检测时刻检测的脸部的脸部数据。这是因为，当从一帧中检测的脸部数量小于另一帧时，存储相同脸部的元数据的可能性很高。 

例如，从检测时刻t1的帧823中检测出的脸部数量等于从检测时刻t2的帧824检测的脸部数量。在这种情况下，在脸部数据部分640中存储从检测时刻t1的帧823检测的脸部的脸部数据。但是，不在脸部数据部分640中存储从检测时刻t2的帧824检测的脸部的脸部数据。另外，从检测时刻t5的帧827中检测出的脸部数量小于从检测时刻t4的帧826检测的脸部数量。这种情况下，同样，在脸部数据部分640中存储从检测时刻t4的帧826检测的脸部的脸部数据。但是，不在脸部数据部分640中存储从检测时刻t5的帧827检测的脸部的脸部数据。从而，仅当从作为脸部检测对象的连续帧检测的脸部数据增加地变化时，才存储脸部数据。因此，可以防止存储介质160存储基本重复的数据。 

图26是示出本发明的实施方式的成像装置100的与其重放功能有关的示例性结构的框图。成像装置100包括操作输入接收器140、选择器231、提取器232、描绘单元233、显示单元234、内容管理文件存储器250和内容存储器260。操作输入接收器140与图1所示的相同，省略对其的说明。 

内容管理文件存储器250存储由图23所示的记录控制器223存储的内容管理文件340。然后将存储在内容管理文件340中的各条目和各图像提供给选择器231和提取器232。 

内容存储器260存储由图23所示的记录控制器223记录的内容 文件。然后将当前存储的各内容文件提供给提取器232。 

选择器231响应于通过操作输入接收器140输入的操作输入而进行选择处理，然后将选择结果提供给提取器232。 

具体地说，当经由操作输入接收器140向选择器231输入了用于从当前显示在显示单元234上的登记脸部图像中选择一个登记脸部图像的选择操作时，选择器231选择存储在与所选择的登记脸部图像对应的登记脸部条目列表中的条目编号。然后，将所选择的登记脸部条目的条目编号输出到提取器232。另外，当经由操作输入接收器140向选择器231输入了用于从当前显示在显示单元234上的代表性缩略图像中选择一个代表性缩略图像的选择操作时，选择器231选择与所选择的代表性缩略图像对应的文件条目。然后，将所选择的文件条目的条目编号输出到提取器232。并且，当经由操作输入接收器140向选择器231输入了用于从当前显示在显示单元234上的脸部缩略图像中选择一个脸部缩略图像的选择操作时，选择器231选择与所选择的脸部缩略图像对应的脸部数据。然后，将所选择的脸部数据的脸部检测时刻信息641输出到提取器232。换言之，选择器231从当前存储在内容管理文件存储器250中的内容管理文件340中的各个条目中选择期望的条目。另外，选择器231从包含在元数据条目的脸部元数据的脸部数据中选择期望的脸部数据。 

提取器232根据从选择器231输出的条目编号选择存储在内容管理文件存储器250中的登记脸部图像或代表性缩略图像。另外，提取器232根据从选择器231输出的条目编号提取由内容存储器260存储的内容文件。而且，提取器232提取当前存储在与从选择器231输出的条目编号相对应的文件条目的下层的元数据条目中包含的脸部数据。然后，根据脸部数据中包含的脸部检测时刻信息、位置信息等，从内容文件中提取与该脸部数据对应的脸部缩略图像。这是基于当前存储在包含从选择器231输出的脸部数据的脸部检测时刻信息641的元数据条目的上层的文件条目。并且，提取器232提取内容文件。从存储在内容存储器260上的内容文件中，提取器232提取与脸部检测 时刻信息641对应的记录时刻及其以后时刻的内容文件。提取器232将这些提取结果输出到描绘单元233。选择和提取处理将在后面参照图27和图31详细说明。描绘单元233基于从提取器232输出的提取结果来描绘图像。换言之，响应于从提取器232输入的提取结果，描绘单元233描绘从存储在内容存储器260中的内容文件提取的脸部缩略图像和从存储在内容存储器260中的内容文件提取的视频。描绘单元233还描绘存储在内容管理文件存储器250的缩略图文件500中的代表性缩略图像。 

显示器234显示由描绘单元233描绘的图像。显示器234可以是图1所示的LCD 180。显示器234的显示例子将参照图27～图31详细说明。 

以下参照附图详细说明应用属性文件400和缩略图文件500来播放视频内容文件。 

图27是示意性地示出登记脸部条目(#7)461、视频文件条目(#44)423、元数据条目(#47)424、缩略图文件500和视频内容文件312之间的关系的图。 

例如，登记脸部条目(#7)461存储表示登记脸部图像511的缩略图地址的“#11”。另外，登记脸部条目(#7)461存储与出现登记脸部图像511中的登记脸部的视频内容文件312相对应的视频文件条目(#44)423的条目编号“#44”。 

例如，视频文件条目(#44)423存储表示视频内容文件312的内容地址的“A312”、以及表示视频内容文件312的代表性缩略图像502的缩略图地址的“#02”。视频文件条目(#44)423的子条目列表存储其中存储了视频内容文件312的元数据的元数据条目(#47)424的条目编号“#47”。元数据条目(#47)424的父条目列表存储视频文件条目(#44)423的条目编号“#44”。如图16所示，在元数据条目(#47)424的脸部元数据中存储了与所检测的脸部有关的各种脸部元数据。 

例如，根据元数据条目(#47)424的脸部元数据的脸部检测时 刻信息，可以确定视频内容文件312的各帧中的一帧(例如帧704)。另外，根据元数据条目(#47)424的脸部元数据的脸部基本信息，可以从所确定的帧中取出脸部图像。而且，根据元数据条目(#47)424的脸部元数据的个人识别ID，可以仅取出特定人物的脸部图像。在图27中，箭头表示这些对应关系。 

由于如上所述各条目的内容彼此相关联地管理，因此，可以快速地搜索内容文件和特定人物的脸部图像。 

以下参照附图详细说明使用内容管理文件340的应用。 

图28～图31示出本发明实施方式的使用内容管理文件340的应用的例子。该例子说明搜索出现ICHIRO KODA 521的视频内容文件的情况和从出现ICHIRO KODA 521的场景开始播放视频内容文件的情况。 

例如，为了搜索ICHIRO KODA 521的脸出现的视频内容文件，用户经由操作输入接收器140执行用于显示登记脸部图像列表的指示操作。如果接收到该指示操作，则打开属性文件400并在该属性文件400中搜索登记脸部条目。然后，提取存储在所有登记脸部条目中的缩略图文件500的缩略图地址。接着，打开缩略图文件500。如图28A所示，根据所提取的缩略图地址，从缩略图文件500中提取出登记脸部图像511～514。而且，如图28B所示，在LCD 800的用于显示登记脸部图像的区域700上显示登记脸部图像511～513。 

这里，在显示区域700上显示的登记脸部图像511～513的右侧显示各个登记脸部条目中存储的登记脸部的姓名。而且，通过按下向上移动按钮701和705以及向下移动按钮702和703，或者移动滚动条702，使显示区域700上显示的登记脸部图像向上或向下移动，从而可以在显示区域700上显示其它登记脸部图像。可以将登记脸部图像514等其它登记脸部图像显示在显示区域700上。而且，可以按下返回按钮704以将显示改变到紧接此前的画面。图28～图31将图像显示为，在显示在显示画面上的图像中，由用户选择的图像设置有选择标记707。例如，图28B示出向登记脸部图像511附加了选择标记 707的状态。可以通过按下LCD 180上的触摸面板来执行这样的登记脸部图像的选择。 

在图28B所示的显示画面上，例如，当选择了登记脸部图像511时，打开属性文件400。而且，如图29A所示，提取视频文件条目。即，所提取的视频文件条目与对应于所选择的登记脸部图像511的登记脸部条目(#7)461的出现登记脸部内容列表中存储的各条目编号相对应。例如，提取出与登记脸部条目(#7)461的出现登记脸部内容列表中存储的条目编号“#37”、“#44”和“#69”相对应的视频文件条目。然后，分别提取出在所提取的视频文件条目(#37)421、(#44)423和(#69)441中存储的缩略图地址“#01”、“#02”和“#05”。然后，打开缩略图文件500，根据所提取的缩略图地址，从缩略图文件500中提取代表性缩略图像501、502和505。如图29B所示，例如在LCD 180上的用于显示代表性缩略图像的显示区域710上显示代表性缩略图像501、502和505。 

这里，在LCD 180上的用于显示代表性缩略图像的显示区域710的左侧，显示在紧接此前的画面上操作的特定人物的脸部图像(例如登记脸部图像511)。而且，当所提取的代表性缩略图像的数量大于可以显示在区域710上的代表性缩略图像的数量时，可以通过操作向上移动按钮、向下移动按钮或者滚动条来显示任何其它代表性缩略图像。另外，可以通过按下返回按钮714将画面返回到图28B所示的登记脸部图像列表。 

在图29B所示的显示画面上，例如，当选择了代表性缩略图像502时，属性文件400被打开。而且，如图30A所示，根据对应于代表性缩略图像502的视频文件条目(#44)423中存储的内容地址“A312”，提取出视频内容文件312。根据视频文件条目(#44)423中存储的子条目列表“#47”，提取出元数据条目(#47)424。然后，根据当前存储在元数据条目(#47)424中的脸部元数据(脸部检测时刻信息641、脸部基本信息642和个人识别ID 646)，从视频内容文件312生成ICHIRO KODA的脸部缩略图像。而且，如图30B所 示，在LCD 180上的用于显示脸部缩略图像的显示区域720上显示脸部缩略图像721～724。这些脸部缩略图像例如如图30B所示是包含ICHIRO KODA的脸部的矩形图像。在该例子中，当生成脸部缩略图像时，使用个人识别ID 646来识别特定的脸部。但是，例如可以预先在脸部特征量647中依次存储所检测的脸部的特征量。当生成脸部缩略图像时，使用特征量来识别脸部以生成脸部缩略图像。 

这里，图30B使用箭头将显示在用于显示脸部缩略图像的显示区域720上的脸部缩略图像721～724与对应的视频内容文件上的存储位置彼此连接而示出它们之间的对应关系。而且，如果所提取的脸部缩略图像的数量大于可以显示在显示区域720上的脸部缩略图像的数量，则可以通过操作向左按钮、向右按钮或者滚动条来显示任何其它脸部缩略图像。另外，可以通过按下返回按钮730将显示画面返回到图29B所示的代表性缩略图像列表。 

在图30B所示的显示画面上，当选择了脸部缩略图像723时，属性文件400被打开。然后，如图31A所示，从存储在元数据条目(#47)424中的脸部元数据的脸部检测时刻信息中，提取出对应于脸部缩略图像723的脸部检测时刻信息。这种情况下，按照从所选择的脸部缩略图像723的开头开始的顺序，从存储在元数据条目(#47)424中的脸部元数据中确定对应于脸部缩略图像723的脸部数据。然后，提取出包含在该确定的脸部数据中的脸部检测时刻信息。然后，根据所提取的脸部检测时刻信息，在LCD 180上显示从对应于视频内容文件312的脸部检测时刻信息的时刻开始的视频。例如，从图30B所示的视频内容文件312的帧位置731开始播放视频。 

另外，例如如图31B所示，视频播放区域740显示从出现与脸部缩略图像723对应的脸部的场景开始的视频。另外，通过按下任意操作按钮741～744，可以使显示在视频播放区域740上的视频快进、停止等。另外，通过按下返回按钮745，可以将画面返回到图30B所示的脸部缩略图像列表。 

这样，当搜索出现特定人物(例如ICHIRO KODA)的视频时， 通过在LCD 180上选择该特定人物的登记脸部图像，可以容易地搜索出现该特定人物的视频。在出现特定人物的视频的情况下，当从该人物出现的场景开始播放时，在LCD 180上显示所搜索的视频内容中包含的特定人物的脸部缩略图像。然后，在LCD 180上选择所显示的脸部缩略图像。可以从出现包含在所选择的脸部缩略图像中的特定人物的场景开始播放视频。 

因此，在显示出现特定人物的内容文件的情况下，可以只打开属性文件和缩略图文件，而不打开所有其它内容文件。这样，可以执行快速处理。另外，通过利用槽进行固定长度管理(条目编号管理)，可以执行快速处理。 

以下参照附图说明本发明的一个实施方式的成像装置100的操作。图32是示出本发明实施方式的成像装置100对要登记的脸部进行登记的处理的流程图。在该例子中，说明登记脸部存储模式下的脸部登记处理。 

首先，确定是否设定了登记脸部存储模式(步骤S901)。如果没有设定登记脸部存储模式(步骤S901)，则结束登记处理。如果设定了登记脸部存储模式(步骤S901)，则由成像单元211生成拍摄图像(步骤S902)。在LCD 180上显示由所生成的拍摄图像和辅助图像(如图6所示)构成的合成图像(步骤S903)。然后，确定是否按下了登记按钮(步骤S904)。如果没有按下登记按钮(步骤S904)，则处理前进到步骤S919。 

如果按下了登记按钮(步骤S904)，则脸部检测器212检测包含在拍摄图像中的脸部(步骤S905)。然后，正规化单元220对包含所检测的脸部的脸部图像进行正规化，然后生成正规化脸部图像(步骤S906)。接着，特征量提取器221从所生成的正规化脸部图像中提取特征量(步骤S907)。然后，记录控制器223打开内容管理文件存储器250的缩略图文件500(步骤S908)，然后将所生成的正规化脸部图像作为登记脸部图像存储在缩略图文件500中(步骤S909)。这种情况下，在存储器中存储登记脸部图像的缩略图文件500的缩略图 地址。然后，记录控制器223关闭缩略图文件500(步骤S910)。 

然后，记录控制器223根据所提取的特征量，生成将存储在脸部元数据的标题部分630中的标题信息(步骤S911)。然后，记录控制器223生成包含其中脸部数据对应于所提取的特征量的脸部数据部分的元数据条目(步骤S912)。 

然后，记录控制器223生成管理对应于所生成的元数据条目的登记脸部的登记脸部条目(步骤S913)。将在步骤S909中存储在缩略图文件500中的登记脸部图像的缩略图地址存储在登记脸部条目的缩略图地址中。 

然后，记录控制器223打开内容管理文件存储器250的属性文件400(步骤S914)。然后，记录控制器223计算所生成的元数据条目和登记脸部条目的条目编号。根据该计算结果，将所生成的元数据条目和登记脸部条目存储在属性文件400中(步骤S915)。即，按照槽编号的顺序将元数据条目和登记脸部条目分配到属性文件400。 

然后，记录控制器223在属性文件400所存储的登记脸部条目的子条目列表中存储元数据条目的条目编号。另外，记录控制器223在元数据条目的父条目列表中存储登记脸部条目的条目编号(步骤S916)。 

然后，记录控制器223在登记脸部条目被存储在属性文件400中的登记脸部文件夹条目的子条目列表中存储该登记脸部条目的条目编号。另外，在该登记脸部条目的父条目列表中存储登记脸部文件夹条目的条目编号(步骤S917)。然后，记录控制器223关闭属性文件400(步骤S918)，然后确定是否解除了登记脸部存储模式(步骤S919)。如果解除了登记脸部存储模式(步骤S919)，则结束登记脸部处理。另一方面，如果没有解除登记脸部存储模式(步骤S919)，则处理返回到步骤S902。 

图33是示出本发明实施方式的成像装置100进行的内容管理文件340的记录处理的流程图。 

在该例子中，说明视频存储模式下的视频内容文件存储处理。 

首先，确定是否设定了视频存储模式(步骤S921)。如果没有设定视频存储模式(步骤S921)，则结束内容管理文件340的存储处理。如果设定了视频存储模式(步骤S921)，则确定是否按下了记录按钮(步骤S922)。如果没有按下记录按钮(步骤S922)，则处理返回到步骤S921。 

如果按下了记录按钮(步骤S922)，则成像单元211生成拍摄图像(步骤S923)，脸部检测器212执行检测包含在拍摄图像中的脸部的处理(步骤S924)。脸部检测处理可以针对每个所生成的图像来进行，或者可以定期地进行。这里，步骤S924是本发明实施方式的脸部检测过程的例子。然后，确定是否从拍摄图像检测到脸部(步骤S925)。如果没有从拍摄图像检测到脸部，则处理前进到步骤S933。而且，在步骤S925中，即使从拍摄图像检测到脸部，也确定该检测的脸部是否落入预定条件的预定范围内。如果所检测的脸部没有落入预定范围，则处理可以前进到步骤S933。 

另一方面，如果从拍摄图像检测到脸部(步骤S925)，则脸部数据生成器218根据所检测的脸部生成脸部数据(步骤S926)。将所生成的脸部数据存储在存储器中，直到按下了记录按钮。如果所生成的图像对应于开头帧，则代表性缩略图像提取器215提取所生成的图像(代表性缩略图像)。 

然后，正规化单元220对包含所检测的脸部的脸部图像进行正规化，生成正规化脸部图像(步骤S927)。接着，特征量提取器221从所生成的正规化脸部图像中提取特征量(步骤S928)。然后，脸部识别单元222通过对链接到内容管理文件存储器250的每个登记脸部条目的元数据条目中当前存储的特征量与所提取的特征量进行比较，来执行脸部识别处理(步骤S929)。这里，步骤S929是本发明实施方式的脸部识别过程的例子。判断该脸部识别处理是否识别出所检测的脸部是由登记脸部条目管理的登记脸部(步骤S930)。如果所检测的脸部没有被识别为登记脸部(步骤S930)，则处理前进到步骤S932。另一方面，如果所检测的脸部被识别为登记脸部(步骤S930)，则在 存储器中存储对应于该登记脸部的登记脸部条目的条目编号、对应于该登记脸部的个人识别ID和脸部检测时刻信息(步骤S931)。 

然后，确定是否针对从拍摄图像检测的所有脸部都完成了脸部识别处理(步骤S932)。如果没有针对从拍摄图像检测的所有脸部都完成脸部识别处理(步骤S932)，则处理返回到步骤S927。即，脸部识别处理针对一帧中的所有脸部重复进行。另一方面，如果针对从拍摄图像检测的所有脸部都完成了脸部识别处理(步骤S932)，则确定是否按下了记录按钮(步骤S933)。如果没有按下记录按钮(步骤S933)，则处理返回到步骤S923。 

如果按下了记录按钮(步骤S933)，则记录控制器223打开内容管理文件存储器250的缩略图文件500(步骤S934)。然后，将与在步骤S926中存储在存储器中的开头帧相对应的拍摄图像作为代表性缩略图像存储在缩略图文件500中(步骤S935)。这种情况下，在存储器中存储代表性缩略图像的缩略图文件500的缩略图地址。然后，记录控制器223关闭缩略图文件500(步骤S936)。 

然后，记录控制器223根据当前存储在存储器中的脸部数据，生成将存储在脸部元数据的标题部分630中的标题信息(步骤S937)。然后，记录控制器223生成存储所生成的标题信息的标题部分和包含其中脸部数据对应于所检测的脸部的脸部数据部分的元数据条目(步骤S938)。该元数据条目在与在步骤S931中存储在存储器中的脸部检测时刻信息相对应的脸部数据中存储在步骤S931中存储在存储器中的个人识别ID。 

然后，记录控制器223生成管理对应于由成像单元211生成的拍摄视频的视频内容文件的视频文件条目(步骤S939)。该视频文件条目的缩略图地址存储在步骤S935中存储在缩略图文件500中的代表性缩略图像的缩略图地址。视频文件条目的出现登记脸部列表存储在步骤S931中存储在存储器中的登记脸部条目的条目编号。 

然后，记录控制器223打开内容管理文件存储器250的属性文件400(步骤S940)。然后，记录控制器223计算所生成的元数据条目 和视频文件条目的条目编号。根据该计算结果，将所生成的元数据条目和视频文件条目存储在属性文件400中(步骤S941)。换言之，按照槽编号的顺序将元数据条目和视频文件条目分配到属性文件400。 

然后，记录控制器223在属性文件400所存储的视频文件条目的子条目列表中存储属于该视频文件条目的元数据条目的条目编号。另外，记录控制器223在元数据条目的父条目列表中存储该元数据条目所属的视频文件条目的条目编号(步骤S942)。 

然后，记录控制器223在视频文件条目被存储在属性文件400中的视频文件夹条目的子条目列表中存储该视频文件条目的条目编号。另外，在该视频文件条目的父条目列表中存储视频文件夹条目的条目编号(步骤S943)。 

然后，记录控制器223在与在步骤S931中存储在存储器中的条目编号相对应的登记脸部条目的出现登记脸部内容列表中记录该视频文件条目的条目编号(步骤S944)。这里，步骤S944是本发明的实施方式的控制过程的例子。接着，记录控制器223关闭属性文件400(步骤S945)，然后结束内容管理文件340的存储处理。 

以下参照附图说明在播放视频内容文件时从出现期望人物的场景开始播放视频内容文件的操作。 

图34～图36是本发明实施方式的成像装置100播放视频内容文件的过程的流程图。 

监视从操作单元140的操作输入，以确定是否进行了显示登记脸部图像列表的指示操作(步骤S951)。如果确定没有进行显示登记脸部图像列表的指示(步骤S951)，则继续监视操作输入。 

如果进行了显示登记脸部图像列表的指示操作(步骤S951)，则打开属性文件400(步骤S952)，从属性文件400中提取各登记脸部条目(步骤S953)。然后，在存储器中依次存储所提取的各个登记脸部条目中当前存储的缩略图地址(步骤S954)。 

然后，关闭属性文件400(步骤S955)，打开缩略图文件500(步骤S956)。然后，根据在步骤S954中存储在存储器中的缩略图地址， 从缩略图文件500中读出登记脸部图像，然后将所读出的登记脸部图像依次存储在存储器中(步骤S957)。接着，关闭缩略图文件500(步骤S958)。然后，在LCD 180上显示在步骤S957中存储在存储器中的登记脸部图像(步骤S959)。例如，可以如图28B所示显示这些图像。 

然后，确定是否进行了从LCD 180上显示的所有登记脸部图像中选择一个登记脸部图像的选择操作(步骤S960)。如果没有进行选择登记脸部图像的选择操作(步骤S960)，则继续监视操作输入。 

如果进行了选择登记脸部图像的选择操作(步骤S960)，则打开属性文件400(步骤S961)，提取对应于所选择的登记脸部图像的登记脸部条目(步骤S962)。提取存储在所提取的登记脸部条目的出现登记脸部内容列表中的视频文件条目的条目编号，然后根据所提取的条目编号来提取视频文件条目(步骤S963)。接着，在存储器中依次存储所提取的视频文件条目的条目编号(步骤S964)。 

在存储器中依次存储所提取的视频文件条目中当前存储的缩略图地址(步骤S965)。然后，关闭属性文件400(步骤S966)，打开缩略图文件500(步骤S967)。接着，根据在步骤S964中存储在存储器中的缩略图地址，从缩略图文件500中读出代表性缩略图像，然后将该代表性缩略图像依次存储在存储器中(步骤S968)。然后，关闭缩略图文件500(步骤S969)。在LCD 180上显示在步骤S968中存储在存储器中的代表性缩略图像(步骤S970)。例如，如图29B所示显示图像。 

确定是否进行了从LCD 180上显示的所有代表性缩略图像中选择一个代表性缩略图像的选择操作(步骤S971)。如果没有发生选择代表性缩略图像的选择操作(步骤S971)，则继续监视操作输入。 

如果进行了选择代表性缩略图像的选择操作(步骤S971)，则根据所选择的代表性缩略图像的顺序，提取在步骤S964中存储在存储器中的视频文件条目的条目编号(步骤S972)。然后，打开属性文件400(步骤S973)，从属性文件400中提取对应于所提取的条目编 号的视频文件条目(步骤S974)。 

然后，提取当前记录在所提取的视频文件条目的子条目列表上的元数据条目的条目编号，并在存储器上记录所提取的元数据条目的条目编号(步骤S975)。然后，从属性文件400提取与在步骤S975中存储的条目编号对应的元数据条目(步骤S976)。然后，从各个所提取的元数据条目提取脸部元数据(步骤S977)，确认所提取的脸部元数据的标题部分的信息(步骤S978)。 

根据标题部分的信息依次读出脸部数据(步骤S979)。然后在存储器中依次存储包括在所读出的脸部数据中的脸部基本信息(脸部检测时刻信息641、脸部基本信息642和个人识别ID 646)(步骤S980)。然后判断是否完成了所有脸部数据的读出(步骤S981)。如果没有完成所有脸部数据的读出(步骤S981)，则继续读出脸部数据并记录在存储器中(步骤S979和步骤S980)。如果完成了所有脸部数据的读出(步骤S981)，则关闭属性文件400(步骤S982)。而且，根据在步骤S980中存储在存储器中的脸部基本信息，从视频内容文件生成脸部缩略图像，并将所生成的脸部缩略图像依次存储在存储器中(步骤S983)。然后，在LCD 180上显示在步骤S983中存储在存储器中的脸部缩略图像(步骤S984)。例如，如图30B所示显示。 

然后，确定是否进行了从LCD 180上显示的脸部缩略图像中选择一个脸部缩略图像的选择操作(步骤S985)。如果没有进行选择脸部缩略图像的选择操作(步骤S985)，则继续监视操作输入。 

如果进行了选择脸部缩略图像的选择操作(步骤S985)，则在存储器中存储与显示所选择的脸部缩略图像的顺序对应的编号(步骤S986)。打开属性文件400(步骤S987)，根据在步骤S975中存储在存储器中的元数据条目的条目编号，从属性文件400中提取元数据条目(步骤S988)。 

从所提取的元数据条目中提取脸部元数据(步骤S989)，然后从所提取的脸部元数据提取与在步骤S986中存储在存储器中的编号对应的脸部数据(步骤S990)。从所提取的脸部数据中提取脸部检测 时刻信息，然后将所提取的脸部检测时刻信息存储在存储器中(步骤S991)。 

接着，提取与在步骤S975中存储在存储器中的元数据条目的父条目列表对应的视频文件条目的条目编号(步骤S992)。然后，从属性文件400中提取对应于所提取的条目编号的视频文件条目(步骤S993)。提取存储在所提取的视频文件条目中的内容地址，然后将所提取的内容地址存储在存储器中(步骤S994)。关闭属性文件400(步骤S995)。 

与在步骤S957中提取的内容地址对应的视频内容文件从在步骤S991中存储在存储器中的脸部检测时刻信息所指示的时刻开始播放(步骤S996)。例如，如图31B所示播放视频内容文件。 

以下说明具有本发明的一个实施方式的成像装置100的图像处理***。 

图37示出本实施方式的图像处理***850的***结构。图像处理***850包括成像装置100、网络服务器860、PC 870和图像处理设备880。网络服务器860可以经由网络851与成像装置100进行通信。网络服务器860包括存储内容文件和内容管理文件的存储部分861。 

PC 870能够经由通用串行总线(USB)等设备间接口与成像装置100通信。PC 870包括存储内容文件和内容管理文件的存储部分871。设备间接口除了是USB线缆等有线接口外，还可以是超宽带(UWB)类型之一等无线接口。 

图像处理设备880能够经由无线线路与成像装置100通信。图像处理设备880包括存储内容文件和内容管理文件的存储部分881。可替代地，这些连接可以经由使用有线线路或无线线路的网络进行。 

这里，存储在存储部分861、871和881中的内容管理文件可以与本发明的实施方式的内容管理文件340相同。 

在图像处理***850中，向相同人物给予相同的个人识别ID。换言之，例如存储部分861、871和881的内容管理文件中存储的个 人识别ID和成像装置100中存储的个人识别ID被用于从存储部分861、871和881中存储的所有内容文件中找到期望的内容文件。例如，成像装置100能够得到个人识别ID与成像装置100中存储的个人识别ID相同的内容文件。因此，成像装置100从外部设备容易地取得出现特定人物的内容文件。另外，可以使用个人识别ID显示与存储在外部设备中的内容文件有关的脸部缩略图像等。 

如上所述，根据本发明的实施方式，可以快速地搜索出现特定人物的任何内容文件。例如，可以快速地显示与出现特定人物的内容文件相对应的代表性缩略图像列表。因此，可以快速地执行期望的应用。另外，可以快速地使用内容文件的元数据。换言之，根据本发明的实施方式，可以快速地使用出现特定人物的内容文件。 

目前正在开发使用脸部元数据的大量应用程序，将来期望出现使用脸部元数据的各种应用程序。并且，将来期望脸部元数据的格式扩展。根据本发明的任意实施方式，即使脸部元数据的格式在将来被扩展，播放设备也确保与格式扩展的兼容性。可以快速使用内容文件的元数据。 

而且，使用拍摄视频作为内容说明了本实施方式。可替代地，本发明可以应用于静止图像等任何其它内容。另外，本实施方式可以应用于从外部输入的任何内容。作为元数据的例子说明了人的脸部的脸部元数据。可替代地，本发明可应用于任何其它元数据。例如，使用动物识别或宠物识别算法来检测图像中包含的动物的脸部，并且使用与所检测的动物脸部相关的元数据。本发明的实施方式还可应用于该用途。利用宠物检测引擎来代替脸部检测引擎。使用与由宠物检测引擎检测的宠物有关的元数据。本发明的实施方式还可以应用于该用途。识别人或动物的行为，使用以预定描述表达的、包含所识别的行为的记录的元数据。本发明的实施方式还可以应用于该用途。在上述说明中，内容存储设备是成像设备。本发明的实施方式还可以应用于记录内容文件的移动终端等内容存储设备。而且，在本发明的实施方式中，作为用于播放内容的设备例子说明了成像装置。本发明的实施 方式还可以应用于播放内容的数字通用盘(DVD)记录器等内容播放设备。 

仅为示例性目的说明了本发明的实施方式，以下说明权利要求的要素与本发明的实施方式的特征之间的对应关系。本发明不限于上述实施方式，在不脱离本发明的范围的情况下，可以对上述实施方式进行各种变更。 

上述的一系列步骤可以与包括该一系列步骤的方法、使计算机执行该一系列步骤的计算机程序、以及存储计算机程序的记录介质中的一个相同。记录介质可以是高密度盘(CD)、迷你盘(MD)、数字通用盘(DVD)、存储卡、蓝光盘(注册商标)等。 

本发明包含于2008年8月4日向日本专利局提交的日本优先专利申请JP 2008-201295中公开的主题相关的主题，该申请的全部内容通过引用结合在本申请中。 

本领域技术人员应当理解，只要不脱离所附的权利要求或其等同技术方案的范围，取决于设计要求和其它因素，可以进行各种改进、组合、子组合和改变。 

Claims (10)

1.一种图像处理设备，包括：

脸部检测单元，用于检测包含在内容中的脸部；

脸部识别单元，用于通过对作为特定人物的脸部的特定脸部与所检测的脸部进行比较，确定所检测的脸部是否是所述特定脸部；和

控制单元，用于当所检测的脸部被识别为所述特定脸部时，执行将用于管理所述特定脸部的特定脸部条目与用于管理所述内容的文件条目相关联的控制，

其中，使用内容管理文件来存储所述文件条目和所述特定脸部条目，所述文件条目和所述特定脸部条目是具有分级结构的分级条目。

2.如权利要求1所述的图像处理设备，还包括：

特征量提取器，用于提取所检测的脸部的特征量，其中，

特征量条目与所述特定脸部条目的下层链接并且存储在所述内容管理文件中，所述特征量条目是分级条目并且包含所述特定脸部的特征量；

所述脸部识别单元通过对包含在所述特征量条目中的所述特征量与所提取的特征量进行比较，确定所检测的脸部是否是所述特定脸部。

3.如权利要求2所述的图像处理设备，其中，

所述内容管理文件存储元数据条目，所述元数据条目是包含与所检测的脸部对应的脸部数据的分级条目，并且链接到所述文件条目的下层；

当所检测的脸部被识别为所述特定脸部时，所述控制单元在包含在所述元数据条目中的所述脸部数据中存储所提取的特征量。

4.如权利要求1所述的图像处理设备，其中，

所述内容是视频；

当从包含在所述内容中的连续帧检测的脸部的数量变化时，存储对应于所检测的脸部的脸部数据。

5.如权利要求1所述的图像处理设备，其中，

所述特定脸部条目存储用于识别所述特定人物的特定人物识别符；

所述内容管理文件存储元数据条目，所述元数据条目是包含与所检测的脸部对应的脸部数据的分级条目，并且链接到所述文件条目的下层；

当所检测的脸部被识别为所述特定脸部时，所述控制单元在包含在所述元数据条目中的所述脸部数据中存储所述特定人物识别符。

6.如权利要求1所述的图像处理设备，其中，

每个所述分级条目设置有用于识别所述分级条目的条目识别符；

当所检测的脸部被识别为所述特定脸部时，所述控制单元通过在所述特定脸部条目中存储所述文件条目的条目识别符，而将所述特定脸部条目与所述文件条目相关联。

7.如权利要求1所述的图像处理设备，其中，

所述内容管理文件存储包含所述特定脸部的至少一部分的特定脸部图像；

所述特定脸部条目存储所述特定脸部图像在所述内容管理文件上的存储位置。

8.一种图像处理设备，包括：

操作输入接收器，用于接收选择操作，该选择操作用于从当前存储在具有分级结构的内容管理文件中的特定脸部图像中选择期望的特定脸部图像，其中，所述内容管理文件存储各个分级条目，该各个分级条目设置有用于识别对应的分级条目的各个条目识别符，

所述内容管理文件包括：

文件条目，是用于管理内容的分级条目；

特定脸部条目，是用于管理作为特定人物的脸部的特定脸部的分级条目，并且用于存储与内容中的、包含所述特定脸部的内容相对应的文件条目的条目识别符；和

内容管理文件存储单元，存储所述内容管理文件，在该内容管理文件中，设置特定脸部图像作为包含所述特定脸部的至少一部分并且与所述特定脸部条目相关联的图像；

选择器，用于从当前存储在所述内容管理文件中的特定脸部条目中选择与所选择的特定脸部图像对应的特定脸部条目；

提取器，用于从内容中提取与当前存储在所选择的特定脸部条目中的条目识别符对应的内容；以及

显示器，用于显示所提取的内容。

9.一种成像装置，包括：

存储单元，用于存储内容管理文件，该内容管理文件存储用于管理拍摄视频的文件条目和用于管理作为特定人物的脸部的特定脸部的特定脸部条目，其中所述文件条目和所述特定脸部条目都是具有分级结构的分级条目；

成像单元，用于拍摄对象的图像以生成拍摄视频；

脸部检测单元，用于检测包含在所述拍摄视频中的脸部；

脸部识别单元，用于通过对所述特定脸部和所检测的脸部进行比较，确定所检测的脸部是否是所述特定脸部；和

控制单元，用于当所检测的脸部被识别为所述特定脸部时，执行将所述特定脸部条目与所述文件条目相关联的控制。

10.一种图像处理方法，包括以下步骤：

检测包含在内容中的脸部；

通过对作为特定人物的脸部的特定脸部与所检测的脸部进行比较，确定所检测的脸部是否是所述特定脸部；

当所检测的脸部被识别为所述特定脸部时，执行将文件条目与特定脸部条目相关联的控制，所述文件条目是用于管理所述内容的分级条目，所述特定脸部条目是用于管理所述特定脸部的分级条目。

Images