CN102103697B - 信息处理设备和方法 - Google Patents

Abstract

本发明公开了信息处理设备、方法和程序。该信息处理设备包括：被配置为从图像中提取面部的提取单元；被配置为将由提取单元提取出的面部分类成群组的分组单元；被配置为向由分组单元生成的群组添加指示群组内的多个人物之间的关系的标签的添加单元；被配置为根据由分组单元生成的群组间的距离来计算面部的人物的紧密度的紧密度计算单元；以及被配置为生成至少包括标签和紧密度的人物关联数据的人物关联数据生成单元。

Description

信息处理设备和方法

技术领域

本发明涉及信息处理设备、方法和程序，更具体而言涉及适用于组织并搜索图像数据的信息处理设备、方法和程序。 

背景技术

随着数字相机变得越来越普及并且用于数字相机的存储介质的容量增大且变得更加紧凑，用户利用数字相机摄取并保存的图像的数目也日益增大。保存的图像越多，用户管理图像所费的工作就越多。例如，如果用户想要搜索为预想的某个人摄取的图像，用户必须搜遍大量的图像。 

因此，已经提出了这样一种方案，其中利用图像分析技术（具体而言是用于从图像中检测人类面部的技术）方便了图像的整理和搜索。例如，在已经提出的方案中，根据图像中是否有人来对图像分类，或者根据图像中人物的数目来对图像分类，或者进一步根据从图像中鉴别的人物来对图像分类（例如，参见日本未实审专利申请公布No.2005-284487和No.2005-157679）。 

另外，已经提出了这样一种方案，其中检测出的面部的更详细的属性信息被测出，例如面部的朝向、人物的性别和年龄和微笑程度，并且基于这种属性信息对检测出的面部分类。 

然而，尽管简单地检测图像中的人物并添加属性信息能够实现通常的照片整理，但是这不能以更人性化的方式提供根据用户的环境或倾向的整理或搜索。因此，需要一种能够以更人性化的方式进行根据用户的环境或倾向的整理或搜索的技术。以与用户的环境或者用户自身的状况相匹配的方式提供信息向来是困难的。 

因此，希望能够以更人性化的方式进行根据用户的环境或倾向的 图像整理或搜索。 

发明内容

根据本发明一个实施例的信息处理设备包括：被配置为从图像中提取面部的提取单元；被配置为将由提取单元提取出的面部分类成群组的分组单元；被配置为向由分组单元生成的群组添加指示群组内的多个人物之间的关系的标签的添加单元；被配置为根据由分组单元生成的群组之间的距离来计算面部的人物的紧密度的紧密度计算单元；以及被配置为生成至少包括标签和紧密度的人物关联数据的人物关联数据生成单元。 

分组单元可包括：被配置为按照要提取并处理的每个面部距所有面部的位置的重心的位置来生成群组的第一生成单元；被配置为根据要处理的每个面部的位置生成近似线，以按照距该近似线的距离生成群组的第二生成单元；被配置为向由第二生成单元生成的群组添加不属于该群组的面部的添加单元；被配置为将不包含在群组中的面部作为要处理的面部，通过获得距要处理的面部的坐标平均值的距离来生成群组的第三生成单元；以及被配置为将不包含在群组中的面部作为要处理的面部，将剩下的面部单独取作群组的第四生成单元。 

分组单元还可包括：被配置为执行过滤以与所提取的面部的大小的平均值进行比较，并将大小等于或大于第一阈值的面部以及大小等于或小于第二阈值的面部都不设置为要处理的面部的滤波单元。 

第二生成单元可以从要处理的面部中选择第一面部用作基准，以根据第一面部和第二面部生成近似线，选择距近似线的距离以及相对要处理的面部的大小的平均值之比是特定值或更小的面部，从而生成群组。 

添加单元可以向群组添加一面部，该面部相对包含在由第二生成装置生成的群组中的面部的大小的平均值具有特定大小，且相对在第二生成装置生成群组时使用的近似线的距离在特定范围内。 

第三生成单元可以从不包含在群组中的面部中选择第一面部，以 提取距相对包括第一面部的其他面部的坐标平均值的距离等于或低于特定值的面部的组合，并且在所提取出的组合中，生成所述群组内的坐标平均值和该群组的每个面部之间的距离最小的组合作为群组。 

第四生成单元可以从未分组的面部中，取出大小相对于面部大小的平均值之比等于或大于特定值的面部作为一个群组。 

信息处理设备还可包括：被配置为提取当图像被成像时的日期和时间的日期和时间提取单元；以及被配置为利用与日期和时间提取单元提取出的日期和时间有关的信息来生成事件以针对每个事件将图像分类的事件群集单元；其中包括与事件有关的信息的关联数据是针对每个事件至少管理标签和紧密度的数据。 

基于人物关联数据的图像可以是至少包括标签的图像，该标签指示人物的面部图像和面部图像中的多个人物之间的关系。 

在标签被改变、删除或添加的情况下，与该标签相对应的关联数据可以被更新。 

基于人物关联数据的图像可以是针对每个事件生成的。 

根据本发明一个实施例的信息处理方法包括以下步骤：从图像中提取面部；将所提取出的面部分类为群组；添加指示群组内的多个人物之间的关系的标签；根据群组之间的距离来计算面部的人物的紧密度；以及生成至少包括标签和紧密度的人物关联数据。 

根据本发明一个实施例的程序使得计算机执行包括以下步骤的处理：从图像中提取面部；将所提取出的面部分类为群组；添加指示群组内的多个人物之间的关系的标签；根据群组之间的距离来计算面部的人物的紧密度；以及生成至少包括标签和紧密度的人物关联数据。 

利用根据本发明实施例的信息处理设备、方法和程序，从图像中提取面部，将所提取出的面部分类成群组，添加指示群组内的多个人物之间的关系的标签，根据群组之间的距离来计算面部的人物的紧密度，并且生成至少包括标签和紧密度的数据。 

根据上述配置，便利了根据用户自身的环境和偏好进行图像搜 索。 

附图说明

图1是图示应用了本发明的一个实施例的信息处理设备的配置的示意图； 

图2是用于描述数据库创建的流程图； 

图3是用于描述分组处理的流程图； 

图4是用于描述过滤处理的流程图； 

图5A和5B是用于描述过滤处理的示意图； 

图6是用于描述群组创建处理的流程图； 

图7是用于描述群组创建预处理的流程图； 

图8是用于描述假设近似线(approximation line)的示意图； 

图9是用于描述根据距重心的距离的分组处理的流程图； 

图10A和10B是用于描述根据距重心的距离的分组的示意图； 

图11是用于描述使用近似线的分组处理的流程图； 

图12是用于描述包括第一面部的群组面部提取处理的流程图； 

图13是用于描述其他面部搜索处理的流程图； 

图14是用于描述与面部j和近似线有关的判断处理的流程图； 

图15是用于描述群组内的面部评价处理的流程图； 

图16是用于描述向近似线群组添加隔离面部的处理的流程图； 

图17是用于描述使用距坐标平均值的距离的分组处理的流程图； 

图18是用于描述关于第一面部的群组候选确定处理的流程图； 

图19是用于描述关于剩下的面部的分组处理的流程图； 

图20是用于描述分组的示意图； 

图21A至21E是用于描述多分层的示意图； 

图22是用于描述关于添加构成标签的处理的流程图； 

图23是在添加标签时参考的表格的例子； 

图24是在添加标签时参考的表格的例子； 

图25是用于描述计算人物之间的紧密度的处理的流程图； 

图26A至26C是用于描述距离得分的计算的示意图； 

图27A至27C是用于描述紧密度得分的计算的示意图； 

图28是图示当施加了多个标签时相乘的系数的表格示例的示意图； 

图29是图示人物关联数据的例子的示意图； 

图30是图示人物关联数据的画面示例的示意图； 

图31A至31C是用于描述标签编辑的示意图； 

图32A至32C是用于描述标签编辑的示意图； 

图33A至33C是用于描述标签编辑的示意图； 

图34是用于描述标签编辑的流程图； 

图35是用于描述标签编辑的流程图； 

图36是用于描述标签编辑的流程图； 

图37是用于描述数据编辑的流程图； 

图38是用于描述数据编辑的流程图； 

图39是用于描述数据编辑的流程图； 

图40是图示应用了本发明的一个实施例的另一信息处理设备的配置的示意图； 

图41是用于描述数据库创建的另一流程图； 

图42是图示人物关联数据的例子的示意图； 

图43是图示人物关联数据的画面示例的示意图；以及 

图44是用于描述记录介质的示意图。 

具体实施方式

下面将参考附图描述本发明的实施例。 

关于信息处理设备的配置 

图1是图示已应用了本发明一个实施例的信息处理设备的配置的示意图。图1中所示的包括信息处理设备13的***由显示单元11、 操作单元12、信息处理设备13和存储单元14构成。信息处理设备13由以下单元构成：显示控制单元21、操作判断单元22、人物关联数据生成单元23、人物关联数据更新单元24、分组单元25、面部群集单元26和图像分析单元27。图像分析单元27包括面部识别单元31。存储单元14包括两个数据库：人物关联数据库41和图像数据库42。 

显示单元11显示后面描述的画面。该画面是基于图示存储在存储单元14的人物关联数据库41中的人物之间的关联的数据的画面。操作单元12由用户所操作的部件构成。 

显示控制单元21基于存储在存储单元14的人物关联数据库41中的数据来控制显示单元11的显示。存储在人物关联数据库41中的数据由人物关联数据生成单元23生成。人物关联数据生成单元23基于分组单元25的分组结果和面部群集单元26的群集结果来生成与人物的关联有关的数据。分组单元25基于由图像分析单元27的面部识别单元31获得的图像中人物(面部)的识别结果来创建人物的群组。 

面部识别单元31具有基于存储在存储单元14的图像数据库42中的图像数据从图像中提取(识别)人物(面部)的功能。面部群集单元26根据来自分组单元25的结果执行群集处理。 

在操作单元12***作后，操作判断单元22判断该操作是哪一种类的操作。基于操作判断单元22的判定结果，人物关联数据更新单元24更新存储在人物关联数据库41中的数据。 

具有这种配置的信息处理设备13例如内置在数字相机、摄像机、蜂窝电话、智能电话、PDA(个人数字助理)、家用服务器、电视接收机等中。或者，信息处理设备13被提供作为实现信息处理设备13的功能的个人计算机等的应用。 

已应用了本发明一个实施例的信息处理设备13可以基于图像中人物之间的关联对多个图像分类，这将在下面详细描述。因此，信息处理设备13可被实现为具有记录图像并处理图像的功能的上述设备或应用。 

关于分组 

接下来，将描述信息处理设备13执行的处理。将参考图2中所示的流程图描述与人物关联数据库41的创建有关的处理。注意，图2中的流程图是整体流程的简化描述，后面将会适当地给出详细描述。 

在步骤S11中，获得要处理的图像数据。步骤S11中的处理由面部识别单元31执行，它从图像数据库42获得图像数据。因此，这种处理假定了与多个图像有关的图像数据被存储在图像数据库42中。 

在步骤S12中，执行面部识别处理。面部识别单元31基于所获得的图像数据从图像中提取与图像中的人物有关的面部来执行识别。当从图像数据库42获得了图像数据时，面部识别单元31还获得能够唯一地辨认图像数据的图像ID。作为面部识别单元31执行面部识别处理的结果，提取出了图像中面部的位置、面部的大小、面部的取向、面部的属性(例如，性别、年龄等)、面部的特征量，等等。另外，每个面部都被分配唯一的ID(下文中称为“面部ID”)以唯一地标识该面部。 

注意，本受让人早先已提出的面部识别技术可以应用于与面部识别单元31所执行的面部识别有关的算法。该面部识别技术在日本未实审专利申请公布No.2005-284487和No.2005-157679中有所描述，因此在这里将省略其描述。 

在步骤S13中，执行分组处理。分组单元25利用来自面部识别单元31的识别结果来执行分组处理。群组是一个或多个识别出的面部的集合。该分组处理将在后面参考图3和后续图进行描述。 

在步骤S13中执行了分组处理并且创建了群组后，在步骤S14中判断是否要处理的所有图像数据都已被处理。在面部识别单元31判断出在图像数据库42中仍然有未经面部识别的图像数据的情况下，流程返回到步骤S11，并且获得要新处理的图像数据。随后对新的图像数据重复步骤S11之后的处理。 

另一方面，在步骤S14中判断出要处理的所有图像数据都已被处 理的情况下，流程前进到步骤S15。每次对存储在图像数据库42中的一组图像数据(或者对一幅图像)执行步骤S11至S14的处理，并且对多组图像数据(多幅图像)执行步骤S15和后续步骤的处理。 

执行步骤S11至S14的处理导致以下状态：其中从一幅图像，存在多个检测出了一个或多个群组的图像。没有检测出群组的图像不经历步骤S15和后续步骤的处理。从多个图像中检测出的多个群组经历步骤S15和后续步骤的处理。一个群组包括至少一个人(面部)。换句话说，这里所用的“群组”包括一个或多个识别出的面部。 

在步骤S15中，执行面部群集处理。面部群集单元26对多个群组执行面部群集，该处理是将相同面部当作同一个人的处理。结果，检测出一个或多个人(在大多数情况下是多个人)。面部群集单元26使用从面部识别单元31提供来的面部识别特征量和面部ID以及图像ID来利用面部识别特征量中的相似度对被判断为是同一个人的每个个体执行分组。 

在步骤S16中，被判断为是同一个人的面部经历处理，其中面部ID被关联起来，例如以被当作同一个人加以处理。因而，生成了多个人。在步骤S17中，计算已生成的多个人的紧密度。紧密度的计算将在描述分组处理等之后描述。 

在步骤S17中计算了紧密度后，其结果被用于进一步决定人物之间的标签。人物之间的标签是指示人物之间的关系的标签，例如人物A和人物B是“夫妻”、“父子”、“朋友”等等。与决定标签有关的详细说明将在后面描述。 

在步骤S17中决定了标签后，根据其信息生成人物关联数据，并将其存储在人物关联数据库41中(步骤S18)，它是在人物关联数据库41中如何生成数据记录的数据。人物关联数据库41保存与从图像中提取出的人物处于哪一种类的关系有关的数据。 

关于分组处理 

接下来，将参考图3中所示的流程图描述在步骤S13中执行的分 组处理。该分组处理是在分组单元25处执行的。 

在步骤S31中，获得面部信息。如上所述，从面部识别单元31向分组单元25提供图像中面部的位置、面部的大小、面部的取向、面部的属性(例如，性别、年龄等)、面部的特征量等等作为图像中的面部识别结果，并且步骤S31是用于获得该信息的处理。 

在步骤S32中，执行过滤处理。执行过滤处理是为了减少要处理的面部的数目，因为尝试处理在面部识别处理中识别出的所有面部将会导致处理量增大和时间更长的问题。不过，在执行该处理时要保证应处理的面部不被排除在外，并且基于图4所示的流程图中的处理来执行该处理。 

图4是用于描述在步骤S32中执行的过滤处理的流程图。在步骤S51中，计算面部大小的平均值。图5A图示了以下情况：在图像50中已检测出面部51至面部55的五个面部，这是作为例子描述的。在步骤S51中，计算面部51至55的五个面部的面部大小的平均值。 

面部大小的平均值是基于下式(1)计算的： 

$\mathrm{faceSiz}{e}_{\mathrm{ave}}=\frac{1}{N}{\mathrm{\Σ}}_N\max (\mathrm{widt}{h}_i,\mathrm{heigh}{t}_i)...\left(1\right)$

其中faceSize_ave表示平均面部大小(以像素为单位)，N表示加标签的面部的数目，width_i表示面部i的宽度(以像素为单位)，height_i表示面部i的高度(以像素为单位)。 

在步骤S52中，执行计算出的面部大小平均值和各个面部的大小之间的比较。例如，比较面部大小平均值和面部51的大小。该比较是针对每个面部执行的。 

在步骤S53中，判断是否有要排除的面部。该判断使用来自步骤S52的比较结果，其中大小大于或小于平均值的预定范围的面部被排除。大于平均值的预定范围的大小例如是大于通过将平均值加上平均值的某一百分比而获得的值的一个大小(例如，大于平均值的1.5倍)。同样，小于平均值的预定范围的大小例如是小于通过从平均值减去平均值的某一百分比而获得的值的一个大小(例如，小于平均值的0.5倍)。 

将大小大于平均值的预定范围的面部排除在外的原因如下所述。包括具有大于平均值的预定范围的大小的面部的图像很可能是例如由于以下原因而获得的图像：用户尝试摄取人物A的图片而用户并不希望摄取在图片中的人物B恰好***在相机的前方，从而导致人物B的大小在图像中大得多。因此，用户并不希望拍摄的人物B被从后续处理中排除。例如，在图5A中所示的图像50被加以处理的情况下，面部51被判断为是大于平均值的预定范围的面部，并且被排除在外。 

另外，将大小小于平均值的预定范围的面部排除在外的原因如下所述。包括具有小于平均值的预定范围的大小的面部的图像很可能是例如由于以下原因而获得的图像：用户尝试摄取人物A的图片，但是用户并不希望摄取在图片中的人物B恰好处于背景中，从而导致人物B的大小在图像中小得多。因此，用户并不希望拍摄的人物B被从后续处理中排除。例如，在图5A中所示的图像50被加以处理的情况下，面部52被判断是小于平均值的预定范围的面部，并且被排除在外。 

已被排除的面部被加上标签“不可接受的”。对面部加上标签“不可接受的”意味着该面部将不被处理。其他标签是“OK”和“不确定的”。对面部加上标签“OK”意味着该面部要被处理。加上标签“不确定的”的面部在后面描述的某些处理中被处理，而在其他处理中不被处理。 

返回图4中流程图的描述，在执行了这里的过滤处理后，所有识别出的面部都设有“OK”标签。如上所述执行步骤S51和S52，并且在步骤S53中判断出存在要排除的面部的情况下，处理返回到步骤S51，并且重复后续处理。在流程从步骤S53返回到步骤S51的情况下，要处理的图像是已从中排除了要排除的面部的图像。 

也就是说，如果假定图5A中所示的图像50要被处理，则面部51和52被排除，因此例如图5B中所示的图像50’(其中存在面部53至55的三个面部)要被处理。换句话说，面部51和52已被加上标签“不可接受的”，因此再次对面部53、54和55执行处理步骤S51，这三个面部被加上标签“OK”因此是要处理的面部。 

此时，在步骤S51中，图5B中所示的图像50’要被处理，因此新计算三个面部53至55的面部大小的平均值。在步骤S52中，将新计算的平均值与各个面部53、54和55的面部大小相比较。关于是否有要排除的面部的判断在步骤S53中按与上述相同的方式执行。 

通过重复这种处理，在预定图像内的面部中，大约相同大小的面部(或者换句话说，拍摄者可能希望拍摄的面部)将保留下来等待处理。即，与其他面部相比过大或过小的面部被从图像中要处理的面部中检测出来，并且被设置为在后续处理中不进行处理的面部。 

在步骤S53中判断出没有要排除的面部的情况下，流程前进到步骤S54，其中判断是否有面部大小等于或低于阈值的面部。例如，在图5B中所示的图像50’要被处理的情况下，判断面部53、54和55的面部大小与面部大小的平均值之比是否等于或低于阈值。如果假定阈值例如是0.7，并且面部53的大小与平均值之比等于或低于0.7，则在步骤S54中判断出面部的大小等于或低于阈值。 

在步骤S54中判断是否有面部大小等于或低于阈值的面部的原因如下所述。即，存在具有“OK”标签且小于其他面部的面部是拍摄者想要拍摄的面部、但是该面部小于其他面部(父母的面部)的情况，例如由于该面部是孩子的面部，或者该面部位于其他面部后面因此在图像中小于其他面部，等等(下文中称为“第一情况”)。还存在不希望这个人处于图片中因此面部的大小小于其他面部的情况(下文中称为“第二情况”)。在步骤S54中判断面部的面部大小是否等于或低于阈值，以判断第一情况还是第二情况为真。 

在步骤S54中判断出存在面部大小等于或低于阈值的面部的情况下，流程前进到步骤S55。在步骤S55中，关于已判断出面部大小等于或低于阈值的面部的标签被从“OK”标签变为“不确定的”标签。此时，已加上“不确定的”标签的面***一个面部：关于该面部，还不容易判断拍摄者是否想要拍摄该面部。因此，在排除了一部分的后续处理中是否应当处理该面部还是不确定的，因此加上了“不确定的”标签。 

例如，图5B所示的图像50’中的面部54小于面部53和55，因此其大小与面部大小平均值之比可能小于阈值。在这种情况下，面部54的标签变为“不确定的”标签。这里的描述假定面部54已被变为“不确定的”标签。 

在步骤S56中，判断具有“OK”标签的面部的数目(下文中简称“OK”面部)是否为1。在诸如图5B所示的图像50’的情况下，面部53和55是“OK”面部，因此在步骤S56中判断结果是“否”，并且流程前进到步骤S58。如果仅仅面部53是“OK”面部，则在步骤S56中将判断“是”，并且处理将会进行到步骤S57。 

在步骤S57或S58中，判断是否将“不确定的”标签变回为“OK”标签。如上所述，加上了“不确定的”标签的“不确定的”面部是不容易判断拍摄者对其的意图的面部，并且步骤S57或步骤S58的处理是用于判断拍摄者是否想要拍摄该面部的处理。 

在步骤S57中，在条件1下对图像内仅具有一个“OK”面部的图像执行判断。对于条件1，判断是否满足下式(2)的条件，并且基于表达式(3)计算出的值被用于执行表达式(2)中的判断： 

$\mathrm{fla}{g}_i=\mathrm{true}:\mathrm{if}\&Exists;(\mathrm{faceDis}{t}_{i,j}<\mathrm{faceSiz}{e}_{\mathrm{ave}}\&times;\mathrm{threshol}{d}_{\mathrm{facedist}})...\left(2\right)$

$\mathrm{faceDis}{t}_{i,j}=\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2}...\left(3\right)$

其中，flag_i表示“不确定的”面部i是否满足这些条件，并且faceDist_i，j表示“不确定的”面部i和“OK”面部j之间的距离。 

表达式(3)是用于计算要处理的“OK”面部和“不确定的”面部之间的距离的表达式。在表达式(3)中，(x_i，y_i)是“不确定的”面部的坐标，(x_j，y_j)是“OK”面部的坐标。在两个面部的距离faceDist_i，j小于通过将面部大小平均值faceSize_ave乘以预定阈值threshold_facedist而获得的值的情况下，判断结果为“真”(设置“真”标志)。“真”的判断结果意味着“不确定的”标签要变为“OK”标签。 

由此可见，条件1是用于判断“OK”面部和“不确定的”面部之间 的距离是否在预定范围内的条件，并且如果在预定范围内，则判断结果使标签变为“OK”。在“OK”面部和“不确定的”面部在预定距离范围内的情况下，这可被判断为是例如是父母和孩子在图像中在一起的图像，因此其间的距离紧密但是孩子在图像中较小。这种图像中的人被判断为是拍摄者想要拍摄的人物，因此在后续中要加以处理并且被提供以“OK”标签。 

另一方面，在步骤S58中，基于条件2执行判断。在条件2中，首先，获得以表达式(4)表示的近似线1。由表达式(4)表示的近似线l的系数a和系数b各自是基于表达式(5)和表达式(6)计算的。近似线l和要处理的“不确定的”面部之间的距离lineDist_i，l是基于表达式(7)计算的。在通过将计算出的距离lineDist_i，l乘以预定阈值threshold_facedist而获得的值满足作为判断表达式的表达式(8)的情况下，得出“真”的判断结果。 

近似线(approxLine)l：y＝ax+b    ...(4) 

$a=\frac{n{\mathrm{\&Sigma;}}_{k=1}^n{x}_k{y}_k-{\mathrm{\&Sigma;}}_{k=1}^n{x}_k{\mathrm{\&Sigma;}}_{k=1}^n{y}_k}{n{\mathrm{\&Sigma;}}_{k=1}^n{x^2}_k-{\left({\mathrm{\&Sigma;}}_{k=1}^n{x}_k\right)}^2}...\left(5\right)$

$b=\frac{{\mathrm{\&Sigma;}}_{k=1}^n{x^2}_k-{\mathrm{\&Sigma;}}_{k=1}^n{y}_k-{\mathrm{\&Sigma;}}_{k=1}^n{x}_k{y}_k{\mathrm{\&Sigma;}}_{k=1}^n{x}_k}{n{\mathrm{\&Sigma;}}_{k=1}^n{x^2}_k-{\left({\mathrm{\&Sigma;}}_{k=1}^n{x}_k\right)}^2}...\left(6\right)$

$\mathrm{lineDis}{t}_{i,j}=\frac{|y_i-a{x}_i-b|}{\sqrt{1+a^2}}...\left(7\right)$

$\mathrm{fla}{g}_i=\mathrm{true}:\mathrm{if}\&Exists;(\mathrm{lineDis}{t}_{i,1}<\mathrm{faceSiz}{e}_{\mathrm{ave}}\&times;\mathrm{threshol}{d}_{\mathrm{linedist}})...\left(8\right)$

利用条件2，对于其中存在两个或更多个“OK”面部的图像判断穿过这两个或更多个“OK”面部的近似线l和“不确定的”面部是否在预定范围内，从而判断拍摄者是否想要拍摄这个人。 

在步骤S59中，判断是否已将要处理的面部(被提供以“不确定的”标签)的标签变为“OK”标签。该判断是根据在步骤S57或S58中对于该面部是否获得“真”的判断结果来进行的。 

在步骤S59中判断出面部的标签要改变的情况下，流程前进到步骤S60，其中已判断要改变的面部的标签被从“不确定的”变为“OK”。 

在步骤S59中判断出面部的标签不要改变的情况下或者在步骤S60中改变了标签之后，流程前进到步骤S61，其中判断是否具有“不确定的”标签的所有面部都已经过了处理。 

在步骤S61中判断出不是具有“不确定的”标签的所有面部都已经过了处理的情况下，流程返回到步骤S56，并且对还未处理的具有“不确定的”标签的面部重复步骤S56和后续步骤的处理。当步骤S56和后续步骤的处理被重复时，在步骤S60中变为“OK”标签的面部被当作“OK”面部加以处理。 

在步骤S54中判断出没有等于或小于面部大小平均值的面部的情况下，或者在步骤S61中判断出具有“不确定的”标签的所有面部都已被处理的情况下，图4中所示的过滤处理结束，并且流程前进到步骤S33(图3)。在过滤处理结束后，就已决定了从步骤S33起要处理的面部(即，“OK”面部)。 

关于群组创建处理 

在步骤S33(图3)中，执行群组创建处理。该处理是用于将图像内的多个人分类为一个或多个群组的处理。将参考图6中所示的流程图描述在步骤S33中执行的分组处理。 

在步骤S81中，执行群组创建预处理。该处理并不是一定要执行的处理(即，是可忽略的)，但是执行该预处理可以减轻后面的处理负担。在步骤S81中执行的群组创建预处理将参考图7中的流程图进行描述。 

关于群组创建处理中的群组创建预处理 

在步骤S101中，判断图像中“OK”面部的数目是否为3或更大。在“OK”面部的数目为1或2并且因此在步骤S101中判断出图像中“OK”面部的数目不为3或更大的情况下，群组创建预处理结束。也 就是说，在要处理的图像中“OK”面部的数目为1或2的情况下，不执行群组创建预处理。 

另一方面，在步骤S101中图像中“OK”面部的数目被判断为3或更大的情况下，流程前进到步骤S102。在步骤S102中，针对图像中的所有“OK”面部创建近似线。该近似线将被称为“假设近似线”。 

假设近似线是基于下式(9)计算的： 

假设近似线(tentative-approxLine) 

l_tentative：y＝ax+b  (9) 

其中系数a和系数b是基于表达式(5)和表达式(6)计算的。 

注意，在参考图4中的流程图(关于该流程图处理已结束)所述的过滤处理中生成的近似线可被用于在步骤S102中生成的假设近似线。在步骤S58中，在过滤处理中，当执行条件2下的判断时利用“OK”面部生成了近似线。在步骤S58中生成的近似线可以用作要在步骤S102中生成的假设近似线。 

注意，在“OK”面部的分布偏移较小的情况下在步骤S58中生成的近似线可以用作要在步骤S102中生成的假设近似线，但是在“OK”面部的分布相对于在步骤S58中生成的近似线发生偏移的情况下，在步骤S103中再次生成假设近似线。 

在步骤S103中，获得图像中每个“OK”面部和假设近似线之间的距离。该距离是基于表达式(7)计算的。在步骤S104中，检查假设近似线的哪一侧上分布的“OK”面部更多。图像可以被假设近似线划分为两个区域。判断这两个区域中的哪一个包括更多的“OK”面部。在步骤S105中，确定分布状态是否偏移。判断发生偏移的情况的一个例子是“OK”面部分布在近似线的上方和下方的情况。 

在步骤S105中，在判断出分布偏移的情况下，流程前进到步骤S106。在步骤S106中，提取存在较多分布的一侧上的“OK”面部。也就是说，提取存在较多“OK”面部的区域中的“OK”面部。将参考图8描述图像101要被处理的示例性情况，以描述上述步骤S102至S106中的处理和步骤S106之后的处理。 

在图像101中已检测出五个面部111至115作为“OK”面部。在步骤S102中，利用五个面部111至115创建近似线。所生成的假设近似线在图8的图像101中被示为假设近似线110。面部111和112在假设近似线上方，而面部113至115在假设近似线110下方。因此，在图中更多的面部分布在假设近似线110的下方(与上方相比)。 

在图像101的情况下，在步骤S106中提取出的“OK”面部是面部113、114和115。这三个面部113、114和115在步骤S107中被取为“近似线候选”面部。在面部111和112位于假设近似线110上方的情况下，这两个面部111和112将被取为“近似线候选”面部，即使它们并不位于相对于假设近似线110存在较多面部的区域中。 

在步骤S108中，基于下式10利用被取为“近似线候选”面部的“OK”面部来创建近似线： 

近似线(approxLine)l：y＝ax+b    (10) 

其中系数a和系数b是基于表达式(5)和表达式(6)计算的。 

在步骤S108中创建了近似线的情况下，或者在步骤S105中判断出分布不偏移的情况下，流程前进到步骤S109。在步骤S109中，“OK”面部按与所生成的近似线间的靠近程度的顺序被排序。注意，在图像内检测出的所有“OK”面部都是此时要排序的“OK”面部，而不仅仅是“近似线候选”面部。例如，在图8中所示的图像101的情况下，面部111至115要被排序。 

另外，在流程已从步骤S108前进到步骤S109的情况下，在步骤S108中创建的近似线被用作近似线，而在流程已从步骤S105前进到步骤S109的情况下，在步骤S102中计算出的假设近似线被用作近似线。 

在生成了近似线并且按照与近似线的靠近程度对“OK”面部进行了排序后，与群组创建预处理有关的处理结束。执行了该预处理使得能够在后面描述的后续处理中利用近似线来执行分组，从而可以在早期阶段以相对高的精度水平来形成群组候选。这使得在用于创建其它候选等的后续处理中能够基于早期阶段的精度比较实现处理(诸如退 出处理)，从而使处理速度全面提高。 

关于群组创建处理中按照距重心的距离进行分组 

在步骤S81(图6)中的群组创建预处理(图7)结束后，流程前进到步骤S82。在步骤S82中，执行按照距重心的距离的分组处理。该“按照距重心的距离的分组处理”是这样的处理，其中针对要处理的所有面部(即，“OK”面部)计算重心，并且基于面部距重心的距离来生成群组。将参考图9中的流程图来描述在步骤S82中执行的按照距重心的距离的分组处理。 

在步骤S131中，针对图像中的“OK”面部(它们是要处理的图像中具有“OK”标签的面部)计算“OK”面部的平均大小。平均面部大小是基于下式(11)计算的： 

$\mathrm{faceSiz}{e}_{\mathrm{ave}}=\frac{1}{N}{\mathrm{\&Sigma;}}_N\max (\mathrm{widt}{h}_i,\mathrm{heigh}{t}_i)...\left(11\right)$

其中faceSize_ave表示平均面部大小(以像素为单位)，N表示具有“OK”标签的面部的数目，width_i表示面部i的宽度(以像素为单位)，height_i表示面部i的高度(以像素为单位)。 

在步骤S132中，基于下式(12)计算图像内所有“OK”面部的重心坐标： 

$x_g=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{x}_k$

$y_g=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{y}_k...\left(12\right)$

其中x_g表示重心的x坐标，y_g表示重心的y坐标，n表示“OK”面部的总和。 

在步骤S133中，计算图像内的每个“OK”面部和重心之间的距离。在计算出的距离中，提取出最大值和最小值，并且计算其差值。在步骤S134中，判断在步骤S133中计算出的差值是否小于在步骤S131中计算出的平均面部大小。 

在步骤S134中确定该差值小于平均面部大小的情况下，流程前进到步骤S135，其中生成包括图像内的所有“OK”面部的一个群组，并且图9中所示的按照距重心的距离的分组结束。另一方面，在步骤S134中未确定该差值小于平均面部大小的情况下，图9中所示的按照距重心的距离的分组结束。 

现在，将参考图10A和10B再次对按照距重心的距离的分组给出额外描述。图10A是图示按照距重心的距离的分组的情况的示例。“OK”面部141至146在图10A所示的图像131中。在步骤S132中根据“OK”面部141至146的位置关系计算出重心151。注意，在图10A中，出于说明目的绘出了重心151和箭头，但是它们在图像131中并未实际成像。对于其他图像也是如此。 

在图像131中，重心151是图像131的中心部分，且“OK”面部141至146围绕重心151。现在，假定在“OK”面部141至146和重心151之间的距离中，“OK”面部141和重心151之间的距离最短，该距离被称为距离L141。另外，假定“OK”面部143和重心151之间的距离最长，该距离被称为距离L143。进一步假定距离L141和距离L143之差很小，这从图10A可见。 

在这种情况下，在步骤S133中，计算距离L141和距离L143之间的差值。该差值是0或者接近0。因此，在步骤S134中，判断出该差值小于平均面部大小。在这种情况下，“OK”面部141至146被形成在一个群组中。 

在诸如图10B所示的图像161的情况下，按照距重心的距离的分组处理没有生成群组。对于图像161，“OK”面部171至176已被拍摄，其位于诸如图10B所示的整个图像161中。在图像161的情况下，距重心181的距离变化。这里，假定在“OK”面部171至176和重心181之间的距离中，“OK”面部172和重心181之间的距离最短，该距离被称为距离L172。另外，假定“OK”面部176和重心181之间的距离最长，该距离被称为距离L176。 

在诸如图像161中的“OK”面部的布局的情况下，距离L173和 距离L176之间的差别是明显的。因此，在步骤S134的判断中，判断出距离L173和距离L176之间的差值不小于平均面部大小。在图像161的情况下，按照距重心的距离的分组处理不生成群组。 

因而，在面部呈如图10A所示的圆形的情况下(例如当被摄体以圆圈方式站立或坐着时)，通过按照距重心的距离的分组处理生成群组。形成这种圆圈的人可被认为是彼此具有某种关系的人。按照距重心的距离的分组处理被执行来生成这些人的群组。 

在因执行这种处理而生成群组的情况下，在图6的流程图中从步骤S83起的处理被省略，并且对所生成的群组执行处理。另一方面，在执行这种处理却未生成任何群组的情况下，流程前进到步骤S83(图6)中的处理，并且执行使用近似线的分组处理。 

关于群组创建处理中的使用近似线的分组处理 

在步骤S83中，执行使用近似线的分组处理。这是这样一种处理，其中从要处理的面部中选择第一面部用作基准，根据第一面部和第二面部的位置生成近似线，并且选择距近似线的距离以及相对要处理的面部的大小的平均值的比值等于或小于特定值的面部。将在下面参考图11中所示的流程图来描述在步骤S83中执行的使用近似线的分组处理。 

在步骤S161中，从图像内的所有“OK”面部中选择一个面部作为用作基准的第一面部。该选择是利用步骤S81(图6和7)的处理结果执行的。也就是说，排序结果被用于按照距近似线的最紧密距离的顺序进行选择。其他面部随后被依次取作第一面部，因此在步骤S163中，进行用于判断是否所有面部都已被取作第一面部的处理。 

在步骤S162中，执行包括第一面部的群组面部的提取处理。由于步骤S162的该处理被执行，生成了一个群组，其中在此时用作第一面部的“OK”面部作为基准。换句话说，在步骤S162的处理中执行关于是否有将与第一面部分组在一起的面部的判断。将在后面参考图12中的流程图详细描述步骤S162中的处理。 

在步骤S162中包括第一面部的群组面部的提取处理结束后，流程前进到步骤S163，其中判断是否所有面部都已作为第一面部被处理。在步骤S163中判断出不是所有面部都已作为第一面部被处理的情况下，流程返回到步骤S161，并且重复后续处理。 

另一方面，在步骤S163中判断出所有面部都已作为第一面部被处理的情况下，流程前进到步骤S164。在直到步骤S163为止的处理中生成了群组的情况下，在步骤S164中登记用于分组的近似线。 

将参考图12中所示的流程图来描述在步骤S162中执行的包括第一面部的群组面部的提取处理。 

在步骤S191中，选择第二面部i。该第二面部i是从要处理的图像内除了被取作第一面部的“OK”面部以外的“OK”面部中选择的。在步骤S192中，计算第二面部i和第一面部之间的距离，并且判断已计算出的距离是否等于或低于某一值(阈值)。步骤S192中的处理是用于搜索第一面部和位于附近的面部的处理。 

在步骤S192中，在判断出第一面部和第二面部之间的距离不等于或小于预定值的情况下，流程返回到步骤S191，其中新选择第二面部，并且重复相同的处理。 

另一方面，在判断出第一面部和第二面部之间的距离等于或小于预定值的情况下，流程前进到步骤S193，并且计数器的值被设置为2。该计数器指示可能与用作基准的第一面部分组在一起的面部的数目(加上第一面部)。因为第一面部已被选择，所以计数器的初始值是1。因此，在判断出第一面部和第二面部之间的距离等于或小于预定值的情况下，这意味着第二面部已被添加，因而计数器的值变为2。 

在步骤S194中，执行用于搜索其他面部的处理。该用于搜索其他面部的处理是用于搜索是否有除了第一面部和第二面部以外的面部要被进一步添加到由第一面部和第二面部构成的群组的处理。将参考图13中所示的流程图来描述步骤S194中用于搜索其他面部的处理。 

在步骤S231中，除了第一面部和第二面部以外的所有“OK”面部 被置于集合O中。在步骤S232中，第一面部和第二面部被置于集合G中。此时，生成了集合G和集合O，其中集合G包括第一面部和第二面部，而所有其他面部被包括在集合O中。 

在步骤S233中，从集合O中选择面部j。在步骤S234中，创建在集合G的面部中包括面部j的近似线。也就是说，在这种情况下，利用第一面部、第二面部和面部j生成近似线。在步骤S235中，执行用于判断面部j和近似线的处理。将参考图14中的流程图来描述在步骤S235中执行的面部j和近似线的判断处理。 

在步骤S271中，判断近似线和面部j之间的距离是否等于或小于预定值(阈值)。在步骤S271中判断出近似线和面部j之间的距离等于或小于预定值的情况下，流程前进到步骤S272。在步骤S272中，判断面部j和已被分组的面部之一间的距离是否等于或小于预定值。在步骤S272中判断出面部j和已被分组的面部之一间的距离等于或小于预定值的情况下，流程前进到步骤S273。 

也就是说，在判断出面部j靠近近似线并且也靠近除了面部j自身以外用于生成近似线的面部(即，在这种情况下是第一面部或第二面部)的情况下，在步骤S273中输出“真”的判断结果。处理随后前进到步骤S236(图13)。 

另一方面，在步骤S271中判断出面部j并不靠近近似线或者在步骤S272中判断出面部j并不靠近用于生成近似线的面部之一的情况下，流程前进到步骤S274，其中输出“假”的判断结果。 

也就是说，在判断出面部j不靠近近似线或者靠近近似线但不靠近用于生成近似线的面部之一(在这种情况下是第一面部或第二面部)的情况下，在步骤S274中输出“假”的判断结果。流程随后前进到步骤S236(图13)。 

返回图13中的流程图的描述，在步骤S235中，用于判断面部j和近似线的处理结束，并且在输出判断结果后，在步骤S236中判断判断结果是真还是假。在判断出判断结果为真的情况下，流程前进到步骤S237，而在判断出判断结果为假的情况下，流程跳过步骤S237 中的处理并前进到步骤S238。 

在步骤S237中，获得在步骤S234中创建的近似线(包括已判断为“真”的面部j)和假设近似线之间的倾斜度差值。对于该假设近似线，使用在群组创建预处理(图6中的步骤S81和图7的流程图)中创建的近似线(即，使用在步骤S102的处理中创建的假设近似线或者在步骤S108的处理中创建的近似线)。在步骤S234中创建的近似线和假设近似线之间计算出的倾斜度的差值被临时存储，并且流程前进到步骤S238。为其已计算差值的面部j被当作要添加到此时正处理的群组的候选。 

在步骤S238中，判断是否集合O内的所有面部都已经过处理。在步骤S238中判断出集合O内不是所有面部都已经过处理的情况下，流程返回到步骤S233，选择还未经过处理的面部，并且重复从步骤S233起的处理。因而，步骤S233至S238的处理被重复以便提取用作添加到此时正处理的群组的候选的面部j。在步骤S238中判断出集合O内的所有面部都已经过处理的情况下，流程前进到步骤S239。 

在步骤S239中，判断一个面部是否已被添加。换句话说，判断是否存在被当作添加到此时正处理的群组的候选的面部j。在步骤S239中判断出一个面部已被添加的情况下，流程前进到步骤S240。在步骤S237中，已针对被当作添加候选的每个面部j计算了在步骤S234中创建的近似线和假设近似线之间的倾斜度差值并进行了存储，因此这在步骤S240中使用，并且选择关于其已计算出最小倾斜度差值的其他面部。 

在步骤S240中选择的其他面部在步骤S241中被从集合O删除，并被添加到集合G。由于新面部被添加到集合G，因此在步骤S242中，指示此时集合G中包括的面部数目的计数器的值递增1。处理随后返回到步骤S233，并且重复后续处理。 

另一方面，在步骤S239中判断出没有面部被添加的情况下，换句话说判断出没有面部j用作添加到此时正处理的群组的候选的情况下，基于图13中所示的流程图的其他面部搜索处理结束，并且流程 前进到步骤S195(图12)。 

返回图12中的流程图的描述，在已执行了步骤S194的其他面部搜索处理并且输出其结果后，在步骤S195中判断计数器的值是否为3或更大。在步骤S195中判断出计数器的值不为3或更大的情况下，流程返回到步骤S191，并且重复后续处理。该状态表示没有除了第一面部和第二面部以外的面部被分组。注意，此时，面部还未最终形成为一个群组，而仅仅是群组的候选。 

另一方面，在步骤S195中判断出计数器的值为3或更大的情况下，流程前进到步骤S196。在步骤S196中，执行群组内面部的评价处理。该群组内面部的评价处理是用于评价被列为群组的候选的面部是否应当被登记为群组、面部是否适合于包含在群组中等等的处理。面部113至115的平均面部大小也被计算。 

将参考图15中所示的流程图来描述在步骤S196中执行的群组内面部的评价处理。在步骤S301中，群组内面部之间的距离和群组内面部大小的平均值(平均面部大小)被计算。例如，在诸如图8中所示的图像101是要处理的图像并且面部113至115被设置为群组内的面部的情况下，面部113和面部114之间的距离、面部113和面部115之间的距离以及面部114和面部115之间的距离各自被计算，并且被临时存储。 

步骤S301中的计算结果被用在步骤S302和后续步骤的处理中。在步骤S302中，选择群组内要处理的一个面部。例如，在上述情况中，面部113被选为群组内要处理的面部。在步骤S303中，要处理的面部(例如，面部113)经历判断：距群组中其他面部(例如，面部114或面部115)的距离是否大。该判断是通过以下方式执行的：例如设置一个预定阈值，并判断该距离在等于或大于阈值时大。或者，使用平均面部大小，如果该距离在平均面部大小的两倍内，则执行处理以判断出该距离不大。 

在步骤S303中，在判断出从要处理的面部到群组中其他面部的距离大的情况下，流程前进到步骤S304。在这种情况下，该面部已被 选为构成群组的候选，但是与其他面部间的距离大，因此可以认为存在该面部不适合于包含在该群组中的可能性。因此，在步骤S304中，要处理的面部被从群组中排除。从群组中排除该面部改变了包含在群组中的面部数目，因此计数器的值递减1。 

在步骤S305中计数器的值递减1或者在步骤S303中判断出要处理的面部不远离群组内的其他面部的情况下，流程前进到步骤S306。在步骤S306中，判断群组内的所有面部是否都已经过处理。 

在步骤S306中判断出并非群组内的所有面部都已被处理的情况下，流程返回到步骤S302，并且重复后续处理。另一方面，在步骤S306中判断出群组内的所有面部都已被处理的情况下，用于评价群组内的面部的处理结束，并且流程前进到步骤S197(图12)。 

返回图12中的流程图的描述，在步骤S196中用于评价群组内的面部的处理结束后，基于其评价结果判断群组内的面部数目是否已增多。也就是说，在步骤S197中，判断计数器的值是否为3或更大。在步骤S197中判断出计数器的值不为3或更大的情况下，流程返回到步骤S191并且重复后续处理。也就是说，包括第一面部的群组面部提取处理(包括该处理的使用近似线的分组处理(图6中的步骤S83))是这样一种处理：除非在一个群组中包括至少三个面部，否则不形成群组。 

另一方面，在步骤S197中判断出计数器的值为3或更大的情况下，流程前进到步骤S198。在步骤S198中，判断近似线和群组中面部之间的距离的范围是否在预定范围内。在步骤S198中判断出相对近似线的距离范围不等于或小于某一值的情况下，流程返回到步骤S191，并且重复后续处理。在这种情况下，已经过处理的群组不被设置为一个群组。 

另一方面，在判断出相对近似线的距离范围等于或小于某一值的情况下，流程前进到步骤S199。在步骤S199中，面部被确立为群组的成员。也就是说，此时被处理的面部不再是群组候选而是被确立，因此包含在该群组中的面部被确立为构成该群组的成员。 

在步骤S199中群组被确立时，流程前进到步骤S200。在步骤S200中，判断是否所有面部i都已经过处理。在步骤S200中判断出并非所有面部i都已经过处理的情况下，流程返回到步骤S191，并且重复后续处理。另一方面，在步骤S200中判断出所有面部i都已经过处理的情况下，图12中所示的用于提取群组面部(包括第一面部)的处理结束，并且流程前进到步骤S163(图11)。 

在步骤S163中，判断是否所有面部都已被取为第一面部。步骤S163和后续步骤的处理已被描述，因此这里将省略其描述。在步骤S164中用于分组的近似线被登记后，流程前进到步骤S84(图6)。 

现在返回到图6中所示的流程图的描述，在步骤S84中，隔离的面部被添加到近似线群组。步骤S84中的处理是用于判断是否存在任何面部要添加到根据在步骤S83中生成的近似线的群组的处理。具体而言，这是用于向根据近似线的群组添加面部的处理，该面部相对于包含在该根据近似线的群组中的面部的面部大小的平均值具有某一大小，并且到近似线的距离在某一范围内。将参考图16中的流程图来描述在该步骤S84中执行的向近似线群组添加隔离面部的处理。 

关于向近似线群组添加隔离面部的处理 

在步骤S331中，判断是否有未分组的“OK”面部或“不确定的”面部。仅在该“向近似线群组添加隔离面部的处理”中，“不确定的”面部也经历处理。在步骤S331中判断出没有未分组的“OK”面部或“不确定的”面部的情况下，图16中所示的向近似线群组添加隔离面部的处理结束。也就是说，在这种情况下，没有面部要处理，因此处理结束。由此，在步骤S331中判断出没有未分组的“OK”面部或“不确定的”面部的情况下，要在图6的步骤S85或S86中执行的用于分组的处理可以被省略，并且流程前进到步骤S87。 

另一方面，在步骤S331中判断出有未分组的“OK”面部或“不确定的”面部的情况下，流程前进到步骤S332。在步骤S332中，判断是否有使用近似线的群组。使用近似线的群组是指先前已在步骤S83中 执行的“使用近似线的分组处理”所生成的群组。图16中所示的“向近似线群组添加隔离面部的处理”是用于向使用已生成的近似线生成的群组新添加面部的处理，因此在步骤S332中判断出没有这种使用近似线的群组的情况下，图16中所示的流程图的处理结束。 

另一方面，在步骤S332中判断出存在使用近似线的群组的情况下，在步骤S333中选择要处理的群组。在步骤S334中，计算包括在所选群组中的面部的平均面部大小，并且在步骤S335中选择未分组的“OK”或“不确定的”面部之一，并且设置为要处理。 

在步骤S336中，判断被选为要处理的面部的大小是否相对于在步骤S334中计算出的面部的平均面部大小在某一范围内，即，判断所选大小是否小于或大于平均面部大小。执行这种判断的原因与上述步骤S51至S53中的处理的情况相同。简单地说，执行步骤S334至S336的处理是为了判断已在群组中的面部中明显较大或较小的面部是不包含在该群组中的面部，并从群组中排除这样的面部(即，防止这样的面部被添加)。 

在步骤S336中，在判断出所选面部的大小相对于群组中面部的平均面部大小不在某一范围内的情况下，这意味着所选面部被判断为不添加到该群组，因此作为添加面部的处理的步骤S337至S341被跳过，并且流程前进到步骤S342。 

在步骤S336中判断出所选面部的大小相对于群组中面部的平均面部大小在某一范围内的情况下，这意味着所选面部是要添加到群组的候选，因此作为添加面部的处理的步骤S337至S341被执行。在步骤S337中，获得所选面部和用于分组的近似线之间的距离。在步骤S164(图11)的处理中近似线已被登记，因此已与正处理的群组相关联的该登记的近似线被读出及使用。 

在步骤S337中，在获得了所选面部和近似线之间的距离后，流程前进到步骤S338。在步骤S338中，判断被选为要处理的面部是否是“不确定的”面部并且该面部的位置是否位于距群组中的面部之一的特定距离内。在步骤S338中判断出要处理的面部是“不确定的”面 部的情况下，这使得步骤S338中的判断结果为“是”，并且流程前进到步骤S339。 

在要处理的面部是“不确定的”面部的情况下，计算“不确定的”面部和群组内的面部(“OK”面部)之间的距离，并且判断该距离是否在特定距离内。在步骤S338中判断出正处理的“不确定的”面部和群组内的面部(“OK”面部)之间的距离不在特定距离内的情况下，流程前进到步骤S342。也就是说，在这种情况下，“不确定的”面部被判断为不被添加到正处理的群组，因此步骤S339至S341中的处理被跳过，并且流程前进到步骤S342。 

另一方面，在步骤S338中判断出“不确定的”面部和群组内的面部(“OK”面部)之间的距离在特定距离内的情况下，流程前进到步骤S339。在步骤S339中，关于面部j(在这种情况下是正处理的“OK”面部或“不确定的”面部)和近似线进行判断。关于面部j和近似线的判断是基于图14中所示的流程图执行的。图14中所示的流程图已被描述，因此这里将省略其描述。 

执行步骤S339的处理产生了“真”或“假”的判断结果。“真”的判断结果表明该面部要添加到群组，而“假”的判断结果表明该面部不被添加到群组。在步骤S340中判断出判断结果为“真”的情况下，流程前进到步骤S341，而在步骤S340中判断出判断结果为“假”的情况下，流程跳过步骤S341并且前进到步骤S342。 

在步骤S341中，正处理的面部(“OK”面部或“不确定的”面部)被添加到此时正处理的群组，并且被登记。因而，面部被添加并登记到已经生成的群组。 

在步骤S342中，判断是否所有未分组的“OK”面部或“不确定的”面部都已经过处理。在步骤S342中判断出并非所有未分组的“OK”面部或“不确定的”面部都已经过处理的情况下，流程返回到步骤S335，并且选择未处理的“OK”面部或“不确定的”面部，并对所选面部重复步骤S336及后续步骤的处理。 

另一方面，在步骤S342中判断出所有未分组的“OK”面部或“不 确定的”面部都已经过处理的情况下，流程前进到步骤S343。在步骤S343中，判断是否所有用于分组的近似线都已经过处理。在步骤S343中判断出并非所有用于分组的近似线(即，所有群组)都已经过处理的情况下，流程返回到步骤S343，选择还未经过处理的群组，并对其重复步骤S334及后续步骤的处理。 

另一方面，在步骤S343中判断出所有用于分组的近似线都已经过处理的情况下，图16中所示的用于向近似线群组添加隔离面部的处理结束，并且流程前进到图6中的步骤S85。 

返回图6中的流程图的描述，在步骤S84中，通过用于向近似线群组添加隔离面部的处理，满足条件的隔离面部被添加到群组。然而，存在可能有“OK”面部还未添加到群组(即，还未分组)的可能性。因此，在步骤S85中，执行使用距坐标平均值的距离的分组处理。该“使用距坐标平均值的距离的分组处理”是以下处理：从要处理的面部中选择第一面部，获得每个面部距包括该第一面部的其他面部的坐标平均值的距离，创建该距离最小的群组。 

分组处理中使用距坐标平均值的距离的分组处理 

将参考图17中的流程图来描述在步骤S85中执行的使用距坐标平均值的距离的分组处理。在步骤S361中，使集合G为空。该集合G是用在图13的处理中用于“其他面部搜索处理”的集合G，并且该集合G用于放置第一面部和第二面部。在步骤S361中，使集合G为空的原因在于在执行图13中的“其他面部搜索处理”时可能有第一面部等置于其中，因此要使得集合G为空以避免这一情形。 

在步骤S362中，判断未分组的“OK”面部的数目是否为2或更大。与“向近似线群组添加隔离面部的处理”(图6的步骤S84)不同，对于该“使用距坐标平均值的距离的分组处理”，仅有“OK”面部经历处理，而具有“不确定的”标签的“不确定的”面部不经历处理。 

在步骤S362中判断出未分组的“OK”面部的数目不为2或更大的情况下，图17中所示的使用距坐标平均值的距离的分组处理结束。 也就是说，至少两个面部不得不在群组中，因此在没有两个或更多个“OK”面部的情况下，处理结束。 

另一方面，在步骤S362中判断出未分组的“OK”面部的数目为2或更大的情况下，流程前进到步骤S363。在步骤S363中，使集合候选Gc为空集合。该集合候选Gc是要添加到集合G的“OK”面部的候选被置于的集合。 

在步骤S364中，从未分组的“OK”面部中选择第一面部并将其置于集合候选Gc中。在步骤S365中，执行关于第一面部的群组候选确定处理。 

将参考图18中所示的流程图来描述在步骤S365中执行的“关于第一面部的群组候选确定处理”。 

在步骤S381中，在步骤S364(图17)中选择的第一面部被添加到集合候选Gc。在步骤S382中，判断在要处理的图像内是否有满足以下三个条件的“OK”面部，即，满足以下三个条件的“OK”面部是否在要处理的图像内： 

条件1：未分组， 

条件2：未包含在集合候选Gc中，以及 

条件3：未用作第k个附加面部。 

条件3的未用作第k个附加面部的“OK”面部是指关于其还未判断是否相对于此时正处理的第一面部要被置于集合候选Gc中的“OK”面部。 

在步骤S382中，在判断出存在满足条件1至3的“OK”面部的情况下，流程前进到步骤S383。在步骤S383中，从不存在于集合候选Gc中的“OK”面部中选择要添加到集合候选Gc的附加面部。 

在步骤S384中，首先，计算集合候选Gc中的面部和附加面部之间的坐标平均值。集合候选Gc至少包括在步骤S381中添加的第一面部，并且计算第一面部的坐标和在步骤S383中添加的“OK”面部(添加面部)的坐标之间的距离。在仅有第一面部已被添加到集合候选Gc的情况下，该计算出的距离是集合候选Gc的面部和添加面部之间 的坐标平均值。 

在除第一面部以外的面部也包含在集合候选Gc中的情况下，除第一面部以外的面部的坐标和添加面部的坐标被用于计算距离。因而，获得集合候选Gc内的所有面部和添加面部之间的距离，获得所得到的距离的总和，并将该总和除以集合候选Gc内面部的数目，从而计算集合候选Gc中的面部和添加面部的坐标平均值。 

另外，在步骤S384中，判断计算出的坐标平均值、到集合候选Gc内的每个面部的距离、以及计算出的坐标平均值与添加面部之间的距离是否各自等于或低于特定值(阈值)。例如，使用用作坐标平均值的坐标和集合候选Gc内第一面部的坐标，并获得二者间的距离(下面称为距离A)，并且使用用作坐标平均值的坐标和添加面部的坐标，并获得二者间的距离(下面称为距离B)。判断距离A和B是否等于或低于阈值。 

在步骤S384中判断出该距离不等于或低于阈值的情况下，流程返回到步骤S382，并且重复后续处理。也就是说，新选择附加面部，并且对所选的附加面部重复步骤S383及后续步骤的处理。 

另一方面，在步骤S384中判断出该距离等于或低于阈值的情况下，流程前进到步骤S385。在步骤S385中，获得集合候选Gc内的面部和附加面部的坐标平均值以及相对集合候选Gc内的面部的距离的总和。在步骤S384中计算出的坐标平均值可以用于集合候选Gc内的面部和附加面部的坐标平均值。 

例如，在仅第一面部已被登记的情况下，计算第一面部和附加面部之间的坐标的平均值(或者使用已计算出的坐标平均值)。仅有第一面部被登记在集合候选Gc内，因此获得第一面部和坐标平均值之间的距离，并且该距离被取为距离的总和。 

例如，在除第一面部以外的面部(下面称为第二面部)被包含在集合候选Gc中的情况下，也获得从第二面部相对坐标平均值的距离，并且通过将该距离与从第一面部相对坐标平均值的距离相加而获得的距离被取为距离的总和。 

在获得了坐标平均值和到集合候选Gc内的各个面部的距离后，计算距离的总和。在计算了距离的总和后，流程前进到步骤S386。在步骤S386中，判断是否所有未分组的“OK”面部都已作为附加面部被处理。 

在步骤S386中，在并非所有未分组的“OK”面部都已作为附加面部被处理的情况下，流程返回到步骤S382，并且重复后续处理。 

另一方面，在所有未分组的“OK”面部都已作为附加面部被处理的情况下，流程前进到步骤S387。作为重复步骤S382至S386的处理的结果，存在有多个要添加到集合候选Gc的面部的候选的可能性。在有多个这样的面部的情况下，必须判断哪一个附加面部适合于被添加到此时正处理的集合候选Gc并进行添加。为此，执行步骤S387中的处理。 

在步骤S387中，一附加面部被添加到集合候选Gc，在该附加面部中，集合候选Gc内的面部和附加面部之间的坐标平均值与集合候选Gc内的面部之间的距离的总和最小。 

例如，考虑这样一种情况，其中第一面部、第二面部和第三面部存在于集合候选Gc内，并且附加面部A和附加面部B作为要添加到集合候选Gc的面部的候选正被处理。在这种情况下，首先，分别计算附加面部A和坐标平均值之间的距离1、附加面部A和第一面部之间的距离2、附加面部A和第二面部之间的距离3、以及附加面部A和第三面部之间的距离4。通过相加距离1、距离2、距离3和距离4而获得的值是总和5。 

以相同的方式，分别计算附加面部B和坐标平均值之间的距离6、附加面部B和第一面部之间的距离7、附加面部B和第二面部之间的距离8、以及附加面部B和第三面部之间的距离9。通过相加距离6、距离7、距离8和距离9而获得的值是总和10。 

在这种情况下，将总和5和总和10相比较，并且关于其计算出较小值的附加面部被添加到集合候选Gc。例如，如果总和5小于总和10，则附加面部A被添加到集合候选Gc，并且变成第四面部。 

在附加面部以这种方式被添加到集合候选Gc后，流程返回到步骤S382，并且重复后续处理。通过重复步骤S382至S387的处理，用作可与此时正处理的第一面部分组在一起的候选的面部被添加到集合候选Gc。 

在步骤S387中附加面部被添加到集合候选Gc后，流程返回到步骤S382。步骤S382中的处理已被描述，它是判断是否满足条件1至3的处理。步骤S382中的这些条件之一是条件3，其中判断是否存在未用作第k个附加面部的“OK”面部。另外，在步骤S386中，判断是否所有未分组的“OK”面部都已作为附加面部被处理，并且当步骤S386中的判断结果是所有未分组的“OK”面部都已被处理时到达步骤S387的处理。 

因此，当到达步骤S387时，所有的“OK”面部都已被处理，因此当流程从步骤S387到达步骤S382时，基本的理解是条件1至3将得不到满足，并且处理前进到步骤S388。 

在步骤S388中，判断集合G是否为空集合。在步骤S388中判断出集合G不是空集合的情况下，流程前进到步骤S389。在步骤S389中，将集合G内面部的总数与集合候选Gc内面部的总数相比较，并且判断集合候选Gc内面部的总数是否大于集合G内面部的总数。 

在步骤S389中判断出集合候选Gc内面部的总数不大于集合G内面部的总数的情况下，即，在判断出该数目相同或较小的情况下，流程前进到步骤S390。在步骤S390中，判断集合候选Gc内面部的总数和集合G内面部的总数是否相同并且坐标平均值和每个面部之间的距离的总和是否对于集合候选Gc较小。 

对于集合G和集合候选Gc来说，坐标平均值和每个面部之间的距离的总和例如已经在步骤S387的处理中进行了计算，因此这些值可以被使用。如后所述，集合候选Gc被设置为集合G，意味着集合G也已经过了步骤S387中的处理，因此坐标平均值和面部之间的距离的总和已被计算。 

在步骤S390中判断出集合候选Gc内面部的总数与集合G内面 部的总数相同并且坐标平均值和每个面部之间的距离的总和对于集合候选Gc较小的情况下，流程前进到步骤S391。在步骤S388中判断出集合G不为空时，或者在步骤S389中判断出集合候选Gc内面部的数目不大于集合G内面部的数目时，也会到达步骤S391。 

在步骤S391中，此时正处理的集合候选Gc被设置为集合G。也就是说，集合候选Gc不被设置为候选，而是设置为群组。 

在从步骤S388到达步骤S391的情况下，这是因为群组G为空，因此没有与集合候选Gc相比较的东西，因此步骤S389和S390被跳过以到达步骤S391。另外，在群组G为空的情况下，执行该处理以通过将集合候选Gc设置为集合G来创建新的群组。 

在从步骤S389到达步骤S391的情况下，这是因为集合候选Gc内面部的数目被判断为大于集合G内面部的数目，因此集合候选Gc内面部的数目可被判断为是更适合于被设置为群组的数目。因此，同样在这种情况下，集合候选Gc在步骤S391中被设置为集合G。 

在从步骤S390到达步骤S391的情况下，这是因为集合候选Gc内面部的总数和集合G内面部的总数已被判断为相同，并且坐标平均值和每个面部之间的距离的总和对于集合候选Gc较小。这意味着集合候选Gc内的面部比起集合G内的面部在更窄的范围内。换句话说，集合候选Gc内的面部可以被判断为比集合G内的面部有更紧密的人际关系，在这种情况下，集合候选Gc在步骤S391中被设置为集合G。 

因而，在步骤S391中集合候选Gc被设置成集合G后，“关于第一面部的群组候选确定的处理”结束，并且流程前进到步骤S366(图17)。 

另一方面，同样在步骤S390中集合候选Gc内面部的总数与集合G内面部的总数相同并且坐标平均值和每个面部之间的距离的总和对于集合候选Gc较小的情况下，“关于第一面部的群组候选确定的处理”结束，并且流程前进到步骤S366(图17)。 

执行“关于第一面部的群组候选确定处理”将集合候选Gc设置成集合G，因此生成了新的集合G，或者集合候选Gc不被设置为集合 G并且没有新生成的集合G。 

在步骤S366中，判断所有未分组的“OK”面部是否都已作为第一面部被处理。在步骤S366中判断出并非所有未分组的“OK”面部都已作为第一面部被处理的情况下，流程返回到步骤S364，将新的“OK”面部选为第一面部，并重复后续处理。 

在作为重复步骤S364至S366的处理的结果、所有未分组的“OK”面部都被取为第一面部后，判断是否生成集合G。例如，在存在三个未分组的“OK”面部的情况下，步骤S364至S366的处理被重复三次。 

在步骤S366中判断出所有未分组的“OK”面部都已作为第一面部被处理的情况下，流程前进到步骤S367。这里的判断结果根据步骤S391(图18)中的处理是否已被执行而不同。也就是说，在作为执行步骤S391中的处理的结果、集合候选Gc已被取为集合G的情况下，在步骤S367中判断出面部已被添加到集合G，并且流程前进到步骤S368。 

另一方面，在步骤S391的处理还未执行的情况下，集合候选Gc保持原样(集合候选Gc还未被取为集合G)，因此在步骤S367中判断出面部还未被添加到集合G，流程返回到步骤S363，使得集合候选Gc成为空集合，并且创建新的集合候选Gc。 

在步骤S368中，集合G被添加为新的群组，并且流程返回到步骤S361，并重复后续处理。在步骤S361中，使得集合G成为空集合，并且重复步骤S362及后续步骤的处理，从而对新的集合G执行处理。 

由于在步骤S368的处理中集合G被添加为新的群组，因此包含在添加后的集合G中的“OK”面部是已被分组的“OK”面部，因此不是步骤S362和后续步骤的处理对象。结果，在步骤S362中判断出没有两个或更多个未分组的“OK”面部的情况下，即，在未分组的“OK”面部的数目是1或0的情况下，图17中所示的使用距坐标平均值的距离的分组处理结束，并且流程前进到步骤S86(图6)。 

返回图6中的流程图的描述。由于使用距坐标平均值的距离的分 组处理已在步骤S85中执行，因此未分组的“OK”面部的数目是1或0。在该数目为1的情况下，这意味着存在还未分组的“OK”面部，因此在步骤S86中执行对剩下的面部分组的处理。该“对剩下的面部分组的处理”是对未包含在群组中的面部执行的、对剩下的面部进行分组的处理，并且是对大小相对于面部大小平均值等于或大于某一值的面部进行分组的处理。 

对分组处理中剩下的面部的分组处理 

将参考图19中所示的流程图来描述在步骤S86中执行的对剩下的面部的分组处理。在步骤S411中，判断是否存在未分组的“OK”面部。该“对剩下的面部的分组处理”仅对具有“OK”标签的“OK”面部执行，而具有“不确定的”标签的“不确定的”面部不经历该处理。该处理即使在未分组的“OK”面部的数目为1时也执行。 

在步骤S411中判断出没有未分组的“OK”面部的情况下，这意味着没有“OK”面部要处理，因此图19中的流程图的处理结束。 

另一方面，在步骤S411中判断出存在未分组的“OK”面部的情况下，流程前进到步骤S412。在步骤S412中，从未分组的“OK”面部中选出一个要处理的“OK”面部。在步骤S413中，判断所选的“OK”面部的大小是否等于或大于平均面部大小。 

步骤S413中所用的平均面部大小根据在直到该处理之前的处理中是否生成一个群组而不同。也就是说，在通过执行步骤S83至S85的处理已生成至少一个群组的情况下，所有已分组的面部(该群组中包含的所有面部)的大小的平均值被用作步骤S413中的平均面部大小。 

另一方面，在步骤S83至S85的处理已执行但是并未生成单个群组的情况下，所有“OK”面部的大小的平均值被取为步骤S413中所用的平均面部大小。在这种情况下，所有“OK”面部的数目为1。其原因在于：如上所述，在步骤S362(图17)中判断出未分组的“OK”面部的数目不是2或更大的情况下，流程前进到步骤S86，据此执行步 骤S413的处理，因此在这时所有“OK”面部的数目为1。 

因此，在未生成单个群组的状态中要执行步骤S413的处理的情况下，平均面部大小是一个“OK”面部的大小。 

在步骤S413中判断出正处理的“OK”面部的大小相比于平均面部大小等于或大于阈值的情况下，流程前进到步骤S414。在步骤S414中，所选的“OK”面部被单独分组。也就是说，在这种情况下，该面部是未分组的“OK”面部，但是被拍摄得相对大于其他面部(其拍摄大小相比于平均面部大小等于或大于阈值)，因此可以判断出被摄体是拍摄者有意拍摄的人物。该单独分组的执行是为了防止这样的人物(面部)由于未分组而从后面的处理中漏掉。 

在以这种方式在步骤S414中单独创建了一个群组的情况下，或者在步骤S413中判断出该大小相比于平均面部大小并不等于或大于阈值的情况下，流程前进到步骤S415。在步骤S415中，判断是否所有未分组的“OK”面部都已经过处理。 

在步骤S415中判断出并非所有未分组的“OK”面部都已经过处理的情况下(即，仍然有还未处理的“OK”面部)，流程返回到步骤S412，还未处理的未分组的“OK”面部受到处理，并且重复后续处理。 

另一方面，在步骤S415中判断出所有未分组的“OK”面部都已经过处理的情况下，图19中所示的流程图的处理结束，并且流程前进到图6中的步骤S87。 

在描述步骤S87中的处理之前，将参考图20描述利用迄今为止的处理创建的群组。图20中所示的要处理的图像201具有已摄取的面部211至227。在图20中，围绕面部的方框指示所提取的面部的范围。面部211至220大致在一条直线上，因此已通过“使用近似线的分组处理”(根据图6中的步骤S83的处理)被分组，并被称为群组A。然而，面部216通过“用于向近似线添加隔离面部的处理”(根据图6中的步骤S84的处理)被添加到群组A。以相同的方式，面部221至225大致在一条直线上，因此已通过“使用近似线的分组处理”(根据图6中的步骤S83的处理)被分组，并被称为群组B。 

面部226和227远离当群组A被生成时使用的近似线和当群组B被生成时使用的近似线，因此不包含在群组A或群组B中。另外，在根据图6的步骤S84的“用于向近似线添加隔离面部的处理”中，面部226和227也远离群组A的近似线和群组B的近似线，因此在该处理中面部226和227被当作未分组的“OK”面部。 

面部226和227彼此相对靠近，因此，通过执行步骤S85中的“使用距坐标平均值的距离的分组处理”，面部226和227被分组成单个分组(称为群组C)。 

因此，由图像201生成了群组A至群组C的群组。在这种情况下，执行步骤S85的处理导致没有未分组的“OK”面部的状态。因而，即使在步骤S86中执行“对剩下的面部的分组处理”，在步骤S411(图19)中也会判断出没有未分组的“OK”面部存在，并且分组处理结束。 

关于多分层处理 

在以这种方式生成了多个群组的情况下，执行步骤S87(图6)中的多分层处理。通过执行如上所述的处理，当创建了包含一个或多个面部的若干群组时，执行用于进一步合并所创建的群组的处理。将参考图21A至21E来描述在步骤S87中执行的多分层处理。 

图21A是用于描述要处理的图像的示意图。如图21A所示，在图像251中存在六个面部：面部261至266。面部261至263以水平排列状态摄取，其位于图像251的左上部，面部264和265以水平排列状态摄取，其位于图像251的左下部。面部266被单独摄取，其位于图像251的右下部且位置远离面部261至265。 

图21B是图示在用要处理的图像251进行分组之前的状态的模型图。图21B以水平的一行示出了图像251中的面部261至266。 

在对这种图像251执行了图6中的“群组创建处理”后，生成了诸如图21C中所示的群组。面部261至263水平排列在紧密的范围中，因此例如通过“使用近似线的分组处理”(步骤S83)被分组成群组271。 

以相同的方式，面部264和265水平排列在紧密的范围中，因此 例如通过“使用近似线的分组处理”(步骤S83)被分组成群组272。另一方面，面部266被单独摄取且位置远离面部261至265，因此在“使用近似线的分组处理”(步骤S83)中不被分组，而是在“对剩下的面部的分组处理”(步骤S86)中被分组为群组273。 

这样，由图像251生成了三个群组：群组271、群组272和群组273，如图21C所示。这三个群组被进一步被分成多层。也就是说，如图21D所示，群组271和群组272是处于相对紧密的位置的群组，因此生成了包括群组271和群组272的一个群组。换句话说，在群组271和群组272之间的距离在预定阈值内的情况下，生成联合群组281。 

另外，群组281和群组273之间的距离被判断为处于预定阈值内，因此生成联合群组291。 

以这种方式，生成多个群组，并且彼此距离在预定阈值内的群组被生成为更大的群组并且重复。在图21A至21E所示的例子中，图21C中所示的群组271、272和273被取为第一层级群组，图21D中所示的群组281被取为第二层级群组，图21E中所示的群组291被取为第三层级群组。 

这样执行多层级的分组，直到最终所有的群组都被合并为一个最高层级的群组。这种多分层处理被用在后面描述的加标签处理中，其结果可以用于分类，例如第一层级群组是孩子及父母的群组，第二层级群组是多个家庭的群组，等等。 

在通过这种处理执行了多分层处理后，图6中所示的“群组创建处理”结束，并且处理前进到步骤S34(图3)。 

关于添加构成标签的处理 

返回图3中的流程图的描述，在步骤S33中执行了群组创建处理而创建群组后，在步骤S34中执行向所生成的群组添加标签的处理。将参考图22中的流程图来描述在步骤S34中执行的“关于添加构成标签的处理”。 

在步骤S441中，检查要处理的图像内预定群组中的人数、其性别及其年龄。例如，在步骤S12(图2)中，当执行面部识别处理时，面部识别单元31提取出图像内面部的位置、面部大小、面部朝向、面部属性(例如，性别、年龄等)、面部特征量，等等。另外，唯一的ID(面部ID)被适当地分配给每个识别出的面部以唯一地标识该面部。 

这样，利用步骤S441中的处理，获得预定群组内面部的面部ID，并且获得与面部ID相关联存储的诸如性别和年龄之类的面部属性信息。 

在步骤S441中，为每个群组生成诸如群组中的总人数、群组内成年男子、成年女子(以及老年男子和老年女子)、男孩、女孩和幼童的面部数目之类的信息。 

该信息可用于分析该群组中的人物构成哪一种关系，例如家庭、朋友等。在要处理的群组例如是家庭的情况下，在许多情况下，群组将包括成年男性和女性及幼童，并且在获得了这样的信息的情况下，群组可以被分析为是家庭。 

在步骤S442中，判断群组中的面部是否正在微笑，并且计算正微笑的面部与群组内面部总数之比来作为微笑确定面部得分。可以利用根据相关技术的技术来执行微笑确定。另外，尽管在这种情况下在这里的描述中微笑面部与群组内面部总数之比被计算作为微笑面部确定得分，但是也可使用通过另一种方法获得的微笑面部确定得分。 

例如，针对群组内的每个面部可以计算与微笑度有关的得分，并且其相加或相乘的得分可以取为该群组的微笑面部确定得分。使用这种微笑面部确定得分允许进行以下判断：具有高微笑面部确定得分的照片是在高兴时摄取的照片，因此很有可能该照片是正在一起拍摄的关系紧密的朋友的照片。 

在步骤S443中，计算缩放确定得分。该缩放确定得分指示是否存在等于或大于预定阈值大小的面部大小。该缩放确定得分的信息可以用于分析哪一个面部是图像中要处理的群组内的主要人物(例如， “贵客”)。 

在步骤S444中，计算面部大小得分。面部大小得分是群组内面部的大小的平均值。获得面部大小的平均值允许进行如下分析：例如图像中一个群组的面部大小的平均值大表明该群组中的人物在该图像中是重要的。 

注意，尽管在步骤S443中计算缩放确定得分和步骤S444中计算面部大小得分时要计算面部大小，但是该大小在上述用于创建群组的处理中已被计算了几次，因此可以使用这种已计算出的值，并且从高效处理的角度看这种配置是更加合适的。 

在步骤S445中，判断群组内的人数是否是两人。在群组内的人数是两人的情况下，判断出这两人处于平等关系的可能性为高。例如，一对夫妻经常自己给自己拍摄，并且经常彼此靠近地站立。因此，如果群组内的人数是两人，则通过测量两人间的距离可以判断这两人是否具有紧密关系。 

也就是说，在步骤S445中判断出群组内的人数是两人的情况下，流程前进到步骤S446，其中计算面部之间的距离。该面部之间的距离可以利用例如面部中心处的坐标来计算。在计算出的距离等于或小于特定阈值的情况下，判断出这两个面部彼此靠近，并且因此处于平等关系。 

因此，在步骤S446中计算出面部之间的距离的情况下，或者在步骤S445中判断出群组内的人数不是两人的情况下，流程前进到步骤S447。在步骤S447中，根据得分判断属性候选，并且施加标签。 

现在，将参考图23描述当判断属性候选时参考的表格。另外，将参考图24描述当已判断出属性候选并且要分配标签时参考的表格。 

注意，尽管这些内容在这里被描述为表格，并且这些表格将被描述为存储在例如执行分组处理的分组单元25(图1)中因而被参考，但是这并不是限制为保存为表格并进行参考，而是可以实现为按顺序进行判断的处理形式，例如程序等的处理流程中的步骤。另外，尽管图23中所示的表格321和图24中所示的表格322被描述为是分开的 表格，但是这两者也可以编辑为单个表格。另外，这些表格可以被更新，因此无论何时执行***更新等，都可以适当地更新这些表格。应当注意，下面描述的数值等仅是用于示例目的，并且不应当被限制性地解释。 

图23中所示的表格321是标签名和注释已相关联的表格。注释栏列出了标签名被分配的条件。图24中所示的表格322是标签名、ID、含义和注释已相互关联的表格。 

参考表格321表明标签名“ATR_NONE”被分配给“无标记信息”的群组。“无标记信息”是指“无标签信息”，并且参考表格322表明ID“0”被分配给这样的群组。 

参考表格321表明标签名“ATR_SOLO”被分配给一个“已分组”且是“单人方”的群组。该“已分组”和“单人方”意味着被摄体是单独的，参考表格322表明ID“1”被分配给这样的群组。 

参考表格321表明标签名“ATR_FAMILY”被分配给一个“已分组”且其中“人数＞2”成立，“(ATR_MAN+ATR_WOMAN)＞0”成立，“ATR_CHILD＞0”成立，并且“ATR_MAN与ATR_CHILD的数目之比≤Th1”成立的群组。 

这里，“人数＞2”是指群组内的人数大于2的条件(下文中称为条件1)。“ATR_MAN”指后面描述的男人(不包括男孩)，并且“ATR_WOMAN”指后面描述的女人(不包括女孩)。因此，“(ATR_MAN+ATR_WOMAN)＞0”是指某一年龄以上的男性和女性的总数大于2的条件(下文中称为条件2)。“ATR_CHILD”指孩子(统指男孩和女孩)。因此，“ATR_CHILD＞0”是指孩子的数目大于0的条件(下文中称为条件3)。 

另外，“ATR_MAN与ATR_CHILD的数目之比≤Th1”是指男人与孩子之比等于或小于阈值Th1的条件(下文中称为条件4)。如果条件1至条件4得到满足，则这意味着“家庭”，并且参考表格322表明ID“2”被施加给该群组。 

当确定条件1至条件4是否得到满足时所用的信息是在步骤 S441(图22)的处理中获得的群组中人数、性别和年龄的信息。注意，这些数值和条件仅是一个例子。例如，阈值Th1是可由用户设置的值。另外，尽管已描述了条件1至条件4，但是这些条件仅是一个例子，其可以适当地改变，并且可以被配置为可由用户改变。也就是说，用户期望定义为“家庭”的条件可以由用户设置，并且在这种情况下，上述数值将适当地改变。 

参考表格321表明标签名“ATR_PARENT_CHILD”被分配给“已分组”、满足“ATR_MAN＝1”或“ATR_WOMAN＝1”的条件、且“ATR_CHILD＝1”成立的群组。也就是说，参考表格321表明标签名“ATR_PARENT_CHILD”被施加给已分组的、且该群组中有一个男人或一个女人以及一个孩子的一个群组。 

另外，尽管上述条件是“ATR_MAN＝1”或“ATR_WOMAN＝1”，但是这可以是“ATR_MAN＝1”且“ATR_WOMAN＝1”的条件。另外，对于父母和孩子(PARENT_CHILD)的定义可以设想各种组成，例如一个父母具有一个孩子或者一个父母具有两个孩子，因此可以使得“ATR_CHILD＝1”中的值“1”成为用户可根据他/她自身的家庭来改变的默认设置，例如将该值改变为“2”(如果家庭中有两个孩子)。 

确定这些条件时所用的信息是在步骤S441(图22)的处理中获得的群组中人数、性别和年龄的信息。当满足这些条件时，这意味着“父母和孩子(无论是父亲还是母亲)”，并且参考表格322表明ID“20”被分配给这样的群组。 

参考表格321表明标签名“ATR_COUPLE”被分配给“已分组”、满足“ATR_MAN＝1”且“ATR_WOMAN＝1”的条件、“面部距离≤1.5”或者“面部距离＞1.5”但是“面部距离≤2”且“一人正微笑”的群组。当满足这些条件时，施加“ATR_COUPLE”的标签名，意味着“夫妻”，并且参考表格322表明ID“21”被分配给该群组。 

由于是夫妻，因此满足条件“ATR_MAN＝1”且“ATR_WOMAN＝1”，也就是说，一个男人和一个女人。当该条件得到满足时，群组被判断为是夫妻，因此还施加条件“面部距离≤1.5”。也就是说，当男人 和女人之间的距离在1.5内时，他们可以被判断为彼此靠近地站立，因此这是被包括来判断是否是夫妻的条件。 

另外，当满足一个男人和一个女人的条件时，群组被判断为是夫妻，因此提供了条件“面部距离＞1.5”且“面部距离≤2”且“一人正微笑”。这意味着两人之间的距离稍微有些大，但是在2以内，因此这表明他们有紧密的关系，并且如果两人中的一人正在微笑，则两人是夫妻的可能性可以被判断为高。 

当判断是否施加夫妻标签时所用的信息是在步骤S441的处理中获得的群组中人数、性别和年龄的信息、在步骤S442中获得的微笑面部确定得分、以及在步骤S446中获得的与面部之间的距离有关的信息。 

注意，尽管已描述了“面部距离＞1.5”且“面部距离≤2”，但是“1.5”或“2”的数值是根据如何计算面部之间的距离而改变的数值，并且依赖于单位等，因此该数值并不限于“1.5”或“2”。注意，这些值仅仅是例子，这意味着在执行时可以设置合适的数值。注意，尽管在下面的描述中也将描述数值，但是这些数值不应当被限制性地解释，而应当示例性地解释。 

参考表格321表明标签名“ATR_FRIENDS_ADULT”被分配给“已分组”、满足条件“(ATR_MAN+ATR_WOMAN)＝2”并且“面部距离≤2”或者“面部距离＞2”且“面部距离≤4”且“一人正微笑”的群组。当这些条件得到满足时，施加标签名“ATR_FRIENDS_ADULT”，这意味着“两个朋友(成人)”，并且参考表格322表明ID“22”被分配给该群组。 

用于判断两个成人朋友的第一条件是“(ATR_MAN+ATR_WOMAN)＝2”的条件。该条件在以下情况中的任何一种中都满足：两个男人、两个女人或者一男一女。 

如后面将描述的，还提供了标签名“ATR_FRIENDS_GROUP_ADULT”，并且条件“(ATR_MAN+ATR_WOMAN)＝2”被示例性地图示为在两个朋友和一组三个或更多个朋友之间进行区分，但是这可以 适当地改变，例如不进行这种区分，或者对三个朋友特别施加标签名，等等。这些数值也可以适当地改变，并且被配置为使得用户可以按需要改变关于人数的设置。改变这里设置的人数还改变了在图24中的“含义”栏中写入的信息。例如，尽管在图24中描述了“两个朋友(成人)”的含义，但是将“(ATR_MAN+ATR_WOMAN)＝2”改变为“(ATR_MAN+ATR_WOMAN)＝3”将含义改变为“三个朋友(成人)”。这对于其他场合也成立。 

另外，当两个成人和“面部距离≤2”的条件得到满足时，即，面部被判断为处于等于或小于某一阈值的距离，因此这两人可以被判断为有紧密的关系，并且被标记为是朋友。另外，当两个成人和“面部距离＞2”且“面部距离≤4”且“一人正微笑”的条件得到满足时，这意味着这两人站立地有一定距离但是并不过远，因此不是陌生人，并且如果两人中的一人正在微笑，则这两人被判断为是朋友并因此被标记为朋友。 

判断是否施加两个朋友(成人)的标签时所用的信息是在步骤S441的处理中获得的群组中的人数、性别和年龄的信息、在步骤S442中获得的微笑面部确定得分、以及在步骤S446中获得的与面部之间的距离有关的信息。 

参考表格321表明标签名“ATR_FRIENDS_CHILD”被分配给“已分组”、满足条件“ATR_CHILD＝2”并且“面部距离≤2”或者“面部距离＞2”但是“面部距离≤4”且“一人正微笑”的群组。当这些条件得到满足时，施加标签名“ATR_FRIENDS_CHILD”，这意味着“两个朋友(孩子)”，并且参考表格322表明ID“23”被分配给该群组。 

用于判断两个孩子朋友的第一条件是“ATR_CHILD＝2”的条件。任何两个孩子都满足该条件。另外，当两个孩子和“面部距离≤2”的条件得到满足时，即，两个面部被判断为处于等于或小于某一阈值的距离，因此这两个孩子可以被判断为有紧密的关系，并被标记为是朋友。 

另外，当两个孩子和“面部距离＞2”且“面部距离≤4”且“一人正微笑”的条件得到满足时，这意味着这两人站立地有一定距离但是并不 过远，因此不是陌生人，并且如果两人中的一人正在微笑，则这两人被判断为是朋友并因此被标记为朋友。 

当判断是否施加“两个朋友(孩子)”的标签时所用的信息是在步骤S441的处理中获得的群组中的人数、性别和年龄的信息、在步骤S442中获得的微笑面部确定得分、以及在步骤S446中获得的与面部之间的距离有关的信息。 

参考表格321表明标签名“ATR_FRIENDS_GROUP_ADULT”被分配给“已分组”、满足条件“人数＞2”并且“(ATR_MAN+ATR_WOMAN)＞Th2＊ATR_CHILD”的群组。当这些条件得到满足时，施加标签名“ATR_FRIENDS_GROUP_ADULT”，这意味着“三个或更多个朋友(成人)”，并且参考表格322表明ID“30”被分配给该群组。 

参考表格321表明标签名“ATR_FRIENDS_GROUP_CHILD”被分配给“已分组”，满足条件“人数＞2”并且“ATR_CHILD＞Th3＊(ATR_MAN+ATR_WOMAN)”的群组。当这些条件得到满足时，施加标签名“ATR_FRIENDS_GROUP_CHILD”，这意味着“三个或更多个朋友(孩子)”，并且参考表格322表明ID“31”被分配给该群组。 

参考表格321表明标签名“ATR MAN”用于“当添加个人时”，并且被分配给满足条件“成人-婴儿＞Th4，成人＞Th5，性别≥Th6”的群组。当满足这些条件时，施加意味着“男人”的“ATR_MAN”的标签名，并且参考表格322表明ID“51”被分配给该群组。注意，Th4、Th5和Th6各自是预定的阈值。 

参考表格321表明标签名“ATR_WOMAN”用于“当添加个人时”，并且被分配给满足条件“成人-婴儿＞Th7，成人＞Th8，性别≥Th9”的群组。当满足这些条件时，施加意味着“女人”的“ATR_WOMAN”的标签名，并且参考表格322表明ID“52”被分配给该群组。注意，Th7、Th8和Th9各自是预定的阈值。 

参考表格321表明标签名“ATR_CHILD”用于“当添加个人时”，并且被分配给满足条件“≠成人，不清楚”的群组。当这些条件得到满 足时，施加意味着“孩子”的“ATR_CHILD”的标签名，并且参考表格322表明ID“53”被分配给该群组。 

参考表格321表明标签名“ATR_UNCLEAR”用于“当添加个人时”，并且被分配给满足条件“成人-婴儿＞Th10，成人≤Th11”的群组。当这些条件得到满足时，施加意味着“身份不清楚”的“ATR_UNCLEAR”的标签名，并且参考表格322表明ID“99”被分配给该群组。注意，Th10和Th11各自是预定的阈值。 

这样的标签名(对应于标签名的ID)是利用通过执行参考图22中的流程图所述的处理而获得的得分确定的。注意，参考图23和24所述的标签名仅是示例性的，并且因此标签名以及与标签名关联的条件等(包括图23和24中所示的那些)可以被添加、删除和修改。图24中所示的ID也是示例性的图示。 

因而，执行步骤S477中的处理，也就是说执行根据得分判断属性候选并施加标签的处理，从而向图像内的群组施加标签。在步骤S447中的处理结束后，流程前进到步骤S35(图3)。 

群组构成数据的输出 

返回图3中的流程图，在步骤S34中与构成标签的添加有关的处理完成后，在步骤S35中群组构成数据被输出。在分组单元25(图1)处执行分组处理，并且处理结果被提供给人物关联数据生成单元23和面部群集单元26。 

在步骤S35中的处理完成后，处理进行到步骤S14(图2)。在步骤S14中，判断是否所有要处理的图像数据都已被处理。也就是说，针对每条图像数据(一幅图像)执行上述分组处理。因此，在步骤S14中，判断是否所有要处理的图像数据都已被处理。“要处理的图像数据”指存储在预定文件夹中的所有图像数据，并且具体指存储在图像数据库42中的所有图像数据。 

在步骤S14中判断出并非所有要处理的图像数据都已被处理的情况下，处理返回到步骤S11，并且重复其后续处理。根据步骤S11 至S14中的处理的重复，针对每个图像检测出面部，并且生成群组。随后，在步骤S14中判断出所有要处理的图像数据都已被处理的情况下，流程前进到步骤S15中的处理。 

在步骤S15中，执行面部群集的处理。另外，在步骤S16中，利用面部群集的处理生成人物。如上所述，多个图像被处理，从而从多个图像中提取出多个面部。在步骤S15和S16中执行用于使多个面部中的匹配面部(即，同一人的面部)能够通过被汇总为同一人的面部而加以处理的处理。 

在获得了从面部识别单元31提供来的面部辨认特征量、面部ID和图像ID后，面部群集单元26使用这些信息来执行面部群集处理。具体而言，利用面部辨认特征量之间的相似度提取出被判断为是同一人的面部来执行分组。 

面部ID被提供给每个面部，因此，新分配一个用于合并被判断为是同一人的面部的面部ID的ID(下文中称为人物ID)，并且可以通过面部ID和人物ID来管理一个面部。另外，被判断为是同一人的面部的面部ID被重写为同一ID，并且可以通过面部ID来管理一个面部。注意，即使在这种情况下，该面部ID在下面的描述中也将称为人物ID以与上述面部ID相区分。也就是说，下面的描述假定面部ID是用于辨认面部图像的，而人物ID是用于辨认人物的。 

通过重复这种处理生成了多个人物。在生成了多个人物后，计算这些人物之间的紧密度。具体而言，在步骤S17中执行人物之间的紧密度的计算处理。将参考图25中的流程图来描述人物之间的紧密度的计算处理。 

在步骤S481中，通过面部群集执行同一人的判断。在执行该处理之前的处理中被判断为是同一人的面部经历分组，因此，可以使用其结果。 

在步骤S482中，为每个人物计算图像中出现的次数。这是通过判断在经历分组的群组中包括多少面部来计算的。为每个人存储图像中出现的次数。 

在步骤S482中为每个人计算了图像中出现的次数后，处理进行到步骤S483。在步骤S483中，选择要处理的人。例如，这是通过选择要处理的人物ID来执行的。 

在步骤S484中，计算用于计算相对另一个人的紧密度得分的距离得分。在步骤S484中，计算图像中群组之间的距离的得分(距离得分)。要处理的图像内可能有生成的多个群组。距离得分是基于下式(13)计算的。 

$\mathrm{Scor}{e}_f=\frac{1}{2^{\mathrm{Ntree}-1}}...\left(13\right)$

在表达式(13)中，Score_f表示面部ID(人物ID)之间的群组间距离得分，并且Ntree表示群组之间的层差。层是在多分层处理时描述的层，并且是参考图21A至21E所述的层。现在，将在假定基于表达式(13)计算出距离得分的情况下进行描述，因此，将以基于表达式(13)计算出的特定数值作为距离得分的例子(例如在图26C等中)来进行描述。然而，表达式(13)仅仅是计算距离得分的例子的表达式，因此也可以基于另一表达式来计算距离得分。因此，下面作为例示的数值是基于表达式13的，并且显然在基于另一表达式计算的情况下可以使用不同值。现在，下面参考图26A-C进一步描述在采用多层的情况下距离得分的计算。 

假定图26A中所示的图像351是要处理的图像，该图像是在还未执行分组处理时的图像。从图26A所示的图像351中提取出四个面部361至364。关于各个面部的位置关系，面部361和面部362是相邻的，面部363远离面部362，但是该面部大于其他面部，并且面部364远离面部361至363。 

假定作为对这种图像执行分组处理的结果，生成了如图26B所示的一个群组。面部361和面部362被包括在群组381中，其设有标签“夫妻”。该群组381是第一层群组。面部361至363被包括在群组382中，其设有标签“朋友”。该群组382是第二层群组。面部361至364被包括在群组383中，其设有标签“朋友”。该群组383是第三层群组。 

在以这种方式生成了多个群组并且提供了标签的图像被用来进行紧密度得分计算的情况下，计算面部ID的群组之间的距离得分。面部361和面部362属于同一层，因此Ntree为“0”。因此，在对表达式(13)替换了该Ntree＝0后，计算出“2”的Score_f。因此，面部361和面部362之间的距离得分为2。 

假定该计算结果被写入在诸如图26C所示的表格中。现在，为了描述的方便，下面的描述假定面部ID、距离得分和标签是以表格格式管理的，但是这并不表明管理仅限于表格格式。可以采用任何种类的格式，只要面部ID、距离得分和标签可以被管理和处理即可。 

沿着图26C所示的表格391中的侧向和垂直方向对面部ID进行描述。在图26C中，提供给图26A中所示的图像351的数字被用作面部ID。数值“2”被作为距离得分写入在用作面部ID的“361”和用作面部ID的“362”相交的栏中。另外，面部361和面部362已设有标签“夫妻”，因此标签名“夫妻”被写入在其中。 

类似地，面部361和面部363分别属于第一层和第二层，因此Ntree为“1”。因而，在对表达式(13)替换了Ntree＝1后，计算出Score_f为“1”。因而，面部361和面部363之间的距离得分为1。对于图26C中所示的表格391，数值“1”被作为距离得分写入在用作面部ID的“361”和用作面部ID的“363”相交的栏中。另外，面部361和面部363已设有标签“朋友”，因此标签名“朋友”被写入在其中。 

类似地，面部361和面部364分别属于第一层和第三层，因此Ntree为“2”。因而，在对表达式(13)替换了Ntree＝2后，计算出Score_f为“0.5”。因而，面部361和面部364之间的距离得分为0.5。对于图26C中所示的表格391，数值“0.5”被作为距离得分写入在用作面部ID的“361”和用作面部ID的“364”相交的栏中。另外，面部361和面部364已设有标签“朋友”，因此标签名“朋友”被写入在其中。 

类似地，面部362和面部363分别属于第一层和第二层，因此Ntree为“1”。因而，在对表达式(13)替换了Ntree＝1后，计算出Score_f为“1”。因而，面部362和面部363之间的距离得分为1。对于图26C 中所示的表格391，数值“1”被作为距离得分写入在用作面部ID的“362”和用作面部ID的“363”相交的栏中。另外，面部362和面部363已设有标签“朋友”，因此标签名“朋友”被写入在其中。 

类似地，面部362和面部364分别属于第一层和第三层，因此Ntree为“2”。因而，在对表达式(13)替换了Ntree＝2后，计算出Score_f为“0.5”。因而，面部362和面部364之间的距离得分为0.5。对于图26C中所示的表格391，数值“0.5”被作为距离得分写入在用作面部ID的“362”和用作面部ID的“364”相交的栏中。另外，面部362和面部364已设有标签“朋友”，因此标签名“朋友”被写入在其中。 

类似地，面部363和面部364分别属于第二层和第三层，因此Ntree为“1”。因而，在对表达式(13)替换了Ntree＝1后，计算出Score_f为“1”。因而，面部363和面部364之间的距离得分为1。对于图26C中所示的表格391，数值“1”被作为距离得分写入在用作面部ID的“363”和用作面部ID的“364”相交的栏中。另外，面部363和面部364已设有标签“朋友”，因此标签名“朋友”被写入在其中。 

以这种方式，在基于表达式(13)计算出面部ID的群组之间的距离得分后，处理进行到步骤S485。在步骤S485中，通过相加距离得分来计算紧密度得分。紧密度得分是通过针对每个相同人物相加图像内面部ID之间的群组间距离得分来计算的。 

这将参考图27A至27C进行描述。首先，图27A图示了对另一图像执行的处理的结果。假定图27A也处在被成像的面部361至364被取为要处理时，这与图26A至26C相同。此时，利用图27A中所示的处理结果，面部361和面部363被包括在群组401中，其设有标签“夫妻”。该群组401是第一层群组。面部361至363被包括在群组402中，其设有标签“朋友”。该群组402是第二层群组。面部361至364被包括在群组403中，其设有标签“朋友”。该群组403是第三层群组。 

在生成了这些群并且提供了这样的标签的情况下，计算诸如图27B中所示的表格411。在创建图26C中的表格391时已经描述了如 何计算在表格411中写入的距离得分，因此将省略其描述。 

在表格411中，数值“1”被作为距离得分写入在用作面部ID的“361”和用作面部ID的“362”相交的栏中，其已设有标签“朋友”，因此标签名“朋友”被写入在其中。在表格411中，数值“2”被作为距离得分写入在用作面部ID的“361”和用作面部ID的“363”相交的栏中，其已设有标签“夫妻”，因此标签名“夫妻”被写入在其中。 

在表格411中，数值“0.5”被作为距离得分写入在用作面部ID的“361”和用作面部ID的“364”相交的栏中，其已设有标签“朋友”，因此标签名“朋友”被写入在其中。在表格411中，数值“1”被作为距离得分写入在用作面部ID的“362”和用作面部ID的“363”相交的栏中，其已设有标签“朋友”，因此标签名“朋友”被写入在其中。 

在表格411中，数值“1”被作为距离得分写入在用作面部ID的“362”和用作面部ID的“364”相交的栏中，其已设有标签“朋友”，因此标签名“朋友”被写入在其中。在表格411中，数值“0.5”被作为距离得分写入在用作面部ID的“363”和用作面部ID的“364”相交的栏中，其已设有标签“朋友”，因此标签名“朋友”被写入在其中。 

以这种方式，针对每个图像计算了面部ID之间的距离得分，因此，生成了诸如图26C和27B中所示的表格391(411)。在以这种方式生成了表格的情况下，在步骤S485中，通过针对每个相同人物相加图像内面部ID之间的距离得分来计算紧密度得分。 

将参考表格391和表格411进行描述。图像内面部ID之间的距离得分已经写入在表格391和表格411中。“针对每个相同人物相加距离得分”是指例如相加面部361和面部362之间的距离得分。面部361和面部362之间的距离得分在表格391中是“2”，而在表格411中是“1”。因而，相加面部361和面部362之间的距离得分的结果变为“3”(＝2+1)。该“3”被取为面部361和面部362之间的紧密度。 

另外，面部361和面部362的标签在表格391中是“夫妻”，而在表格411中是“朋友”。因此，在这种情况下，两个不同标签“夫妻”和“朋友”要被添加到面部361和面部362的标签。假定通过重复该处理 生成了表格421。现在，下面的描述将假定表格421要被生成，但是可能不是表格形式的。 

在表格421中，数值“3”被作为紧密度得分写入在用作面部ID的“361”和用作面部ID的“363”相交的栏中，其已设有标签“夫妻”和标签“朋友”。这是因为面部361和面部363之间的距离得分在表格391中是“1”，而在表格411中是“2”，因此通过相加这些值而获得的“3”要被写入在表格421中作为紧密度得分。另外，这是因为面部361和面部363的标签在表格391中是“朋友”，而在表格411中是“夫妻”，因此这两个标签被写入在表格421中。 

在表格421中，数值“1”被作为紧密度得分写入在用作面部ID的“361”和用作面部ID的“364”相交的栏中，其已设有标签“朋友”。这是因为面部361和面部364之间的距离得分在表格391中是“0.5”，在表格411中也是“0.5”，因此通过相加这些值而获得的“1”要被写入在表格421中作为紧密度得分。另外，这是因为面部361和面部364的标签在表格391和表格411中都是“朋友”，因此该单个标签被写入在表格421中。 

在表格421中，数值“1”被作为紧密度得分写入在用作面部ID的“361”和用作面部ID的“364”相交的栏中，其已设有标签“朋友”。这是因为面部361和面部364之间的距离得分在表格391中是“0.5”，在表格411中也是“0.5”，因此通过相加这些值而获得的“1”要被写入在表格421中作为紧密度得分。另外，这是因为面部361和面部364的标签在表格391和表格411中都是“朋友”，因此该单个标签被写入在表格421中。 

在表格421中，数值“2”被作为紧密度得分写入在用作面部ID的“362”和用作面部ID的“363”相交的栏中，其已设有标签“朋友”。这是因为面部362和面部363之间的距离得分在表格391中是“1”，在表格411中也是“1”，因此通过相加这些值而获得的“2”要被写入在表格421中作为紧密度得分。另外，这是因为面部362和面部363的标签在表格391和表格411中都是“朋友”，因此该单个标签被写入在 表格421中。 

在表格421中，数值“1.5”被作为紧密度得分写入在用作面部ID的“362”和用作面部ID的“364”相交的栏中，其已设有标签“朋友”。这是因为面部362和面部364之间的距离得分在表格391中是“0.5”，而在表格411中是“1”，因此通过相加这些值而获得的“1.5”要被写入在表格421中作为紧密度得分。另外，这是因为面部362和面部364的标签在表格391和表格411中都是“朋友”，因此该单个标签被写入在表格421中。 

在表格421中，数值“1.5”被作为紧密度得分写入在用作面部ID的“363”和用作面部ID的“364”相交的栏中，其已设有标签“朋友”。这是因为面部363和面部364之间的距离得分在表格391中是“1”，而在表格411中是“0.5”，因此通过相加这些值而获得的“1.5”要被写入在表格421中作为紧密度得分。另外，这是因为面部363和面部364的标签在表格391和表格411中都是“朋友”，因此该单个标签被写入在表格421中。 

以这种方式，计算出距离得分，从而计算出其紧密度得分。返回图25中的流程图，在利用步骤S485中计算出的距离得分计算了其紧密度得分后，即，在创建了诸如图27C中所示的表格421后，处理进行到步骤S486。 

在步骤S486中，判断出多个标签已被提供给要处理的人物。例如，假定要处理的人物是面部361的人物。在参考图27C中所示的表格421的情况下，标签“夫妻”和标签“朋友”的两个标签(即，多个标签)已被提供给面部361。因此，在面部361被设置为要处理的人物的情况下，在步骤S486中判断出已经提供了多个标签，并且处理进行到步骤S487。 

在步骤S487中，根据标签获得得分。在这种情况下，已经提供了多个标签，因此针对其每个标签获得通过相加距离得分而获得的值。也就是说，如上所述，紧密度得分是通过相加距离得分而获得的值，并且其距离得分已经基于标签计算出来(参见表达式(13))。 

例如，在参考图27C中的表格421的情况下，面部361和面部362之间的紧密度得分是“3”，其中提供了标签“夫妻”和标签“朋友”。当参考表格391(图26C)时提供了标签“夫妻”，并且其距离得分是“2”。另外，当参考表格411(图27B)时提供了标签“朋友”，并且其距离得分是“1”。 

这里，当例示了要处理两个图像时，处理是这种方式的，但是实际上，有多个图像要处理，因此，要参考的表格的数目是两个或更多个，因此针对每个标签加总多个距离得分。 

根据执行的步骤S487中的处理，例如，在面部361和面部362已被设置为要处理的情况下，获得与“夫妻”标签相对应的得分“2”，并获得与“朋友”标签相对应的得分“1”。 

在步骤S488中，获得与标签相对应的系数。该与标签相对应的系数例如以表格的形式被保存在面部群集单元26(图1)中。现在，将描述写有系数的表格。图28是图示表格451的例子的示意图，其中写有与标签相对应的系数。 

表格451是这样一个表格，其中标签名和要与已被提供该标签名的标签相乘的系数被关联及管理。在参考图28中的表格451的情况下，标签名“夫妻”与系数“1.5”相关联。标签名“家庭”与系数“1.2”相关联。标签名“朋友”与系数“1.0”相关联。 

以这种方式，关于可被认为具有紧密关系的标签(例如“夫妻”或“父母-孩子”)的系数被布置为相对于另一标签的系数优选地使用较大的加权值。使用这样的加权值是指在后续阶段的处理中，具有较高得分值的标签因此被用作人物之间的标签。这种系数是符合需要的，但是该系数并不限于图28中所示的数值。或者，该系数可以由用户设置。具体而言，例如，在用户想要赋予标签名“朋友”相比其他标签名的优先级时，可以进行布置使得标签名“朋友”的系数的数值可以改变。 

另外，在已估计的关系不一致(例如，尽管要处理的人物是兄弟/姐妹，但他们是夫妻)的情况下，可以进行这样一种布置，其中为每 个标签分配优先级，并且基于其优先级执行处理。这之所以可以实现是因为可以通过例如调节系数从而增大上述系数的值来提高优先级。 

返回图25中的流程图，在步骤S488中，获得与系数相对应的标签。例如，在面部361和面部362已被设为要处理的情况下，通过参考表格451读出与标签“夫妻”相对应的系数“1.5”，并读出与标签“朋友”相对应的系数“1.0”。 

在步骤S489中，针对每个标签相乘得分和相应的系数。例如，在面部361和面部362已被设置为要处理的情况下，与标签“夫妻”相对应的得分是“2”，并且系数是“1.5”，因此这些值被相乘，从而计算出值“3.0”。根据相同的处理，与标签“朋友”相对应的得分是“1”，并且系数是“1.0”，因此这些值被相乘，从而计算出值“1.0”。 

以这种方式，在执行了乘法并且获得了乘法结果后，处理进行到步骤S490。在步骤S490中，乘法结果是最大值的标签被用作最优标签，作为要处理的人物之间的标签。 

例如，在面部361和面部362已被设置为要处理的情况下，与“夫妻”标签相对应的乘法结果是“3.0”，而与“朋友”标签相对应的乘法结果是“1.0”，因此其乘法结果的数值较大的“夫妻”标签被提供作为面部361和面部362的人物之间的最优标签。 

以这种方式，在施加了多个标签的情况下，单个标签被选为最优标签并且被施加。 

注意，在已施加了多个标签、执行了诸如上述的处理并选择了单个标签的情况下，多条图像数据被处理，因此发生可能性可以设想为低，但是就多个人之间的关系而言存在相同标签可能被提供给同一人的可能性。例如，还可以设想这样一种情况，其中就面部361而言，与面部362的关系是“夫妻”，而与面部363的关系也是“夫妻”。 

在这种情况下，面部361和面部362是夫妻，并且面部361和面部363也是夫妻。尽管可能存在这种情况，但是这可以被设想为是不想要的结果。在这种情况下，可以执行处理以使得仅一个标签保留而另一个被改变为另一标签。 

以这种方式，在步骤S490中已提供了最优标签的情况下，或者在步骤S486中判断出还未向要处理的人物(面部)施加多个标签的情况下，处理进行到步骤S491。在步骤S491中，判断对于所有其他人的计算是否已完成。 

在步骤S491中判断出对于所有其他人的计算还未完成的情况下，处理返回到步骤S483，并且重复其后续处理。另一方面，在步骤S491中判断出对于所有其他人的计算已完成的情况下，处理进行到步骤S492。 

在步骤S492中，判断是否已就所有人执行了紧密度得分的计算。在步骤S492中判断出还未就所有人执行了紧密度得分的计算的情况下，处理返回到步骤S483，并且重复其后续处理。另一方面，在步骤S492中判断出已就所有人执行了紧密度得分的计算的情况下，图25中所示的人物之间的紧密度计算处理结束，并且处理进行到步骤S18(图2)。 

人物关联数据的生成 

返回图2中的流程图。在步骤S17中，在已执行了人物之间的紧密度的计算、提供了最优标签并且也已计数了每个人的出现次数的情况下，在步骤S18中使用这些信息来生成人物关联数据，并将其保存在人物关联数据库41中。 

人物关联数据是根据具有出现次数得分的人物、与该人物具有高紧密度的多个人的紧密度和标签生成的。人物关联数据以这种方式被生成，因此可以认为该数据是代表与紧密关联的人物间的关系的数据，其中人物关联是标签并且以图像中具有高出现次数的人物为中心。 

“以图像中具有高出现次数的人物为中心”意味着在图像中具有高出现次数的人物是拍摄者有意拍摄的人，并且可以假定这个人被放在中心处，从而可以创建以拍摄者关注的人物为中心的关联地图。 

换句话说，可以确定在图像中具有低出现次数的人物是拍摄者无 意中拍摄的人，拍摄者不想把这个人放在中心处。因此，在图像中具有低出现次数的人物在创建人物关联数据时不能被设置为要处理，例如其出现次数等于或小于预定阈值的人物，其出现次数相对所有人的出现次数的总和等于或小于预定比率的人物，等等。 

人物关联数据501由图29中所示的两条数据构成。用作其中一条数据的数据502是与人物个体有关的数据，而用作另一条数据的数据503是用于标识人物之间的关系的数据。图29中所示的数据内的数值等仅是一个例子。 

数据502是用于以彼此关联的方式管理人物ID、出现次数得分、面部图标图像和属性的数据。对于图29中所示的数据502，人物ID“001”的出现次数得分是“34”，面部图标图像是“User001.jpg”，并且属性是“MAN/Age：24”(男人/年龄：24)，这些信息彼此关联。 

类似地，人物ID“002”的出现次数得分是“13”，面部图标图像是“User002.jpg”，并且属性是“WOMAN/Age：23”(女人/年龄：23)，这些信息彼此关联。人物ID“003”的出现次数得分是“21”，面部图标图像是“User003.jpg”，并且属性是“MAN/Age：65”(男人/年龄：65)，这些信息彼此关联。 

在基于人物关联数据501的数据创建的画面(它是要参考图30描述的画面)上，显示了人物的面部图像。人物的面部图像是面部图标图像，例如，在面部图标图像的栏中描述了从预定图像中裁剪出的仅面部部分的图像数据的文件名。 

另外，在与构成数据502的“属性”有关的数据中，在分组处理中已获得了与性别有关的数据(例如“MAN”或“WOMAN”)，从而可以写入该信息。 

另外，在分组处理中也已获得了与“年龄”有关的信息，因此可以使用其信息，但是如图29所示，诸如“24”之类的特定数值(年龄)并未确定。显然，如果可以识别特定年龄，则在数据502的属性栏中可以描述所识别出的年龄。在未能识别特定年龄的情况下，对于上述例子，作为判断结果的诸如成人或孩子之类的信息可以被写入。 

另外，要在属性栏中写入的信息可以在用户写入时被写入。在该信息要由用户写入的情况下，可以获得诸如年龄之类的精确值，这被设想为是期望的模式。 

对于本实施例，该人物关联数据501内的数据被配置为可由用户校正，这将在后面描述。因此，假设即使在上述分组处理等中执行了错误的判断并且提供了错误的标签，其错误也是可校正的，因此可以实现人物关联数据501内的数据的正确性。 

下面将描述图29中所示的数据503。在数据503中，以彼此关联的方式管理了人物ID1、人物ID2、紧密度得分、标签和照片图像。对于图29中所示的数据503，人物ID1“001”和人物ID2“002”之间的紧密度得分是“5.5”，标签是“夫妻”，并且照片图像是“DSC00001.jpg”，这些信息彼此关联。 

类似地，人物ID1“002”和人物ID1“003”之间的紧密度得分是“2.25”，标签是“家庭”，并且照片图像是“DSC00002.jpg”，这些信息彼此关联。人物ID1“003”和人物ID1“001”之间的紧密度得分是“0.25”，标签是“朋友”，并且照片图像是“DSC00003.jpg”，这些信息彼此关联。 

在作为步骤S17中的处理执行的计算人物之间的紧密度的处理中获得的紧密度得分和标签例如是通过参考图27C中所示的表格421生成的数据。另外，例如，在已按照人物ID1“001”和人物ID1“002”对人物(脸部)成像的照片被指派的情况下，在照片图像栏中可描述用作代表的照片的文件名。 

在步骤S18中生成了由这样的数据构成的人物关联数据501并将其保存在人物关联数据库41(图1)中后，参考图2中的流程图所述的数据库创建处理结束。 

以这种方式，在人物关联数据库41中保存了人物关联数据501后，基于其人物关联数据501的画面在显示控制单元21的控制下被显示在显示单元11上。图30图示了要显示在显示单元11上的画面的例子。 

画面 

图30是图示要显示在显示单元11上的画面的例子的示意图。要显示在显示单元11上的画面由关联图像显示部分601和工具显示部分602组成，关联图像显示部分601用于显示与人物关联有关的图像，在工具显示部分602中显示了要对关联图像显示部分601内的图像执行编辑的工具等等。 

对于关联图像显示部分601，显示了多个面部图像611至617、表明这些面部图像被链接的线段621至628、指示面部图像的人物之间的关系的标签641至647、以及包括所显示的面部图像的代表性图像651。 

面部图像611被显示在关联图像显示部分601的中心部分处。该面部图像611是图像中出现次数多且用作中心的面部的人物的图像。该面部图像611的图像数据是基于在构成人物关联数据501的数据502(图29)的面部图标图像栏中描述的文件名的数据。另外，同样关于出现次数的数据，参考数据502。另外，图像中出现次数多的面部图像被配置为相比于图像中出现次数少的面部图像被显示得较大。 

线段621和线段622从面部图像611向外伸出。线段表明该面部图像(人物)具有某种关系。另外，可以进行这样的布置，其中具有高紧密度的面部图像之间的线段被显示得较短，而具有低紧密度的面部图像之间的线段被显示得较长。线段621在面部图像611和面部图像612之间伸展，并且标签641被显示在线段621附近作为显示其关系的标签。该标签644的信息是从数据503中提取出的信息。具体而言，在面部图像611的人物ID是“001”而面部图像612的人物ID是“002”的情况下，通过参考数据503可以发现该标签是“夫妻”。标签641的图像是根据该标签的信息生成的，并且被显示在在面部图像611和面部图像612之间伸展的线段621附近。 

以这种方式，基于人物关联数据501生成了关联图像显示部分601内的图像。当继续对图30中所示的画面的描述时，线段622在面 部图像611和面部图像613之间伸展，并且“孩子”标签642被显示在线段622附近作为表示其关系的标签。 

线段623在面部图像612和面部图像613之间伸展，并且“孩子”标签642被显示在线段623附近作为表示其关系的标签。根据这种标签等，观看者可以认识到面部图像611的人物和面部图像612的人物是夫妻(已婚夫妻)，并且其孩子是面部图像613的人物。关于面部图像的显示位置，垂直和水平方向上的显示位置是根据年龄、关系等确定的。 

线段624在面部图像612和面部图像614之间伸展，并且“朋友”标签643被显示在线段624附近作为表示其关系的标签。在这种情况下，可以认识到面部图像612的人物和面部图像614的人物是朋友。注意，在这种情况下，面部图像612的人物和面部图像614的人物是朋友，但是面部图像611的人物和面部图像614的人物不是朋友。假设如果面部图像611的人物和面部图像614的人物是朋友，则一条线段会在面部图像611和面部图像614之间伸展，并且在面部图像611的人物和面部图像614的人物是朋友的情况下显示有一个标签。 

线段625在面部图像611和面部图像615之间伸展，并且“父母”标签644被显示在线段625附近作为表示其关系的标签。在这种情况下，可以认识到面部图像611的人物和面部图像615的人物具有父母关系，同样在该父母关系下，在以面部图像611的人物为中心设想该关系的情况下，面部图像615的人物等同于其父母。也就是说，中心人物是面部图像611的人物，因此相对于面部图像611的人物，面部图像613的人物是孩子，而面部图像615的人物是父母。 

以这种方式，表明一个人相对中心人物具有何种关系的画面是关联图像显示部分601。例如，在观看者已通过执行预定操作将面部图像613移动到关联图像显示部分601的中心部分的情况下，该画面被更新为其中面部图像613的人物被设置为中心人物的画面。在面部图像613已被设置为中心人物的情况下，由于面部图像611的人物是相对于面部图像613的人物而言的人物，因此面部图像613和面部图像 611之间的标签被改变为“父母”标签。 

为了实现这种改变，人物ID1和人物ID2被提供给构成人物关联数据501的数据502(图29)。具体而言，对于数据502，在标签栏中描述了表明当从人物ID1的人看人物ID2的人时具有何种关系。因此，即使人物ID1和人物ID2之间的集合相同，标签信息也是不同的。 

返回图30中所示的画面示例，线段626在面部图像615和面部图像616之间伸展，并且“朋友”标签645被显示在线段626附近作为表示其关系的标签。线段627在面部图像616和面部图像617之间伸展，并且“朋友”标签646被显示在线段627附近作为表示其关系的标签。线段628在面部图像617和面部图像615之间伸展，并且“朋友”标签647被显示在线段628附近作为表示其关系的标签。 

从这种显示可以认识到，面部图像615的人物、面部图像616的人物和面部图像617的人物具有朋友关系。在具有这种关系时，在图30中，绘图和描述都假定显示的是单数形式的“朋友”标签，但是也可以采用复数形式的“朋友”(多个朋友)标签。 

这种表示多个人与作为中心的预定人物之间的关系的图像可以通过执行诸如上述的分组处理等，且生成了人物关联数据501的情况下而生成。另外，可以进行这样的布置，其中观看者可以利用显示在工具显示部分602上的工具来改变关联图像显示部分601内的信息。 

对于工具显示部分602，准备了四条线段作为工具。首先，线段661是在以下情况下使用的工具：要在两个面部图像之间伸展的线段被添加并且“父母”标签被添加。类似地，线段662是在以下情况下使用的工具：要在两个面部图像之间伸展的线段被添加并且“朋友”标签被添加。类似地，线段663是在以下情况下使用的工具：要在两个面部图像之间伸展的线段被添加并且“夫妻”标签被添加。类似地，线段664是在以下情况下使用的工具：要在两个面部图像之间伸展的线段被添加并且“家庭”标签被添加。 

另外，在删除已伸展的线段的链接时使用的剪刀665也被显示在 工具显示部分602中。下面将参考图31A至33C描述如何使用这些工具。 

与标签的改变或添加有关的处理 

图31A至31C是用于描述在利用剪刀665删除链接时执行的处理的示意图。如图31A所示，在线段624在面部图像612和面部图像614之间伸展并且标签643被显示的状态中，假定观看者希望通过剪刀665切掉该线段624。 

在这种情况下，观看者拖曳显示在工具显示部分602上的剪刀665在保持其状态的情况下移到线段624上。通过这样的移动，剪刀665变为诸如图31B所示的状态。在图31B中，剪刀665位于线段624上。以这种方式，当剪刀665位于线段624上时，在执行诸如点击之类的预定操作后，线段624被删除。 

也就是说，如图31C所示，显示在面部图像612和面部图像614之间的线段624被删除而不被显示。另外，在线段624被删除后，指示其关系的标签643也变为不可见状态。另外，尽管未在图中示出，但是面部图像614自身可以不被显示。也就是说，在这种情况下，当参考图30时，与用作中心人物的面部图像611的人物有紧密关系的人是面部图像612的人物，而不是面部图像614的人物，因此相对中心人物具有较低紧密度的面部图像可以被删除(可以不被显示)。 

下面将参考图32A至32C描述在改变显示标签时的处理。该处理例如在调阅人希望执行改变时(由于所显示的标签具有不适当的标签名)而执行。 

如图32A所示，在线段621在面部图像611和面部图像612之间伸展并且“朋友”标签641被显示的状态中，假定“朋友”标签641期望被改变为“夫妻”标签。在这种情况下，观看者通过操作鼠标等将光标701移到标签641上。图32A图示了光标701被移动到标签641上的状态。 

在光标701位于预定标签上时执行诸如点击之类的预定操作后， 该标签被改变。也就是说，如图32B所示，在执行一次点击后，显示从“朋友”标签641改变为“孩子”标签641’。当满足“孩子”标签641’时，观看者应当结束操作。然而，在这种情况下，观看者在光标701位于标签641’上时进一步执行诸如点击之类的预定操作以改变为“夫妻”标签。 

通过再次执行点击进一步改变标签名，并且标签名变为“夫妻”标签641″。该状态在图32C中示出。也就是说，可以进行这样一种布置，其中观看者在光标701位于想要改变标签名的标签上的状态中执行操作，直到显示期望的标签名为止，此时标签名可以被改变为期望的标签名。 

接下来，将参考图33A至33C描述在面部图像之间伸展新的线段(提供新的链接)时的处理。图33A中所示的状态是这样一种状态，其中面部图像612和面部图像614被显示，但是没有线段在其面部图像之间伸展并且没有标签被显示。在这种状态时，假定观看者期望在面部图像612和面部图像614之间伸展一条线段(提供一个链接)。 

当拍摄者期望伸展线段时，拍摄者从显示在工具显示部分602上的线段661至664中选择具有期望的标签名的线段。现在，假定选择了标签名“朋友”的线段662。拍摄者通过执行诸如拖曳之类的预定处理将线段662移到期望伸展线段的两个面部图像中的一个面部图像上。图33B中所示的状态指示线段662被移动到面部图像614上的状态。 

从这种状态开始，在拍摄者进一步执行诸如从面部图像614向面部图像612拖曳等的预定操作后，线段624被显示在面部图像612和面部图像614之间，并且“朋友”标签643被显示，如图33C所示。因而，当在面部图像之间提供链接时，可以进行这样一种布置，其中拍摄者从工具显示部分602中选择期望的线段661至664，并且执行诸如连接面部图像之类的预定操作，从而可以提供一个链接。 

在拍摄者执行了这样的操作的情况下，必须执行以下处理，其中人物关联数据501内的相应数据被改变。该处理将参考图34至35中 所示的流程图进行描述。 

图34中所示的流程图是用于描述参考图31A至31C所述的在删除线段(删除链接)时执行的处理的流程图。在判断出已执行了用于删除线段的操作的情况下，在步骤S511中利用两个人物ID作为关键字搜索相应的数据。例如，图31A至31C中所示的例子是在执行用于删除面部图像612和面部图像614之间的线段624(标签643)的操作时的例子，因此，与面部图像612相对应的人物ID和与面部图像614相对应的人物ID被设置为关键字。 

如上所述，对于图31A至31C中所示的例子，面部图像612的人物相比于面部图像614的人物相对中心人物有更紧密的关系，因此以对应于面部图像612的人物ID作为人物ID1并以对应于面部图像614的人物ID作为人物ID2的数据被搜索并从数据502(图29)中提取出来。 

在搜索并提取出了这样的数据后，在步骤S512的处理中删除其数据。例如，在与面部图像612相对应的人物ID是“003”而与面部图像614相对应的人物ID是“001”的情况下，通过搜索数据503(图29)，第三行上的数据被提取出来并被删除。 

接下来，将参考图35中的流程图描述在执行参考图32A至32C所述的与改变标签的标签名有关的操作时执行的处理。在判断出观看者已执行了用于改变标签的操作的情况下，在步骤S531中利用这两个人物ID作为关键字来搜索相应的数据。例如，图32A至32C中所示的例子是在执行用于改变面部图像611和面部图像612之间的标签641的标签名的操作时的例子，因此，与面部图像611相对应的人物ID和与面部图像612相对应的人物ID被设置为关键字。 

例如，以对应于面部图像611的人物ID作为人物ID1或人物ID2、以对应于面部图像612的人物ID作为人物ID2或人物ID1、并在标签字段中写入了标签名“朋友”的数据被从数据503(图29)中搜索并提取出来。 

在搜索并提取出了这样的数据后，在步骤S532的处理中改变该 数据。例如，对于图32A至32C中所示的例子，标签栏中的标签名被从标签名“朋友”改变为标签名“夫妻”。 

接下来，将参考图36中的流程图描述在执行参考图33A至33C所述的与标签添加有关的操作时执行的处理。在操作判断单元22(图1)判断出观看者已执行了用于添加线段的操作的情况下，在步骤S551中，人物关联数据更新单元24利用这两个人物ID作为关键字来搜索人物关联数据库41内的数据。例如，图33A至33C中所示的例子是在执行用于在面部图像612和面部图像614之间添加线段的操作时的例子，因此，与面部图像612相对应的人物ID和与面部图像614相对应的人物ID被设置为关键字。 

在面部图像612和面部图像614之间没有线段的这种状态中，存在数据502的标签栏可能为空或者没有数据502自身的可能性。因此，在步骤S552中，判断是否有数据。利用该判断，例如，在以对应于面部图像612的人物ID作为人物ID1或人物ID2、以对应于面部图像614的人物ID作为人物ID2或人物ID1、并且标签栏为空的数据被从数据503(图29)中搜索并提取出来的情况下，判断出有数据，并且处理进行到步骤S553。 

在步骤S553中，处理进行到改变处理。该改变处理是参考图35中所示的流程图所述的改变标签的处理。也就是说，在这种情况下，数据502中有数据，因此改变处理是用于重写其数据的处理，从而可以以与用于重写标签的处理相同的方式执行改变处理。 

另一方面，在步骤S552中判断出没有数据的情况下，处理进行到步骤S554。在这种情况下，数据503中没有数据，但是数据502中有数据(在数据502中没有数据的情况下，没有面部图标图像自身，因此没有面部图像被显示)。在步骤S554中，两个人物ID和标签的记录被添加到数据503。 

例如，在图33A至33C所示的状态中，与面部图像612相对应的人物ID和与面部图像614相对应的人物ID被写入数据503中，并且标签名“朋友”被写入标签栏中。构成数据503的其他信息(例如， 紧密度得分和照片图像)通过执行计算也被填充在内，或者文件名在适当情况下被写入。 

另外，提供了这样一种布置，其使得存储在人物关联数据库41中的人物关联数据501可以被用户校正或改变。将参考图37至39来描述与这样的校正或改变有关的处理。 

首先，将参考图37中的流程图描述个体面部添加处理。个体面部添加处理是在用户执行校正以便当作同一人处置时的处理(例如在显示在关联图像显示部分601内的同一人的面部图像的数目等于或大于2的情况下，换句话说，在由于错误的判断同一人被当作不同人加以处理的情况下)。另外，该处理是这样一种处理，其中当存在用户想要显示的面部(面部图像)但是该面部并未显示在关联图像显示部分601上时，其面部被添加。 

在步骤S601中，判断用户所指定的面部(面部图像)是否具有人物ID。在步骤S601中判断出用户所指定的面部具有人物ID的情况下，处理进行到步骤S602。在步骤S602中，存在被反映的源人物ID的信息被更新。也就是说，与对应于用户所指定的面部的人物ID有关的信息被更新。 

在步骤S602中的更新处理已完成的情况下，或者在步骤S601中判断出该面部没有人物ID的情况下，处理进行到步骤S603。在步骤S603中，利用添加目标人物ID执行重写。该情况是同一人被判断为是不同人的情况，因此这是被分配给一不同的人物ID的状态，或者是一个人物ID被分配给仅一个面部的状态。在这种状态中，执行以下处理：将多个人物ID合并到这些人物ID的任一个中，或者将所分配的人物ID也分配给另一个。 

在步骤S604中，更新与所重写的人物ID有关的各种类型的得分。例如，很有可能出现次数或者紧密度得分由于人物ID被重写而变为不同的得分，因此在步骤S604的处理中再次执行这些得分的更新处理。 

接下来，将参考图38中的流程图描述人物关联添加处理。人物 关联添加处理是这样一种处理，其中存在人物之间的关系可能无法以100％的精度判断的可能性，因此与人物关联有关的数据首先如上所述被生成，随后，用户被允许执行关系的添加或者删除错误的判断。 

在步骤S631中，基于添加源的信息来更新各种类型得分的添加目标。例如，在执行了新关系的添加(线段或标签的添加)的情况下，在执行了关系的删除(线段或标签的删除)的情况下，与该添加或删除相对应的信息被更新。随后，在步骤S632中，不必要的数据(例如人物关联的冗余信息等)被删除。随后，在步骤S633中，具有添加源的人物ID的面部信息的人物ID也被更新。 

这种处理是包括以下处理的处理：图34中用于删除标签的处理、图35中用于改变标签的处理、以及图36中用于添加标签的处理，并且与每种处理相对应的处理得到执行。 

接下来，将参考图39中的流程图描述面部分离处理。面部分离处理是与图37中描述的个体面部添加处理相反的处理。具体而言，面部分离处理是在执行校正时执行的处理，从而使得在由于错误的判断不同人被当作同一人来处理的情况下，这些人可以被用户当作不同的人来处置。 

在步骤S651中，判断已被指示分离的面部是否具有人物ID。在步骤S651中判断出该面部具有人物ID的情况下，处理进行到步骤S652。在步骤S652中，存在被反映的源人物ID的信息被校正。也就是说，与对应于用户所指定的面部的人物ID有关的信息被校正。 

在步骤S652中的校正处理已完成的情况下，或者在步骤S651中判断出该面部没有人物ID的情况下，处理进行到步骤S653。在步骤S653中，判断是否有添加目标人物ID。在步骤S653中判断出有添加目标人物ID的情况下，处理进行到步骤S654。 

在步骤S654中，利用添加目标人物ID执行重写。也就是说，这种情况是以下情况：被分离的面部是已经登记的面部并且其人物ID已被分配，因此利用其人物ID执行重写。诸如更新得分等的处理被适当地执行。 

另一方面，在步骤S653中判断出没有添加目标人物ID的情况下，处理进行到步骤S655。在这种情况下，为了提供一个通过执行分离没有人物ID被分配给该面部的状态，在步骤S655的处理中新创建一个人物。也就是说，新分配一个人物ID，或者计算得分。 

以这种方式，面部的辨认精度不是100％是很正常的，因此存在可能发生错误的可能性。这种错误可以被用户校正，从而可以生成与高精度人物关联有关的信息。 

以这种方式，根据本实施例，可以生成用于绘制在拍摄者成像的图像中露面的人物的关联地图的数据，并且可以绘制基于其数据的关联地图。根据这种绘图，可以根据人物关联记住在拍摄时拍摄者的记忆或周围环境，并且可以实现基于拍摄者的真实生活体验的照片浏览。 

另外，对于本实施例，采用了主要涉及人物的排序方法，这与根据相关技术的局限于时间或地点的照片排序方法不同，因此可以执行针对每个用户个性化的搜索。例如，可以执行以下的搜索，诸如“与人物A是夫妻的人”、“与人物B是朋友的人”，等等。 

第二实施例 

接下来，将描述第二实施例。第二实施例在描述中包括第一实施例的冗余部分，因此与冗余部分有关的描述将被适当地省略。 

图40是图示包括根据第二实施例的信息处理设备的***的实施例配置的示意图。图40中所示的信息处理设备800通过向图1中所示的信息处理设备13的结构中添加事件群集单元801和时间点信息提取单元821组成。 

包括在图像分析单元27中的时间点信息提取单元821具有用于提取当作为图像分析的结果该图像被成像时的日期和时间的功能。事件群集单元801具有用于基于与所提取的日期和时间有关的信息对图像分类的功能。具体而言，事件群集单元801执行用于对在每个事件(例如，结婚庆典、运动会或者聚会)时成像的每幅图像针对每个事 件对事件分组的处理。 

人物关联数据库41存储人物关联数据，该数据包括用于辨认这是哪个事件的ID等等，并且人物关联数据库41是针对每个事件可以唯一地标识属于该事件的图像的数据库。 

关于其他部分的功能与图1中所示的信息处理设备13相同，因此这里将省略其描述。 

图40中所示的信息处理设备800的操作将参考图41中所示的流程图进行描述。在步骤S801中，获得要处理的图像数据。在步骤S802的处理中，对基于所获得的图像数据的图像执行面部识别处理，从而从要处理的图像中提取出面部(面部区域)。 

在步骤S803中，执行用于将所提取的面部分组到预定群组中的分组处理。作为其结果状态，在要处理的图像内生成了一个或多个群组，并且在一个群组中包括至少一个面部。步骤S801至S803中的处理分别是以与图2所示的流程图中的步骤S11至S13的处理相同的方式执行的，并且其详细描述已经给出，因此这里将省略其描述。 

在步骤S803中执行分组处理的同时，在步骤S804中对类似图像执行时间点信息的提取处理。时间点信息可以通过获得以EXIF格式保存的照片图像的“DateTimeOriginal”标签的信息来获得。利用步骤S804中的处理，时间点信息提取单元821提取出了当要处理的图像被拍摄时的日期和时间。在步骤S805中，判断是否要处理的所有图像数据都已被处理。 

在步骤S805中判断出并非要处理的所有图像数据都已被处理的情况下，处理返回到步骤S801，并且重复其后续处理。另一方面，在步骤S805中判断出要处理的所有图像数据都已被处理的情况下，处理进行到步骤S806。 

在步骤S806中，执行事件群集。该事件群集是由事件群集单元801利用在步骤S804中提取出的时间点信息执行的。与事件群集有关的详细描述例如在本受让人先前提交的日本未实审专利申请公布No.2007-94762中有所描述，并且根据该处理并基于其描述，可以执行步 骤S806中的处理。 

事件群集处理被执行，从而图像数据库42内的所有图像ID和拍摄时间点信息都在事件群集单元801处得以处理，并且针对每个拍摄事件被分组。在事件群集处理完成后，处理进行到步骤S807。在步骤S807中，获得相当于一个事件的数据。在步骤S808中，已获得相当于一个事件的数据的面部群集单元26执行面部群集处理，并且在步骤S809中生成人物。 

具体而言，首先，面部群集单元26从事件群集单元801的处理结果获得相同事件的图像的图像ID。随后，面部群集单元26从面部识别处理结果获得按事件递增的相应图像ID和面部ID的面部辨认特征量，并且利用面部辨认特征量的相似度对在相同事件内的照片中露面的每个相同人物执行分组。 

这种处理的执行导致以下状态：对于每个图像、每个事件生成了人物，并且多个相同人物被当作同一人被处置。在这种状态中，在步骤S810中执行个人的紧密度的计算处理。步骤S808至S810中的处理分别是以与图2所示的流程图中的步骤S15至S17的处理相同的方式执行的，并且其详细描述已经给出，因此这里将省略其描述。 

在步骤S811中，判断是否要处理的所有事件都已被处理。在通过步骤S806的处理中执行的事件群集处理已生成了多个事件的情况下，在步骤S811中判断是否已针对所有的这些事件执行了该处理。在步骤S811中判断出并非要处理的所有事件都已被处理的情况下，处理返回到步骤S807，并且对新事件重复步骤S807和其后的处理。 

另一方面，在步骤S811中判断出要处理的所有事件都已被处理的情况下，处理进行到步骤S812。在步骤S812中，生成人物关联数据并将其保存在人物关联数据库41中。该步骤S812中的处理是以与图2中的步骤S18的处理相同的方式执行的，因此将省略其描述。 

以这种方式，生成了包括事件信息的人物关联数据501。例如，生成了诸如图42中所示的人物关联数据501。图42中所示的人物关联数据501与图29中所示的人物关联数据501相比，不同之处在于 数据503被改变为用于关联事件ID的数据503’(加上了撇号以与图2中的数据503相区分)。 

数据503’是这样一种数据，其中事件ID、人物ID1、人物ID2、紧密度得分、标签和照片图像彼此关联。事件ID是要分配给每个事件以唯一地区分预定事件的ID。由相同事件ID管理的数据表明属于同一事件。图43图示了基于包括该数据503的人物关联数据501创建的要显示在显示单元11上的画面示例。 

图43中所示的画面的基本构成与图30中所示的画面相同。在将图43中所示的画面与图30中所示的画面相比较的情况下，图43中所示的画面与图30中所示的画面的不同之处在于用于选择事件的按钮851和852被显示在图43所示的画面的工具显示部分602上。 

按钮851是在显示“婚礼”的事件名并且在关联图像显示部分601上显示结婚庆典时的照片时要选择并操作的按钮。按钮852是在显示“聚会”的事件名并且在关联图像显示部分601上显示在聚会时的照片时要选择并操作的按钮。对于图43中所示的画面，仅图示了两个按钮，但是所显示的按钮数目对应于所生成的事件的数目。 

例如，当观看结婚庆典时的照片时，用户可以通过操作写入了“婚礼”事件名的按钮851来在关联图像显示部分601上显示结婚庆典时的照片。用户所选的按钮可以通过不同的颜色或箭头显示以与未选的按钮相区分。 

以这种方式，针对每个事件处理了图像并且还创建了包括事件信息的数据，从而可以向用户提供在图43中示出例子的画面。因此，用户(观看者)可以简单地通过操作按钮来观看在预定事件时拍摄的图像。另外，该图像被显示为在其事件时用作中心的人物与其他人物之间的关联地图，可以根据人物关联记住在拍摄时拍摄者的记忆和周围环境，并且可以实现基于拍摄者的真实生活体验的照片观看。 

另外，对于本实施例，采用了主要涉及人物的排序方法，这与根据相关技术的局限于时间或地点的照片排序方法不同，因此可以执行针对每个用户个性化的搜索。例如，可以执行以下的搜索，诸如“在 结婚庆典时的照片”、“与人物A是夫妻的人”、“与人物B是朋友的人”，等等。 

记录介质 

上述处理序列不仅可以通过硬件执行，还可以通过软件执行。在通过软件执行处理序列的情况下，构成其软件的程序被安装到计算机中。这里，计算机包括内置到专用硬件中的计算机、能够通过例如安装各种类型的程序来执行各种类型的功能的通用个人计算机，等等。 

图44是图示通过程序执行上述处理序列的计算机的硬件配置示例的框图。在该计算机中，CPU(中央处理单元)1001、ROM(只读存储器)1002、RAM(随机访问存储器)1003和总线1004相互连接。总线1004进一步与输入/输出接口1005相连。输入/输出接口1005与输入单元1006、输出单元1007、存储单元1008、通信单元1009和驱动器1010相连。 

输入单元1006由键盘、鼠标、麦克风等等构成。输出单元1007由显示器、扬声器等等构成。存储单元1008由硬盘、半导体存储器等等构成。通信单元1009由网络接口等等构成。驱动器1010驱动诸如磁盘、光盘、磁光盘、半导体存储器等的可移动介质1011。 

对于如上所述配置的计算机，例如通过CPU 1001经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM1003并执行该程序来执行上述处理序列。 

计算机(CPU 1001)执行的程序例如可以通过记录在用作封装介质等的可移动介质1011中来提供。另外，该程序可以经由诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供。 

对于该计算机，程序可以经由输入/输出接口1005通过安装在驱动器1010上的可移动介质1011安装在存储单元1008中。另外，程序可以通过经由有线或无线传输介质接收被安装到存储单元1008中。另外，程序可以被预先安装到ROM 1002或存储单元1008中。 

注意，计算机执行的程序可以是沿着说明书中描述的顺序按时序 执行处理的程序，或者可以是并行或者按适当的时序(例如在执行调用时等等)执行处理的程序。 

另外，对于本说明书，术语“***”表示由多个装置构成的整个设备。 

注意，本发明的实施例并不限于上述实施例，而是可以进行各种修改而不脱离本发明的实质。 

本申请包含与2009年12月22日向日本专利局提交的日本在先专利申请JP 2009-291129中公开的内容有关的主题，上述申请的全部内容通过引用而合并到本文中。 

本领域技术人员应当理解，取决于设计需求和其他因素可以发生各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在权利要求或其等同物的范围内。 

Claims (11)

1.一种信息处理设备，包括：

提取装置，被配置为从图像中提取面部；

分组装置，被配置为将由所述提取装置提取出的所述面部分类成群组；

添加装置，被配置为向由所述分组装置生成的群组添加指示该群组内的多个人物之间的关系的标签；

紧密度计算装置，被配置为根据由所述分组装置生成的群组之间的距离来计算所述面部的人物的紧密度；以及

人物关联数据生成装置，被配置为生成至少包括所述标签和所述紧密度的人物关联数据，

其中，所述分组装置包括：

第一生成装置，被配置为按照要提取并处理的每个面部距所有面部的位置的重心的位置来生成群组；

第二生成装置，被配置为根据要处理的每个面部的位置生成近似线，以按照距该近似线的距离生成群组；

添加装置，被配置为向由所述第二生成装置生成的群组添加不属于该群组的面部；

第三生成装置，被配置为将不包含在群组中的面部作为要处理的面部，通过获得距要处理的面部的坐标平均值的距离来生成群组；以及

第四生成装置，被配置为将不包含在群组中的面部作为要处理的面部，将剩下的面部单独取作群组。

2.如权利要求1所述的信息处理设备，所述分组装置还包括：

过滤装置，被配置为执行过滤以与所提取的面部的大小的平均值进行比较，并将大小等于或大于第一阈值的面部以及大小等于或小于第二阈值的面部都不设置为要处理的面部。

3.如权利要求1所述的信息处理设备，其中所述第二生成装置从要处理的所述面部中选择第一面部用作基准，以根据所述第一面部和第二面部生成近似线，选择距近似线的距离以及相对要处理的所述面部的大小的平均值之比是特定值或更小的面部，从而生成群组。

4.如权利要求1所述的信息处理设备，其中所述分组装置包括的添加装置向所述群组添加以下面部，该面部相对包含在由所述第二生成装置生成的群组中的面部的大小的平均值具有特定大小，且相对在所述第二生成装置生成群组时使用的所述近似线的距离在特定范围内。

5.如权利要求1所述的信息处理设备，其中所述第三生成装置从不包含在群组中的面部中选择第一面部，以提取距相对包括所述第一面部的其他面部的坐标平均值的距离等于或低于特定值的面部的组合，并且在所提取出的组合中，生成所述群组内的坐标平均值和该群组的每个面部之间的距离最小的组合作为群组。

6.如权利要求1所述的信息处理设备，其中所述第四生成装置从未分组的面部中，取出大小等于或大于面部大小的平均值的面部作为一个群组。

7.如权利要求1所述的信息处理设备，还包括：

日期和时间提取装置，被配置为提取当所述图像被成像时的日期和时间；以及

事件群集装置，被配置为利用与所述日期和时间提取装置提取出的日期和时间有关的信息来生成事件以针对每个事件将所述图像分类；

其中包括与所述事件有关的信息的所述人物关联数据是针对每个事件管理至少所述标签和所述紧密度的数据。

8.如权利要求1所述的信息处理设备，其中基于所述人物关联数据的图像是包括至少所述标签的图像，所述标签代表所述人物的面部图像和面部图像中的多个人物之间的关系。

9.如权利要求8所述的信息处理设备，其中在所述标签被改变、删除或添加的情况下，与该标签相对应的所述关联数据被更新。

10.如权利要求7所述的信息处理设备，其中基于所述人物关联数据的图像是针对每个事件生成的。

11.一种信息处理方法，包括以下步骤：

从图像中提取面部；

将所提取出的面部分类成群组；

添加指示群组内的多个人物之间的关系的标签；

根据群组间的距离来计算所述面部的人物的紧密度；以及

生成至少包括所述标签和所述紧密度的人物关联数据，

其中，将所提取出的面部分类成群组的步骤包括：

按照要提取并处理的每个面部距所有面部的位置的重心的位置来生成群组；

根据要处理的每个面部的位置生成近似线，以按照距该近似线的距离生成群组；

向所述按照距该近似线的距离生成的群组添加不属于该群组的面部；

将不包含在群组中的面部作为要处理的面部，通过获得距要处理的面部的坐标平均值的距离来生成群组；以及

将不包含在群组中的面部作为要处理的面部，将剩下的面部单独取作群组。

Images