CN102893304A - 图像数据处理装置、方法、程序及集成电路 - Google Patents

Abstract

通常，图像的摄影者在某次活动中拍摄包括人的人脸的图像时，具有以在此人的人脸的周围的区域中表现出该活动的特点的方式进行拍摄的倾向。本发明的图像数据处理装置在抽取图像特征信息时，使相比根据具有不易表现出活动的特点的倾向的距离人的人脸较远的区域的像素计算出的图像特征量，更多地体现出根据具有容易表现出活动的特点的倾向的人的人脸周围的区域的像素计算出的图像特征量。由此，与过去的图像数据处理装置相比，该图像数据处理装置能够计算出更多地体现出活动的特点的图像特征信息。因此，该图像数据处理装置相比过去能够提高使用由该图像数据处理装置计算出的图像特征信息将图像分类时的分类精度。

Description

图像数据处理装置、方法、程序及集成电路

技术领域

本发明涉及计算用于将图像分类的图像特征信息的图像数据处理装置。 

背景技术

数字静像摄像机和带摄像机功能的移动电话机等数字图像摄影设备已经得到普及，也能够低廉地提供用于记录所拍摄的图像的硬盘等记录介质。 

通常，数字图像摄影设备等的用户（下面简称为用户）将所拍摄的各个图像存储在大容量的硬盘等记录介质中。 

在所存储的图像数量量大时，很难从所存储的图像中找到目标的图像，因而基于使用户容易进行图像的检索的目的，将各个图像分类为几个类别。例如，可以考虑将在运动会中拍摄的图像分类为运动会这一类别的情况等。 

作为将图像分类的技术，例如公知有如专利文献1记载的技术，根据所存储的各个图像计算该图像的特征即图像特征信息，使用计算出的图像特征信息将各个图像分类为各个类别，还公知有如专利文献2记载的技术，使用被摄入到图像中的人脸的数量和大小将该图像分类。 

现有技术文献 

专利文献 

专利文献1：日本专利第4232774号公报 

专利文献2：日本专利第4315344号公报 

发明概要

发明要解决的问题 

可是，用户拍摄图像的机会往往是在例如海水浴场或滑雪旅行这种活动中，并且用户在欣赏图像时，往往也是以在某次活动中拍摄的图像组为单位来欣赏图像。 

因此，期望将属于在一次活动中拍摄的图像组的图像分类为同一个类 别。 

但是，当在从在互不相同的活动中拍摄的图像中抽取的图像特征信息中存在彼此相似的图像特征信息的情况下，很难将这些图像的各个图像分类为本来应该分类的类别。 

作为示例来说明如下情况，过去的图像数据处理装置在根据图像中大量包含的主要颜色（例如黑色、蓝色、绿色、白色等）计算图像特征信息的情况下，在海水浴场中拍摄的图像组A的图像和在滑雪旅行中拍摄的图像组B的图像成为分类图像。 

在于海水浴场中拍摄的图像中往往摄入了大量的大海的蓝色和沙滩的白色，在于滑雪旅行中拍摄的图像中往往摄入了大量的天空的蓝色和雪的白色。因此，由该图像数据处理装置计算出的在海水浴场中拍摄的图像的图像特征信息、和在滑雪旅行中拍摄的图像的图像特征信息成为彼此相似的图像特征信息。 

在这种情况下，在根据由该过去的图像数据处理装置计算出的图像特征信息将图像分类时，很难将在海水浴场中拍摄的图像组A的图像和在滑雪旅行中拍摄的图像组B的图像分类为彼此不同的类别。 

发明内容

本发明正是鉴于上述问题而提出的，其目的在于，提供一种计算用于将图像分类的图像特征信息的图像数据处理装置，在使用由该图像数据处理装置计算出的图像特征信息将图像分类的情况下，相比过去能够提高将在一次活动中拍摄的图像组的各个图像分类为相同的类别的分类精度。 

用于解决问题的手段 

为了解决上述问题，本发明的图像数据处理装置计算用于将图像分类的图像特征信息，其特征在于，该图像数据处理装置具有：人脸确定部，确定一张图像中所包含的人脸的区域；以及图像特征计算部，利用根据一张图像的至少一部分像素计算出的图像特征量，计算该图像中的图像特征信息，所述图像特征计算部以如下方式进行所述图像特征信息的计算，使根据由所述人脸确定部确定出的人脸的区域周围的一定区域中所包含的像素计算出的图像特征量，比根据不包含在该一定区域中的像素计算出的图 像特征量更多地体现在所述图像特征信息中。 

发明效果 

通常，图像的摄影者在某次活动中拍摄包括人的人脸的图像时，具有以在此人的人脸的周围的区域中表现出该活动的特点的方式进行拍摄的倾向。例如，在海水浴场中，摄影者具有以在人的人脸的周围的区域中大量表现大海的蓝色的方式来拍摄图像的倾向，而在滑雪旅行中则具有以在人的人脸的周围的区域中大量表现雪的白色的方式来拍摄图像的倾向。 

具有上述结构的本发明的图像数据处理装置在抽取图像特征信息时，使相比根据具有不易表现出活动的特点的倾向的距离人的人脸较远的区域的像素计算出的图像特征量，更多地体现出根据具有容易表现出活动的特点的倾向的人的人脸周围的区域的像素计算出的图像特征量。由此，与过去的图像数据处理装置相比，本图像数据处理装置能够计算出更多地体现出活动的特点的图像特征信息。 

因此，该图像数据处理装置相比过去能够提高使用由该图像数据处理装置计算出的图像特征信息将图像分类时的分类精度。 

附图说明

图1是表示图像数据处理装置100的硬件结构的硬件框图。 

图2是表示图像数据处理装置100的功能结构的功能框图。 

图3是表示图像存储部231的目录构造的目录构造图。 

图4是从视觉上表示各种区域的示意图。 

图5是从视觉上表示特殊状况下的人周围区域的示意图。 

图6是图像特征信息的数据构造图。 

图7是图像家人场景信息的数据构造图。 

图8是图像集家人场景信息的数据构造图。 

图9是事件特征信息的数据构造图。 

图10是图像特征信息生成处理的流程图。 

图11是图像家人场景信息生成处理的流程图。 

图12是图像集家人场景信息生成处理的流程图。 

图13是图像集分类处理的流程图。 

图14是表示在家庭成员参加的活动中拍摄的图像组的图。 

图15是过去的图像数据处理装置生成的图像集场景信息的数据构造图。 

图16是表示两张图像的图。 

图17是表示图像数据处理装置1700的功能结构的功能框图。 

图18是表示图像存储部1731的目录构造的目录构造图。 

图19是事件特征信息的数据构造图。 

图20是变形图像特征信息生成处理的流程图。 

图21是图像分类处理的流程图。 

图22是表示图像数据处理装置2200的功能结构的功能框图。 

图23是表示图像数据处理装置2300的功能结构的功能框图。 

具体实施方式

<实施方式1> 

下面，作为本发明的图像数据处理装置的一个实施方式来说明这样的图像数据处理装置100，该图像数据处理装置100计算表示被摄入到图像中的人物的周围的像素的特征的人周围特征量，根据计算出的人周围特征量，按照由与一次活动即事件相关联地拍摄的多张图像构成的图像集单位，将图像分类为彼此不同的预先设定的多个门类事件中的某一个门类事件。 

其中，图像集是指由用户指定的多张图像构成的图像的集合，例如在2009年冬季去北海道旅行的事件中拍摄的图像的集合，例如在2010年夏季去冲绳旅行的事件中拍摄的图像的集合等。另外，门类事件是指作为图像集的门类的类别，例如作为与滑雪相关的图像集的门类的类别，例如作为与海水浴场相关的图像集的门类的类别等。 

<结构> 

<图像数据处理装置100的硬件结构> 

图1是表示图像数据处理装置100的主要硬件结构的硬件框图。 

图像数据处理装置100由***LSI（Large Scale Integrated Circuit：大规模集成电路）110、硬盘装置130、外部记录介质读取写入装置140、USB控制装置150、输出装置160、输入装置170、通信装置180构成，其具有 将数字照片即图像存储为以JPEG（Joint Photographic Experts Group：运动图像专家组）方式进行编码得到的数据，并将存储的图像分类的功能。 

并且，图像数据处理装置100具有如下功能：通过可插拔的USB线缆195与以数字摄像机192为代表的记录图像的设备连接，通过监视器线缆196与用于显示图像的显示器193连接，还与网络194连接，并与受理来自用户的操作命令的遥控器197进行无线通信，向以SD存储卡191等为代表的外部记录介质进行数据的读出和写入。 

***LSI 110是将以下部件集成于一个集成电路中的LSI包括：CPU101、ROM 102、RAM 103、硬盘装置接口104、外部记录介质读取写入装置接口105、USB（Universal Serial Bus：通用串行总线）控制装置接口106、输出装置接口107、输入装置接口108、通信装置接口109、解码器111、总线120。该***LSI 110与硬盘装置130、外部记录介质读取写入装置140、USB控制装置150、输出装置160、输入装置170、通信装置180连接。 

CPU 101与总线120连接，通过执行在ROM 102或者RAM 103中存储的程序，控制ROM 102、RAM 103、硬盘装置130、外部记录介质读取写入装置140、USB控制装置150、输出装置160、输入装置170、通信装置180、解码器111，由此实现各种功能例如将在硬盘装置130中存储的图像数据读出到RAM103的存储器区域中的功能等。实现从硬盘装置130读出被编码后的图像数据并进行解码，将进行解码得到的图像数据输出给显示器193的功能等。 

ROM 102与总线120连接，其存储用于规定CPU 101的动作的程序和CPU使用的数据。 

RAM 103与总线120连接，其临时存储随着CPU 101执行程序而产生的数据，并且临时存储从硬盘装置130、外部记录介质读取写入装置140读取的数据和写入的数据、通信装置180接收到的数据和发送的数据等。 

解码器111是具有对被编码后的图像数据进行解码的功能的DSP（Digital Signal Processor：数字信号处理器），其与总线120连接，由CPU101进行控制，并具有JPEG解码功能。 

硬盘装置接口104、外部记录介质读取写入装置接口105、USB控制装置接口106、输出装置接口107、输入装置接口108、通信装置接口109分 别是对与硬盘装置130、外部记录介质读取写入装置140、USB控制装置150、输出装置160、输入装置170、通信装置180、总线120的信号传递进行中继的接口。 

硬盘装置130与硬盘装置接口104连接，其由CPU 101进行控制，并具有向内置的硬盘写入数据的功能、和读取被写入到内置的硬盘中的数据的功能。图像数据被存储在内置于该硬盘装置130的硬盘中。 

外部记录介质读取写入装置140与外部记录介质读取写入装置接口105连接，其由CPU 101进行控制，并具有向外部记录介质写入数据的功能、和读取被写入到外部记录介质中的数据的功能。 

其中，外部记录介质指DVD（Digital Versatile Disc：数字通用光盘）、DVD－R、DVD－RAM、BD（Blu-ray Disc：蓝光光盘）、BD－R、BD－RE、SD存储卡191等，外部记录介质读取写入装置140能够从这些DVD、BD等读取数据、以及向DVD－R、BD－R、BD－RE、SD存储卡等写入和读出数据。 

USB控制装置150与USB控制装置接口106连接，其由CPU 101进行控制，并具有通过可插拔的USB线缆195向外部设备写入数据的功能、以及读取被写入到外部设备中的数据的功能。 

其中，外部设备指数字摄像机192、个人电脑、带摄像机功能移动电话机等存储图像的设备，USB控制装置150能够通过USB线缆195向这些外部设备进行数据的写入和读取。 

输出装置160与输出装置接口107及监视器线缆196连接，其由CPU101进行控制，并具有通过监视器线缆196输出使显示于显示器193的数据的功能。 

输入装置170与输入装置接口108连接，其由CPU 101进行控制，并具有受理从遥控器197以无线方式发送的来自用户的操作命令，将受理的操作命令发送给CPU 101的功能。 

通信装置180与通信装置接口109及网络194连接，其由CPU 101进行控制，并具有通过网络194与外部通信设备进行数据的发送接收的功能。 

其中，网络194利用光通信线路、电话线路、无线线路等实现，网络194与外部通信设备和因特网等连接。 

其中，外部通信设备指外部硬盘装置等存储图像和用于规定CPU 101的动作的程序等的设备，通信装置180能够通过网络194从这些外部通信设备进行数据的读取。 

利用以上所述的硬件实现的图像数据处理装置100通过由CPU 101执行在ROM 102或者RAM 103中存储的程序，并对ROM 102、RAM 103、硬盘装置130、外部记录介质读取写入装置140、USB控制装置150、输出装置160、输入装置170、通信装置180、解码器111进行控制，由此实现各种功能。 

下面，使用附图来说明通过由CPU 101执行程序而实现的图像数据处理装置100的功能结构。 

<图像数据处理装置100的功能结构> 

图2是表示图像数据处理装置100的主要功能单元的结构的功能框图。 

图像数据处理装置100由图像集数据受理部201、图像写入读出部202、图像特征信息写入读出部203、家人场景信息写入读出部204、人脸抽取部205、家人场景信息计算部206、人周围特征量抽取部207、图像集分类部208、事件特征信息写入读出部209、分类结果输出部210、事件名称信息受理部211、事件特征信息受理部212、样品图像受理部213、样品图像写入部214、事件特征信息存储部234、样品图像存储部236构成。 

图像集数据受理部201是通过由CPU 101执行程序而实现的单元，其与图像写入读出部202连接，并具有受理用户对由两张以上的图像构成的图像集241中的图像的指定，将受理的图像组作为包含于一个图像集中的图像组读入到RAM 103的存储器区域中的功能，以及在读入图像时赋予用于确定该图像的图像ID的功能。 

图像集数据受理部201读入图像的情况包括：经由外部记录介质读取写入装置140从外部记录介质读入图像的情况、经由USB控制装置150从外部设备读入图像的情况、经由通信装置180从外部通信设备读入图像的情况。 

图像存储部231是用于将作为图像的数字照片存储为以JPEG方式进行编码得到的图像数据的存储区域，其与图像写入读出部202连接，并被安装成为内置于硬盘装置130中的硬盘的一部分区域。 

在图像存储部231中存储的各个图像数据被作为图像文件，并位于文件***属下，按照逻辑上的目录构造进行管理。 

图3是表示图像存储部231的目录构造的目录构造图。 

如该图所示，图像存储部231的目录构造由最上层310、第1目录层320、第2目录层330合计这三层构成。 

在第1目录层320中具有滑雪目录321、海水浴场目录322、郊游目录323等多个门类事件目录和实际数据保管目录324。 

门类事件目录是具有与作为图像集的门类的门类事件相同的名称的目录，相同名称的目录只有一个。 

实际数据保管目录324是保存图像数据的目录，图像的数据仅被保存在该实际数据保管目录324中。 

在第2目录层330中具有2010年冬季信州旅行目录331、2009年冬季北海道旅行目录332、2010年夏季冲绳旅行目录等多个事件目录。 

事件目录是与由图像集数据受理部201受理的图像组构成的图像集对应的目录，是通过保存被保存于实际数据保管目录324的数据中、表示属于该图像集的全部图像的数据的地址的信息，而成为与该图像的数据形成链接的状态的目录。 

各个事件目录位于与将对应的图像集进行分类得到的门类事件对应的门类事件目录的下面。 

假设在存在被分类为多个门类事件的图像集的情况下，存在与被分类的门类事件的数量相当的、以相同名称与相同图像形成链接的目录。 

其中，各个事件目录的名称是由使用图像数据处理装置100的用户对与该事件目录对应的图像集指定的事件名称。关于各个事件目录的生成方法，将在后面的<图像集分类处理>中进行说明。 

再返回到图2，继续有关图像数据处理装置100的功能结构的说明。 

图像写入读出部202是通过由CPU 101执行程序而实现的单元，其与图像存储部231、图像集数据受理部201、人脸抽取部205、家人场景信息计算部206、图像集分类部208连接，并具有读出在图像存储部231中存储的图像的功能、向图像存储部231写入图像的功能、变更图像存储部231的目录构造的功能、以及变更图像存储部231的图像数据的链接的功能。 

样品图像存储部236是存储区域，用于将拍摄了确定的人物（例如家人）的人脸的数字照片即样品图像存储为以JPEG方式进行编码得到的图像数据，其与样品图像写入部214、人脸抽取部205连接，并被安装成为内置于硬盘装置130中的硬盘的一部分区域。 

样品图像写入部214是通过由CPU 101执行程序而实现的单元，其与样品图像受理部213连接，并具有将由样品图像受理部213受理的样品图像和用于确定人物的对应人脸ID写入到样品图像存储部236中的功能。 

样品图像受理部213是通过由CPU 101执行程序而实现的单元，其与样品图像写入部214连接，并具有从用户受理摄入了确定的人物的人脸的样品图像和用于确定该人物的对应人脸ID，将所受理的样品图像和对应人脸相对应地写入到RAM 103的存储器区域中的功能，以及使用样品图像写入部214将所读入的样品图像存储在样品图像存储部236中的功能。 

样品图像受理部213读入图像的情况包括：经由外部记录介质读取写入装置140从外部记录介质读入图像的情况、经由USB控制装置150从外部设备读入图像的情况、经由通信装置180从外部通信设备读入图像的情况。 

人脸抽取部205是通过由CPU 101执行程序而实现的单元，其与图像写入读出部202、人周围特征量抽取部207、样品图像存储部236连接，并具有以下三种功能。 

功能一：保存表示人的人脸的特征的预先设定的人脸的模型，通过参照所保存的人脸的模型来尝试识别一张图像中所包含的人脸，在识别出人脸的情况下，计算所识别出的人脸的区域的面积和所识别出的人脸的位置，并对所识别出的各个人脸顺序地赋予用于确定该识别出的人脸的人脸ID。 

其中，所谓人脸的模型，是指例如眼睛、鼻子、嘴等形成人脸的部件的亮度、与相对位置关系相关的信息等，所谓识别出的人脸的区域，是指例如包括所识别出的人脸在内的、具有图像中的水平方向的边和图像中的垂直方向的边的矩形中面积为最小的矩形的区域。 

关于预先设定的人脸的模型，可以考虑人脸抽取部205使用例如在硬盘装置130的内部保存的人脸的模型的情况、参照被存储于外部的人脸的模型的情况等。 

功能二：在识别出人脸的情况下，从图像中抽取该识别出的人脸的特征、和在样品图像存储部236中存储的样品图像中所包含的人脸的特征，当在样品图像存储部236中存储的样品图像中存在具有与该识别出的人脸的特征相同的人脸的特征的图像时，将该识别出的人脸的人物判定为与被摄入到该样品图像中的人物是同一人物。 

其中，所谓人脸的特征，是指例如眼睛、鼻子、嘴等形成人脸的部件的相对位置关系、这些部件的面积比率等。 

功能三：在识别出人脸的情况下，计算该识别出的人脸的区域的下方的躯体区域，作为针对该识别出的人脸的区域按照预定的算法决定的矩形的区域，并计算所计算出的躯体的区域的面积和计算出的躯体的区域的位置，对所计算出的躯体的区域分别顺序地赋予用于确定该计算出的躯体的区域的躯体ID。 

其中，所谓用于决定躯体的区域的预定的算法例如指这样的算法：在所识别出的人脸的区域的下方的、将人脸的区域在图像中的水平方向的宽度设为1.5倍、人脸的区域在图像中的垂直方向的宽度设为2倍形成的矩形区域中，将其中心点在图像中的水平方向的坐标与人脸的区域的中心在图像中的水平方向的坐标一致的矩形区域作为躯体的区域。 

人周围特征量抽取部207是通过由CPU 101执行程序而实现的单元，其与人脸抽取部205、图像特征信息写入读出部203连接，具有以下五种功能。 

功能一：计算人脸周围区域作为针对由人脸抽取部205计算出的人脸的区域的位置按照预定的算法决定的矩形的区域，并计算所计算出的人脸周围区域的位置。 

其中，所谓用于决定人脸周围区域的预定的算法例如指这样的算法：将针对人脸的区域，在图像中的水平方向的左右分别加上人脸的区域在图像中的水平方向的宽度，在图像中的垂直方向的上方加上人脸的区域在图像中的垂直方向的宽度后得到的矩形的区域，作为人脸周围区域。 

功能二：计算躯体周围区域作为针对由人脸抽取部205计算出的人脸的区域的位置按照预定的算法决定的矩形的区域，并计算所计算出的躯体周围区域的位置。 

其中，所谓用于决定躯体周围区域的预定的算法例如指这样的算法：将针对躯体的区域，在图像中的水平方向的左右分别加上人脸的区域在图像中的水平方向的宽度、在图像中的垂直方向的上下分别加上人脸的区域在图像中的垂直方向的宽度的一半宽度得到的矩形的区域，作为躯体周围区域。 

功能三：计算人周围区域作为针对计算出的人脸周围区域和躯体周围区域按照预定的算法决定的区域。 

其中，所谓用于决定人周围区域的预定的算法例如指这样的算法：将从人脸周围区域和躯体周围区域中至少一方所包含的区域中、去除人脸的区域和躯体的区域而得到的区域，作为人周围区域。 

功能四：对于人周围区域中所包含的各个像素，根据构成该像素的颜色成分例如R（Red：红色）、G（Green：绿色）、B（Blue：蓝色）的各自亮度值，确定该像素的颜色与预先决定的N种主要颜色（例如黑色、蓝色、绿色、白色等）中的哪种颜色相似，针对确定出的各种颜色，计算被确定为该颜色的像素数相对于人周围区域中所包含的像素总数的比率，作为人周围特征量。 

关于用于确定某个像素的颜色与哪种主要颜色相似的方法，例如有这样的方法：针对每种主要颜色，分别预先决定对应的R的亮度值的范围和G的亮度值的范围和B的亮度值的范围，并与成为确定对象的像素的R、G、B的亮度值进行比较，由此确定该颜色与哪种主要颜色相似。 

功能五：生成图像特征信息（后述）的功能。 

图4是从视觉上表示上述各种区域的示意图。 

在该图中，图像401是拍摄了由人脸412和躯体413构成的人物411的图像。 

在第1变形图像402中示出了图像401中的由人脸抽取部205计算出的人脸的区域422。在第2变形图像403中示出了图像401中的由人脸抽取部205计算出的躯体的区域423。在第3变形图像404中示出了图像401中的由人周围特征量抽取部207计算出的人脸周围区域424。在第4变形图像405中示出了图像401中的由人周围特征量抽取部207计算出的躯体周围区域425。在第5变形图像406中示出了图像401中的由人周围特征量抽取部 207计算出的人周围区域426。 

这样，从图像401计算出人脸的区域422、躯体的区域423、人脸周围区域424、躯体周围区域425、人周围区域426。 

图5是从视觉上表示特殊状况下的人周围区域的示意图。 

在该图中，图像501是包括被识别出的多个人脸的图像的示例，此处是包括识别出了由人脸A512和躯体A513构成的人物511、以及由人脸B562和躯体B563构成的人物561这两名人物的人脸的图像。 

在变形图像502中示出了图像501中的由人周围特征量抽取部207计算出的人周围区域526。 

如变形图像502所示，人周围特征量抽取部207计算人周围区域，该人周围区域是从与人脸A512对应的人脸周围区域、和与人脸B562对应的人脸周围区域、和与躯体A513对应的躯体周围区域、和与躯体B563对应的躯体周围区域中至少一方所包含的区域中，去除与人脸A512对应的人脸的区域、和与人脸B562对应的人脸的区域、和与躯体A513对应的躯体的区域、和与躯体B563对应的躯体的区域而得到的区域。 

这样，当在一张图像中包含多个被识别出的人脸的情况下，人周围特征量抽取部207将从任意一个人脸周围区域和任意一个躯体周围区域中至少一方所包含的区域中去除全部人脸的区域和全部躯体的区域而得到的区域，作为人周围区域。 

图像503是包括人脸周围区域的一部分或者躯体周围区域的一部分从图像中溢出的被识别出的人脸的图像的示例，此处是包括由人脸592和躯体593构成的人物591的图像。 

在变形图像504中示出了图像503中的由人周围特征量抽取部207计算出的人周围区域596。 

如变形图像504所示，人周围特征量抽取部207计算如下区域作为人周围区域，该区域是从图像内的区域中人脸周围区域和躯体周围区域至少一方所包含的区域中，去除人脸的区域和躯体的区域和不包含在图像503中的区域而得到的区域。 

再返回到图2，继续有关图像数据处理装置100的功能结构的说明。 

图像特征信息存储部232是用于存储图像特征信息的存储区域，其与 图像特征信息写入读出部203连接，并被安装成为内置于硬盘装置130中的硬盘的一部分区域。 

图6是表示在图像特征信息存储部232中存储的图像特征信息的数据构造的一例的图。 

如该图所示，图像特征信息是将图像ID600、人脸特征量610、躯体特征量620、人脸周围区域630、躯体周围区域640、人周围特征量650相对应构成的。 

并且，人脸特征量610进一步是将人脸ID611、人脸面积612、人脸位置613、对应人脸ID614相对应构成的，躯体特征量620进一步是将躯体ID621、躯体面积622、躯***置623相对应构成的，人周围特征量650是将黑色比率651、蓝色比率652、绿色比率653、白色比率654相对应构成的。 

图像ID600是由图像集数据受理部201赋予给各张图像的用于确定图像的ID。 

人脸ID611是赋予给由人脸抽取部205分别识别出的人脸的、用于确定所识别出的人脸的ID。 

人脸面积612是由人脸抽取部205计算出的、人脸的区域的面积相对于图像的面积的比率，并被规范化为在人脸的区域为图像整体时该人脸面积612为1。 

人脸位置613是由人脸抽取部205计算出的表示人脸的区域的位置的坐标，由图像中的矩形的人脸的区域的左上部的坐标和右下部的坐标构成。 

对应人脸ID614是用于确定被存储于样品图像存储部236的图像中所包含的人物的ID。其中，例如如果对应人脸ID614是“01”，则表示该人物是儿子，如果对应人脸ID614是“02”，则表示该人物是父亲，如果对应人脸ID614是“03”，则表示该人物是母亲。并且，例如在不存在具有与人脸ID611相同的人脸的特征、且包含在被存储于样品图像存储部236的图像中的人物的情况下，对应人脸ID614是“99”。并且，例如在对应人脸ID614是“01”或者“02”或者“03”的情况下，则视为该人物是家人。 

躯体ID621是赋予给由人脸抽取部205计算出的躯体的区域的、用于确定躯体的区域的ID。 

躯体面积622是由人脸抽取部205计算出的、躯体的区域的面积相对于图像的面积的比率，并被规范化为在躯体的区域为图像整体时该躯体面积622为1。 

躯***置623是由人脸抽取部205计算出的表示躯体的区域的位置的坐标，由图像中的矩形的躯体的区域的左上部的坐标和右下部的坐标构成。 

人脸周围区域630是由人周围特征量抽取部207计算出的表示人脸周围区域的位置的坐标，由图像中的人脸周围区域的左上部的坐标和右下部的坐标构成。其中，坐标是指设图像的左上部的坐标为（0，0）时的X、Y的坐标。 

躯体周围区域640是由人周围特征量抽取部207计算出的表示躯体周围区域的位置的坐标，由图像中的矩形的躯体周围区域的左上部的坐标和右下部的坐标构成。 

黑色比率651是由人周围特征量抽取部207计算出的、人周围区域中所包含的被确定为黑色的像素的数量相对于人周围区域中所包含的像素总数的比率。 

蓝色比率652是由人周围特征量抽取部207计算出的、人周围区域中所包含的被确定为蓝色的像素的数量相对于人周围区域中所包含的像素总数的比率。 

绿色比率653是由人周围特征量抽取部207计算出的、人周围区域中所包含的被确定为绿色的像素的数量相对于人周围区域中所包含的像素总数的比率。 

白色比率654是由人周围特征量抽取部207计算出的、人周围区域中所包含的被确定为白色的像素的数量相对于人周围区域中所包含的像素总数的比率。 

再返回到图2，继续有关图像数据处理装置100的功能结构的说明。 

图像特征信息写入读出部203是通过由CPU 101执行程序而实现的单元，其与人周围特征量抽取部207、家人场景信息计算部206、图像特征信息存储部232连接，并具有向图像特征信息存储部232进行图像特征信息的读出、写入的功能。 

事件名称信息受理部211是通过由CPU 101执行程序而实现的单元， 其与家人场景信息计算部206连接，并具有受理由使用图像数据处理装置100的用户输入的图像集的名称即事件名称的功能。 

家人场景信息计算部206是通过由CPU 101执行程序而实现的单元，其与图像写入读出部202、图像特征信息写入读出部203、家人场景信息写入读出部204、事件名称信息受理部211连接，并具有以下两种功能。 

功能一：对于包括所识别出的人脸的图像计算图像家人场景特征量（后述），作为针对人周围特征量按照预定的算法决定的值。 

其中，所谓用于决定图像家人场景特征量的预定的算法例如指这样的算法：通过将人周围特征量的各种颜色比率的值除以人脸面积的值，计算图像家人场景特征量的各个图像家人场景颜色比率。根据该算法，所计算出的图像家人场景特征量对图像中的人脸的区域的面积更小的图像赋予了加权，使得该图像的图像家人场景特征量的值成为更大的值。 

功能二：对于图像集计算图像集家人场景特征量（后述），作为针对该图像集中所包含的图像的图像家人场景特征量按照预定的算法决定的值。 

其中，所谓用于决定图像集家人场景特征量的预定的算法例如指这样的算法：将与图像集中所包含的图像中包括作为家人的人脸而被识别出的人脸在内的图像对应的图像家人场景特征量的各个图像家人场景颜色比率的值的平均值，作为图像集家人场景特征量的各个图像集家人场景颜色比率的值。 

并且，其中所谓家人的人脸是指所对应的对应人脸ID表示家人的人脸。 

功能三：生成图像家人场景信息（后述）和图像集家人场景信息（后述）的功能。 

家人场景信息存储部233是用于存储图像家人场景信息和图像集家人场景信息的存储区域，其与家人场景信息写入读出部204连接，并被安装成为内置于硬盘装置130中的硬盘的一部分区域。 

图7是表示在家人场景信息存储部233中存储的图像家人场景信息的数据构造的一例的图。 

如该图所示，图像家人场景信息是将图像ID700、人脸ID710、对应人脸ID720、图像家人场景特征量730相对应构成的。 

并且，图像家人场景特征量730进一步是将图像家人场景黑色比率731、图像家人场景蓝色比率732、图像家人场景绿色比率733、图像家人场景白色比率734相对应构成的。 

图像ID700和人脸ID710和对应人脸ID720分别是与图6中的图像ID600和人脸ID611和对应人脸ID614同等的项目。因此省略说明。 

图像家人场景黑色比率731是对所对应的图像的黑色比率651（参照图6）的值进行加权而计算出的值，是由家人场景信息计算部206将黑色比率651的值除以所对应的人脸面积612的值而计算出的。 

图像家人场景蓝色比率732是对所对应的图像的蓝色比率652的值进行加权而计算出的值，是由家人场景信息计算部206将蓝色比率652的值除以所对应的人脸面积612的值而计算出的。 

图像家人场景绿色比率733是对所对应的图像的绿色比率653的值进行加权而计算出的值，是由家人场景信息计算部206将绿色比率653的值除以所对应的人脸面积612的值而计算出的。 

图像家人场景白色比率734是对所对应的图像的白色比率654的值进行加权而计算出的值，是由家人场景信息计算部206将白色比率654的值除以所对应的人脸面积612的值而计算出的。 

图8是表示在家人场景信息存储部233中存储的图像集家人场景信息的数据构造的一例的图。 

如该图所示，图像集家人场景信息是将图像集ID800、事件名称810、图像集家人场景特征量820相对应构成的。 

并且，图像集家人场景特征量820进一步是将图像集家人场景黑色比率821、图像集家人场景蓝色比率822、图像集家人场景绿色比率823、图像集家人场景白色比率824相对应构成的。 

图像集ID800是用于确定图像集的ID。 

事件名称810是由使用图像数据处理装置100的用户通过事件名称信息受理部211输入的图像集的名称即事件名称。 

图像集家人场景黑色比率821是指构成所对应的图像集的图像中、包括家人的被识别出的人脸在内的图像中的图像家人场景黑色比率731（参照图7）的值的平均值，是由家人场景信息计算部206计算出的值。 

图像集家人场景蓝色比率822是指构成所对应的图像集的图像中、包括作为家人的人脸而被识别出的人脸在内的图像中的图像家人场景蓝色比率732的值的平均值，是由家人场景信息计算部206计算出的值。 

图像集家人场景绿色比率823是指构成所对应的图像集的图像中、包括作为家人的人脸而被识别出的人脸在内的图像中的图像家人场景绿色比率733的值的平均值，是由家人场景信息计算部206计算出的值。 

图像集家人场景白色比率824是指构成所对应的图像集的图像中、包括作为家人的人脸而被识别出的人脸在内的图像中的图像家人场景白色比率734的值的平均值，是由家人场景信息计算部206计算出的值。 

再返回到图2，继续有关图像数据处理装置100的功能结构的说明。 

家人场景信息写入读出部204是通过由CPU 101执行程序而实现的单元，其与家人场景信息计算部206、图像集分类部208、家人场景信息存储部233连接，并具有向家人场景信息存储部233进行图像家人场景信息和图像集家人场景信息的读出、写入的功能。 

事件特征信息存储部234是用于存储事件特征信息的存储区域，其与事件特征信息写入读出部209连接，并被安装成为内置于硬盘装置130中的硬盘的一部分区域。 

图9是表示在事件特征信息存储部234中存储的事件特征信息的数据构造的一例的图。 

如该图所示，事件特征信息用于使图像集家人场景黑色比率1.5以上901、图像集家人场景蓝色比率1.5以上902、图像集家人场景绿色比率1.5以上903、图像集家人场景白色比率1.5以上904等各个分类条件900，分别对应于焰火911、海水浴场912、郊游913、滑雪914等各个门类事件910。 

再返回到图2，继续有关图像数据处理装置100的功能结构的说明。 

事件特征信息写入读出部209是通过由CPU 101执行程序而实现的单元，其与图像集分类部208、事件特征信息受理部212、事件特征信息存储部234连接，并具有向事件特征信息存储部234进行事件特征信息的读出、写入的功能。 

事件特征信息受理部212是通过由CPU 101执行程序而实现的单元，其与事件特征信息写入读出部209连接，并具有受理由使用图像数据处理 装置100的用户输入的事件特征信息，使用事件特征信息写入读出部209将所受理的事件特征信息存储在事件特征信息存储部234中的功能。 

事件特征信息受理部212受理事件特征信息的情况包括：根据用户对遥控器197的操作而受理的情况、经由外部记录介质读取写入装置140从外部记录介质受理的情况、经由USB控制装置150从外部设备受理的情况、经由通信装置180从外部通信设备受理的情况。 

图像集分类部208是通过由CPU 101执行程序而实现的单元，其与图像写入读出部202、家人场景信息写入读出部204、事件特征信息写入读出部209、分类结果输出部210连接，并具有根据在家人场景信息存储部233中存储的图像集家人场景信息和在事件特征信息存储部234中存储的事件特征信息，将图像集分类为门类事件的功能。 

关于由图像集分类部208进行的图像集的分类方法的详细情况，将在后面的<图像集分类处理>部分中进行说明。 

分类结果输出部210是通过由CPU 101执行程序而实现的单元，其与图像集分类部208连接，并具有在图像集分类部208将图像集进行了分类的情况下，使在显示器193显示分类结果的功能。 

下面，使用附图对如上所述构成的图像数据处理装置100进行的动作进行说明。 

<动作> 

图像数据处理装置100进行的特征性动作有图像特征信息生成处理、图像家人场景信息生成处理、图像集家人场景信息生成处理、图像集分类处理。 

下面，使用附图对各个处理进行说明。 

<图像特征信息生成处理> 

图像特征信息生成处理是由图像数据处理装置100以图像集单位读入图像，并对所读入的各张图像生成图像特征信息的处理。 

图10是由图像数据处理装置100进行的图像特征信息生成处理的流程图。 

图像特征信息生成处理是通过由遥控器197从用户受理表示开始图像特征信息生成处理的操作而开始的。 

在图像特征信息生成处理开始后，图像集数据受理部201开始读入一个图像集的图像，事件名称信息受理部211开始受理拍摄了属于该图像集的图像的事件的事件名称（步骤S1000）。 

图像集数据受理部201能够从被安装于外部记录介质读取写入装置140的外部记录介质读入图像，或者通过与USB控制装置150连接的USB线缆195从外部设备读入图像，或者从与网络194连接的通信装置180读入图像。 

在此，例如假设从外部记录介质读取写入装置140读入在作为外部记录介质的SD存储卡191中记录的图像集的图像。 

图像集数据受理部201逐张地读入在SD存储卡191中记录的图像，对所读入的图像顺序地赋予图像ID，将图像数据和图像ID相对应，并使用图像写入读出部202写入到图像存储部231的实际数据保管目录324中。 

事件名称信息受理部211根据用户对遥控器197的操作，受理拍摄了属于图像集的图像的事件的事件名称。 

在属于图像集的图像被全部写入到图像存储部231中后，人脸抽取部205使用图像写入读出部202从图像存储部231逐张地选择由图像集数据受理部201受理的属于图像集的图像并读出（步骤S1010），以JPEG方式对所读出的图像进行解码。 

人脸抽取部205对于所读出的一张图像，通过参照所保存的人脸的模型来尝试识别一张图像中所包含的人脸（步骤S1020）。 

人脸抽取部205在识别出人脸的情况下（步骤S1020：是），对所识别出的各个人脸计算人脸特征量（步骤S1030）。即，计算所识别出的人脸的区域的面积和所识别出的人脸的位置，对所识别出的各个人脸顺序地赋予用于确定该识别出的人脸的人脸ID，并抽取该识别出的人脸的特征和被存储于样品图像存储部236的样品图像中所包含的人脸的特征，在被存储于样品图像存储部236的样品图像中存在具有与该识别出的人脸的特征相同的人脸的特征的图像时，对该识别出的人脸的对应人脸ID赋予与该样品图像对应的对应人脸ID。如果在被存储于样品图像存储部236的样品图像中不存在具有与该识别出的人脸的特征相同的人脸的特征的图像，对该识别出的人脸的对应人脸ID赋予表示是别人的“99”。 

在步骤S1030的处理结束后，人脸抽取部205对所识别出的人脸分别计算所识别出的人脸的区域的下方的躯体的区域，对计算出的躯体的区域分别计算躯体特征量（步骤S1040）。即，计算所计算出的躯体的区域的面积和所计算出的躯体的区域的位置，并对所计算出的躯体的区域分别顺序地赋予用于确定该计算出的躯体的区域的躯体ID。 

在步骤S1040的处理结束后，人周围特征量抽取部207根据人脸的区域计算人脸周围区域，根据躯体的区域计算躯体周围区域，并根据所计算出的人脸周围区域和所计算出的躯体周围区域计算人周围区域（步骤S1050）。 

另外，人周围特征量抽取部207根据人周围区域中所包含的像素的像素值计算人周围特征量（步骤S1060）。即，对于人周围区域中所包含的各个像素，根据构成该像素的颜色成分即R、G、B的各自亮度来确定该像素的颜色，对于确定出的各种颜色，计算被确定为该颜色的像素数相对于人周围区域中所包含的像素总数的比率，作为该颜色的颜色比率。 

在步骤S1020的处理中，在人脸抽取部205未识别出人脸的情况下（步骤S 1020：否），人脸抽取部205对人脸特征量的各个构成要素的值设定空值（NULL值），并对躯体特征量的各个构成要素的值设定空值，人周围特征量抽取部207对人脸周围区域的值设定空值，并对躯体周围区域的值设定空值，还对人周围特征量的各个构成要素的值设定空值。 

在步骤S1060的处理结束的情况下或者步骤S1070的处理结束的情况下，人周围特征量抽取部207生成有关作为对象的图像的图像特征信息，并使用图像特征信息写入读出部203将所生成的图像特征信息存储在图像特征信息存储部232中（步骤S1080）。 

在步骤S1080的处理结束后，人脸抽取部205确认由图像集数据受理部201受理的属于图像集的图像中是否还有未被选择的图像（步骤S1090）。 

在步骤S1090的处理中，在还有未选择的图像的情况下（步骤S1090：否），图像数据处理装置100再次返回到步骤S1010的处理中，继续从步骤S1010开始的处理。 

在步骤S1090的处理中，在没有未选择的图像的情况下（步骤S1090：是），图像数据处理装置100结束该图像特征信息生成处理。 

<图像家人场景信息生成处理> 

图像家人场景信息生成处理是由图像数据处理装置100根据图像特征信息生成图像家人场景信息的处理。 

图11是由图像数据处理装置100进行的图像家人场景信息生成处理的流程图。 

图像家人场景信息生成处理是通过图像数据处理装置100结束图像特征信息生成处理而开始的。 

在图像家人场景信息生成处理开始后，家人场景信息计算部206使用图像特征信息写入读出部203从图像特征信息存储部232读出属于在图像特征信息生成处理中成为处理对象的图像集的图像的图像特征信息（步骤S1100）。 

家人场景信息计算部206从所读出的图像特征信息中选择一个图像特征信息（步骤S1110），并确认与所选择的图像特征信息对应的图像中是否包含所识别出的人脸（步骤S1120）。在此，通过确认构成人脸特征量的各个构成要素是否是空值，来确认是否包含所识别出的人脸。 

家人场景信息计算部206在包含所识别出的人脸的情况下（步骤S1120：是），根据人脸面积612（参照图6）和人周围特征量650计算图像家人场景特征量（步骤S1130）。即，通过将构成人周围特征量650的各个颜色比率的值分别除以人脸面积612的值，来计算各个图像家人场景颜色比率的值。 

在步骤S1120的处理中，在不包含所识别出的人脸的情况下（步骤S1120：否），家人场景信息计算部206对图像家人场景特征量的值设定空值（步骤S1140）。即，将构成图像家人场景特征量的各个图像家人场景颜色比率的值分别设为空值。 

在步骤S1130的处理结束的情况下或者步骤S1140的处理结束的情况下，家人场景信息计算部206生成有关成为对象的图像特征信息的图像家人场景信息，并使用家人场景信息写入读出部204将所生成的图像家人场景信息存储在家人场景信息存储部233中（步骤S1150）。 

在步骤S1150的处理结束后，家人场景信息计算部206确认属于成为对象的图像集的图像的图像特征信息中是否还有未选择的图像特征信息 （步骤S1160）。 

在步骤S1160的处理中，在还有未选择的图像特征信息的情况下（步骤S1160：否），图像数据处理装置100再次返回到步骤S1010的处理中，继续从步骤S1010开始的处理。 

在步骤S1160的处理中，在没有未选择的图像特征信息的情况下（步骤S1160：是），图像数据处理装置100结束该图像家人场景信息生成处理。 

<图像集家人场景信息生成处理> 

图像集家人场景信息生成处理是由图像数据处理装置100根据属于图像集的各张图像的图像家人场景信息生成该图像集的图像集家人场景信息的处理。 

图12是由图像数据处理装置100进行的图像集家人场景信息生成处理的流程图。 

图像集家人场景信息生成处理是通过图像数据处理装置100结束图像家人场景信息生成处理而开始的。 

在图像集家人场景信息生成处理开始后，家人场景信息计算部206使用家人场景信息写入读出部204从家人场景信息存储部233读出属于在图像家人场景信息生成处理中成为对象的图像集的图像的图像家人场景信息（步骤S1200）。 

家人场景信息计算部206计算所读出的图像家人场景信息中、有关对应人脸ID720（参照图7）表示家人的图像家人场景信息的图像家人场景特征量的平均值，作为图像集家人场景特征量（步骤S1210）。即，对于对应人脸ID720表示家人的图像家人场景信息，计算构成图像家人场景特征量730的各个图像家人场景颜色比率的各自平均值，由此计算各个图像集家人场景颜色比率的值。 

其中，在没有对应人脸ID720表示家人的图像家人场景信息的情况下，家人场景信息计算部206将构成图像集家人场景特征量的各个图像集家人场景颜色比率的值分别设为空值。 

在步骤S1210的处理结束后，家人场景信息计算部206生成有关成为对象的图像集的图像集家人场景信息，并使用家人场景信息写入读出部204将所生成的图像集家人场景信息存储在家人场景信息存储部233中（步骤 S1220），图像数据处理装置100结束该图像集家人场景信息生成处理。在生成图像集家人场景信息时，关于事件名称810（参照图8），在图像特征信息生成处理的步骤S1000中是采用事件名称信息受理部211从用户受理的事件名称。 

<图像集分类处理> 

图像集分类处理是由图像数据处理装置100将图像集分类为门类事件中的某一个门类事件的处理。 

图13是由图像数据处理装置100进行的图像集分类处理的流程图。 

图像集分类处理是通过图像数据处理装置100结束图像集家人场景信息生成处理而开始的。 

在图像集分类处理开始后，图像集分类部208使用家人场景信息写入读出部204从家人场景信息存储部233读出属于在图像集家人场景信息生成处理中成为对象的图像集的图像集家人场景信息，并使用事件特征信息写入读出部209从事件特征信息存储部234读出事件特征信息（步骤S1300）。 

在步骤S1300的处理结束后，图像集分类部208将所读出的图像集家人场景信息与所读出的事件特征信息进行比较（步骤S1310），并计算该图像集的门类事件（步骤S1320）。即，确认在图像集家人场景信息中所包含的图像集家人场景颜色比率（参照图8）中是否具有与事件特征信息中所包含的分类条件900（参照图9）一致的图像集家人场景颜色比率，在发现了与事件特征信息中所包含的分类条件900一致的图像集家人场景颜色比率的情况下，计算与该一致的分类条件900对应的门类事件910作为该图像集应该被分类的门类事件，在未发现与事件特征信息中所包含的分类条件900一致的图像集家人场景颜色比率的情况下，计算被称为其它事件的门类事件作为该图像集应该被分类的门类事件。 

其中，在图像集家人场景信息中所包含的图像集家人场景颜色比率是空值的情况下，计算被称为其它事件的门类事件作为该图像集应该被分类的门类事件。 

并且，在一致的门类事件910有多个的情况下，计算一致的全部门类事件910作为图像集应该被分类的门类事件。 

在步骤S1320的处理结束后，图像集分类部208使用图像写入读出部202，在图像存储部231的与应该被分类的门类事件对应的门类事件目录的下面，生成与对应于图像集的事件名称为相同名称的事件目录，在该事件目录的下面保存表示属于图像集的全部图像的数据的地址的信息，使成为与属于该图像集的全部图像的数据形成链接的状态，由此将图像集分类（步骤S1330）。 

然后，分类结果输出部210将由图像集分类部208计算出的应该被分类的门类事件的门类事件名称，与对应于图像集的事件名称一起显示在显示器193中，图像数据处理装置100结束该图像集分类处理。 

<具体示例> 

下面，使用具体示例对图像数据处理装置100的特征进行补充说明。 

图14是在家庭成员参加的活动中拍摄的图像组的一例。 

图像集1400是由在家人进行的滑雪旅行中拍摄的图像组构成的图像集，由图像1401和图像1402构成，相对应的事件名称为“2010年冬季信州旅行”。 

在图像1401中包含享受滑雪的儿子，在图像1402中包含享受滑雪的父亲。这些图像的特征在于虽然包含了大量天空的蓝色和雪的白色，但是在人物的周围包含大量象征滑雪活动的雪的白色。 

图像1401的图像特征信息例如是图6中的图像ID600对应于“0001”的图像特征信息，图像1401的图像家人场景信息例如是图7中的图像ID700对应于“0001”的图像家人场景信息。 

图像1402的图像特征信息例如是图6中的图像ID600对应于“0002”的图像特征信息，图像1402的图像家人场景信息例如是图7中的图像ID700对应于“0002”的图像家人场景信息。 

并且，假设图像集1400的图像集家人场景信息是图8中的图像集ID800对应于“001”的图像集家人场景信息。 

图像集1410是由在家人进行的海水浴场旅行中拍摄的图像组构成的图像集，由图像1411和图像1412构成，相对应的事件名称为“2010年夏季冲绳旅行”。 

在图像1411中包含享受海水浴的儿子，在图像1412中包含享受海水 浴的父亲和母亲。这些图像的特征在于虽然包含了大量大海的蓝色和沙滩的白色，但是在人物的周围包含大量象征海水浴场活动的大海的蓝色。 

图像1411的图像特征信息例如是图6中的图像ID600对应于“0003”的图像特征信息，图像1411的图像家人场景信息例如是图7中的图像ID700对应于“0003”的图像家人场景信息。 

图像1412的图像特征信息例如是图6中的图像ID600对应于“0004”的图像特征信息，图像1412的图像家人场景信息例如是图7中的图像ID700对应于“0004”的图像家人场景信息。 

并且，设图像集1410的图像集家人场景信息是图8中的图像集ID800对应于“002”的图像集家人场景信息。 

将图像集1400的图像集家人场景特征量820（参照图8）和图像集1410的图像集家人场景特征量820进行比较，由于在图像集家人场景蓝色比率822和图像集家人场景白色比率824中存在相互有意义的差异，因而通过使用例如图9所示的事件特征信息，能够将图像集1400和图像集1410分类为彼此不同的门类事件，即将图像集1400分类为“滑雪”，将图像集1410分类为“海水浴场”。 

这样，即使是在属于彼此不同的图像集的各张图像在图像整体的特征中相互相似的情况下，图像数据处理装置100也能够通过从人的周围的区域即人周围区域中抽取图像的特征，将这些图像集分类为彼此不同的门类事件。 

与此相对，对从图像整体抽取图像的特征的过去的图像数据处理装置将图像集1400和图像集1410作为分类对象的情况进行说明。 

过去的图像数据处理装置从图像整体抽取图像的特征，如果将表示属于图像集的图像的特征的特征量称为图像集场景特征量，则图像集1400的图像集场景特征量和图像集1410的图像集场景特征量是相互相似的图像集场景特征量。 

图15是表示过去的图像数据处理装置生成的图像集场景信息的数据构造的一例的图。 

如该图所示，图像集场景信息是将图像集ID1500、事件名称1510、图像集场景特征量1520相对应构成的。 

并且，图像集场景特征量1520是将图像集场景黑色比率1521、图像集场景蓝色比率1522、图像集场景绿色比率1523、图像集场景白色比率1524相对应构成的。 

图像集ID1500是用于确定图像集的ID。 

在此，假设图像集ID1500为“001”的图像集是图像集1400，图像集ID1500为“002”的图像集是图像集1410。 

事件名称1510是图像集的名称即事件名称。 

图像集场景黑色比率1521是指在构成对应的图像集的各张图像中、各自被确定为黑色的像素数相对于图像整体的像素数的比率的平均值。 

图像集场景蓝色比率1522是指在构成对应的图像集的各张图像中、各自被确定为蓝色的像素数相对于图像整体的像素数的比率的平均值。 

图像集场景绿色比率1523是指在构成对应的图像集的各张图像中、各自被确定为绿色的像素数相对于图像整体的像素数的比率的平均值。 

图像集场景白色比率1524是指在构成对应的图像集的各张图像中、各自被确定为白色的像素数相对于图像整体的像素数的比率的平均值。 

将图像集1400即图像集ID1500为“001”的图像集场景特征量1520和图像集1410即图像集ID1500为“002”的图像集场景特征量1520进行比较，在各个图像集场景颜色比率中看不出相互有意义的差异。 

因此，在过去的图像数据处理装置中很难将图像集1400和图像集1410分类为彼此不同的门类事件。 

<关于包含人物的图像的考察> 

图16是表示两张图像的图。 

图像1601是在家人进行的滑雪旅行中拍摄的图像，包含享受滑雪的儿子。该图像是有意识地拍摄家人进行的滑雪旅行活动的图像，是以雪山为背景且包含儿子全身而拍摄的图像。 

图像1602是在街中拍摄的图像，是包含母亲的较大人脸的、母亲的人脸的突出（up）的图像。该图像是有意识地拍摄母亲的人脸的图像，是不拘泥于背景而拍摄的图像。 

通常，摄影者在拍摄包含人物的图像时具有如下倾向，即在其兴趣是将该人物作为拍摄的对象时，以使该人物的面积增大的方式来拍摄图像， 在其兴趣是将该人物的背景作为拍摄对象时，以使该人物的面积减小的方式来拍摄图像。鉴于此，认为在人脸面积的值较大的情况下，具有拍摄该图像的活动的特点不易体现在该人物的背景中的倾向，而在人脸面积的值较小的情况下，具有拍摄该图像的活动的特点容易体现在该人物的背景中的倾向。 

在本实施方式中，将人周围特征量的各个颜色比率的值分别除以对应的人脸面积的值，由此计算图像家人场景特征量的各个图像家人场景颜色比率的值。由此，所计算出的图像家人场景特征量对图像中的人脸的区域的面积更小的图像进行加权，使得该图像的图像家人场景特征量的值成为更大的值。 

因此，能够认为本实施方式的图像家人场景的计算方法在前述的人脸面积的值较大的情况下，具有拍摄该图像的活动的特点不易体现在该人物的背景中的倾向，而在人脸面积的值较小的情况下，具有拍摄该图像的活动的特点容易体现在该人物的背景中的倾向。 

<实施方式2> 

下面，作为本发明的图像数据处理装置的一个实施方式，使用图17对将实施方式1的图像数据处理装置100的一部分进行变形得到的图像数据处理装置1700进行说明。 

该图像数据处理装置1700是其硬件结构与实施方式1的图像数据处理装置100相同的装置，但是执行的程序的一部分与实施方式1的图像数据处理装置100不同。 

实施方式1的图像数据处理装置100是以图像集单位将图像分类的示例，而实施方式2的图像数据处理装置1700是以图像单位将图像分类的示例。即，该图像数据处理装置1700计算表示被摄入到图像中的人物的周围的像素的特征的人周围特征量，根据所计算出的人周围特征量将一张图像分类为彼此不同的门类事件中的某一个门类事件。 

下面，关于本实施方式2的图像数据处理装置1700的结构，参照附图以与实施方式1的图像数据处理装置100的结构的不同之处为中心进行说明。 

<结构> 

<图像数据处理装置1700的硬件结构> 

图像数据处理装置1700的硬件结构与实施方式1的图像数据处理装置100的结构相同，因而省略说明。 

<图像数据处理装置1700的功能结构> 

图17是表示图像数据处理装置1700的主要功能单元的结构的功能框图。 

如该图所示，图像数据处理装置1700从实施方式1的图像数据处理装置100中删除了家人场景信息写入读出部204、家人场景信息计算部206、事件名称信息受理部211、家人场景信息存储部233，并将图像集数据受理部201变更为图像数据受理部1701，将图像集分类部208变更为图像分类部1708，将图像存储部231变更为图像存储部1731，将事件特征信息存储部234变更为事件特征信息存储部1734。 

图像数据受理部1701是将实施方式1的图像集数据受理部201的功能的一部分功能进行变形而得到的，是通过由CPU 101执行程序而实现的，其与图像写入读出部202连接，并具有受理用户对一张图像的指定并读入所指定的图像的功能，以及在读入图像时赋予用于确定该图像的图像ID的功能。 

图像数据受理部1701读入图像的情况包括：经由外部记录介质读取写入装置140从外部记录介质读入图像的情况、经由USB控制装置150从外部设备读入图像的情况、经由通信装置180从外部通信设备读入图像的情况。 

图像分类部1708是通过由CPU 101执行程序而实现的，是将实施方式1的图像集分类部208的功能的一部分功能进行变形而得到的，其与图像写入读出部202、图像特征信息写入读出部203、事件特征信息写入读出部209、分类结果输出部210连接，并具有根据在图像特征信息存储部232中存储的图像特征信息和在事件特征信息存储部234中存储的事件特征信息将图像分类为门类事件的功能。 

关于由图像分类部1708进行的图像的分类方法的详细情况，将在后面的<图像分类处理>部分中进行说明。 

图像存储部1731是从实施方式1的图像存储部231对其目录构造进行 了一部分变更而得到的，其与图像写入读出部202连接。 

图18是表示图像存储部1731的目录构造的目录构造图。 

如该图所示，图像存储部1731的目录构造由最上层1810、第1目录层1820合计这两层构成。 

在第1目录层320中具有滑雪目录1821、海水浴场目录1822、郊游目录1823等多个门类事件目录和实际数据保管目录1824。 

实际数据保管目录324是保存图像数据的目录，图像的数据仅被保存在该实际数据保管目录324中。 

门类事件目录是具有与作为图像的门类的门类事件相同的名称的目录，相同名称的目录只有一个。 

各个门类事件目录是通过保存表示被分类为与该门类事件目录为相同名称的门类事件的图像数据的地址的信息，而成为与该图像的数据形成链接的状态的目录。 

再次返回到图17，继续有关图像数据处理装置1700的功能结构的说明。 

事件特征信息存储部1734是从实施方式1的事件特征信息存储部234对其存储的事件特征信息进行一部分变更而得到的，其与事件特征信息写入读出部209连接。 

图19是表示在事件特征信息存储部1734中存储的事件特征信息的数据构造的一例的图。 

如该图所示，事件特征信息用于使图像集家人场景黑色比率0.5以上1901、图像集家人场景蓝色比率0.5以上1902、图像集家人场景绿色比率0.5以上1903、图像集家人场景白色比率0.5以上1904等各个分类条件1900，对应于焰火1911、海水浴场1912、郊游1913、滑雪1914等各个门类事件1910。 

下面，使用附图对如上所述构成的图像数据处理装置1700进行的动作进行说明。 

<动作> 

图像数据处理装置1700进行的特征性动作有变形图像特征信息生成处理和图像分类处理。 

下面，使用附图对各个处理进行说明。 

<变形图像特征信息生成处理> 

图像特征信息生成处理是由图像数据处理装置1700读入图像，并对所读入的图像生成图像特征信息的处理。 

图20是由图像数据处理装置1700进行的变形图像特征信息生成处理的流程图。 

变形图像特征信息生成处理是通过由遥控器197从用户受理表示开始变形图像特征信息生成处理的操作而开始的。 

在变形图像特征信息生成处理开始后，图像数据受理部1701开始读入图像（步骤S2000）。 

图像数据受理部1701能够从被安装于外部记录介质读取写入装置140的外部记录介质读入图像，或者通过与USB控制装置150连接的USB线缆195从外部设备读入图像，或者从与网络194连接的通信装置180读入图像。 

在此，例如假设从外部记录介质读取写入装置140读入在作为外部记录介质的SD存储卡191中记录的图像。 

图像数据受理部1701读入在SD存储卡191中记录的图像，对所读入的图像赋予唯一的图像ID，将图像数据和图像ID相对应，并使用图像写入读出部202写入到图像存储部1731的实际数据保管目录1824中。 

在图像被写入到图像存储部1731中后，人脸抽取部205使用图像写入读出部202从图像存储部231读出由图像集数据受理部201受理的图像，并以JPEG方式对所读出的图像进行解码。 

人脸抽取部205对于所读出的图像，通过参照所保存的人脸的模型来尝试识别一张图像中所包含的人脸（步骤S2010）。 

人脸抽取部205在识别出人脸的情况下（步骤S2010：是），对所识别出的各个人脸计算人脸特征量（步骤S2020）。即，计算所识别出的人脸的区域的面积和所识别出的人脸的位置，对所识别出的各个人脸顺序地赋予用于确定该识别出的人脸的人脸ID，并抽取该识别出的人脸的特征和被存储于样品图像存储部236的样品图像中所包含的人脸的特征，在被存储于样品图像存储部236的样品图像中存在具有与该识别出的人脸的特征相同的人脸的特征的图像时，对该识别出的人脸的对应人脸ID赋予与该样品图 像对应的对应人脸ID。如果在被存储于样品图像存储部236的样品图像中不存在具有与该识别出的人脸的特征相同的人脸的特征的图像，对该识别出的人脸的对应人脸ID赋予表示是别人的“99”。 

在步骤S2020的处理结束后，人脸抽取部205对所识别出的人脸分别计算所识别出的人脸的区域的下方的躯体的区域，对计算出的躯体的区域分别计算躯体特征量（步骤S2030）。即，计算所计算出的躯体的区域的面积和所计算出的躯体的区域的位置，并对所计算出的躯体的区域分别顺序地赋予用于确定该计算出的躯体的区域的躯体ID。 

在步骤S2030的处理结束后，人周围特征量抽取部207根据人脸的区域计算人脸周围区域，根据躯体的区域计算躯体周围区域，并根据所计算出的人脸周围区域和所计算出的躯体周围区域计算人周围区域（步骤S2040）。 

另外，人周围特征量抽取部207根据人周围区域中所包含的像素的像素值计算人周围特征量（步骤S2050）。即，对于人周围区域中所包含的各个像素，根据构成该像素的颜色成分即R、G、B的各自亮度来确定该像素的颜色，对于确定出的各种颜色，计算被确定为该颜色的像素数相对于人周围区域中所包含的像素总数的比率，作为该颜色的颜色比率。 

在步骤S2010的处理中，在人脸抽取部205未识别出人脸的情况下（步骤S2010：否），人脸抽取部205对人脸特征量的各个构成要素的值设定空值，并对躯体特征量的各个构成要素的值设定空值，人周围特征量抽取部207对人脸周围区域的值设定空值，并对躯体周围区域的值设定空值，还对人周围特征量的各个构成要素的值设定空值（步骤S2060）。 

在步骤S2050的处理结束的情况下或者步骤S2060的处理结束的情况下，人周围特征量抽取部207生成有关作为对象的图像的图像特征信息，并使用图像特征信息写入读出部203将所生成的图像特征信息存储在图像特征信息存储部1732中（步骤S2070），图像数据处理装置1700结束该变形图像特征信息生成处理。 

<图像分类处理> 

图像分类处理是由图像数据处理装置1700将图像分类为门类事件中的某一个门类事件的处理。 

图21是由图像数据处理装置1700进行的图像分类处理的流程图。 

图像集分类处理是通过图像数据处理装置1700结束变形图像特征信息生成处理而开始的。 

在图像分类处理开始后，图像分类部1708使用图像特征信息写入读出部203从图像特征信息存储部232读出在变形图像特征信息生成处理中成为对象的图像的图像特征信息，并使用事件特征信息写入读出部209从事件特征信息存储部1734读出事件特征信息（步骤S2100）。 

在步骤S2100的处理结束后，图像分类部1708将所读出的图像特征信息与所读出的事件特征信息进行比较（步骤S2110），并计算该图像的门类事件（步骤S2120）。即，确认在图像特征信息中所包含的颜色比率（参照图6）中是否具有与事件特征信息中所包含的分类条件1900（参照图19）一致的颜色比率，在发现了与事件特征信息中所包含的分类条件1900一致的颜色比率的情况下，计算与该一致的分类条件1900对应的门类事件1910作为该图像应该被分类的门类事件，在未发现与事件特征信息中所包含的分类条件1900一致的颜色比率的情况下，计算其它事件的门类事件作为该图像应该被集分类的门类事件。 

其中，在图像特征信息中所包含的颜色比率是空值的情况下，计算其它事件的门类事件作为该图像应该被分类的门类事件。 

并且，在一致的门类事件1910有多个的情况下，计算一致的全部门类事件1910作为图像应该被分类的门类事件。 

在步骤S2120的处理结束后，图像分类部1708使用图像写入读出部202，在图像存储部1731的与应该被分类的门类事件对应的门类事件目录的下面，保存表示作为对象的图像的数据的地址的信息，使成为与该图像的数据形成链接的状态，由此将图像分类（步骤S2130）。 

然后，分类结果输出部210将由图像集分类部208计算出的应该被分类的门类事件的门类事件名称，与对应于图像集的事件名称一起显示在显示器193中，图像数据处理装置100结束该图像集分类处理。 

<补充> 

以上，作为本发明的图像数据处理装置的一个实施方式，在实施方式1、实施方式2中对进行图像的分类的图像数据处理装置的示例进行了说明， 然而当然也能够进行如下所述的变形，而且本发明不限于在上述的实施方式中示出的图像数据处理装置。 

（1）在实施方式1中，关于由图像数据处理装置100存储的图像，假设是以JPEG方式进行编码得到的数据，但只要能够将数字照片存储为数据，则也可以是用JPEG方式以外的编码方式，例如也可以是PNG（Portable Network Graphics：便携式网络图形）方式或GIF方式（Graphics Interchange Format：图形交换格式）方式等进行编码得到的数据，还可以是不进行编码的位图方式的数据。 

另外，关于内容是示例了数字照片，但只要是能够存储为数字数据的图像，例如也可以是用扫描仪读取的绘画的数据等。 

（2）在实施方式1中，CPU 101、ROM 102、RAM 103、硬盘装置接口104、外部记录介质读取写入装置接口105、USB控制装置接口106、输出装置接口107、输入装置接口108、通信装置接口109、解码器111、总线120被集成为***LSI 110，但如果能够实现与***LSI 110相同的功能，则不一定需要整合为一个LSI，例如也可以利用多个集成电路等实现。 

（3）在实施方式1中，解码器111是DSP，但只要具有对被编码后的数据进行解码的功能，则不一定需要是DSP，例如也可以是CPU 101兼备的结构，还可以是与CPU 101不同的CPU，还可以是用ASIC等构成的专用电路。 

（4）在实施方式1中，输入装置170构成为具有受理从遥控器197以无线方式发送的来自用户的操作命令的功能，但只要具有受理来自用户的操作命令的功能，则不一定构成为具有受理从遥控器197以无线方式发送的操作命令的功能，例如也可以构成为具备键盘和鼠标，并具有通过键盘和鼠标受理来自用户的操作命令的功能，还可以构成为具备按钮组，并具有通过按钮组受理来自用户的操作命令的功能等。 

（5）在实施方式1中，图像集数据受理部201受理用户对两张以上图像的指定，并将所指定的图像组设为包含于一个图像集中的图像组，但如果能够获取图像与图像集的对应关系，则也可以构成为例如图像集数据受理部201受理图像数据和属于图像集的图像的列表，根据所受理的列表将图像和图像集相对应。 

（6）在实施方式1中，图像集数据受理部201对所读入的图像顺序地赋予图像ID，但如果能够避免重复地进行赋予，则不一定是顺序地赋予图像ID。 

（7）在实施方式1中，人脸的模型例如是眼睛、鼻子、嘴等形成人脸的部件的亮度、与相对位置关系相关的信息等，但只要是能够识别人脸的信息，则也可以是采用除此以外的例如使用伽柏滤波器计算出的特征量的信息，还可以是眼睛的颜色、黑痣的位置、肌肤的颜色等表示人脸的特征的信息，还可以是表示人脸的特征的多个特征的组合信息。 

（8）在实施方式1中，关于由人周围特征量抽取部207确定出的主要颜色，示例了黑色、蓝色、绿色、白色，但不限于这些颜色，也可以是例如红色、黄色等。并且，也可以采用RGB或L*a*b等作为颜色空间。 

（9）在实施方式1中，人周围特征量是利用基于图像中所包含的颜色的信息构成的，但只要是表示图像的特征的信息，则不一定需要利用基于图像中所包含的颜色的信息构成，也可以利用例如基于亮度和纹理结构特征的信息构成，还可以利用基于所拍摄的物体的信息构成。 

（10）在实施方式1中，说明了人周围特征量抽取部207根据人周围区域中所包含的各个像素计算人周围特征量的示例，但如果能够以使人脸的区域的周围的一定区域中所包含的像素的像素值、比不包含在人脸的区域的周围的一定区域中的像素的像素值更多地体现在人周围特征量中的方式，进行人周围特征量的计算，则不限于一定根据人周围区域中所包含的各个像素来计算人周围特征量。 

作为示例可以考虑如下情况等，即人周围特征量抽取部207对于图像中所包含的全部像素，根据按照距人脸的区域的距离被赋予了加权的像素值进行计算，使得距人脸的区域的距离越短而赋予越大的加权。 

（11）在实施方式1中，假设人周围区域是从包含于人脸周围区域和躯体周围区域至少一方的区域中去除人脸的区域和躯体的区域而得到的区域，但只要是人脸的区域的周围的一定区域，则不一定需要是从包含于人脸周围区域和躯体周围区域至少一方的区域中去除人脸的区域和躯体的区域而得到的区域，也可以是例如从人脸周围区域中去除人脸的区域而得到的区域，还可以是躯体区域自身，还可以是由从躯体周围区域中去除人脸 区域而得到的区域和躯体区域构成的区域。 

并且，人周围区域的形状也不局限于矩形，也可以是例如六边形或圆形。 

（12）在实施方式1中，假设人脸周围区域是针对人脸的区域，在图像中的水平方向的左右分别加上人脸的区域在图像中的水平方向的宽度、并且在图像中的垂直方向的上方加上人脸的区域在图像中的垂直方向的宽度而得到的矩形的区域，但只要是人脸的区域的周围的一定区域，则不一定局限于针对人脸的区域，在图像中的水平方向的左右分别加上人脸的区域在图像中的水平方向的宽度、并且在图像中的垂直方向的上方加上人脸的区域在图像中的垂直方向的宽度而得到的矩形的区域，例如，也可以是针对人脸的区域，在图像中的水平方向的左右分别加上人脸的区域在图像中的水平方向的宽度的一半宽度、并且在图像中的垂直方向的上下分别加上人脸的区域在图像中的垂直方向的宽度的一半宽度而得到的矩形的区域等，还可以是矩形以外的形状的区域。 

（13）在实施方式1中，说明了所识别出的人脸的区域是包括所识别出的人脸的、具有图像中的水平方向的边和图像中的垂直方向的边的矩形中面积为最小的矩形的区域的示例，但只要是包括所识别出的人脸的区域，则不一定局限于具有图像中的水平方向的边和图像中的垂直方向的边的矩形中面积为最小的矩形的区域，例如也可以是由沿着人脸的轮廓的曲线包围的区域。 

（14）在实施方式1中，假设躯体的区域是在所识别出的人脸的区域的下方、将人脸的区域在图像中的水平方向的宽度设为1.5倍、人脸的区域在图像中的垂直方向的宽度设为2倍而得到的矩形的区域，但只要是估计为具有躯体的区域，则不一定局限于在所识别出的人脸的区域的下方、将人脸的区域在图像中的水平方向的宽度设为1.5倍、人脸的区域在图像中的垂直方向的宽度设为2倍而得到的矩形的区域，例如也可以是在所识别出的人脸的区域的下方、将人脸的区域在图像中的水平方向的宽度设为2倍、人脸的区域在图像中的垂直方向的宽度设为1.5倍而得到的矩形的区域，还可以是通过图像识别处理来检测躯体，利用该识别出的躯体所示出的区域，还可以是矩形以外的形状的区域。 

（15）在实施方式1中，假设躯体周围区域是针对躯体的区域，在图像中的水平方向的左右分别加上人脸的区域在图像中的水平方向的宽度、并且在图像中的垂直方向的上下分别加上人脸的区域在图像中的垂直方向的宽度的一半宽度而得到的矩形的区域，但只要是躯体的区域的周围的一定区域，则不一定局限于针对躯体的区域，在图像中的水平方向的左右分别加上人脸的区域在图像中的水平方向的宽度、并且在图像中的垂直方向的上下分别加上人脸的区域在图像中的垂直方向的宽度的一半宽度而得到的矩形的区域，例如，也可以是针对躯体的区域，在图像中的水平方向的左右分别加上躯体的区域在图像中的水平方向的宽度的一半宽度、并且在图像中的垂直方向的上下分别加上躯体的区域在图像中的垂直方向的宽度而得到的矩形的区域，还可以是矩形以外的形状的区域。 

（16）在实施方式1中，图像家人场景特征量是通过将人周围特征量的各种颜色比率的值除以人脸面积的值而计算出的，但如果对图像中的人脸的面积的尺寸更小的图像进行加权，使得该图像的图像家人场景特征量的值成为更大的值，则不一定通过将人周围特征量的各种颜色比率的值除以人脸面积的值来计算出，例如也可以通过将人周围特征量的各种颜色比率的值除以人脸面积的值与躯体面积的值之和来计算出。 

（17）在实施方式1中，图像集家人场景特征量是与包括作为家人的人脸而被识别出的人脸在内的图像对应的图像家人场景特征量的平均值，但只要是将不包含所识别出的人脸的图像的图像家人场景特征量排除在外而计算出的值，则不一定是与包括作为家人的人脸而被识别出的人脸在内的图像对应的图像家人场景特征量的平均值，例如也可以是包括所识别出的人脸在内的全部图像的图像家人场景特征量的平均值，还可以是包括表示确定的人物的所识别出的人脸在内的图像的图像家人场景特征量的平均值。 

另外，图像集家人场景特征量也可以不是对应的图像组中的图像家人场景特征量的平均值，而是根据图像中所包含的所识别出的人脸进行加权而计算出的值。例如，可以考虑如下情况等：在具有与所识别出的人脸的特征相同的人脸的特征的人脸是在图像存储部231中存储了许多的人脸时，赋予更大的加权进行计算的情况；对包含预先设定的确定人物的图像赋予 更大的加权进行计算的情况。 

（18）在实施方式1中，图像集分类部208根据图像集家人场景信息和事件特征信息将图像集分类，但如果至少根据图像集家人信息将图像集分类，则不一定需要根据事件特征信息将图像集分类，例如，也可以是作为教师学习图像集家人场景信息，根据其学习结果来将图像集分类。关于学习方法，例如能够利用逻辑回归分析法、SVM（Support Vector Machine：支持向量机）法等使用学习模型进行学习的方法实现。 

（19）在实施方式1中，在与所识别出的人脸对应的对应人脸ID表示家人的情况下，视为该识别出的人脸的人物是家人，但如果在能够类推出所识别出的人脸是家人时就视为该识别出的人脸的人物是家人，则不一定需要在与所识别出的人脸对应的对应人脸ID表示家人的情况下，才视为该识别出的人脸的人物是家人，例如，也可以是当在图像存储部231中包含规定张数（例如10张）以上的、包括具有与该识别出的人脸的特征相同的人脸特征的人脸的图像的情况下，视为该识别出的人脸的人物是家人。 

（20）在实施方式1中，人周围特征量抽取部207在一张图像中包含多个被识别出的人脸的情况下，计算一个人周围区域，但如果能够计算至少一个人周围区域，则需要计算的人周围区域不一定局限为一个。 

作为一例可以考虑如下情况等，即对于所识别出的各个人脸分别计算人周围区域，并对各个人周围区域计算人周围特征量。 

另外，在对于一张图像计算出多个人周围特征量的情况下，关于该图像的图像家人场景特征量的计算方法可以考虑各种方法。 

例如，对于人周围特征量分别计算对应于该人物的图像家人场景特征量（以下称为“人周围图像家人场景特征量”），将计算出的这些人周围图像家人场景特征量的平均值作为该图像的图像家人场景特征量的方法，仅根据利用确定的人脸ID示出的人物的人周围信息计算图像家人场景特征量的方法，根据确定的位置（例如画面中央、画面右端等）的人物的人周围信息计算图像家人场景特征量的方法，按照预先设定的优先顺序，对各个人周围图像家人场景特征量赋予加权来计算图像家人场景特征量的方法等。 

（21）在实施方式1中，样品图像存储部236存储包括确定的人物的 图像的图像数据，但如果存储有人脸抽取部205能够抽取出确定的人物的人脸的特征的图像数据，则不一定需要存储包括确定的人物的图像，例如也可以存储确定的人物的人脸的特征自身。 

（22）在实施方式1中，图像集分类部208在决定应该被分类的门类事件后，在与应该被分类的门类事件对应的事件目录的下面，生成与对应于图像集的事件名称为相同名称的事件目录，在该事件目录的下面形成与属于图像集的全部图像的数据的链接，由此将图像集分类，但如果能够将属于图像集的图像与相同门类事件相对应，则不一定通过形成链接来将图像集分类，例如也可以对属于图像集的图像赋予用于确定门类事件的标签。 

（23）在实施方式1中，图像数据处理装置100根据图像集家人场景信息和事件特征信息进行图像集的分类，但如果能够根据至少图像集家人场景信息和事件特征信息进行分类，则不一定仅根据图像集家人场景信息和事件特征信息进行分类。 

作为一例可以考虑如下情况等，图像数据处理装置100还具有根据图像整体的特征量计算表示属于图像集的图像的特征的图像集场景特征信息的功能，根据该图像集场景特征信息和图像集家人场景信息和事件特征信息将图像集分类。在此，例如图像数据处理装置100可以在根据图像集场景特征信息和事件特征信息进行第一步的分类后，再根据图像集家人场景信息和事件特征信息更详细地进行第二步的分类。 

（24）在实施方式1中，图像集分类部208在一致的门类事件910有多个的情况下，计算一致的全部门类事件910作为图像集应该被分类的门类事件，但如果能够计算图像集应该被分类的至少一个门类事件，则不一定需要计算一致的全部门类事件910作为图像集应该被分类的门类事件。 

作为计算图像集应该被分类的门类事件的方法的一例可以考虑如下的方法等，图像集分类部208计算与分类条件900一致的图像集家人场景颜色比率中、和与数值最大的图像集家人场景颜色比率一致的分类条件对应的门类事件，作为图像集应该被分类的门类事件。 

（25）另外，也能够实现为将在上述的实施方式中说明的方法作为网络服务进行提供的服务器装置。在这种情况下，将图像数据处理装置作为提供网络服务的服务器装置。并且，也可以是，该服务器装置在通过网络 从存储有内容的AV设备、个人电脑、数字摄像机等接收内容后，对接收到的内容进行基于在上述的实施方式中说明的方法的图像数据处理，将其处理结果通过网络发送给AV设备、个人电脑、数字摄像机等。另外，处理结果的发送对象可以是接收到内容的设备，也可以是除此以外的设备。具体地讲，可以举出接收到内容的设备的用户拥有的其它设备、接收到内容的设备的用户的家人和朋友拥有的设备、提供SNS和图像共享服务等网络服务的服务器装置等。并且，也可以是不发送处理结果或者在发送处理结果的基础上，将处理结果保存在服务器装置自身中，该服务器装置将在上述的实施方式中说明的方法作为网络服务进行提供。 

（26）也可以将由程序代码构成的控制程序记录在记录介质中、或者通过各种通信路径等进行流通及颁布，该控制程序用于使图像数据处理装置的CPU以及与该CPU连接的各种电路执行在实施方式1、实施方式2中示出的图像集分类动作等。这种记录介质有IC卡、硬盘、光盘、软盘、ROM等。所流通及颁布的控制程序通过被存储在CPU能够读取的存储器等中进行使用，通过由该CPU执行该控制程序，实现诸如在各个实施方式中示出的各种功能。另外，也可以将控制程序的一部分通过各种通信路径等发送给与图像分类装置分体的可执行程序的装置（CPU），在该分体的可执行程序的装置中执行该控制程序的一部分程序。 

（27）下面，对本发明的一个实施方式的图像数据处理装置的结构及其变形例和各种效果进行说明。 

（a）本发明的一个实施方式的图像数据处理装置计算用于将图像分类的图像特征信息，其特征在于，该图像数据处理装置具有：人脸确定部，确定一张图像中所包含的人脸的区域；以及图像特征计算部，利用根据一张图像的至少一部分像素计算出的图像特征量，计算该图像中的图像特征信息，所述图像特征计算部以如下方式进行所述图像特征信息的计算，使根据由所述人脸确定部确定出的人脸的区域的周围的一定区域中所包含的像素计算出的图像特征量，比根据不包含在该一定区域中的像素计算出的图像特征量更多地体现在所述图像特征信息中。 

通常，图像的摄影者在某次活动中拍摄包括人的人脸的图像时，具有以在此人的人脸的周围的区域中表现出该活动的特点的方式进行拍摄的倾 向。例如，在海水浴场中，摄影者具有以在人的人脸的周围的区域中大量表现大海的蓝色的方式来拍摄图像的倾向，而在滑雪旅行中则具有以在人的人脸的周围的区域中大量表现雪的白色的方式来拍摄图像的倾向。 

具有上述结构的本实施方式的图像数据处理装置在抽取图像特征信息时，相比根据具有不易表现出活动的特点的倾向的距离人的人脸较远的区域的像素计算出的图像特征量，更重视根据具有容易表现出活动的特点的倾向的人的人脸周围的区域的像素计算出的图像特征量。由此，与过去的图像数据处理装置相比，该图像数据处理装置能够计算出更多地体现出活动的特点的图像特征信息。 

因此，该图像数据处理装置相比过去能够提高使用由该图像数据处理装置计算出的图像特征信息将图像分类时的分类精度。 

图22是表示上述变形例中的图像数据处理装置2200的功能结构的功能框图。 

该图像数据处理装置2200是计算用于将图像分类的图像特征信息的装置，如图22所示，由人脸确定部2201和图像特征计算部2202构成。 

人脸确定部2201与图像特征计算部2202连接，并具有确定一张图像中所包含的人脸的区域的功能。其一个示例是作为实施方式1中的人脸抽取部205而实现的。 

图像特征计算部2202与人脸确定部2201连接，并具有利用根据一张图像的至少一部分像素计算出的图像特征量，计算该图像中的图像特征信息的功能。并且，该图像特征计算部2202具有如下特征，即图像特征计算部2202以如下方式进行所述图像特征信息的计算，使根据由人脸确定部2201确定出的人脸的区域的周围的一定区域中所包含的像素计算出的图像特征量，比根据不包含在该一定区域中的像素计算出的图像特征量更多地体现在所述图像特征信息中。作为一例是作为实施方式1中的人周围特征量抽取部207而实现的。 

（b）另外，也可以是，所述图像特征计算部利用根据如下像素计算出的图像特征量进行所述图像特征信息的计算，所述像素是除了由所述人脸确定部确定出的人脸的区域中所包含的像素、和不包含在所述一定区域中的像素之外的像素。 

通过形成这种结构，能够使根据人脸的区域中所包含的像素计算出的图像特征量、和根据不包含在一定区域中的像素计算出的图像特征量，不体现在图像特征信息中。 

（c）另外，也可以是，所述人脸确定部将包括人脸的、具有图像中的水平方向的边和图像中的垂直方向的边的矩形的区域，确定为所述人脸的区域，所述图像特征计算部将扩大人脸区域作为所述一定区域进行所述图像特征信息的计算，该扩大人脸区域是针对由所述人脸确定部确定出的人脸的区域，至少在图像中的上方向和图像中的右方向和图像中的左方向的各个方向上分别被扩大了按照规定的算法决定的宽度而得到的矩形区域。 

通过形成这种结构，关于人脸的区域的确定，能够使用在矩形中成为对角的两个角的坐标来进行确定，并且能够使用在矩形中成为对角的两个角的坐标来确定人脸的周围的一定区域。 

（d）另外，也可以是，本发明的一个实施方式的图像数据处理装置计算用于将图像分类的图像特征信息，其特征在于，其特征在于，该图像数据处理装置具有：人脸确定部，确定一张图像中所包含的人脸的区域；图像特征计算部，利用根据一张图像的至少一部分像素计算出的图像特征量，计算该图像中的图像特征信息；以及躯体确定部，将在由所述人脸确定部确定出的人脸的区域的下方的、针对该人脸的区域按照规定的算法决定的区域，确定为躯体区域，所述图像特征计算部以如下方式进行所述图像特征信息的计算，即，使根据由所述躯体确定部确定出的躯体区域中所包含的像素计算出的图像特征量，比根据不包含在该躯体区域中的像素计算出的图像特征量更多地体现在所述图像特征信息中。 

通常，图像的摄影者在某次活动中拍摄包括人的人脸的图像时，具有以在此人的躯体的周围的区域中表现出该活动的特点的方式进行拍摄的倾向。例如，在海水浴场中，摄影者具有以在人的躯体的周围的区域中大量表现大海的蓝色的方式来拍摄图像的倾向，而在滑雪旅行中则具有以在人的躯体的周围的区域中大量表现雪的白色的方式来拍摄图像的倾向。 

具有上述结构的本实施方式的图像数据处理装置在抽取图像特征信息时，相比根据具有不易表现出活动的特点的倾向的距离人的躯体较远的区域的像素计算出的图像特征量，更重视根据具有容易表现出活动的特点的 倾向的人的躯体周围的区域的像素计算出的图像特征量。由此，与过去的图像数据处理装置相比，该图像数据处理装置能够计算出更多地体现出活动的特点的图像特征信息。 

因此，该图像数据处理装置相比过去能够提高使用由该图像数据处理装置计算出的图像特征信息将图像分类时的分类精度。 

图23是表示上述变形例中的图像数据处理装置2300的功能结构的功能框图。 

该图像数据处理装置2300是计算用于将图像分类的图像特征信息的装置，如图23所示，由人脸确定部2301和躯体确定部2302和图像特征计算部2303构成。 

人脸确定部2301与躯体确定部2302连接，并具有确定一张图像中所包含的人脸的区域的功能。其一个示例是作为实施方式1中的人脸抽取部205中的实现功能一和功能二的部分而实现的。 

躯体确定部2302与人脸确定部2301和图像特征计算部2303连接，并具有将在由人脸确定部2301确定出的人脸的区域的下方、针对该人脸的区域按照预定的算法决定的区域，确定为躯体区域的功能。其一个示例是作为实施方式1中的人脸抽取部205中实现功能三的部分而实现的。 

图像特征计算部2303与躯体确定部2302连接，具有从根据一张图像的至少一部分像素计算出的图像特征量，计算该图像的图像特征信息的功能。而且，该图像特征计算部2303具有如下特征，即该图像特征计算部2303以如下方式进行所述图像特征信息的计算，使根据由躯体确定部2302确定出的躯体区域中所包含的像素计算出的图像特征量，比根据不包含在该躯体区域中的像素计算出的图像特征量更多地体现在所述图像特征信息中。其一个示例是作为实施方式1中的人周围特征量抽取部207中的实现功能四和功能五的部分而实现的。 

（e）另外，也可以是，所述图像特征计算部利用根据仅包含在由所述人脸确定部确定出的所述躯体区域中的像素计算出的图像特征量，进行所述图像特征信息的计算。 

通过形成这种结构，能够使躯体区域中所包含的像素以外的像素不体现在图像特征量中。 

（f）另外，也可以是，所述图像特征计算部将扩大躯体区域包含在所述躯体区域中来进行所述图像特征信息的计算，该扩大躯体区域是从针对由所述躯体确定部确定出的躯体区域，至少在图像中的上方向、图像中的右方向、和图像中的左方向的各个方向上分别扩大按照规定的算法决定的宽度后得到的区域中，去除由所述人脸确定部确定出的人脸的区域而得到的区域。 

通过形成这种结构，能够使躯体区域包括与该躯体区域对应的人物的躯体的周围的区域。 

（g）另外，也可以是，在所述人脸确定部针对一张图像确定出第1人脸区域和第2人脸区域的情况下，所述图像特征计算部利用根据如下像素计算出的图像特征量进行所述图像特征信息的计算，该像素是除了不包含在与该第1人脸区域对应的所述一定区域和与该第2人脸区域对应的所述一定区域的至少一方中的像素、该第1人脸区域中包含的像素、和该第2人脸区域中包含的像素之外的像素。 

通过形成这种结构，在第1人脸区域和第2人脸区域包含于一张图像中的情况下，能够使第1人脸区域中所包含的像素的像素值和第2人脸区域中所包含的像素的像素值这两种像素值不体现在图像特征信息中。 

（h）另外，也可以是，在所述躯体确定部针对一张图像确定出第1躯体区域和第2躯体区域的情况下，所述图像特征计算部利用根据包含在该第1躯体区域和该第2躯体区域中的像素计算出的图像特征量，进行所述图像特征信息的计算。 

通过形成这种结构，在第1躯体区域和第2躯体区域包含于一张图像中的情况下，能够使第1躯体区域中所包含的像素的像素值和第2躯体区域中所包含的像素的像素值这两种像素值体现在图像特征信息中。 

（i）另外，也可以是，所述图像数据处理装置具有图像集特征计算部，根据有关属于一个图像集的图像的一部分或者全部的两张以上的图像的、由图像特征计算部计算出的图像特征信息，计算用于将该图像集分类的图像集特征信息，所述人脸确定部还计算人脸面积信息，该人脸面积信息表示确定的人脸的区域的面积相对于图像的面积的比率即面积率，所述图像集特征计算部以使第1图像的图像特征信息比第2图像的图像特征信息更 多地体现在所述图像集特征信息中的方式，进行所述图像特征信息的计算，该第1图像是由所述人脸确定部计算出了人脸面积信息的图像，该第2图像是由所述人脸确定部计算出了表示比利用该第1图像的人脸面积信息示出的人脸的区域的面积率大的面积率的人脸面积信息的图像。 

通过形成这种结构，能够以如下方式计算出用于以图像集单位将图像分类的图像集特征信息，即，使图像中所包含的人脸的区域的面积更加小的图像的图像特征信息越能更大程度地体现出来。 

（j）另外，也可以是，所述图像数据处理装置具有图像集分类部，所述图像数据处理装置具有图像集分类部，将图像集分类为多个类别中的某一个类别，所述图像集分类部针对利用所述图像集特征信息计算出了图像集特征信息的图像集，根据所述多个类别中各个类别的表示由图像集特征信息示出的特征的范围的基准信息、和由所述图像集特征计算部计算出的图像集特征信息，进行所述图像集的分类。 

通过形成这种结构，能够以图像集单位将图像分类。 

（k）另外，也可以是，所述图像特征计算部使计算出的图像特征信息中包含与图像中所包含的颜色相关的信息，所述图像集特征计算部使计算出的图像集特征信息中包含与属于图像集的图像中所包含的颜色相关的信息，所述基准信息包括颜色基准信息，该颜色基准信息表示所述多个类别中各个类别的由图像集特征信息示出的颜色的特征的范围，所述图像集分类部根据所述基准信息中包含的颜色基准信息、和由所述图像集特征计算部计算出的图像集特征信息中包含的与所述颜色相关的信息，执行针对利用所述图像集特征信息计算出了图像集特征信息的图像集进行的所述图像集的分类。 

通过形成这种结构，能够根据与颜色相关的信息以图像集单位将图像分类。 

产业上的可利用性 

本发明的图像数据处理装置能够广泛应用于具有存储多张数字图像的功能的设备。 

符号说明 

100图像数据处理装置；201图像集数据受理部；202图像写入读出部；203图像特征信息写入读出部；204家人场景信息写入读出部；205人脸抽取部；206家人场景信息计算部；207人周围特征量抽取部；208图像集分类部；209事件特征信息写入读出部；210分类结果输出部；211事件名称信息受理部；212事件特征信息受理部；213样品图像受理部；214样品图像写入部；231图像存储部；232图像特征信息存储部；233家人场景信息存储部；23***特征信息存储部；236样品图像存储部。 

权利要求书(按照条约第19条的修改)

1.（补正后）一种计算用于将图像分类的图像特征信息的图像数据处理装置，其特征在于，该图像数据处理装置具有：

人脸确定部，确定一张图像中所包含的人脸的区域；

图像特征计算部，利用根据一张图像的至少一部分像素计算出的图像特征量，计算该图像中的图像特征信息；以及

图像集特征计算部，根据有关属于一个图像集的图像的一部分或者全部的两张以上的图像的、由图像特征计算部计算出的图像特征信息，计算用于将该图像集分类的图像集特征信息，

所述人脸确定部还计算人脸面积信息，该人脸面积信息表示所确定的人脸的区域的面积相对于图像的面积的比率即面积率，

所述图像集特征计算部以使第1图像的图像特征信息比第2图像的图像特征信息更多地体现在所述图像集特征信息中的方式，进行所述图像特征信息的计算，该第1图像是由所述人脸确定部计算出了人脸面积信息的图像，该第2图像是由所述人脸确定部计算出了表示比利用该第1图像的人脸面积信息示出的人脸的区域的面积率大的面积率的人脸面积信息的图像。

2.根据权利要求1所述的图像数据处理装置，其特征在于，所述图像特征计算部利用根据如下像素计算出的图像特征量进行所述图像特征信息的计算，该像素是除了由所述人脸确定部确定出的人脸的区域中所包含的像素和不包含在所述一定区域中的像素之外的像素。

3.根据权利要求2所述的图像数据处理装置，其特征在于，所述人脸确定部将包括人脸并具有图像中的水平方向的边和图像中的垂直方向的边的矩形的区域，确定为所述人脸的区域，

所述图像特征计算部将扩大人脸区域作为所述一定区域进行所述图像特征信息的计算，该扩大人脸区域是针对由所述人脸确定部确定出的人脸的区域，至少在图像中的上方向、图像中的右方向、和图像中的左方向的各个方向上分别扩大按照规定的算法决定的宽度后得到的矩形区域。

4.（补正后）根据权利要求1所述的图像数据处理装置，其特征在于，所述图像数据处理装置具有躯体确定部，该躯体确定部将在由所述人脸确定部确定出的人脸的区域的下方的、针对该人脸的区域按照规定的算法决定的区域，确定为躯体区域，

所述图像特征计算部以如下方式进行所述图像特征信息的计算，即，使根据由所述人脸确定部确定出的躯体区域中所包含的像素计算出的图像特征量，比根据不包含在该躯体区域中的像素计算出的图像特征量更多地体现在所述图像特征信息中。

5.根据权利要求4所述的图像数据处理装置，其特征在于，所述图像特征计算部利用根据仅包含在由所述躯体确定部确定出的所述躯体区域中的像素计算出的图像特征量，进行所述图像特征信息的计算。

6.根据权利要求4所述的图像数据处理装置，其特征在于，所述图像特征计算部将扩大躯体区域包含在所述躯体区域中来进行所述图像特征信息的计算，该扩大躯体区域是从针对由所述躯体确定部确定出的躯体区域，至少在图像中的上方向、图像中的右方向、和图像中的左方向的各个方向上分别扩大按照规定的算法决定的宽度后得到的区域中，去除由所述人脸确定部确定出的人脸的区域而得到的区域。

7.根据权利要求1所述的图像数据处理装置，其特征在于，在所述人脸确定部针对一张图像确定出第1人脸区域和第2人脸区域的情况下，所述图像特征计算部利用根据如下像素计算出的图像特征量进行所述图像特征信息的计算，该像素是除了不包含在与该第1人脸区域对应的所述一定区域和与该第2人脸区域对应的所述一定区域的至少一方中的像素、该第1人脸区域中包含的像素、和该第2人脸区域中包含的像素之外的像素。

8.根据权利要求4所述的图像数据处理装置，其特征在于，在所述躯体确定部针对一张图像确定出第1躯体区域和第2躯体区域的情况下，所述图像特征计算部利用根据包含在该第1躯体区域和该第2躯体区域中的像素计算出的图像特征量，进行所述图像特征信息的计算。

9.（删除）

10.（补正后）根据权利要求1所述的图像数据处理装置，其特征在于，所述图像数据处理装置具有图像集分类部，该图像集分类部将图像集分类为多个类别中的某一个类别，

所述图像集分类部根据所述多个类别中各个类别的表示由图像集特征信息示出的特征的范围的基准信息、和由所述图像集特征计算部计算出的图像集特征信息，针对利用所述图像集特征信息计算出了图像集特征信息的图像集，进行所述图像集的分类。

11.根据权利要求10所述的图像数据处理装置，其特征在于，所述图像特征计算部使计算出的图像特征信息中包含与图像中所包含的颜色相关的信息，

所述图像集特征计算部使计算出的图像集特征信息中包含与属于图像集的图像中所包含的颜色相关的信息，

所述基准信息包括颜色基准信息，该颜色基准信息表示所述多个类别中各个类别的由图像集特征信息示出的颜色的特征的范围，

所述图像集分类部根据所述基准信息中包含的颜色基准信息、和由所述图像集特征计算部计算出的图像集特征信息中包含的与所述颜色相关的信息，执行针对利用所述图像集特征信息计算出了图像集特征信息的图像集进行的所述图像集的分类。

12.（补正后）一种使用图像数据处理装置进行的图像数据处理方法，该图像数据处理装置计算用于将图像分类的图像特征信息，其特征在于，该图像数据处理方法包括：

人脸确定步骤，确定一张图像中所包含的人脸的区域；

图像特征计算步骤，利用根据一张图像的一部分或者全部像素计算出的图像特征量，计算该图像中的图像特征信息；以及

图像集特征计算步骤，根据有关属于一个图像集的图像的一部分或者全部的两张以上的图像的、由图像特征计算步骤计算出的图像特征信息，计算用于将该图像集分类的图像集特征信息，

在所述人脸确定步骤中还计算人脸面积信息，该人脸面积信息表示所确定的人脸的区域的面积相对于图像的面积的比率即面积率，

在所述图像集特征计算步骤中，以使第1图像的图像特征信息比第2图像的图像特征信息更多地体现在所述图像集特征信息中的方式，进行所述图像特征信息的计算，该第1图像是在所述人脸确定步骤中被计算出了人脸面积信息的图像，该第2图像是在所述人脸确定步骤中被计算出了表示比利用该第1图像的人脸面积信息示出的人脸的区域的面积率大的面积率的人脸面积信息的图像。

13.（补正后）一种使计算机作为图像数据处理装置发挥作用的图像数据处理程序，该图像数据处理装置计算用于将图像分类的图像特征信息，其特征在于，该图像数据处理程序使所述计算机作为具有如下特征的图像数据处理装置发挥作用，

该图像数据处理装置具有：

人脸确定部，确定一张图像中所包含的人脸的区域；

图像特征计算部，利用根据一张图像的至少一部分像素计算出的图像特征量，计算该图像中的图像特征信息；以及

图像集特征计算部，根据有关属于一个图像集的图像的一部分或者全部的两张以上的图像的、由图像特征计算部计算出的图像特征信息，计算用于将该图像集分类的图像集特征信息，

所述人脸确定部还计算人脸面积信息，该人脸面积信息表示所确定的人脸的区域的面积相对于图像的面积的比率即面积率，

所述图像集特征计算部以使第1图像的图像特征信息比第2图像的图像特征信息更多地体现在所述图像集特征信息中的方式，进行所述图像特征信息的计算，该第1图像是由所述人脸确定部计算出了人脸面积信息的图像，该第2图像是由所述人脸确定部计算出了表示比利用该第1图像的人脸面积信息示出的人脸的区域的面积率大的面积率的人脸面积信息的图像。

14.（补正后）一种计算用于将图像分类的图像特征信息的半导体集成电路，其特征在于，该半导体集成电路具有：

人脸确定部，确定一张图像中所包含的人脸的区域；

图像特征计算部，利用根据一张图像的至少一部分像素计算出的图像特征量，计算该图像中的图像特征信息；以及

图像集特征计算部，根据有关属于一个图像集的图像的一部分或者全部的两张以上的图像的、由图像特征计算部计算出的图像特征信息，计算用于将该图像集分类的图像集特征信息，

所述人脸确定部还计算人脸面积信息，该人脸面积信息表示所确定的人脸的区域的面积相对于图像的面积的比率即面积率，

所述图像集特征计算部以使第1图像的图像特征信息比第2图像的图像特征信息更多地体现在所述图像集特征信息中的方式，进行所述图像特征信息的计算，该第1图像是由所述人脸确定部计算出了人脸面积信息的图像，该第2图像是由所述人脸确定部计算出了表示比利用该第1图像的人脸面积信息示出的人脸的区域的面积率大的面积率的人脸面积信息的图像。

15.（追加）根据权利要求1所述的图像数据处理装置，其特征在于，

所述图像特征计算部以如下方式进行所述图像特征信息的计算，即，使根据由所述人脸确定部确定出的人脸的区域周围的一定区域中所包含的像素计算出的图像特征量，比根据不包含在该一定区域中的像素计算出的图像特征量更多地体现在所述图像特征信息中。

Claims (14)

1.一种计算用于将图像分类的图像特征信息的图像数据处理装置，其特征在于，该图像数据处理装置具有：

人脸确定部，确定一张图像中所包含的人脸的区域；以及

图像特征计算部，利用根据一张图像的至少一部分像素计算出的图像特征量，计算该图像中的图像特征信息，

所述图像特征计算部以如下方式进行所述图像特征信息的计算，即，使根据由所述人脸确定部确定出的人脸的区域周围的一定区域中所包含的像素计算出的图像特征量，比根据不包含在该一定区域中的像素计算出的图像特征量更多地体现在所述图像特征信息中。

2.根据权利要求1所述的图像数据处理装置，其特征在于，所述图像特征计算部利用根据如下像素计算出的图像特征量进行所述图像特征信息的计算，该像素是除了由所述人脸确定部确定出的人脸的区域中所包含的像素和不包含在所述一定区域中的像素之外的像素。

3.根据权利要求2所述的图像数据处理装置，其特征在于，所述人脸确定部将包括人脸并具有图像中的水平方向的边和图像中的垂直方向的边的矩形的区域，确定为所述人脸的区域，

所述图像特征计算部将扩大人脸区域作为所述一定区域进行所述图像特征信息的计算，该扩大人脸区域是针对由所述人脸确定部确定出的人脸的区域，至少在图像中的上方向、图像中的右方向、和图像中的左方向的各个方向上分别扩大按照规定的算法决定的宽度后得到的矩形区域。

4.一种计算用于将图像分类的图像特征信息的图像数据处理装置，其特征在于，该图像数据处理装置具有：

人脸确定部，确定一张图像中所包含的人脸的区域；

图像特征计算部，利用根据一张图像的至少一部分像素计算出的图像特征量，计算该图像中的图像特征信息；以及

躯体确定部，将在由所述人脸确定部确定出的人脸的区域的下方的、针对该人脸的区域按照规定的算法决定的区域，确定为躯体区域，

所述图像特征计算部以如下方式进行所述图像特征信息的计算，即，使根据由所述躯体确定部确定出的躯体区域中所包含的像素计算出的图像特征量，比根据不包含在该躯体区域中的像素计算出的图像特征量更多地体现在所述图像特征信息中。

5.根据权利要求4所述的图像数据处理装置，其特征在于，所述图像特征计算部利用根据仅包含在由所述人脸确定部确定出的所述躯体区域中的像素计算出的图像特征量，进行所述图像特征信息的计算。

6.根据权利要求4所述的图像数据处理装置，其特征在于，所述图像特征计算部将扩大躯体区域包含在所述躯体区域中来进行所述图像特征信息的计算，该扩大躯体区域是从针对由所述躯体确定部确定出的躯体区域，至少在图像中的上方向、图像中的右方向、和图像中的左方向的各个方向上分别扩大按照规定的算法决定的宽度后得到的区域中，去除由所述人脸确定部确定出的人脸的区域而得到的区域。

7.根据权利要求1所述的图像数据处理装置，其特征在于，在所述人脸确定部针对一张图像确定出第1人脸区域和第2人脸区域的情况下，所述图像特征计算部利用根据如下像素计算出的图像特征量进行所述图像特征信息的计算，该像素是除了不包含在与该第1人脸区域对应的所述一定区域和与该第2人脸区域对应的所述一定区域的至少一方中的像素、该第1人脸区域中包含的像素、和该第2人脸区域中包含的像素之外的像素。

8.根据权利要求4所述的图像数据处理装置，其特征在于，在所述躯体确定部针对一张图像确定出第1躯体区域和第2躯体区域的情况下，所述图像特征计算部利用根据包含在该第1躯体区域和该第2躯体区域中的像素计算出的图像特征量，进行所述图像特征信息的计算。

9.根据权利要求1所述的图像数据处理装置，其特征在于，所述图像数据处理装置具有图像集特征计算部，根据有关属于一个图像集的图像的一部分或者全部的两张以上的图像的、由图像特征计算部计算出的图像特征信息，计算用于将该图像集分类的图像集特征信息，

所述人脸确定部还计算人脸面积信息，该人脸面积信息表示确定的人脸的区域的面积相对于图像的面积的比率即面积率，

所述图像集特征计算部以使第1图像的图像特征信息比第2图像的图像特征信息更多地体现在所述图像集特征信息中的方式，进行所述图像特征信息的计算，该第1图像是由所述人脸确定部计算出了人脸面积信息的图像，该第2图像是由所述人脸确定部计算出了表示比利用该第1图像的人脸面积信息示出的人脸的区域的面积率大的面积率的人脸面积信息的图像。

10.根据权利要求9所述的图像数据处理装置，其特征在于，所述图像数据处理装置具有图像集分类部，将图像集分类为多个类别中的某一个类别，

所述图像集分类部针对利用所述图像集特征信息计算出了图像集特征信息的图像集，根据所述多个类别中各个类别的表示由图像集特征信息示出的特征的范围的基准信息、和由所述图像集特征计算部计算出的图像集特征信息，进行所述图像集的分类。

11.根据权利要求10所述的图像数据处理装置，其特征在于，所述图像特征计算部使计算出的图像特征信息中包含与图像中所包含的颜色相关的信息，

所述图像集特征计算部使计算出的图像集特征信息中包含与属于图像集的图像中所包含的颜色相关的信息，

所述基准信息包括颜色基准信息，该颜色基准信息表示所述多个类别中各个类别的由图像集特征信息示出的颜色的特征的范围，

所述图像集分类部根据所述基准信息中包含的颜色基准信息、和由所述图像集特征计算部计算出的图像集特征信息中包含的与所述颜色相关的信息，执行针对利用所述图像集特征信息计算出了图像集特征信息的图像集进行的所述图像集的分类。

12.一种使用图像数据处理装置进行的图像数据处理方法，该图像数据处理装置计算用于将图像分类的图像特征信息，其特征在于，该图像数据处理方法包括：

人脸确定步骤，确定一张图像中所包含的人脸的区域；以及

图像特征计算步骤，利用根据一张图像的一部分或者全部像素计算出的图像特征量，计算该图像中的图像特征信息，

在所述图像特征计算步骤中以如下方式进行所述图像特征信息的计算，使根据通过所述人脸确定步骤而确定出的人脸的区域周围的一定区域中所包含的像素计算出的图像特征量，比根据不包含在该一定区域中的像素计算出的图像特征量更多地体现在所述图像特征信息中。

13.一种用于使计算机作为图像数据处理装置发挥作用的图像数据处理程序，该图像数据处理装置计算用于将图像分类的图像特征信息，其特征在于，该图像数据处理程序使计算机作为具有如下特征的图像数据处理装置发挥作用，

该图像数据处理装置具有：

人脸确定部，确定一张图像中所包含的人脸的区域；以及

图像特征计算部，利用根据一张图像的至少一部分或者全部像素计算出的图像特征量，计算该图像中的图像特征信息，

所述图像特征计算部以如下方式进行所述图像特征信息的计算，使根据由所述人脸确定部确定出的人脸的区域周围的一定区域中所包含的像素计算出的图像特征量，比根据不包含在该一定区域中的像素计算出的图像特征量更多地体现在所述图像特征信息中。

14.一种计算用于将图像分类的图像特征信息的半导体集成电路，其特征在于，该半导体集成电路具有：

人脸确定部，确定一张图像中所包含的人脸的区域；以及

图像特征计算部，利用根据一张图像的一部分或者全部像素计算出的图像特征量，计算该图像中的图像特征信息，

所述图像特征计算部以如下方式进行所述图像特征信息的计算，使根据由所述人脸确定部确定出的人脸的区域周围的一定区域中所包含的像素计算出的图像特征量，比根据不包含在该一定区域中的像素计算出的图像特征量更多地体现在所述图像特征信息中。

Images