CN101377815A - 摄像装置及其程序 - Google Patents

Abstract

一种摄像装置，判断是否设定人用的脸检测模式(S31)，若判断为设定人用的脸检测模式，则执行由二维脸检测处理检测人脸的处理(S32)。之后，若由该二维脸检测处理判断为无人脸，则执行由三维脸检测处理检测人脸的处理(S35、S36)。另一方面，在设定动物用的脸检测模式的情况下，执行由三维脸检测处理检测该设定的检测模式的动物种类的脸的处理(S36)。由此，可使脸辨别的精度提高。

Description

摄像装置及其程序

技术领域

本发明涉及一种具有辨别被拍摄体的功能的摄像装置及其程序。

背景技术

近年来，就电子照相机等摄像装置而言，由于出现辨别被拍摄体的脸的技术，有如下技术，即设定曝光条件，以聚焦于该被辨别的脸，或脸适当曝光(日本特开2007—081991号公报)。

但是，现有的脸辨别仅以从某个特定的方向摄像人的脸而且是正面的脸等情况为对象，不能辨别侧脸或带墨镜时等。另外，人以外的脸、例如猫或狗等的脸无法辨别。

发明内容

因此，本发明鉴于这种现有问题作出，其目的在于提供一种可使脸辨别的精度提高的摄像装置及其程序。

本发明的一个方式是一种具有被拍摄体的辨别功能的摄像装置，其特征在于，具有被拍摄体的辨别功能，

所述摄像装置具备：

摄像部，其对被拍摄体进行摄像；

脸辨别模式设定部，其具备辨别被拍摄体的脸时执行的脸辨别处理的内容各不相同的多个脸辨别模式，从该多个脸辨别模式中设定任一脸辨别模式；和

脸辨别部，其对由所述摄像部摄像的图像数据执行与由所述脸辨别模式设定部设定的脸辨别模式对应的脸辨别处理，由此辨别在该摄像的图像数据内的脸。

本发明的另一方式是一种具有被拍摄体的辨别功能的摄像装置的控制方法，其特征在于，所述控制方法执行下述步骤：

模式设定步骤，从辨别被拍摄体的脸时执行的脸辨别处理的内容各不相同的多个脸辨别模式中，设定任一种类的脸辨别模式；

对被拍摄体进行摄像的摄像步骤；

脸辨别步骤，对通过所述摄像步骤摄像的图像数据，执行与通过所述模式设定步骤设定的脸辨别模式对应的脸辨别处理；和

判定步骤，根据通过所述脸辨别步骤执行的脸辨别处理，判定所述图像数据内脸的有无或脸的种类。

附图说明

图1是本发明实施方式的数码相机的框图。

图2是表示记录在存储器12中的脸数据表格的状态图。

图3是表示第1实施方式的数码相机1的动作的流程图。

图4是表示第1实施方式的数码相机1的动作的流程图。

图5是表示对应于设定的脸检测模式种类的脸检测处理的动作的流程图。

图6是表示第1个三维脸检测处理动作的流程图。

图7是表示用三角形多边形表示生成的被拍摄体(这里仅为猫科的脸)的三维模型时的状态图。

图8是表示第2个三维脸检测处理动作的流程图。

图9是表示第2实施方式的数码相机1的动作的流程图。

图10是表示第2实施方式的数码相机1的动作的流程图。

图11是表示对应于设定的脸识别模式种类的脸识别处理的动作的流程图。

具体实施方式

下面，作为将本发明的摄像装置适用于数码相机的一例，参照附图来详细说明本实施方式。

[第1实施方式]

A.数码相机的构成

图1是表示实现本发明摄像装置的数码相机1的电示意构成的框图。

数码相机1具备摄影透镜2、透镜驱动模块3、光圈4、CCD5、驱动器6、TG(timing generator)7、单位电路8、图像生成部9、CPU10、键输入部11、存储器12、DRAM13、闪存14、图像显示部15、总线16。

摄影透镜2包含由未图示的多个透镜群构成的聚焦透镜、变焦透镜等。另外，在摄影透镜2连接有透镜驱动模块3。透镜驱动模块3由分别沿光轴方向驱动聚焦透镜、变焦透镜的聚焦电动机、变焦电动机、与根据从CPU10发送来的控制信号来驱动聚焦电动机、变焦电动机的聚焦电动机驱动器、变焦电动机驱动器构成(省略图示)。

光圈4包含未图示的驱动电路，驱动电路根据从CPU10发送来的控制信号使光圈4动作。

所谓光圈4是指控制从摄影透镜2射入的光的量的机构。

CCD5由驱动器6驱动，每规定周期光电变换被拍摄体像的RGB值的各色光的强度，作为摄像信号，输出到单位电路8。该驱动器6、单位电路8的动作定时(timing)经TG7由CPU10控制。另外，CCD5具有成对排列的滤色镜，还具有作为电子快门的功能。该电子快门的快门速度经驱动器6、TG7由CPU10控制。

TG7连接于单位电路8上，由相关二重采样从CCD5输出的摄像信号后保持的CDS(Correlated Double Sampling)电路、在该采样后执行摄像信号的自动增益调整的AGC(Automatic Gain Control)电路、将该自动增益调整后的模拟的摄像信号变换为数字信号的A/D变换器构成，从CCD5输出的摄像信号经单位电路8作为数字信号发送到图像生成部9。

图像生成部9对从单位电路8发送的图像数据实施γ校正处理、白平衡处理等处理，同时，生成亮度色差信号(YUV数据)，将该生成的亮度色差信号的图像数据存储在DRAM13(缓冲存储器)中。即，图像生成部9对从CCD5输出的图像数据实施图像处理。

CPU10是单片微机，具有执行对CCD5的摄像控制、图像数据的压缩扩展处理、向闪存14的记录处理、图像数据的显示处理的功能，同时，控制数码相机1的各部。另外，CPU10包含块电路，还具有作为计时器的功能。

尤其是CPU10具有从多种脸检测模式中设定任一脸检测模式的脸检测模式设定部101、和辨别在图像数据内的脸的脸辨别部102。

该脸检测模式设定部101具备存储设定的脸检测模式种类的存储区域，仅存储最新设定的脸检测模式。

另外，该脸辨别部102具有仅使用二维数据来辨别脸的功能(二维脸辨别处理)、与使用三维数据来辨别脸的功能(三维脸辨别处理)。另外，所谓该脸辨别是指检测位于图像数据内的脸、或具体地识别位于图像数据内的脸是谁的？或是何脸。即，将脸检测、脸识别统称为脸辨别。

键输入部11包含可半按压全按压的快门按钮、模式切换键、十字键、SET键、被拍摄体跟踪On/Off键等多个操作键，将对应于用户的键操作的操作信号输出到CPU10。

在存储器12中，记录CPU10控制各部所需的控制程序、和必要的数据(设定被拍摄体的每个种类(人、狗、猫等)的脸数据的脸数据表格)，CPU10根据该程序动作。该存储器12是可改写的非易失性存储器。

图2表示记录在存储器12中的脸数据表格的状态。

从图2可知，将被拍摄体的种类大致分为人与动物，动物进一步按狗、猫、马...那样按每个种类分。另外，按各被拍摄体的每个种类记录脸数据。脸数据具有二维(平面)与三维(立体)两种，对该被拍摄体的每个种类，设定二维或/和三维的脸数据。这里，对于人的脸数据，同时设定为二维与三维，儿动物的脸数据仅为三维。即，在动物的情况下，不设定二维的脸数据。这是因为动物的脸因看的角度不同而极端变化，而且是立体的原因。

DRAM13用作暂时存储由CCD5摄像后、发送到CPU10的图像数据的缓冲存储器，同时，用作CPU10的工作存储器。

闪存14是保存压缩后的图像数据的记录介质。

图像显示部15包含彩色LCD及其驱动电路，当处于摄影待机状态时，将由CCD5摄像的被拍摄体显示为直通图(through image)，当再现记录图像时，显示从闪存14中读出、扩展后的记录图像。

B.数码相机1的动作

根据图3和图4的流程图来说明第1实施方式的数码相机1的动作。

若利用用户的模式切换键的操作来设定成脸检测静止图像摄影模式，则在步骤S1，CPU10使多种脸检测模式一览显示于图像显示部15中。

这里，多种脸检测模式大致分为检测人脸的脸检测模式(人用的脸检测模式)与检测动物(狗、猫、马等)的脸的脸检测模式(动物用的脸检测模式)，动物用的脸检测模式进一步如检测狗的脸的脸检测模式(狗用的脸检测模式)、检测猫的脸的脸检测模式(猫用的脸检测模式)、检测马的脸的脸检测模式(马用的脸检测模式)那样按动物的每个种类分类。即，多种脸检测模式按构成脸检测对象的被拍摄体的每个种类存在，将这些脸检测模式一览显示于图像显示部15中。此时，使光标与规定种类的脸检测模式一致显示。

接着，在步骤S2，CPU10判断由用户选择了哪个脸检测模式。该判断通过是否从键输入部11发送了与SET键的操作对应的操作信号来判断。

此时，用户通过操作十字键，可使光标与想选择的种类的脸检测模式一致，在该光标一致的种类的脸检测模式下认为OK的情况下，执行SET键的操作。

在步骤S2，若判断为选择了脸检测模式，则进入步骤S3，CPU10的脸检测模式设定部101设定为当执行该SET键的操作时、光标一致的种类的脸检测模式。

若设定脸检测模式，则进入步骤S4，CPU10开始所谓的直通图显示，也就是使CCD5开始以规定的帧速率摄像被拍摄体的处理，将由CCD5依次摄像、由图像生成部9生成的亮度色差信号的帧图像数据(YUV数据)存储在缓冲存储器(DRAM13)中，使基于该存储的帧图像数据的图像依次显示于图像显示部15上。

接着，在步骤S5中，CPU10判断是否执行被拍摄体跟踪On/Off键的操作。

在步骤S5，若判断为执行被拍摄体跟踪键的操作，则进入步骤S6，CPU10判断当前的被拍摄体跟踪模式是否为On。

在步骤S6，若判断为当前的被拍摄体跟踪模式不是On、即是Off，则进入步骤S7，CPU10将被拍摄体跟踪模式从Off切换为On，进入步骤S9。

另一方面，在步骤S6，若判断为当前的被拍摄体跟踪模式是On，则进入步骤S8，CPU10将被拍摄体跟踪模式从On切换为Off，进入步骤S9。

另外，在步骤S5，若判断为不执行被拍摄体跟踪On/Off键的操作，则直接进入步骤S9。

若进入步骤S9，则CPU10判断是否由用户半按压快门按钮。该判断通过是否从键输入部11发送了与快门按钮的半按压操作对应的操作信号来判断。

此时，用户由于在将想摄影的被拍摄体(主被拍摄体)收入视场角内并确定构图之后指示摄影的准备，所以半按压操作快门按钮。

在步骤S9，若判断为未半按压快门按钮，则返回步骤S5，若判断为半按压快门按钮，则进入步骤S10，CPU10的脸辨别部102执行对应于步骤S3设定的脸检测模式种类的脸检测处理。该脸检测处理在后面详细说明。由该脸检测处理检测设定的脸检测模式的种类的脸。例如，在设定人用的脸检测模式的情况下，利用脸检测处理检测人脸，在设定马用的脸检测模式的情况下，利用脸检测处理检测马脸。

若执行脸检测处理，则进入步骤S11，CPU10判断当前的被拍摄体跟踪模式是否为On。

在步骤S11，若判断为被拍摄体跟踪模式不是On、即是Off，则进入步骤S12，CPU10判断是否能利用步骤S10的脸检测处理来检测脸。

在步骤S12，若判断为能检测脸，则进入步骤S13，CPU10对该检测到的脸执行基于对比度检测方式的AF处理，进入步骤S15。所谓该基于对比度检测方式的AF处理由于是公知技术，所以不详细说明，但指通过使聚焦透镜聚焦于成为聚焦对象的区域的图像数据的高频分量最大的透镜位置，来聚焦构成该聚焦对象的区域的图像。

另一方面，在步骤S12，若判断为不能检测脸，则进入步骤S14，CPU10对规定的区域(例如视场角的中央区域)执行基于对比度检测方式的AF处理，进入步骤S15。

在步骤S13、步骤S14中，执行基于对比度检测方式的AF处理，但也可利用其它方式(例如相位差方式)来执行AF处理。总之能对想聚焦的区域执行AF处理即可。

若进入步骤S15，则CPU10判断是否全按压快门按钮。该判断通过是否从键输入部11发送了与快门按钮的全按压操作对应的操作信号来判断。

在步骤S15，若判断为未全按压快门按钮，则停留在步骤S15，直到全按压快门按钮为止，若判断为全按压快门按钮，则进入步骤S16，CPU10执行静止图像摄影处理，并且执行压缩利用该摄影处理得到的静止图像数据并记录在闪存14中的处理。

另一方面，在步骤S11，若判断为被拍摄体跟踪模式为On，则进入图4的步骤S21，CPU10判断是否可利用步骤S10的脸检测处理来检测脸。

在步骤S21，若判断为可检测脸，则进入步骤S22，CPU10的脸辨别部102通过二维地检测该被检测的脸，开始对该检测到的脸跟踪的跟踪处理，进入步骤S23。这里，所谓二维地检测脸是指仅使用二维数据来检测脸，该步骤S22中的二维地检测脸的处理是登记从利用上述步骤S10的脸检测处理检测到的脸区域的二维图像中抽取的特征数据，使用块匹配法等检测具有该登记的特征数据的脸。该块匹配法是公知技术，所以不详细说明，但是指使用2个图像数据、检测与一个图像数据所在区域的图像数据相关度最高的另一图像数据的区域的方法。

另一方面，在步骤S21，若判断为不能检测脸，则直接进入步骤S23。

若进入步骤S23，则CPU10判断是否全按压快门按钮。

在步骤S23，若判断为未全按压快门按钮，则进入步骤S24，CPU10判断是否看漏该追加的脸。即，判断是否能利用步骤S22的二维检测脸的处理来检测脸。在步骤S21中判断为不能检测脸的情况下，即判断为图3的步骤S10的脸检测处理根本无法检测构成跟踪源的脸的情况下，也判断为看漏脸。

在步骤S24，若判断为未看漏脸，则返回步骤S23，在步骤S24，若判断为看漏脸，则返回图3的步骤S10。由此，在看漏脸的情况下，再次执行对应于步骤S3设定的脸检测模式种类的脸检测处理。

另一方面，在步骤S23，若判断为全按压快门按钮，则进入步骤S25，CPU10对该跟踪的脸执行基于对比度检测方式的AF处理。即，对在全按压快门按钮之前二维检测到的脸执行AF处理。

接着，在步骤S26，CPU10执行静止图像摄影处理，并且执行压缩利用该摄影处理得到的静止图像数据并记录在闪存14中的处理。

C.对应于设定的脸检测模式种类的脸检测处理

下面，根据图5的流程图来说明对应于设定的脸检测模式种类的脸检测处理的动作。

若进入图3的步骤S10，则进入图5的步骤S31，CPU10的脸辨别部102判断当前是否设定了人用的脸检测模式。

在步骤S31，若判断为设定人用的脸检测模式，则进入步骤S32，CPU10的脸辨别部102利用二维的脸检测处理检测人脸。

这里的2维脸检测处理通过根据最近摄像到的帧图像数据计算全部被拍摄体的特征数据(二维的特征数据)，比较对照该计算的被拍摄体的特征数据与图2所示的脸数据表格中设定的人的二维脸数据，检测人脸在哪儿。

另外，所谓‘全部被拍摄体’是指由CCD5摄像的全部被拍摄体。例如，在摄像作为立在建筑物前的主被拍摄体的人时，全部被拍摄体指建筑物与人。即，根据图像数据的全部区域计算被拍摄体的特征数据。

所谓全被拍摄体的特征数据是指例如摄影的全部被拍摄体是建筑物与立在其前的人的情况下，抽取多个建筑物和人的特征点，对该抽取的特征点的坐标位置或相对位置关系等进行数值化后的数据。利用该特征点的抽取，还可从眼、鼻、口、脸的轮廓等抽取多个脸的特征点。即，全部被拍摄体的特征数据是不仅根据脸、还根据摄像的全部被拍摄体的特征点数值化后的数据。

另外，该比较对照判断生成的全部被拍摄体的特征数据中是否存在与脸数据一致的部分。因此，该比较对照通过比较对照(搜索)生成的全部被拍摄体的特征数据的各部与脸数据，得到与各部的一致性。

在步骤S33，CPU10的脸辨别部102判断图像内是否存在人脸。即，判断是否能利用二维的脸检测处理检测人脸。即，判断计算的全部被拍摄体的特征数据中是否存在在规定值以上(规定范围内)与脸数据一致的部分。

在步骤S33，若判断为有人脸，则进入步骤S38，CPU10的脸辨别部102判断为可检测脸。

另一方面，在步骤S33，若判断为无人脸，则进入步骤S34，CPU10的脸辨别部102判断是否有像脸的部分。所谓该像脸的部分是通过比较对照步骤S32的全部被拍摄体的特征数据与人的二维脸数据，虽然有口与鼻，但未检测到单眼或双眼(侧脸的情况、带墨镜的情况)，或虽然有眼但未检测到鼻与口的情况(带口罩的情况)。即，是基于脸数据的脸的构成部分其一部分未被检测到的情况。

在步骤S34，若判断为有像脸的部分，则进入步骤S35，CPU10的脸辨别部102执行根据存在该检测到的像脸的区域来利用三维脸检测处理检测人脸的处理，进入步骤S37。该三维脸检测处理如后所述。由此，可减轻基于三维脸检测处理的处理负担。

另一方面，在步骤S31，在判断为未设定人用的脸检测模式的情况下，或在步骤S34，判断为无像脸的部分的情况下，进入步骤S36，CPU10的脸辨别部102执行根据帧图像数据的全部区域、利用三维脸检测处理来检测当前设定的脸检测模式种类的脸的处理，进入步骤S37。该三维脸检测处理如后所述。这里，在通过步骤S34中判断为无像脸的部分而进入步骤S36的情况下，在步骤S36，执行根据帧图像数据的全部区域、利用三维脸检测处理来检测人脸的处理。

若进入步骤S37，则CPU10的辨别部102判断图像内是否存在人脸。即，判断能否利用三维的脸检测处理来检测脸。

在步骤S37，若判断为图像内有脸，则进入步骤S38，脸辨别部102判断为能检测脸，在步骤S37，若判断为无脸，则进入步骤S39，CPU10的脸辨别部102判断为不能检测脸。

在该步骤S38，若判断为能检测脸，则判断为图3的步骤S12、图4的步骤S21能检测脸，若在步骤S39判断为不能检测脸，则判断为图3的步骤S12、图4的步骤S21不能检测脸。

D.三维的脸检测处理

下面，说明三维的脸检测处理的动作。二维的脸检测处理二维地检测脸，即通过比较对照基于摄像到的帧图像数据的二维被拍摄体的特征数据与二维脸数据，检测位于该帧图像数据内的脸，但三维脸检测处理是指使用三维的数据来检测脸。

这里，介绍两个使用三维数据来检测脸的动作，但不限于此，只要使用三维数据来检测被拍摄体的脸即可。

D—1.第1个三维的脸检测处理

首先，根据图6的流程图来说明三维脸检测处理的动作。

在图5的步骤S35和步骤S36，在通过执行三维脸检测处理来检测脸的情况下，进入图6的步骤S51，CPU10的脸辨别部102执行督促以不同的摄影角度来摄影主被拍摄体的显示。例如，执行‘请从不同的角度来摄影想摄影的被拍摄体’等显示。因此，用户改变摄影角度后摄像主被拍摄体。此时，用户最好不改变构成主被拍摄体的脸在图像内的位置地改变摄影角度。

接着，在步骤S52，CPU10的脸辨别部102判断是否从督促以不同的摄影角度摄影主被拍摄体的显示起经过规定时间(例如1秒)。此时，CPU10将直通图显示用摄像的多个帧图像数据保持在缓冲存储器中。

在步骤S52，若判断为未经过规定时间，则滞留在步骤S52，直到经过规定时间为止，若判断为经过规定时间，则进入步骤S53，CPU10的脸辨别部102根据摄像的多个帧图像数据，分别计算被拍摄体的特征数据。

此时，在图5的步骤S36的三维脸检测处理的情况下，根据摄像的帧图像数据的全部区域，计算被拍摄体的特征数据(全部被拍摄体的特征数据)。

另外，在图5的步骤S35的三维脸检测处理的情况下，根据摄像的各帧图像数据中、判断为有像脸的区域的图像数据，计算被拍摄体的特征数据(像脸被拍摄体的特征数据)。

这里，所谓根据帧图像数据计算的全部被拍摄体的特征数据是指例如在被摄影的全部被拍摄体为建筑物与立于其前的人的情况下，抽取多个建筑物和人的特征点，对该抽取的特征点的坐标位置或相对位置关系等进行数值化后的数据。利用该特征点的抽取，还从眼、鼻、口、脸的轮廓等抽取多个脸的特征点。即，全部被拍摄体的特征数据是不仅根据脸、还根据摄像的全部被拍摄体的特征点来数值化后的数据。

另外，所谓像脸的部分被拍摄体的特征数据是根据判断为有像脸的部分的区域内摄像的全部被拍摄体的特征数据来数值化后的数据。

这里，设判断为有像脸的区域的位置、大小针对摄像的全部帧图像数据相同，但也可通过在经过规定时间之前对各帧图像数据继续执行二维脸检测处理，对每个帧图像数据检测像脸区域，对每个帧图像数据，根据该检测到的区域的图像数据，计算被拍摄体的特征数据(像脸被拍摄体的特征数据)。此时，在利用该二维脸检测处理检测到脸的情况下，由于已不必执行三维脸检测处理，所以进入图5的步骤S38。

若根据各帧图像数据计算被拍摄体的特征数据，则进入步骤S54，CPU10的脸辨别部102根据该计算的各帧图像数据的被拍摄体的特征数据，生成被拍摄体的三维模型。

该三维模型的生成由于是已知技术，所以不详细说明，但根据某个图像的特征点与对应于该特征点的其它图像的特征点，利用三角测量运算来生成被拍摄体的三维模型(模块化处理)。

图7是表示用作为表面模型之一的多角形多边形(这里为三角形多边形)表示生成的被拍摄体(这里仅为猫科动物的脸)的三维模型时的状态图。

另外，也可不由表面模型(surface model)、而由线框模型(wireframemodel)或实体模型(solid model)等其它方法来表示。

接着，在步骤S55中，CPU10的脸辨别部102比较对照该生成的被拍摄体的三维模型、与图2所示的脸数据表格中记录的当前设定的脸检测模式的种类的立体脸数据(三维脸数据)。

例如，在图5的步骤S36的情况下，比较对照该生成的被拍摄体的三维模型、与图2所示的脸数据表格中设定的人的立体脸数据，在图5的步骤S36的情况下，例如设定狗用的脸检测模式的情况下，比较对照该生成的被拍摄体的三维模型、与图2所示的脸数据表格中设定的狗的立体脸数据。

另外，该比较对照用于判断生成的被拍摄体的三维模型中是否有与立体脸数据一致的部分。因此，该比较对照通过比较对照(搜索)生成的三维模型的各部与立体脸数据，得到与各部的一致度。

接着，在步骤S56，CPU10的脸辨别部102判断该生成的被拍摄体的三维模型中，是否有以规定值以上与执行该比较对照的立体脸数据一致的部分。即，判断在规定范围内是否有与立体脸数据一致的部分。所谓该一致的部分可以是被拍摄体的三维模型中的一部分，也可以是被拍摄体的三维模型的全部。总之可判断是否有以规定值以上与立体脸数据一致的部分即可。

在步骤S56中，在判断为有以规定值以上一致的部分的情况下，进入步骤S57，CPU10的脸辨别部102将以规定值以上一致的部分判断为脸，将对应于以该规定值以上一致的部分的、摄像的帧图像数据上的区域为脸区域。即，检测帧图像数据上的脸区域。

所谓对应于以该规定值以上一致的部分的帧图像数据上的区域是被拍摄体的三维模型中、对应于一致的部分(脸部分)的特征数据的帧图像数据上的区域，由于存在多个对应于该特征数据的帧图像数据(由于根据多个帧图像数据生成被拍摄体模块)，所以可以是对应于以规定值以上一致的部分的、构成生成源的多个帧图像数据中、最近摄像的帧图像数据上的区域，或是由对应于以规定值以上一致的部分的、构成生成源的全部帧图像数据上的区域构成的区域。

另一方面，在步骤S56中，若判断为没有以规定值以上一致的部分，则进入步骤S58，CPU10的脸辨别部102判断为摄像的帧图像数据内没有脸。

若该步骤S57检测脸区域，则图5的步骤S38判断为可检测脸，图3的步骤S12、图4的步骤S21判断为可检测脸。另外，若步骤S58判断为没有脸，则图5的步骤S39判断为不能检测脸，图3的步骤S12、图4的步骤S21判断为不能检测脸。

这样，第1个三维脸检测处理根据摄像同一被拍摄体的多个帧图像数据，生成该被拍摄体的三维模型，通过与立体脸数据比较对照，检测脸，所以可使脸检测的精度提高。

例如，即便在被拍摄体的脸为侧脸或带墨镜的情况下也可检测。

另外，由于比较对照立体脸数据与生成的三维模型，所以不限于人脸，还可检测狗或猫等动物的脸等。例如，马等动物的脸当看的角度不同时，脸的形状会极端变化，但通过设为三维，可高精度地检测脸。

D—2.第2个三维脸检测处理

下面，根据图8的流程图来说明第2个三维脸检测处理动作。

在图5的步骤S35和步骤S36中，在通过执行三维脸检测处理检测脸的情况下，进入图8的步骤S61，CPU10的脸辨别部102将脸的面向设定为正面。

接着，在步骤S62中，CPU10的脸辨别部102根据图2的脸数据表格中记录的当前设定的脸检测模式种类的立体脸数据，生成从当前设定的方向看的脸的平面(二维)图像数据(渲染处理)。这里，由于设定的方向是正面，所以生成从正面看设定的脸检测模式种类的脸的脸的平面图像数据。根据该立体的数据生成平面图像数据的技术是公知技术，所以不详细说明，但通过执行阴面删除或阴线删除等来执行。

例如，在设定的脸检测模式是人用的情况下，根据图2中记录的人的立体脸数据，生成从当前设定的方向看到的平面图像数据，在设定的脸检测模式是猫用的情况下，根据图2中记录的猫的立体脸数据，生成从当前设定的方向看到的平面图像数据。

接着，在步骤S63中，CPU10的脸辨别部102根据该生成的脸的平面图像数据，计算脸特征数据。由此，计算从当前设定的方向看到的、该设定的脸检测模式种类的脸特征数据。

接着，在步骤S64中，CPU10的脸辨别部102根据最近直通图显示用摄像的帧图像数据，计算被拍摄体的特征数据。

此时，在图5的步骤S36中的三维脸检测处理的情况下，根据摄像的帧图像数据的全部区域，计算被拍摄体的特征数据(全部被拍摄体的特征数据)。

另外，在图5的步骤S35的三维脸检测处理的情况下，根据摄像的帧图像数据中、判断为有像脸的区域的图像数据，计算被拍摄体的特征数据(像脸被拍摄体的特征数据)。

接着，在步骤S65中，CPU10的脸辨别部102比较对照步骤S63中计算的脸特征数据与步骤S64中计算的被拍摄体的特征数据。该比较对照用于判断生成的被拍摄体的特征数据中是否有与脸特征数据一致的部分。因此，该比较对照通过比较对照(搜索)生成的被拍摄体的特征数据的各部与脸特征数据，得到与各部的一致度。

在步骤S66中，CPU10的脸辨别部102判断步骤S64计算的被拍摄体的特征数据中，是否有以规定值以上与步骤S63计算的脸特征数据一致的部分。即，判断在规定范围内是否有与脸特征数据一致的部分。所谓该一致的部分可以是被拍摄体的特征数据中的一部分，也可以是被拍摄体的特征数据全部。总之可判断是否有以规定值以上与脸特征数据一致的部分即可。

在步骤S66中，在判断为有以规定值以上一致的部分的情况下，进入步骤S67，CPU10的脸辨别部102将以该规定值以上一致的部分判断为脸，将对应于该部分的、构成被拍摄体的特征数据生成源的帧图像数据上的区域设为脸区域。即，检测帧图像数据上的脸区域。

另一方面，在步骤S66中，若判断为没有以规定值以上一致的部分，则进入步骤S68，CPU10的脸辨别部102判断当前设定的方向是否是最后的方向。即，判断是否设定了预定的全部方向。

在步骤S68中，若判断为设定的方向不是最后的方向，则进入步骤S69，CPU10的脸辨别部102设定为下一方向后，返回到步骤S62。该所谓‘下一方向’例如是从当前设定的方向右向或左向旋转5度后的方向。这里，所谓左、右是以将头的天边设为上、将颚或喉设为下时为基准的。这里，沿左右方向使方向旋转，但也可沿上下方向旋转，或沿左右方向与上下方向均旋转。

另一方面，在步骤S68中，若判断为设定的方向是最后的方向，则进入步骤S70，脸辨别部102判断为摄像的帧图像数据内没有脸。

若在该步骤S67中检测脸区域，则判断为在图5的步骤S38中可检测脸，图3的步骤S12、图4的步骤S21判断为可检测脸。另外，若步骤S70判断为没有脸，则图5的步骤S39判断为不能检测脸，图3的步骤S12、图4的步骤S21判断为不能检测脸。

这样，第2个三维脸检测处理根据由摄像被拍摄体的1个帧图像数据计算的被拍摄体的特征数据、与事先记录的立体脸数据，生成从不同方向看到的被拍摄体的脸的平面图像数据，通过与根据该生成的平面图像数据计算的被拍摄体的特征数据比较对照，检测脸，所以可使脸检测的精度提高。

例如，即便在被拍摄体是狗或猫等动物、被拍摄体为侧脸的情况下也可检测。

另外，由于不必象第1个三维脸检测处理那样、根据摄像的多个帧图像数据生成被拍摄体的三维模型，所以可减轻处理负担。

另外，最初将脸的方向设定为正面(步骤S61)，之后，改变设定脸的方向，直到检测脸为止(步骤S69)，但最初设定的脸方向也可不是正面。总之设定成不同方向直到检测脸为止。

如上所述，在第1实施方式中，可对应于由用户设定的脸检测模式的种类，进行不同的脸检测处理，所以可执行适于被拍摄体的种类或摄影状况的脸检测处理，可使脸识别的精度提高。

并且，在第1实施方式中，由于对应于由用户设定的脸检测模式的种类，执行二维脸检测处理或执行三维脸检测处理，所以并非不必执行处理负担大的三维脸检测处理，可使脸检测的精度提高。例如，由于人脸为平面，所以执行二维脸检测处理，由于狗等动物一般为立体的脸，所以二维脸检测处理难以检测脸，但通过执行三维脸检测，也可检测动物的脸。

另外，在利用二维脸检测处理未检测到人脸的情况下，执行三维脸检测处理，所以例如即便人的脸为侧脸或带口罩或墨镜的情况下也可检测人脸。

另外，由于用户设定脸检测模式，所以可仅检测想检测的种类的被拍摄体的脸。

在被拍摄体跟踪模式为On的情况下，对应于设定的脸检测模式的种类，执行二维脸检测处理或三维脸检测处理，若检测该脸，则利用二维脸检测处理检测该被检测的脸，若看漏跟踪的脸，则再次对应于设定的脸检测模式的种类，执行二维脸检测处理或三维脸检测处理，所以可在减轻跟踪处理的负担的同时，提高跟踪处理的精度。

[第2实施方式]

下面，说明第2实施方式。

在第1实施方式中，设定成由用户选择的脸检测模式的种类，但在第2实施方式中，自动地设定脸检测模式的种类。

E.数码相机1的动作

第2实施方式也通过使用具有与图1的一样构成的数码相机1来实现本发明的摄像装置。

下面，根据图9和图10的流程图来说明第2实施方式的数码相机1的动作。

若利用用户的模式切换键的操作，设定为脸检测静止图像摄影模式，则在步骤S101中，CPU10的脸检测模式设定部101设定为人用的脸检测模式。

接着，在步骤S102中，CPU10开始CCD5执行的摄像，使直通图显示开始。

接着，在步骤S103中，CPU10判断是否执行被拍摄体跟踪On/Off键的操作。

在步骤S103中，若判断为执行被拍摄体跟踪键的操作，则进入步骤S104，CPU10判断当前的被拍摄体跟踪模式是否为On。

在步骤S104中，若判断为当前的被拍摄体跟踪模式不是On，即是Off，则进入步骤S105，CPU10将被拍摄体跟踪模式从Off切换为On，进入步骤S107。

另一方面，在步骤S104中，若判断为当前的被拍摄体跟踪模式是On，则进入步骤S106，CPU10将被拍摄体跟踪模式从On切换为Off，进入步骤S107。

在步骤S103中，若判断为不执行被拍摄体跟踪On/Off键的操作，则直接进入步骤S107。

若进入步骤S107，则CPU10判断是否由用户半按压快门按钮。

在步骤S107中，若判断为半按压快门按钮，则返回到步骤S103。

另一方面，在步骤S107中，若判断为半按压快门按钮，则进入步骤S108，CPU10的脸识别部102执行对应于当前设定的脸检测模式种类的脸检测处理。

该步骤S108的动作执行与上述第1实施方式中说明的图3的步骤S10的动作、即图5所示的动作一样的动作。变为利用该脸检测处理来检测设定的脸检测模式的种类的脸。这里，由于在步骤S101中设定人用的脸检测模式，所以利用脸检测处理检测人脸。

若执行脸检测处理，则进入步骤S109，CPU10判断是否能利用步骤S108的脸检测处理检测脸。

在步骤S109中，若判断为不能检测脸，则进入步骤S110，CPU10判断是否存在还未由脸检测模式设定部101设定的脸检测模式。

在步骤S110中，若判断为存在未设定的脸检测模式，则进入步骤S111，CPU10的脸检测模式设定部101设定成还未设定的种类的脸检测模式，返回到步骤S108。

这里，由于已仅设定人用的脸检测模式，所以设定动物用的脸检测模式(狗用的脸检测模式、猫用的脸检测模式等中任一动物用的脸检测模式)。

另一方面，在步骤S109中，若判断为可检测脸，则进入步骤S112，CPU10判断当前的被拍摄体跟踪模式是否为On。

在步骤S112中，若判断为被拍摄体跟踪模式不是On，即是Off，则进入步骤S113，CPU10对该检测到的脸执行基于对比度检测方式的AF处理，进入步骤S115。

另一方面，在步骤S110中，若判断为没有未设定的脸检测模式，则进入步骤S114，CPU10对规定区域执行基于对比度检测方式的AF处理，进入步骤S115。

若进入步骤S115，则CPU10判断是否由用户全按压快门按钮。

在步骤S115中，若判断为未全按压快门按钮，则滞留在步骤S115中，直到全按压为止，若判断为全按压快门按钮，则进入步骤S116，CPU10执行静止图像摄影处理，执行压缩利用该摄影处理得到的静止图像数据后记录在闪存14中的处理。

另外，在步骤S112中，若判断为被拍摄体跟踪模式是On，则进入图10的步骤S121，CPU10的脸辨别部102通过二维检测该检测到的脸，开始对该检测到的脸跟踪的跟踪处理。这里，所谓二维检测脸是指仅使用二维数据检测脸，该步骤S121中的二维检测脸的处理使用块匹配法等来检测该检测到的脸。

接着，在步骤S122中，CPU10判断是否由用户全按压快门按钮。

在步骤S122中，若判断为未全按压快门按钮，则进入步骤S123，CPU10判断是否看漏该跟踪的脸。即，判断是否能由步骤S121的二维检测脸的处理来检测脸。

在步骤S123中，若判断为未看漏脸，则返回到步骤S122，在步骤S123中，若判断为看漏脸，则返回到图9的步骤S108。由此，在看漏脸的情况下，再次执行对应于当前设定的脸检测模式的种类的脸检测处理。

另一方面，在步骤S122中，若判断为全按压快门按钮，则进入步骤S124，CPU10对该跟踪的脸执行基于对比度检测方式的AF处理。即，对全按压快门按钮之前二维地检测的脸执行AF处理。

接着，在步骤S125中，CPU10执行静止图像摄影处理，执行压缩利用该摄影处理得到的静止图像数据后记录在闪存14中的处理。

如上所述，在第2实施方式中，由于自动地设定脸检测模式，所以节省用户的手续。另外，即便在想摄影的被拍摄体的种类具体地不清楚的情况下(例如不知是猫还是狐的情况下)，也可检测该被拍摄体的脸，提高脸检测的精度。

另外，对应于设定的脸检测模式的种类，进行二维的脸检测处理或进行三维脸检测处理，所以并非不必进行处理负担大的三维脸检测处理，另外，可提高脸检测的精度。例如，由于人脸为平面，所以执行二维脸检测处理，由于狗等动物一般为立体的脸，所以二维脸检测处理难以检测脸，但通过执行三维脸检测，也可检测动物的脸。

另外，在利用二维脸检测处理未检测到人脸的情况下，执行三维脸检测处理，所以例如即便人的脸为侧脸或带口罩或墨镜等的情况下也可检测人脸。

另外，在被拍摄体跟踪模式为On的情况下，根据设定的检测模式的种类，执行二维脸检测处理或三维脸检测处理，若检测到该脸，则利用二维脸检测处理检测该被检测的脸，若看漏跟踪的脸，则再次根据设定的检测模式的种类，执行二维脸检测处理或三维脸检测处理，所以可在减轻跟踪处理的负担的同时，提高跟踪处理的精度。

若设定为脸检测静止图像摄影模式，则最初设定人用的脸检测模式(步骤S101)，也可设定成其它种类(动物种类)的脸检测模式。

另外，在最初用户设定任意种类的脸检测模式，未检测到该设定的脸检测模式的种类的脸的情况下，也可设定为不是自动地设定的种类的脸检测模式。

[第3实施方式]

下面，说明第3实施方式。

在上述第1、2实施方式中，单纯检测脸，但在第3实施方式中，还将脸检测适用于摄影的脸是谁或何脸具体地识别的脸识别的情况。

在脸检测处理中，有时例如即便是人脸也不能识别具体是谁的脸，另外，即便是动物、例如猫的脸，波斯猫、花猫等猫的种类多样，另外，即便是同一种类的猫，每个猫的脸也微妙不同。因此，在脸检测中，为了仅检测自己的朋友或孩子、自己饲养的宠物，(例如为了想设为聚焦对象)，会检测至其它人或动物的脸。

该脸识别对事先记录的人物的脸、动物的脸是否位于摄像的帧图像数据中进行识别。

该人物或动物的脸在登记模式等下，用户可登记任意人物、任意种类动物的脸。在登记立体脸数据(三维脸数据)的情况下，从不同角度摄影多个想登记的脸，根据该摄影的多个帧图像数据，生成三维模型并登记。另外，在登记二维脸数据的情况下，摄影想登记的脸，根据该摄影的帧图像数据，计算该脸的特征数据(脸特征数据)并登记。

这里，登记的立体脸数据或二维脸数据必需是谁等可具体地识别的程度的信息量，而非可大致识别是人或狗、猫等种类脸的程度的信息量。利用该登记，对被拍摄体的每个种类制作图2的脸识别用的脸数据表格。这里，也与图2一样，人的脸数据登记二维与三维两种数据，动物的脸数据仅登记三维数据。在脸识别用脸数据表格中，可按被拍摄体的每个种类登记多个脸数据。例如，可记录多人的二维脸数据、立体脸数据，也可记录多只猫的立体脸数据。

将该脸检测处理的动作适用于脸识别处理的情况的动作与上述各实施方式中说明的动作大致相同，仅说明不同点。

首先，这里，具备脸识别模式，代替脸检测模式，该脸识别模式也与脸检测模式一样，按被拍摄体的每个种类存在。例如，是人用的脸识别模式、狗用的脸识别模式、猫用的脸识别模式等情况。

F.脸识别静止图像摄影模式的动作

F—1.将图3和图4所示的脸检测静止图像摄影模式的动作适用于脸识别静止图像摄影模式时的动作

此时的脸识别静止图像摄影模式的动作引用图3和图4，仅说明不同部分。

首先，图3的步骤S1使多种脸识别模式一览显示，在步骤S2中，若判断为选择了脸识别模式，则在步骤S3中，设定为该选择的脸识别模式。另外，步骤S10执行对应于设定的脸识别模式的脸识别处理，步骤S12判断是否可识别脸，若判断为可识别脸，则在步骤S13中，对该识别的脸执行AF处理，若判断为不能识别脸，则在步骤S14中对规定的区域执行AF处理。对应于该设定的脸识别模式的脸识别处理在后面说明。

在还可利用脸识别处理检测脸的情况下，在步骤S12中，在判断为不能识别脸的情况、即判断为检测到脸的情况下，对该检测到的脸执行AF处理，在判断为也不能检测脸的情况下，进入步骤S14，对规定的区域执行AF处理。基于该脸识别处理的脸检测在后面说明。

另外，在步骤S21中，判断是否可识别脸，在不能识别脸的情况下，进入步骤S23，在能识别脸的情况下，进入步骤S22，对该识别的脸开始跟踪处理，进入步骤S23。该跟踪处理如上述第1实施方式中说明的那样，通过二维检测该识别的脸，对该检测到的脸执行跟踪。

F—2.将图9和图10所示的脸检测静止图像摄影模式的动作适用于脸识别静止图像摄影模式时的动作

此时的脸识别静止图像摄影模式的动作引用图9和图10，仅说明不同部分。

图9的步骤S101设定为人用的脸识别模式。另外，步骤S108执行对应于设定的脸识别模式的脸识别处理，步骤S109判断是否可识别脸。在步骤S109中，若判断为不能识别脸，则在步骤S110中，判断是否存在未设定的脸识别模式。在步骤S110中，若判断为存在未设定的脸识别模式，则在步骤S111中，设定为未设定的种类的脸识别模式，返回到步骤S108。另外，在步骤S109中，判断为可识别脸，在步骤S112中，判断为被拍摄体跟踪模式不是On时，在步骤S113中，对该脸识别的脸执行AF处理，另一方面，在步骤S110中，若判断为没有未设定的脸识别模式，则在步骤S114中对规定区域执行AF处理。对应于该设定的脸识别模式的脸识别处理在后面说明。

在还可利用脸识别处理检测脸的情况下，也可在步骤S110中，在判断为没有未设定的脸识别模式的情况下，判断是否检测脸，在检测脸的情况下，对该检测到的脸执行AF处理，在判断为也不能检测脸的情况下，进入步骤S114，对规定的区域执行AF处理。基于该脸识别处理的脸检测在后面说明。

另外，在步骤S112中判断为被拍摄体跟踪是On，进入图10的步骤S121时，则对该识别的脸开始跟踪处理。该跟踪处理如上述第1实施方式中说明的那样，通过二维检测该识别的脸，对该检测的脸进行跟踪。

G.对应于设定的脸识别模式的脸识别处理的动作

G—1.将对应于图5所示的设定的脸检测模式的脸检测处理的动作适用于设定的脸识别模式的脸识别处理时的动作

此时的脸识别处理的动作引用图5，仅说明不同部分。

首先，图5的步骤S31判断是否设定人用的脸识别模式，若判断为设定人用的脸识别模式，则进入步骤S32，利用二维脸识别处理检测人脸。该二维脸识别处理根据摄像的帧图像数据计算二维全部被拍摄体的特征数据，比较对照该计算的被拍摄体的特征数据与脸识别用的脸数据表格中登记的人的二维脸数据，由此脸识别摄像的帧图像数据内是否有登记的人物的脸。

在步骤S33中，判断是否利用二维脸识别处理识别登记的人物的脸。若在步骤S33中判断为可识别脸，则进入步骤S38，判断为可识别脸。另一方面，在步骤S33中判断为不能识别脸的情况下，在步骤S31中判断为未设定人用的脸识别模式的情况下，进入步骤S36，执行根据全部区域利用三维脸识别处理来脸识别当前设定的脸识别模式种类的脸的处理，进入步骤S37。

之后，在步骤S37中利用三维脸识别处理来判断是否有登记的脸，即能否利用三维脸识别来进行脸识别。若步骤S37中判断为有登记的脸，则在步骤S38中判断为可进行脸识别，若在步骤S37中判断为没有登记的脸，则在步骤S39中判断为不能进行脸识别。

若在该步骤S38中判断为能进行脸识别，则在图3的步骤S12、图4的步骤S21、图9的步骤S109中判断为可进行脸识别，若在步骤S39中判断为不能进行脸识别，则在步骤S12、步骤S21、步骤S109中判断为不能进行脸识别。

此时，不必执行图5的步骤S34、步骤S35。

G—2.对应于由其它方法设定的脸识别模式的脸识别处理的动作

根据图11的流程图来说明此时的脸识别处理的动作。此时，除脸识别用的脸数据表格外，将脸检测用的人的二维脸数据记录在存储器12上。

若进入图3的步骤S10、图9的步骤S108，则进入图11的步骤S151，CPU10的脸辨别部102判断当前是否设定人用的脸识别模式。

在步骤S151中，若判断为设定人用的脸识别模式，则进入步骤S152，CPU10的脸辨别部102根据摄像的帧图像数据的全部区域，利用二维脸检测处理检测人脸。

这里的二维脸检测处理根据摄像的帧图像数据，计算被拍摄体的二维特征数据(全部被拍摄体的二维特征数据)，比较对照该计算的被拍摄体的特征数据与记录在存储器12中的脸检测用的人的二维脸数据，由此检测位于图像内的人脸。这里，由于记录的脸检测用的脸特征数据只要能检测是人脸即足以，所以不必可具体地识别是谁的脸的程度的信息量。另外，计算的全部被拍摄体的特征数据也一样只要是检测人脸所需的信息量即可。

在步骤S153中，CPU10的脸辨别部102判断图像内是否有人脸。即，判断是否能利用二维脸检测处理来检测人脸。即，判断计算的全部被拍摄体的特征数据中是否存在以规定值以上(在规定范围内)与脸数据一致的部分。

在步骤S153中，若判断为有人脸，则进入步骤S155，CPU10的脸辨别部102根据该检测到的脸区域，进行二维的脸识别处理。即，根据摄像的帧图像数据中、该检测到的脸区域的图像数据，计算被拍摄体的二维特征数据(脸特征数据)，比较对照该计算的脸特征数据与脸识别用的脸数据表格中登记的人的二维脸数据，由此脸识别是否是该登记的人物。该登记的人物的脸数据当然不是大致可识别是人脸的程度的信息量，而是可具体识别是谁的脸的程度的信息量，计算的被拍摄体的特征数据(脸特征数据)也是可具体识别是谁的脸的程度的信息量。

由于根据该检测到的脸区域来进行二维的脸识别处理，所以可在减轻处理负担的同时，提高脸识别的精度。

接着，在步骤S155中，CPU10的脸辨别部102判断是否存在登记的脸。即，判断是否可利用二维脸识别处理来识别登记的人物的脸。

在步骤S155中，若判断为存在登记的脸，则进入步骤S161，CPU10的脸辨别部102判断为可识别脸。

另一方面，在步骤S155中，若判断为没有登记的脸，则进入步骤S156，脸辨别部102进行根据该检测到的脸区域、利用三维脸识别处理来识别人脸的处理，进入步骤S160。该三维脸识别处理在后面说明。

由于根据该检测到的脸区域来进行三维的脸识别处理，所以可在减轻处理负担的同时，提高脸识别的精度。

另一方面，在步骤S153中，若判断为没有人脸，则进入步骤S157，判断是否存在像脸的部分。所谓该像脸的部分如上述第1实施方式中说明的那样，是通过步骤S152的基于二维脸检测处理的全部被拍摄体的特征数据与人的二维脸数据的比较对照，虽然有口与鼻，但未检测到单眼或双眼(人的脸为侧脸的情况、带墨镜的情况)，或虽然有眼但未检测到鼻与口的情况(带口罩的情况)。即，是基于脸数据的脸的构成部分其一部分未被检测到的情况。

在步骤S157，若判断为有像脸的部分，则进入步骤S158，CPU10的脸辨别部102执行根据存在该检测到的像脸的区域来利用三维脸识别处理识别人脸的处理，进入步骤S160。由于根据像脸区域来进行三维的脸识别处理，所以可减轻处理负担，可提高脸识别的精度。该三维脸识别处理如后所述。

另一方面，在步骤S157，在判断为没有像脸的部分的情况下，在步骤S151判断为未设定人用的脸识别模式的情况下，进入步骤S159，进行根据帧图像数据的全部区域来利用三维脸识别处理识别当前设定的脸识别模式的种类的脸的处理，进入步骤S160。该三维脸识别处理在后面说明。

若进入步骤S160，则CPU10的脸辨别部102判断是否有登记的脸。即，判断是否可利用三维脸识别处理来识别登记的人物的脸。

在步骤S160，若判断为有登记的脸，则在步骤S161，判断为可识别脸，在步骤S160，若判断为无登记的脸，则在步骤S162，判断为不能识别脸。

若在该步骤S161判断为可脸识别，则在图3的步骤S12、图4的步骤S21、图9的步骤S109判断为可脸识别，若步骤S162判断为不能脸识别，则在步骤S12、步骤S21、步骤S109判断为不能脸识别。

在图11中，在设定人用的脸识别模式的情况下，执行二维脸检测处理与二维脸识别处理双方，但在可利用脸识别处理检测人脸的情况下，也可不执行二维脸检测处理，而仅进行二维的脸识别处理。此时，若步骤S151中判断为设定人用的脸识别模式，则进入步骤S154，根据全部区域，进行二维的脸识别处理，进入步骤S155。在步骤S155中，若判断为无登记的脸，则判断是否能检测脸。若判断为可利用二维脸识别处理检测脸，则进入步骤S156，若判断为不能检测脸，则进入步骤S157。此时，不必步骤S152、步骤S153的动作。

基于该二维脸识别处理的脸检测在识别为登记的脸位于帧图像数据内的情况下，当然也检测脸，另外，例如即便在判断为登记的脸不在帧图像数据内的情况下，也可利用全部被拍摄体的二维特征数据与登记的人的二维脸数据的比较对照结果，检测不是登记的人物的脸，但是人脸。例如，在存在以第1规定值以上与人的二维脸数据一致的部分的情况下，识别为是对应于该脸数据的人物的脸，在以第1规定值以上不一致、但以第2规定值(比第1规定值小的值)以上一致的情况下，检测为是人脸。

基于三维脸识别处理的脸检测在后面说明。

H.三维脸识别处理的动作

H—1.将图6所示的三维脸检测处理的动作适用于三维脸识别处理时的动作

此时的三维脸识别处理的动作引用图6，仅说明不同部分。

首先，在步骤S53中，根据摄像的多个帧图像数据，分别计算被拍摄体的特征数据。此时计算的被拍摄体的特征数据不是大致可识别是人或狗、猫等种类的脸的程度的信息量，而具有可具体识别是谁等的程度的信息量。

此时，将图5适用于脸识别处理时的图5的步骤S36、图11的步骤S159中的三维脸识别处理的情况下，根据摄像的帧图像数据的全部区域，计算被拍摄体的二维特征数据(全部被拍摄体的特征数据)。

另外，在图11的步骤S156的三维脸识别处理的情况下，根据摄像的各帧图像数据的检测到的脸区域的图像数据，计算被拍摄体的二维特征数据(二维脸特征数据)。这里，所谓脸特征数据是根据在检测到的脸区域内摄像的全部被拍摄体的特征数据数值化后的数据。

另外，在图11的步骤S158的三维脸识别处理的情况下，根据摄像的各帧图像数据的判断为有像脸的区域的图像数据，计算被拍摄体的二维特征数据(像脸被拍摄体的二维特征数据)。

另外，在步骤S55中，比较对照步骤S54中根据各帧图像数据的被拍摄体特征数据生成的被拍摄体的三维模型、与登记在脸识别用的脸数据表格中的、当前设定的脸识别模式的种类的立体脸数据。

在步骤S56中，判断是否存在以规定值以上一致的部分，在存在以规定值以上一致的部分的情况下，在步骤S57中，判断为在以该规定值以上一致的部分中有登记的脸，并检测脸区域。另一方面，在步骤S56中，若判断为没有以规定值以上一致的部分，则进入步骤S58，判断为没有登记的脸。

若在该步骤S57中检测脸区域，则在图5的步骤S38、图11的步骤S161中判断为可识别脸，在图3的步骤S12、图4的步骤S21、图9的步骤S109中判断为可识别脸。另外，若在步骤S58中判断为没有脸，则在图5的步骤S39、图11的步骤S162中判断为不能识别脸，在图3的步骤S12、图4的步骤S21、图9的步骤S109中判断为不能识别脸。

该三维脸识别处理也可检测脸。该三维脸识别处理在识别为登记的脸位于帧图像数据内的情况下，当然也检测脸，另外，例如即便在判断为登记的脸不在帧图像数据内的情况下，也可利用被拍摄体的三维模型与登记的立体脸数据的比较对照结果，检测出不是登记的人物的脸而是人脸的情况。例如，在存在以第1规定值以上与立体脸数据一致的部分的情况下，识别为是对应于该立体脸数据的脸，在以第1规定值以上不一致、但以第2规定值(比第1规定值小的值)以上一致的情况下，单纯检测为是脸。

H—2.将图8所示的三维脸检测处理的动作适用于三维脸识别处理时的动作

此时的三维脸识别处理的动作引用图8，仅说明不同部分。

在步骤S62中，根据脸识别用脸数据表格中设定的被拍摄体的每个种类的立体脸数据中、当前设定的脸识别模式的种类的立体脸数据，生成从当前设定的方向看到的脸的平面图像数据。接着，在步骤S63中，根据该生成的脸的平面图像数据，计算二维脸特征数据。此时，计算的脸特征数据不是大致可识别是人或狗、猫等种类脸的程度的信息量，而是可具体识别是谁等的程度的信息量。

接着，在步骤S64中，根据最近摄像的帧图像数据，计算被拍摄体的二维特征数据。此时，计算的被拍摄体的特征数据不是大致可识别是人或狗、猫等种类脸的程度的信息量，而是可具体识别是谁等的程度的信息量。

另外，这里在将图5适用于脸识别处理时的图5的步骤S36、图11的步骤S159的三维脸识别处理的情况下，根据摄像的帧图像数据的全部区域，计算被拍摄体的二维特征数据(全部被拍摄体的特征数据)。

另外，在图11的步骤S156的三维脸识别处理的情况下，根据摄像的各帧图像数据的检测到的脸区域的图像数据，计算二维被拍摄体的特征数据(二维脸特征数据)。

另外，在图11的步骤S158的三维脸识别处理的情况下，根据摄像的各帧图像数据的判断为有像脸的区域的图像数据，计算二维被拍摄体的特征数据(二维像脸被拍摄体的特征数据)。

在步骤S66中，在判断为存在以规定值以上一致的部分的情况下，在步骤S67中判断为在以该规定值以上一致的部分中有登记的脸，并检测脸区域。另外，在步骤S68中，在将设定的方向判断为最后的方向的情况下，进入步骤S70，判断为没有登记的脸。

若在该步骤S67中检测脸区域，则在图5的步骤S38、图11的步骤S161中判断为可识别脸，在图3的步骤S12、图4的步骤S21、图9的步骤S109中判断为可识别脸。另外，若在步骤S70中判断为没有脸，则在图5的步骤S39、图11的步骤S162中判断为不能识别脸，在图3的步骤S12、图4的步骤S21、图9的步骤S109中判断为不能识别脸。

该三维脸识别处理也可检测脸。该三维脸识别处理在识别为登记的脸位于帧图像数据内的情况下，当然也检测脸，另外，例如即便在判断为登记的脸不在帧图像数据内的情况下，也可利用步骤S64计算的二维被拍摄体的特征数据与步骤S63中计算的脸特征数据的比较对照结果，检测不是登记的人物的脸而是人脸。例如，在存在以第1规定值以上与步骤S63中计算的脸特征数据一致的部分的情况下，识别为是对应于构成该脸特征数据生成源的立体脸数据的脸，在以第1规定值以上不一致、但以第2规定值(比第1规定值小的值)以上一致的情况下，单纯检测为是脸。

H—3.基于其它方法的三维脸识别处理的动作

首先，基于第1个其它方法的三维脸识别处理的动作与上述[H—2]中说明的动作大致一样，但在上述[H—2]中，根据立体脸数据，生成不同方向的平面图像数据，但这里，根据立体脸数据，生成不同表情(笑、怒、憎恶等不同的表情)的平面图像数据。此时，生成从正面看立体脸数据时的平面图像数据。

引用图8来说明此时的动作。

首先，在步骤S61中，将脸的表情设定为无表情，在步骤S62中，辨别当前设定的脸识别模式的种类的立体脸数据的脸表情，根据该立体脸数据，生成该设定的表情的立体脸数据。之后，根据该生成的立体脸数据，生成从正面看的脸的平面图像数据。

之后，在步骤S66中，若判断为存在以规定值以上一致的部分，则在步骤S67中，判断为在以该规定值以上一致的部分中存在登记的脸，并检测脸区域。另一方面，在步骤S66中，若没有以规定值以上一致的部分，则在步骤S68中，判断设定的表情是否是最后的表情。即，判断是否设定了预定的全部表情。在步骤S68中，若判断为设定的表情不是最后的表情，则在步骤S69中设定为下一表情，返回到步骤S62。另一方面，若在步骤S68中判断为设定的表情是最后的表情，则进入步骤S70，判断为没有登记的脸。

由此，可提高脸识别的精度。例如，即便在被拍摄体笑或怒的情况下，也可识别脸。

生成不同表情的平面图像数据，代替根据立体脸数据，生成不同方向的平面图像数据，但也可按每个表情，生成不同方向的平面图像数据。即，改变方向与表情，生成平面图像数据。

另外，说明三维脸识别处理，但也可适用于三维脸检测处理。另外，也可利用该三维脸识别处理来检测脸。

接着，基于第2个其它方法的三维脸识别处理的动作是使上述[H—1]与[H—2]中说明的动作组合，在上述[H—2]中，根据登记的立体脸数据，生成从不同方向看到的平面图像数据，但根据摄像的多个帧图像数据生成被拍摄体的三维模型，根据该生成的被拍摄体的三维模型，生成从不同方向看到的平面图像数据。此时，脸识别用的脸数据表格中，无论被拍摄体的种类如何，仅登记二维脸数据。

引用图6和图8来说明此时的动作。

首先，在图6的步骤S51、步骤S52的动作之后，按摄像的摄影角度不同的多个帧图像数据每个，计算被拍摄体的特征数据(步骤S53)，根据该计算的各帧图像数据每个的被拍摄体的特征数据，生成被拍摄体的三维模型(步骤S54)。

之后，进入图8的步骤S61，将脸的方向设定为正面，在步骤S62中，根据该生成的被拍摄体的三维模型，生成从该设定的方向看到的被拍摄体的平面图像数据。接着，在步骤S63中，根据该生成的平面图像数据，计算被拍摄体的特征数据，进入步骤S65，比较对照该计算的被拍摄体的特征数据(从设定的方向看到的被拍摄体的特征数据)与脸识别用的脸数据表格中登记的当前设定的脸识别模式的种类的二维脸数据。

之后，在步骤S66中，若判断为存在以规定值以上一致的部分，则进入步骤S67，判断为在以该规定值以上一致的部分中有登记的脸，检测脸区域。另一方面，在步骤S66中，若判断为没有以规定值以上一致的部分，则在步骤S68中，判断设定的方向是否是最后的方向。在步骤S68中，若判断为设定的方向不是最后的方向，则在步骤S69中设定为下一方向，返回到步骤S62。另一方面，若步骤S68中判断为设定的方向是最后的方向，则进入步骤S70，判断为没有登记的脸。

由此，可提高脸识别的精度。例如，即便在人的脸为侧脸的情况下或带墨镜的情况下，均可识别该人物是否是登记的脸。另外，由于只要登记二维脸数据而非立体脸数据即可，所以可减少记录容量。

说明了三维脸识别处理，但也可适用于三维脸检测处理。另外，也可利用该三维脸识别处理来检测脸。

另外，在图11的步骤S156的三维脸识别处理中，由于根据脸区域的图像数据生成被拍摄体的三维模型，所以生成脸的三维模型。这样在生成脸的三维模型的情况下，也可辨别生成的脸的三维模型的表情，如上所述改变脸的三维模型的表情。另外，该动作在三维脸识别处理中说明，但也可适用于三维脸检测处理。另外，也可利用该三维脸识别处理来检测脸。

如上所述，在第3实施方式中，由于对应于设定的脸识别模式的种类来进行不同的脸识别处理，所以可执行适应于被拍摄体的种类或摄影状况的脸识别处理，提高脸识别的精度。

并且，在第3实施方式中，对应于设定的脸识别模式的种类，进行二维脸识别处理或进行三维脸识别处理，所以并非不必进行负担大的三维脸识别处理，可提高脸识别的精度。例如，由于人脸为平面，所以执行二维脸识别处理，由于狗等动物一般为立体的脸，所以二维脸识别处理难以识别脸，但通过执行三维脸识别，也可识别动物的脸。

另外，在利用二维脸识别处理未识别到人脸的情况下，执行三维脸识别处理，所以例如即便人的脸为侧脸或带口罩或墨镜的情况下也可识别人脸。

另外，在用户设定脸识别模式的情况下，可仅识别想识别的种类的被拍摄体的脸。

在自动地设定脸识别模式的情况下，可节省用户的手续，另外，即便在想摄影的被拍摄体的种类具体地不清楚的情况下(例如不知是猫还是狐的情况下)，也可识别该被拍摄体的脸，提高脸识别的精度。

在被拍摄体跟踪模式为On的情况下，根据设定的脸识别模式的种类，执行二维脸识别处理或三维脸识别处理，若识别该脸，则利用二维脸检测处理检测该被检测的脸，若看漏跟踪的脸，则再次根据设定的脸识别模式的种类，执行二维脸识别处理或三维脸识别处理，所以可在减轻跟踪处理的负担的同时，提高跟踪处理的精度。

[变形例]

I.上述实施方式也可是如下变形例。

(01)在上述各实施方式中，在被拍摄体跟踪模式是Off的情况或On的情况下，都执行对应于设定的脸检测模式的脸检测处理、脸识别处理，但在被拍摄体跟踪模式是On的情况下，无论设定的脸检测模式的种类如何，均执行三维脸检测处理、三维脸识别处理。通过二维检测利用该三维脸检测处理检测到的脸、利用三维脸识别处理识别的脸，执行该检测到的脸的跟踪处理，在全按压快门按钮之前看漏该脸的情况下，再次执行三维脸检测处理、三维脸识别处理。

(02)另外，在上述各实施方式中，对应于图3的步骤S10、图9的步骤S108的设定的脸检测模式之脸检测处理在设定人用的脸检测模式的情况下，执行二维脸检测处理、二维脸识别处理(图5的步骤S32、图11的步骤S152、步骤S154)，在利用二维脸检测处理、二维脸识别处理未检测到脸的情况下(图5的步骤S33为否，图11的步骤S153、步骤S155为否)，首先执行三维脸检测处理(图5的步骤S35、步骤S36、图11的步骤S156、步骤S158、步骤S159)，但不执行三维脸检测处理、三维脸识别处理。此时，在图5的步骤S33、图11的步骤S153、步骤S155中，若判断为均有人脸、没有登记的人物的脸，则进入图5的步骤S39、图11的步骤S162。此时，不必执行图5的步骤S34和步骤S35、图11的步骤S156一步骤S158的动作。

(03)另外，在上述各实施方式中，对应于图3的步骤S10、图9的步骤S108的设定的脸检测模式之脸检测处理、脸识别处理在设定动物用的脸检测模式(例如狗用的脸检测模式、猫用的脸检测模式等)、动物用的脸识别模式的情况下，一律检测识别由三维脸检测处理、三维脸识别处理设定的脸检测模式的动物种类的脸(图5的步骤S36、图11的步骤S159)，在设定某种动物用的脸检测模式、脸识别模式的情况下，也可执行与设定了人用的脸检测模式、人用的脸识别模式时一样的动作。即，也可对应于该设定种类的动物用的脸检测模式、脸识别模式来执行二维脸检测处理，或仅执行三维脸检测处理。例如在设定猫用脸检测模式的情况下，执行与设定人用的脸检测模式时一样的处理，在设定狗用的脸检测模式的情况下，仅执行三维脸检测处理。由于全部种类的动物的脸不是立体的，也有平面脸的动物。此时，在执行二维脸检测处理的情况下，在不能利用该二维脸检测处理检测到设定的脸检测模式的动物种类的脸的情况下，也可执行三维脸检测处理，或也可不执行。

此时，在图2所示的脸数据表格中，按每个动物种类，设定二维脸数据或三维脸数据。

由此，可提高脸辨别的精度。

(04)另外，在上述各实施方式中，在图5的步骤S32中，根据图像数据的全部区域，执行二维脸检测处理、二维脸识别处理，在图5的步骤S36中，根据图像数据的全部区域，执行三维脸检测处理、三维脸识别处理，在图11的步骤S152中，根据图像数据的全部区域，执行二维脸检测处理，在图11的步骤S159中，根据图像数据的全部区域，执行三维脸识别处理，但也可根据视场角的中央区域或由用户任意指定的区域而非图像数据的全部区域来进行。由此，可减轻脸检测处理、脸识别处理的处理负担。

另外，对应于脸检测模式的种类、脸识别模式的种类关联记录颜色成分，在图5的步骤要S32、图5的步骤S36、图11的步骤S152、步骤S159中，仅根据具有当前设定的脸检测模式、脸识别模式的种类所对应的颜色成分的区域，而非图像数据的全部区域来进行。所谓对应于该脸检测模式、脸识别模式的颜色成分是脸检测模式、脸识别模式的种类的被拍摄体的脸的颜色成分。例如，人用的脸识别模式时对应的颜色成分为肤色。由此，可仅根据认为有设定的脸检测模式、脸识别模式的种类的被拍摄体的脸的区域来进行脸检测处理、脸识别处理，可减轻处理负担。

(5)另外，在上述各实施方式中，抽取被拍摄体的特征点或被拍摄体每个种类的特征点后，抽取特征数据，并根据该抽取的特征数据，生成三维模型，比较对照该抽取的特征数据，由此检测、识别脸，但也可利用其它方法来生成三维模型或检测、识别脸。

另外，根据多个图像数据生成被拍摄体的三维模型，但也可根据1个图像数据来生成被拍摄体的三维模型。

(06)在上述各实施方式中，仅记录利用静止图像摄影处理摄影的静止图像数据，但也可将利用脸检测处理检测到的脸的位置或脸的种类(设定的脸检测模式的种类)、利用脸识别处理识别的脸的位置或名称(例如在人的情况下为人物名，在动物的情况下为动物的名称或宠物的名称等)与静止图像数据关联记录。

(07)另外，在上述各实施方式中，根据检测到的脸、识别出的脸来进行AF处理，但也可根据检测到的脸、识别出的脸来进行曝光控制，或根据检测到的脸、识别出的脸来进行规定的处理，以执行切边处理。

(08)另外，在上述各实施方式中，记录人、狗、猫等大的被拍摄体的每种立体脸数据或二维脸数据，但也可按被拍摄体的种类进一步详细分类，记录立体脸数据或二维脸数据。例如，若是狗，则如柴狗、秋田狗、...，若是猫，则如波斯猫、花猫、...等详细分类。由此，可提高脸检测、脸识别的精度。

(09)另外，图2所示的脸检测用脸数据表格对被拍摄体的每个种类仅记录1个相同维数的脸数据，但也可对被拍摄体的每个种类记录多个相同维数的脸数据。例如，即便同是猫，也可能因其种类不同而脸极端变化，记录多个立体脸数据，以便可检测全部猫的脸。

(10)另外，在上述各实施方式中，设定1个脸检测模式、脸识别模式(将其统称为脸辨别模式)的种类，但也可同时设定多个脸检测模式、脸识别模式的种类，检测该同时设定的全部脸检测模式、脸识别模式的种类的脸。此时，由于脸检测处理、脸识别处理的动作因脸检测模式、脸识别模式的种类不同而变化(参照图5、图11)，所以在动作不变化的范围内，同时设定多个脸检测模式、脸识别模式。

(11)另外，在上述各实施方式中，具备人用的脸辨别模式与动物用的脸辨别模式，但不限于此，也可具备检测其它种类的被拍摄体、例如昆虫的脸的昆虫用脸辨别模式(此时，如甲虫用的脸辨别模式、锹形甲虫用的脸辨别模式等按昆虫的每个种类具备脸辨别模式)。

(12)另外，在上第1、2实施方式的图5的动作中，在利用二维脸检测处理未检测到人脸的情况下(步骤S33为否)，执行三维脸检测处理(步骤S35、步骤S36)，但也可仅在步骤S34中判断为有像脸的部分的情况下进行三维脸检测处理。即，若步骤S34中判断为无像脸的部分，则直接进入步骤S39。此时，不必步骤S36的动作。

(13)另外，在上述第3实施方式中的图11的动作中，若利用二维脸检测处理未检测到人脸(步骤S153为否)，则判断是否有像脸的部分(步骤S157)，在有像脸的部分的情况下，根据存在像脸的区域，执行三维脸识别处理(步骤S158)，在没有像脸的部分的情况下，根据全部区域，执行三维脸识别处理(步骤S159)，在步骤S157中判断为没有像脸的部分的情况下，直接进入步骤S162。

另外，在上述各实施方式中，在基于脸数据的脸的构成部分其一部分未被检测到的情况下，判断为是像脸的部分，但各部分的有无未必可明确判定，例如有时鼻以30％的概率存在，口以60％的概率存在。在这种情况下，不是特定的脸构成部分的检测状态，而是例如多个脸构成部分整体的存在概率的平均值为10％以下时，判断为没有脸，若在10％—60％范围内，则判断为是像脸的部分，若为60％以上，则明确判断为是脸。

(14)构成本发明特征的部分在于对应于脸辨别模式(脸检测模式与脸识别模式的总称)改变脸辨别处理的动作，所以在上述各实施方式中，按每个被拍摄体的种类，设置称为脸辨别模式的特征，但也可不是被拍摄体的每个种类。

例如，如利用二维脸辨别处理辨别的二维脸辨别模式、利用三维脸辨别处理辨别的三维脸辨别模式那样、对脸辨别处理的每个维数都设置脸辨别模式。此时，在辨别人脸的情况下，首先，设定为二维脸辨别模式，执行脸辨别处理，在不辨别脸的情况下，设定成三维脸辨别模式。

在辨别动物的脸的情况下，也可最初设定成三维脸辨别模式，对应于动物的种类，设定成二维脸辨别模式或设定成三维脸辨别模式。此时，在设定为二维脸辨别模式的情况下，在利用该二维脸辨别模式无法辨别脸的情况下，设定成三维脸辨别模式。

并且，也可考虑被拍摄体的种类与脸辨别维后设置脸辨别模式。

例如，在上述各实施方式中，在人用的脸辨别模式中包含二维脸辨别处理、三维脸辨别处理，但也可如利用二维脸辨别来辨别人脸的人用二维脸辨别模式、利用三维脸辨别处理来辨别人脸的人用三维脸辨别模式那样，按被拍摄体的种类与脸辨别的维数的组合每个而具备脸辨别模式。

例如，在设定了人用二维脸辨别模式的情况下，执行对应于该设定的人用二维脸辨别模式的脸辨别处理，在未检测到脸的情况下，自动切换设定成人用三维脸辨别模式，进行脸辨别处理。另外，在辨别人脸的情况下，也可首先设定人用二维脸辨别模式。

另外，在存在二维脸辨别模式与三维脸辨别模式等2个辨别同种类的动物(例如猫)的脸的模式时，最初设定成二维脸辨别模式进行脸辨别处理，在未辨别出脸的情况下，首先设定成三维脸辨别模式进行脸辨别处理。

另外，上述各实施方式中说明的被拍摄体跟踪模式也可认为是脸辨别模式的一种(跟踪脸辨别模式)，例如，若进入图4的步骤S22、图10的步骤S121，则切换设定成跟踪脸辨别模式，执行对应于该设定的跟踪脸辨别模式的脸辨别处理，即通过在图3的步骤S10、图9的步骤S108二维检测最近辨别的脸，执行跟踪该脸的动作。另外，若在图4的步骤S24、图10的步骤S123判断为看漏该跟踪的脸，则再设定成跟踪脸辨别模式之前设定的脸辨别模式，返回到图3的步骤S10、图9的步骤S108。

(15)另外，也可是任意组合上述变形例(01)—(14)的状态。

(16)另外，本发明的上述实施方式均不过是作为最佳实施方式的单纯实例，为了能更好地理解本发明的原理或构造、动作等而描述，不打算限定下面的权利要求的范围。

因此，对本发明的上述实施方式得到的各种各样的变形或修正全部包含在本发明的范围内，必须认为受下面的权利要求的范围保护。

最后，在上述各实施方式中，说明将本发明的摄像装置适用于数码相机1的情况，但不限于上述实施方式，只要是可根据摄像的图像数据辨别脸的设备均可适用。

Claims (20)

1、一种摄像装置，具有被拍摄体的辨别功能，

所述摄像装置具备：

摄像部，其对被拍摄体进行摄像；

脸辨别模式设定部，其具备辨别被拍摄体的脸时执行的脸辨别处理的内容各不相同的多个脸辨别模式，从该多个脸辨别模式中设定任一脸辨别模式；和

脸辨别部，其对由所述摄像部摄像的图像数据执行与由所述脸辨别模式设定部设定的脸辨别模式对应的脸辨别处理，由此辨别在该摄像的图像数据内的脸。

2、根据权利要求1所述的摄像装置，其特征在于，

所述脸辨别模式设定部设定按被拍摄体的每个种类配备的脸辨别模式，各脸辨别模式与按被拍摄体的每个种类而不同的脸辨别处理相对应，

所述脸辨别部对由所述摄像部摄像的图像数据执行与由所述脸辨别模式设定部设定的脸辨别模式对应的脸辨别处理，由此从在该摄像的图像数据内的脸中，辨别与该脸辨别模式对应的种类的被拍摄体的脸。

3、根据权利要求1所述的摄像装置，其特征在于，

所述脸辨别处理包括：

二维脸辨别处理，对脸进行二维辨别；和

三维脸辨别处理，对脸进行三维辨别。

4、根据权利要求1所述的摄像装置，其特征在于，

所述脸辨别模式设定部设定由用户选择的脸辨别模式。

5、根据权利要求1所述的摄像装置，其特征在于，

所述脸辨别模式设定部自动地选择设定脸辨别模式。

6、根据权利要求2所述的摄像装置，其特征在于，

所述多个脸辨别模式包含：

辨别人脸的第1脸辨别模式；和

辨别人以外的脸的第2脸辨别模式；

当由所述脸辨别模式设定部设定第1脸辨别模式的情况下，所述脸辨别部执行用于辨别人脸的脸辨别处理，由此辨别在所述摄像的图像数据内的人脸，当由所述脸辨别模式设定部设定第2脸辨别模式的情况下，所述脸辨别部执行用于辨别人以外的种类的脸的脸辨别处理，由此辨别在所述摄像的图像数据内的人以外的种类的脸。

7、根据权利要求1所述的摄像装置，其特征在于，

所述多种脸辨别模式包含：

二维辨别脸的第3脸辨别模式；和

三维辨别脸的第4脸辨别模式；

当由所述脸辨别模式设定部设定第3脸辨别模式的情况下，所述脸辨别部执行二维辨别脸的二维脸辨别处理，由此辨别在所述摄像的图像数据内的脸，当由所述脸辨别模式设定部设定第4脸辨别模式的情况下，所述脸辨别部执行三维辨别脸的三维脸辨别处理，由此辨别在所述摄像的图像数据内的脸。

8、根据权利要求1所述的摄像装置，其特征在于，

所述多个脸辨别模式包含对脸辨别处理进行切换执行的第5脸辨别模式，

当由所述脸辨别模式设定部设定所述第5脸辨别模式的情况下，所述脸辨别部执行用于辨别人脸的脸辨别处理，由此辨别在所述摄像的图像数据内的人脸，当无法由该脸辨别处理辨别人脸的情况下，所述脸辨别部切换执行用于辨别人以外的种类的脸的脸辨别处理，由此辨别在所述摄像的图像数据内的人以外的种类的脸。

9、根据权利要求1所述的摄像装置，其特征在于，

所述多个脸辨别模式包含切换执行脸辨别处理的第6脸辨别模式；

当由所述脸辨别模式设定部设定所述第6脸辨别模式的情况下，所述脸辨别部执行二维脸辨别处理，由此辨别在所述摄像的图像数据内的脸，当无法由该脸辨别处理辨别人脸的情况下，所述脸辨别部切换执行三维脸辨别处理，由此辨别在所述摄像的图像数据内的脸。

10、根据权利要求6所述的摄像装置，其特征在于，

当由所述脸辨别模式设定部设定第1脸辨别模式的情况下，所述脸辨别部对由所述摄像部摄像的图像数据执行二维脸辨别处理，来辨别在该摄像的图像数据内的人脸，当由所述脸辨别模式设定部设定第2脸辨别模式的情况下，所述脸辨别部对由所述摄像部摄像的图像数据执行三维脸辨别处理，来辨别在该摄像的图像数据内的由所述脸辨别模式设定部设定的脸辨别模式种类的脸。

11、根据权利要求6所述的摄像装置，其特征在于，

所述第2脸辨别模式进一步以人以外的多种被拍摄体每种为辨别对象而分成的多个脸辨别模式；

当由所述脸辨别模式设定部设定第1脸辨别模式的情况下，所述脸辨别部对由所述摄像部摄像的图像数据执行二维脸辨别处理，来辨别在所述摄像的图像数据内的人脸，当由所述脸辨别模式设定部设定第2脸辨别模式的情况下，根据该设定的脸辨别模式设为辨别对象的被拍摄体的种类，将执行的脸辨别处理切换为二维脸辨别处理与三维脸辨别处理，由此辨别在所述摄像的图像数据内的该设定的种类的被拍摄体的脸。

12、根据权利要求11所述的摄像装置，其特征在于，

当不能通过执行二维脸辨别处理来辨别脸的情况下，所述脸辨别部根据由所述摄像部摄像的图像数据，执行三维脸辨别处理，辨别在该摄像的图像数据内的脸。

13、根据权利要求1所述的摄像装置，其特征在于，

所述脸辨别部根据由所述摄像部摄像的图像数据的全部区域、或图像数据的视场角的中央区域、或由用户指定的区域的图像数据，执行脸辨别处理，来辨别在该摄像的图像数据内的脸。

14、根据权利要求3所述的摄像装置，其特征在于，

当通过执行二维脸辨别处理无法辨别脸、但可辨别像脸的部分的情况下，所述脸辨别部根据由所述摄像部摄像的图像数据的被辨别为存在该像脸的部分的区域的图像数据，执行三维脸辨别处理，来辨别在该摄像的图像数据内的脸。

15、根据权利要求1所述的摄像装置，其特征在于，

所述脸辨别部检测在由所述摄像部摄像的图像数据内的脸。

16、根据权利要求1所述的摄像装置，其特征在于，

所述脸辨别部具体辨别在由所述摄像部摄像的图像数据内的脸是何脸。

17、根据权利要求16所述的摄像装置，其特征在于，

具备二维脸检测部，其检测在由所述摄像部摄像的图像数据内的脸；

当由所述二维脸检测部检测到脸的情况下，所述脸辨别部根据由所述摄像部摄像的图像数据的由所述二维脸检测部检测到的脸区域的图像数据，执行三维脸辨别处理，由此辨别在该摄像的图像数据内的脸。

18、根据权利要求1所述的摄像装置，其特征在于，

所述多个脸辨别模式包含切换执行脸辨别处理的第7脸辨别模式；

当由所述脸辨别模式设定部设定所述第7脸辨别模式的情况下，所述脸辨别部对由所述摄像部摄像的图像数据执行所述脸辨别处理，在通过该脸辨别处理辨别脸之后，切换执行对该被辨别的脸在图像数据内的移动进行跟踪的被拍摄体跟踪处理。

19、根据权利要求18所述的摄像装置，其特征在于，

所述脸辨别部进一步在不能通过所述被拍摄体跟踪处理跟踪人脸的情况下，再次执行在切换到所述被拍摄体跟踪处理之前设定的脸辨别处理。

20、一种摄像装置的控制方法，该摄像装置具有被拍摄体的辨别功能，

所述控制方法执行下述步骤：

模式设定步骤，从辨别被拍摄体的脸时执行的脸辨别处理的内容各不相同的多个脸辨别模式中，设定任一种类的脸辨别模式；

对被拍摄体进行摄像的摄像步骤；

脸辨别步骤，对通过所述摄像步骤摄像的图像数据，执行与通过所述模式设定步骤设定的脸辨别模式对应的脸辨别处理；和

判定步骤，根据通过所述脸辨别步骤执行的脸辨别处理，判定所述图像数据内脸的有无或脸的种类。

Images