CN101600051A - 图像拍摄设备、图像拍摄方法和计算机程序 - Google Patents

Abstract

本发明涉及图像拍摄设备、图像拍摄方法和计算机程序。提供了一种图像拍摄设备，包括：图像拾取单元，被配置为获得图像；面部检测单元，被配置为检测包括在所述图像中的拍摄对象的面部；属性检测单元，被配置为检测所述面部的属性信息；评价单元，被配置为基于由所述属性检测单元从所述面部检测单元检测到的多个拍摄对象的面部中检测到的多个属性信息项，评价所述多个拍摄对象之间的亲密度；以及控制单元，被配置为基于所述评价单元获得的评价结果使得所述图像拾取单元拍摄所述多个拍摄对象的图像。

Description

图像拍摄设备、图像拍摄方法和计算机程序

技术领域

本发明涉及一种用于拍摄包括诸如人物的拍摄对象的图像的图像拍摄设备、图像拍摄方法和计算机程序，更具体地讲，本发明涉及一种用于根据对包括在图像中的拍摄对象中的特定模式的识别来执行图像拍摄控制的图像拍摄设备、图像拍摄方法和计算机程序。

更具体地讲，本发明涉及一种用于对包括多个人物的拍摄的图像执行图像拍摄控制的图像拍摄设备、图像拍摄方法和计算机程序，更具体地讲，本发明涉及一种用于基于多个人物的面部识别结果之间的相互关系来执行图像拍摄控制的图像拍摄设备、图像拍摄方法和计算机程序。

背景技术

近年来，取代利用胶片或感光板拍摄图像的银盐相机，利用固态图像拾取器件(在其中由光电二极管实现具有执行光电转换和累积的像素阵列的光接收部分)拍摄图像，对拍摄的图像执行数字编码处理，并且保存经处理的图像的数字相机已经广泛普及。作为固态图像拾取器件，例如能够采用电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件。例如，CMOS传感器相对于CCD传感器的优点是：CMOS传感器的功耗较小；CMOS传感器可用单一低电压驱动；以及CMOS传感器易于与***电路集成。

银盐相机的基本相机工作与数字相机基本上相同。与拍摄的图像的数字化相结合，相机工作已经自动化。因此，即使对于不擅长操作相机的无经验用户，拍摄图像失败的可能性也显著降低。

主要的图像拍摄控制功能通常根据存在于图像帧中的至少一个拍摄对象执行处理。在过去，用户人工输入与指定重要拍摄对象相关的设置。近年来，已经引入了一种图像拍摄技术，该技术采用面部检测，诸如检测拍摄的图像中的面部，并且自动将焦点调整到检测到的面部或者自动根据检测到的面部校正图像质量。作为检测拍摄的图像中的面部的方法，例如，广泛使用一种将输入图像信号与用作模板的平均面部图像进行匹配的方法(例如，参见日本未审专利申请公报第2003-271933号(第0051-0053段，图9))。

近来，已经进行了利用对拍摄对象的图像中的诸如笑脸的特定模式的检测来确定图像拍摄定时的自动图像拍摄的研究和开发。例如，提出了一种相机，该相机确定在包括在要拍摄的图像的主要拍摄对象中的关注部分中，该主要拍摄对象是否满足预定图像拍摄条件，如果满足预定图像拍摄条件，则输出图像拍摄定时信号(例如，参见日本未审专利申请公报第2000-347278号、第2004-294498号和第2006-237803号)。用于确定图像拍摄定时的具体标准例如包括：“没有眨眼”、“眼睛正看向相机”和“微笑”，它们是拍摄人物的有吸引力图像的条件。照片修饰已进行了很长时间。将正在眨眼的人物的照片修饰为看起来该人物不在眨眼或者将没在微笑的人物的照片修饰为看起来该人物正在微笑是很困难的。这些困难是将这些条件用作确定图像拍摄定时的标准的理由之一。例如，能够基于例如指示拍摄对象的眼睛的白色部分的面积、嘴的水平长度以及嘴中的白色部分的面积的图像信息，来确定拍摄对象是否满足拍摄条件“微笑”。

已经构思了一种当两个或更多个拍摄对象包括在拍摄的图像中时，通过基于确定为“主角”的特定拍摄对象执行聚焦或图像质量校正来执行图像拍摄控制的图像拍摄控制方法。直觉上，位于拍摄的图像的中心附近的拍摄对象或者占据拍摄的图像的大部分的拍摄对象是更重要的并且可被估计为主角。例如，提出了一种面部重要度确定设备，该设备通过获取在图像信号中检测到的面部的尺寸信息和位置信息，基于该尺寸信息计算第一重要度因子，基于该位置信息计算第二重要度因子，以及基于第一和第二重要度因子计算最终的重要度，从而为摄影师更加准确地确定重要度(例如，参见日本未审专利申请公报第2007-201980号)。

另外，构思了一种当两个或更多个拍摄对象包括在拍摄的图像中时，基于拍摄对象之间的相互关系执行图像拍摄控制的图像拍摄控制方法。提出了一种图像拍摄设备，该设备例如识别多个拍摄对象的面部，基于诸如拍摄对象的面部之间的距离和拍摄对象的亮度的图像拍摄参数将拍摄对象组织成多个组，并且针对每个组设置最优图像拍摄参数，由此利用各个拍摄对象的最优图像拍摄参数来拍摄图像(例如，参见日本未审专利申请公报第2006-345254号)。

发明内容

期望提供一种能够根据对图像中包括的诸如人物的拍摄对象中的特定模式的识别，适当地执行图像拍摄控制的图像拍摄设备、图像拍摄方法和计算机程序。

还期望提供一种能够对包括多个人物的拍摄的图像适当地执行图像拍摄控制的图像拍摄设备、图像拍摄方法和计算机程序。

还期望提供一种能够基于多个人物的面部识别结果之间的相互关系适当地执行图像拍摄控制的图像拍摄设备、图像拍摄方法和计算机程序。

根据本发明的实施例，提供了一种图像拍摄设备，包括以下部件：图像拾取单元，被配置为获得图像；面部检测单元，被配置为检测包括在所述图像中的拍摄对象的面部；属性检测单元，被配置为检测所述面部的属性信息；评价单元，被配置为基于由所述属性检测单元从所述面部检测单元检测到的多个拍摄对象的面部中检测到的多个属性信息项，评价所述多个拍摄对象之间的亲密度；以及控制单元，被配置为基于所述评价单元获得的评价结果使得所述图像拾取单元拍摄所述多个拍摄对象的图像。

该图像拍摄设备还可以包括计算单元，该计算单元被配置为计算所述多个拍摄对象的面部的位置随着时间而变化的速度或者所述多个拍摄对象的面部的角度随着时间而变化的角速度。所述评价单元可基于所述速度或所述角速度来评价亲密度。

该评价单元可以基于所述多个拍摄对象的面部的微笑程度来评价亲密度。

该评价单元可以基于所述多个拍摄对象的面部之间的距离和所述多个拍摄对象的面部的倾度之间的差来评价亲密度。

该控制单元可以基于由该评价单元获得的评价结果对要显示在显示单元上的动画进行控制。

该评价单元可以基于所述多个拍摄对象的面部之间的距离和面部的微笑程度来评价亲密度。在由所述评价单元获得的评价结果没有达到预定状态的情况下，所述控制单元可以在所述显示单元上显示帮助所述多个拍摄对象执行缩短所述多个拍摄对象之间的距离或者增强微笑程度的操作的动画。

在由所述评价单元获得的评价结果达到预定状态并且所述控制单元控制所述图像拾取单元拍摄所述多个拍摄对象的图像的情况下，所述控制单元可以在所述显示单元上显示以视觉方式表示由所述评价单元获得的评价结果的动画。

该图像拍摄设备还可以包括人物关系确定单元，该人物关系确定单元被配置为通过对在预定的亲密度确定时段内由所述评价单元获得的评价结果执行统计处理，确定所述多个拍摄对象之间的人物关系。

该控制单元可以基于由所述人物关系确定单元确定的所述多个拍摄对象之间的人物关系向由所述图像拾取单元获得的图像添加装饰。

该图像拍摄设备还可以包括记录单元，该记录单元被配置为记录由所述人物关系确定单元确定的所述多个拍摄对象之间的人物关系，作为要添加到拍摄的图像的信息。

根据本发明的另一个实施例，提供了一种图像拍摄方法，如下步骤：使得图像拾取单元获得图像；检测包括在所述图像中的拍摄对象的面部；检测所述面部的属性信息；基于从多个拍摄对象的检测到的面部检测到的多个属性信息项，评价所述多个拍摄对象之间的亲密度；以及基于在评价步骤中获得的评价结果，执行控制以使得所述图像拾取单元拍摄所述多个拍摄对象的图像。

根据本发明的另一个实施例，提供了一种其上记录有程序的计算机可读记录介质，所述程序使得计算机执行包括如下步骤的处理：使得图像拾取单元获得图像；检测包括在所述图像中的拍摄对象的面部；检测所述面部的属性信息；基于从多个拍摄对象的检测到的面部检测到的多个属性信息项，评价所述多个拍摄对象之间的亲密度；以及基于在评价步骤中获得的评价结果，执行控制以使得所述图像拾取单元拍摄所述多个拍摄对象的图像。

根据本发明的另一个实施例，提供了一种图像拍摄设备，包括：图像拾取单元，被配置为获得图像；面部检测单元，被配置为检测包括在所述图像中的拍摄对象的面部；评价单元，被配置为评价由所述面部检测单元检测到的多个拍摄对象的面部的位置或角度之间的相互关系；以及控制单元，被配置为基于由所述评价单元获得的评价结果，使得所述图像拾取单元拍摄所述多个拍摄对象的图像。

该评价单元可以通过将由所述面部的位置或角度限定的相互关系与预定位置或角度进行比较来评价所述相互关系。

该预定位置或角度可以是两个或更多个检测到的面部处于相同高度的位置或角度，或者是三个或更多个检测到的面部在一条直线上大致对齐的位置或角度。

该预定位置或角度可以是以拍摄对象的三个或更多个检测到的面部的位置作为顶点的多边形的位置或角度。

该预定位置或角度可以是两个检测到的面部面向内侧的位置或角度，或者是多个检测到的面部面向特定方向的位置或角度。

根据本发明的另一个实施例，提供了一种图像拍摄方法，包括如下步骤：使得图像拾取单元获得图像；检测包括在所述图像中的拍摄对象的面部；评价多个拍摄对象的检测到的面部的位置或角度之间的相互关系；以及基于在评价步骤中获得的评价结果，执行控制以使得所述图像拾取单元拍摄所述多个拍摄对象的图像。

根据本发明的另一个实施例，提供了一种其上记录有程序的计算机可读记录介质，所述程序使得计算机执行包括如下步骤的处理：使得图像拾取单元获得图像；检测包括在所述图像中的拍摄对象的面部；评价多个拍摄对象的检测到的面部的位置或角度之间的相互关系；以及基于在评价步骤中获得的评价结果，执行控制以使得所述图像拾取单元拍摄所述多个拍摄对象的图像。

根据本发明的实施例，能够提供一种能够根据对包括在图像中的诸如人物的拍摄对象中的特定模式的识别，适当地执行图像拍摄控制的图像拍摄设备、图像拍摄方法和计算机程序。

根据本发明的实施例，能够提供一种能够对包括多个人物的拍摄的图像适当地执行图像拍摄控制的图像拍摄设备、图像拍摄方法和计算机程序。

当根据本发明实施例的图像拍摄设备拍摄包括多个拍摄对象的图像时，该图像拍摄设备从各个拍摄对象检测诸如微笑程度、图像帧中的位置、检测到的面部的倾度和诸如每个拍摄对象的性别的属性的多个面部识别参数，并且基于检测到的面部识别参数之间的相互关系适当地执行诸如确定快门定时和设置自身定时器的图像拍摄控制。

根据以下参照附图对示例性实施例进行的描述，本发明的其它特征和优点将变得清楚。

附图说明

图1是示出根据本发明实施例的数字静态相机的硬件结构的示意图；

图2是示意性地示出了根据本发明第一实施例的***的功能结构的图；

图3是示出图2所示的***中的基于各个拍摄对象的面部识别参数之间的相互关系执行图像拍摄控制的处理过程的流程图；

图4是示出了利用友好度计算单元的友好度计算处理过程，在该处理过程中拍摄对象之间的亲密度由称作“友好度”的评价值表示；

图5是示意性地示出了根据本发明第二实施例的***的功能结构的图；

图6A示出了可用作表示拍摄对象之间的友好度的指标的位置模式；

图6B示出了可用作表示拍摄对象之间的友好度的指标的位置模式；

图6C示出了可用作表示拍摄对象之间的友好度的指标的位置模式；

图6D示出了可用作表示拍摄对象之间的友好度的指标的位置模式；

图6E示出了可用作表示拍摄对象之间的友好度的指标的位置模式；

图7A示出了可用作表示拍摄对象之间的友好度的指标的角度模式；

图7B示出了可用作表示拍摄对象之间的友好度的指标的角度模式；

图8示出了速度计算单元以时间连续方式跟踪由面部检测单元检测到的每个拍摄对象的位置信息的方式；

图9示出了角速度计算单元以时间连续方式跟踪由面部检测单元检测到的每个拍摄对象的角度信息的方式；

图10示出了确定为具有高友好度的检测到的面部之间的相互关系的例子；

图11是示出了基于各个拍摄对象的面部识别参数之间的相互关系执行图像拍摄控制的处理过程的流程图；

图12示出了(显示在监视显示器上的)拍摄的图像中的检测到的面部的位置的坐标(x，y)、宽度w和高度h；

图13示出了(显示在监视显示器上的)拍摄的图像中的检测到的面部的倾度；

图14A示出了三角形模式的位置信息；

图14B示出了矩形模式的位置信息；

图15A示出了两个拍摄对象面向内侧的角度模式的角度信息；

图15B示出了多个拍摄对象面向特定方向的角度模式的角度信息；

图16示出了位置/角度模式的位置/角度信息；

图17示出了两个拍摄对象a和b的检测到的面部的两个位置信息项D_a(x，y)和D_b(x，y)从时刻t_u-1到时刻t_u进行移动的方式；

图18示出了两个拍摄对象a和b的检测到的面部的两个角度信息项A_a(roll，yaw，pitch)和A_b(roll，yaw，pitch)从时刻t_u-1到时刻t_u进行移动的方式；

图19是示出了友好度计算处理过程的图，在该处理过程中拍摄对象之间的亲密度由称作“友好度”的评价值表示；

图20A是示出用于基于检测到的面部A和B之间的相对距离d确定分值S₁的权重m₁的函数F₁的特征的曲线图；

图20B是示出用于基于检测到的面部A和B之间的相对距离d确定分值S₁的权重m₁的函数F₁的特征的曲线图；

图21A是示出用于基于检测到的面部A和B之间的相对距离d确定分值S₂的权重m₂的函数F₂的特征的曲线图；以及

图21B是示出用于基于检测到的面部A和B之间的相对距离d确定分值S₂的权重m₂的函数F₂的特征的曲线图。

具体实施方式

在下文中，将参照附图详细描述本发明的实施例。

图1示意性地示出了根据本发明实施例的数字静态相机1的硬件结构。图1所示的数字静态相机1包括图像拾取装置11、模拟前端(AFE)单元12和相机数字信号处理(DSP)单元16。数字静态相机1对经由光学***10输入的图像执行数字处理并且记录处理后的图像。

光学***10包括透镜，用于将从拍摄对象反射的光收集到图像拾取装置11的图像拾取面上；驱动机构，用于通过移动透镜执行聚焦和变焦；快门机构，用于通过执行开/闭操作使从拍摄对象反射的光入射在图像拾取装置11上达预定时间；和光阑机构，用于限制从拍摄对象反射的光束的方向和范围。在附图中没有示出该透镜、驱动机构、快门机构和光阑机构。驱动器10a基于来自将在以后描述的中央处理单元(CPU)29的控制信号，控制光学***10中的每个机构的驱动。也就是说，驱动器10a例如控制对拍摄对象的聚焦、光阑、快门的定时或者自身定时器的设置。

图像拾取装置11例如由CCD或CMOS器件实现。图像拾取装置11具有图像拾取面，在该图像拾取面上以二维形式排列了具有光电转换效果的像素。图像拾取装置11将从拍摄对象反射的入射光转换成电信号。例如，绿(G)网格红/蓝(RB)色(G-checkered RB-color)编码单板布置在图像拾取装置11的光接收侧。与通过各滤色片的入射光的量对应的信号电荷存储在每个像素中，并且能够基于从该像素读取的三种颜色的信号电荷的量来再现该像素位置的入射光的颜色。从图像拾取装置11输出的模拟图像信号是R、G和B颜色的原色信号。然而，该模拟图像信号可以是补色信号。

AFE单元12包括相关双采样(CDS)/自动增益控制(AGC)/模拟-数字转换(ADC)块13、定时产生器14和V驱动器15，并且例如实现为单个集成电路(IC)芯片。

CDS/AGC/ADC块13高度准确地抑制从图像拾取装置11接收的像素信号中的信号低噪声，执行相关双采样(CDS)、采样保持、用于施加适当增益控制的自动增益控制(AGC)、和模拟-数字转换(ADC)，由此输出数字图像信号。

定时产生器14产生用于驱动图像拾取装置11的定时脉冲信号。V驱动器15根据定时脉冲信号输出驱动信号，从而使图像拾取装置11中的每个像素的电荷能够在垂直方向上逐行地输出。

相机DSP单元16包括相机信号处理单元17、分辨率转换器18、图像编解码处理单元19、存储控制单元20、显示控制单元21和介质控制单元22，并且例如实现为单个IC芯片。

相机信号处理单元17对从AFE单元12发送的图像信号施加诸如缺陷像素校正、数字箝位(clamping)和数字增益控制的预处理。然后，相机信号处理单元17对图像信号施加利用自动白平衡(AWB)的白平衡增益控制并且施加诸如锐度/饱和度对比度调整、闪光灯控制和消除红眼的图像质量校正，由此再现适当的颜色状态。相机信号处理单元17还执行去马赛克，以产生RGB图像信号。通过对RGB图像信号施加伽马(γ)校正，相机信号处理单元17能够将RGB图像信号转换成适于从监视器输出、被打印或者被记录的图像信息的灰度信号。

分辨率转换器18根据是作为完成图像(through image)在监视显示器25上显示并输出拍摄的图像还是在记录介质上保存拍摄的图像，对拍摄的图像的尺寸进行转换。

图像编解码处理单元19将RGB色系的图像信号转换成包括亮度分量(Y)和色度分量(Cr/Cb)的图像信号，然后对YUV色系的图像信号施加诸如联合图像专家组(JPEG)压缩或者运动图像专家组(MPEG)压缩的编码压缩处理。通过将颜色空间从RGB转换成YUV，数据压缩变得更易于进行，这是因为人眼的可见度特性对于亮度的分辨力要高于对于颜色的分辨力。

存储控制单元20控制从存储装置24读取或者向其写入诸如拍摄的图像信息的数据的存取操作，存储装置24例如由同步动态随机存取存储器(SDRAM)实现。

介质控制单元22包括用于加载诸如记忆棒

的可移动记录介质26，并且从记录介质26读取或者向其写入数据。介质控制单元22例如将保持在存储装置24上的拍摄的图像文件记录到记录介质26上。

监视显示器25例如由液晶显示器(LCD)或者其它类型的薄显示面板实现。显示控制单元21控制监视显示器25的驱动，并且将从相机信号处理单元17输出的图像数据(完成图像)、保持在存储装置24上的图像数据或者从记录介质26读取并且由图像编解码处理单元19解码的图像数据转换成要显示在监视显示器25上的信号，并且将该信号输出到监视显示器25。

除了在监视显示器25上显示完成图像的情况外，根据来自以后描述的控制单元27的请求，将菜单屏幕、各种设置屏幕和各种警告信息项目进行组合，并且组合后的信息被显示并输出为“在屏显示”(OSD)。触摸传感器被设置在监视显示器25的表面上，由此，监视显示器25还用作触摸面板。由触摸面板识别的坐标与显示在监视显示器25的显示屏幕上的坐标相同。因此，摄影师能够在监视显示器25的显示屏幕上直接指定要进行微笑检测的拍摄对象或者另一个图形用户接口(GUI)组件。

相机DSP单元16经由总线接口单元(BIU)23连接到控制单元27。控制单元27包括用户接口(UI)单元28、根据用户操作来控制整个设备的全部操作的CPU 29、用作CPU 29的主存储器的随机存取存储器(RAM)30和以非易失性方式保持程序代码和设备信息的可电擦除可编程只读存储器(EEPROM)31。

CPU 29根据对在拍摄的图像(在存储装置24上形成的图像帧)中包括的图像中包括的诸如人物的拍摄对象中的特定模式的识别，执行图像拍摄控制。在本实施例中，基于在图像中识别的多个人物的面部识别结果之间的相互关系，适当地执行图像拍摄控制。将在以后详细描述图像拍摄控制。CPU 29还执行用于在监视显示器25上显示OSD的GUI处理。

UI单元28具有允许用户输入指令的操作功能和如扬声器或发光二极管(LED)灯一样的输出功能。作为操作功能，UI单元28例如具有快门键按钮和用于输入诸如打开/关闭闪光灯的各种设置的键和转盘。对应于利用这些键等输入的用户操作的控制信号被输入到CPU 29。利用输出功能，UI单元28输出诸如警告的声音或者利用LED发光或闪光，由此将关于相机工作的信息作为反馈发送给用户。闪光发光单元32根据来自控制单元27的闪光控制信息发射闪光。

在数字静态相机1中，光在图像拾取装置11中被接收并且转换成电信号。电信号接下来被提供给AFE单元12，AFE单元12对该电信号施加CDS处理和AFE处理，然后将处理后的电信号转换成数字信号。相机信号处理单元17对从AFE单元12提供的数字图像信号执行图像质量校正并且最终将图像质量校正后的数字图像信号转换成具有亮度分量(Y)和色度分量(R-Y和B-Y)的信号，并且输出该信号。从相机信号处理单元17输出的图像数据被显示控制单元21转换成要进行显示的图像信号，并且在监视显示器25上显示完成图像。

当前，具有面部识别功能的数字相机变得越来越普及。根据本实施例的数字静态相机1基于在图像中识别的多个人物的面部识别结果之间的相互关系执行图像拍摄控制。

例如，可以基于拍摄对象之间的距离来估计多个拍摄对象之间的相互关系。例如，可以想到一种通过基于与拍摄对象的排列(诸如检测到的面部之间的距离)相关的相互关系设置自身定时器，来控制快门的定时的方法。然而，拍摄对象可能碰巧彼此靠近，诸如当他们偶遇时。发明人认为仅仅通过利用检测到的面部之间的距离无法执行准确的图像拍摄控制。换言之，如果基于单个参数(即检测到的面部之间的距离)执行图像拍摄控制，则可能会在不期望的时刻释放快门，或者可能在适当的图像拍摄时刻没有释放快门。

因此，当拍摄包括多个拍摄对象的图像时，根据本发明第一实施例的数字静态相机1从各个拍摄对象中检测包括微笑程度、在图像帧中的位置、检测到的面部的倾度和诸如每个拍摄对象的性别的属性的多个面部识别参数，并且基于所检测的面部识别参数之间的相互关系执行图像拍摄控制。具体地讲，可以由基于检测到的面部之间的距离和每个面部的微笑和倾斜的程度的可被称作“友好度”的数值来表示拍摄对象之间的亲密度。如果计算出的友好度超过预定阈值，则图像拍摄控制被激活以确定快门定时，设置自身定时器，等等。

图2示意性地示出了根据本发明的第一实施例的***的功能结构。所示的***包括面部检测单元101、面部属性检测单元102、友好度计算单元103和图像拍摄确定单元104。

面部检测单元101检测待处理图像(诸如写在存储装置24上的拍摄的图像)中的面部区域。面部检测单元101输出在图像中检测到的每个拍摄对象的检测到的面部的位置(图像中的XY坐标)、检测到的面部的尺寸(宽度和高度)和检测到的面部的姿势(关于横滚(roll)、俯仰(pitch)和偏航(yaw)旋转轴的倾度)，作为面部检测结果。例如，可以采用在日本未审专利申请公报第2004-133637号中描述的面部检测设备，该专利申请已经转让给本发明的受让人。

面部属性检测单元102检测由面部检测单元101在待处理图像中检测到的每个检测到的面部的属性信息。这里陈述的属性信息包括检测到的面部的微笑程度、性别、年龄和种族。面部检测单元101输出指示每个检测到的面部的这些属性信息项目的属性值。例如，面部属性检测单元102能够由目标检测设备实现，该目标检测设备可以通过利用包括采用诸如Adaboost的统计学习算法的多个确定单元的确定装置执行组合学习而获得。对于这种类型的目标检测设备的详细情况，例如请参见日本未审专利申请公报第2005-157679号，该专利申请已经转让给本发明的受让人。

友好度计算单元103基于从面部检测单元101输出的每个检测到的面部的位置、尺寸和角度信息以及从面部属性检测单元102输出的微笑程度和其它面部属性信息，执行计算以将拍摄对象之间的亲密度表示为称作“友好度”的评价值H_love。例如，当彼此靠近的两个检测到的面部彼此面对时(即，检测到的面部的法向矢量在彼此的面部附近相交)以及当检测到的面部的微笑程度高时，确定了友好度高，由此，执行了图像拍摄控制(使用从面部属性检测单元102输出的参数来指示微笑程度)。将在以后详细描述友好度计算处理。

图像拍摄确定单元104基于从友好度计算单元103输出的指示拍摄对象之间的亲密度的评价值(即友好度H_love)来确定拍摄对象之间的相互关系，并且确定是否激活诸如确定快门定时或者设置自身定时器的图像拍摄控制。

图3是示出图2所示的***中的基于各个拍摄对象的面部识别参数之间的相互关系执行图像拍摄控制的处理过程的流程图。

读取由面部检测单元101获得的检测到的数据(步骤S1)。确定是否检测到多个面部(步骤S2)。当检查结果为肯定时，该流程进行到执行图像拍摄确定的后续处理。

接下来，从面部属性检测单元102读取每个检测到的面部的诸如微笑程度的属性信息(步骤S3)。属性信息被输入到友好度计算单元103，并且发出针对友好度计算单元103的计算请求(步骤S4)。友好度计算单元103基于每个检测到的面部的属性信息，计算指示拍摄对象之间的亲密度的评价值，即友好度H_love。将在以后详细描述该计算处理。

向图像拍摄确定单元104发出评价值计算请求(步骤S5)。基于从友好度计算单元103输出的友好度H_love，图像拍摄确定单元104计算评价值H，该评价值H用于确定是否激活诸如确定快门定时或设置自身定时器的图像拍摄控制。

当评价值H超过预定阈值时(步骤S6为是)，CPU 29向驱动器10a发出用于控制快门定时或自身定时器设置的指令(步骤S7)。

图4是示出了利用友好度计算单元103的友好度计算处理过程的图，在该处理过程中拍摄对象之间的亲密度由称作“友好度”的评价值表示。在图4中，为了简化描述，假定已经检测到了面部的拍摄对象是两个人A和B。

友好度计算单元103能够利用作为由面部检测单元101获得的检测结果的检测到的面部A和B的位置信息、尺寸(即宽度和高度)和角度信息(关于横滚、偏航和俯仰轴的旋转角度)、以及作为由面部属性检测单元102获得的检测结果的检测到的面部A和B的微笑程度和其它属性信息，作为输入参数。

假定检测到的面部A和B的微笑程度是从面部属性检测单元102输出的微笑程度S_a和S_b。另外，检测到的面部A和B之间的相对距离d由检测到的面部A和B彼此相距多少个面部来表示并且通过下式计算：

$d=\frac{\sqrt{{(X_a-X_b)}^2}}{(W_a+W_b)/2}+\frac{\sqrt{{(Y_a-Y_b)}^2}}{(H_a+H_b)/2}...\left(1\right)$

另外假定检测到的面部A和B的倾度之间的差r是检测到的面部A和B的横滚轴的倾度R_a和R_b的绝对值之差(利用绝对值从而将诸如+30度和-30度的相反倾度视为相同倾度)。

r＝||R_a|-|R_b||    …(2)

将各个元素i的评价值进行评分或归一化，并且利用下式对获得的分值Si求和，由此获得评价值H_love，然后将该评价值输出到图像拍摄确定单元104。

H_love＝∑S_i       …(3)

现在，将描述本发明的第二实施例。在第二实施例中，与上述的第一实施例一样，基于检测到的面部之间的距离和检测到的面部的微笑程度计算拍摄对象之间的友好度。另外，对检测到的面部的位置或角度之间的相关关系进行评价，由此执行图像拍摄控制。也就是说，评价检测到的面部的排列是否与如下的位置模式、角度模式或位置/角度模式匹配，这些模式指示：检测到的面部被排列为能够容易地拍摄具有一体感的照片或者检测到的面部被排列为暗示拍摄对象是好朋友。与友好度一起执行总体评价，并且由此，实现了确定快门定时、设置自身定时器等的准确图像拍摄控制。

图5是示意性地示出了用于在拍摄包括多个拍摄对象的图像时检测多个面部识别参数并且基于检测到的面部识别参数之间的相互关系执行图像拍摄控制的***的功能结构的图。所示的***包括面部检测单元201、面部属性检测单元202、模式检测单元203、速度计算单元204、角速度计算单元205、友好度计算单元206、和图像拍摄确定单元207。

面部检测单元201检测待处理图像(诸如写在存储装置24上的拍摄的图像)中的面部区域。面部检测单元201输出在图像中检测到的每个拍摄对象的检测到的面部的位置(图像中的XY坐标)、检测到的面部的尺寸(宽度和高度)以及检测到的面部的姿势(关于横滚、俯仰和偏航旋转轴的倾度)，作为面部检测结果。这些与上面的描述相同。

面部属性检测单元202检测由面部检测单元201在待处理图像中检测到的每个检测到的面部的属性信息。这里陈述的属性信息包括检测到的面部的微笑程度、性别、年龄和种族。面部检测单元201输出指示每个检测到的面部的这些属性信息项目的属性值。这些与上面的描述相同。

模式检测单元203检测待处理图像是否与可以用来从由面部检测单元201在图像中检测到的检测到的面部的排列读取图像拍摄意图的任何模式相匹配。这里陈述的模式可被粗略地组织成检测到的面部之间的位置模式的组和检测到的面部的姿势或角度模式的组。

图6A和6B示出了能够从中读取拍摄对象的图像拍摄意图的位置模式。

如图6A所示，当两个或更多个检测到的面部位于相同高度时，能够读取拍摄对象的图像拍摄意图。因此，能够检测到执行图像拍摄控制的时刻到来。如图6B所示，当三个或更多个检测到的面部排列在一条直线上时，能够读取拍摄对象的图像拍摄意图。因此，能够检测到执行图像拍摄控制的时刻到来。可将诸如图6A和图6B所示的线性位置模式作为用于表达友好度的指标应用于包括两个、三个或更多人的一组拍摄对象。具体地讲，当通过连接拍摄对象的检测到的面部而呈现的直线为水平时，不同高度的拍摄对象可能已经自己对齐从而使他们的面部处于相同高度。因此，可以认为这些拍摄对象是特别好的朋友。

如图6C、6D和6E所示，当三个、四个或五个拍摄对象形成诸如三角形、矩形或五边形的特定几何模式并且以拍摄对象的检测到的面部为顶点时，能够读取拍摄对象的图像拍摄意图。因此，能够检测到执行图像拍摄控制的时刻到来。可将诸如图6C、6D和6E所示的多边形模式作为用于表达友好度的指标应用于包括三个或更多人的一组拍摄对象。与利用上述的线性模式相比，利用多边形模式能够更容易地拍摄具有一体感的照片。随着人数的增加，拍摄对象的位置的排列变得更加困难。因此，当形成多边形模式时，能够感觉到强烈的达成感。

图7A和图7B示出了能够从中读取拍摄对象的图像拍摄意图的角度模式。当两个检测到的面部如图7A所示面向内侧时或者当多个检测到的面部如图7B所示面向特定方向时，能够读取拍摄对象的图像拍摄意图。也就是说，能够估计出拍摄对象已经形成了亲密关系，并且由此，能够检测到执行图像拍摄控制的时刻到来。可将诸如图7A和图7B所示的角度模式作为用于表达友好度的指标应用于包括两个、三个或更多人的一组拍摄对象。当角度模式被应用于两个拍摄对象时，可以认为能够拍摄亲密的照片。当角度模式被应用于三个或更多人的组时，能够拍摄具有一体感的照片。

将这些位置模式、角度模式、以及作为排列和角度的组合的位置/角度模式例如作为模式数据存储在EEPROM 31中。通过执行几何计算等，模式检测单元203将检测到的面部的位置和姿势信息与上述的位置模式、角度模式以及位置/角度模式进行比较，以确定检测到的面部是否与这些模式中的任何一个相匹配并且输出该结果作为模式评价值H_pattern。将在以后详细描述模式检测处理。

速度计算单元204和角速度计算单元205检测各个检测到的面部的位置的时间连续变化和姿势的时间连续变化是否与能够读取出拍摄对象的图像拍摄意图的模式中的任何一个相匹配。速度计算单元204在时间上连续跟踪由面部检测单元201检测到的每个拍摄对象的位置信息。如图8所示，速度计算单元204连续测量检测到的面部之间的距离。当检测到的面部变得最靠近彼此时，能够检测到拍摄对象的图像拍摄意图。如图9所示，角速度计算单元205连续检测每个拍摄对象的角度。例如，当每个检测到的面部的倾度变得接近向内的角度时，能够检测到拍摄对象的图像拍摄意图。将在以后详细描述由速度计算单元204和角速度计算单元205执行的计算处理。

友好度计算单元206基于从面部检测单元201输出的每个检测到的面部的位置、尺寸和角度信息以及从面部属性检测单元202输出的微笑程度和其它面部属性信息，执行计算以将拍摄对象之间的亲密度表示为称作“友好度”的评价值H_love。例如，如图10所示，当彼此靠近的两个检测到的面部彼此面对(即，检测到的面部的法向矢量在彼此的面部附近相交)时以及当检测到的面部的微笑程度高时，确定友好度为高，并且由此执行图像拍摄控制(使用从面部属性检测单元202输出的参数来指示微笑程度)。将在以后详细描述友好度计算处理。

图像拍摄确定单元207基于从模式检测单元203获得的指示多个检测到的面部的相互关系与期望位置模式或角度模式(见图6A到图7B)的匹配程度的评价值H_pattern以及从友好度计算单元206输出的指示拍摄对象之间的亲密度的评价值(即友好度H_love)，对拍摄对象之间的相互关系进行总体确定，由此确定是否激活诸如确定快门定时或设置自身定时器的图像拍摄控制。

图11是示出图5所示的***中的基于各个拍摄对象的面部识别参数之间的相互关系来执行图像拍摄控制的处理过程的流程图。

读取由面部检测单元201获得的检测到的数据(步骤S11)。确定是否检测到多个面部(步骤S12)。当检查结果为肯定时，流程进行到用于执行图像拍摄确定的后续处理。

向模式检测单元203发出模式检测请求(步骤S13)。当模式检测单元203获得由面部检测单元201获得的检测到的面部数据时，模式检测单元203通过将检测到的面部的相互关系与期望位置模式或角度模式(见图6A到图7B)进行比较，来确定该相互关系是否与期望位置模式或角度模式中的任何一个相匹配。当检测到的面部之间的相互关系与期望位置模式或角度模式中的任何一个匹配时(步骤S14为是)，指示匹配程度的评价值H_pattern被输出到图像拍摄确定单元207(步骤S15)。将在以后详细描述由模式检测单元203执行的计算处理。

接下来，向速度计算单元204发出计算请求(步骤S16)。将在以后详细描述由速度计算单元204执行的计算处理。

接下来，向角速度计算单元205发出计算请求(步骤S17)。将在以后详细描述由角速度计算单元205执行的计算处理。

接下来，从面部属性检测单元202读取每个检测到的面部的诸如微笑程度的属性信息(步骤S18)。属性信息被输入到友好度计算单元206，并且向友好度计算单元206发出计算请求(步骤S19)。友好度计算单元206基于每个检测到的面部的属性信息计算指示拍摄对象之间的亲密度的评价值，即友好度H_love。将在以后详细描述该计算处理。

向图像拍摄确定单元207发出评价值计算请求(步骤S20)。图像拍摄确定单元207基于从模式检测单元203输出的指示与位置模式、角度模式或位置/角度模式的匹配程度的评价值H_pattern和从友好度计算单元206输出的友好度H_love，确定是否激活诸如确定快门定时或者设置自身定时器的图像拍摄控制。

当评价值H超过预定阈值时(步骤S21为是)，CPU 29向驱动器10a发出用于控制快门定时或自身定时器设置的指令(步骤S22)。

在下文中，将详细描述由模式检测单元203、速度计算单元204、角速度计算单元205、友好度计算单元206和图像拍摄确定单元207执行的计算处理。

在下面的描述中，如图12所示定义(显示在监视显示器25上的)拍摄的图像中的检测到的面部的位置坐标(x，y)、宽度w和高度h。另外，如图13所示，检测到的面部的角度(倾度)包括关于三个轴(即横滚、偏航和俯仰)的旋转。第n个检测到的面部的位置被写为D_n(x，y)，并且其旋转角度被写为A_n(roll，yaw，pitch)。

位置模式确定处理：

利用模式检测单元203，根据在图11所示的流程图的步骤S13中进行的模式检测请求，执行位置模式确定处理。

(1)从面部检测单元201获得n个(n＞1)检测到的面部的位置信息项D_n(其中，n是指示用作拍摄对象的人的识别编号)。

(2)从诸如EEPROM 31的存储位置获得要进行确定的位置模式信息。在下面的描述中，假定获得了p个(p≥1)位置模式信息项。每个位置模式信息项包括针对每个模式编号的指示各面部编号的坐标位置(x，y)的位置信息P_{pos_pattern_no}(x，y)和针对每个模式编号的评价值P_{val_pattern}。已经描述了多边形模式使得拍摄具有一体感的照片更加容易这一事实。图14A和14B分别示出了三角形模式的位置信息和矩形模式的位置信息。

(3)将下面的评价函数H_pos计算p次(也就是说，针对各个位置模式信息项进行计算)。

H_pos(D_1，D_2，…，D_n，P_{pos_p}，P_{val_p})    …(4)

在上述的评价函数H_pos中，通过执行比较来计算输入的检测到的面部的位置D_1、...、D_n是否与位置模式信息P_{pos_p}匹配。当确定位置信息项D_n与位置模式信息P_{pos_p}匹配时，返回评价值P_{pos_p}。当确定位置信息项D_n与位置模式信息P_{pos_p}不匹配时，返回零。

角度模式确定处理：

利用模式检测单元203，根据在图11所示的流程图的步骤S13中进行的模式检测请求，执行角度模式确定处理。

(1)从面部检测单元201获得n(n＞1)个检测到的面部的角度信息项A_n(其中，n是指示用作拍摄对象的人的识别编号)。

(2)从诸如EEPROM 31的存储位置获得要进行确定的角度模式信息。在下面的描述中，假定获得了p个(p≥1)角度模式信息项。每个角度模式信息项包括针对每个模式编号的指示每个面部编号的关于横滚、偏航和俯仰轴的旋转角度(roll，yaw，pitch)的角度信息P_{angle_pattern_no}(roll，yaw，pitch)以及针对每个模式编号的评价值P_{val_pattern}。已经描述了如下事实：如图7A所示指示两个拍摄对象面向内侧或者如图7B所示多个拍摄对象面向特定方向的角度模式使得拍摄具有一体感的照片更加容易。图15A和15B分别示出了两个拍摄对象面向内侧的角度模式的角度信息和多个拍摄对象面向特定方向的角度模式的角度信息。

(3)将下面的评价函数H_angle计算p次(也就是说，针对各个角度模式信息项进行计算)。

H_angle(A_1，A_2，…，A_n，P_{angle_q}，P_{val_q})    …(5)

在上述的评价函数H_angle中，通过执行比较来计算输入的检测到的面部的角度A_1、...、A_n是否与角度模式信息P_{angle_q}相匹配。当确定角度信息项A_n与角度模式信息P_{angel_q}相匹配时，返回评价值P_{val_q}。当确定角度信息项A_n不与角度模式信息P_{angle_q}匹配时，返回零。

位置/角度模式确定处理：

利用模式检测单元203，根据在图11所示的流程图的步骤S13中进行的模式检测请求，执行位置/角度模式确定处理。

(1)从面部检测单元201获得n个(n＞1)检测到的面部的位置信息项。

(2)从诸如EEPROM 31的存储位置获得要进行确定的位置/角度模式信息。在下面的描述中，假定获得了p个(p≥1)位置/角度模式信息项。每个位置/角度模式信息项包括针对每个模式编号的指示每个面部编号的坐标位置和角度位置(x，y，roll，yaw，pitch)的位置/角度信息P_{pos&angle_pattern_no}(x，y，roll，yaw，pitch)和针对每个模式编号的评价值P_{val_pattern}。图16示出了考虑到能够使拍摄具有一体感的照片更加容易的位置/角度模式的位置/角度信息。

(3)将下面的评价函数H_pos&angle计算r次(也就是说，针对各个位置/角度模式信息项进行计算)。

H_pos&angle(D_1，A_1，D_2，A_2，…，D_n，A_n，P_{pos_angle_r}，P_{val_r})

…(6)

在上述的评价函数H_pos&angle中，通过执行比较来计算输入的检测到的面部的位置D_1、...、D_n和角度A_1、...、A_n是否与位置/角度模式信息P_{pos&angle_p}匹配。当确定位置/角度信息项D_n和A_n与位置/角度模式信息P_{pos&angle_p}匹配时，返回评价值P_{val_q}。当确定位置/角度信息项D_n和A_n不与位置/角度模式信息P_{pos&angle_p}匹配时，返回零。

模式确定处理：

利用模式检测单元203，根据在图11所示的流程图的步骤S13中进行的模式检测请求，基于上述的位置模式确定处理、角度模式确定处理和位置/角度模式确定处理的结果，执行模式确定处理。具体地讲，如下式所示，计算包括各模式确定处理的评价值H_pos、H_angle和H_pos&angel之和的模式评价值H_pattern并且将模式评价值H_pattern输出给图像拍摄确定单元207。

速度计算处理：

利用速度计算单元204，根据在图11所示的流程图的步骤S16中进行的计算请求，执行速度计算处理。该速度计算处理确定各个检测到的面部的位置的时间连续变化是否与能够从中读取拍摄对象的图像拍摄意图的任何一个模式相匹配。

(1)从面部检测单元201获得在时刻t_u-1的检测到的面部的位置信息项D_n(其中，n是指示用作拍摄对象的人物的识别编号)。

(2)计算每个检测到的面部的移动速度。

图17示出了两个拍摄对象a和b的检测到的面部的两个位置信息项D_a(x，y)和D_b(x，y)从时刻t_u-1到时刻t_u进行移动的方式。利用下式计算在这种情况下的检测到的面部的移动速度(X′a，Y′a)和(X′b，Y′b)。

$\left(\begin{array}{c}{X}^{\′}a\\ Y^{\′}a\end{array}\right)=\frac{\mathrm{dD}\_a}{\mathrm{dt}}=\left(\begin{array}{c}\frac{\mathrm{dx}}{\mathrm{dt}}\\ \frac{\mathrm{dy}}{\mathrm{dt}}\end{array}\right)=\left(\begin{array}{c}\frac{{\mathrm{xa}}_{t_u}-{\mathrm{xa}}_{t_{\mathrm{un}-1}}}{t_u-t_{u-1}}\\ \frac{{\mathrm{ya}}_{t_u}-{\mathrm{ya}}_{t_{u-1}}}{t_u-t_{u-1}}\end{array}\right)$

$\left(\begin{array}{c}{X}^{\′}b\\ Y^{\′}b\end{array}\right)=\frac{\mathrm{dD}\_b}{\mathrm{dt}}=\left(\begin{array}{c}\frac{\mathrm{dx}}{\mathrm{dt}}\\ \frac{\mathrm{dy}}{\mathrm{dt}}\end{array}\right)=\left(\begin{array}{c}\frac{{\mathrm{xb}}_{t_u}-{\mathrm{xb}}_{t_{u-1}}}{t_u-t_{u-1}}\\ \frac{{\mathrm{yb}}_{t_u}-{\mathrm{yb}}_{t_{u-1}}}{t_u-t_{u-1}}\end{array}\right)\·\·\·\left(8\right)$

角速度计算处理：

利用角速度计算单元205，根据在图11所示的流程图的步骤S17中进行的计算请求，执行角速度计算处理。该角速度计算处理确定各个检测到的面部的角度的时间连续变化是否与能够从中读取拍摄对象的图像拍摄意图的任何一个模式相匹配。

(1)从面部检测单元201获得在时刻t_u-1的检测到的面部的角度信息项A_n(其中，n是指示用作拍摄对象的人物的识别编号)。

(2)计算每个检测到的面部的角速度。

图18示出了两个拍摄对象a和b的检测到的面部的两个角度信息项A_a(roll，yaw，pitch)和A_b(roll，yaw，pitch)从时刻t_u-1到时刻t_u进行移动的方式。利用下式计算这种情况下的检测到的面部的角速度(θ_roll′a，θ_yaw′a，θ_pitch′a)和(θ_roll′b，θ_yaw′b，θ_pitch′b)。

$\left(\begin{array}{c}{{\mathrm{\θ}}_x}^{\′\′}a\\ {{\mathrm{\θ}}_y}^{\′\′}a\\ {{\mathrm{\θ}}_z}^{\′\′}a\end{array}\right)=\frac{\mathrm{dA}\_a}{\mathrm{dt}}=\left(\begin{array}{c}\frac{{\mathrm{d\θ}}_{x}a}{\mathrm{dt}}\\ \frac{{\mathrm{d\θ}}_{y}a}{\mathrm{dt}}\\ \frac{{\mathrm{d\θ}}_{z}a}{\mathrm{dt}}\end{array}\right)=\left(\begin{array}{c}\frac{{\mathrm{rolla}}_{t_u}-{\mathrm{rolla}}_{t_{u-1}}}{t_u-t_{u-1}}\\ \frac{{\mathrm{yawa}}_{t_u}-{\mathrm{yawa}}_{t_{u-1}}}{t_u-t_{u-1}}\\ \frac{{\mathrm{pitcha}}_{t_u}-{\mathrm{pitcha}}_{t_{u-1}}}{t_u-t_{u-1}}\end{array}\right)$

$\left(\begin{array}{c}{{\mathrm{\θ}}_x}^{\′\′}b\\ {{\mathrm{\θ}}_y}^{\′\′}b\\ {{\mathrm{\θ}}_z}^{\′\′}b\end{array}\right)=\frac{\mathrm{dA}\_b}{\mathrm{dt}}=\left(\begin{array}{c}\frac{{\mathrm{d\θ}}_{x}b}{\mathrm{dt}}\\ \frac{{\mathrm{d\θ}}_{y}b}{\mathrm{dt}}\\ \frac{{\mathrm{d\θ}}_{z}b}{\mathrm{dt}}\end{array}\right)=\left(\begin{array}{c}\frac{{\mathrm{rollb}}_{t_u}-{\mathrm{rollb}}_{t_{u-1}}}{t_u-t_{u-1}}\\ \frac{{\mathrm{yawb}}_{t_u}-{\mathrm{yawb}}_{t_{u-1}}}{t_u-t_{u-1}}\\ \frac{{\mathrm{pitchb}}_{t_u}-{\mathrm{pitchb}}_{t_{u-1}}}{t_u-t_{u-1}}\end{array}\right)\·\·\·\left(9\right)$

友好度计算处理：

利用友好度计算单元206，根据在图11所示的流程图的步骤S19中进行的计算请求，执行友好度计算处理。

图19是示出了利用友好度计算单元206的友好度计算处理过程的图，在该处理过程中拍摄对象之间的亲密度由称作“友好度”的评价值表示。在图19中，为了简化描述，假定已经检测到面部的拍摄对象是两个人A和B。

友好度计算单元206可利用以下参数作为输入参数：作为由面部检测单元101获得的检测结果的检测到的面部A和B的位置信息、尺寸(即，宽度和高度)以及角度信息(关于横滚、偏航和俯仰轴的旋转角度)、作为由速度计算单元204获得的计算结果的检测到的面部A和B的速度信息项、作为由角速度计算单元205获得的计算结果的检测到的面部A和B的角速度信息项(关于横滚、偏航和俯仰轴的角速度)和作为由面部属性检测单元102获得的检测结果的检测到的面部A和B的微笑程度和其它属性信息。

在本实施例中，假定拍摄对象的检测到的面部A和B之间的相对距离d、检测到的面部A和B的倾度之间的差r以及检测到的面部A和B的微笑程度S_a和S_b是用于确定友好度的元素。另外，将权重系数m_i分配给每个元素i。为了确定或计算每个元素i以及计算每个元素i的权重系数m_i，对上述输入参数进行分类。

假定检测到的面部A和B的微笑程度是从面部属性检测单元202输出的微笑程度S_a和S_b。另外，检测到的面部A和B之间的相对距离d被表示为检测到的面部A和B彼此相距多少个面部并且通过下式进行计算。

$d=\frac{\sqrt{{(X_a-X_b)}^2}}{(W_a+W_b)/2}+\frac{\sqrt{{(Y_a-Y_b)}^2}}{(H_a+H_b)/2}\·\·\·\left(10\right)$

另外假定检测到的面部A和B的倾度之间的差r是检测到的面部A和B的横滚轴R_a和R_b的倾度的绝对值之间的差(为了将诸如+30度和-30度的相反倾度视为相同倾度，利用绝对值)。

r＝||R_a|-|R_b||    …(11)

对各个元素i的评价值进行评分或归一化，并且利用各个权重系数mi根据下式对获得的分值求和，由此获得评价值H_love，该评价值H_love然后被输出到图像拍摄确定单元204。

H_love＝∑m_iS_i    …(12)

现在，将描述计算与每个元素i的分值S_i进行相乘的系数m_i的方法。

可以如下式所示，基于以检测到的面部A和B的移动速度为变量的函数F₁和以检测到的面部A和B的(除了微笑程度以外的)属性信息为变量的函数G，确定基于检测到的面部A和B之间的相对距离d的分数S₁的权重m₁。能够从速度计算单元204获得检测到的面部的移动速度。

m₁＝F₁(X′_a，Y′_a，X′_b，Y′_b)×G(A_a，A_b)    …(13)

这里，如图20A或20B所示，函数F₁是具有如下特征的函数：随着检测到的面部A和B的移动速度之和V₁(见下式)变大，函数F₁变小。当V₁相对较小时，也就是说，当检测到的面部A和B的位置变化不缓和时，即使检测到的面部A和B之间的距离小，仍能够执行控制从而不增大友好度H_love。

$V_1=\sqrt{{X_a}^{\′2}+{Y_a}^{\′2}}+\sqrt{{X_b}^{\′2}+{Y_b}^{\′2}}\·\·\·\left(14\right)$

如下面的表1所示，当检测到的面部A和B的属性信息A_a和A_b例如被按性别和年龄(成人和儿童)进行划分时，能够利用对应于属性信息A_a和A_b的组合的G的值。能够利用各种方法设置表1中的各栏的值。例如，当摄影师得到当两个男性成人没有非常靠近彼此时就能够拍摄他们的良好照片的暗示时，如果检测到两个男性成人的面部，则增大权重m₁，由此即使当男性成人没有非常靠近彼此时仍允许释放快门。

表1

如下式所示，能够基于以检测到的面部A和B的角速度为变量的函数F₂确定基于检测到的面部A和B的倾度之间的差的分数S₂的权重m₂。能够从角速度计算单元205获得检测到的面部的角速度。

$m_2=F_2({{\mathrm{\θ}}_{{\mathrm{roll}}_a}}^{\′},{{\mathrm{\θ}}_{{\mathrm{yaw}}_a}}^{\′},{{\mathrm{\θ}}_{{\mathrm{pitch}}_a}}^{\′},{{\mathrm{\θ}}_{{\mathrm{roll}}_b}}^{\′},{{\mathrm{\θ}}_{{\mathrm{yaw}}_b}}^{\′},{{\mathrm{\θ}}_{{\mathrm{pitch}}_b}}^{\′})\·\·\·\left(15\right)$

这里，如图21A或21B所示，函数F₂是具有如下特征的函数：随着检测到的面部A和B的角速度的绝对值之和V₂(见下式)变大，函数F₂变小。当V₂相对较小时，也就是说，当检测到的面部A和B的倾度变化不缓和时，即使检测到的面部A和B之间的距离小，仍能够执行控制从而不增大友好度H_love。

$V_2=\left|{{\mathrm{\θ}}_{{\mathrm{roll}}_a}}^{\′}\right|+\left|{{\mathrm{\θ}}_{{\mathrm{yaw}}_a}}^{\′}\right|+\left|{{\mathrm{\θ}}_{{\mathrm{pitch}}_a}}^{\′}\right|+\left|{{\mathrm{\θ}}_{{\mathrm{roll}}_b}}^{\′}\right|+\left|{{\mathrm{\θ}}_{{\mathrm{yaw}}_b}}^{\′}\right|+\left|{{\mathrm{\θ}}_{{\mathrm{pitch}}_b}}^{\′}\right|\·\·\·\left(16\right)$

能够基于以检测到的面部A和B的除了微笑程度以外的诸如性别和年龄的属性信息A_a和A_b为变量的函数F₃确定基于检测到的面部A和B的微笑程度的分值S_a和S_b的权重m₃和m₄。

m₃(或m₄)＝F₃(A_a，A_b)    …(17)

这里，能够参照下表实现函数F₃。

表2

当儿童的微笑被着重加权时，仅在儿童的情况下增大m₃的值。当摄影师利用统计方法得到“男性微笑的频率低于女性”的暗示时以及当摄影师考虑该暗示时，如果检测到的面部A是男性的面部时，则权重m₃的值被增大为大于女性的权重m₃的值。

如在式(12)中，友好度计算单元206利用各个权重系数m_i对获得的分值S_i进行加权计算，并且将获得的评价值H_love作为评价值输出到图像拍摄确定单元204。图像拍摄确定单元207利用下式基于从模式检测单元203获得的指示与位置模式、角度模式或位置/角度模式的匹配程度的评价值H_pattern和从友好度计算单元206输出的友好度H_love，获得评价值H。

H＝αH_pattern+βH_love    …(18)

在上式中，α和β是权重系数。例如，可以根据图像拍摄模式来控制权重系数α和β。例如，可以根据H_pattern、H_love、检测到的面部的属性信息参数和图像拍摄模式(对拍摄对象的排列进行着重加权的图像拍摄模式或对诸如微笑程度的拍摄对象的属性进行着重加权的图像拍摄模式)，控制评价值H的确定阈值，省略了对它的描述。

如果评价值H超过预定阈值，则图像拍摄确定单元207确定是否激活诸如确定快门定时或设置自身定时器的图像拍摄控制。

已经参照特定实施例详细描述了本发明。然而，清楚的是，在不脱离本发明的主旨的情况下，本领域技术人员能够对这些实施例进行修改或替换。

在本说明书中，主要描述了应用于数字相机的实施例。然而，本发明的主旨不限于此。例如，本发明能够相似地应用于诸如具有拍摄静态图像的功能的数字摄像机、具有数字相机功能的蜂窝电话或个人数字助理(PDA)、笔记本计算机以及外部连接到数字相机的计算机的各种信息装置。

简而言之，已经通过例子公开了本发明，本说明书中的公开不应被解释为限制。应该基于权利要求部分来确定本发明的主旨。

本申请包含与于2008年6月6日提交到日本专利局的日本在先专利申请JP 2008-148841中公开的主题相关的主题，通过引用将该专利申请的全部内容纳入于此。

本领域技术人员应该明白，可以根据设计需要和其它因素想到各种变型、组合、子组合和替代，只要它们位于权利要求及其等同物的范围内即可。

Claims (19)

1.一种图像拍摄设备，包括：

图像拾取单元，被配置为获得图像；

面部检测单元，被配置为检测包括在所述图像中的拍摄对象的面部；

属性检测单元，被配置为检测所述面部的属性信息；

评价单元，被配置为基于由所述属性检测单元从所述面部检测单元检测到的多个拍摄对象的面部中检测到的多个属性信息，评价所述多个拍摄对象之间的亲密度；以及

控制单元，被配置为基于所述评价单元获得的评价结果使得所述图像拾取单元拍摄所述多个拍摄对象的图像。

2.如权利要求1所述的图像拍摄设备，还包括计算单元，该计算单元被配置为计算所述多个拍摄对象的面部的位置随着时间而变化的速度或者所述多个拍摄对象的面部的角度随着时间而变化的角速度，

其中，所述评价单元基于所述速度或所述角速度来评价亲密度。

3.如权利要求1所述的图像拍摄设备，其中，所述评价单元基于所述多个拍摄对象的面部的微笑程度来评价亲密度。

4.如权利要求1所述的图像拍摄设备，其中，所述评价单元基于所述多个拍摄对象的面部之间的距离和所述多个拍摄对象的面部的倾度之间的差来评价亲密度。

5.如权利要求1所述的图像拍摄设备，其中，所述控制单元基于由所述评价单元获得的评价结果对要在显示单元上显示的动画进行控制。

6.如权利要求5所述的图像拍摄设备，其中，所述评价单元基于所述多个拍摄对象的面部之间的距离和面部的微笑程度来评价亲密度，并且

其中，在由所述评价单元获得的评价结果没有达到预定状态的情况下，所述控制单元在所述显示单元上显示用以帮助所述多个拍摄对象执行缩短所述多个拍摄对象之间的距离或者增强微笑程度的操作的动画。

7.如权利要求5所述的图像拍摄设备，其中，在由所述评价单元获得的评价结果达到预定状态并且所述控制单元控制所述图像拾取单元拍摄所述多个拍摄对象的图像的情况下，所述控制单元在所述显示单元上显示以视觉方式表示由所述评价单元获得的评价结果的动画。

8.如权利要求5所述的图像拍摄设备，还包括人物关系确定单元，该人物关系确定单元被配置为通过对在预定的亲密度确定时段内由所述评价单元获得的评价结果执行统计处理，确定所述多个拍摄对象之间的人物关系。

9.如权利要求8所述的图像拍摄设备，其中，所述控制单元基于由所述人物关系确定单元确定的所述多个拍摄对象之间的人物关系向由所述图像拾取单元获得的图像添加装饰。

10.如权利要求8所述的图像拍摄设备，还包括记录单元，该记录单元被配置为记录由所述人物关系确定单元确定的所述多个拍摄对象之间的人物关系，作为要添加到拍摄的图像中的信息。

11.一种图像拍摄方法，包括如下步骤：

图像拾取步骤，使得图像拾取单元获得图像；

面部检测步骤，检测包括在所述图像中的拍摄对象的面部；

属性检测步骤，检测所述面部的属性信息；

评价步骤，基于从多个拍摄对象的检测到的面部检测到的多个属性信息，评价所述多个拍摄对象之间的亲密度；以及

控制步骤，基于在评价步骤中获得的评价结果，执行控制以使得所述图像拾取单元拍摄所述多个拍摄对象的图像。

12.一种其上记录有程序的计算机可读记录介质，所述程序使得计算机执行包括如下步骤的处理：

图像拾取步骤，使得图像拾取单元获得图像；

面部检测步骤，检测包括在所述图像中的拍摄对象的面部；

属性检测步骤，检测所述面部的属性信息；

评价步骤，基于从多个拍摄对象的检测到的面部检测到的多个属性信息，评价所述多个拍摄对象之间的亲密度；以及

控制步骤，基于在评价步骤中获得的评价结果，执行控制以使得所述图像拾取单元拍摄所述多个拍摄对象的图像。

13.一种图像拍摄设备，包括：

图像拾取单元，被配置为获得图像；

面部检测单元，被配置为检测包括在所述图像中的拍摄对象的面部；

评价单元，被配置为评价由所述面部检测单元检测到的多个拍摄对象的面部的位置之间或角度之间的相互关系；以及

控制单元，被配置为基于由所述评价单元获得的评价结果，使得所述图像拾取单元拍摄所述多个拍摄对象的图像。

14.如权利要求13所述的图像拍摄设备，其中，所述评价单元通过将由多个所述面部的位置或角度限定的相互关系与预定位置或角度进行比较来评价所述相互关系。

15.如权利要求13所述的图像拍摄设备，其中，所述预定位置或角度是两个或更多个检测到的面部处于相同高度的位置或角度，或者是三个或更多个检测到的面部在一条直线上大致对齐的位置或角度。

16.如权利要求13所述的图像拍摄设备，其中，所述预定位置或角度是以三个或更多个检测到的拍摄对象的面部的位置作为顶点的多边形的位置或角度。

17.如权利要求13所述的图像拍摄设备，其中，所述预定位置或角度是两个检测到的面部面向内侧的位置或角度，或者是多个检测到的面部面向特定方向的位置或角度。

18.一种图像拍摄方法，包括如下步骤：

图像拾取步骤，使得图像拾取单元获得图像；

面部检测步骤，检测包括在所述图像中的拍摄对象的面部；

评价步骤，评价多个拍摄对象的检测到的面部的位置或角度之间的相互关系；以及

控制步骤，基于在评价步骤中获得的评价结果，执行控制以使得所述图像拾取单元拍摄所述多个拍摄对象的图像。

19.一种其上记录有程序的计算机可读记录介质，所述程序使得计算机执行包括如下步骤的处理：

图像拾取步骤，使得图像拾取单元获得图像；

面部检测步骤，检测包括在所述图像中的拍摄对象的面部；

评价步骤，评价多个拍摄对象的检测到的面部的位置或角度之间的相互关系；以及

控制步骤，基于在评价步骤中获得的评价结果，执行控制以使得所述图像拾取单元拍摄所述多个拍摄对象的图像。

Images