CN102739934A - 图像处理装置、图像处理方法、图像处理程序和成像装置 - Google Patents

Abstract

本发明公开了图像处理装置、图像处理方法、图像处理程序和成像装置。该图像处理装置生成主要图像，主要图像是满足指明有关预定构图的条件的主要构图条件的图像。该图像处理装置包括：条件确定单元，该条件确定单元判断通过成像单元的成像获得的捕获图像是否满足预备构图条件，预备构图条件基于主要构图条件；处理单元，该处理单元执行根据条件确定单元的判断结果来获取预备图像的处理，预备图像是满足预备构图条件的图像；以及图像处理单元，该图像处理单元通过基于主要构图条件对通过所述处理获得的预备图像进行处理来生成主要图像。

Description

图像处理装置、图像处理方法、图像处理程序和成像装置

技术领域

本发明涉及图像处理装置、图像处理方法、图像处理程序和成像装置。

背景技术

用户有时执行所谓的自拍(self-photographing)来对他或她自己成像以及利用相机来对期望被摄体(subject)成像。为了执行自拍，用户用手拿着相机并使相机镜头面向他或她自己。然而，由于显示图像的显示屏一般安装在与镜头方向相反的方向上，所以用户可能无法确认用户的直通图像(through image)是否被包括在图像框内。因此，难以将用户他或她的面部的位置定位在图像框内的期望位置处来对用户他或她自己成像。

当执行自拍时，用户有时想要不仅将他或她自己还将诸如建筑物或自然物体之类的背景包括在图像框内来执行成像。

因此，已经建议了这样的成像装置，其中，自拍这样执行以便包括期望的背景：拍摄作为背景的风景来获得第一图像数据，对着背景拍摄用户他或她自己来获得第二图像数据，并且确定第一图像数据与第二图像数据之间的匹配程度(日本未审查专利申请特开2009-188953号公报)。

发明内容

在日本未审查专利申请特开2009-188953号公报中所公开的上述成像装置中，通过拍摄背景获得的第一图像数据与通过对照背景拍摄用户他或她自己获得的第二图像数据之间的匹配程度是基于运动向量在整个图像框的范围内确定的。因此，由于第一图像数据的背景和第二图像数据的背景必须相互匹配，所以调节图像范围的难度水平会比较高并且不容易执行包括期望背景的自拍。

一般，认为在许多情况中，用户不想要将全部背景都包括在图像中，而是将背景中的期望物体包括在图像中。因此，不必要如在日本未审查专利申请特开2009-188953号公报中所公开的技术中那样使用第一图像数据和第二图像数据来匹配背整个背景。

期望提供能够执行自拍以容易地将期望背景包括在图像框内的图像处理装置、图像处理方法、图像处理程序和成像装置。

根据本技术的实施例，提供了一种图像处理装置，所述图像处理装置生成主要图像，所述主要图像是满足指明有关预定构图的条件的主要构图条件的图像。所述图像处理装置包括：条件确定单元，所述条件确定单元判断通过成像单元的成像获得的捕获图像是否满足预备构图条件，所述预备构图条件基于所述主要构图条件；处理单元，所述处理单元执行根据所述条件确定单元的判断结果来获取预备图像的处理，所述预备图像是满足所述预备构图条件的图像；以及图像处理单元，所述图像处理单元通过基于所述主要构图条件对通过所述处理获得的所述预备图像进行处理来生成所述主要图像。

根据本技术的另一实施例，提供了一种图像处理方法，用于生成主要图像，所述主要图像是满足指明有关预定构图的条件的主要构图条件的图像。所述图像处理方法包括：判断通过成像单元的成像获得的捕获图像是否满足预备构图条件，所述预备构图条件基于所述主要构图条件；执行根据判断结果来获取预备图像的处理，所述预备图像是满足所述预备构图条件的图像；通过基于所述主要构图条件对通过所述处理获得的所述预备图像进行处理来生成所述主要图像。

根据本技术的又一实施例，提供了一种令计算机执行图像处理方法的图像处理程序，该图像处理方法用于生成主要图像，所述主要图像是满足指明有关预定构图的条件的主要构图条件的图像，所述图像处理方法包括：判断通过成像单元的成像获得的捕获图像是否满足预备构图条件，所述预备构图条件基于所述主要构图条件；执行根据判断结果来获取预备图像的处理，所述预备图像是满足所述预备构图条件的图像；通过基于所述主要构图条件对通过所述处理获得的所述预备图像进行处理来生成所述主要图像。

根据本技术的又一实施例，提供了一种成像装置，包括：镜头，所述镜头被安装在外壳的一个表面上；成像元件，所述成像元件经由所述镜头接收光并将所述光转换成图像信号；以及显示单元，所述显示单元被安装在所述镜头所安装到的外壳的一个表面的后面的另一表面上并根据所述图像信号来显示图像。所述成像装置从通过所述成像元件获得的捕获图像生成主要图像，所述主要图像满足指明有关预定构图的条件的主要构图条件。所述成像装置还包括：条件确定单元，所述条件确定单元判断所述捕获图像是否满足预备构图条件，所述预备构图条件基于所述主要构图条件；处理单元，所述处理单元执行根据所述条件确定单元的判断结果来获取预备图像的处理，所述预备图像是满足所述预备构图条件的图像；以及图像处理单元，所述图像处理单元通过基于所述主要构图条件对通过所述处理单元的处理获得的所述预备图像进行处理来生成所述主要图像。

根据本技术的实施例，可以容易地获得具有期望构图的图像。

附图说明

图1是图示出成像装置的总体配置的框图；

图2是图示出图像处理单元的总体配置的框图；

图3A至图3C是图示出成像装置的外观配置的示图；

图4是图示出自拍的总体流程的流程图；

图5是图示出显示单元上所显示的模式转换画面的示图；

图6是图示出背景物体/目标面部位置指定处理的流程的流程图；

图7是图示出显示单元上所显示的背景物体/面部指定选择画面的示图；

图8A至图8C是图示出显示单元上所显示的背景指定画面的示例的示图；

图9是图示出背景物体检测图像生成处理的流程的流程图；

图10A至图10C是图示出背景检测图像的生成的示图；

图11A至图11D是图示出显示单元上所显示的面部位置指定画面的示图；

图12A至图12C是图示出背景物体指定画面的另一示例的示图；

图13A和图13B是图示出背景物体指定画面和面部位置指定画面的修改的示图；

图14是图示出自拍时的处理的流程的流程图；

图15A至图15C是图示出背景物体检测处理的示图；

图16A至图16C是图示出面部位置确定处理的示图；

图17A和图17B是图示出面部位置确定处理的另一示例的示图；

图18A和图18B是图示出面部位置确定处理的又一示例的示图；

图19A和图19B是图示出引导通知方法的示图；

图20A至图20C是图示出成像装置的外观配置的修改的示图；

图21A至图21F是图示出面部位置调节处理的示图；

图22是图示出面部位置调节处理的流程的流程图；

图23是图示出通过面部位置调节处理生成的主要图像的示图；

图24A和图24B是图示出背景物体检测区域的示图；

图25A至图25E是图示出倾斜校正处理的示图；

图26是图示出倾斜校正处理的流程的流程图；

图27A至图27D是图示出背景物体大小调节处理的示图；

图28是图示出背景物体大小调节处理的流程的流程图；

图29A和图29B是图示出显示单元上所显示的背景物体类型指定画面的示例的示图；

图30A至图30D是图示出最优构图调节处理的示例的示图；

图31是图示出最优构图调节处理的流程的流程图；

图32A至图32E是图示出最优构图调节处理的另一示例的示图；

图33是图示出最优构图调节处理的另一示例流程的流程图；

图34A至图34F是图示出水平和垂直转换处理的示图；

图35是图示出水平和垂直转换处理的流程图；

图36A至图36D是图示出面部方向对应调节处理的示图；

图37是图示出面部方向对应调节处理的流程的流程图；

图38A至图38D是图示出基于黄金比(golden ratio)的扩大处理的示图；

图39是图示出基于黄金比的扩大处理的流程的流程图；

图40是图示出根据本技术第二实施例的图像处理装置的配置的框图；

图41是图示出成像装置的配置的框图；

图42A和图42B是图示出成像装置的监视器的显示器的示图；

图43A至图43F是图示出修饰处理的示图；以及

图44是图示出由成像处理装置执行的处理的流程的流程图。

具体实施方式

以下将参考附图来详细描述本技术的实施例。将以如下顺序来进行描述：

1.术语的定义

2.第一实施例

2-1.成像装置的配置

2-2.由成像装置执行的处理

2-2-1.背景物体条件的设定

2-2-2.主图像条件的设定

2-2-3.自拍时执行的处理

2-3.图像处理

2-3-1.面部位置调节处理

2-3-2.倾斜校正处理

2-3-3.背景物体大小调节处理

2-3-4.最优构图调节处理

2-3-5.水平和垂直转换处理

2-3-6.面部方向对应调节处理

2-3-7.基于黄金比的扩大处理

3.第二实施例

3-1.图像处理装置和成像装置的配置

3-2.成像处理装置的处理

1.术语的定义

首先，在描述本技术的每个实施例之前，将描述说明书中使用的术语的定义。

“自拍”是指通过将成像装置的镜头面向用户他或她自己来拍摄作为被摄体的用户他或她自己的动作。自拍包括用户用他或她的手拿着成像装置来拍摄他或她自己时的拍摄动作以及当用于将成像装置放在某一位置处来拍摄用户他或她自己时的拍摄动作。此外，自拍不仅包括当用户独自执行拍摄时的自拍动作，也包括当作为被摄体的多个用户中的一个用户用他或她的手拿着成像装置来执行拍摄时的拍摄动作以及当作为被摄体的多个用户将成像装置放在某一位置处来拍摄他们自己的拍摄动作。

“成像”是指通过成像元件接收表示图像的光并将光转换成电信号。“图像框”是指通过成像元件的有效区域成像的整个区域或略小于该整个区域的区域。“构图”(composition)是指被摄体被部署在通过预定算法确定的位置处的状态，即，被摄体相对于图像框的部署状态。

“预备图像”(preliminary image)是指在图像处理被执行之前、当针对背景物体的条件(背景物体条件)和针对面部的条件(面部条件)满足时所存储的图像。“主要图像”(main image)是指通过对预备图像执行图像处理所最终获得的图像。

“背景物体”(background object)是指当用户自拍时图像框内所包括的除用户之外并形成背景的被摄体，诸如在用户身后的人、建筑结构或自然物体。“背景物体检测图像”是指在背景物体被包括在图像框中的状态中为了检测背景物体所捕获的图像。背景物体检测图像是在自拍时通过模板匹配来检测背景物体时的模板图像。

2.第一实施例

2-1.成像装置的配置

图1是图示出成像装置1的总体配置的框图。成像装置1是能够进行静止图像成像的所谓的数字静止相机。成像装置1包括光学成像***2、成像元件3、A/D转换单元4、信号处理单元5、驱动单元6、缓冲器存储器7、存储单元8、声音输出单元9、发光单元10、显示单元11、输入单元12和控制单元13。

例如，光学成像***2包括成像镜头、变焦镜头、聚焦镜头、光圈。被摄体的光学图像入射到光学成像***2上。经由光学成像***2获得的被摄体的光学图像被形成在用作成像设备的成像元件3上。

成像元件3执行光电转换来将形成的光学图像转换成电荷量并输出电荷量作为模拟图像信号。从成像元件3输出的模拟图像信号被输出到A/D转换单元4。CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等被用作成像元件3。A/D转换单元4将从成像元件3供应的模拟图像信号转换成数字图像信号并将数字图像信号输出给信号处理单元5。

信号处理单元5对从A/D转换单元4输出的数字图像信号执行预定信号处理，并且还将数字图像信号转换成例如由亮度信号和色差信号形成的图像数据并输出图像数据。由信号处理单元5执行的信号处理的示例包括线性矩阵处理、白平衡调节处理、伽马校正处理和Y/C转换处理。

驱动单元6基于来自控制单元13的控制信号来控制光学成像***2的变焦镜头、聚焦镜头、光圈等。

缓冲器存储器7由例如SDRAM(同步动态随机存取存储器)构成。缓冲器存储器7临时存储从信号处理单元5输出的图像数据、预备图像、背景物体检测图像311以及背景物体生成图像312、信息等。这些图像和信息将在以下详细描述。

存储单元8是大容量存储介质，诸如硬盘、记忆棒(索尼公司的注册商标)或SD存储卡。存储单元8存储由成像装置1捕获的图像。图像例如根据JPEG(联合图像专家组)被压缩并被存储。此外，包括有关所存储的图像的信息以及诸如拍摄日期的附加信息的EXIF(可交换图像文件格式)数据被与图像相对应地存储。

声音输出单元9具有声音输出功能，用于在通知控制单元35的控制下输出用来指示用户跟随引导以及递送消息的诸如声音消息之类的各种声音。发光单元10由例如LED(发光二极管)构成。发光单元10具有发光功能，用于通过在通知控制单元35的控制下发光或不发光来指示用户跟随引导和递送消息。

显示单元11例如由LCD(液晶显示器)、PDP(等离子显示面板)或有机EL(电致发光)面板构成。直通图像在成像时被显示在显示单元11上。如上所述，信号处理单元5对图像信号执行预定处理来生成与一个静止图像相对应的图像数据。当保持生成与一个静止图像相对应的图像数据时，顺次生成与运动图像的帧图像相对应的图像数据。随后，当顺次生成的图像数据被输出给显示单元11时，静止图像单位的图像数据被顺次显示在显示单元11上。以这种方式，直通图像被显示。

存储单元8中所存储的图像也被显示在显示单元11上。控制单元13从存储单元8读取用户经由输入单元12指示的图像数据并将图像数据输出给显示单元11来再现图像。以这种方式，用户可以查看存储在存储单元8中的图像。

此外，显示单元11显示用户界面图像，诸如用作输入功能的触摸面板的软按钮的描述图标和被配置来执行成像装置1的各种设置的各种硬按钮或菜单画面。控制单元13根据成像装置1的操作状态、模式等来生成作为必要的用户界面图像的图像数据并将生成的图像数据输出给显示单元11。以该方式，用户界面图像被显示在显示单元11上。用户界面图像可以被显示以重叠在直通图像或被再现和被显示的图像数据上。

输入单元12包括按键、按钮、拨盘、触摸面板、用于在电源开和关之间转换的电源按钮、用于给出开始记录所捕获的图像的指令的释放按钮以及变焦调节操作器。输入单元12具有被配置为接收各种输入的触摸面板上的输入功能。当使用输入单元12执行输入时，控制信号根据该输入被生成并被输出给控制单元13。随后，控制单元13执行与控制信号相对应的计算处理或控制。

例如，控制单元13包括CPU(中央处理单元)、RAM(随机存取存储器)和ROM(只读存储器)。由CPU读取和操作的程序等被存储在ROM中。RAM被用作CPU的工作存储器。CPU根据ROM中所存储的程序来执行各种处理并通过发出命令来控制整个成像装置1。此外，控制单元13执行预定程序来用作背景物体图像生成单元31、主要图像条件设定单元32、背景物体检测单元33、面部检测单元34、通知控制单元35、存储控制单元36和图像处理单元37。

背景物体图像生成单元31在显示单元11上显示背景物体条件画面。背景物体图像生成单元31在用户指定背景物体时生成背景物体检测图像。以这种方式，背景物体被设定。当背景物体检测单元33检测背景物体时，使用所生成的背景物体检测图像。

主要图像条件设定单元32在显示单元11上显示主要图像条件画面。当用户指定目标面部位置时，主要图像条件设定单元32将指定的目标面部位置设定为主要图像条件。主要图像条件指明用户想要将面部定位在由用户最终生成的主要图像上的何处。在作为下述图像处理之一的面部位置调节处理中，图像被处理以使得主要图像条件被满足。

背景物体检测单元33经由通过使用由背景物体图像生成单元31生成的背景物体检测图像执行的模板匹配来检测背景物体，并且检测在自拍时背景物体是否被包括图像框中。背景物体是否被包括在图像框中被定义为背景物体条件。背景物体检测单元33的判断将在以下详细描述。

面部检测单元34通过例如模板匹配来检测在自拍时用户的面部是否被包括在图像框中。面部检测单元34判断所检测到的面部是否满足面部条件。面部条件是针对自拍时面部在图像框内的位置的条件，但是它是比作为主要图像中的模板面部位置的主要图像条件更宽松的条件。在该实施例中，当上述背景物体条件被满足并且面部条件被满足时，成像被执行。面部条件和面部检测单元34的判断将在以下详细描述。

通知控制单元35通过LED 23的发光等来控制扬声器22的声音输出以及引导信息的通知，以使得由面部检测单元34检测出的面部的位置满足面部条件。此外，当背景物体检测单元33判定背景物体条件被满足并且面部检测单元34判定面部条件被满足时，通知控制单元35还根据判断结果来控制其向用户的通知。通知控制将在以下详细描述。

在自拍时，当背景物体检测单元33判定背景物体条件被满足并且面部检测单元34判定面部条件被满足时，存储控制单元36执行控制以使得从信号处理单元5输出的图像数据作为预备图像被存储在缓冲器存储器中。

图像处理单元37对通过自拍生成的预备图像执行预定图像处理来生成主要图像。图2是图示出通过控制单元13执行预定程序实现的图像处理单元37的详细功能的框图。图像处理单元37包括切出区域(cutoutregion)设定单元41、背景物***置确定单元42、图像切出单元43、扩大处理单元44、倾斜检测单元45、图像旋转单元46、背景物体类型设定单元47、重心计算单元48和面部方向检测单元49。图像处理单元37的各个单元以及由图像处理单元37执行的图像处理将在以下详细描述。

图3A至图3C是图示出根据本技术的实施例的成像装置1的外观配置的示图。图3A是正视图，图3B是后视图，并且图3C是俯视图。成像装置1基本呈长方体形状且扁平横长。

成像镜头21被安装在成像装置1的前表面上。用户通过使成像镜头21面向用户他或她自己来执行自拍。扬声器22也被安装在成像装置1的前表面上。扬声器22对应于框图中的声音输出单元9。扬声器22具有声音输出功能，用于输出诸如用来向用户给出引导指令的声音之类的各种声音。LED 23也被安装在成像装置1的前表面上。LED 23对应于框图中的发光单元10。LED 23是向用户给出引导信息并通过发光或不发光来递送各种消息的单元。

用户在成像时按下的释放按钮24被安装在成像装置1的上表面上。释放按钮24具有用于自动调焦的输入功能、用于检测被摄体的检测指令、释放指令输入和其它指令。例如，当用户按下释放按钮24一半(半按)时，检测指令被输入。当用户完全按下释放按钮24(全按)时，释放指令被输入。释放按钮24被包括在框图中的输入单元12中。

监视器25被安装在成像装置1的后表面上。监视器25对应于框图中的显示单元11并且由LCD、PDP、有机EL板等构成。监视器25显示直通图像、通过成像获得的图像、用户界面图像等。

与监视器25整体地形成的触摸面板26被安装在成像装置1的后表面上。例如，触摸面板26是静电电容型触摸面板。触摸面板26具有输入功能，用于在用户用他或她的手指触摸触摸面板26时在成像装置1中执行各种输入。触摸面板26被包括在框图中的输入单元12中。

触摸面板26检测在操作表面上的多个位置处同时执行的操作并输出指示各个触摸位置的坐标数据。此外，触摸面板26可以检测在操作表面上反复执行的每个操作并输出指示每个触摸位置的坐标数据。

以这样的方式，触摸面板26可以接收和检测来自用户的各种输入操作，诸如所谓的轻敲(tap)输入操作、双敲(double tap)输入操作、拖拽(drag)操作、捏(pinch)操作和轻弹(flick)操作。

轻敲操作是用用户的手指等短时间触摸操作表面一次的输入操作。双敲输入操作是用用户的手指等以短间隔连续触摸操作表面两次的输入操作。双敲操作主要用于输入确定。

拖拽操作是在用户用他或她的手指等触摸操作表面的同时移动用户的手指等的输入操作。例如，指示移动监视器25上所显示的区域的框可以通过拖拽操作来输入。轻弹操作是用用户的手指等指定操作表面上的一点并向任意方向迅速闪过手指的操作。例如，当用户在监视器25上查看存储在存储单元8上的多个图像时可以通过轻弹操作来切换图像。

捏操作是同时用用户的两个手指等触摸操作表面然后打开或合拢两个手指等的输入操作。例如，在监视器25上显示的区域的框可以通过捏操作被扩大、缩小等。此外，打开用户的两个接触的手指的捏操作称为放大(pinch-out)操作并且合拢用户的两个接触的手指的捏操作称为收缩(pinch-in)操作。

2-2.由成像装置执行的处理

成像装置1具有上述配置。接着，将描述自拍时执行的处理。图4是图示出自拍的整个流程的流程图。首先，在步骤S1中，图5中示出的模式转换画面100被显示在监视器25上。在图5中示出的示例中，监视器25显示两个软按钮，即，指示在成像装置1中执行正常成像的正常模式的“正常”按钮101和指示执行自拍的自拍模式的“自拍”按钮102。“正常模式”是其中用于让镜头面向被摄体而不是用户他或她自己并查看监视器25上显示的直通图像来对被摄体成像的模式。

当用户通过用他或她的手指触摸一个软按钮来选择“正常”按钮101和“自拍”按钮102中的一个软按钮时，在步骤S2，模式随后被转变成选定的模式。当模式被转变时，成像装置1随后基于选定模式来执行显示处理等。下文中，将基于用户选定“自拍”模式(自拍模式)的假设来进行描述。

当“自拍”模式(自拍模式)被选定时，“背景物体条件/主要图像条件设定”处理在步骤S3中被执行并且“自拍处理”随后在步骤S4中被执行。步骤S3的“背景物体条件/主要图像条件设定”处理和步骤S4的“自拍处理”将参考分别的流程图来详细描述。

图6是图示出图4的流程图中的步骤S3的“背景物体条件/主要图像条件设定”处理的细节的流程图。首先，在步骤S31中，图7中示出的背景物体条件/主要图像条件设定画面200被显示在监视器25上。在背景物体条件/主要图像条件设定画面200中，供用户用来选择背景条件模式的背景物体条件模式按钮300和供用户用来选择主要图像条件模式的主要图像条件模式按钮400被显示。

这里，背景物体条件设定处理是如下处理：指定自拍时形成用户身后的背景的各个被摄体中、用户想要包括到最终生成的图像框内的被摄体(背景物体)。将指定背景物体包括到图像框内是背景物体条件。此外，主要图像条件设定处理是如下处理：由用户指定用户想要将他或她的面部定位于该处的主要图像中的位置。将面部与指定位置匹配是主要图像条件。

2-2-1.背景物体条件的设定

下文中，将描述背景物体条件设定处理。在步骤S32中，判断输入是否是使用背景物体条件模式按钮300被执行的。当输入是使用背景物体条件模式按钮300被执行的时(在步骤S32中为是)，则处理进行到步骤S33并且背景物体条件画面被显示在监视器25上。例如，图8A至图8C示出背景物体条件画面。首先，背景物体条件模式按钮300被反转显示在背景物体条件画面上，如图8A所示，以显示背景物体条件模式被选择的事实。然后，直通图像301被显示，如图8B中所示。接着，在步骤S34中，判断背景物体条件是否被设定。

当用户用他或她的手指触摸与被显示为直通图像301的背景中的任意位置相对应的触摸面板26的操作表面来执行输入时，如图8C所示，则以触摸位置为中心并具有预定大小的矩形框(以下称为背景物体指定框302)以重叠方式被显示在直通图像301上。背景物体指定框302所围绕的范围内的图像被指定为背景物体。

背景物体指定框302可以在位置、形状和大小上改变。例如，当用户用他或她的手指触摸背景物体指定框302的内部并在触摸状态中执行拖拽操作时，背景物体指定框302的位置可以被改变。此外，当用户用他或她的手指触摸背景物体指定框302的一条边并在触摸状态中执行拖拽操作时，背景物体指定框302可以在附近的方向上扩大以改变形状。此外，当用户用他或她的两个手指触摸背景物体指定框302并执行放大操作时，背景物体指定框302的大小可以扩大。当用户用他或她的两个手指触摸背景物体指定框302并执行收缩操作时，背景物体指定框302的大小可以缩小。用户可以通过执行各种操作来调节背景物体指定框302的任意位置、形状和大小来精确地指定背景物体。例如，用户可以轻敲背景物体指定框302的内部来对背景物体聚焦。

当用户决定了背景物体指定框302的位置、形状和大小，即决定了指定的背景物体时，用户通过在背景物体指定框302内执行双敲操作来输入背景物体指定的确定。此外，按下释放按钮24一半的方法可以被用作输入背景物体指定的确定的方法。在自拍时将指定背景物体包括在图像框内是背景物体条件。即，在背景物体条件和自拍中，背景的整体可以不匹配，而是仅作为背景的构成物的背景物体可以匹配。因此，自拍的用户可以精确地调节成像装置1的镜头的方向，并因此可以在期望背景物***于用户身后时容易地执行自拍。

当确定被输入时，背景物体条件被设定并且处理进行到步骤S35(在步骤S34中为是)。在步骤S35中，背景物体检测图像311基于背景物体指定框302内的图像被生成并被存储在缓冲器存储器7中。背景物体检测图像311被背景物体检测单元33用来执行自拍时的确定。

在该实施例中，背景物体指定框302内存在的背景物不被识别并且背景物体指定框302内的图像被识别作为背景物体检测图像311。然而，背景物体可以被识别。例如，可以通过经由模板匹配等执行物体识别来指定背景物体。可以通过执行物体识别来更精确地指定背景物体。

下文中，步骤S35中的背景物体检测图像311的生成将参考图9的流程图和图10A至图10C来描述。首先，在步骤S351中，当背景物体的确定通过上述双敲操作等被输入时，高速连续拍摄被执行。则，需要用于生成背景物体检测图像311的多个(在此实施例中，两个)图像(下文中，称为背景物体生成图像312)。图10A示出以这种方式获得的两个背景物体生成图像312A和312B。

接着，在步骤S352中，在两个背景物体生成图像312A和312B之间计算所有图像的偏差(deviation)。该偏差通过计算两个背景物体生成图像312A和312B中的所有图像中的运动向量来计算。例如，与运动向量相对应的像素偏差通过如下方式计算出：在两个背景物体生成图像312A和312B之间执行匹配处理并计算两个背景物体生成图像312A和312B之间的匹配程度。可替换地，两个背景物体生成图像312A和312B之间的所有图像的偏差通过如下方式计算出：检测两个背景物体生成图像312A和312B之间的每个中的多个特征点并匹配两个背景物体生成图像312A和312B之间的特征点。

接着，在步骤S353中，如图10B中所示，背景物体生成图像312A和312B二者都被分割成具有预定大小的块并且运动向量被计算出作为每个对应块的偏差。接着，在步骤S354中，步骤S353中计算出的每个块的偏差被与在步骤S352中计算出的、两个背景物体生成图像312A和312B之间的所有图像中的偏差相比较。在该比较处理中，其偏差不同于两个背景物体生成图像312A和312B之间的所有图像的偏差的块被获得作为这些块中的“偏差块”。在将偏差相互比较的处理中，作为背景物体生成图像312A和312B之间的所有图像的偏差计算出的运动向量被与作为每个块的偏差计算出的运动向量相比较。

接着，在步骤S355中，通过从两个背景物体生成图像312A和312B中的一个中排除与“偏差块”相对应的部分，来生成背景物体检测图像311。所生成的背景物体检测图像311被存储在缓冲器存储器7中。图10C示出以这种方式生成的背景物体检测图像311的示例。丢失了背景物体检测图像311的左侧展示树叶的部分。丢失部分是与所排除的“偏差块”相对应的部分。

此外，由于两个背景物体生成图像312A和312B之后不被使用，所以两个背景物体生成图像312A和312B可以不被存储并可以被擦除。以这种方式，例如，诸如树叶之类的动态部分被排除并且背景物体检测图像311仅以不活动的静态部分形成。因此，可以降低动态部分的噪声并提高通过使用背景物体检测图像311执行的背景物体检测的精确度。

至此已经描述了使用两个背景物体生成图像来生成背景物体检测图像的情况，但是所要使用的背景物体生成图像的数目不限于两个。高速连续拍摄可以需要更多背景物体生成图像并且可以使用更多背景物体生成图像来生成背景物体检测图像。可替换地，可以仅需要一个图像并且其被用作背景物体生成图像。

接着，将参考图6的“背景物体条件/主要图像条件设定”处理的流程图进行描述。在“背景物体条件/主要图像条件设定”处理中，接着，将在步骤S36中判断输入是否是使用主要图像条件模式按钮400执行的。当输入是使用主要图像条件模式按钮400执行的时(在步骤S36中为是)，处理继续进行到步骤S37来显示主要图像条件画面。

2-2-2.主要图像条件的设定

下文中，将描述主要图像条件设定处理。在步骤S37中，主要图像条件画面被显示在监视器25上。例如，主要图像条件画面在图11A至图11D中被示出。首先，主要图像条件模式按钮400被反转显示在主要图像条件画面上，如图11A中所示，来显示主要图像条件模式被选择的事实。接着，如图11B中所示，指示指定位置的多个面部图标410被显示。在图11B的示例中，三纵三横排列的面部图标即总共九个面部图标410被显示在监视器25上。每个面部图标410的中心被设定为目标面部位置411。如上所述，面部与最终生成的主要图像中的目标面部位置的匹配是主要图像条件。

接着，在步骤S38中，判断目标面部位置是否被指定为主要图像条件。当用户用他或她的手指触摸监视器25上所显示的多个面部图标410中的任意面部图标410时，目标面部位置被指定。指定的面部图标410被反转显示，如图11C中所示。当目标面部位置411被指定时(在步骤S38中为是)，则处理进行到步骤S39来将与指定面部图标410对应的位置作为主要图像条件存储在缓冲器存储器7中。

用于提示用户指定目标面部位置的主要图像条件不限于图11A至图11D中示出的主要图像条件画面。图11A至图11D示出其中显示三纵三横排列的面部图标即总共九个面部图标410的示例。然而，面部图标410的数目不限于此。例如，两纵两横排列的面部图标即总共四个面部图标可以被显示，或者四纵四横排列的面部图标即总共十六个面部图标可以被显示。

此外可以配置为：用户可以指定多个面部图标410。在图11D的示例中，右侧的三个纵向排列的面部图标410被指定。例如，当用户想要将他或她的面部定位在图像框的右侧并且允许纵向定位他或她的面部时，用户可以指定多个面部图标，如图11D中所示。

此外，例如，如图12A中所示，当在不显示面部图标410的情况下用户用他或她的手指触摸触摸面板26的操作表面上的任意位置来执行输入时，以触摸位置为中心并具有预定大小的面部位置指定框402可以被显示。由面部位置指定框402围绕的范围内部被指定为目标面部位置。

面部位置指定框402可以在位置和大小上被改变。例如，通过用用户的手指触摸面部位置指定框402内部并在触摸状态中执行拖拽操作可以改变面部位置指定框402的位置。此外，通过用用户的两个手指触摸面部位置指定框402并执行放大操作可以扩大面部位置指定框402的大小。通过用用户的两个手指触摸面部位置指定框402并执行收缩操作可以缩小面部位置指定框402。

用户可以通过调节面部位置指定框402来使之定位于任意位置并具有任意大小来指定任意面部位置。当用户决定了面部位置指定框402的位置和大小时，用户例如通过在面部位置指定框402中执行双敲操作来输入面部区域的确定。此外，半按下释放按钮24的方法可以被用作输入面部区域的确定的方法。

如图12B中所示，面部位置指定框402可以响应于用户在用作成像装置1的输入功能的十字键(未示出)等上的输入而被移动。

如图12C中所示，面部位置指定框402的位置和大小可以通过输入数字被改变。在图12C的示例中，面部位置指定框402的X和Y坐标以及大小可以被输入，从而根据输入值，面部位置指定框402被移动并且面部位置指定框402的大小被改变。当输入功能不是触摸面板26而是按钮、十字键等时，认为图12B和图12C的示例是高效的。

另一方面，当在步骤S36中，输入不是使用主要图像条件模式按钮400执行的时，处理进行到步骤S40(在步骤S36中为是)。随后，在步骤S40中，主要图像条件被设定为预定默认条件。默认条件的示例是图像框的整个内部。当用户认为他或她的面部被包括在图像框内而不论他或她的面部在主要图像中的位置如何时，图像框的整个内部可以被设定为主要图像条件。此外，图像框的中心可以被设定为默认条件。

随后，“背景物体条件/主要图像条件设定”处理结束。至此已经描述了背景物体条件设定处理被执行并且随后主要图像条件设定处理被执行的情况。然而，次序不限于此，而是，主要图像条件设定处理可以先被执行并且背景物体条件设定处理可以随后被执行。

当背景物体条件设定处理先被执行并且主要图像条件设定处理随后被执行时，整个图像框的图像(下文中称为背景物体条件设定时的图像501)可以被生成并被存储在缓冲器存储器7中。如图13A中所示，背景物体条件设定时的图像501可以被显示在监视器25上并且面部图标410可以以重叠的方式被显示在背景物体条件设定时的图像501上。以这种方式，面部位置可以考虑背景物体的位置、大小等被指定。

相反，当主要图像条件设定处理先被执行并且背景物体条件设定处理随后被执行时，如图13B中所示，指定的位置图标502可以被显示以使得之前指定的面部位置以重叠的方式被显示在直通图像301上。以这种方式，由于用户能够正常识别用户他或她在设定背景物体指定框302时所指定的面部位置，所以可以容易地理解面部和背景物体之间的位置关系。

2-2-3.自拍时执行的处理

接着，将参考图14的流程图来描述图4的整个流程中的步骤S4的“自拍”处理的细节。此外，例如，(当“背景物体条件/主要图像条件设定”处理结束时)在“自拍”处理开始之前，“请将相机面向你自己”之类的消息可以作为语音从扬声器22输出。可替换地，“请将相机面向你自己”之类的字符串可以被显示在监视器25上。以这种方式，可以向用户通知如下事实：由于“背景物体条件/主要图像条件设定”处理结束，所以可以执行自拍了。

首先，在步骤S41中，背景物体检测单元33判断背景物体条件是否满足。如上所述，背景物体条件是将背景物体包括在图像框中。因此，步骤S41的判断是基于背景物体是否在直通图像的图像框内被检测到来执行的。背景物体通过模板匹配来检测。由背景物体图像生成单元31生成的背景物体检测图像被用作模板匹配中使用的模板图像。

具体而言，如图15A中所示，用作模板图像的背景物体检测图像311被从缓冲器存储器7读取。用于执行与作为模板图像的背景物体检测图像311的匹配的搜索区域被设置在将被检测的直通图像301A中。当对所有直通图像执行模板匹配时，模板匹配可能是负担过重的。因此，具有比直通图像的更新频率更低的更新频率的图像可以被预备好作为直通图像并且可以在这些图像上执行模板匹配。

如图15B中所示，在将直通图像301A中设置的搜索区域的位置在将被检测的图像中移动每预定量(诸如一个像素)的同时，在每个位置处计算搜索区域中的图像与背景物体检测图像311之间的相似度。该相似度是使用诸如残差方法或互相关方法之类的方法计算的。背景物体是通过如下方式检测的：计算整个图像中的相似度并确定背景物体存在于具有最大相似度的搜索区域中。

以这样的方式，当背景物体存在于直通图像301A中时，如图15C所示，背景物体被检测到。具有与图15C中所示的背景物体检测图像311的形状相同的形状的框指明作为背景物体检测的区域(下文中，称为背景物体区域601)。此外，当整个背景物体未被包括在图像框中并且背景物体的一部分被包括在图像框中并且搜索区域中的图像与背景物体检测图像311的预定面积(例如75％)之间的关系的相似度最大时，可以判定背景物体条件被满足。

当背景物体检测单元33检测出背景物体并且判定背景物体条件满足时，背景物体区域的大小以及背景区域相对于图像框的倾斜可以作为背景物体区域信息被与自拍时生成的预备图像相关联地存储在缓冲器存储器7中。此外，指定背景物体时的背景物体指定框302的大小也可以作为与预备图像相关联的背景物体指定框大小信息被存储。背景物体区域信息和背景物体指定框大小信息被用在下述图像处理中。

当背景物体在步骤S41中在图像框中被检测到，即，判定背景物体条件被满足时，在步骤S42中，在通知控制单元35的控制下，用户被通知如下事实：背景物体条件满足。随后，用户可以知道之前指定的背景物体被包括在图像框中。作为通知方法，可以使用从扬声器22输出预定音调的语音或输出“背景被包括“的语音消息的方法。作为除了语音方法之外的方法，可以通过用预定颜色点亮LED 23来通知用户。

当在步骤S41中判定背景物体条件未被满足(在步骤S41中为否)并且用户在步骤S42被通知(在步骤S41中为是)时，面部检测单元34在步骤S43中判断面部条件是否被满足。为了判断面部条件是否被满足，具有预定大小并包括被设置成主要图像条件的目标面部位置的面部条件范围被首先设定并且判断面部是否与面部条件范围重叠。当面部与面部条件范围部分重叠时，判定面部条件被满足。在步骤S43的判断中，面部检测单元34首先从直通图像中检测用户的面部。

面部检测单元34对面部的检测是通过例如模板匹配(与背景物体的检测中一样)来执行的。具体而言，用于执行与面部检测模板图像的匹配的矩形框被首先设定为将被检测的直通图像中的搜索区域。接着，在将位置在搜索区域中的图像中移动每预定量的同时，在每个位置处计算搜索区域中的图像与模板图像之间的相似度。随后，通过计算整个图像中的相似度并确定面部存在于具有最大相似度的搜索区域中来检测面部。作为检测面部的方法，可以使用利用记录了面部亮度分布信息的模板来进行匹配的方法。此外，可以使用基于图像或人类面部中包括的肤色的特征量来检测面部的方法。此外，可以通过组合这些方法来提高面部检测精度。

频繁使用成像装置1的用户或个人的面部可以通过执行预定登记处理被预先登记为模板图像并且面部可以在使用该模板图像执行的模板匹配中被检测到。

由面部检测单元34作为面部检测的区域(下文中，称为面部区域)的位置和大小被作为面部区域信息与自拍时生成的预备图像相关联地存储在缓冲器存储器7中。

随后，判断检测到的面部区域是否满足面部条件。下文中，将参考图16A至图18B来描述判断面部条件是否满足的处理。

图16A至图16C是图示出由面部检测单元34执行的第一判断方法的示图。图16A中示出的面部图标的中心是作为由主要图像条件设定单元32设定的主要图像条件的目标面部位置411。以目标面部位置411为中心的矩形面部条件范围610被设定。此外，面部条件范围610可以具有与面部图标相同大小的圆形形状。

在此实施例中，即使检测到面部区域620与矩形面部条件范围610略微重叠，如图16B中所示，也判定面部条件满足。此外，即使整个面部区域620与面部条件范围610重叠，也判定面部条件满足。当面部区域620的中心位于面部条件范围610内部时，可以判定面部条件满足。另一方面，当面部区域620和面部条件范围610相互远离时，如图16C中所示，判定面部条件不满足。

在根据本技术的实施例的成像装置中，不是在面部区域620与面部条件范围610完全重叠或面部区域620的大部分与面部条件范围610完全重叠时，而是在面部区域620与面部条件范围610略微重叠时，就可以判定面部条件满足。因此，用户可能不能在自拍时将他或她的面部与目标面部位置411准确地匹配。当面部条件范围610被设定为比作为主要图像条件的目标面部位置411更宽松的面部条件时，在面部偏离目标面部位置411的状态下，面部被成像。因此，在本技术的实施例中，下述图像处理被执行以通过将面部与目标面部位置411匹配来满足主要图像条件。该图像处理将在之后详细描述。

接着，将描述由面部检测单元34执行的第二判断方法。在第二判断方法中，如图17A所示，大小比面部条件范围610大的预备面部条件范围611参考目标面部位置411被设定。随后，如图17B中所示，当面部区域620不与面部条件范围610重叠而是与预备面部条件范围611略微重叠时，判定面部条件满足。

在自拍时，用户并不查看直通图像，因此用户难以使用户的面部靠近目标面部位置411或面部条件范围610。因此，通过将预备面部条件范围611的大小设置得比面部条件范围610更大，使得有更大的机会判定面部条件满足。此外，在获取预备图像之后通过图像处理来将面部与目标面部位置411匹配的方法与第一判断方法相同。

面部条件范围610和预备面部条件范围611不是由用户设定的，而是在用户将目标面部位置411指定为主要图像条件时被自动设定的。然而，用户可以参考目标面部位置411来设定面部条件范围610和预备面部条件范围611的大小。

接着，将描述由面部检测单元34执行的第三判断方法。在第三判断方法中，目标面部位置411与所检测的面部区域620的中心之间的距离被计算，如图18A和图18B中所示。通过判断距离是否等于或大于预定阈值来判断面部条件是否满足。

在图18A中所示的状态中，由于计算出的距离大于阈值，所以判定面部条件不被满足。另一方面，在图18B中所示的状态中，由于距离等于或小于阈值，所以判定面部条件被满足。用作该判断的参考的阈值可以被设定为作为默认的预定值或者可以被用户设定成任意值。

另一方面，当目标面部位置411未被指定为主要图像条件时，目标面部位置411被设定到默认位置。例如，在默认位置是整个图像框的情况中，当面部进入图像框时，判定面部条件满足。

当在步骤S43中判定面部条件满足时(在步骤S43中为是)，在步骤S44中，在通知控制单元35的控制下，用户被通知如下事实：面部条件满足。因此，用户可以知道之前指定的面部条件满足并且面部靠近目标面部位置411。

作为通知方法，例如，可以使用从扬声器22输出预定音调的语音或输出“面部与目标位置匹配“的方法。作为除语音方法之外的方法，可以通过用预定颜色点亮LED 23来通知用户。然而，为了将该通知与背景物体条件满足的通知区分开来，语音的音调、LED 23的颜色以及点亮方法可以不同于背景物体条件满足的通知中的那些。此外，通过针对背景物体条件用来自扬声器22的语音给出通知而针对面部条件用LED 23给出通知，通知功能和通知内容可以相互对应。

当在步骤S43中判定面部条件满足(在步骤S43中为否)并且用户在步骤S44中被通知(在步骤S43中为是)时，在步骤S45中判断背景物体条件被满足并且面部条件被满足。这是判断自拍是否被准备好的步骤。

当在步骤S45中判定背景物体条件被满足并且面部条件未被满足，即判定自拍未被准备好时(在步骤S45中为否)，处理进行到步骤S46。随后，在步骤S46中，在通知控制单元35的控制下，用户被通知引导信息以便满足面部条件。

作为向用户通知引导信息的方法，例如，预先存储在ROM等中的语音可以从扬声器22被输出，LED 23发光，或者振荡器(未示出)振动。此外，语音内容可以根据所检测的面部与面部条件范围610之间的距离而被改变。例如，在语音通知的情况中，例如，当面部远离目标面部位置411时，“向右多一点”的语音被输出，而当面部接近目标面部位置411时，“向右一点点”的语音被输出。

通知方法将参考图19A和图19B来描述。在图19A中示出的示例中，图像框被分割成面部条件范围610和面部条件范围610附近的六个区域(下文中，称为非目标区域)。另一引导语音被作出来对应于每个非目标区域。例如，“向左(向右)多一点”的语音被指派给远离目标面部位置411的区域(1)和(6)，并且“向左(向右)一点点”的语音被指派给非目标区域(2)和(5)。此外，“向上多一点”的语音被指派给非目标区域(3)并且“向下多一点”的语音被指派给非目标区域(4)。指派给每个非目标区域的引导语音根据所检测到的面部区域的位置被输出。以这样的方式，根据面部的位置来向用户通知引导信息。

当然，分割区域的方法根据面部条件范围610的位置而改变。例如，当目标面部位置411位于右下方时，图像框被如图19B所示那样分割。此外，图19A和图19B中示出的非目标区域仅是示例。分割方法、分割数目、语音对每个非目标区域的指派可以按照各种样式进行修改。

当目标面部大小和目标面部位置411被一起指定时，“向前多一点”、“向前一点点”、“向后多一点”和“向后一点点”的引导语音可以被输出。

嘟嘟声(beep sound)而不是引导语音可以被指派给每个非目标区域。当嘟嘟声被指派时，具有不同大小、长度、输出间隔等的嘟嘟声可以被指派给各个非目标区域。例如，在图19A中，在非目标区域(1)、(2)、(5)和(6)的水平引导的情况中，利用具有高音调的嘟嘟声来执行引导，而在非目标区域(3)和(4)的垂直引导的情况中，利用具有低音调的嘟嘟声来执行引导。随后，具有长输出间隔的嘟嘟声被指派给远离面部条件范围610的非目标区域(1)和(6)，并且具有短输出间隔的嘟嘟声被指派给非目标区域(2)和(5)。因此，由于嘟嘟声的输出间隔在面部靠近面部条件范围610时变短，所以用户可以从感觉上认识到面部靠近面部条件范围610。

此外，可以认为具有长发声时间的诸如长嘟嘟的嘟嘟声被输出作为面部条件满足的通知，当嘟嘟声的输出间隔从长嘟嘟向短嘟嘟变短时，那是因为面部靠近面部条件范围610。因此，可以认为用户可以从感觉上认识到面部条件满足。嘟嘟声向上述区域的指派仅仅是示例，但是可以以各种样式修改。

此外，可以通过从LED 23发光来通知引导信息。例如，画面可以被分割成多个非目标区域并且不同的颜色可以被指派给非目标区域，如通过声音进行引导那样。如图20A至图20C中所示，成像装置1可以包括多个LED 23并且每个LED 23可以对应于引导方向。在图20A的示例中，4个LED 23四角排列。在此示例中，当用户被向倾斜方向上引导时，可以通过从两个LED 23发光来通知用户。例如，当用户被向右上方向引导时，使得上方的LED 23和右方的LED 23发光。

在图20B中，LED 23排列在一个水平行中并且用字符U(上)、D(下)、L(左)和R(右)使得LED 23对应方向。此外，在图20C中，8个LED 23四角排列。上述LED 23的数目和排列仅仅是示例。可以安装更多的LED 23。此外，可以使用其他排列样式。

在步骤S45中背景物体条件满足并且面部条件满足之前，步骤S41到步骤S46被重复，并且引导信息和通知根据用户的调节被给出。即使背景物体出到图像框之外，仍然可以通知用户。在此情况中，可以使用强声(boody sound)，因为强声向用户传递警告意味。

当引导信息的通知在步骤S46中被重复时，步骤S41到步骤S46被重复，直到在步骤S45中背景物体条件被满足并且面部条件被满足为止。当在步骤S45中判定背景物体条件被满足并且面部条件被满足，即，判定自拍条件被满足时，处理进行到步骤S47(在步骤S45中为是)。接着，在步骤S47中，成像装置1执行成像来生成预备图像。所生成的预备图像被存储在缓冲器存储器7中。

认为成像在不同定时被执行。例如，成像在自拍条件满足(判定背景物体条件满足并且面部条件满足)时被自动执行，成像是被自动执行的。可替换地，通过在自拍条件满足时从输出声音和/或从LED 23发光来提示用户按下释放按钮24。根据该方法，用户可以在用户期望的定时执行成像。

此外，当自拍条件满足时，可以通过“5”、“4”、“3”、“2”和“1”的语音来开始倒计时，并且随后当倒计时结束时成像可以被自动执行。根据该方法，用户可以在预定时间期间摆好表情，因为在自拍条件满足的时刻和成像时刻之间存在该预定时间。此外，由于用户他或她自己可以不按下释放按钮24，所以，可以防止由于用户在尝试按下释放按钮24时误移动成像装置1而使得面部的位置偏离。

通过步骤S47中的图像获得的图像被作为预备图像存储在缓冲器存储器7中。当所生成的预备图像被存储在缓冲器存储器7中时，背景物体区域601的位置、大小、角度等作为与预备图像相关联的背景物体区域信息被存储，以使得背景物体区域601的位置、大小、角度等被用在下述图像处理中。此外，由面部检测单元34检测到的面部区域的位置、大小等还作为与预备图像相关联的面部识别信息被存储。

接着，在步骤S48中，对预备图像执行图像处理来最终生成主要图像。随后，在步骤S49中，所生成的主要图像被存储在存储单元8中。此外，用于生成主要图像的预备图像也可以被存储在存储单元8中以便可被再现。

2-3.图像处理

下文中，将描述图像处理。由根据该实施例的成像装置1执行的图像处理包括面部位置调节处理、倾斜校正处理、背景物体大小调节处理、最优构图调节处理、水平和垂直转换处理、面部方向对应调节处理以及基于黄金比的扩大处理。此外，除了面部位置调节处理之外的处理，即倾斜校正处理、背景物体大小调节处理、最优构图调节处理、水平和垂直转换处理、面部方向对应调节处理以及基于黄金比的扩大处理是当主要图像条件未被用户设定时执行的处理。

2-3-1.面部位置调节处理

首先，将参考图21A至图24B来描述面部位置调节处理。在本技术的实施例中，由于用户难以将他或她的面部与目标面部位置匹配，所以不是在面部与目标面部位置匹配时而是在面部与预定面积的面部条件范围略微重叠并认为面部条件满足时，执行成像。在预备图像中，假设用户不是与用户期望的目标面部位置完全匹配。因此，面部位置调节处理是处理图像以使得面部与主要图像中的模板面部位置相匹配(即主要图像条件满足)的处理。面部位置调节处理由切出区域设定单元41、背景物***置确定单元42、图像切出单元43和扩大处理单元44执行。

切出区域设定单元41设定预备图像的切出区域以使得面部与预备图像中的目标面部位置相匹配。切出区域设定单元41设定切出区域以使得作为面部检测出的区域的中心与目标面部位置匹配。背景物***置确定单元42判断背景图像是否被包括在由切出区域设定单元41设定的切出区域中。例如，参考由背景物体区域信息指明的背景区域的位置和大小，根据作为背景物体检测到的整个背景物体区域是否被包括在预备图像中的切出区域中而执行该判断。在该实施例中，仅当背景物体区域被包括在切出区域中时，判定背景物体被包括在切出区域中。

图像切出单元43通过从预备图像中剪切由切出区域设定单元41设定的切出区域来生成切出图像。扩大处理单元44通过扩大由图像切出单元43生成的切出图像来生成主要图像。在该实施例中，扩大处理单元44扩大切出图像以便适合于主要图像的大小。主要图像的大小与预备图像的大小相同。

扩大图像的处理可以通过将与所插值像素最接近的像素的像素值设定为插值像素值的最近邻居(nearest neighbor)方法来执行。此外，扩大图像的处理可以通过双线性插值方法来执行，双线性插值方法通过基本逼近(primary approximation)来计算插值像素值，在基本逼近中，使用围绕将***值的像素的4个像素的像素值。此外，扩大图像的处理可以用双三次卷积(bi-cubic convolution)方法来执行，双三次卷积方法将通过使用三次函数从围绕将***值的像素的16个像素的像素值计算出的值设定为插值像素值。

图21A是图示出作为由用户指定的主要图像条件的目标面部位置411的示图。图21B示出如下状态：面部区域620和面部条件范围610相互重叠并且在自拍的成像时判定面部条件满足。在此状态下，预备图像701被生成。所生成的预备图像701在图21C中示出。当图21A和图21C被相互比较时，可以理解，预备图像701中的面部的位置与目标面部位置411之间发生偏差。

图22是图示出面部位置调节处理的流程的流程图。在面部位置调节处理的步骤S1001中，切出区域设定单元41首先设定经历面部位置调节处理的主要图像中的切出区域702，以使得面部与目标面部位置411匹配(以使得主要图像条件满足)。图21D示出以这种方式设定的切出区域702。切出区域702的高宽比与预备图像701的高宽比相同。当切出区域702被扩大以具有与预备图像701相同的大小时，切出区域702中的目标面部位置411A被配置为与目标面部位置411匹配。在切出区域702中，面部区域620与目标面部位置411A匹配。此外，在图21D中，面部的脖子、鼻子、嘴巴未被示出以便容易查看示图。

接着，在步骤S1002中，判断背景物体区域601是否被包括在切出区域702中。当在步骤S1002中判定背景物体区域601被包括在切出区域702中时，处理进行到步骤S1004(在步骤S1002中为是)。另一方面，当在步骤S1002中判定背景物体区域601未被包括在切出区域702中时，处理进行到步骤S1003(在步骤S1002中为否)。

在步骤S1003中，切出区域702被重置以使得面部区域620在背景物体区域601被包括在切出区域702中的范围内是最接近目标面部位置411A的。然而，当面部区域620被优先使得与目标面部位置411A匹配时，步骤S1002中的判断以及步骤S1003中的切出区域702的设定可以不被执行。

接着，在步骤S1004中，通过从预备图像切出切出区域702而生成图21E中示出的切出区域703。随后，在步骤S1005，通过扩大切出图像703以具有与主要图像相同的大小而生成图21F中示出的主要图像800。

图23是图示出如下状态的示图：以这种方式生成的主要图像800被显示在成像装置1的监视器25上。在主要图像800中，可以理解，面部与目标面部位置411匹配。在面部位置调节处理中，用户在自拍成像时可能不将面部与目标面部位置411准确地匹配。因此，可以容易地执行自拍并且可以在最终生成的主要图像中使面部与目标面部位置411匹配。此外，当图21C和图21F被相互比较时，可以理解，预备图像701的上部和右部的余白(margin)通过面部位置调节处理被切出。因此，可以获得切出不必要的余白并设定适当的构图的优点。

此外，面部位置调节处理是剪切预备图像701的一部分的处理。因此，当背景物***于预备图像701的角落处时，背景物体通过面部位置调节处理被切出，因此，通过将面部与目标面部位置411匹配，背景物体可以不一定被包括在切出区域702内。因此，如图24A和图24B所示，背景物体搜索范围900被设定成比图像框更窄。仅当在由上述背景物体检测单元33执行的判断步骤中通过模板匹配在背景物体搜索范围900内检测到背景物体区域601时，判定背景物体被包括在图像框中。因此，即使背景物体搜索范围900外面的区域在面部位置调节处理中被切出，背景物体也不会被切出。

在图24A中所示的示例中，由于检测到的背景物体区域601位于背景物体搜索范围900内，所以判定背景物体条件满足。另一方面，在图24B中所示的示例中，背景物体区域601被检测到，但是由于背景物体区域601不被包括在背景物体搜索范围900内，所以判定背景物体条件不满足。

当用户可以指定多个目标面部位置411时，面部可以被设定为与多个目标面部位置411中的与预备图像中的面部最接近的目标面部位置411匹配。此外，面部可以被设定为与目标面部位置411的大致中心匹配。

2-3-2.倾斜校正处理

接着，将描述倾斜校正处理。倾斜校正处理是生成主要图像的处理，其中在背景物体在预备图像中是倾斜的时，通过旋转预备图像，背景物体变成基本水平的。倾斜校正处理由倾斜检测单元45、图像旋转单元46、切出区域设定单元41、图像切出单元43和扩大处理单元44执行。

倾斜检测单元45检测预备图像中的背景物体的倾斜。例如，倾斜检测单元45通过将由背景物体区域信息指明的、作为背景物体被检测的区域的倾斜与图像框的水平轴相比较，来检测背景物体的倾斜度。图像旋转单元46通过将预备图像旋转由倾斜检测单元45检测出的倾斜度，使得指示背景物体区域的框的各边中的上边和下边与图像框的上边和下边基本平行。例如，旋转处理通过仿射转换来执行。

切出区域设定单元41通过从经历了旋转处理的预备图像中排除在旋转处理中产生的空白部分750来设定切出区域702，以使得切出区域702的大小在预备图像中最大。图像切出单元43通过从预备图像切出切出区域702来生成切出图像703。扩大处理单元44通过扩大切出图像703来生成主要图像。

图25A示出通过自拍获得的预备图像701。在步骤S1011中，背景物体区域601的倾斜被检测到。在图25A中示出的预备图像701中，背景物体区域601不与图像框平行。即，背景物体相对于图像框是倾斜的。接着，在步骤S1012中，基于检测到的背景物体的倾斜执行旋转预备图像701的处理，如图25B中所示。

接着，在步骤S1013中，在从预备图像701中排除空白部分的同时设定切出区域702以使得切出区域702在预备图像701中最大，如图25C中所示。接着，在步骤S1014中，通过切出设定的切出区域702生成图25D中示出的切出图像703。在步骤S1015中，当切出图像703被扩大以具有与主要图像相同的大小时，图25E中示出的主要图像800最终被生成。

一般，认为用户伸着他或她的手并用一只手拿着成像装置1来执行自拍。因此，存在这样的考虑：成像装置1在自拍时可能是倾斜的。另一方面，由于用户在正常拍摄时用双手拿成像装置1，并且在查看直通图像的同时指定背景物体，因此认为在指定背景物体时容易保持成像装置1水平。一般，认为当用户指定背景物体时，用户基本让成像装置1保持水平。因此，认为背景物体区域适合于水平参考。因此，在该实施例中，旋转处理被执行以使得背景物体区域和图像框基本相互平行。将背景物体设定为旋转参考的原因在于用户可能倾斜成像装置1来拍摄用户他或她自己从而获得用户的面部被倾斜示出的图像。

2-3-3.背景物体大小调节处理

接着，将描述背景物体大小调节处理。背景物体大小调节处理是如下处理：在由背景物体指定框302的大小信息指明的背景物体条件设定时的背景物体指定框的大小与预备图像中的背景物体区域不同时，扩大预备图像，以使得背景物体指定框的大小与背景物体区域匹配。因此，主要图像中的背景物体的大小与背景物体条件设定时的大小基本相同。背景大小调节处理由扩大处理单元44、切出区域设定单元41和图像切出单元43执行。

扩大处理单元44扩大预备图像以使得背景物体条件设定时的背景物体指定框302的大小与预备图像中的背景物体区域的大小基本相同。由扩大处理单元44扩大的图像称为扩大图像。

切出区域设定单元41在扩大图像中设定与主要图像相同大小的切出区域。在切出区域设定时，例如，主要图像中的背景物体区域的中心的坐标与切出图像中的背景物体区域的中心的坐标是相同的。图像切出单元43通过从预备图像中切出切出区域来生成主要图像。

图27A示出背景物体条件设定时的背景物体指定框302。图27B示出通过成像获得的预备图像701以及预备图像701中的背景物体区域601。当图27A和图27B被相互比较时，预备图像701中的背景物体区域601比背景物体条件设定时的背景物体指定框302小。这是因为在背景物体条件设定和自拍之间，背景物体与成像装置1之间的距离发生了改变。

在步骤S1021中，预备图像701被首先扩大以使得背景物体条件设定时的背景物体指定框302的大小与预备图像701中的背景物体区域601的大小基本相同，如图27中所示。以这样的方式，扩大图像760被生成。接着，在步骤S1022中，在扩大图像760中设定切出区域702，如图27C中所示。随后，在步骤S1023中，通过从扩大图像760切出切出区域702来生成图27D中示出的主要图像800。

认为用户有时不仅考虑背景物体的选择而且还考虑背景物体的大小来调节背景物体指定框302。然而，当在用户自拍时移动他或她的身体的位置或将成像装置1从一只手移动另一只手时，难以将背景包括在图像框中以使得背景物体的大小与背景物体条件设定时的大小基本相同。因此，通过执行背景物体大小条件处理，主要图像中的背景物体的大小可以被设定成用户期望的大小。

2-3-4.最优构图调节处理

接着，将描述最优构图调节处理。最优构图调节处理是如下处理：通过将主要图像用两个水平线和两个垂直线(下文中，称为分割线)进行分割并将面部定位在分割线上或分割线之间的交点上来生成具有激发用户的美感的最优构图的主要图像。此外，通过将面部和背景物体的中心定位在分割线上或分割线之间的交点上来生成具有最优构图的主要图像。作为用分割线分割主要图像的方法，可以使用黄金比分割方法和三重分割方法。最优构图调节处理由背景物体类型设定单元47、重心计算单元48、切出区域设定单元41、背景物***置确定单元42、图像切出单元43和扩大处理单元44。

背景物体类型设定单元47基于用户的输入等来判断指定的背景物体是“风景”还是“物体”。背景物体是“风景”的情况是指其中诸如富士山之类的风景被指定为背景物体的情况。此外，背景物体是“物体”的情况是指其中玩具、装饰物体或招牌被指定为背景物体的情况。由背景物体类型设定单元47设定的背景物体类型信息被输出给重心计算单元48和切出区域设定单元41。

在该实施例中，当针对背景物体选择“风景”模式时，处理被执行来将面部区域定位在分割线上或分割线的交点上。另一方面，当针对背景物体选择“物体”模式时，处理被执行来将面部区域和背景物体区域的中心定位在分割线上或分割线的交点上。例如，当针对背景物体选择“风景”模式或“物体”模式时，通过在图29A中所示的背景物体的指定的输入之后在监视器25上显示图29B中示出的预定输入画面1000，用户可以选择背景物体的模式。背景物体类型设定单元47基于用户的输入来针对背景物体设定“风景”模式或“物体”模式。

例如，重心计算单元48基于面部区域的中心的坐标和背景物体的中心的坐标来计算面部区域与背景物体区域之间的整体重心。重心计算单元48当从背景物体类型设定单元47获取指明针对背景物体设定“物体”模式的背景物体类型信息时，计算重心。

当从背景物体类型设定单元47获得的背景物体类型信息指明针对背景物体的“风景”模式时，切出区域设定单元41设定预备图像中的切出区域以使得面部区域被定位在分割线或分割线的交点上。另一方面，当背景物体类型信息指明针对背景物体的“物体”模式时，切出区域设定单元41设定预备图像中的切出区域以使得由重心计算单元48计算出的重心被定位在分割线或分割线的交点上。

背景物***置确定单元42基于由背景物体区域信息指明的背景物体区域的位置和大小来判断背景物体区域是否被包括在切出区域中。图像切出单元43通过从预备图像切出切出区域702来生成切出区域703。扩大处理单元44通过扩大切出图像来生成主要图像。

作为示例，参考图30A至图31，将描述主要图像基于黄金比被分割并且面部位于分割线交点处的情况。此情况是其中“风景”模式被选定用于背景物体的情况。

图30A示出通过自拍获得的主要图像701。富士山被指定为“风景”模式的背景物体。在步骤S1031中，切出区域702被首先设定以使得切出区域702在主要图像701中具有最大大小并且面部区域620被定位于分割切出区域702的分割线的交点处，如图30B中所示。分割线的交点的数目是4。这4个交点中的面部所位于的交点可以基于各种参考来确定。例如，预备图像701基于黄金比被分割并且面部被定位于与该面部最近的交点处。当面部向右倾斜时，面部可以被定位于左边的两个交点中与面部最接近的交点处。当面部向左倾斜时，面部可以被定位于右边的两个交点中与面部最接近的交点处。

接着，在步骤S1032中，判断背景物体区域601是否被包括在切出区域702中。当判定背景物体区域601被包括在切出区域702中时，处理进行到步骤S1033(在步骤S1032中为否)。在步骤S1033中，切出区域702被确定以使得面部被定位于另一交点处。随后，在步骤S1032中，判断背景物体区域601是否被包括在切出区域702中。当判定背景物体区域601被包括在切出区域702中时，处理进行到步骤S1034(在步骤S1032中为是)。

接着，在步骤S1034中，通过从预备图像701切出切出区域702来生成图30C中示出的切出区域703。随后，在步骤S1035中，通过扩大切出区域703以具有与主要图像相同的大小来生成图30D中示出的主要图像800。

在图30A中示出的预备图像701中，用户的面部基本被定位于中央处，因此设定了一般认为令人不快的所谓的旭日旗构图(rising suncomposition)。因此，通过对预备图像701执行最优构图调节处理，可以容易地生成具有基于黄金比的构图的主要图像800，如图30D中所示。

当面部被定位在给定交点处但是背景物体区域601未被包括在切出区域702中时，面部可以在背景物体区域601被包括在切出区域702的范围内被定位在该交点附近。至此已经描述了面部区域620被定位在基于黄金比分割切出区域的分割线的交点处的情况。然而，最优构图调节处理可以被执行以使得面部通过相同方法被定位在三重分割线的交点处。

接着，作为另一示例，将参考图32A至33来描述通过三重分割方法分割图像框并将背景物体和面部的整体重心安排在分割线上的最优构图调节处理。如上所述，当“物体”模式被指定用于背景物体时，执行将背景物体区域和面部区域的整体重心定位在分割线或分割线的交点上的处理。

图32A示出通过自拍获得的预备图像701。在预备图像701中检测背景物体区域601和面部区域620。在步骤S1041中，背景物体区域601和面部区域620的整体重心630首先被计算出。例如，整体重心630是基于背景物体区域601的中心的坐标和面部区域620的中心的坐标计算的。具体而言，假设(Xb，Yb)是背景物体区域601的中心的坐标并且(Xf，Yf)是面部区域620的中心的坐标，则整体重心的坐标(Xc，Yc)可以被计算为Xc＝(Xb+Xf)/2和Yc＝(Yb+Yf)/2。图32B示出以这种方式计算出的整体重心630。用于基于背景物体区域的中心的坐标来计算整体重心的理由在于认为用户一般通过将用户期望指定为背景物体的被摄体定位在背景物体指定框302的大致中心处来指定背景物体。

接着，在步骤S1042中，预备图像701被设定以使得切出区域702在预备图像701中具有最大大小并且重心被定位在分割切出区域702的分割线上，如图32C中所示。接着，在步骤S1043中，判断背景物体区域601和面部区域620是否被包括在切出区域702中。当判定背景物体区域601和面部区域620被包括在切出区域702中时，处理进行到步骤S1044(在步骤S1043中为否)。

接着，在步骤S1044中，切出区域702被确定以使得整体重心630被定位在分割线上的另一位置处。随后，在步骤S1043中，判断背景物体区域601和面部区域620是否被包括在切出区域702中。当判定背景物体区域601和面部区域620被包括在切出区域702中时，处理进行到步骤S1045(在步骤S1043中为是)。接着，在步骤S1045中，通过从预备图像701切出切出区域702而生成图32D中示出的切出区域703。随后，在步骤S1046中，通过扩大切出区域703以具有与主要图像相同的大小而生成图32E中示出的主要图像800。主要图像具有基于三重分割的构图，因此，背景物体和面部的重心被定位在较低的水平线上。

2-3-5.水平和垂直转换处理

接着，将描述水平和垂直转换处理。水平和垂直转换处理是在如下情况中被执行的处理：在上述最优构图调节处理中，当面部被定位在水平大小大于垂直大小的水平方向较长的矩形切出区域中的分割线上或分割线的交点处并且当背景物体区域未被包括在切出区域中时。通过将切出区域旋转90度来设定垂直大小大于水平大小的垂直方向上较长的矩形形状，背景物体区域可以被包括在切出区域中，同时将面部定位在分割线上或分割线的交点处。水平和垂直转换处理由重心计算单元48、切出区域设定单元41、背景物***置确定单元42、图像切出单元43和扩大处理单元44执行。

图34A示出通过自拍获得的预备图像701。在预备图像701中检测背景物体区域601和面部区域620。在步骤S1051中，重心计算单元48计算背景物体区域601和面部区域620的重心630，如图34B中所示。计算重心630的方法与上述最优构图调节处理相同。接着，在步骤S1052中，切出区域702A被确定以使得重心630被定位在分割切出区域702的分割线上或分割线的交点处并且切出区域702A在预备图像701中具有最大大小。接着，在步骤S1053中，判断背景物体区域601和面部区域620是否被包括在切出区域702A中。当在步骤S1053中判定背景物体区域601和面部区域620被包括在切出区域702A中时，处理进行到步骤S1058(在步骤S1053中为是)。

在步骤S1058中，通过从预备图像切出切出区域702A而生成切出图像703。在步骤S1059中，通过扩大切出区域703以具有与主要图像相同的大小而生成主要图像。步骤S1051到步骤S1053、步骤S1058和步骤S1059的处理与最优构图调节处理的相同。

另一方面，当在步骤S1053中判定背景物体区域601和面部区域620未被包括在切出区域702A中时，处理进行到步骤S1054(在步骤S1053中为否)。在图34C中，背景物体区域601从切出区域702A突出。在此情况中，在步骤S1053中，判定背景物体区域601和面部区域620未被包括在切出区域702A中。

随后，在步骤S1054中，切出区域被旋转90度。即，切出区域被设定为具有水平方向较长的矩形形状。接着，在步骤S1055中，切出区域702B被确定以使得重心630被定位在分割线上或分割线的交点处并且切出区域702B在预备图像701中具有最大大小。接着，在步骤S1056中，判定背景物体区域601和面部区域620是否被包括在切出区域702B中。当在步骤S1056中判定背景物体区域601和面部区域620被包括在切出区域702B中时，处理进行到步骤S1057(在步骤S1056中为是)并且切出区域702B被再次设定。

图34D示出通过将切出区域702B旋转90度而具有垂直方向上较长的矩形形状的切出区域702B。因此，重心630可以被定位在分割线上并且背景物体区域601和面部区域620可以被包括在切出区域702B中。

接着，在步骤S1058，中，通过从预备图像701切出切出区域702B而生成图34E中示出的切出区域703。随后，在步骤S1059中，通过扩大切出图像703以具有与主要图像相同的大小而生成图34F中示出的主要图像800。

2-3-6.面部方向对应调节处理

接着，将描述面部方向对应调节处理。面部方向对应调节处理是通过根据用户的面部方向在主要图像中形成空间来生成具有最优构图的主要图像的处理。面部方向对应调节处理由面部方向检测单元49、背景物***置确定单元42、切出区域设定单元41、图像切出单元43和扩大处理单元44执行。

面部方向检测单元49检测预备图像中的面部方向。例如，检测到的面部方向是“右向”或“左向”。例如，在预备图像中检测面部的两端位置和中心位置(穿过鼻尖的线)并且通过使用边缘检测方法等基于两端位置和中心位置来检测面部方向。可以使用任何其它方法，只要可以检测面部方向即可。例如，可以利用使用诸如脖子、脖子和嘴巴之类的面部部分的形状的特征的方法，或者，可以利用使用所要检测的面部的亮点的亮度值之间的差值的检测方法。

背景物***置确定单元42判断背景物体是否存在于由面部方向检测单元49检测出的面部所面向的方向上。该判断是通过如下方式执行的：例如通过参考指明背景物体区域的位置、大小等的背景物体区域信息来参考面部区域的中心，判断背景物体是否存在于由面部方向检测单元49检测出的面部所朝向的方向上。背景物***置确定单元42判断背景物体是否被包括在所设定的切出区域中。该判断是通过参考指定背景物体区域的位置、大小等的背景物体区域信息来执行的。图像切出单元43通过从预备图像切出切出区域来生成切出图像。扩大处理单元44通过扩大切出图像来生成主要图像。

图36A示出通过自拍获得的预备图像701。在预备图像701中检测背景物体区域601和面部区域620。在步骤S1061中，面部方向检测单元49首先检测面部方向。图36A中示出的预备图像701中的面部方向是“左向”。

接着，在步骤S1062中，判断背景物体区域601是否存在于面部所朝向的方向上。当作为步骤S1062的判断结果，背景物体区域601不存在于面部所朝向的方向上时，处理结束(在步骤S1062中为否)。在此实施例中，仅当背景物体区域601存在于面部所面向的方向上时，面部方向对应调节处理被执行。

另一方面，当在步骤S1062中判定背景物体区域601存在于面部所面向的方向上时，处理进行到步骤S1063(在步骤S1062中为是)。随后，在步骤S1063中，切出区域设定单元41确定切出区域702以使得面部区域620被定位在基于三重分割方法分割切出区域702的分割线的交点处并且切出区域702在预备图像701中具有最大面积。

在该实施例中，当面部方向是左向时，切出区域702被确定以使得面部区域620被定位在分割线的4个交点中的交点处。另一方面，当面部方向是右向时，切出区域702被确定以使得面部区域620被定位在分割线的4个交点中的左交点处。以这种方式，通过确定切出区域702以使得面部区域620被定位在与面部所面向的方向相反方向上的分割线交点处，可以在面部所面向的方向上形成空间。因此，可以生成具有良好平衡的构图的主要图像。

接着，在步骤S1064中，判断背景物体区域601是否被包括在切出区域702中。当作为步骤S1064的判断结果，判定背景物体区域601被包括在切出区域702中时，处理进行到步骤S1065(在步骤S1064中为否)。

接着，在步骤S1065中，在预备图像701中确定切出区域702以使得面部区域620被定位在分割线的另一交点处。在基于黄金比分割和三重分割方法的左右分割线上存在两个交点。因此，例如，当在步骤S1063中切出区域702被设定以使得面部被定位于上交点处时，在步骤S1065中切出区域702被设定以使得面部被定位在下交点处。

随后，在步骤S1064中，再次判断背景物体区域601是否被包括在切出区域702中。当作为步骤S1064的判断结果，判定背景物体区域601被包括在切出区域702中时，处理继续进行到步骤S1066(在步骤S1064中为是)。图36B示出以这种方式确定的切出区域702。由于图36B中示出的面部的面部方向是“左向”，所以，切出区域702被确定以使得面部被定位在右交点处。三重分割方法被用作分割方法。然而，黄金比可以用于分割。

接着，在步骤S1066中，通过从预备图像切出切出区域702而生成图36C中示出的切出区域703。随后，在步骤S1067中，通过扩大切出区域703以具有与主要图像相同大小而生成图31D中示出的主要图像800。由于面部方向是左向，所以主要图像具有如下构图：面部被定位在右交点处并且在左侧形成空间。

2-3-7.基于黄金比的扩大处理

接着，将描述基于黄金比的扩大处理。基于黄金比的扩大处理是生成主要图像的处理，其中，作为用户的面部被检测的面部区域的长度与从面部区域的下端到主要图像的图像框的下端之间的距离之比为黄金比。基于黄金比的扩大处理由切出区域设定单元41、图像切出单元43和扩大处理单元44执行。

图38A示出通过自拍生成的预备图像701。在预备图像701中，富士山的山顶被检测出作为背景物体区域601。用户的面部被检测出作为面部区域620。在步骤S1071中，首先在预备图像701中获取面部区域的长度。面部区域的长度可以通过参考在生成预备图像时与面部区域相关联地存储并指明面部区域的大小的面部识别信息来获得。

在步骤S1072中，切出区域702被设定以使得背景物体区域601被包括在切出区域702中并且面部区域620的长度与面部区域620的下端和切出区域702的下端之间的距离之比为黄金比(1∶1.618)，如图38B中所示。接着，在步骤S1073中，通过从预备图像701切出切出区域702而生成图38C中示出的切出图像703。在切出图像703中，面部区域620的长度与面部区域620的下端和切出区域702的下端之间的距离之比为黄金比。随后，在步骤S1074中，通过扩大切出图像703以具有与主要图像相同的大小而生成图38D中示出的主要图像800。

在基于黄金比的扩大处理中，考虑用户的身体被定位在从面部区域620的下端到主要图像800的下端(即，面部区域620以下)。通过执行扩大处理以使得面部区域620的长度与从面部区域620的下端到主要图像800的下端之间的距离之比为黄金比，面部和身体之间的比变为黄金比，如图38D中的主要图像800所示。以这种方式，可以生成具有激发美感的构图的主要图像。

图像处理中的上述各种处理可以不被全部执行，而仅仅是一个处理或多个处理可被执行。此外，当图像处理中的多个处理被执行时，处理可以按照任何次序被执行。

3.第二实施例

3-1.图像处理装置和成像装置的配置

接着，将描述本技术的第二实施例。图40是图示出根据第二实施例的图像处理装置2100的配置的框图。图像处理装置2100包括图像条件设定单元2200、条件确定单元2300、图像获取关联处理单元2400和图像处理单元2500。图41是图示出具有图像处理装置2100的功能的成像装置3000的配置的框图。

根据第二实施例的成像装置3000与第一实施例的成像装置的不同在于控制单元3100包括图像条件设定单元2200、条件确定单元2300、图像获取关联处理单元2400和图像处理单元2500。由于成像装置3000的其余配置与第一实施例的相同，所以将不再重复对其的描述。

在第二实施例中，“预备图像”是在图像处理被执行之前当图像满足用于预备图像的条件(下文中，称为预备构图条件)时被存储的图像。“主要图像”是通过对预备图像执行图像处理以使得用于主要图像的条件(下文中，称为主要构图条件)被满足所最终获得的图像。

图像条件设定单元2200设定主要构图条件和预备构图条件。图像条件设定单元2200基于用户在监视器25上所显示的主要图像条件画面上输入的主要被摄体的位置来设定主要构图条件，如图11A至12C中所示。因此，主要构图条件指明用户最终期望的主要被摄体的位置等。

当通过设定图像框的左上方为参考来假定水平方向是作为参数的X方向(0到100)并且垂直方向是作为参数的Y方向(0到100)时，用指明主要被摄体的位置(被确定为主要被摄体的区域的重心位置)的X值和Y值来设定主要构图条件。例如，设定“X＝65并且Y＝50”等。主要构图条件可以被设定为具有预定宽度，诸如“63≤X≤67并且48≤Y≤52”。参数的范围不限于0到100的值，而是可以被设定为具有更大的值或具有更小的值。

此外，“主要被摄体”(primary subject)是用户认为有价值的从而想要获得的被摄体。主要被摄体可以是任何物体，只要被摄体可以通过预定检测算法而被从除人的面部之外的图像内检测出即可。例如，主要被摄体是诸如人的手之类的人体部位、整个身体或诸如动物、建筑结构、汽车、花或山峰之类的物体。此外，主要被摄体的数目可以是一个或多个。

不仅主要被摄体的位置还有主要被摄体的大小都可以被设定为主要构图条件。例如，如图12C中所示，主要被摄体的大小可以在主要被摄体的指定框内被输入并且主要被摄体指定框的大小可以根据输入值改变。

此外，主要被摄体相对于图像框的倾斜可以被设定为主要构图条件。作为用户输入被摄体的倾斜的方法，例如，如图42A中所示，倾斜的值可以被输入并且主要被摄体指定框4000可以根据该值被旋转。如图42B中所示，不仅主要被摄体指定框4000而且被配置为操作主要被摄体指定框4000的旋转的旋转手柄4100都被显示在包括触摸面板3100的监视器3200上。随后，用户可以通过触摸控制单元3100来操作旋转手柄4100来输入被摄体的倾斜。

当显示单元11是包括触摸面板的监视器时，用户的手指触摸触摸面板的方向可以被检测到并且主要被摄体的方向可以与手指的方向相匹配。此外，用户可以通过利用两个或更多手指执行所谓多触点操作来旋转主要被摄体指定框以输入主要被摄体的倾斜。此外，成像装置3000可以包括加速度传感器。主要被摄体的倾斜可以通过倾斜成像装置3000而输入。

根据从通过成像单元的成像获得的图像检测到的主要被摄体的位置、大小、方向等可以获得最优构图并且最优构图可以被设定为主要构图条件。作为根据主要被摄体的位置、大小、方向等来获得最优构图的方法，例如，可以使用日本未审查专利申请特开2011-29831号公报或日本未审查专利申请特开2009-100300号公报中公开的方法。

此外，“背景物体的位置”可以被设定为主要构图条件。当背景物体的位置通过与指定主要被摄体的位置的方法相同的方法被指定时，图像条件设定单元2200基于背景物体的位置来设定主要构图条件。

作为指定作为主要构图条件的背景物体的方法，例如，可以使用参考第一实施例中的图8A至图8C所描述的方法，其中用户用他或她的手指触摸触摸面板26的操作表面上与作为直通图像301显示的背景中的任意位置相对应的位置，并且随后，通过以手指的触摸位置为中心的所显示的背景物体指定框302，背景物体被指定。

背景物体指定框302的位置、形状和大小可以改变。例如，通过在用户用他或她的手指触摸背景物体指定框302内部时执行拖拽操作，可以改变背景物体指定框302的位置。通过在用户用他或她的手指触摸背景物体指定框302的一条边时执行拖拽操作来在附近方向上扩大背景物体指定框302，可以改变背景物体指定框302的大小。通过在用户用两个手指触摸背景物体指定框302时执行放大操作或收缩操作，可以扩大或缩小背景物体指定框302的大小。以这种方式，用户可以通过任意地调节背景物体指定框302的位置、形状和大小来执行各种操作以准确地指定背景物体。

背景物体可以通过输入指明背景物体的位置的值被指定，如主要被摄体的输入时那样。用于背景物体的主要构图条件可以用坐标设定或者可以可以被设定为预定面积的范围。

图像条件设定单元2200基于主要构图条件来确定预备构图条件。预备构图条件被设定为比主要构图条件更宽松的条件。

例如，当主要构图条件被设定为主要被摄体的位置“X＝65并且Y＝50”时，预备构图条件被设定为预定宽度的值以便包括主要构图条件，例如主要被摄体的位置“60≤X≤70并且45≤Y≤55”。如更详细地描述的，当通过成像获得的图像满足预备构图条件时，通过图像获取关联处理单元2400的处理获得捕获的图像作为预备图像。因此，如上所述，通过将预备构图条件设定为比主要构图条件更宽松的条件，可以容易地获得预备图像。

上述预备构图条件的范围仅仅是为了帮助描述给出的示例。上述预备构图条件的范围不限于该值。当主要构图条件是“X＝65并且Y＝50”时，诸如“55≤X≤75并且40≤Y≤50”的预备构图条件的宽度可以被增大。可替换地，诸如“62≤X≤67并且48≤Y≤52”的预备构图条件的宽度可以被增大。

例如，当构图条件被设定为具有诸如“63≤X≤67并且48≤Y≤52”的预定宽度时，预备构图条件可以被设定成诸如“60≤X≤70并且45≤Y≤55”的预定宽度的值以包括主要构图条件。

预备构图条件可以不一定要被设定成以与主要构图条件一样的值为中心的范围。例如，当“X＝0并且Y＝50”被设定时，预备构图条件的X值可以被设定成诸如“X≤10”的上限值或被设定成下限值。

当背景物体被包括在预定范围中被设定为主要构图条件时，背景物体被包括在比预定范围更大的范围中被设定成预备构图条件。因此，由于在成像时不必将背景物体准确地匹配到目标位置处，所以可以容易地执行成像。

预备构图条件可以基于预先准备的预定模板来设定。可替换地，预备构图条件可以被设定成具有包括预备构图条件的主要构图条件的值的宽度并且可以基于该宽度被自动地设定。

通过设定比主要构图条件少的预备构图条件，预备构图条件可以被设定成比主要构图条件更宽松的条件。例如，当主要构图条件不仅包括主要被摄体的位置还包括主要被摄体的大小和倾斜时，预备构图条件可以仅包括主要被摄体的位置、仅包括主要被摄体的倾斜、或仅包括主要被摄体的大小和倾斜。此外，预备构图条件可以通过排除主要构图条件中用于背景物体的条件来设定。

条件确定单元2300判断通过成像获得的捕获图像是否满足预备构图条件。条件确定单元2300的判断结果被供应给图像获取关联处理单元2400。

图像获取关联处理单元2400执行与预备图像的获取相关联的处理。图像获取关联处理单元2400对应于权利要求的处理单元。当预备图像被获取时，成像装置3000可以自动地获取预备图像(所谓的自动释放)或者用户可以手动地获取预备图像(所谓的手动释放)。

在自动释放的情况中，当条件确定单元2300判定捕获图像满足预备构图条件时，图像获取关联处理单元2400将捕获的图像作为预备图像存储在缓冲器存储器7或存储单元8中。此外，当条件确定单元2300判定捕获图像满足预备构图条件时存储的图像可以是被确定为满足预备构图条件的捕获图像本身，或者可以是在被确定为满足预备构图条件的捕获图像之前或之后的预定时段中获得的帧图像。当图像获取关联处理单元2400执行该处理时，基于条件确定单元2300的判断结果自动获得预备图像。

另一方面，在手动释放的情况中，在条件确定单元2300判定捕获图像满足预备构图条件的定时，图像获取关联处理单元2400向用户通知用户执行快门操作。当成像装置3000包括LED和/或扬声器时，如图20A至20C所示，用户可以例如通过从LED发射光或输出声音而被通知。当用户在通知后执行释放操作时，捕获图像作为预备图像被存储在缓冲器存储器7或存储单元8中。

用户在通知后执行快门操作，但是当在执行快门操作时条件确定单元2300判定捕获图像不满足预备构图条件时，图像获取关联处理单元2400可以使快门操作无效从而使得预备图像不被获取。为了执行该处理，即使在条件确定单元2300判定预备构图条件被满足之后，在图像获取关联处理单元2400获取预备图像之前，条件确定单元2300也有必要判断一次预备构图条件是否满足。当预备图像未被获取时，例如，通过从LED发光或输出声音，用户可以被通知预备图像未被获取的事实。

图像处理单元2500通过基于主要构图条件来对预备图像执行诸如修饰(trimming)处理之类的图像处理来生成主要图像。第一实施例中所描述的图像处理可以被执行，来作为被执行用于生成主要图像的图像处理。

将主要被摄体的位置与主要构图条件的位置相匹配的修饰处理被执行，例如，如图43A至43F中所示。图43A示出用户期望作为由用户指定的主要构图条件的主要被摄体的位置5000。图43B示出当预备构图条件被满足时获得的预备图像5100。图43C示出其中主要构图条件与预备图像5100重叠的情况。如图43C中所示，作为主要构图条件的主要被摄体的位置5000偏离作为主要被摄体的面部5200。

在预备图像5100中，修饰范围5300被确定以使得作为主要构图条件的主要被摄体的位置5000与面部5200匹配，如图43D中所示。修饰范围5300的高宽比与预备图像5100的高宽比相同。当预备图像5100被剪切为修饰范围5300时，修饰范围5300在图43E中被示出。随后，当修饰范围5300被扩大以具有与预备图像5100相同的大小时，如图43F中所示，其中面部与主要构图条件相匹配的主要图像5400可以被生成。

定位于用户指定背景物体的位置处的主要图像可以通过相同的方法被生成。

将主要被摄体的大小与主要构图条件相匹配的处理可以通过执行与第一实施例中描述的对主要被摄体的背景物体大小调节处理相同的处理来实现。

匹配主要被摄体相对于图像框的倾斜的处理可以通过执行第一实施例中描述的倾斜校正处理来实现。

当不仅主要被摄体的位置而且主要被摄体的大小和倾斜都被设定为主要构图条件时，主要图像可以通过执行上述图像处理的多个处理来生成。

3-2.成像处理装置的处理

接着，将参考图44来描述第二实施例的处理。在步骤S2001中，图像条件设定单元2200首先设定主要构图条件。如上所述，主要构图条件基于用户的输入等被设定。接着，在步骤S2002中，图像条件设定单元2200基于主要构图条件来设定预备构图条件。设定的主要构图条件被供应给图像处理单元2500并且预备构图条件被供应给条件确定单元2300。

接着，在步骤S2003中，条件确定单元2300判断捕获图像是否满足预备构图条件。当预备构图条件不被满足时，步骤S2003的判断被重复直到预备构图条件被满足为止(在步骤S2003中为否)。此外，当捕获图像不满足预备构图条件时，如上所述，例如通过从LED发光或输出声音，可以向用户通知引导通知。

当在步骤S2003中判定捕获图像满足预备构图条件时，处理进行到步骤S2004(在步骤S2003中为是)。随后，在步骤S2004中，图像获取关联处理单元2400执行图像获取关联处理。图像获取关联处理是在自动释放的情况下将捕获图像作为预备图像存储在存储单元8等中来获取预备图像的处理。此外，在手动释放的情况中，图像获取关联处理是用通知提示用户获取预备图像的处理和当用户执行释放操作时将捕获图像作为预备图像存储在存储单元8等中的处理。

在预备图像被获取之后，图像处理单元2500通过处理预备图像以使得主要构图条件被满足来在步骤S2005中生成主要图像。

以这种方式，根据该实施例的图像处理装置2100执行处理。在该实施例中，当比作为用于最终图像的条件的主要构图条件更宽松的预备构图条件被满足时，图像被获取。因此，用户不执行成像以准确地匹配主要构图条件。因此，用户可以容易地执行成像。此外，由于通过成像获得的预备图像最终通过图像处理与主要构图条件匹配，所以用户可以获得具有期望构图的图像。

该实施例可以被应用于“自拍”，其中用户将成像装置3000的镜头面向用户他或她自己来对作为被摄体的用户成像。在此情况中，主要被摄体是用户他或她自己的面部、半身、全身。在自拍时，用户一般不会在查看直通图像的同时执行成像。然而，当该实施例被应用时，用户可以获得用户他或她自己被包括在期望构图中并且主要构图条件被满足的图像，即使用户不查看直通图像也能如此。此外，由于预备构图条件被设定成比主要构图条件更宽松，因此即使用户不查看直通图像，用户也可以获得其中预备构图条件被满足的图像。

该实施例不限于自拍。即使用户不查看直通图像也可以获得相当好的效果。例如，像这样的成像一样，可以执行所谓的高角度成像，其中用户伸长他或她的手臂并将成像装置3000举高来对被摄体成像。此外，可以执行所谓的低角度成像，其中，用户将成像装置3000放在较低的位置，例如他或她的脚处来对被摄体成像。在成像时，即便在用户不查看直通图像的情况中，用户也可以不查看直通图像而获得主要构图条件被满足的主要图像。此外，由于预备构图条件被设定为比主要构图条件更宽松，所以，即使在用户不查看直通图像时，用户也可以获得预备构图条件被满足的图像。

本技术的实施例可以被实现如下：

(1)一种图像处理装置，所述图像处理装置生成主要图像，所述主要图像是满足指明有关预定构图的条件的主要构图条件的图像。所述图像处理装置包括：条件确定单元，所述条件确定单元判断通过成像单元的成像获得的捕获图像是否满足预备构图条件，所述预备构图条件基于所述主要构图条件；处理单元，所述处理单元执行根据所述条件确定单元的判断结果来获取预备图像的处理，所述预备图像是满足所述预备构图条件的图像；以及图像处理单元，所述图像处理单元通过基于所述主要构图条件对通过所述处理获得的所述预备图像进行处理来生成所述主要图像。

(2)在如(1)所述的图像处理装置中，所述预备构图条件比所述主要构图条件简单。

(3)在如(1)或(2)所述的图像处理装置中，所述处理是当所述条件确定单元判定所述预备构图条件被满足时将所述捕获图像存储为所述预备图像的处理。

(4)在如(1)至(3)中一项所述的图像处理装置中，被设定为所述预备构图条件的参数的范围大于被设定为所述主要构图条件的参数的范围。

(5)在如(1)至(4)中一项所述的图像处理装置中，被设定为所述主要构图条件的条件的数目大于被设定为所述预备构图条件的条件的数目。

(6)在如(1)至(5)中一项所述的图像处理装置中，所述主要构图条件是其中预定条件被添加到所述预备构图条件的条件。

(7)在如(1)至(6)中一项所述的图像处理装置中，所述主要构图条件包括被摄体被包括在第一范围中的条件，并且所述预备构图条件包括所述被摄体被包括在比所述第一范围大的第二范围中的条件。

(8)在如(1)至(7)中一项所述的图像处理装置中，所述主要构图条件包括背景物体被包括在第三范围中的条件，并且所述预备构图条件包括所述背景物体被包括在比所述第三范围大的第四范围中的条件。

(9)在如(1)至(8)中一项所述的图像处理装置中，所述主要构图条件是添加了如下条件的条件：所述背景物体被包括在所述主要图像中。

(10)在如(1)至(9)中一项所述的图像处理装置中，所述处理是当所述条件确定单元判定所述预备条件被满足时通知用户所述预备条件被满足的处理。

(11)在如(1)至(10)中一项所述的图像处理装置中，当被摄体的位置被设定为所述主要构图条件时，所述图像处理单元对所述预备图像执行修饰处理以使得所述被摄体的位置满足所述主要构图条件。

(12)一种图像处理方法，用于生成主要图像，所述主要图像是满足指明有关预定构图的条件的主要构图条件的图像，所述方法包括：判断通过成像单元的成像获得的捕获图像是否满足预备构图条件，所述预备构图条件基于所述主要构图条件；执行根据判断结果来获取预备图像的处理，所述预备图像是满足所述预备构图条件的图像；以及通过基于所述主要构图条件对通过所述处理获得的所述预备图像进行处理来生成所述主要图像。

(13)一种令计算机执行图像处理方法的图像处理程序，该图像处理方法用于生成主要图像，所述主要图像是满足指明有关预定构图的条件的主要构图条件的图像，所述图像处理方法包括：判断通过成像单元的成像获得的捕获图像是否满足预备构图条件，所述预备构图条件基于所述主要构图条件；执行根据判断结果来获取预备图像的处理，所述预备图像是满足所述预备构图条件的图像；以及通过基于所述主要构图条件对通过所述处理获得的所述预备图像进行处理来生成所述主要图像。

(14)一种成像装置，包括：镜头，所述镜头被安装在外壳的一个表面上；成像元件，所述成像元件经由所述镜头接收光并将所述光转换成图像信号；以及显示单元，所述显示单元被安装在所述镜头所安装到的外壳的一个表面的后面的另一表面上并根据所述图像信号来显示图像。所述成像装置从通过所述成像元件获得的捕获图像生成主要图像，所述主要图像满足指明有关预定构图的条件的主要构图条件。所述成像装置还包括：条件确定单元，所述条件确定单元判断所述捕获图像是否满足预备构图条件，所述预备构图条件基于所述主要构图条件；处理单元，所述处理单元执行根据所述条件确定单元的判断结果来获取预备图像的处理，所述预备图像是满足所述预备构图条件的图像；以及图像处理单元，所述图像处理单元通过基于所述主要构图条件对通过所述处理单元的处理获得的所述预备图像进行处理来生成所述主要图像。

本公开包含与2011年3月31日向日本专利局提交的日本在先专利申请JP 2011-078928和2011年11月18日向日本专利局提交的日本在先专利申请JP 2011-252502所公开的主题有关的主题，这些在先专利申请的全部内容通过引用结合于此。

本领域技术人员应当理解，根据设计要求和其它因素可以进行各种修改、组合、子组合和更改，只要它们在权利要求及其等同物的范围内即可。

Claims (14)

1.一种图像处理装置，所述图像处理装置生成主要图像，所述主要图像是满足指明有关预定构图的条件的主要构图条件的图像，所述图像处理装置包括：

条件确定单元，所述条件确定单元判断通过成像单元的成像获得的捕获图像是否满足预备构图条件，所述预备构图条件基于所述主要构图条件；

处理单元，所述处理单元执行根据所述条件确定单元的判断结果来获取预备图像的处理，所述预备图像是满足所述预备构图条件的图像；以及

图像处理单元，所述图像处理单元通过基于所述主要构图条件对通过所述处理获得的所述预备图像进行处理来生成所述主要图像。

2.如权利要求1所述的图像处理装置，其中，所述预备构图条件比所述主要构图条件更简单。

3.如权利要求2所述的图像处理装置，其中，所述处理是当所述条件确定单元判定所述预备构图条件被满足时将所述捕获图像存储为所述预备图像的处理。

4.如权利要求2所述的图像处理装置，其中，被设定为所述预备构图条件的参数的范围大于被设定为所述主要构图条件的参数的范围。

5.如权利要求2所述的图像处理装置，其中，被设定为所述主要构图条件的条件的数目大于被设定为所述预备构图条件的条件的数目。

6.如权利要求4所述的图像处理装置，其中，所述主要构图条件是其中预定条件被添加到所述预备构图条件的条件。

7.如权利要求2所述的图像处理装置，其中，所述主要构图条件包括被摄体被包括在第一范围中的条件，并且所述预备构图条件包括所述被摄体被包括在比所述第一范围大的第二范围中的条件。

8.如权利要求2所述的图像处理装置，其中，所述主要构图条件包括背景物体被包括在第三范围中的条件，并且所述预备构图条件包括所述背景物体被包括在比所述第三范围大的第四范围中的条件。

9.如权利要求6所述的图像处理装置，其中，所述主要构图条件是在所述预备构图条件中添加了如下条件的条件：所述背景物体被包括在所述主要图像中。

10.如权利要求1所述的图像处理装置，其中，所述处理是当所述条件确定单元判定所述预备条件被满足时通知用户所述预备条件被满足的处理。

11.如权利要求1所述的图像处理装置，其中，当被摄体的位置被设定为所述主要构图条件时，所述图像处理单元对所述预备图像执行修饰处理以使得所述被摄体的位置满足所述主要构图条件。

12.一种图像处理方法，用于生成主要图像，所述主要图像是满足指明有关预定构图的条件的主要构图条件的图像，所述方法包括：

判断通过成像单元的成像获得的捕获图像是否满足预备构图条件，所述预备构图条件基于所述主要构图条件；

执行根据判断结果来获取预备图像的处理，所述预备图像是满足所述预备构图条件的图像；以及

通过基于所述主要构图条件对通过所述处理获得的所述预备图像进行处理来生成所述主要图像。

13.一种令计算机执行图像处理方法的图像处理程序，该图像处理方法用于生成主要图像，所述主要图像是满足指明有关预定构图的条件的主要构图条件的图像，所述图像处理方法包括：

判断通过成像单元的成像获得的捕获图像是否满足预备构图条件，所述预备构图条件基于所述主要构图条件；

执行根据判断结果来获取预备图像的处理，所述预备图像是满足所述预备构图条件的图像；以及

通过基于所述主要构图条件对通过所述处理获得的所述预备图像进行处理来生成所述主要图像。

14.一种成像装置，包括：

镜头，所述镜头被安装在外壳的一个表面上；

成像元件，所述成像元件经由所述镜头接收光并将所述光转换成图像信号；以及

显示单元，所述显示单元被安装在所述镜头所安装到的外壳的一个表面的后面的另一表面上并根据所述图像信号来显示图像，

其中，所述成像装置从通过所述成像元件获得的捕获图像生成主要图像，所述主要图像满足指明有关预定构图的条件的主要构图条件，并且

其中，所述成像装置还包括：

条件确定单元，所述条件确定单元判断所述捕获图像是否满足预备构图条件，所述预备构图条件基于所述主要构图条件；

处理单元，所述处理单元执行根据所述条件确定单元的判断结果来获取预备图像的处理，所述预备图像是满足所述预备构图条件的图像；以及

图像处理单元，所述图像处理单元通过基于所述主要构图条件对通过所述处理单元的处理获得的所述预备图像进行处理来生成所述主要图像。

Images