CN102196173A - 成像控制设备与成像控制方法 - Google Patents

Abstract

本发明涉及成像控制设备与成像控制方法。一种用于成像装置或者成像***的成像控制设备，该成像***包括使主题成像的成像单元和该成像单元的成像视场的可变机构，该成像控制设备包括：可变成像视场控制单元，其控制着该成像视场的可变机构的驱动；以及自动全景成像控制单元，其在通过使用该可变成像视场控制单元改变所述成像视场的同时，允许该成像单元通过诸如全景成像之类的成像获得多个用作生成全景图像数据的图像数据，并且基于该成像单元所获得的所捕获图像信号确定该全景成像时的控制操作。

Description

成像控制设备与成像控制方法

技术领域

本发明涉及成像控制设备及用于成像装置和成像***的成像控制方法，其中该成像***通过自动改变成像视场来执行静止图像成像或者全景成像。

背景技术

在用户(摄影师)沿约水平旋转方向移动照相机的同时，通过执行成像操作获得宽角度场景的静止图像的技术被称为所谓的全景成像方法。例如，在JP-A-11-88754、JP-A-11-88811、JP-A-2005-333396中，公开了与全景成像方法有关的技术。

在全景成像模式下使用数字照相机执行成像的情况下，用户沿水平旋转方向移动照相机。此时，数字照相机通过获得多个静止图像及通过组合主题场景执行合成处理，生成了全景图像数据如水平长的静止图像。

通过这样的全景成像处理，可以获得很难在普通成像操作中获得的宽角度场景。

另外，不通过用户的释放操作而执行自动成像操作的***是众所周知的。例如，在JP-A-2009-100300中，公开了用于自动记录通过成像***的自动合成调整和合成组合所获得的所捕获图像的技术，其中该成像***包括数字照相机和通过电驱动改变该数字照相机的摇摄/倾斜方向的摇摄云台(pan head)。

在JP-A-2009-100300公开的技术中，例如，通过使用人脸检测接技术执行主题如人物的搜索。更具体而言，当在使用摇摄云台沿摇摄方向旋转数字照相机的同时，执行图像帧内被传送的主题(人脸)的检测。

由于主题搜索的结果，在图像帧内检测主题的情况中，根据此时间点出图像帧内主题的检测状况(例如，主题的数目、位置、尺寸等)，执行最佳合成的确定(最佳合成确定)。换言之，获得了最佳的摇摄、倾斜与变焦角度。

另外，当通过最佳合成确定获得了被确定为最佳的摇摄、倾斜与变焦角度时，将摇摄、倾斜与变焦角度调整到被设定为目标角度的所获得的角度(合成组合)。

在完成合成组合之后，自动记录所捕获图像。

根据通过自动合成组合的自动成像操作(所捕获图像的自动记录)，能够在不需要用户成像操作的情况下，根据最佳合成自动记录所捕获图像。

发明内容

这里，在上述自动成像操作中，在能够执行除了普通静止图像成像操作之外的全景成像操作的情况下，可以增大成像设备的使用范围，这是可取的。

因此期望提供能够恰当执行自动全景成像操作的技术。例如，期望可以恰当地控制全景成像操作的范围与合成。

根据本发明的实施例，提供了用于成像装置或者成像***的成像控制设备，其中成像***包括使主题成像的成像单元和成像单元的成像视场的可变机构。成像控制设备包括：可变成像视场控制单元，其控制着成像视场的可变机构的驱动；及自动全景成像控制单元，其在通过使用可变成像视场控制单元改变成像视场的同时，允许成像单元通过诸如全景成像之类的成像获得多个用于生成全景图像数据的图像数据，并且基于成像单元所获得的所捕获图像信号确定全景成像时的控制操作。

在上述成像控制设备中，自动全景成像控制单元可以基于预定目标主题的存在确定而确定全景成像的开始位置与结束位置，其中预定目标主题的存在确定是基于成像单元所获得的所捕获图像识别的。

例如，当自动全景成像控制单元允许可变成像视场控制单元使用可变机构移动成像视场时，基于成像单元所获得的所捕获图像信号，将确定预定范围内或者预定时间内不存在目标主题时的成像视场位置设定为全景成像的开始位置，并且自动全景成像控制单元基于成像单元在执行全景成像过程中所获得的所捕获图像信号，将确定预定范围内或者预定时间内不存在目标主题时的成像视场位置设定为全景成像的结束位置。

另外，在上述成像控制设备中，自动全景成像控制单元可以基于表示预定目标主题的存在和基于成像单元过去所获得的所捕获图像信号而生成的历史信息确定全景成像的开始位置与结束位置。

例如，自动全景成像控制单元基于历史信息确定所获得的目标主题的存在分布，并且基于该存在分布确定全景成像的开始位置与结束位置。

另外，自动全景成像控制单元可以基于水平方向位置处与垂直方向位置处的目标主题的存在分布与基于历史信息所获得的目标主题的全景图像尺寸执行合成调整。在此情况下，自动全景成像控制单元在上述合成调节时，计算变焦放大率，并且允许可变成像视场控制单元改变可变机构之一的变焦机构的变焦放大率。

根据本发明的另一实施例，提供了用于成像装置或者成像***的成像控制设备，其中成像***包括使主题成像的成像单元和成像单元的成像视场的可变机构。成像控制设备包括：可变成像视场控制单元，其控制着成像视场的可变机构的驱动；及自动全景成像控制单元，其在通过使用可变成像视场控制单元改变成像视场的同时，允许成像单元通过诸如全景成像之类的成像获得多个用于生成全景图像数据的图像数据，并且根据用于执行全景成像的触发器在全景成像的同时确定控制操作。

另外，在上述成像控制设备中，在根据基于用户操作的触发器执行全景成像的情况下，自动全景成像控制单元可以确定全景成像的开始位置与结束位置，使得用户操作的水平位置成为全景成像的中心。

另外，在上述成像控制设备中，在根据用于360°全景成像的触发器执行全景成像的情况下，当自动全景成像控制单元将水平方向上的当前位置作为开始位置，通过使用可变成像视场控制单元沿水平方向360°的范围改变成像视场的同时，可以执行全景成像。

另外，在上述成像控制设备中，全景成像控制单元可以在多个预定目标主题之间，根据基于现有预定目标主题的数目或者分隔间距而发生的触发器执行全景成像操作，其中预定主题目标的数目或者分割间距是基于成像单元所获得的所捕获图像信号识别的。

可替换地，上述成像控制设备还包括：自动静止图像成像控制单元，其允许成像装置在通过使用可变成像视场控制单元改变成像视场的同时，通过执行主题的检测而自动执行静止图像成像，其中全景成像控制单元根据自动静止图像成像控制单元的控制，根据基于静止图像成像的次数、自动静止成像的周期或者预定范围内的自动静止成像的完成而发生的触发器，执行全景成像控制。

在此情况下，自动全景成像控制单元可以基于预定目标主题的存在分布来确定全景成像的开始位置与结束位置，其中预定目标主题的存在分布是基于成像单元所获得的所捕获图像识别的。

可替换地，自动全景成像控制单元可以基于表示预定目标主题存在和基于成像单元过去捕获的所捕获图像信号而生成的历史信息来确定全景成像的开始位置与结束位置。

另外，在上述成像控制设备中，全景成像控制单元可以根据基于主题状况而发生的触发器来执行全景成像控制，其中主题状况是基于图像单元所获得的所捕获图像信号及/或环境声音估计的。

另外，在上述图像控制设备中，全景成像控制单元可以根据基于主题的预定类型而发生的触发器来执行全景成像控制，其中主题的预定类型是基于成像单元所获得的所捕获图像信号识别的。

在此情况下，自动全景成像控制单元在全景成像的开始之前的合成调节时，可以允许可变成像视场控制单元仅仅执行图像视场的垂直方向位置的调节控制。

根据本发明的另一实施例，提供了控制成像的方法，其包括步骤如下：允许成像单元在通过控制可变机构的驱动改变成像视场的同时，通过诸如全景成像之类的成像获得多个用于生成全景图像数据的图像数据，并且基于成像单元在执行全景成像之前或者执行全景成像过程中所获得的所捕获图像，确定全景成像时的控制操作。

根据本发明的另一实施例，提供了控制成像的方法，其包括如下步骤：根据用于执行全景成像的触发器，确定全景成像时的控制操作；并且允许成像单元在通过控制可变机构的驱动改变成像视场的同时，通过诸如全景成像之类的成像获得多个用于生成全景图像数据的图像数据。

根据本发明的实施例，通过基于成像单元在执行全景成像之前或者执行全景成像过程中所获得的所捕获图像，确定全景成像时的控制操作，可以例如根据特定目标主题(例如，人脸)的存在位置、分布及数目等，实现能够获得具有恰当合成的全景图像的全景成像。

另外，通过根据用于执行全景成像的触发器，确定全景成像时的控制操作，可以根据触发器的内容、环境状态等实现能够获得具有恰当合成的全景图像的全景成像。

根据本发明的实施例，根据从所捕获图像信号获得的状态或者用于执行全景操作的触发器的类型，适当地控制自动全景成像的范围与合成。因此，根据各种状况实现了合适的自动全景成像。

附图说明

图1A与图1B是根据本发明实施例的数字照相机的前视图与后视图。

图2A与图2B是能够将根据本发明实施例的数字照相机安装在其上的摇摄云台的立体图与后视图。

图3是将根据本发明实施例的数字照相机安装在摇摄云台上的状态的前视图。

图4是在将根据本发明实施例的数字照相机安装在摇摄云台上的状态下沿摇摄方向移动的概要视图。

图5A与图5B是在将根据本发明实施例的数字照相机安装在摇摄云台上的状态下沿倾斜方向移动的概要视图。

图6A与图6B是根据本发明实施例的摇摄云台的触摸操作位置的概要视图。

图7是根据本发明实施例的数字照相机的内部构造示例的概要视图。

图8是根据本发明实施例的摇摄云台的内部构造示例的概要视图。

图9是根据本发明实施例的控制功能构造示例的方框图。

图10A、图10B与图10C是根据本发明实施例的全景成像的概要视图。

图11是能够被应用到本发明实施例的自动成像方法的第一示例的流程图。

图12是能够被应用到本发明实施例的自动成像方法的第二示例的流程图。

图13是根据本发明实施例的全景成像的方法示例I的流程图。

图14是解释根据本发明实施例的全景成像的方法示例I的概要视图。

图15A与图15B是解释根据本发明实施例的全景成像的方法示例I的概要视图。

图16是根据本发明实施例的全景成像的方法示例II的流程图。

图17A、图17B与图17C是解释根据本发明实施例的全景成像的方法示例II的概要视图。

图18是根据本发明实施例的全景成像的方法示例III的流程图。

图19A与图19B是解释根据本发明实施例的成像历史信息与人脸检测图谱信息的概要视图。

图20A与图20B是解释根据本发明实施例的全景成像的方法示例III的概要视图。

图21A与图21B是解释根据本发明实施例的全景成像的方法示例III的概要视图。

图22是根据本发明实施例的全景成像的方法示例IV的流程图。

图23是根据本发明实施例的全景成像的方法示例IV的变焦控制的流程图。

图24A与图24B是解释根据本发明实施例的全景成像的方法示例IV的概要视图。

图25A、图25B与图25C是解释根据本发明实施例的全景成像的方法示例IV的变焦确定的概要视图。

图26根据本发明实施例的全景成像的方法示例V的流程图。

图27A与图27B是根据本发明实施例的触发器发生的处理流程图。

图28A与图28B是根据本发明实施例的触发器发生的处理流程图。

图29A与图29B是根据本发明实施例的触发器发生的处理流程图。

图30A与图30B是根据本发明实施例的触发器发生的处理流程图。

图31是根据本发明实施例解释根据触发器的控制处理的示例的概要视图。

图32是解释根据本发明实施例的其它功能构造的概要视图。

具体实施方式

下面，将按照以下顺序描述本发明的实施例。在实施例中，将由数字照相机和能够将该数字照相机安装在其上的摇摄云台构造的成像***作为示例进行描述。尽管数字照相机能够单独获取图像，但是与摇摄云台结合的数字照相机作为成像***可以执行自动成像操作。

<1.成像***构造>

[1-1：整体构造]

[1-2：数字照相机]

[1-3：摇摄云台]

<2.功能构造示例>

<3.全景成像概述>

<4.自动成像方法>

[4-1：第一自动成像方法示例]

[4-2：第二自动成像方法示例]

<5.全景成像方法>

[5-1：方法示例I]

[5-2：方法示例II]

[5-3：方法示例III]

[5-4：方法示例IV]

[5-5：方法示例V]

<6.全景成像的触发器>

[6-1：各种触发器的示例]

[6-2：根据触发器的处理设定]

<7.其它功能构造示例>

<8.程序>

在本文的描述中，使用了术语“图像帧”、“图像角”、“成像视场”与“合成”，以下是它们的定义。

“图像帧”表示与一幅图像相对应的，例如其中图像适合被观察的区域范围。一般地，图像帧的外部帧形状是垂直长或者水平长的矩形。

“图像角”也被称为变焦角等，并且表示适合在图像帧内根据成像装置的光学***的变焦透镜的位置而确定的范围如角度。一般地，尽管根据成像光学***的焦距与像面(图像传感器或者胶片)的尺寸确定了图像角，但是在本文中，将与焦距对应的能够变化的因素称为图像角。

“成像视场”表示根据成像光学***的视场。换言之，成像视场是适合于成像装置周围场景中的图像帧范围如成像目标。根据除了上述图像角度以外的沿摇摄(水平)方向的摆动角度与沿倾斜(垂直)方向的角度(上升角度或者下降角度)确定了成像视场。

本文的“合成”也被称为组帧，并且例如表示例如根据包括主题尺寸设定的成像视场而确定的图像帧内的构造状态。

<1.成像***构造>

[1-1：整体构造]

根据本发明实施例的成像***由数字照相机1与可拆卸地连接到数字照相机1的摇摄云台10构造。

摇摄云台10通过电驱动改变数字照相机1在摇摄与倾斜方向的取向。另外，摇摄云台10执行自动合成配合和通过自动合成配合所获得的所捕获图像的自动记录。

例如，通过执行人脸检测技术，执行主题如人物的搜索。更具体而言，在通过使用摇摄云台10例如沿摇摄方向旋转数字照相机1的同时，检测了在图像帧内输出图像的主题(人脸)。

当由于主题搜索的结果在图像帧内检测主题时，根据此时间点处图像帧内的主题状况(例如，主题的数目、位置、尺寸等)，确定被认为是最佳的合成(最佳合成确定)。换言之，获得了被认为是最佳的摇摄、倾斜与变焦角度。

当如上所述通过最佳合成确定获得了被认为是最佳的摇摄、倾斜与变焦角度时，可以用被设定为目标角度的这些角度调整摇摄、倾斜与变焦角度(合成配合)。

在完成合成配合之后，执行所捕获图像的自动记录。

根据通过上述自动合成配合的自动成像操作(所捕获图像的自动记录)，根本不需要用户的成像操作，可以根据被认为是最佳的合成而自动记录所捕获图像。

图1A与图1B示出了数字照相机1的外观图示例。图1A与图1B是数字照相机1的前视图与后视图。

如图1A所示，数字照相机1包括位于主体单元2的前面侧上的透镜单元21a。透镜单元21a是用于捕获图像的光学***，并且是暴露在主体单元2外侧的部分。

另外，在主体单元2的上面部分上，布置了释放按钮31a。在成像模式下，将透镜单元21a所捕获的图像(所捕获图像)生成为图像信号。在成像模式下，可以通过下述的图像传感器以预定的帧速率获得用于各帧的所捕获图像。

当操作释放按钮31a(释放操作或者快门操作)时，在记录媒体上记录此时所捕获的图像(帧图像)如静止图像的图像数据。换言之，执行通常被称作摄影的静止图像的成像。

另外，如图1B所示，数字照相机1包括位于其后面侧上的显示屏单元33a。

在显示屏单元33a上，在成像模式下，显示被称为穿过图像(throughimage)或者此时通过透镜单元21a成像的图像。穿过图像是基于图像传感器所获得的帧图像的运动图像，并且是直接表示此时主题的图像。

另一方面，在再现模式下，再现并显示记录在记录媒体上的图像数据。

另外，根据数字照相机1的用户执行的操作，显示操作图像如GUI(Graphical User Interface，图形用户界面)。

另外，通过在显示屏单元33a内建立触摸面板，用户可以通过使用他或者她的手指触摸显示屏单元33a来执行必要的操作。

此外，在数字照相机1中，可以布置操作件如除释放按钮31a与刻度盘以外的各种键。

例如，操作件是用于变焦操作、模式选择、菜单操作、菜单上的光标操作、再现操作的操作键、刻度盘等。

图2A示出了摇摄云台10外观的立体图。图2B示出了摇摄云台10的后视图。

图3、图4、图5A及图5B示出了数字照相机1以合适的状态被布置在摇摄云台10中的状态。图3是前视图，图4是平面图，且图5A与图5B是侧视图(特别地，图5B示出了倾斜机构在侧视图中的可移动范围)。

如图2A、图2B、图3、图4、图5A与图5B所示，摇摄云台10主要具有其中主体部分11安装在接地台部分15上，且照相机台座部分12被安装到主体部分11的结构。

当将数字照相机1安装到摇摄云台10时，将数字照相机1的下面侧布置到照相机台座部分12的上面侧。

如图2A与图2B所示，在照相机台座部分12的上面部分上，布置了突起部分13和连接器14。尽管图中未示出，但是在数字照相机1的主体单元2的下面部分上，形成了与突起部分13啮合的孔部分。在将数字照相机1适当地布置在照相机台座部分12中的状态下，形成了孔部分与突起部分13彼此啮合的状态。在此状态下，为了便于摇摄云台10的正常摇摄或倾斜操作，认为数字照相机1没有与摇摄云台10断开或者未偏离摇摄云台10。

另外，在数字照相机1的下面部分的预定位置中，布置了连接器。在如上所述将数字照相机1恰当安装到照相机台座部分12的状态下，数字照相机1的连接器与摇摄云台10的连接器14连接在一起，并且形成了两部分至少能够互相通信的状态。

例如，可以在特定的范围内，以实际的感觉改变(移动)照相机台座部分12中的连接器14与突起13的位置。另外，例如，通过一起使用适配器或者被调节到数字照相机1的下面部分的形状的类似物，可以在数字照相机1与摇摄云台10能够互相通信的状态下，将不同模式的数字照相机安装到照相机台座部分12。

接着，将根据摇摄云台10描述数字照相机1在摇摄与倾斜方向的基本运动。

下面，首先是在摇摄方向的基本运动。

在例如桌子、地面及其类似物上布置了摇摄云台10的状态下，使接地台部分15的下面接地。在此状态下，如图4所示，将主体部分11侧构造为沿顺时针方向或者逆时针方向绕作为旋转中心的旋转轴11a可旋转的。因此，可以改变被安装到摇摄云台10的数字照相机1在水平方向(左侧或者右侧方向)的成像视场(所谓的摇摄)。

另外，摇摄云台10的摇摄机构在此情况下具有其中摇摄机构能够沿顺时针方向或者逆时针方向360°无限制旋转的结构。

在摇摄云台10的摇摄机构中，确定了摇摄方向的参考位置。

这里，如图4所示，假定摇摄参考位置为0°(360°)，并且是主体单元11在摇摄方向的旋转位置，那么摇摄位置(摇摄角度)表示为0°至360°。

另外，下面是摇摄云台10在倾斜方向的基本运动。

如图5A与图5B所示，可以通过绕作为旋转中心的旋转轴12a，以仰角与俯角两个方向的角度摇摆照相机台座部分12，获得倾斜方向上的基本运动。

图5A示出了照相机台座部分12在倾斜参考位置Y0(0°)的状态。在此状态下，与透镜单元21a(光学***单元)的成像光轴一致的成像方向F1和被接地到接地台部分15的接地面部分GR彼此平行。

另外，如图5B所示，在仰角方向上，可以绕用作旋转中心的旋转轴12a从倾斜参考位置Y0(0°)起，在预定的最大旋转角度+f°的范围内移动照相机台座部分12。另外，同样在俯角方向上，可以绕用作旋转中心的旋转轴12a从倾斜参考位置Y0(0°)起，在预定的最大旋转角度-g°的范围内移动照相机台座部分12。

如上通过绕用作基点的倾斜参考位置Y0(0°)，在最大旋转角度+f°到最大旋转角度-g°的范围内移动照相机台座部分12，可以改变被安装到摇摄云台10(照相机台座部分12)的数字照相机1在倾斜方向(垂直方向)的成像视场。换言之，可以执行倾斜操作。

如图2B所示，在摇摄云台10上，在主体部分11的后面部分上形成了可拆卸地连接到电力电缆的电源端子部分t-Vin与可拆卸地连接到视频电缆的视频端子部分t-Video。

摇摄云台10被构造为通过电源端子部分t-Vin向被安装到上述照相机台座部分12的数字照相机1供应输入功率而使数字照相机1充电。

换言之，摇摄云台10充当使数字照相机1充电的台架(坞)。

在此示例中，例如，当从数字照相机1侧发送基于所捕获图像的视频信号时，摇摄云台10被构造为通过视频端子部分t-Video将视频信号输出到外面。

另外，如图2B与图4所示，将菜单按钮60a布置在摇摄云台10的主体部分11的后面部分上。根据菜单按钮的操作，通过摇摄云台10与数字照相机1之间的通信，将菜单显示在例如位于数字照相机1侧的显示屏单元33a上。通过此菜单显示，可以执行用户所必需的操作。

但是，在示例(下述的处理示例I)如本示例中，作为用于执行下述全景成像的触发器之一，使用了用户触摸操作。

更具体而言，用户执行了触摸摇摄云台10的操作。因此，例如，如图6A所示，在主体单元11的上面部分上形成了触摸区60b。当用户触摸触摸区60b时，安装在摇摄云台10中的触摸传感器检测触摸操作。

在图6A与图6B中，将位于虚线表示的前面侧上的一部分区域设置为触摸区60b。但是，例如，可以将主体部分11的整个上面部分设置为触摸区60b。

在图6B中，示出了在摇摄云台10的主体部分11的上面部分的前侧、右侧及左侧形成了触摸区60b、60c与60d的示例。例如，将3个触摸传感器安装在摇摄云台10内部，各个触摸传感器检测用于触摸区60b、60c与60d的触摸操作。

在此情况下，在数字照相机1与摇摄云台10构造的成像***的一侧，可以基于检测触摸操作的触摸传感器，确定用户从前侧、右侧及左侧中的哪侧执行了触摸操作。

这里，示出了形成3个触摸区60b至60d的示例。但是，很明显，可以包括更多的触摸传感器，以在多个触摸区中精确确定执行触摸操作的一侧。

尽管图中未示出，但是可以在摇摄云台10上布置包括麦克风与声音输入电路***的声音输入单元(下述的声音输入单元62)。

另外，可以在摇摄云台10上布置包括成像透镜、图像传感器、成像信号处理***等的成像单元(下述的成像单元63)。

下面继续描述这些。

[1-2：数字照相机]

图7示出了数字照相机1内部结构示例的方框图。

光学***单元21例如由一组预定数目的成像透镜、隔板等构造，其中成像透镜包括变焦透镜、聚焦透镜等。光学***单元21通过使用作为成像光的入射光在图像传感器22的受光表面上形成图像。

另外，光学***单元21还包括用于驱动变焦透镜、聚焦透镜、隔板等的驱动机构单元。通过例如控制单元27执行的所谓照相机控制，如变焦(视角)控制、自动聚焦调节控制、自动曝光控制等控制驱动机构的操作。

图像传感器22执行所谓的光电处理，其中将通过光学***单元21所获得的成像光转换为电信号。因此，图像传感器22在光电转换设备的受光表面上接收光学***单元21输出的成像光，并且在预定的定时内连续输出根据被接受光的强度积累的信号电荷。因此，输出了与成像光相对应的电信号(成像信号)。

并未特别限制用作成像传感器22的光电转换设备(成像设备)。但是，在目前形势下，例如，可以将CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)传感器，CCD(Charge Coupled Device，电荷耦合设备)等用作成像传感器22。在使用CMOS的实例中，与成像传感器22相对应的设备(部件)具有额外包括与下述A/D转换器23相对应的模拟-数字转换器的结构。

将成像传感器22输出的成像信号输入到A/D转换器23以将其转换为数字信号，并且输入到信号处理单元24。

信号处理单元24例如由DSP(Digital Signal Processor，数字信号处理器)构造。信号处理单元24根据用于A/D转换器23输出的数字成像信号的程序执行预定的信号处理。

信号处理单元24以一幅静止图像的单元(帧图像)接收从A/D转换器23输出的数字成像信号。通过以一幅已被接收的静止图像的单元执行用于成像信号的预定信号处理，信号处理单元24生成所捕获图像数据(所捕获的静止图像数据)，其中所捕获图像数据是与一幅静止图像对应的图像信号数据。

另外，信号处理单元24可以通过使用以上获得的所捕获图像数据，执行用于下述主题检测处理或者合成处理的图像分析处理。

另外，在全景成像模式的情况下，信号处理单元24亦执行其中构成了通过全景成像操作而获得的多个帧图像以生成全景成像数据的处理。

当在作为记录媒体的存储卡40中记录信号处理单元24所生成的所捕获图像数据时，将例如与一幅静止图像对应的所捕获图像数据从信号处理单元24输出到编码器/解码器单元25。

编码器/解码器单元25通过使用用于所捕获图像数据的预定静止图像的图像压缩编码方法，执行压缩编码处理，以一幅静止图像的单元将从图像处理单元24输出的所捕获图像数据转换为以预定格式压缩的图像数据格式，并且例如在控制单元27的控制下将云台等添加到其中。接着，编码器/解码器单元25将以上生成的图像数据发送到媒体控制器26。

媒体控制器26在控制单元27的控制下写入被传输的图像数据以将其记录在存储卡40中。在此情况下，存储卡40是记录媒体，其中该记录媒体例如具有符合预定规格的卡片格式的外部形状，并且其中包括非易失性半导体存储设备如闪存的构造。

其上具有被记录图像数据的记录媒体可以是不同于存储卡的形式、类型等。例如，可以使用各种记录媒体如光盘、硬盘、半导体存储芯片诸如可拆卸地安装的闪存芯片与全息存储器。

另外，数字照相机1可以通过允许显示单元33显示通过使用信号处理单元24获得的所捕获图像数据的图像，显示所谓的穿过图像(当前正被成像的图像)。

例如，信号处理单元24接收从A/D转换器23输出的成像信号，并且生成与一幅静止图像相对应的所捕获图像数据，且继续执行此操作，以连续生成与运动图片的帧图像相对应的所捕获图像数据。然后信号处理单元24在控制单元27的控制下将以上连续生成的所捕获图像数据传输到显示驱动器32。

显示驱动器32基于以上信号处理单元24输入的所捕获图像数据，生成用于驱动显示单元33的驱动信号，并且将该驱动信号输出到显示单元33。因此，在显示单元33上，以一幅静止图像的单元依次显示基于所捕获图像数据的图像。

当用户看见图像时，将此时正在被捕获的图像显示在显示单元33上作为运动图像。换言之，显示了穿过图像。

另外，数字照相机1可以再现记录在存储卡40中的图像数据，并且可以在显示单元33上显示该图像。

因此，控制单元27指定图像数据，并且指引媒体控制器26读取来自存储卡40的数据。响应于此指引，媒体控制器26通过访问其中记录被指定图像数据的存储卡40的地址来读取数据，并且将读出的数据传输到编码器/解码器25。

编码器/解码器25，例如在控制单元27的控制下，摘录实际数据如从媒体控制器26传输的被压缩静止图像数据，并且根据用于被压缩静止图像数据的压缩编码执行解码处理，获得与一幅静止图像相对应的所捕获图像数据。接着，编码器/解码器25将所捕获图像数据传输到显示驱动器32。因此，在显示单元33上再现并显示与记录在存储卡40中的所捕获图像相对应的图像。

另外，在显示单元33中，可以与穿过图像、图像数据的再现图像等一起显示用户界面图像(操作图像)。

在此情况下，生成了例如与此时操作状态一致的显示图像，如控制单元27所需的用户界面图像，且将该显示图像数据输出到显示驱动器32。因此，在显示单元33上显示了用户界面图像。

另外，可以在显示单元33的显示屏上将用户界面图像与监控图像如特定菜单屏幕或者所捕获图像数据的再现图像分开显示。此外，用户界面图像可以被显示为与监控图像或者所捕获图像数据的再现图像的一部分重叠并合成。

控制单元27由CPU(Central Processing Unit，中央处理单元)构造，且与ROM28、RAM29等一起构成了微型计算机。

在ROM28中，例如除了由CPU如控制单元27执行的程序之外，还存储了与数字照相机1有关的各种类型的设定信息。

RAM29是用于CPU的主存储设备。

在本实例中，闪存30被设置为非易失性存储区域，其用于存储例如根据用户操作、操作历史等需要改变(重写)的各种类型的设定信息。

另外，在将非易失性存储器如闪存用作为ROM28的情况下，可以使用ROM28的存储区域的一部分，而不是闪存30。

在本实施例中，控制单元27执行用于自动成像的各种处理。

首先，控制单元27通过改变视场，检测(或者允许信号处理单元24检测)来自信号处理单元24所获得的各帧图像的主题，并且执行位于数字照相机1周围区域上的主题的搜索处理(主题检测处理)。

另外，在合成处理时，控制单元27执行最佳检测处理，其中基于预定算法和与通过最佳合成确定处理所获得的最佳合成(被设置为目标合成)相符的合成，随着主题的检测，检测了对被检测主题的方面来说是最佳的合成。在执行此成像预处理之后，控制单元27执行自动记录所捕获图像的控制处理。

另外，控制单元27也执行用于全景成像的处理，换言之，指引以使多个帧图像成像如全景成像，并且执行合成处理，且在全景成像模式下执行参数设定等。此外，控制单元27控制摇摄云台10执行用于全景成像的约水平方向的旋转运动。

下面将描述这些控制处理。

操作单元31有选择地表示包括数字照相机1中的各种操作与操作信息信号输出部分，其中该操作信息信号生成与操作件执行的操作相对应的操作信息信号，并且将生成的操作信息信号输出到控制单元27。

作为操作件，如图1A与图1B所示，存在释放按钮31a。另外，可以设置其它各种操作件(电源按钮、模式按钮、变焦操作按钮、操作刻度盘等)。

在将显示单元33形成为触摸面板的情况下，其触摸传感器是操作单元31的一个具体示例。

另外，接收从远程控制器传输的指令信号的接收单元是操作单元31的一个示例。

控制单元27根据操作单元31输入的操作信息信号执行预定处理。因此，根据用户操作执行数字照相机1的操作。

兼容摇摄云台的通信单元34是根据摇摄云台10侧与数字照相机1侧之间预定的通信协议执行通信的一部分。

例如，在将数字照相机1安装在摇摄云台10上的状态下，兼容摇摄云台的通信单元34具有用于实施将通信信号发送到摇摄云台10侧的通信单元或者接收来自摇摄云台10侧的通信单元的通信信号的物理层构造，和用于根据物理层的预定上层通信处理实现通信处理的构造。物理层构造包括被连接到连接器14的连接器部分，与图2A与图2B一致。

另外，为了在摇摄云台10侧上使能充电，在各连接器中不仅布置了用于交换通信信号的端子，还布置了用于传送充电用功率的端子。尽管图中未示出，但是在数字照相机1中布置了用于可拆卸地安装蓄电池的蓄电池安装部分，并且基于从摇摄云台10侧传送的功率使被安装到安装部分的蓄电池充电。

在数字照相机1中，可以布置声音输入单元35。声音输入单元35被用作检测例如特定术语或者特定声音(例如，鼓掌的声音等)的语言输入、周围声音的音量或者在下述自动全景成像开始时的触发器输入等。在本实施例中，存在这样的情况，即输入的声音被用作确定使周围人兴奋的情形。

此外，甚至在确定特定术语或者特定声音的语言输入如确定释放定时的情况下，设置了声音输入单元35。

声音输入单元35包括麦克风、声音信号处理回路和确定特定声音的声音分析单元等，其中声音信号处理单元包括麦克风与麦克风放大器。声音的分析可以由控制单元27执行。

另外，如数字照相机1的构造，可以在记录媒体如存储卡40中考虑不包括用于记录数据的功能的构造示例。例如，此构造示例与成像数据不是从内部被记录在记录媒体中而是被输出到外部设备以被显示或者被记录的情况相对应。

在此情况下，可以考虑其中包括发送成像数据的发送单元而不是媒体控制器26的构造示例。此成像装置是从外部输出成像数据如普通静止图像或者全景图像的装置。

[1-3：摇摄云台]

图8示出了摇摄云台10的内部构造示例。

如图2B所示，在摇摄云台10中布置了电源端子部分t-Vin与视频端子部分t-Video。

通过电源回路61供应通过电源端子部分t-Vin输入的功率如摇摄云台10内部各单元所需的操作功率。在电源回路61中，生成了数字照相机1充电用的功率，并且通过通信单元52(连接器)将用于充电的功率供给数字照相机1侧。

另外，通过通信单元52与控制单元51将从数字照相机1侧传输的视频信号供给视频端子部分t-Video。

这里，摇摄云台10各单元的操作功率被表示为通过电源输入端子t-Vin供应。但是，实际上，在摇摄云台10中设置了蓄电池的安装部分，并且可以从被安装到安装部分的蓄电池供应各单元的操作功率。

另外，在摇摄云台10中布置了检测电缆与电源端子部分t-vin或者视频端子部分t-Video连接/断开的连接检测单元59。与用于检测电缆连接/断开的机构的具体构造一样，存在这样的构造：例如根据电缆的连接或者拔出等打开或者关闭开关。与连接检测单元59一样，可以使用输出识别电缆连接/拔出的检测信号的构造，且不特别限于其具体构造。

将连接检测单元59的检测信号(用于电源端子部分t-Vin的检测信号和用于视频端子部分t-Video的检测信号)供给控制单元51。

另外，摇摄云台10包括如上所述的摇摄/倾斜机构，并且作为与其对应的部分，图8示出了摇摄机构单元53、摇摄马达54、倾斜机构单元56和倾斜马达57。

摇摄机构单元53被构造为包括用于向安装在摇摄云台10上的数字照相机1施加沿图4所示摇摄(水平或者向左/向右)方向的运动的机构。通过沿向前或者向后的方向旋转摇摄马达54，可以获得该机构的运动。

相似地，倾斜机构单元56被构造为包括用于向安装在摇摄云台10上的数字照相机1施加沿图5A与图5B所示倾斜(垂直或者向上/向下)方向的运动的机构。通过沿向前或者向后的方向旋转倾斜马达57，可以获得该机构的运动。

控制单元51由例如通过组合CPU、ROM与RAM等形成的微计算机构造，并且控制摇摄机构单元53与倾斜机构单元56的运动。

例如，当控制摇摄机构单元53时，控制单元51将指示运动方向和运动速度的信号输出到摇摄驱动单元55。摇摄驱动单元55生成与该输入信号相对应的马达驱动信号，并将生成的马达驱动信号输出到摇摄马达54。例如，在该摇摄马达是步进马达的情况下，马达驱动信号是根据PWM控制的脉冲信号。

根据该马达驱动信号，摇摄马达54例如以所需的旋转速度沿所需的旋转方向旋转。因此，也可以驱动摇摄机构单元53以对应的速度沿对应的运动方向运动。

相似地，当控制倾斜机构单元56时，控制单元51将指示倾斜机构单元56所必需的运动方向和运动速度的信号输出到倾斜驱动单元58。

倾斜驱动单元58生成与该输入信号相对应的马达驱动信号，并将生成的马达驱动信号输出到倾斜马达57。根据该马达驱动信号，倾斜马达57以所需速度沿所需方向旋转。因此，也可以驱动倾斜机构单元56以对应的速度沿对应的运动方向运动。

摇摄机构单元53包括旋转编码器(旋转检测器)53a。旋转解码器53a将表示与摇摄机构饭远53的旋转运动相对应的旋转角度大小的信号输出到控制单元51。类似地，倾斜机构单元56包括旋转解码器56a。旋转解码器56a将表示与倾斜机构单元56的旋转运动相对应的旋转角度大小的信号输出到控制单元51。

因此，控制单元51可以获得处于实时操作过程中的摇摄机构单元53与倾斜机构56的旋转角度大小的信息。

通信单元52是通过预定的通信协议与位于数字照相机1内部的兼容摇摄云台的通信单元34通信的部分，其中数字照相机1被安装在摇摄云台10上。

通信单元52，与摇摄云台对应通信单元34类似，具有用于通过有线通信或者无线通信将通信信号发送到对侧通信单元或者接收来自对侧通信单元的通信信号的物理层构造，和用于实现与物理层的预定上层相对应的通信处理的构造。作为物理层构造，包括照相机台座部分12的连接器14，与图2A一致。

操作单元60有选择地表示图2B与图4中所示的操作件如菜单按钮60a和操作信息信号输出部分，其中操作信息信号输出部分生成与操作件执行的操作相对应的操作信息信号并将该操作信息信号输出到控制单元51。控制单元51根据操作单元60输入的操作信息信号执行预定处理。

另外，在向摇摄云台10提供远程控制器的情况下，从远程控制器发送的指令信号的接收单元是操作单元60的一个示例。

如参考图6A与图6B所示，在摇摄云台10中可以配置触摸传感器，在此情况下，触摸传感器是操作单元60的一种类型。将用于触摸操作的触摸传感器的检测信号供给控制单元51。

在摇摄云台10中，可以布置声音输入单元62。声音输入单元62用作检测这样的情形，例如高涨的氛围或者特定术语或特定声音(例如，鼓掌等)的输入作为自动全景成像开始时的触发器输入。

声音输入单元62包括麦克风、声音信号处理回路和确定特定声音的声音分析单元等，其中声音信号处理单元包括麦克风放大器。声音的分析可以由控制单元51执行。

此外，为了响应于特定术语或者特定声音的声音输入确定的情况，如在数字照相机1中确定释放定时，可以在摇摄云台10上布置声音输入单元62。

另外，可以在摇摄云台10中布置成像单元63。成像单元63被布置为检测特定主题的存在、周围区域中的运动或者如自动全景成像开始时的触发器输入等。可替换地，可以使用位于摇摄云台10侧的成像单元63，例如以通过用于控制全景成像操作的图像分析确定周围的情形诸如周围区域中的兴奋状态。此外，为了确定特定主题的状态如确定数字照相机1中的释放定时，可以在摇摄云台10侧布置成像单元63。

成像单元63包括光学***单元、图像传感器、A/D转换器、信号处理单元、图像分析单元等。图像分析单元可以由控制单元51执行。

<2.功能构造示例>

接着，在图9所示的方框图中，示出了由硬件或者软件(程序)实施的，根据本实施例的数字照相机1与摇摄云台10的功能构造的示例。

本功能构造示例是用于实现成像控制设备的构造，其中该成像控制设备执行本示例中成像***的成像操作控制。本功能构造示例主要是由硬件和软件形成的控制处理功能，其中硬件如数字照相机1的控制单元27、摇摄云台10的控制单元51等，软件由彼此相关联的硬件驱动。

在图9中，用于各功能的方框表示下述自动全景成像处理与自动静止图像成像处理特别所需的控制功能。

如图9所示，数字照相机1(控制单元27)侧包括成像与记录控制单元81、自动静止图像成像控制单元82、可变成像视场控制单元83、自动全景成像控制单元84、通信处理单元85、自动成像模式控制单元86、成像历史信息管理单元87和输入识别单元88。

成像历史信息管理单元87实施了在执行下述全景成像处理示例III、IV的情况下特别安装的功能。

另外，摇摄云台10(控制单元51)侧，例如包括通信处理单元71、摇摄/倾斜控制单元72与输入识别单元73。

首先，在数字照相机1侧上，成像与记录控制单元81获得了成像操作所获得的图像如图像信号的数据(被捕获的图像数据)，并且在记录媒体中执行用于存储所捕获图像数据的控制处理。另外，成像与记录控制单元81控制被记录的静止图像数据、显示操作、捕获图像时的穿过图像显示操作等的再现。

换言之，成像与记录控制单元81控制图7所示的光学***单元21、图像传感器22、A/D转换器23、信号处理单元24、编码器/解码器25、媒体控制器26、显示驱动器32等。换言之，成像与记录控制单元81是控制数字照相机1的基本操作的功能部分，其中数字照相机1的基本操作包括指引光学***单元21的透镜驱动控制、图像传感器22的成像操作、图像信号处理、记录与再现处理等，以及执行静止图像成像等。

自动静止图像成像控制单元82是执行各种处理的功能部分，其中各种处理是未通过用户的释放操作而执行自动静止图像成像处理所必需的。

作为各种处理之一，存在主题检测处理。此处理是在使用摇摄云台10执行摇摄或者倾斜操作的同时，通过检查信号处理单元24所获得的各帧图像，允许适合于成像视场的主题(例如，人脸)的处理。因此，自动静止图像成像控制单元82执行这样的处理，如确定摇摄云台10所需的摇摄或者倾斜操作、通过帧图像的图像分析检测人物以及面部检测。

另外，作为上述处理之一，存在合成处理。合成处理是确定主题图像在成像视场中的布置是否为最佳状态(合成确定)并调节该合成(合成组合)的处理。为了调节该合成，自动静止图像成像控制单元82执行摇摄云台10所需的摇摄或者倾斜操作的确定、光学***单元21的变焦透镜的驱动确定等。

另外，主题检测处理的处理功能或者用于合成处理的图像分析处理可以不由控制单元27执行，而由DSP(Digital Signal Processor，数字信号处理器)如信号处理单元24执行。因此，可以将诸如自动静止图像成像控制单元82之类的功能部分作为程序或者指令来实施，其中程序或者指令被供给一个或两个控制单元27和DSP如信号处理单元24。

可变成像视场控制单元83是控制实际改变成像视场操作的功能部分。成像视场的改变由摇摄云台10的摇摄或倾斜操作或者光学***单元21的变焦操作完成。因此，可变成像视场控制单元83是执行摇摄/倾斜控制与变焦控制的功能部分。

当摄影师通过使用数字照相机1手动执行成像操作时，可变成像视场控制单元83根据摄影师的变焦操作，例如控制变焦透镜的驱动。

另外，当在将数字照相机1安装在摇摄云台10上的状态下执行自动静止图像成像或者全景成像时，可变成像视场控制单元83根据自动静止图像成像控制单元82的确定方向或者自动全景成像控制单元84传输的方向，执行变焦驱动控制、摇摄驱动控制和倾斜驱动控制。

在摇摄驱动控制与倾斜驱动控制中，可变成像视场控制单元83通过通信处理单元85将摇摄/倾斜控制信号发送到摇摄云台10侧。

例如，当可变成像视场控制单元83执行合成组合等时，根据自动静止成像控制单元82所确定的摇摄与倾斜的移动量，将用于指引移动量的摇摄/倾斜控制信号输出到摇摄云台10。

另外，可变成像视场控制单元83根据自动静止图像成像控制单元82所确定的变焦放大倍率，控制光学***单元21的变焦操作的驱动。

此外，当在将数字照相机1安装在摇摄云台10上的状态下执行全景成像时，可变成像视场控制单元83通过用于在全景成像过程中执行水平方向运动的通信处理单元85，将主要用于指引摇摄操作的摇摄/倾斜控制信号发送到摇摄云台10。

自动全景成像控制单元84是未通过用户操作而执行自动全景成像所需的各种处理的功能部分。

作为各种处理之一，自动全景成像控制单元84在以预定的角度执行摇摄的同时，控制执行用于生成全景图像的所捕获图像的获取。换言之，自动全景成像控制单元84执行全景成像控制。因此，自动全景成像控制单元84指引可变成像视场控制单元83，以允许摇摄云台10执行所需的摇摄并指引成像与记录控制单元81控制与多个用作生成全景图像的帧相对应的所捕获图像数据的获取。

另外，作为上述处理的另一处理，存在主题检测处理。该处理是在使用摇摄云台10执行摇摄/倾斜操作的同时，通过检查信号处理单元24所获得的各帧图像来检查周围主题(例如，人脸)存在等的处理。

因此，自动全景成像控制单元84通过帧图像数据的图像分析，执行诸如人物检测或者人脸检测之类的处理。

另外，作为上述处理的另一处理，存在用于全景成像的合成处理。此情况下的合成处理是设定用于执行全景成像处理的角度范围、倾斜设定、变焦设定等。为了执行合成调节，自动全景成像控制单元84确定摇摄云台10所需的摇摄/倾斜操作及光学***单元21的变焦透镜的驱动，并指引可变成像视场控制单元83执行所需驱动。

在此情况下，用于主题检测处理的处理功能或者合成处理时执行的成像分析，可以不由控制单元27执行，而由DSP如信号处理单元24执行。因此，还可以将功能部分如自动全景成像控制单元84作为程序或者指令来实施，其中程序或者指令将被供给一个或者两个控制单元27和DSP如信号处理单元24。

通信处理单元85是通过预定的通信协议与包括在摇摄云台10侧上的通信单元71通信的部分。

通过通信处理单元64的通信将由可变成像视场控制单元83生成的摇摄/倾斜控制信号发送到摇摄云台10的通信处理单元71。

当执行自动静止图像成像如未通过用户的释放操作而执行自动成像模式时，自动成像模式控制单元86执行操作次序。更具体而言，自动成像模式控制单元86指引功能部分执行下述的图11与图12中所示的处理。

另外，自动成像模式控制单元86也将执行触发器的识别处理如图11与图12所示处理中的确定处理。例如，自动成像模式控制单元86执行了用于使自动成像模式开始的触发器、用于释放定时的触发器、用于执行全景成像的触发器等的识别。

例如，当执行静止图像成像与记录如自动成像等时，成像历史信息管理单元87执行成像时各种信息的存储处理与记录处理或者与被存储的成像历史信息相关的处理。例如可以通过使用RAM29或闪存30的存储区域执行成像历史信息的存储。

另外，成像历史信息管理单元87基于成像历史信息生成了下述的面部检测图谱信息等。

输入识别单元88执行来自操作单元31的用户操作输入或者来自声音输入单元35的声音输入的识别处理。

接着，在图9所示的功能构造的摇摄云台10一侧上，通信处理单元71是用作与通信处理单元85通信的部分，其中通信单元85位于数字照相机1侧上。

当通信处理单元71接收摇摄/倾斜控制信号时，便将该摇摄/倾斜控制信号输出到摇摄/倾斜控制单元72。

摇摄/倾斜控制单元72具有执行与摇摄/倾斜控制有关的处理的功能，例如由图8中所示的位于摇摄云台10侧上的控制单元51执行的控制处理。

摇摄/倾斜控制单元72根据输入摇摄/倾斜控制信号，控制图8中所示的摇摄驱动单元55和倾斜驱动单元58。因此，摇摄/倾斜控制单元72，例如执行用于全景成像处理或者主题检测处理的摇摄/倾斜，或者执行用于获取水平视场与垂直视场的摇摄/倾斜等，其中水平视场与垂直视场对于合成处理是最佳的。

输入识别单元73执行从操作单元60发送的用户操作输入或者从声音输入单元62发送的声音输入的识别处理。与全景成像处理特别相关的输入识别单元73，例如执行参考图6A与6B所述的触摸传感器输入的识别。在此情况下，通过通信处理单元71将触摸传感器输入的信息传输到位于数字照相机1侧上的控制单元27。

在图9中，各控制功能部分表示为方框。但是，控制功能部分并不需要是独立的程序模块或者并不需要由硬件构造。实际上，在控制功能部分的合成处理过程中，可以采用实施下述实施例的处理操作的处理。

<3.全景成像概述>

本实施例的数字照相机1能够在被安装在摇摄云台10上的状态下执行自动全景成像，这里将参考图10A至图10C描述全景成像的概述。

例如，图10A是将数字照相机1的位置作为其旋转中心的周围360°的场景。全景成像是用于在较宽范围内获取周围场景如一幅图片的操作。

数字照相机1的处理如下。

例如，在被安装到摇摄云台10上的数字照相机1执行全景成像处理的情况下，通过摇摄云台旋转数字照相机1。换言之，执行摇摄。因此，水平移动了数字照相机1的主题方向(成像视场)。

在本处理中，数字照相机1，例如，如图10B中帧F1、F2、F3、…、Fn所标识的，接收以各个预定的帧距(frame interval)成像的帧图像数据。

接着，通过使用各帧图像数据F1至Fn的所需区域执行合成处理。这里，尽管未描述具体的合成处理，但是因此执行了用于组合所捕获图像如多个帧图像数据的的处理。接着，例如，数字照相机1生成了图10C所示的全景图像数据，并将该全景图像数据作为一张全景成像数据记录在存储卡40上。

例如，当摇摄云台10在360°范围内旋转数字照相机1时，获得了以数字照相机1的位置作为其旋转中心的整个周围区域的场景如一幅全景图像。

与通过用户手中的数字照相机1移动主题方向的情况下的全景成像处理相比较，由于旋转了被安装在摇摄云台10上的数字照相机，所以可以获得图像品质较高的全景图像。其原因是由于各帧图像数据的垂直均匀与恒定的摇摄速度，可以恰当地执行图像合成。

<4.自动成像处理>

[4-1：自动成像处理的第一示例]

将描述本示例成像***中的自动成像处理的第一示例。

作为自动成像模式，能够执行包括自动静止图像成像与自动全景成像这两种操作。这里，“自动静止图像成像”是不同于全景图像的术语，并且是使尺寸规则的静止图像成像的操作。

自动成像处理的第一示例是这样的示例，即用户通过菜单操作等提前选择并设定要被执行的静止图像成像与全景成像之一如自动成像操作，并且之后执行使自动成像操作开始的操作。

图11示出了由图9中所示机构构造执行的数字照相机1的控制单元27的处理。

当用户通过预定的操作指引执行自动成像操作时，控制单元27(自动成像模式控制单元86)将处理从步骤F101推进到步骤F102，并检查用户所选择的设定。

在用户通过菜单操作选择了普通静止图像的自动成像操作的情况下，处理进行到步骤F103。换言之，当用户选择了全景成像的自动成像操作时，处理进行到步骤F110。

首先，将描述用户选择了自动静止图像成像操作的情况。

在步骤F103中，控制单元27(自动静止图像成像控制单元82)设定用于自动静止图像成像操作的参数、算法等。例如，控制单元27设定最大倾斜角度、摇摄速度、主题检测合成处理的算法(条件设定)、释放定时的条件等。

在执行了用于自动静止图像成像操作的各种控制设定之后，控制单元27(自动静止图像成像控制单元82)实际上执行了自动静止图像成像操作的控制处理。

在自动静止图像成像操作中，本示例的成像***执行了自动合成组合，其中通过执行作为成像操作准备的主题检测(搜索)操作、最佳合成确定操作与合成组合操作，将根据被检测的主题状况(通过主题检测操作)而被确定为最佳的合成设定为目标合成。接着，成像***在预定条件下自动地执行释放处理。因此，未通过摄影师的操作便能够执行合适的静止图像成像操作。

当在自动静止图像成像模式下开始成像操作时，在步骤F104中开始捕获要被捕获的图像数据。

换言之，控制单元27(成像与记录控制单元81)通过使用图像传感器22与信号处理单元24开始捕获用于各帧的所捕获图像。

之后，直到在步骤F105中确定结束自动静止图像成像操作时，执行步骤F106至F109的处理。

在步骤F106中，执行主题检测处理。在步骤F107中，执行合成处理。

通过自动静止图像成像控制单元82的功能(更具体而言，控制单元27及/或信号处理单元24)执行主题检测处理与合成处理(最佳合成确定处理和合成组合处理)。

在步骤F104中开始捕获要被捕获的图像数据之后，信号处理单元24继续获取与一幅静止图像如通过图像传感器22捕获的所捕获图像相对应的帧图像数据。

自动静止图像成像控制单元82执行检测图像部分的处理如主题检测处理，其中该图像部分与来自各帧图像数据的人脸相对应。

可以执行用于各帧的主题检测处理，或者以与帧预定数目(提前被设定)相对应的间距执行主题检测处理。

在本示例中的主题检测处理中，例如，通过使用所谓的人脸检测技术，设定与人脸面部图像部分的区域(用于从图像中检测的各主题)一致的人脸范围。此外，基于人脸范围大小的信息、各个人脸范围的尺寸与位置等，获取图像帧内主题数目的信息、各主题的尺寸、及各主题在图像帧内的位置等。

另外，数几个人脸检测技术是众所周知的。但是，并不特别限于本示例中采用的检测技术。因此，可以在考虑检测精度、设计难度等的情况下采用合适的技术。

作为步骤F106中的主题检测处理，首先，搜索存在于数字照相机1周围的主题。

与主题的搜索一样，在通过使用数字照相机1的控制单元27(自动静止图像成像控制单元82与可变成像视场控制单元83)执行摇摄云台10的摇摄/倾斜控制或者光学***单元21的变焦控制来改变成像视场的同时，通过例如信号处理单元24(或者控制单元27)的图像分析执行主题检测处理。

直到检测了来自帧图像如所捕获图像数据的主题时，执行该主题搜索。接着，通过获取位于帧图像内的主题状态，即此时间点处的成像视场完成主题搜索。

在完成主题检测处理之后，在步骤F107中，控制单元27(自动静止图像成像控制单元82)执行合成处理。

作为合成处理，首先，确定此时间点处的合成是否是最佳状态。在此情况下，在基于主题检测处理结果确定了图像结构(在此情况下，确定图像帧内的主题数目、各主题的尺寸、各主题的位置等)之后，通过使用预定算法，基于图像结构确定所确定的图像结构信息来确定最佳合成。

可以基于摇摄、倾斜与变焦的各成像视场确定此情况下的合成。因此，根据确定合成是否是最佳合成的确定处理，由于确定的结果，可以根据主题检测处理的结果(图像帧内的主题状况)获得用于获取最佳视场的摇摄、倾斜与变焦的控制量信息。

接着，当合成并未处于最佳状态时，为了获得最佳合成状态，作为合成组合，执行摇摄/倾斜控制与变焦控制。

更具体而言，控制单元27(自动静止图像成像控制单元82与可变成像视场控制单元音83)将通过合成确定处理如合成组合控制获取的摇摄与倾斜控制量的变化信息指示到位于摇摄云台10侧的控制单元51。

根据该指示，摇摄云台10的控制单元51根据被指示的控制量获取摇摄机构单元53与倾斜机构单元56的运动量，并将控制信号供给摇摄取驱动单元55与倾斜驱动单元58，以执行用于所获得运动量的摇摄驱动与倾斜驱动。

另外，控制单元27(自动静止图像成像控制单元82与可变成像视场控制单元83)将通过光学合成确定处理而获得的变焦成像角度信息指示到光学***单元21，进而执行光学***单元21的变焦操作，以获取被指示的图像角度。

另外，在合成组合过程中执行合成处理、摇摄/倾斜与变焦控制时，当确定此合成并未处于最佳合成状态时，再次从步骤F106的主题检测处理起执行处理。其原因是由于摇摄/倾斜操作、变焦操作或者人物移动而使主题偏离了成像视场。

当获得了最佳合成时，在步骤F108中，控制单元27(自动成像模式控制单元86)执行释放定时确定。

另外，尽管在步骤F108中存在这样的情况，即在释放定时确定处理过程中释放定时并未“OK”的情况下，再次从步骤F106的主题检测处理起执行处理。其原因是由于主题人物的移动等而使主题偏离成像视场或者合成塌缩(collapse)。

当通过释放定时确定处理满足了释放条件时，执行所捕获图像的自动记录如步骤F109的释放处理。更具体而言，控制单元27(成像与记录控制单元81)通过控制编码器/解码器25与媒体控制器26将此时间点处获得的所捕获图像数据记录在存储卡40中。

步骤F108中的释放定时确定处理是确定预定的静止图像成像条件是否满足获取合适的静止图像的处理，并且可以考虑各种示例。

例如，可以基于时间考虑释放定时确定。例如，可以将预定时间从合成处理“OK”的时间点处(例如，两或三秒)的流逝用作为静止图像成像条件。在此情况下，在步骤F108中，控制单元27(自动成像模式控制单元86)计算预定的时间，且在步骤F109中，控制单元27(成像与记录控制单元81)根据预定时间的流逝执行释放处理。

另外，在确定来自所捕获图像的特定主题状态的情况下，可以确定静止图像成像条件到满意为止。

在步骤F108中，控制单元27(自动成像模式控制单元86)监控通过所捕获图像的分析而被检测的特定主题状态。

作为特定主题状态，可以考虑通过合成处理而观察到的具有特定面部表情如笑脸的主题的状态，主题作出特定姿势如朝成像***摇手、举手、鼓掌、打个手势或者对着成像***眨眼的状态。可替换地，可以考虑作为主题的用户注视成像***等的状态。

在步骤F108中，控制单元27通过所捕获图像的图像分析处理确定用户的特定状态。接着，在步骤F109中，当确定了特定主题状态时，确定释放定时，并且执行释放处理。

另外，在数字照相机1包括声音输入单元35的情况下，当存在特定声音输出时，可以确定静止成像条件到满意为止。

例如，用户说出的特定术语、鼓掌的声音、口哨的声音等是作为静止图像成像条件的特定声音。在步骤F108中，控制单元27(自动成像模式控制单元86)检测此类特定声音的输入。

当基于来自声音输入单元35的声音信号的分析结果来检查此类声音时，控制单元27确定释放定时，并且在步骤F109中执行释放处理。

通过重复上述步骤F106至F109的处理，自动获取多个静止图像。

接着，当在步骤F105中根据预定的结束触发器如用户操作确定结束自动静止图像成像时，控制单元27的处理进行到步骤F114，执行自动成像操作完成处理，并且在自动成像模式下完成一系列操作。

在选择并设定了自动全景成像的情况下，控制单元27的处理从步骤F110进行到F102。

在步骤F110中，控制单元27(自动全景成像控制单元84)设定用于自动全景成像操作的参数、算法等。例如，控制单元27设定最大倾斜角度、摇摄速度、主题检测合成处理的算法、释放定时的条件等。

在执行了用于自动全景成像操作的各种控制设定之后，控制单元27实际上执行了自动全景成像操作的控制处理。

在自动全景成像操作过程中，本示例的成像***在以预定的角度自动执行摇摄的同时，自动获取多个帧图像数据，并且通过合成这些帧图像数据执行用于生成全景图像数据的操作。

当在自动全景成像模式下开始成像操作时，首先，在步骤F111中开始捕获要被捕获的图像数据。

换言之，控制单元27(成像与记录控制单元81)通过使用图像传感器22与信号处理单元24开始捕获用于各帧的所捕获图像。

之后，直到在步骤F113中确定结束自动全景成像操作的时候，执行步骤F112的全景成像处理。

下面将步骤F112的全景成像处理的具体示例作为全景成像的示例I至V予以描述。

在自动成像模式下一旦执行了全景成像操作之后，在设定完成全景成像操作的情况下，在步骤F113中确定全景成像操作的结束，并且控制单元27在步骤F114中执行全景成像模式操作的完成处理。

换言之，在自动成像模式时重复设定了全景成像操作的情况下，处理从步骤F113返回到步骤F112，并且重复全景成像操作。接着当存在用户的结束操作或者完成全景成像操作的设定数目时，在步骤F113中确定全景成像操作的结束，并且控制单元27在步骤F114中执行自动成像模式操作的处理。

如上所述，执行了例如自动成像模式时的自动静止成像操作与自动全景成像操作。

[4-2：自动成像处理的第二示例]

将参考图12描述自动成像处理的第二示例。

当在自动成像模式下开始操作时，自动成像处理的第二示例基本上执行自动静止图像成像操作。接着，在本示例中，在自动静止图像成像操作过程中，通过触发器执行自动全景成像操作。

图12示出了由图9中所示的机构构造而执行的数字照相机1的控制单元27的处理。

当用户通过预定的操作指引执行自动成像操作时，控制单元27(自动成像模式控制单元86)将处理从步骤F201推进到F202的，并且设定用于自动静止图像成像操作的参数、算法等。

在执行了用于自动静止图像成像操作的各种控制设定之后，控制单元27执行自动静止图像成像操作的实际控制处理。

首先，在步骤F203中开始捕获要被捕获的图像。

换言之，控制单元27(成像与记录控制单元81)通过使用图像传感器22与信号处理单元24开始捕获用于各帧的所捕获图像。

之后，直到在步骤F204中确定结束自动成像模式操作之时，执行步骤F205至F209的处理。

在步骤F205中，控制单元27(自动成像模式控制单元86)检查是否发生了用于执行全景成像处理的触发器。

步骤F206至F209，与图11中所示的步骤F106至F205类似，与用于自动静止图像成像操作的处理相对应。由于将要复制上述描述，所以在这里忽略具体的描述。通过重复步骤F206至F209的处理，自动执行多个静止图像的成像。

接着，当在步骤F204中根据预定的结束触发器如用户操作确定结束自动成像模式操作时，控制单元27的处理进行到步骤F213，执行自动成像操作的完成处理与自动成像模式结束的一系列操作。

在执行自动静止图像成像操作的处理中，控制单元27(自动成像模式控制单元86)识别了预定的情形如用于全景成像处理的触发器。

将参考图27A至图30描述用于执行自动全景成像处理的触发器的示例。

当控制单元27(自动成像模式控制单元86与自动全景成像控制单元84)在自动静止图像成像操作处理过程中，确定用于执行此时间点处全景成像处理的发生时，处理进行到步骤F210。接着，控制单元27(自动全景成像控制单元84)在步骤F210中设定用于自动静止图像成像操作的参数、算法等。例如，控制单元27设定最大倾斜角度、摇摄速度、主题检测合成处理的算法、释放定时的条件等。

在执行了用于自动全景成像操作的各种控制设定之后，控制单元27实际上在步骤F211中执行了自动全景成像操作的控制处理。

步骤F211的全景成像操作的具体示例也与下述全景成像处理的示例I至V相对应。

当完成了全景成像处理时，在步骤F212中设定用于自动静止图像成像操作的参数、算法等(与步骤F202中的设定相同)。接着，处理返回到步骤F204，并且控制单元27继续自动静止图像成像处理。

如上所述，执行了自动成像模式下的自动静止图像成像操作与自动全景成像操作。

在自动成像处理的第一与第二示例中，已经描述了在由数字照相机1与摇摄云台10构造的成像***中执行的处理。但是，能够通过可变成像视场机构与摇摄/倾斜机构安装为一体的数字照相机执行上述操作。

<5.全景成像处理>

[5-1：处理示例I]

下面，在本实施例中，将描述全景成像处理的处理示例I至V。处理示例I至V的每一者是图11所示的步骤F112中或者图12所示的步骤F211中的控制单元27的处理。另外，处理示例I至V是基于控制单元27的自动全景成像控制单元84的功能而主要执行的处理。基于自动全景成像控制单元84的方向，通过使用可变视场控制单元83将摇摄/倾斜控制信号供给摇摄云台10并控制变焦机构的驱动，根据摇摄、倾斜与变焦的驱动及合成的确定，实现了摇摄、倾斜与变焦驱动。另外，基于自动全景成像控制单元84的方向，通过使用成像与记录控制单元81控制成像***，执行成像操作。

首先，将参考图13、图14、图15A与图15B描述处理示例I。

本处理示例是与参考图6A与图6B所描述的用于摇摄云台10的用户触摸操作相对应的处理示例。

更具体而言，处理示例I可以被认为是在图12所示的自动成像处理的第二示例中，当控制单元27识别用于摇摄云台10的用户触摸操作时，便在步骤F205中确定了用于执行全景的触发器的发生，并且处理从步骤F210进行到步骤F211的情况下的处理。控制单元27能够通过与摇摄云台10通信(输入识别单元73→通信处理单元71→通信处理单元85)，识别用于摇摄云台10的用户触摸操作。

另外，处理示例I可以被认为是在根据用户触摸操作执行步骤F112的全景成像的情况下，甚至是在图11所示的自动成像处理的第一示例情况下的处理。

这里，图13是示出如步骤F112或者F211中的全景成像的处理示例I。

首先，控制单元27执行了图13中所示的步骤F121，即用于实现全景合成的摇摄控制，其中在该全景合成过程中，触摸位置位于中心。换言之，在用于执行全景成像的角度范围内，将用户的触摸位置控制在水平方向的中心。换言之，当将用户的触摸位置用作与操作有关的水平位置，且该位置变为全景图像的中心时，设定合成。

在图6A所示的示例中，已经描述了触摸区60b被配置在摇摄云台10前面侧上的示例。将基于此示例参考图14描述特定示例。

图14示出了摇摄云台10与数字照相机1。这里，当用户触摸触摸区60b时，此时间点处的数字照相机1的视场方向被假定为沿水平方向的0°位置。另外，假定在180°的角度范围内执行全景成像。

触摸区60b位于摇摄云台10的前面侧上，并且位于0°方向的位置处。

因此，首先，控制单元27沿虚线箭头PN1所标识的逆时针方向执行摇摄控制的90°旋转。根据该摇摄，270°处的位置成为数字照相机1的视场方向。

控制单元27，首先在步骤F121中执行此摇摄控制。接着，270°处的位置成为全景成像的开始位置。

接着，在步骤F122中，控制单元27确定合成。

在步骤F121中，通过被执行的控制来确定摇摄方向的合成。另外，调节倾斜角度。可以设定变焦放大倍率。可替换地，在全景成像操作中，可以不执行倾斜设定与变焦设定。换言之，可以这样构造，即在步骤F121中通过被执行的摇摄确定合成，并且继续处理。

当确定了合成时，开始实际的全景成像操作。首先，控制单元27在步骤F123中确定释放定时，并且在步骤F124中，在预定的条件下控制释放的执行。

换言之，在全景开始位置确定的合成状态中，获取与一幅帧相对应的第一帧图像数据。

如图11中所示的步骤F208所述，可以基于笑脸、特定行为、特定声音或者主题的其它类似物执行此情况下的释放定时的确定。但是，在全景成像的情况中，由于在全景成像的开始处置处没有存在人物或者主题的类似物的情况，所以可以在确定位置之后，即刻恰当地确定释放定时。换言之，此情况是确定合成的确定完成以满足用于释放定时条件的示例。

另外，图14所示全景成像情况下的释放并不意为静止图像数据的记录，而是意为获取要合成的图像数据。

因此，在步骤F125中，控制单元27指引摇摄云台10侧开始摇摄。

在图14所示的示例中，沿实线箭头PN2所标识的顺时针方向从270°位置处执行摇摄。

在开始摇摄之后，控制单元84在步骤F126中确定释放定时，并且在步骤F127中执行释放控制。直到在步骤F128中到达结束位置之时，重复上述步骤。

换言之，在执行摇摄的同时确定释放定时，并且继续获得帧图像数据。

可以认为将在步骤F126中控制例如，用于各预定时间间隔、用于各预定摇摄角度等的释放定时确定。

在如图14所示的180°摇摄时设定并执行全景成像的情况下，在控制单元27执行到图14所示的90°位置的摇摄的时间点处，确定全景的结束位置的到达。换言之，确定完成了180°摇摄。

此时，控制单元27在步骤F129中指引摇摄云台10侧结束摇摄。

另外，在步骤F130中，控制单元27控制执行用于多个所获得的帧图像数据的合成处理，直到将合成的全景图像数据记录在存储卡40中。

如上所述，完成了图12所示的步骤F211中或者图11所示的步骤F112中的全景成像处理。

根据该全景成像操作控制，在中心处获得了被传送的人物需求全景成像的全景图像。

换言之，当在数字照相机1适合于用户的情况下，用户触摸摇摄云台10的触摸区60b时，首先，沿逆时针方向执行用于摇摆的摇摄，并且接着执行预定角度范围内的全景成像。执行触摸操作的用户位于执行全景成像的角度范围的中心。因此，获得了具有合成的全景成像，其中该合成深受需要全景成像的人们的欢迎。

在上述处理示例I中，在根据基于用户操作的触发器执行全景成像处理的情况下，确定全景成像处理的开始位置与结束位置，使得用于执行用户操作的水平位置位于全景图像的中心。因此，实现了具有恰当合成的自动全景成像处理。

在图14所示的示例中，描述了在180°范围内被执行的全景成像操作。但是，在在360°范围内设定要执行的全景成像操作的情况下，将步骤F121的摇摄执行到180°位置。接着，在步骤F125以及之后的步骤中，在图14所示的180°位置处执行一圈摇摄，将其设定为全景成像操作的开始位置。

换言之，可以在用于执行全景成像操作的角度范围的一半范围内，在步骤F121中执行朝向全景成像操作开始位置的摇摄是可行的。

在图6B中，示出了在摇摄云台10中形成3个触摸区60b、60c与60d的示例。可以在此情况下执行处理示例，如下所述。将全景成像操作的角度范围描述为180°。

首先，图14示出了当用户触摸触摸区60b时的处理。

图15A示出了用户触摸触摸区60d的情况。与图14类似，当将触摸操作开始时间点处的数字照相机1的视场方向假定为0°时，触摸区60b与图15A与图15B中所示的90°位置相对应。

当将全景成像操作的角度范围假定为180°时，0°位置与用于在全景图像中心定位90°方向的开始位置相对应。因此，在此情况下，不需要步骤F121的实际摇摄控制。其原因可以认为是在触摸操作的开始时间点处完成了步骤F121的操作。

接着，在步骤F125及之后的步骤中，如实线箭头PN3所标识的，在执行180°摇摄控制直到180°位置的同时，可以执行全景成像操作。

结果，获得了具有合成的全景图像，其中在该合成过程中，执行位于90°方向处的触摸操作的用户位于中心。

接着，将参考图15B描述用户触摸触摸区60c的情况。触摸区60c与图15A和图15B中所示的270°位置相对应。

当全景图像操作的角度范围是180°时，为了将触摸区60c的位置(270°位置)定位在全景图像的中心，全景成像操作的开始位置必需是180°位置。

因此，在此情况下，在步骤F121中，执行虚线箭头PN4所标识的摇摄控制。

另外，与沿顺时针方向的摇摄控制一样，全景成像操作的开始位置可以是180°位置。

接着，在步骤F125及之后的步骤中，如实线箭头PN5所标识的，可以在从180°位置到0°位置的180°范围内执行摇摄控制的同时，执行全景成像操作。

因此，获得了具有合成的全景图像，其中在该合成过程中，执行位于270°方向处的触摸操作的用户位于中心。

换言之，如图13所示的步骤F121的处理，可以根据执行触摸操作的用户的位置与全景成像操作的角度范围，确定摇摄控制量。

相同的示例可以应用到在摇摄云台上配置更多的触摸区以及可以粗略估计用户位置的情况。

尽管已经描述了将触摸传感器安装在摇摄云台10上的示例，但是存在在数字照相机1的外壳中形成触摸传感器的情况。同样在此情况下，当能够估计操作用户所在的方向时，可以考虑执行如上所述的步骤F121的摇摄控制。另一方面，在很难估计用户所在方向的情况下，可以构造为估计此时间点处的用户从数字照相机1的视场方向执行触摸操作，并且执行图14中所示的操作。

另外，在将触摸传感器配置在数字照相机1侧的情况下，控制单元27(输入识别单元88)识别触摸操作。

另外，以上已经描述了基于触摸操作来估计用户位置的处理示例。但是，可以将处理示例I应用到除上述示例以外的能够估计用户位置的情况。

例如，在当识别了声音输入单元35(62)所获得的特定声音时，能够估计生成该声音的用户位置的情况下，可以执行步骤F121的摇摄控制，使得此方向位于全景图像的中心。

另外，在估计兴奋情形，例如当提高音量，且音量的提高被用作全景成像操作的触发器时的情况下，为了将声音的方向定位在全景图像的中心，可以考虑执行步骤F121的摇摄控制。

另在，存在将用户的特定姿势、行为、手势等认为是用于全景成像操作的触发器的情况。此情况是在通过所捕获图像信号的分析检测特定姿势等的情况下，在图12所示的步骤F205中确定触发器的发生情况。

在该情况下，由于展示了特定姿势等的用户位于数字照相机1的视场方向，所以通过图13所示的处理，在步骤F121中执行图14所示的摇摄控制，并且接着开始全景成像操作。然后，获得具有合成的全景图像，其中在合成过程中，用户位于中心。

[5-2：处理示例II]

随后将参考图16与图17A至图17C，描述如图11所示的步骤F112中或者图12所示的步骤F211中的全景成像处理示例II。

处理示例II是基于预定目标主题(人脸)的存在确定，确定全景成像操作的开始位置与结束位置的处理，其中预定目标主题的存在确定是基于通过成像获得的所捕获图像信号识别的。

图16示出了作为处理示例II的控制单元27的处理。将相同的标号指定到与图13所示的上述处理相同的示例，并且忽略其具体描述。

当处理进行到图11所示的步骤F112或者图12所示的步骤F211，控制单元27执行图16所示的处理。

在步骤F140中，在控制单元27执行逆时针摇摄控制的同时，首先开始执行人脸检测的处理。在此情况下，控制单元27通过分析摇摄处理过程中通过成像获地的所捕获图像数据，检查人脸图像是否存在。

另外，在步骤F140的人脸检测的开始时间点处，控制单元27开始计时。

当在预定的周期内并未检测到新的人脸时，处理从步骤F141进行到步骤F142，并且确定此时的水平方向位置是全景成像操作的开始位置。

图17A至图17B示出了操作示例。图16所示处理的开始时间点处的数字照相机1的视场方向通过箭头H1标识。假定箭头H1的方向为0°。

首先，当控制单元27在步骤F140中指引逆时针摇摄时，如图17A所示虚线箭头PN6所标识的，摇摄云台10开始逆时针摇摄。此时，控制单元27通过继续执行人脸检测，检查是否从成像视场的左侧检测到新的人脸。尽管控制单元27从摇摄的开始点开始计时，但是在当检测新的人脸的时间点处重新设定计时，并且重新开始计数。

与图中所示的人脸FC一样，当用户处于周围区域中时，在开始虚线箭头PN6所标识的摇摄之后，在相对较短的时间内从第一人的脸部FC检测到第三人的脸部FC。但是，在检测了第三人的脸部FC之后，几乎检测不到第四人的脸部FC。这里，在检测了第三人的脸部FC之后，在视场方向位于箭头N2所标识方向的时间点处，在未检测到新面孔的周期内，时间TM1已经流逝。

在步骤F141中，确定时间TM1的流逝为预定周期的流逝。

然后，在步骤F142中，将此时的位置，即图17所示水平方向的位置X°设定为全景成像操作的开始位置。

当如上所述确定了全景成像操作的开始位置时，与图13的上述情况类似，控制单元27在步骤F122中确定合成，并且在步骤F123中执行适当的定时，且在步骤F124中执行第一释放控制处理。

然后，在步骤F125A中，开始用于全景成像操作的顺时针摇摄。

例如，从图17B所示的位置X°处开始箭头PN7所标识的摇摄。

这里，甚至在如上开始了用于成像操作的摇摄之后，控制单元27执行人脸检测与计时。换言之，控制单元27通过继续执行人脸检测，在箭头PN7所标识的摇摄过程中，检查来自视场右侧的新的人脸。另外，在开始箭头PN7所标识的顺时针摇摄之后，控制单元27从第一人脸检测时间点的时间点处开始计时。在检测到新的人脸的时间点处重新设定计时，并且重新开始计数。

在箭头PN7所标识的顺时针摇摄处理过程中，控制单元27在步骤F126中确定释放定时，且在步骤F127中执行释放控制，即获取用于生成全景图像的帧图像数据。例如，执行预定时间内、预定摇摄角度内等的释放控制。

另外，在步骤F143中，检查是否在预定周期内检测到了新的人脸。

在图17B所示的示例中，在开始箭头PN7所标识的摇摄之后，在相对较短的时间内从第一人的脸部FC检测到第三人的脸部FC。但是，在检测到了第四人的脸部FC之后，几乎检测不到第五人的脸部FC。这里，在检测到了第三人的脸部FC之后，在视场方向位于箭头H3所标识方向的时间点处，假定在未检测到新面孔的周期内，时间TM1已经流逝。

在步骤F143中，确定时间TM1的流逝为预定周期的流逝。

在预定周期流逝的情况下，处理进行到步骤F 129，并且完成用于全景成像操作的摇摄云台10侧的摇摄处理。换言之，将图17所示水平方向的位置Y°设定为全景成像操作的结束位置。

另外，控制单元27在步骤F130中控制着到此时为止所获取的多个帧图像的合成处理，并且控制着在存储卡40中记录被合成的全景图像数据的操作。

以上，完成了如图11所示的步骤F112中或者图12所示步骤F211中的全景成像处理。

换言之，在图16所示的处理示例II中，首先，在开始全景成像操作之前，在可变成像视场控制单元83允许摇摄云台10执行摇摄的同时，控制单元27(自动全景成像控制单元84)分析所捕获的图像信号。接着，如在全景成像操作的开始位置，当确定目标主题(人脸图像)在预定的时间内不存在的时候，控制单元27设定视场位置。

此外，控制单元27(自动全景成像控制单元84)，在执行全景成像操作过程中，基于全景成像操作结束位置处的所捕获图像，当确定目标主题(人脸图像)在预定的时间内不存在的时候，设定成像视场位置。

以上，通过基于来自所捕获图像的人脸检测来确定全景成像操作的开始位置与结束位置，实现了具有恰当合成的自动全景成像操作。

例如，根据图17A与图17B中所示的操作，获得了具有如图17C所示合成的全景图像。此图像是将多个用户与用作其中心的图像中心对准的图像，并且其两端无人。换言之，由于未在全景图像的两端设置人的部分，因此获得了具有均衡合成的全景图像。

另外，在步骤F141与F143中，基于时间TM1的计时而描述被检测的预定周期的流逝。但是，可以不是通过计时，而是通过监控摇摄的控制量来检测预定角度范围的摇摄运动。换言之，监控在未检测到任何面孔的情况下，是否执行了预定角度的摇摄，

在步骤F142与F143中，尽管使用了时间TM1，但是可以监控不同的时间。

另外，在监控时间的情况下，很适合根据朝向全景成像操作开始位置的摇摄速度(虚线箭头PN6)与全景成像操作过程中的摇摄速度(箭头PN7)，设定预定周期的时间值。

但是，为了形成通过打开两端以均衡的方式布置人物图像的合成，在摇摄速度恒定的情况下，在步骤F141与F143中监控相等的时间值是可行的。

尽管将目标主题描述为人脸，但是可以考虑将除人脸之外的特定主题设定为目标主题。

另外，尽管假定并描述了在执行摇摄的同时，执行全了景成像操作的情况，但是可以考虑在执行倾斜的同时，沿水平方向执行全景成像操作的情况。在此种情况下，可以执行这样的处理，即在执行倾斜的同时，通过执行目标主题的存在确定，确定全景成像操作的开始位置与结束位置。

[5-3：处理示例III]

将参考图18、图19A、图19B、图20A、图20B、图21A与图21B，描述如图11所示的步骤F112中或者图12所示的步骤F211中的全景成像处理示例III。

处理示例III是基于表示预定主题目标的存在的成像历史信息，确定全景成像操作的开始位置与结束位置的处理，其中预定目标主题的存在是基于过去获得的所捕获图像信号生成的。

特别地，在本示例中，控制单元27通过参考基于成像历史信息获得的人脸检测图谱信息确定目标主题(例如，人脸)的存在分布。接着，根据该存在分布，确定全景成像操作的开始位置与结束位置。

首先，将参考图23描述成像历史信息与人脸检测图谱信息。

例如，在图11所示的步骤F109与图12所示的步骤F209中，当执行释放即静止图像的成像与记录操作时，控制单元27(成像历史信息管理单元87)执行将成像与记录操作时的各种信息存储在例如RAM29或闪存30中的处理。

被存储的信息成为成像历史信息的内容。

将参考图19A描述成像历史信息内容的示例。

通过成像历史信息单元1至n的设定形成成像历史信息。一个成像历史信息单元存储与曾经被执行的自动成像与记录相对应的历史信息。

一个历史信息单元，如图中所示，包括文件名称、成像日期与时间信息、变焦放大倍率信息、摇摄/倾斜位置信息、主题数目信息、个人识别信息、图像帧内的位置信息、尺寸信息、人脸检测信息、面部表情信息等。

文件名称表示所捕获图像数据的文件名称，其中将通过自动静止图像成像与记录被记录在存储卡40中的所捕获图像数据作为文件。除了文件名称，可以使用文件路径。在任何情况下，基于文件名称或者文件路径的信息，可以将成像历史信息单元与存储在存储卡40中的所捕获图像数据相关联。

成像日期与时间信息表示执行相应的自动静止图像与成像时的日期与时间。

变焦放大倍率信息表示成像与记录(释放)时的变焦放大倍率。

摇摄/倾斜位置信息表示当执行相应的成像与记录的时候设定的摇摄/倾斜位置。

主题数目信息表示存在于相应的所捕获数据内部的主题数目(被检测的单个主题)，即通过相应的自动成像与记录操作而存储在存储卡40中的所捕获图像的图像(图像帧)。

个人识别信息是存在于相应的所捕获图像数据的图像内的各主题的人人识别结果信息(个人识别信息)。

图像帧内的位置信息是表示图像帧内存在于相应的所捕获图像数据内部的各主题位置的信息。例如，图像帧内的位置信息可以表示为与图像内各主题所获取的中心对应的点的坐标位置。

尺寸信息是表示图像帧内存在于相应的所捕获图像数据的图像内的各主题的尺寸。

人脸检测信息是表示存在于相应的所捕获图像数据的图像内，用于个主题的被检测人脸方向的信息。

面部表情是表示存在于相应所捕获图像数据的图像内，用于各主题的被检测表情(例如，笑脸、非笑脸的鉴定)的信息。

例如，对于自动静止图像成像处理中的各个释放处理时间点来说，存储具有这些内容的成像历史信息。接着，通过维持成像历史信息单元如成像历史信息，可以执行各种处理。在本实施例中，在全景成像操作中，以下使用了成像历史信息。

首先，控制单元27(成像历史信息管理单元87)基于成像历史信息生成了如图19B所示的人脸检测图谱信息。这是通过划分例如用于各预定角度的摇摄云台10周围的360°范围，表示各角度位置处的用户(人脸)是否存在(估计存在)的信息。

例如，通过参考摇摄/倾斜位置信息或者各成像历史信息单元的图像内的位置信息，在确定人物存在各角度位置处，在用于各角度位置的图上设定存在标志“1”。

但是，基于周围人物的运动不能始终如一地确定用户操作。因此，人脸检测图谱信息并不需要是当前时间点的精确图。换言之，人脸图信息是之后，除非在用户运动的时候估计的用户存在的角度位置信息。因此，为了提高估计精度，可以考虑连续更新人脸检测图谱信息，使得其仅仅反映从当前时间起，预定时间范围内的成像历史信息单元的成像日期与时间信息。可替换地，可以在360°范围内执行自动静止图像成像时的人脸搜索过程中，在最新周期的释放时间点处，仅仅采用成像历史信息生成人物检测图谱信息。

通过参考该人脸检测图谱信息，可以在全景成像操作的时候，估计周围区域中用户的存在分布。因此，控制单元27执行了图18所示的处理作为全景成像处理。

在全景成像处理开始时，首先，控制单元27通过参考图18所示步骤F150中的人脸检测图谱信息，确定全景成像操作的开始位置与结束位置，

然后，在步骤F151中，控制单元27在全景成像操作的开始位置处执行摇摄控制。

现在将参考图20A、图20B、图21A与图21B描述步骤F150与F151的操作示例。

图20A、图20B、图21A与图21B中所示的角度位置与人脸检测图谱信息的角度位置相对应。控制单元27将摇摄位置0°视为参考位置(见图4)，生成人脸图谱信息，并且估计周围人物的存在。

假定在数字照相机1与摇摄云台10的周围区域中存在许多用户。然后，基于上述人脸检测图谱信息，例如，如图20A所示，在各个周围的角度位置处估计人脸FC的存在。

在此情况下，控制单元27将其中人脸FC与FC之间距离最长的部分的中心设定为全景图像的拐角。换言之，控制单元27设定了组合中心，使得其中人脸FC与FC之间距离最长的部分的中心点成为全景图像的拐角。

在360°的范围内执行全景成像操作的情况下，全景成像操作的开始位置与结束位置成为相同的角度位置。在图20A所示的情况下，基于人脸检测图谱信息，将图中225°处的位置确定为人脸FC与FC之间距离最长的部分的中心。为了在全景图像的拐角中配置225°处的位置，组合中心可以是45°处的位置。

在此情况下，控制单元27将225°处的位置确定为全景成像操作的开始位置与结束位置。

另外，图21A示出了在270°范围内执行全景成像操作的示例。在基于人脸检测图谱信息估计图21A所示情形的情况下，将图中所示135°处的位置确定为人脸FC与FC之间距离最长的部分的中心。

在此情况下，控制单元27确定全景成像操作的开始位置与结束位置，使得135°处的位置成为不包括在全景成像的270°范围内的角度范围(剩余的90°范围)的中心，换言之，控制单元27将图中所示315°处的位置配置为组合中心。

在本示例中，可以这样构造：将180°处的位置设定为全景成像操作的开始位置，将90°处的位置设定为全景成像操作的结束位置。

在步骤F150中，如上确定开始位置与结束位置，在步骤F151中，执行返回到开始位置的摇摄，并且在步骤F122及之后的处理中，执行全景成像操作。由于步骤F122至F130与图13中所示的步骤相同，所以忽略了其描述。

另外，显而易见，步骤F128中确定的全景结束位置成了步骤F150中基于人脸检测图谱信息所确定的全景结束位置。

根据本处理，在自动全景成像操作中获得了具有良好平衡的全景图像。

例如，当通过确定参考图20A所述的开始位置与结束位置，在360°范围内执行全景成像操作时，很大程度上能够获得图20B中所示的全景图像。换言之，形成了其中聚集人物的方向成为图像的中心，并且人物稀少的方向为其两端的合成。

同样在通过确定参考图21A所述的开始位置与结束位置，在270°范围内执行全景成像操作的情况下，很可能获得具有良好平衡的全景图像。

以上，在周围区域中基于人物的存在估计实现了良好的全景成像操作。

另外，尽管将目标主题描述为人脸，但是可以考虑将除人脸以外的特定主题作为目标主题。可以这样构造，即生成特定目标主题的图谱信息，且通过参考生成的图谱信息确定全景成像操作的开始位置与结束位置。

另外，已经假定并描述了在执行摇摄的同时，执行了全景成像操作的情况。但是，也可以采用在垂直方向执行倾斜的同时，执行全景成像操作的情况。在此情况下，可以执行在倾斜范围内生成图谱信息，并且通过参考生成的图谱信息确定全景成像的开始位置与结束位置的处理。

[5-4：处理示例IV]

将参考图22、图23、图24A、图24B、图25A、图25B与图25C，描述能够被应用到如图11所示的步骤F112或者图12所示的步骤F211的全景成像处理示例IV。

处理示例IV，与上述处理示例III类似，也是基于表示预定主题目标或者人脸检测图谱信息存在的成像历史信息，确定全景成像操作的开始位置与结束位置的处理，其中预定主题目标或者人脸检测图谱信息的存在是基于过去所获得的所捕获图像信号生成的。

但是，在处理示例IV中，基于水平方向位置处与垂直方向位置处的目标主题的存在分布和全景图像的尺寸执行合成调节。

更具体而言，作为合成调节，计算变焦放大倍率，并执行使变焦机构的变焦放大倍率发生变化的控制。

将参考图22描述控制单元27的处理。

首先，在步骤F160中，通过参考人脸检测图谱信息，确定全景成像操作的开始位置与结束位置。其可以被认为与上述处理示例III(图18所示的步骤F150)的操作相同。换言之，通过参考位于人脸检测图谱信息最远处的用户的中心点确定组合中心，确定开始位置与结束位置。另外，在本示例中，假定通过用户的设定来确定图像尺寸，同样根据该图像尺寸确定全景成像操作的角度范围。

在步骤F161中，控制单元27根据图像尺寸与主题状态执行变焦确定。将参考图24A、图24B、图25A、图25B与图25C描述本处理。

假定当在与普通全景成像的变焦状态相同的变焦状态下，不执行任何变焦控制的情况下执行全景成像操作时，获得图24A所示的全景图像。在该全景图像中，以相对较小的尺寸传送人脸。

另一方面，假定当在改变变焦放大倍率的情况下执行全景成像操作时，获得了图24B所示的全景图像。

当将图24A与图24B中所示的全景图像进行比较时，可以想到就合成而言，图24B是优选的。其原因是在图24B中，改进了合成，并且以较高的精度传送了各用户的脸部以提高图像质量。

通过在执行全景成像操作的同时执行变焦控制，可以获得合适的全景图像。但是，执行变焦控制并不通常都是合适的。例如，存在可能通过增大变焦放大倍率排除了处于拐角的人物的情况。

因此，在本示例中，在步骤F161中，控制单元27确定是否执行变焦控制，并且确定在根据图像尺寸与物体分布执行变焦控制的情况下的变焦放大倍率。

当在步骤F161中确定变焦设定时，控制单元27执行图23中所示的处理。

首先，在步骤F191中，控制单元27计算了最大间距Xmax与Ymax。

如图25A至图25C所示，最大间距Xmax与Ymax是水平方向和垂直方向上彼此相距最远的人脸之间的间距。

可以通过参考人脸检测图谱信息获得水平方向的最大间距Xmax。换言之，可以基于位于拐角最内侧的两个人脸之间的角度差异，如包括在全景成像操作的角度范围内的用户分布，获得最大间距Xmax。

另外，为了获得垂直方向的最大间距Ymax，例如，也可以生成现有人脸位置的图信息。例如，当使用倾斜信息与各个成像历史信息单元的图像帧内的位置信息时，可以计算各个被检测的人脸图像沿垂直方向的绝对位置。基于被计算的位置生成垂直方向的图谱。然后，基于该图谱确定在要执行的全景成像操作的倾斜角度范围内彼此相距最远的人脸的位置，并且获取其间的间距。

例如，当如上获得了最大间距Xmax与Ymax时，控制单元27执行步骤F192与F193的计算。

首先，在步骤F192中，将通过将图25A至图25B所示的水平尺寸Xwide增加预定系数(这里，例如为0.8)倍所获得的数值与最大间距Xmax一起比较。

另外，在步骤F193中，将通过将垂直尺寸Ywide增加预定系数(例如为0.8)倍所获得的数值与最大间距Yamx一起比较。

在步骤F192与F193中，当不满足条件“Xwide×0.8＜Xmax”与条件“Ywide×0.8＜Ymax”的任何一者时，不执行变焦控制。换言之，在此情况下，维持用于全景成像操作的普通变焦设定。

另一方面，当同时满足上述两个条件时，控制单元27将处理推进到步骤F194与F195，并且执行变焦控制。

在步骤F194中，控制单元27计算了变焦放大倍率。例如，将变焦放大倍率设定到通过“Xwide/(Xmax+K)”所获得的放大倍率。这里，“K”是与变焦之后的页边距相对应的数值。

然后，在步骤F195中，控制变焦机构具有变焦放大倍率。

将参考图25A至图25C描述上述处理。

例如，在执行全景成像的角度范围内，将基于人脸检测图谱信息估计的周围区域中的人物分布假定为如图25A所示的人物分布。换言之，估计获得了具有与如图25A所示合成相同的合成的全景图像。

在此情况下，图像的端部没有任何用户，用户的脸部相对聚集在中心，且并不期望整个合成。

在此情况下，由于最大间距Xmax远远小于水平尺寸Xwide，所以满足条件“Xwide×0.8＜Xmax”。

另外，由于最大间距Ymax远远小于垂直尺寸Ywide，所以满足条件“Ywide×0.8＜Ymax”。

在此情况下，在步骤F194中计算变焦放大倍率，并执行变焦控制。将变焦放大倍率设定到放大倍率，这是由于通过将页边距K增加到图中所示的最大间距Xmax而获得的数值为水平尺寸Xwide。

因此，以变大的比例画出人物的脸部，并且因此能够获得具有合成的全景图像，其中在合成过程中，图像上的布置是值得期望的。换言之，能够获得如参考图24B所述的合成。

另一方面，图25B示出了这样的示例，即当在普通变焦放大倍率的状态下执行成像操作时，在水平方向相对较宽的范围内形成其中分布用户面孔的合成。在此情况下，当增加变焦放大倍率时，就会排除位于中心处的人物面孔。

在此情况下，不满足“Xwide×0.8＜Xmax”的条件，所以并不执行变焦控制。

另外，图25C示出了这样的示例，即当在普通变焦放大倍率的状态下执行成像操作时，在垂直方向相对较宽的范围内形成其中分布用户面孔的合成。在此情况下，当增加变焦放大倍率时，可能会排除位于上侧或者下侧的人物面孔。

在此情况下，不满足“Ywide×0.8＜Ymax”的条件，所以并不执行变焦控制。

这里，基于最大间距Xmax或Yamx是否是图像尺寸Xwide或Ywide的0.8倍，确定变焦控制的执行。但是，可以应用除0.8之外的任何其它因数。

在图22所示的步骤F161中，控制单元27如上执行变焦设定。然后，在步骤F161中，执行变焦控制或者不改变变焦放大倍率，并且在步骤F162中执行朝向全景成像操作开始位置的摇摄控制。换言之，执行朝向步骤F160中所确定的全景开始位置的摇摄。

当执行朝向全景成像操作开始位置的摇摄时，如在步骤F123及之后的处理中，执行全景成像操作。步骤F123至F130与图13中所示步骤相同，因此，忽略了它的描述。

另外，步骤F128中所确定的全景结束位置是步骤F160中基于人脸检测图谱确定的全景结束位置。

根据处理示例IV，与处理示例III类似，在自动全景成像操作中可以获得具有良好均衡合成的全景图像。此外，当在确定为合适的时候，依据分布状态改变变焦放大倍率。因此，能够获得具有更高期望值与较高图像品质的全景图像。

另外，在步骤F161中执行变焦控制的情况下，可以考虑获得倾斜控制也是最佳的合成，例如，在成像视场的上端等附近分布着大多数用户面部的情况下，可以考虑将通过变焦而将人脸聚集在全景图像上端附近的情况作为极端情况。在此情况下，通过执行倾斜控制，能够实现具有更合适合成的全景图像。

另外，同样在本处理示例中，目标主题可以是除人脸之外的特定主题。

[5-5：处理示例V]

将参考图26描述能够被应用到如图11所示的步骤F112或者图12所示的步骤F211的全景成像处理示例V。

处理示例V是在执行360°全景成像的情况下，将水平方向的当前位置用作开始位置，立即执行360°范围内的全景成像操作的示例。换言之，在摇摄方向上不执行合成调节的情况下，执行360°范围内的全景成像操作。

在处理进行到图11所示步骤F112或者图12所示步骤F211，并且执行全景成像的情况下，如图26所示的步骤F124，控制单元27执行此时间点处该状态的释放控制。换言之，首先，在不执行合成调节的情况下获得第一帧图像数据。

然后，在步骤F125中开始摇摄，在步骤F126中确定释放定时，并且在步骤F127中执行释放控制。

在步骤F128A中，控制单元27监控360°摇摄的完成。可以基于控制单元27的摇摄控制量检查摇摄角度，或者可以将摇摄云台10的控制单元51构造为通知360°摇摄的完成。

当检测到360°摇摄的完成时，控制单元27在步骤F129中执行摇摄完成控制，在步骤F130中执行全景合成处理与全景图像数据的记录处理。

处理示例V很适合作为以迅速的方式执行全景成像操作情况下的控制方法。

首先，由于在360°范围内执行全景成像操作，所以能够在水平方向不执行合成调节的情况下，使整个周围区域成像。

与上述处理示例I至IV类似，当在全景成像操作开始之前，执行摇摄、倾斜与变焦的必要控制时，处理所需的时间相应增加。因此，可能会错过全景成像的定时。

因此，当期望立即执行全景成像时，在或多或少地牺牲合成降级的情况下，以优先的速度适当地选择如图26所示的处理。在图26中，描述了任何未被执行的合成调节。但是，例如，可以考虑在步骤F124之前仅仅立即执行倾斜调节的处理示例。

当仅仅执行倾斜操作时，可以在考虑在快速开始全景成像操作的同时，实现期望值更高的合成。

<6.全景成像的触发器>

[6-1：各种触发器的示例]

接着将描述用于执行全景成像的触发器。图27A、图27B、图28A、图28B、图29A、图29B、图30A与图30B示出了确定各种触发器发生的处理示例。这些处理示例可以被看作，例如是图12所示步骤F205中的处理。

图27是将用户的触摸操作认为是用于执行全景成像的触发器的示例。

当例如在自动静止图像成像的过程中，在步骤F300中识别触摸操作时，控制单元27在步骤F304中确定用于执行全景成像的触发器的发生。通过摇摄云台10的控制单元51识别用于摇摄云台10的用户触摸操作，并且将触摸操作通知给控制单元27。

这是被应用到上述处理示例I的情况的确定触发器的处理，。

另外，类似地，可以考虑控制单元27根据除了触摸操作以外的用户操作识别用于全景成像的触发器的情况。

图27B是在根据自动静止图像成像时预定范围的搜索完成或者静止图像成像的完成而执行全景成像的情况下，确定触发器的发生。

在步骤F350中，控制单元27确定预定角度的搜索或者静止图像成像是否完成。当确定其完成时，在步骤F351中，控制单元27确定用于执行全景成像的触发器的发生。

如参考图12所述，如步骤F206至F209，在执行人脸搜索的同时执行自动静止图像成像操作。例如，设定用于摇摄云台10周围区域的每90°区域，并且通过执行摇摄与倾斜，使用用预定的搜索样式，搜索用于各个区域的人脸。

通过执行贯穿该区域的搜索与静止图像成像，执行用于360°周围区域的自动静止图像成像处理。

例如，在此时间点处，执行全景成像。在此情况下，控制单元27确定360°范围内的搜索如预定角度的搜索是否完成，并在其完成的情况下，控制单元27可以识别用于全景成像的触发器的发生。

图28A是基于现有预定目标主题的数目而发生的触发器示例，其中现有预定目标主题的数目是基于所捕获图像识别的。这里，目标主题被假定为人脸。

在步骤F310中，控制单元27在自动静止图像成像开始之后检查被检测人脸的数目。换言之，检查位于周围区域中的人物数目。

例如，通过积聚上述从自动静止图像成像开始起的成像历史信息，可以确定位于周围区域中的人物数目。当使用了包含在参考图19A与图19B所述的成像历史信息单元中的人物识别信息时，可以精确地确定其中能够分别确定个人的角度处的人物数目。

然后，当在步骤F131中确定了与预定数目或者多于现有数目的数目相对应的人脸时，控制单元27在步骤F312中确定用于执行全景成像的触发器的发生。

根据此触发器，在执行静止图像的情况下，当周围区域中有许多人时，自动执行全景成像。

图28B是基于多个特定目标主题之间的间距而发生触发器的示例。

在步骤F320中，控制单元27确定在自动静止图像成像中间过程中被检测的人脸之间的间距。例如，基于上述成像历史信息之上的人脸检测图谱信息，能够计算多个人物之间的间距。

然后，当在步骤F321中确定了大于等于预定数值的间距时，控制单元27在步骤F322中确定用于执行全景成像的触发器。

根据此触发器，当执行自动静止图像成像时，在彼此分开一定角度的位置处有多个人物的情况下，自动执行全景成像。

图29A是通过成像和记录与自动静止图像成像过程中的预定数目相对应的静止图像，执行全景成像的情况。

在步骤F330中，控制单元27在自动静止图像成像之前，检查所捕获图像的数目Cpct。所捕获图像的数目Cpct是变量，并且当每次执行如图12所示步骤F209的处理时便会增加。

然后，在步骤F331中，控制单元27将所捕获图像的数目Cpct与预定数值Cmax进行比较。

当Cpct≥Cmax时，在步骤F332中确定用于执行全景成像的触发器的发生。

在步骤F333中，为了确定下一个触发器，将所捕获图像的数目Cpct的数值重新设定到“0”.

基于触发器的此确定，例如，在预定数值Cmax＝50的情况下，可以实现在自动静止图像成像过程中，当每次执行与50张所捕获图像相对应的静止图像成像的时候，执行全景成像的处理。

图29B是在自动静止图像成像过程中经常性地执行全景成像的情况。

在步骤F340中，控制单元27检查自动静止图像成像的持续时间TMcnt。持续时间TMcnt是执行如图12所示步骤F206至F209中的处理的周期时间。首先，在步骤F203的时间点处开始计数。

然后，在步骤F341中，控制单元27将持续时间TMcnt与预定时间TMmax进行比较。

当TMcnt≥TMmax时，控制单元27在步骤F342中确定用于执行全景成像的触发器的发生。

在步骤F343中，为了确定下一个触发器，将持续时间TMcnt的数值重新设定到“0”.

基于触发器的此确定，例如，在预定数值TMmax＝5分钟的情况下，可以实现在自动静止图像成像的过程中，每5分钟执行全景成像的处理。

图30A是基于在自动静止图像成像中的主题搜索期间被分析的所捕获图像信号或者基于周围声音估计的主题状态而发生的触发器示例。例如，确定是否存在现有状态。

在步骤F360中，控制单元27执行状态确定。例如，例如基于被检测音量如声音输入的迅速增加、整个穿过图像分析的运动量的增加等估计周围的状态。

例如，在聚会上存在兴奋状况等的情况，或者在大家都鼓掌的情况下等，输入音量会暂时增加，或者所捕获图像中主题的运动会增加。因此，基于这些情况，可以估计兴奋状况。

当在步骤F361中确定存在兴奋状况时，控制单元27在步骤F362中确定用于执行全景成像操作的触发器的发生。

基于此触发器确定，可以实现当在自动静止图像成像过程中存在兴奋状况时，执行全景成像的处理。

图30B是基于特定目标类型而发生的触发器示例，其中特定目标类型是基于自动静止成像中的主题搜索过程中的所捕获图像信息识别的。

在步骤F370中，控制单元27执行主题确定。例如，控制单元27确定主题是否为自然景观。例如，甚至当在360°周围区域中执行人脸搜索时，检测无人或者仅仅有一人或两人的状况成了用于估计主题不是聚会等而是景观的因素。另外，其中涉及主题颜色，存在将蓝色或者绿色的颜色区域估计为天空、海洋、山脉等的状况，其中主题的亮度较高并且具有用于估计主题位于户外的数值等的状态成了用于景观成像的估计因素。

通过这些条件的确定，当在步骤F371中确定了景观成像时，控制单元27在步骤F372中确定用于执行全景成像的触发器的发生。

基于这些触发器确定，在景观成像的情况下自动执行全景成像。

[6-2：根据触发器的处理设定]

直到现在为止，已经描述了各种触发器。在利用上述触发器中的多个触发器的情况下，很适合根据触发器来改变用于图12所示步骤F211中的全景成像处理的方法。

例如，当在图12所述步骤F205中确定触发器的发生时，控制单元27根据步骤F210中的触发器类型选择步骤F211的处理方法。

图31示出了响应于各种触发器的全景成像处理的合适示例。

当通过图27A所示的触摸操作的识别来识别触发器时，与步骤F211的全景成像处理一样，适合执行参考图13所述的处理示例I。其原因是能够实现触摸操作件位于中心的全景成像合成。

当如图27B所示，当根据预定范围的自动静止图像成像的完成来识别触发器时，与步骤F211的全景成像处理一样，适合执行参考图16所述的处理示例II。其原因是能够根据此时间点处周围人物的位置，获得具有恰当合成的全景图像。

另外，在此情况下，如图18中所示的处理示例III或者图22中所示的处理示例IV，可以认为使用成像历史信息(人脸检测图谱信息)的处理示例是合适的。

当如图28A所示，当根据自动静止图像成像开始之后的被检测人脸数目大于等于预定数目来识别触发器时，如步骤F211的全景成像处理，适合执行参考图16所述的处理示例II。其原因如下。例如，在检测与预定数目或者大于预定数目的数目相对应的人脸的情况下，执行全景成像。因此，考虑了非周期的全景成像，很适合根据执行全景成像的时间点处的周围人物的位置获得具有恰当合成的全景图像。

另外，在聚集成像历史信息的情况下，如图18中所示的处理示例III或者图22中所示的处理示例IV，在同样的情况下，可以认为使用成像历史信息(人脸检测图谱信息)的处理示例是合适的。

当如图28B所示，根当据多个人脸之间的间距大于等于预定数目来识别触发器时，如步骤F211的全景成像处理，适合执行参考图22所述的处理示例IV。其原因是根据间距执行了恰当的变焦控制，从而获得了具有良好合成的全景图像。

另外，在此情况下，可以认为图18所示的处理示例III或者图16所示处理示例II是合适的。

当如图29A所示，当被识别的用于每个预定数目图像的静止图像成像的触发器，或者如图29B所示，来识别用于成像的每个预定持续时间的周期触发器时，如步骤F211的全景成像处理，适合执行参考图22所述的处理示例IV。其原因如下。由于自动静止图像成像的连续性，所以用于更新成像历史信息或者人脸检测图谱信息会发生许多变化，并且因此能够执行存在性精确度较高的估计。从这点来看，图18中所示的处理示例III也是合适的。另外，可以认为图16中所示的处理示例II是合适的。

当如图30A所示，当根据兴奋状况的确定来识别触发器时，如步骤F211的全景成像处理，适合执行参考图26所述的处理示例V。

其原因是在不缺失兴奋状况的情况下，能够以快速的方式执行全景图像。

当如图30B所示，当根据景观的确定来识别触发器时，如步骤F211的全景成像处理，适合执行参考图26所述的处理示例V。其原因是能够恰当地观察到此时间点处的景观。但是，根据目标主题的设定，处理示例II、III、IV在景观成像的情况中的应用可以是非常合适的。

图31中所示的各种触发器与处理示例的对应仅仅是示例。但是，通过根据这些触发器来改变全景成像处理方法，可以根据各种状况执行恰当的全景成像。

例如，假定在由本示例的数字照相机1与摇摄云台10构造的成像***中进行图12中所示步骤F205的处理时，利用图31中所示的这8种触发器。在此情况下，控制单元27在步骤F210中根据触发器类型选择处理示例I至V之一，在步骤F211中执行被选择的处理示例的控制。因此，能够获得具有适合于状况的合成的全景图像。

<7.其它功能构造示例>

以上，尽管描述了本实施例的操作，但是到现在为止，已经描述了这些操作如基于图9所示功能构造的控制处理。

例如，在由数字照相机1与摇摄云台10构造的成像***中，可以考虑除图9所示示例以外的功能构造示例。图32示出了示例。

图32是数字照相机1侧只包括成像与记录控制单元81、通信处理单元85及输入识别单元88的示例。在摇摄云台10侧(控制单元51)上，设置了通信处理单元71、输入识别单元73、自动静止图像成像控制单元74、可变成像视场控制单元75、自动全景成像控制单元76、自动成像模式控制单元77与成像历史信息管理单元78。

通过各个功能单元执行的控制处理基本上与参考图9所述的控制处理相同。但是，差别如下。

自动全景成像控制单元76与自动静止图像成像控制单元74提供了所捕获图像数据，如来自数字照相机1的信号处理单元24的各个帧图像。然后，执行必要的图像分析。

但是，如参考图8所示，在将成像单元63布置在摇摄云台10侧的情况下，可以基于成像单元63的所捕获图像数据执行图像分析或者合成处理。

另外，全景成像控制单元76通过通信处理单元71指引位于数字照相机1侧上的控制单元27(成像与记录控制单元81)在全景成像操作时的摇摄处理或者全景合成处理过程中获取帧图像数据。

可变成像视场控制单元75响应于自动静止图像成像控制单元74或自动全景成像控制单元76的方向，通过控制摇摄驱动单元55与倾斜驱动单元58，执行用于主题检测或者合成组合的摇摄/倾斜操作。

另外，为了便于变焦控制，可变成像视场控制单元75通过通信控制单元71将变焦控制信号输出到位于数字照相机1侧上的控制单元27(成像与记录控制单元81)。成像与记录控制单元81基于该变焦控制信号，控制用于合成组合的变焦处理。

另外，为了实现例如，如图11与图12所示的处理操作，自动成像模式控制单元77将方向输送到各个功能部分。

为了执行图11所示步骤F109或者图12所示步骤F209的处理，自动成像模式控制单元77通过通信处理单元71将合适的控制信号输出到位于数字照相机1侧上的控制单元27(成像与记录控制单元81)。成像与记录控制单元81根据该释放控制信号控制静止图像记录操作。

另外，自动成像模式控制单元77执行用户操作的检测，外部声音的检测、图像检测等，依次作为触发器的识别。在摇摄云台10中安装了声音输入单元62的情况下，输入识别单元73识别声音输入，并且自动成像模式控制单元77执行触发器的确认。

换言之，图32示出了其中摇摄云台10侧通过独立控制自动成像模式以将所需方向设置到数字照相机1的控制单元27，实现了自动静止图像成像与自动全景成像的示例。

在此情况下，上述处理示例I至V与触发器识别处理可以被认为是摇摄云台10中控制单元51的处理。

以上，已经描述了图9与图32中所示的功能构造示例。当采用图9中所示的功能构造时，在数字照相机1中安装根据本发明实施例的成像控制设备。另一方面，当采用图32中所示的功能构造时，在摇摄云台10中安装了根据本发明的实施例的成像控制设备。

根据本发明的成像控制设备至少包括自动全景成像控制单元(84或76)与可变成像视场控制单元(83或75)。

因此，甚至当将功能部分分割且安装到单个设备时，至少包括自动全景成像控制单元(84或76)与可变成像视场控制单元(83或75)的设备是本发明实施例的示例性示例。

可替换地，在将自动全景成像控制单元(84或76)与可变成像视场控制单元(83或75)构造为单个设备的功能部分时，通过由这些设备构造的***实施了本发明的实施例。

在上述实施例中，已经描述了执行全景成像如自动成像的示例。但是，可以将上述实施例I至V应用为在自动成像处理的过程中不通过用户操作而指引全景成像的处理。

<8.程序>

根据本发明的实施例，可以设置用于成像控制设备的程序。

根据本发明实施例的程序是允许诸如CPU之类的操作处理设备(控制单元27等)执行图11与图12所示的上述处理、处理示例I至V的处理及触发器识别处理的程序。

根据本发明实施例的程序允许在通过可变摇摄/倾斜结构的驱动而改变成像视场的同时，获得多个用作在全景成像时生成全景图像数据的图像数据。然后，在全景成像操作之前或者在全景成像操作过程中，该程序允许操作处理单元基于所捕获的图像信号，在执行全景成像的时候，执行确定控制操作的处理。

另外，根据本发明实施例的程序根据用于执行全景成像的触发器，确定执行全景成像时的控制操作。然后，该程序允许操作处理单元在通过可变摇摄/倾斜结构的驱动而改变成像视场的同时，基于被确定的控制操作，获得多个用作在全景成像时生成全景图像数据的图像数据。

根据本发明实施例的成像可以被提前记录在作为记录媒体的HDD、ROM中，其中该记录媒体被建立在如个人计算机、数字照相机1或者摇摄云台10的设备中，ROM位于具有CPU的微计算机内部。

可替换地，可以将程序暂时或者永远存储(记录)在可移动记录媒体如软盘、CD-ROM(Compact Disc Read Only Memory，只读存储器)、MO(Magnet Optical，磁光)盘、DVD(Digital Versatile Disc，数字化通用光盘)、蓝光光盘(Blue-ray Disc)、磁盘、半导体存储器或者存储卡中。另外，可以将可移动记录媒体设置为所谓的软件包。

另外，根据本发明实施例的程序可以从可移动记录媒体被安装到个人计算机等，或者通过网络如LAN(Local Area Network，局域网)或互联网从下载网址下载。

根据本发明实施例的程序对于成像设备和执行上述实施例的处理的成像***，以及对于广泛的应用来说是适合的。

本发明包括与日本专利局公开号为JP 2010-050086、申请日为2010年3月8日的日本优先专利申请相关的主题，在此通过应用将其全部内容结合于此。

本领域技术人员应理解，在权利要求书及其替代物的范围内，可以基于设计要求及其它因素作出各种修改、组合、附加组合及替代。

Claims (20)

1.一种用于成像装置或者成像***的成像控制设备，所述成像***包括使主题成像的成像单元和所述成像单元的成像视场的可变机构，所述成像控制设备包括：

可变成像视场控制单元，其控制着所述成像视场的所述可变机构的驱动；以及

自动全景成像控制单元，其在通过使用所述可变成像视场控制单元改变所述成像视场的同时，允许所述成像单元通过诸如全景成像之类的成像获得多个用作生成全景图像数据的图像数据，并且基于所述成像单元所获得的所捕获图像信号确定所述全景成像时的控制操作。

2.根据权利要求1所述的成像控制设备，

其中所述自动全景成像控制单元基于预定主题的存在确定，确定所述全景成像的开始位置与结束位置，其中所述预定主题的存在确定是基于所述成像单元所获得的所捕获图像信号识别的。

3.根据权利要求2所述的成像控制设备，其中当所述自动全景成像控制单元允许所述可变成像视场控制单元通过使用所述可变机构移动所述成像视场时，基于所述成像单元所获得的所捕获图像信号，将确定预定角度内或者预定时间内不存在所述主题目标时的所述成像视场的位置设定为所述全景成像的开始位置，且

其中所述自动全景成像控制单元基于所述成像单元在执行所述全景成像过程中所获得的所捕获成像信号，将确定所述预定角度或者所述预定时间内不存在所述主题目标时的所述成像视场的位置设定为所述全景成像的结束位置。

4.根据权利要求1所述的成像控制设备，

其中所述自动全景成像控制单元基于表示预定目标主题的存在，并且基于所述成像单元过去所获得的所捕获图像数据生成的历史信息，确定所述全景成像的开始位置与结束位置。

5.根据权利要求4所述的成像控制设备，

其中所述自动全景成像控制单元基于所述历史信息确定所述目标主题的存在分布，并且基于所述存在分布确定所述全景成像的所述开始位置与所述结束位置。

6.根据权利要求4所述的成像控制设备，

其中所述自动全景成像控制单元基于水平方向位置处与垂直方向位置处的所述目标主题的存在分布，并且基于所述历史信息所获得的所述主题目标的全景图像尺寸执行合成调节。

7.根据权利要求6所述的成像控制设备，

其中所述自动全景成像控制单元在所述合成调节时，计算变焦放大倍率，且允许所述可变成像视场控制单元改变所述可变机构之一的变焦机构的所述变焦放大倍率。

8.根据权利要求1所述的成像控制设备，

其中所述自动全景成像控制单元在所述全景成像开始之前的合成调节时，允许所述成像视场控制单元仅仅执行垂直方向成像视场位置的调节控制。

9.一种用于成像装置或者成像***的成像控制设备，所述成像***包括使主题成像的成像单元和所述成像单元的成像视场的可变机构，所述成像控制设备包括：

可变成像视场控制单元，其控制着所述成像视场的所述可变机构的驱动；

自动全景成像控制单元，其在通过使用所述可变成像视场控制单元改变所述成像视场的同时，允许所述成像单元通过诸如全景成像之类的成像获得多个用作生成全景图像数据的图像数据，并且根据用于执行所述全景成像的触发器来确定所述全景成像时的控制操作。

10.根据权利要求9所述的成像控制设备，

其中所述自动全景成像控制单元控制着所述全景成像的开始位置与结束位置，使得在根据基于所述用户操作的触发器而执行所述全景成像的情况下，用户操作的水平位置成为全景图像的中心。

11.根据权利要求9所述的成像控制设备，

其中所述自动全景成像控制单元在根据用于360°全景成像的所述触发器而执行所述全景成像的情况下，将水平方向的当前位置用作开始位置，在通过使用所述可变成像视场控制单元在水平方向的360°范围内改变所述成像视场的同时，执行所述全景成像。

12.根据权利要求9所述的成像控制设备，

其中所述自动全景成像控制单元根据基于现有预定目标主题的数目或者多个所述预定目标主题之间的间距而发生的触发器，执行全景成像控制，其中所述预定目标主题的数目或者所述多个所述预定目标主题之间的间距是基于所述成像单元所获得的所捕获图像识别的。

13.根据权利要求9所述的成像控制设备，还包括：自动静止图像成像控制单元，其允许所述成像装置在通过使用所述可变成像视场控制单元改变所述成像视场的同时，通过执行主题检测自动来执行静止图像成像，

其中所述全景成像控制单元根据所述自动静止图像成像控制单元的控制，根据基于所述静止图像成像的次数、所述自动静止图像成像的周期、或者预定范围内所述自动静止图像成像的完成而发生的触发器，执行所述全景成像控制。

14.根据权利要求12所述的成像控制设备，

其中所述自动全景成像控制单元基于预定目标主题的存在确定，确定所述全景成像的开始位置与结束位置，其中所述预定目标主题的存在确定是基于所述成像单元所获得的所捕获图像识别的。

15.根据权利要求12所述的成像控制设备，

其中所述自动全景成像控制单元基于表示预定目标主题存在，并且基于所述成像单元过去所获得的所捕获图像数据生成的历史信息，确定所述全景成像的开始位置与结束位置。

16.根据权利要求9所述的成像控制设备，

其中所述自动全景成像控制单元根据基于主题状况而发生的触发器来执行全景成像控制，其中所述主题状况是基于所述成像单元所获得的所捕获图像及/或周围声音估计的。

17.根据权利要求9所述的成像控制设备，

其中所述自动全景成像控制单元根据基于所述主题的预定类型而发生的触发器执行全景成像控制，其中所述主题的预定类型是基于所述成像单元所获得的所捕获图像识别的。

18.根据权利要求16所述的成像控制设备，

其中所述自动全景成像控制单元在所述全景成像开始之前的合成调节时，允许所述可变成像视场控制单元仅执行垂直方向成像视场位置的调节控制。

19.一种用于成像装置或者成像***的控制成像的方法，所述成像***包括使主题成像的成像单元和所述成像单元的成像视场的可变机构，所述方法包括以下步骤：

允许所述成像单元基于所述成像单元在执行全景成像之前或者执行全景成像过程中所获得的所捕获图像信号，在通过控制所述可变机构的驱动与确定所述全景成像是的控制操作来改变所述成像视场的同时，通过诸如所述全景成像之类的成像获得多个用作生成全景图像数据的图像数据。

20.一种用于成像装置或者成像***的控制成像的方法，所述成像***包括使主题成像的成像单元和所述成像单元的成像视场的可变机构，所述方法包括以下步骤：

根据用于执行所述全景成像的触发器确定全景成像时的控制操作；允许所述成像单元在通过控制所述可变机构的驱动来改变所述成像视场的同时，通过所述被确定的控制操作，通过诸如所述全景成像之类的成像获得多个用作生成全景图像数据的图像数据。

Images