CN102202168B - 控制装置、相机***和程序 - Google Patents

Abstract

提供了控制装置、相机***和程序。本发明的控制装置包括：显示控制部件，执行控制，以使得显示整体图像显示区域和放大图像显示区域，其中在整体图像显示区域中，显示相机所捕获的整体图像，在放大图像显示区域中，放大与在整体图像上指定的位置相对应的区域并且显示经放大的图像；以及控制部件，执行控制，以使得改变与在整体图像上指定的位置相对应的区域。所述区域包括至少一个预设区域，并且显示控制部件在整体图像上显示与预设区域对应的部分。

Description

控制装置、相机***和程序

技术领域

本发明涉及控制装置、相机***和程序。

背景技术

已知将相机可捕获的范围显示为整体图像并且通过对于整体图像的操作来控制相机的成像方向的相机控制***。例如，在日本专利申请公开No.JP-A-2005-354748中描述了这种相机控制***。进一步，已知这样的相机控制***：将对应于预设部分的各部分显示为缩略图，并且当选择了所期望的一个缩略图时，将相机的成像方向控制到对应的预设方向(例如，参见日本专利申请公开No.JP-A-2008-22260)。

发明内容

然而，在日本专利申请公开No.JP-A-2005-354748和日本专利申请公开No.JP-A-2008-22260中描述的任一上述相机控制***中，不能容易地在相机可捕获的范围(整体图像)中确定哪个位置对应于预设部分。另外，在JP-A-2005-354748和JP-A-2008-22260中描述的技术中，不能在整体图像上确定预设位置。因此，不能通过对于整体图像的操作来朝着预设部分控制成像方向。结果，不能直观地将成像方向控制到所期望的预设方向，并且需要许多尝试和错误。

鉴于上述，期望提供允许将成像方向直观地控制到在整体图像中设置的预设区域的新颖的和改进的控制装置、相机***和程序。

根据本发明的实施例，提供了控制装置，其包括：显示控制部件，其执行控制以使得显示整体图像显示区域和放大图像显示区域，其中在所述整体图像显示区域中显示相机所捕获的整体图像，而在所述放大图像显示区域中放大与在整体图像上指定的位置相对应的区域并且显示经放大的图像；以及控制部件，其执行控制以使得改变与在整体图像上指定的位置相对应的区域。所述区域包括至少一个预设区域，并且所述显示控制部件在整体图像上显示对应于所述预设区域的部分。

在此配置中，所述控制部件执行控制以使得与在整体图像上指定的位置相对应的区域由相机捕获。

在此配置中，当在所述整体图像上选择对应于所述预设区域的部分时，所述控制部件控制相机的成像方向以使得捕获所选的预设区域。

在此配置中，所述显示控制部件基于根据所述预设区域设置的视角的大小，在所述整体图像上显示对应于所述预设区域的部分。

在此配置中，当所述预设区域未位于所述整体图像的中心时，所述显示控制部件使用当所述预设区域位于所述整体图像的中心时框的大小作为基准，以基于所述预设区域设置的成像放大率校正框的大小，并且执行显示。

在此配置中，所述显示控制部件根据用户执行的拖曳操作改变所述预设区域的位置，并且执行显示。

在此配置中，当在所述整体图像上指定多个预设区域时，所述控制部件控制相机的成像方向以使得顺序地捕获多个预设区域，并且所述显示控制部件控制图像显示以使得将多个预设区域显示为列表。

在此配置中，当在所述整体图像上指定多个预设区域时，所述控制部件控制相机的成像方向以使得顺序地捕获多个预设区域，并且所述显示控制部件交替地显示多个预设区域。

根据本发明的另一实施例，提供了相机***，包括捕获图像的相机和控制相机的控制装置。所述控制装置包括：显示控制部件，其执行控制以使得显示整体图像显示区域和放大图像显示区域，其中在所述整体图像显示区域中显示相机所捕获的整体图像，而在所述放大图像显示区域中放大与在整体图像上指定的位置相对应的区域并且显示经放大的图像；以及控制部件，其执行控制以使得改变与在整体图像上指定的位置相对应的区域。所述区域包括至少一个预设区域，并且所述显示控制部件在整体图像上显示与所述预设区域对应的部分。

在此配置中，所述控制部件执行控制以使得与在整体图像上指定的位置相对应的区域由相机捕获。

在此配置中，当在所述整体图像上选择与所述预设区域对应的部分时，所述控制部件控制相机的成像方向以使得捕获所选的预设区域。

在此配置中，所述显示控制部件基于根据所述预设区域设置的视角的大小，在所述整体图像上显示与所述预设区域对应的部分。

在此配置中，当所述预设区域未位于所述整体图像的中心时，所述显示控制部件使用当所述预设区域位于所述整体图像的中心时框的大小作为基准，以基于所述预设区域设置的成像放大率校正框的大小，并且执行显示。

在此配置中，所述显示控制部件根据用户执行的拖曳操作改变所述预设区域的位置，并且执行显示。

在此配置中，当在所述整体图像上指定多个预设区域时，所述控制部件控制相机的成像方向以使得顺序地捕获多个预设区域，并且所述显示控制部件控制图像显示以使得将多个预设区域显示为列表。

在此配置中，当在所述整体图像上指定多个预设区域时，所述控制部件控制相机的成像方向以使得顺序地捕获多个预设区域，并且所述显示控制部件交替地显示多个预设区域。

根据本发明的另一实施例，提供了包括指令的程序，所述指令命令计算机用作：显示控制单元，其执行控制以使得显示整体图像显示区域和放大图像显示区域，其中在所述整体图像显示区域中显示相机所捕获的整体图像，而在所述放大图像显示区域中放大在整体图像上指定的至少一个预设区域并且显示经放大的图像，并且显示控制单元在所述整体图像上显示与所述预设区域对应的部分；以及控制单元，其执行控制以使得改变与在整体图像上指定的位置相对应的区域。

根据上面所述的本发明，可以提供允许将成像方向直观地控制到在整体图像中设置的预设区域的控制装置、相机***和程序。

附图说明

图1是示出根据本发明实施例的成像***的总体配置的示意图；

图2是详细示出图1所示的成像***中的相机终端装置和中心服务器的配置的示意图；

图3A和图3B是图示相机终端装置的摇摄操作和倾斜操作的示意图；

图4是示出全景图像和鸟瞰视图图像的显示状态的示意图；

图5是图示用以生成鸟瞰视图图像信号DF的处理的示意图；

图6是图示用以生成鸟瞰视图图像信号DF的处理的示意图；

图7是图示用以生成鸟瞰视图图像信号DF的处理的示意图；

图8是图示用以生成鸟瞰视图图像信号DF的处理的示意图；

图9是示出监视器的显示屏幕的示意图；

图10A、图10B和图10C是图示操作面板上的操作的示意图；

图11是示出当点击面板“视图”时显示诸如“屏幕模式”、“视图大小”、“图像编解码”和“帧速”之类的菜单的状态的示意图；

图12是示出当点击面板“相机”时所显示的菜单的示意图；

图13是示出当点击“预设位置”、“触发”、“其它”和“信息”时所显示的各个菜单的示意图；

图14是图示鸟瞰视图图像的显示的示意图；

图15是图示鸟瞰视图图像的显示的示意图；

图16是图示鸟瞰视图图像的显示的示意图；

图17是图示鸟瞰视图图像的显示的示意图；

图18是图示鸟瞰视图图像的显示的示意图；

图19是示出在会议室中提供根据本实施例的相机终端装置的情况的示意图；

图20是示出通过选择图19所示的整体图像中的框A～D之一而从四个预设位置当中指定实时图像的状态的示意图；

图21是示出通过选择图19所示的整体图像中的框A～D之一而从四个预设位置当中指定实时图像的状态的示意图；

图22是示出通过选择图19所示的整体图像中的框A～D之一而从四个预设位置当中指定实时图像的状态的示意图；

图23是示出通过选择图19所示的整体图像中的框A～D之一而从四个预设位置当中指定实时图像的状态的示意图；

图24是示出用于改变预设位置的方法的示意图；

图25是示出用于改变预设位置的方法的示意图；

图26是示出通过用户执行的拖曳操作来选择两个框(即，框B和框D)的状态的示意图；

图27是示出当通过用户执行的拖曳操作选择了两个框(即，框B和框D)时显示与框B对应的图像和与框D对应的图像两者的示例的示意图；以及

图28是详细示出用以设置预设位置的设置屏幕的示例的示意图。

具体实施方式

下文参考附图详细描述本发明的优选实施例。注意，在本说明书中，用相同的附图标记表示具有基本上相同功能和结构的结构性要素，并且这些结构性要素的重复说明予以省略。

注意，将以下列顺序进行描述。

1.第一实施例(包括相机终端装置和服务器的成像***的示例)

(1)成像***的配置示例

(2)相机终端装置和中心服务器的配置示例

(3)第一全景图像和第二全景图像的显示操作

(4)用以生成第一全景图像的处理

(5)图形用户界面(GUI)

(6)第一全景图像上成像方向的指定

(7)使用预设位置的控制

1.第一实施例

(1)成像***的配置

图1是示出根据本发明实施例的成像***100的总体配置的示意图。成像***100包括相机终端装置(IP相机)200、中心服务器300和客户端400。多个相机终端装置200、中心服务器300和客户端400经由网络500连接。代理服务器600连接至网络500，并且多个相机终端装置200连接至代理服务器600。进一步，监视器320连接至中心服务器300。在本实施例中，相机终端装置200例如是置于室内或室外的监视相机。可以通过在中心服务器300的监视器320上显示每个相机终端装置200所获取的图像来监视提供每一个相机终端装置200的区域。客户端400经由网络500连接至相机终端装置200、中心服务器300或代理服务器600。客户端400可具有中心服务器300的功能以及监视器320的功能(其将在稍后描述)。由相机终端装置200捕获的图像经由网络500发送至客户端400，并且第一全景图像和第二全景图像连同稍后描述的实时图像(liveimage)一起显示在每一个客户端400的显示屏幕上。注意，尽管IP相机示出为相机终端装置200的示例，但是相机终端装置200不限于IP相机，它们可以是模拟相机。

全景图像(全视图图像、整体图像(wholeimage))指示每个相机终端装置200可捕获的范围。存在各种形状的全景图像，其示例包括诸如图4所示的圆形全景图像和矩形全景图像，以及如投射在圆柱面上的环形全景图像。以下在本实施例中，将圆形全景图像和矩形全景图像分别作为第一全景图像和第二全景图像的示例进行说明。

(2)相机终端装置和中心服务器的配置示例

图2是详细示出图1所示成像***中的相机终端装置200和中心服务器300的配置的示意图。图2所示的相机终端装置200或中心服务器300的各个结构性要素可以用硬件(电路等)或者用运算处理单元(如，CPU)和使得运算处理单元起作用的软件(程序)来形成。相机终端装置200的相机部件201包括成像光学***。相机部件201基于从稍后所述的终端控制部件210提供的成像控制信号CTa来执行成像操作，并且生成视频信号Dcam。进一步，相机部件201将生成的视频信号Dcam经由总线220提供给信号处理部件202。注意，存储器部件203、成像方向控制部件204、网络接口部件206、全景图像存储部件207和终端控制部件210也连接至总线220。

信号处理部件202对视频信号Dcam执行压缩处理，并且将所获得的视频编码信号DV存储在存储器部件203中。进一步，信号处理部件202使用通过顺序地移动相机部件201的成像方向所获得的视频信号Dcam，以生成第一全景图像的视频信号DF(该信号在下文也称为第一全景图像信号DF)和第二全景图像的视频信号DP(该信号在下文也称为第二全景图像信号DP)。然后，信号处理部件202将生成的第一全景图像信号DF和第二全景图像信号DP存储在全景图像存储部件207中。注意，基于从稍后描述的终端控制部件210提供的信号处理控制信号CTb执行视频信号Dcam的压缩处理以及第一全景图像信号DF和第二全景图像信号DP的生成。

为了将相机部件201的成像方向移至从稍后所述的终端控制部件210提供的方向控制信号CTc所指令的方向，成像方向控制部件204在移动成像方向时计算速度和加速度。进一步，成像方向控制部件204基于计算结果生成用以执行摇摄操作(panoperation)的驱动信号MDP和用以执行倾斜操作的驱动信号MDt，并且将生成的驱动信号MDP和MDt提供给成像方向调节部件205。进一步，成像方向控制部件204生成指示哪个方向是相机部件201的成像方向的相机位置信息信号PM，并且将生成的相机位置信息信号PM提供给终端控制部件210。

成像方向调节部件205包括：摇摄操作电机，其使得相机部件201在左右方向上移动；以及倾斜操作电机，其使得相机部件201在上下方向上移动。成像方向调节部件205使用驱动信号MDP驱动摇摄操作电机，使用驱动信号MDt驱动倾斜操作电机。由此，成像方向调节部件205将相机部件201的成像方向调节至方向控制信号CTc所指令的方向。注意，假设成像方向调节部件205在对其运动范围没有限制的情况下执行连续的摇摄操作。

图3是图示相机终端装置200的摇摄操作和倾斜操作的示意图，其示出了相机终端装置200附于天花板(ceiling)等的情况。图3B示出了根据本发明实施例的相机终端装置200的摇摄/倾斜操作。另一方面，为了比较，图3A示出了一般相机终端装置的摇摄/倾斜操作。如图3A所示，在一般相机终端装置中，执行连续的360度摇摄操作，并且从垂直方向到水平方向的90度的范围上执行倾斜操作。相比之下，在根据本实施例的相机终端装置200中，执行连续的360度摇摄操作，并且在以垂直方向为中心的220度的范围上执行倾斜操作。据此，第一全景图像的视频信号DF可以通过使用稍后所述的技术而生成，并且可以存储在全景图像存储部件207中。稍后所述的第一全景图像是圆形全景图像。当在圆形的中心的附近穿越中心操作成像方向时，根据本实施例的相机终端装置200也可以以最短的距离机械地移至目标成像方向。相比之下，在一般的相机终端装置中，不能穿越图的中心机械地移动相机成像方向。

网络接口部件206是用以经由网络500在相机终端装置200和中心服务器300之间进行通信的接口。

终端控制部件210使用成像控制信号CTa控制相机部件201，使用信号处理控制信号CTb控制信号处理部件202，并使用方向控制信号CTc控制成像方向控制部件204。由此，终端控制部件210在顺序地移动成像方向的同时进行图像捕获。然而，基于所获得的视频信号Dcam，终端控制部件210生成第一全景图像信号DF和第二全景图像信号DP，并且将它们存储在全景图像存储部件207中。

根据本实施例的成像***100可以连同基于第一全景图像信号DF生成的第一全景图像或基于第二全景图像信号DP生成的第二全景图像一起，将基于视频信号Dcam生成的实时图像从相机终端装置200发送至中心服务器300，并且可以将它们显示在监视器320上。注意，在本说明书中，存在将第一全景图像或第二全景图像称为整体图像的情况。图4是示出第二全景图像和第一全景图像的显示状态的示意图。中心服务器300可以根据用户选择，将第一全景图像和第二全景图像之一连同实时图像一起显示在监视器320上。进一步，可以构造中心服务器300，以使得其连同实时图像一起显示第一全景图像和第二全景图像两者。注意，将图4右侧的中心附近的图像丢失了的圆形全景图像示出为第一全景图像。然而，第一全景图像不限于该示例，可以将中心附近的图像未丢失的圆形全景图像用作第一全景图像。

相机终端装置200置于天花板等上，其显示从相机终端装置200起向下方向上的图像。因此，如图4所示，在摇摄360度和倾斜220度的范围上获取第一全景图像，中心在从相机终端装置200向下延伸的垂直线上，并且第一全景图像的轮廓是圆形的。

进一步，构造成像方向调节部件205以使得其可以如上所述那样连续地执行摇摄操作。因此，假设形成存储在全景图像存储部件207中的第二全景图像，以使得图像如图4中所示那样不重叠。例如，假设第二全景图像的一端与基准方向具有“+180度”的角度差，而第二全景图像的另一端与基准方向具有“-180度”的角度差。进一步，由于摇摄操作的操作范围不受限制，因此与例如操作范围受到限制的情况相反，不能将操作范围的中心位置取为基准方向。据此，预先设置基准方向，并且生成第二全景图像，以使得该基准方向对应于第二全景图像的中心位置。成像方向控制部件204生成例如指示成像方向相对于预先设置的基准方向的角度差的信号作为相机位置信息信号PM。

如果以此方式预先设置了基准方向，则在要生成第二全景图像的成像操作中无需确定将哪个方向取为基准。进一步，如果由相机位置信息信号PM指示成像方向相对于基准方向的角度差，则可以在第二全景图像上容易地确定基于相机位置信息信号PM的成像方向的位置。

此外，在倾斜操作中，假设预先设置基准方向，并且由相机位置信息信号PM指示成像方向相对于基准方向的角度差。由此，在第一全景图像和第二全景图像两者上，可以容易地确定基于相机位置信息信号PM的成像方向的位置。注意，在倾斜操作中，当将相机终端装置200置于天花板上时，可以将垂直方向取为基准方向。

终端控制部件210分析经由网络接口部件206从中心服务器300提供的命令信号CM，并且生成成像控制信号CTa、信号处理控制信号CTb和方向控制信号CTc。进一步，终端控制部件210执行如下的处理：将存储器部件203中存储的视频编码信号DV、全景图像存储部件207中存储的第一全景图像信号DF和第二全景图像信号DP以及从成像方向控制部件204提供的相机位置信息信号PM发送至中心服务器300。

中心服务器300的网络接口部件301是用以经由网络500在相机终端装置200和中心服务器300之间进行通信的接口。网络接口部件301将从相机终端装置200提供的视频编码信号DV提供给扩展处理部件302。进一步，网络接口部件301将相机位置信息信号PM提供给位置确定处理部件303，并且将第一全景图像信号DF和第二全景图像信号DP提供给图像处理部件304。

扩展处理部件302对视频编码信号DV执行扩展处理，并且将所获得的视频信号Dcam提供给显示处理部件305。

位置确定处理部件303确定第一全景图像或第二全景图像中的哪个位置对应于由相机位置信息信号PM所指示的成像方向，并且将位置确定结果KP提供给图像处理部件304。这里，如果假设相机位置信息信号PM生成第一全景图像信号DF或第二全景图像信号DP，以使得如上所述那样预先设置的基准方向为摇摄操作和倾斜操作的中心位置，并且使得相机位置信息信号PM指示基准方向和当前成像方向之间的角度差，则基于相机位置信息信号PM容易地确定鸟瞰视图(bird’seyeview)图像(即，第一全景图像)或第二全景图像中的哪个位置对应于当前成像方向。

图像处理部件304基于位置确定结果KP执行图像处理，并且生成第一全景图像的第一全景图像信号DFC以及第二全景图像的第二全景图像信号DPC。关于第二全景图像信号DPC，可以生成将由位置确定结果KP确定出的位置设置为中心位置的第二全景图像信号DPC。在这种情况下，图像处理部件304确定所确定出的位置和第二全景图像的中心位置之间的差异量。然后，基于所确定出的差异量，处理第二全景图像，以使得所确定出的位置变为图像的中心位置。更具体地，利用所确定的位置作为中心位置，设置“±180度”的第二全景图像的显示图像框，并且将偏离第二全景图像的显示图像框的差异量所对应的区域的第二全景图像粘贴至没有图像的区域。由此，生成了将所确定的位置设置为中心位置的第二全景图像的第二全景图像信号DPC。此外，在第一全景图像信号DFC的情况下，当处于稍后所述的“用于旋转第一全景图像的模式”时，以与第二全景图像信号DPC类似的方式，确定所确定的位置和第一全景图像的摇摄方向中基准位置之间的差异量，并且基于确定出的差异量，处理第一全景图像以使得将所确定出的位置置于图像上。注意，在未将位置确定结果KP确定出的位置设置为中心位置的情况下，图像处理部件304在不改变中心位置的情况下，分别基于第一全景图像信号DF和第二全景图像信号DP而生成第一全景图像的第一全景图像信号DFC以及第二全景图像的第二全景图像信号DPC。进一步，在第一全景图像信号DFC和第二全景图像信号DPC的每一个之中，图像处理部件304显示基于位置确定结果KP的位置(即，相机部件201的成像光学***的光轴被引向的位置)。进一步，图像处理部件304将已经通过执行图像处理而生成的第一全景图像信号DFC和第二全景图像信号DPC提供给显示处理部件305。

显示处理部件305使用从扩展处理部件302提供的视频信号Dcam以及从图像处理部件304提供的第一全景图像信号DFC和第二全景图像信号DPC来生成显示驱动信号HD，并且将生成的显示驱动信号HD提供给监视器320。进一步，显示处理部件305使用GUI视频信号(其基于从稍后所述的控制部件310提供的GUI显示控制信号CTg而生成)生成显示驱动信号HD，并且将生成的显示驱动信号HD提供给监视器320。显示处理部件305可以执行控制，以使得将从多个相机终端装置200发送的实时图像和全景图像作为列表显示在监视器320上。

监视器320基于显示驱动信号HD驱动显示元件(例如，液晶显示元件或等离子显示元件)、阴极射线管等，从而在屏幕上显示第一全景图像、成像方向设为中心位置的第二全景图像、相机部件201捕获的图像(实时图像)、GUI图像等。

在用户接口部件315中使用GUI，并且用户接口部件315使用监视器320向用户呈现信息。当基于所呈现的信息通过使用操作输入装置(如，指示装置、键盘等)执行用户操作时，用户接口部件315将根据用户操作的操作信号US提供给控制部件310，并且使得执行所期望的操作。

基于操作信号US和监视器320的显示状态，控制部件310确定用户已选择了哪个处理或者用户已请求了哪个处理。然后控制部件310基于确定结果生成控制信号CTm，并且将生成的控制信号CTm提供给每个部件，从而控制中心服务器300的操作。进一步，控制部件310基于确定结果生成命令信号CM，并且经由网络接口部件301将生成的命令信号CM提供给相机终端装置200，从而控制相机终端装置200的操作。进一步，控制部件310生成GUI显示控制信号CTg，并且将其提供给显示处理部件305。

在上述示例中，相机终端装置200根据视频信号Dcam生成第一全景图像的视频信号DF和第二全景图像的视频信号DP。然而，中心服务器300或客户端400可生成第一全景图像的视频信号DF和第二全景图像的视频信号DP。在这种情况下，相机终端装置200的网络接口部件206将从相机部件201输出的视频信号Dcam发送至中心服务器300或客户端400。如果中心服务器300或客户端400提供有与相机终端装置200的信号处理部件类似的信号处理部件，则中心服务器300或客户端400可以生成第一全景图像的视频信号DF和第二全景图像的视频信号DP。第一全景图像的视频信号DF和第二全景图像的视频信号DP存储于中心服务器300或客户端400中所提供的存储器(如，硬盘)中。

(3)第一全景图像和第二全景图像的显示操作

接下来说明第一全景图像和第二全景图像的显示操作。当操作开始时，控制部件310将请求第一全景图像信号DF、第二全景图像信号DP、相机位置信息信号PM和视频编码信号DV的传输的命令信号CM发送至每一个相机终端装置200。当第一全景图像信号DF和第二全景图像信号DP存储于全景图像存储部件207中时，相机终端装置200读出第一全景图像信号DF和第二全景图像信号DP，并且将它们发送至中心服务器300。另一方面，当第一全景图像信号DF或第二全景图像信号DP未存储于全景图像存储部件207中时，相机终端装置200控制相机部件201、信号处理部件202和成像方向控制部件204，并且在移动成像方向的同时执行成像操作。由此，相机终端装置200生成第一全景图像信号DF和第二全景图像信号DP，并且将它们发送至中心服务器300。注意，相机终端装置200将生成的第一全景图像信号DF和第二全景图像信号DP存储在全景图像存储部件207中。

相机终端装置200将在成像方向控制部件204中生成的相机位置信息信号PM提供给中心服务器300。进一步，相机终端装置200开始相机部件201的成像操作，在信号处理部件202中压缩所获得的视频信号Dcam，并且将视频编码信号DV存储在存储器部件203中。进一步，相机终端装置200将存储器部件203中存储的视频编码信号DV提供给中心服务器300。注意，当相机终端装置200和网络500如图1所示那样经由代理服务器600连接时，经由代理服务器600在每一个相机终端装置200和中心服务器300之间发送和接收信息。

中心服务器300的位置确定处理部件303确定第一全景图像或第二全景图像中的哪个位置对应于相机位置信息信号PM所指示的成像方向，并且将位置确定结果KP提供给图像处理部件304。如果以第二全景图像作为示例，则当例如由相机位置信息信号PM指示的角度差为“0度”时，由于将成像方向设为基准方向，因此成像方向的位置是第二全景图像的中心位置。

图像处理部件304基于位置确定结果KP执行图像处理。当位置确定结果KP指示成像方向的位置是第二全景图像的中心位置时，成像方向上的图像对应于第二全景图像的中心。因此，不执行第二全景图像的图像处理，并且第二全景图像信号DP被作为第二全景图像信号DPC提供给显示处理部件305。另一方面，当成像方向的位置不是第二全景图像的中心位置时，确定成像方向的所确定出的位置和第二全景图像的中心位置之间的差异量。然后，基于所确定出的差异量，处理第二全景图像，以使得所确定出的位置对应于图像的中心位置，并且生成第二全景图像信号DPC。

因此，在第二全景图像中，当例如相机位置信息信号PM指示的角度差是“0度”时，在由从显示处理部件305提供的显示驱动信号HD所驱动的监视器320的屏幕上，显示由相机部件201捕获的图像、基准方向对应于中心位置的第二全景图像、以及与GUI有关的图像

在第一全景图像的情况下，当处于稍后所述的“用于旋转第一全景图像的模式”时，以与第二全景图像信号DPC类似的方式，确定所确定的位置和第一全景图像的摇摄方向中基准位置之间的差异量。然后，基于确定出的差异量，旋转第一全景图像以使得所确定出的位置放置在图像以下(在稍后所述的中心线L上)，并且生成第一全景图像信号DFC。在第一全景图像信号DFC和第二全景图像信号DPC的每一个之中，图像处理部件304显示基于位置确定结果KP的成像方向的位置(即，相机部件201的成像光学***的光轴被引向的位置)。

在第一全景图像和第二全景图像任一之中，预先设置的基准位置可以固定并显示为中心位置。在这种情况下，确定位置确定结果KP所确定的位置与预先设置的基准位置之间的差异量，并且基于确定出的差异量，将指示相机的成像方向(相机部件201中包括的光学***的光轴的方向)被引向从中心位置移开该差异量的位置的光标、框等显示在第一或第二全景图像中。

扩展处理部件302扩展视频编码信号DV，并且将所获得的视频信号Dcam提供给显示处理部件305。控制部件310将用于执行GUI显示的GUI显示控制信号CTg提供给显示处理部件305。

(4)用以生成第一全景图像的处理

接下来参考图5到图8，说明用以生成第一全景图像信号DF的处理。当生成第一全景图像信号DF时，针对第一全景图像的每个区域获取图像。首先，如图5中所示，相机终端装置200的变焦固定，并且以给定间隔执行摇摄/倾斜操作，并且获取静止图像。图5中所示的数字表示图像获取的顺序。

接下来通过下列过程[1]～[3]执行静止图像坐标***的坐标转换。这里，如图6中所示，将静止图像的每个点转换为从相机终端装置200的旋转中心看时的相对位置(x，y，z)。

[1]水平视角为thh[度]并且纵横比为“a”的相机的视角设置在原点，并且被引向a-z方向。如果在距离L的位置上考虑对象平面(x，y，-L)，则可见范围为2Lx×2Ly的矩形。这里，建立了下列关系：Lx＝L·tan(thh/2)，Ly＝Lx/a。

[2]相机的状态(posture)在初始为(x，y，z，p，q，r)。然而，考虑视角的位置固定在原点，因此获得了等式x＝y＝z＝0。因此，这里仅考虑(p，q，r)(p：摇摄(y轴选择)，q：倾斜(x轴旋转)，r：滚转(z轴旋转))。

[3]当使用(2Lx)×(2Ly)的矩形中的点(j，i)时，建立下列等式。

x＝Lx×(j-Lx)/Lx

y＝Ly×(i-Ly)/Ly

z＝-L

[4]使用(x，y，z)应用滚转转换、倾斜转换和摇摄转换的下列等式。

表达式1

■滚转转换

$\left[\begin{array}{c}x1\\ y1\\ z1\end{array}\right]=\left[\begin{array}{ccc}\cos r& -\sin r& 0\\ \sin r& \cos r& 0\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{c}x\\ y\\ z\end{array}\right]$

■倾斜转换

$\left[\begin{array}{c}x2\\ y2\\ z2\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos q& -\sin q\\ 0& \sin q& \cos q\end{array}\right]\left[\begin{array}{c}x1\\ y1\\ z1\end{array}\right]$

■摇摄转换

$\left[\begin{array}{c}x3\\ y3\\ z3\end{array}\right]=\left[\begin{array}{ccc}\cos p& 0& -\sin p\\ 0& 1& 0\\ \sin p& 0& \cos p\end{array}\right]\·\left[\begin{array}{c}x2\\ y2\\ z2\end{array}\right]$

这里获得的点(x3，y3，z3)的值对应于当从相机的旋转中心看静止图像中的点(x，y，z)时坐标***中表示的值。

接下里，将相对位置转换到纬度和经度。这里，如图7所示，将如上所述那样获得的点(x3，y3，z3)转换到纬度和经度。点(x3，y3，z3)的方向和相对于-z方向的水平方向之间的角度是经度，而(x3，y3，z3)的方向与x-z面之间的角度是纬度，并且纬度和经度可以通过下列等式获得。

●纬度(La)

La＝tan^-1(y3/：：sqrt(x3*x3+z3*z3))

●经度(Lo)

当0.0＜z3时，

如果0.0＜x3，则Lo＝90.0+La

如果0.0≥x3，则Lo＝-90.0-La

当0.0≥z3时，

Lo＝tan^-1(x3/z3)/RAD

这里，RAD＝π/180(π：圆周率)

接下来执行对于第一全景图像的转换。这里，如图8所示，表示所获得的纬度和经度(La，Lo)，以使得用径向轴指示纬度，用圆周坐标***指示经度。

以上述方式，可以生成第一全景图像信号DF。

(5)图形用户界面(GUI)

接下来描述GUI。图9是示出监视器320的显示屏幕的示意图。图9示出正常屏幕显示和全屏显示两者。在任一情况下，操作面板(控制面板)显示在屏幕的左侧，而实时图像显示在屏幕的右侧。当操作屏幕的“屏幕模式”设为“全屏(Full)”时，示出全屏显示。

图10是图示操作面板上的操作的示意图。操作面板包括用于每一功能的面板，并且每个面板可以折叠和存储。面板按照下列方式分类。

●视图

关于显示的设置

●相机控制

关于相机操作的设置

●全景

全景显示

●预设位置

关于预设的设置

●触发

关于触发的设置

●其它

其它设置

当点击每个面板时，所点击的面板打开。图10A示出这样的状态：点击面板“视图(View)”，并且在“视图”栏下面显示菜单。另一方面，图10B指示这样的状态：点击面板“相机控制(Cameracontrol)”，并且在“相机控制”栏下面显示菜单。图10C指示这样的状态：拖曳面板“相机控制”，并且面板“相机控制”可通过对其进行拖曳而变为浮置窗口。

图11示出这样的状态：当点击面板“视图”时，显示诸如“屏幕模式(ScreenMode)”、“视图大小(ViewSize)”、“图像编解码(ImageCodec)”和“帧速(FrameRate)”之类的菜单。对于“屏幕模式”菜单，显示模式可以变为正常模式和全屏模式。对于“视图大小”菜单，可以指定1/4、1/2、与图像相同的大小以及适配模式。在适配模式下，图像根据当前显示区域的大小而进行显示。对于“图像编解码”菜单，可以执行编解码改变。对于“帧速”菜单，可以改变JPEG帧速。运动图像记录按钮用以记录运动图像，静止图像记录按钮用以记录静止图像。除了这些按钮之外，还提供了麦克风音量滑动条、麦克风静音开/关按钮、音频音量滑动条、音频静音开/关按钮等。

图12示出当点击面板“相机”时所显示的菜单。对于“操作模式”菜单，可以对图像执行操作模式切换。可以通过以摇摄/倾斜控制按钮上的箭头对其进行操作来指定摇摄/倾斜方向。位于摇摄/倾斜控制按钮的中心的按钮是原位(home)位置按钮。变焦按钮是用以指定相机终端装置200的变焦的按钮，并且其形成为使得可以看到光学变焦和数字变焦之间的边界。如果持续按压变焦按钮的“W”或“T”，则持续执行变焦操作。聚焦按钮用以设置聚焦为“长距离”或“短距离”。除了这些按钮之外，还提供了各种类型的按钮，如一按自动聚焦按钮和用于排它控制的控制权获取按钮。

图13示出当点击“预设位置(PresetPosition)”、“触发(Trigger)”、“其它(Other)”和“信息(Information)”时所显示的各个菜单。面板“预设位置”在预先确定的多个成像方向上显示缩略图图像。通过点击和选择一个缩略图图像，可以将相机终端装置200引向所选缩略图的方向。

(6)第一全景图像上成像方向的指定

接下来参考图14到图18说明第一全景图像的显示。图14是示出通过点击操作面板的“预设位置”以显示第一全景图像的状态的示意图。注意，实时图像显示在操作面板的右侧。如上所述，通过拖曳和移动“预设位置”栏，可以如图15所示那样将显示第一全景图像的子面板布置在操作面板的外侧。进一步，显示第一全景图像的子面板可以在显示屏幕内移动。

图16是详细示出显示第一全景图像的子面板的示意图。在第一全景图像中，右侧的实时图像中显示的图像的方向(相机终端装置200的成像光学***的光轴的方向)由十字(+)示出。进一步，如图16所示，通过点击第一全景图像右上侧所布置的全景切换按钮，第一全景图像可以切换为第二全景图像。

图17示出用以使用第一全景图像改变实时图像的方向的操作。当改变相机终端装置200的摇摄/倾斜方向时，可以将上述摇摄/倾斜控制按钮用于改变。然而，也可以通过指定第一全景图像中的给定点来改变相机终端装置200的摇摄/倾斜方向。在图17所示的状态下，相机终端装置200的成像光学***的光轴被引向十字(+)的方向，并且显示该方向上的实时图像。在这种状态下，如果点击了第一全景图像中所示的黑圈(●)，则将根据用户操作的操作信号US发送至控制部件310。基于操作信号US，相机终端装置200的成像方向控制部件204受到控制，并且相机终端装置200的成像光学***的光轴被引向黑圈(●)的方向。据此，操作面板的右侧上显示的实时图像可以切换为黑圈(●)方向上的图像。

由此，用户可以通过指定第一全景图像中的给定点来指定相机终端装置200的摇摄/倾斜方向。第一全景图像包括相机终端装置200可捕获的摇摄/倾斜方向上的所有图像。因此，用户可以通过在第一全景图像上指定相机终端装置200的方向来显示所期望方向上的实时图像。注意，可以通过使用围绕预定范围的框代替使用指示点击位置的十字(+)来指定区域，而控制光轴的方向。

当在第一全景图像上指定了相机终端装置200的方向时，存在两个模式，即：第一全景图像的显示状态未改变而仅切换实时图像的模式，以及第一全景图像旋转的模式。在第一全景图像旋转的模式下，如图18中所示，设置第一全景图像的角度位置，以使得实时图像当前显示的位置(其由十字(+)指示)位于从第一全景图像的中心向上延伸的直线L上。接下来，当在第一全景图像上点击黑圈(●)时，操作面板右侧上显示的实时图像切换为黑圈(●)的方向上的图像。同时，第一全景图像旋转，以使得黑圈(●)的位置位于第一全景图像中的直线L上。据此，当用户观看第一全景图像时，用户可以立即识别出实时图像的方向处于第一全景图像的直线L上。

以类似的方式，同样在第二全景图像中，用户可以通过指定第二全景图像中的给定点来指定相机终端装置200的摇摄方向。基于此，用户可以切换实时图像的方向。

(7)使用预设位置的控制

接下来说明本实施例的***中使用预设位置的控制。如上所述，在本实施例的***中，通过指定第一全景图像或第二全景图像中的期望区域，可以将相机终端装置200的成像方向引向所指定的方向。另一方面，当预先设置了一个或多个预设位置时，通过选择预设位置(预设位置之一)，可以将相机终端装置200的成像方向引向所选位置。

图19示出在会议室中提供根据本实施例的相机终端装置200的情况作为示例。在图19所示的示例中，针对通过相机终端装置200的图像捕获，设置了四个预设位置。在四个预设位置的每一个之中，捕获“白板”、“投影屏”、“相对宽范围的会议室”和“特定的会议室”。进一步，在屏幕的下部，将整体图像显示为第二全景图像。

使用框A到D，将与各个预设位置对应的范围显示在第二全景图像中。这里，框A对应于“白板”，框B对应于“相对宽范围的会议室”，框C对应于“投影屏”，而框D对应于“相对窄范围的会议室”。

由于以此方式显示与各个预设位置对应的成像范围的框，因此用户可以在视觉上直接确定全景图像中的哪个范围对应于每个预设位置。

用户使用稍后描述的方法预先设置所述预设位置。预设位置的数据存储于相机终端装置200的全景图像存储部件207、或中心服务器300中提供的存储器、客户端400中提供的存储器等中。

接下来说明用于根据全景图像显示如上所述那样设置的每个预设位置的实时图像的方法。图20到图23是均示出通过选择图19所示整体图像中的框A到D之一而从四个预设位置当中指定实时图像的状态的示意图。

图20示出从图19所示的状态选择整体图像中的框A的状态。通过将显示屏幕上的光标移至整体图像中的框A的位置并且点击框A，可以执行框A的选择。如图20所示，当点击整体图像中的框A时，在整体图像上以大尺寸显示与框A对应的实时图像“白板”。

以类似的方式，图21示出点击整体图像中的框B的状态。图22示出点击整体图像中的框C的状态。图23示出点击整体图像中的框D的状态。如图21到图23所示，当点击框B、框C和框D时，显示分别与框B、框C和框D对应的实时图像。据此，用户可以通过在观看整体图像的同时选择框A、框B、框C和框D之一，来切换和显示所期望的一个实时图像。

在这种情况下，当用户点击框A到D之一时，将根据用户操作的操作信号US从用户接口部件315发送至控制部件310。操作信号US包括框A到D中所选择的一个(所选择的一个预设位置)的信息。控制部件310经由网络接口部件206将基于操作信号US生成的命令信号CM发送至相机终端装置200的终端控制部件210。终端控制部件210分析命令信号CM，并且使用全景图像存储部件207中存储的预设位置的信息来生成方向控制信号CTc。由此，相机部件201的成像方向由成像方向控制部件204和成像方向调节部件205调节为方向控制信号CTc所指令的方向。

注意，当将预设位置的信息存储于中心服务器300中提供的存储器中时，该信息包括在命令信号CM中，并被发送至相机终端装置200。然后，终端控制部件210分析命令信号CM，使用从中心服务器300发送的预设位置的信息来生成方向控制信号CTc。

图24和图25是示出用于改变预设位置的方法的示意图。确切地，图24和图25示出用于通过移动全景图像中的框B的位置来改变预设位置的方法。更具体地，如果用户在图24所示状态下拖曳框B并且在框B移至图25所示位置时结束拖曳操作，则用户可以将与框B对应的预设位置改变为图25所示的位置。在图25所示的状态下，作为用户执行的拖曳操作的结果，框B的位置移至与“白板”和“投影屏”对应的位置，并且显示与所移动的框B对应的“白板”和“投影屏”的实时图像。由此，将与框B对应的预设位置设为与“白板”和“投影屏”对应的位置。

在这种情况下，当用户拖曳框B以将其移动时，将根据用户操作的操作信号US从用户接口部件315发送至控制部件310。操作信号US包括通过拖曳操作移动的框B的信息(与框B对应的预设位置)。控制部件310经由网络接口部件206将基于操作信号US生成的命令信号CM发送至相机终端装置200的终端控制部件210。终端控制部件210分析命令信号CM，并且改变全景图像存储部件207中存储的预设位置的信息。同时，终端控制部件210基于改变后的预设位置而生成方向控制信号CTc。由此，改变的预设位置被存储在全景图像存储部件207中，并且相机部件201的成像方向调节为方向控制信号CTc所指令的方向。

注意，当预设位置的信息存储于中心服务器300中提供的存储器中时，控制部件310基于根据操作信号US生成的命令信号CM来改变存储器中存储的预设位置。然后，控制部件310经由网络接口部件206将包括改变后的预设位置的命令信号CM发送至相机终端装置200的终端控制部件210。终端控制部件210分析命令信号CM，并且基于改变后的预设位置而生成方向控制信号CTc。由此，相机部件201的成像方向调节为方向控制信号CTc所指令的方向。

以此方式，通过拖曳和移动全景图像中显示的每一个框，可以自由地改变预设位置。在这种情况下，将相机终端装置200可捕获的所有范围都显示在全景图像上。因此，用户可以在视觉上从相机终端装置200可捕获的所有范围之中设置所期望的一个预设位置。

接下来说明显示全景图像中设置的多个实时图像的示例。图26示出通过用户执行的拖曳操作来选择两个框(即，框B和框D)的状态。在这种情况下，以预定时间间隔将与框B对应的“相对宽范围的会议室”的图像和与框D对应的“相对窄范围的会议室”的图像交替显示为实时图像。

图27示出这样的情况：当通过用户执行的拖曳操作选择了两个框(即，框B和框D)时，显示与框B对应的“相对宽范围的会议室”的图像和与框D对应的“相对窄范围的会议室”的图像两者。在这种情况下，由于不能同时显示两个实时图像，因此两个图像交替地更新为最新的实时图像。可替代地，可以将两个图像之一显示为实时图像，然后可以显示之前获取的另一图像的过去图像。

在图26和图27的情况下，当用户通过拖曳操作指定框B和框D两者时，根据拖曳操作的操作信号US从用户接口部件315发送至控制部件310。操作信号US包括所选的框B和D的信息。控制部件310经由网络接口部件206将基于操作信号US生成的命令信号CM发送至相机终端装置200的终端控制部件210。终端控制部件210分析命令信号CM，并且基于指示选择了两个框B和D的信息以及关于全景图像存储部件207中存储的框B和D的预设位置信息的信息来生成方向控制信号CTc。由此，相机部件201的成像方向由成像方向控制部件204和成像方向调节部件205调节为方向控制信号CTc所指令的方向。

图28是详细示出用以设置预设位置的设置屏幕的示例的示意图。图28所示的预设屏幕在点击图10所示“预设位置”时显现。在图28所示的设置屏幕的示例中，全景图像显示至屏幕中心的右边，而预设位置的图像(实时图像)显示至屏幕中心的左边。

用户通过在全景图像中执行拖曳操作以执行预设位置的默认设置。在这种情况下，例如，通过在全景图像上拖曳作为开始点和结束点的矩阵框的对角线的两端，执行框A到D中每一个的默认设置。结果，已经默认设置的框A到D显示在全景图像上。此后，在用户已通过使用图24和图25所示的方法执行拖曳操作而在期望位置设置了框A到D的状态下，当用户为每一个预设位置设置预设编号和名称并且点击“设置(Set)”按钮时，完成了与框A到D中每一个对应的预设。进一步，可以通过点击“调用”按钮来调用预设。注意，可以通过输入预设位置的坐标来进行设置。在本实施例中，示出了四个预设位置作为示例。然而，预设位置的数量不特别受限。

在指定图28所示的“组预设位置”时，可以将预设位置分类为一些组。组表示为树结构。在“原位设置位置”菜单中，显示相机原位位置。

当创建新组文件夹时，在“新组”栏中示出新组文件夹的属性。“重命名”按钮是在改变组名称时点击的按钮。“清除”按钮是在删除组时点击的按钮。“OK”按钮是在相机中存储该页面的设置时点击的按钮。“取消”按钮是取消该页面的设置改变时点击的按钮。

当用户设置预设位置时，根据用户操作的操作信号US从用户接口部件315发送至控制部件310。控制部件310经由网络接口部件206将基于操作信号US生成的命令信号CM发送至相机终端装置200的终端控制部件210。终端控制部件210分析命令信号CM，并且将命令信号CM中包括的预设位置存储在全景图像存储部件207中。进一步，当预设位置的信息存储于中心服务器300中所提供的存储器中时，控制部件310基于根据操作信号US生成的命令信号CM将预设位置存储在存储器中。

如上所述，用户可以在连接至中心服务器300的监视器320上或者客户端400的显示部件上显示图28所示的屏幕的状态下，使用指示装置(如，鼠标、键盘等)来设置、改变和删除一个或多个预设位置。

接下来说明全景图像上的指示预设位置的框的位置和大小的设置。当用户使用拖曳操作等指定全景图像中框的位置和大小时，将框的中心位置设置为预设位置。然后，将框的中心位置作为预设位置存储于全景图像存储部件207或者中心服务器300的存储器中。

框的基准大小被设置为位于全景图像中心的框的大小，这是由于在全景图像的周边出现图像弯曲。然后，基准框被放大或缩小以具有与成像放大率对应的大小，并且确定了框的最终大小。

框大小和相机终端装置200的相机部件201的变焦量之间的关系例如按照下列方式进行设置。如图28所示，假设全景图像的大小在高度上为90像素且在宽度上为320像素。在图28所示的示例中，全景图像是通过360度摇摄操作所捕获的图像(第二全景图像)。因此，水平方向上的视角对应于360度。

作为示例，假设相机部件201的镜头的水平视角为58度(广角端)和2度(远摄端)，并且相机部件201的最大分辨率为640x480(像素)。在这种情况下，在广角端设置相机部件201的镜头时的矩形大小(Xw，Yx)(其中Xw和Yw的单位是像素(像素数目))由下列关系表示。

360(度):58(度)＝320:Xw

据此，水平方向上矩形的大小是Xw＝52(像素)。

垂直方向上矩形的大小Yw由下列关系表示。

640:480＝52:Yw

据此，获得了等式Yx＝39(像素)。因此，在广角端设置相机部件201的镜头时的矩形框的大小为(52，39)像素。

当相机终端装置200很大程度上变焦并且镜头处于远摄端时，矩形大小(Xt，Yt)(像素)由下列关系表示。

360(度):2(度)＝320:Xw

据此，水平方向上矩形的大小为Xw＝1.8(像素)

进一步，垂直方向上矩形框的大小Yw由下列关系表示。

640:480＝1.7:Yw

据此，获得了等式Yw＝1.4(像素)。

据此，如上所述，获得了框的大小与相机部件201的变焦量之间的关系。控制部件310基于用户指定的框的位置和变焦量来生成命令信号CM，并经由网络接口部件206将命令信号CM发送至相机终端装置200的终端控制部件210。终端控制部件210分析命令信号CM，并基于命令信号CM中包括的变焦量来计算预设位置中框的大小。然后，终端控制部件210将计算出的框的大小连同预设位置的中心位置一起存储在全景图像存储部件207中。当预设位置存储于中心服务器300或客户端400的存储器中时，控制部件310基于命令信号CM中包括的变焦位置来设置框的大小。进一步，基于命令信号CM中包括的框的中心位置，控制部件310将预设位置存储在存储器中。注意，代替基于框的大小指定变焦量，可以通过键盘输入等指定变焦量。

如上所述，根据本实施例，预设位置显示在整体图像(全景图像)上，因此可以容易地确定全景图像中的预设位置。进一步，由于可以通过在整体图像上对预设进行指定而指定预设，因此可以显著地改善可用性。进一步，由于可以基于成像视角来显示预设位置的大小(框的大小)，因此也可以确定已预设的视角的相对大小。此外，即使在整体图像和实际捕获的图像以扭曲的方式相互对应的情况下，也可以相对地确定视角的大小。

注意，在上述说明中，说明了多个用户控制每一个相机终端装置200的成像方向的情况。然而，本发明也可应用于这样的***(以数字方式执行摇摄/倾斜控制的***)：在该***中，每一个相机终端装置200的成像方向固定，并且仅从整体图像中截取出(cutout)与来自用户的命令对应的区域并进行显示。实现这种***，以使得例如中心服务器300的控制部件310根据用户对于成像方向的操作输入来从整体图像中指定截取范围，并且使用显示处理部件305执行显示控制。同样在这种情况下，通过使用预设位置执行上述控制，可以以数字方式控制实时图像的成像范围。如上所述，本实施例的***不仅可应用于以机械方式控制成像方向的***，而且可应用于以数字方式控制成像方向的***。

上面参考附图详细说明了本发明的示例性实施例。然而，本发明不限于上述示例。本领域的技术人员应当理解，根据设计要求和其它因素，可以出现各种修改、组合、部分组合和变更，只要其在所附权利要求书及其等价物的范围内即可。

本申请包含与于2010年3月26日向日本专利局提交的日本优先权专利申请JP2010-073232中公开的主题有关的主题，将其全部内容通过引用的方式合并在此。

Claims (16)

1.一种控制装置，包括：

显示控制部件，执行控制以使得显示整体图像显示区域和放大图像显示区域，其中在所述整体图像显示区域中显示相机所捕获的整体图像，而在所述放大图像显示区域中放大与在所述整体图像上指定的位置相对应的区域并且显示经放大的图像；以及

控制部件，执行控制以使得改变与在所述整体图像上指定的位置相对应的区域，

其中，所述区域包括至少一个预设区域，并且所述显示控制部件在所述整体图像上显示框，该框对应于通过在所述整体图像上指定该框的位置而预先设置的所述预设区域，

其中，每一个所述预设区域表示相应可选择区域，以使得当选择期望的预设区域时，该相应预设区域的实时图像基于该相应预设区域的大小被放大并与所述整体图像同时被显示，并且

其中，通过指定分别显示在所述整体图像上的框的位置而预先设置的多个预设区域被分类成多个组。

2.如权利要求1所述的控制装置，

其中，所述控制部件执行控制以使得由相机捕获与在所述整体图像上指定的位置相对应的区域。

3.如权利要求2所述的控制装置，

其中，当在所述整体图像上选择与所述预设区域对应的所述框时，所述控制部件控制相机的成像方向以使得捕获所选的预设区域。

4.如权利要求2所述的控制装置，

其中，所述显示控制部件基于根据所述预设区域设置的视角的大小，在所述整体图像上显示与所述预设区域对应的所述框。

5.如权利要求2所述的控制装置，

其中，当所述预设区域未位于所述整体图像的中心时，所述显示控制部件使用当所述预设区域位于所述整体图像的中心时框的大小作为基准，以基于所述预设区域设置的成像放大率来校正所述框的大小，并且执行显示。

6.如权利要求2所述的控制装置，

其中，所述显示控制部件根据用户执行的拖曳操作来改变所述预设区域的位置，并且执行显示。

7.如权利要求2所述的控制装置，

其中，当在所述整体图像上指定多个预设区域时，所述控制部件控制相机的成像方向，以使得顺序地捕获所述多个预设区域，并且

其中，所述显示控制部件控制图像显示，以使得将所述多个预设区域显示为列表。

8.如权利要求7所述的控制装置，

其中，当在所述整体图像上指定所述多个预设区域时，所述控制部件控制相机的成像方向，以使得顺序地捕获所述多个预设区域，并且

其中，所述显示控制部件交替地显示所述多个预设区域。

9.一种相机***，包括：

相机，捕获图像；以及

控制装置，控制所述相机，

其中，所述控制装置包括：

显示控制部件，执行控制以使得显示整体图像显示区域和放大图像显示区域，其中在所述整体图像显示区域中显示由所述相机捕获的整体图像，而在所述放大图像显示区域中放大与在所述整体图像上指定的位置相对应的区域并且显示经放大的图像；以及

控制部件，执行控制以使得改变与在所述整体图像上指定的位置相对应的区域，

其中，所述区域包括至少一个预设区域，并且所述显示控制部件在所述整体图像上显示框，该框对应于通过在所述整体图像上指定该框的位置而预先设置的所述预设区域，

其中，每一个所述预设区域表示相应可选择区域，以使得当选择期望的预设区域时，该相应预设区域的实时图像基于该相应预设区域的大小被放大并与所述整体图像同时被显示，并且

其中，通过指定分别显示在所述整体图像上的框的位置而预先设置多个预设区域被分类成多个组。

10.如权利要求9所述的相机***，

其中，所述控制部件执行控制以使得与在所述整体图像上指定的位置相对应的区域由所述相机捕获。

11.如权利要求10所述的相机***，

其中，当在所述整体图像上选择与所述预设区域对应的所述框时，所述控制部件控制相机的成像方向，以使得捕获所选的预设区域。

12.如权利要求10所述的相机***，

其中，所述显示控制部件基于根据所述预设区域设置的视角的大小，在所述整体图像上显示与所述预设区域对应的所述框。

13.如权利要求10所述的相机***，

其中，当所述预设区域未位于所述整体图像的中心时，所述显示控制部件使用当所述预设区域位于所述整体图像的中心时框的大小作为基准，以基于所述预设区域设置的成像放大率来校正框的大小，并且执行显示。

14.如权利要求10所述的相机***，

其中，所述显示控制部件根据用户执行的拖曳操作来改变所述预设区域的位置，并且执行显示。

15.如权利要求10所述的相机***，

其中，当在所述整体图像上指定多个预设区域时，所述控制部件控制相机的成像方向，以使得顺序地捕获所述多个预设区域，并且

其中，所述显示控制部件控制图像显示，以使得将所述多个预设区域显示为列表。

16.如权利要求15所述的相机***，

其中，当在所述整体图像上指定所述多个预设区域时，所述控制部件控制相机的成像方向，以使得顺序地捕获所述多个预设区域，并且

其中，所述显示控制部件交替地显示所述多个预设区域。