CN101375590B - 摄影装置以及摄影方法 - Google Patents

Abstract

提供即使在被摄物或摄影者活动的情况下，也能够将照不全被摄物的情况抑制到最小限度，并且能够长时间地进行录像的摄影装置以及摄影方法。摄影装置(100)具有：焦点距离计算部(103)，在检测出活动的情况下，计算多焦点光学透镜的焦点距离，使多焦点光学透镜的变焦倍率比被设定的变焦倍率小，在未检测出活动的情况下，计算多焦点光学透镜的焦点距离，使多焦点光学透镜的变焦倍率变为被设定的所述变焦倍率；记录媒介部(108)，将摄影图像和变焦倍率与时间一起进行保存；画幅区域设定部(111)，依照变焦倍率设定从图像传感元件部(104)的输出即摄影图像中切取的画幅区域ICF；电子变焦处理部(112)，通过电子变焦由画幅区域(ICF)生成取幅图像(IDF)；以及取幅图像显示部(113)，显示取幅图像(IDF)。

Description

摄影装置以及摄影方法

技术领域

本发明涉及与图像摄影有关的、将摄影意图和影像分离起来进行记录的技术。

背景技术

近几年，随着各种各样的设备的数字化和集成技术的高度化，能够对影像进行数字记录的像机，即数码摄像机广为普及起来。数字记录与其他媒介的亲和性较高，在网络上的分发或影像编辑等各种各样的利用方式在民生用途上得以发展。

如图1A所示，像机从场景1801中切取一部分作为图像数据来保存。照摄影者的摄影意图来决定切取位置，以在场景中设定切取框1802之含义称其为取幅(framing)。决定取幅的因素有四个：像机的位置1803、像机的方向1804、像机的角度1805(采取横向、竖向、还是斜向)、像机的视角1806。其中，像机的位置，如图1B的表1807、以及图1C所示，利用跟踪(tracking)1808(向左右水平移动)、升降(booming)1809(垂直移动)、推拉(dollying)1810(向前后水平移动)进行调整。并且，像机的方向，如图1D所示，利用摇动(panning)1811(以像机为中心在水平方向上旋转)、俯仰(tilting)1812(以像机为中心在垂直方向上旋转)进行调整。并且，像机的旋转，如图1D所示，利用旋转(rolling)1813(以光轴为中心旋转)进行调整。像机的视角，利用推拉1810、变焦(zooming)1814进行调整。变焦利用变更光学***的焦点距离的光学变焦、和依靠图像处理进行的电子变焦。如上所述，取幅由摄影者利用从跟踪1808到变焦1814这七种摄影操作来决定。

摄影者能够照摄影意图分开使用如图1A～1D所示的摄影操作来作出各种各样的取幅。例如，图2是示出摄影者1901从被摄物1902的侧面绕到正面，并且，连续加长摄像机2001的多焦点透镜2002的焦点距离来提高变焦倍率(近摄zoom in)的摄影例的图。在此，图像IC1、图像IC2、 图像IC3示出显现于摄像机2001的取景器(finder)2003的摄影图像，分别相当于摄影倍率为1倍、2倍、4倍。在该摄影例中，摄影者1901利用身体的移动和身体的旋转来进行跟踪和摇动，并且同时进行变焦。

如上所述，通过自由地分开使用七种摄影操作，能够设定各种各样的取幅，能够提高影像表现力，但也因为自由度较高而不能照摄影意图来控制摄影操作，所以存在取幅不恰当的情况。例如，图3是因为被摄物1902向右方移动，因此未能对跟踪和摇动执行恰当的控制，被摄物1902偏出画幅(出镜frame out)而照不全的例子，其未能照如图2的欲将被摄物1902始终捕捉在画面的中央这一摄影意图来设定取幅。时间T1、时间T2、时间T3这样时间每次经过，被摄物1902就向右移动，摄影者1901未能恰当地控制跟踪和摇动，因此，如图像IC4所示，在时间T1捕捉在画面中央的被摄物1902，如图像IC5所示，在时间T2则偏到画面右侧，然后，如图像IC6所示，在时间T3则从画面右侧出镜，出现照不全的情况。

为了解决如上所述的不能照摄影意图来设定取幅的课题，能够在摄影后重新设定取幅的技术被公开(例如参照专利文献1)。也就是说，如图4A所示，缩短摄像机2001的多焦点透镜2002的焦点距离(例如35mm)，以广角进行摄影，确保视角2101来捕捉被摄物1902，从而防止照不全。摄影图像的取幅，如图4B所示的图像IC7，被摄物1902被捕捉在画幅内，但是受不能恰当地控制跟踪和摇动的影响，被摄物偏到画面的右侧。图3的图像IC6，通过加长(例如140mm)摄像机2001的多焦点透镜2002的焦点距离，来将视角缩小到如同视角2102，得到变焦倍率为4倍的摄影图像作为取幅2201。因此，为了与如图2的图像IC3的欲将被摄物1902捕捉在画面中央这一摄影意图相符，在画幅2202切取图像IC8，将其显示于取景器2003。画幅2201是摄影时的取幅，将其摄影完毕后，重新设定为画幅2202，以确保照摄影意图来取幅。

而且，在专利文献1中，作为对依靠图像处理进行变焦即电子变焦的画质劣化的对策，利用像素数和行(line)数较多的高精细图像传感元件。在使多焦点透镜2002的焦点距离加长4倍，例如从35mm加长到140mm的情况下，视角从视角2101变更为视角2102，被摄物1902以在视角2101的情况下的4倍的大小显现于取景器2003中。如果，摄像机2001 的图像传感元件的像素数和行数与取景器2003相同，例如是640像素×480行的情况下，以视角2101来进行广角摄影，以使被摄物1902不出镜，则欲在取景器2003显示的区域减小到1/4。因此，以640像素×480行得到图像IC7的情况下，欲切取的画幅2202则变成160像素×120行，而为了在640像素×480行的取景器2003中进行显示，必须利用图像处理将其放大4倍。在专利文献1中，为了避免依靠图像处理进行的图像放大，增加摄像机2001的图像传感元件的像素数和行数，仅利用切取处理来得到与视角2102的光学变焦为4倍的情况相同的画质。也就是说，在取景器2003的图像尺寸是640像素×480行的情况下，图像传感元件使用2560像素×1920行。

然而，有这样的课题：以往的技术未考虑到保存摄影图像的记录媒介的记录容量。例如，在使用2560像素×1920行的图像传感元件的情况下，RGB24比特的1张画幅图像的容量约为14.7MB，若1秒钟内进行30画幅的摄影，则1秒钟内的记录容量约为441MB。例如，设想是非专利文献1的摄像机的情况下，硬盘的容量为30GB，因此，若以专利文献1的方式记录影像，则约68秒硬盘容量就使用完毕。并且，设想是非专利文献1的摄像机的情况下，运动图像的记录时间为7小时(在画质模式是最高水平的情况下)，因此，要对摄影图像进行压缩，以将7小时的影像记录于30GB的硬盘，则须将数据量减小到约0.3％。

专利文献1：日本国特开2005-12423号公报(图3)

非专利文献1：日本ビクタ一株式会社、「ハ一ドデイスクム一ビ一、主な仕样」、[平成18年2月10日检索]、internet<URL:http://www.jvc-victor.co.jp/dvmain/gz-mg70/spec.html>

发明内容

因此，本发明鉴于上述的情况而创作，目的在于提供一种摄影装置以及摄影方法，其即使在被摄物或摄影者活动的情况下，也能够将照不全被摄物的情况抑制到最小限度，并且能够长时间地进行录像。

为了达到上述目的，本发明所涉及的摄影装置具有：被摄物活动检测单元，检测所述被摄物的活动；摄影装置活动检测单元，检测该摄影装置 的活动；焦点距离计算单元，在由所述被摄物活动检测单元对所述被摄物的活动进行的检测、以及由所述摄影装置活动检测单元对该摄影装置的活动进行的检测中，至少一方检测出活动的情况下，计算所述多焦点光学透镜的焦点距离，以使所述多焦点光学透镜的变焦倍率比被设定的变焦倍率小，而在由所述被摄物活动检测单元对所述被摄物的活动进行的检测、以及由所述摄影装置活动检测单元对该摄影装置的活动进行的检测中，未检测出活动的情况下，计算所述多焦点光学透镜的焦点距离，以使所述多焦点光学透镜的变焦倍率变为被设定的所述变焦倍率；焦点距离控制单元，控制所述多焦点光学透镜的焦点距离，使所述多焦点光学透镜的焦点距离与由所述焦点距离计算单元计算出的焦点距离相符；画幅区域设定单元，从通过所述多焦点光学透镜成像的所述光学变焦图像中，切取由所述变焦倍率来决定位置和大小的画幅区域；电子变焦处理单元，以电子变焦来进行变更，以使由所述画幅区域设定单元切取的所述画幅区域的图像的尺寸变为所要显示的图像尺寸；取幅图像显示单元，显示由所述电子变焦处理单元进行了电子变焦的电子变焦图像、或所述光学变焦图像；以及记录媒介单元，保存所述变焦倍率和所述光学变焦图像。

根据本发明所涉及的摄影装置以及摄影方法，在被摄物或摄像机活动而未能照摄影意图来控制取幅的情况下，能够通过从广角摄影图像切取图像来修正取幅。并且，在重新设定取幅的可能性较低的情况下，能够通过减小在记录媒介中的记录容量，从而加长影像的记录时间。而且，通过按照作为显示图像被利用的可能性的大小而进行的适应处理来进行记录媒介上的数据管理，从而能够加长影像的记录时间。

附图说明

图1A是示出本发明的背景技术的图。

图1B是示出本发明的背景技术的图。

图1C是示出本发明的背景技术的图

图1D是示出本发明的背景技术的图。

图2是示出本发明的背景技术的图。

图3是示出本发明的背景技术的图。

图4A是示出本发明的背景技术的图。

图4B是示出本发明的背景技术的图。

图5是示出本发明的实施例1所涉及的摄影装置的构成的方框图。

图6是示出焦点距离F、视角L、摄影距离D、图像传感元件的大小S的关系的图。

图7A是说明检测被摄物的活动的方法的一个例子的图。

图7B是说明检测被摄物的活动的方法的一个例子的图。

图8是说明在时间Ti-1和时间Ti的摄影装置和被摄物的相对位置关系被保存的例子的图。

图9是说明检测摄影装置的活动的方法的图。

图10是示出图5的摄影图像IC和取幅图像IDF的详细情况的图。

图11是说明线性内插法的图。

图12是说明数据库参照型图像放大方法的图。

图13是说明以小波(wavelet)变换的系数表现图像特征量FIS的方法的图。

图14是说明摄影装置的工作的流程图。

图15A是说明重新设定取幅的方法的图。

图15B是说明重新设定取幅的方法的图。

图16是示出本发明的实施例2所涉及的摄影装置的构成的方框图。

图17是示出本发明的实施例3所涉及的摄影装置的构成的方框图。

图18A是说明求得被摄物的活动的幅度的方法的图。

图18B是说明求得被摄物的活动的幅度的方法的图。

图19是示出本发明的实施例4所涉及的摄影装置的构成的方框图。

图20是说明摄影图像数据部以存储地址来识别画幅区域ICF的保存区域和外框区域ICM的保存区域的方法的图。

图21是示出本发明的实施例5所涉及的摄影装置的构成的方框图。

图22是说明以使摄影装置向右方摇动为例来说明预测方法的图。

图23是示出本发明的实施例6所涉及的摄影装置的构成的方框图。

图24是示出本发明的实施例7所涉及的摄影装置的构成的方框图。

图25是示出本发明的实施例8所涉及的摄影装置的概况的图。

图26是示出工作模式的选择画面的图。

图27是示出被摄物照不全防止模式的设定画面的图。

图28是示出压缩率可变模式的设定画面的图。

图29是示出外框覆盖记录模式的设定画面的图。

图30是示出取幅重新设定模式的设定画面的图。

图31是示出预测模式的设定画面的图。

图32是说明在图像特征检测部指定特定的颜色使用的调色板1606的图。

图33是说明在图像特征检测部指定特定的颜色使用的范围指定1609的图。

图34是示出在声音特征检测部指定声音的设定画面的图。

图35A是示出本发明的实施例9所涉及的摄影装置的构成的方框图。

图35B是示出本发明的实施例9所涉及的摄影装置摄影的图像的图。

图35C是示出本发明的实施例9所涉及的摄影装置摄影的图像的图。

图35D是示出本发明的实施例9所涉及的摄影装置摄影的图像的图。

符号说明

100、400、500、600、700、800、900、1000、1700摄影装置

101多焦点光学透镜部

102焦点距离控制部

103焦点距离计算部

104图像传感元件部

105变焦倍率设定部

106被摄物活动检测部

107摄影装置活动检测部

108记录媒介部

109取幅重新设定部

110取幅变更部

111画幅区域设定部

112电子变焦处理部

113取幅图像显示部

114姿势传感器部

200被摄物

具体实施方式

本发明的实施例所涉及的摄影装置，具有：被摄物活动检测单元，检测所述被摄物的活动；摄影装置活动检测单元，检测该摄影装置的活动；焦点距离计算单元，在由所述被摄物活动检测单元对所述被摄物的活动进行的检测、以及由所述摄影装置活动检测单元对该摄影装置的活动进行的检测中，至少一方检测出活动的情况下，计算所述多焦点光学透镜的焦点距离，以使所述多焦点光学透镜的变焦倍率比被设定的变焦倍率小；而在由所述被摄物活动检测单元对所述被摄物的活动进行的检测、以及由所述摄影装置活动检测单元对该摄影装置的活动进行的检测中，未检测出活动的情况下，计算所述多焦点光学透镜的焦点距离，以使所述多焦点光学透镜的变焦倍率变为被设定的所述变焦倍率；焦点距离控制单元，控制所述多焦点光学透镜的焦点距离，使所述多焦点光学透镜的焦点距离与由所述焦点距离计算单元计算出的焦点距离相符；画幅区域设定单元，从通过所述多焦点光学透镜成像的所述光学变焦图像中，切取由所述变焦倍率来决定位置和大小的画幅区域；电子变焦处理单元，以电子变焦来进行变更，以使由所述画幅区域设定单元切取的所述画幅区域的图像的尺寸变为所要显示的图像尺寸；取幅图像显示单元，显示由所述电子变焦处理单元进行了电子变焦的电子变焦图像、或所述光学变焦图像；以及记录媒介单元，保存所述变焦倍率和所述光学变焦图像。

具体而言，第一，考虑到在被摄物或摄影装置活动的情况下，容易发生不适合摄影意图的取景，因此，选择广角摄影，以防止照不全被摄物。也就是说，若检测出被摄物或摄影装置的活动，则将光学变焦切换为广角摄影(缩短多焦点光学透镜的焦点距离)，以较大范围对场景进行摄影，来将被摄物捕捉在视角内。对于摄影者确认取幅的、在取景器中的影像的显示，使用电子变焦，例如，在摄影者将变焦倍率设定为4倍的情况下，从广角摄影图像中切取与4倍变焦倍率对应的区域作为画幅区域，并以电子变焦放大为在取景器中显示的显示影像的尺寸。在记录媒介保存以光学变焦决定的广角摄影影像和摄影者指定的变焦倍率。若参照变焦倍率，则能够在广角摄影影像中确定摄影者以取景器确认的画幅区域，而画幅区域之外的 外框区域能够被利用于重新设定取幅。

第二，在被摄物和摄影装置都静止的情况下，考虑到容易照摄影意图控制取幅，因此，在记录介质仅保存摄影时被设定的画幅区域，而不设置外框区域。因此，对于摄影者确认取幅的、在取景器中的影像的显示，依原样使用以光学变焦进行摄影的图像，而电子变焦不工作(设定倍率为1倍)。因此，在被摄物和摄影装置双方的活动都未检测出的情况下，在记录媒介仅保存进行显示所需要的图像尺寸，以减小记录容量。

据此，利用光学控制变焦(光学变焦)和电子控制变焦(电子变焦)这双方，来照摄影意图设定取幅，能够向摄影者显示如其摄影意图的影像。并且，即使在被摄物或摄影者活动的情况下，也能够将被摄物照不全的情况抑制到最小限度，并且长时间地录像。

并且，也可以是，所述摄影装置进一步具有：取幅重新设定单元，重新设定在所述记录媒介单元保存的所述变焦倍率、以及由所述变焦倍率决定的画幅区域在所述光学变焦图像上的位置中的至少一个；以及取幅变更单元，使用由所述取幅重新设定单元重新设定的所述变焦倍率以及所述画幅区域在所述光学变焦图像上的位置，从在所述记录媒介单元保存的所述光学变焦图像中，切取所述画幅区域。

并且，也可以是，所述摄影装置进一步具有：压缩编码单元，以各自的压缩率分别对所述画幅区域、和从所述光学变焦图像中除去所述画幅区域之后的外框区域进行图像的压缩编码；以及扩展解码单元，对以各自的压缩率分别进行了压缩编码的所述画幅区域和所述外框区域进行图像扩展解码。据此，能够减小记录媒介的记录容量。也就是说，只要不重新设定取幅，则外框区域不会被利用，并且，在重新设定取幅时，全部的外框区域都被选择的可能性较低，因此，对于外框区域相对地提高压缩率以优先记录容量的减小，而对于画幅区域相对地降低压缩率以优先画质。

并且，也可以是，所述摄影装置进一步具有：地址调整单元，在所述记录媒介单元中，对所述画幅区域、和从所述光学变焦图像中除去所述画幅区域之后的外框区域分别进行地址管理；以及容量管理单元，在所述记录媒介单元的记录容量达到上限的情况下，在所述外框区域的地址上覆盖记录所述画幅区域的数据。据此，能够加长记录对摄影者而言比较重要的 画幅区域的影像的时间。

并且，也可以是，所述画幅区域设定单元，从由所述摄影装置活动检测单元检测出的该摄影装置的活动中检测规律性，基于检测出的所述规律性，移动所述光学变焦图像中的所述画幅区域，以便预测取幅。据此，摄影装置的活动，再加上，因为在光学变焦图像内画幅区域移向摄影装置的移动方向，所以能够以更短的时间捕捉被摄物，从而能够将照不全的情况抑制到最小限度。

并且，也可以是，所述画幅区域设定单元，在由所述被摄物活动检测单元检测出所述被摄物的活动的变化超过所定以上的情况下，将所述光学变焦图像中的所述画幅区域移向检测出所述被摄物的活动的区域。据此，能够将画幅区域移向例如突然加快活动的人物、突然停止活动的人物等，因此能够以监视摄像机等对重要的区域自动地详细地进行摄影。

并且，也可以是，所述摄影装置进一步具有图像特征检测单元，从所述光学变焦图像中，检测出特定的颜色以及特定的图像模式中的至少一个，所述焦点距离计算单元，在由所述图像特征检测单元检测出所述特定的颜色以及所述特定的图像模式中的至少一个的情况下，计算所述多焦点光学透镜的焦点距离，以使所述多焦点光学透镜的变焦倍率比被设定的变焦倍率小，所述画幅区域设定单元，移动所述光学变焦图像中的所述画幅区域，以使所述画幅区域包含由所述图像特征检测单元检测出的所述特定的颜色以及所述特定的图像模式。据此，能够将画幅区域移向包含特定的颜色以及特定的图像模式的区域，因此，能够以例如监视摄像机等对重要的区域自动地详细地进行摄影。

另外，本发明不仅能够作为这样的摄影装置来实现，而且，也能够作为以这样的摄影装置所具有的有特征的单元为步骤的摄影方法来实现，或作为使计算机执行这些步骤的程序来实现。并且，不言而喻，这样的程序能够通过CD-ROM等记录媒介或互联网等传送媒介进行分发。

下面，参照附图对本发明的实施例进行详细的说明。

(实施例1)

在本实施例，进行说明的摄影装置是：按照对被摄物或摄像机的活动的检测，分开使用光学变焦和电子变焦，将被摄物偏出视角而照不全的可 能性抑制到最小限度，并且将影像的记录容量也抑制到最小限度的摄影装置。

图5是示出本发明的实施例1所涉及的摄影装置的构成的方框图。

摄影装置100是用于对被摄物200进行摄影的装置，其包括：多焦点光学透镜部101、焦点距离控制部102、焦点距离计算部103、图像传感元件部104、变焦倍率设定部105、被摄物活动检测部106、摄影装置活动检测部107、记录媒介部108、取幅重新设定部109、取幅变更部110、画幅区域设定部111、电子变焦处理部112、取幅图像显示部113、以及姿势传感器部114。实线示出影像数据的传递，虚线示出控制数据的传递。

多焦点光学透镜部101通过变更焦点距离，来变更在图像传感元件部104成像的摄影图像IC的视角。在焦点距离计算部103依照在变焦倍率设定部105设定的变焦倍率ZF来计算焦点距离，通过焦点距离控制部102来设定多焦点光学透镜部101的焦点距离。图6示出焦点距离F、被摄像的被摄物200的长度(相当于视角)L、被摄物200和多焦点光学透镜部101之间的距离D、图像传感元件104的大小S的关系，其具有下述(式1)的关系。

【数1】

$F=\frac{S}{L}D$ ……(式1)

焦点距离F和视角L具有反比关系，例如，焦点距离F从35mm被加长到4倍到140mm的情况下，视角L缩小到1/4，能够摄影到倍率为4倍的放大图像。

由摄影者在变焦倍率设定部105设定变焦倍率ZF。设定多焦点光学透镜部101的焦点距离最短而视角最大的状态时的变焦倍率ZF为1倍。向焦点距离计算部103、记录媒介部108、和取幅变更部109输入在变焦倍率设定部105被设定的变焦倍率ZF。

被摄物活动检测部106检测被摄物200的活动，而摄影装置活动检测部107检测摄影装置100的活动。被摄物200的活动或摄影装置100的活动中的至少一方被检测出的情况下，检测结果被输入焦点距离计算部 103，焦点距离计算部103将焦点距离设定为最短(例如35mm)，多焦点光学透镜部101被设定为视角最大的光学变焦为1倍的状态。这样工作的目的是想到在被摄物200和摄影装置100中的至少一方活动的情况下，摄影者不能照摄影意图来控制取幅，被摄物200从视角偏出的可能性较大，因此设定为视角最大的光学变焦为1倍的状态，从而防止照不全。相反，被摄物200未活动且摄影装置100也未活动的情况下，被摄物200从视角偏出而照不全的可能性较低，因此焦点距离计算部103将由变焦倍率设定部105提供的变焦倍率ZF(例如4倍)输出到焦点距离控制部102，多焦点光学透镜部101被设定为光学变焦为4倍(例如35mm为1倍的情况下，其为140mm)的状态。

本发明的被摄物活动的检测方法是任意的，例如，如图7A以及7B所示，利用求得两个不同时间的图像的差分的方法。设定图7A是在时间T0到时间TE之间被摄物200向右方移动的情况，并且摄影装置100是静止的。考虑在时间T0和时间TE之间的连续的时间Ti-1和时间Ti，分别设定摄影图像为摄影图像ICi-1、摄影图像ICi。时间Ti-1和时间Ti的间隔依存于帧率，通常为1/30秒。图7B所示的图像ICOPT是以像素单位求得摄影图像ICi-1和摄影图像ICi的差分的结果，以斜线示出像素值不同的像素。实际上，因为存在包括像机噪声或背景的微小的活动等的各种各样的噪声，所以对于差分值设定阈值，将超出了阈值的情况判断为有活动。并且，不仅对像素值而且也对像素数设定阈值，将未超出像素数的阈值的情况考虑为噪声，对其忽略。

在上述的说明，假定了摄影装置100是静止的。相反，被摄物200是静止的，而摄影装置100向左侧跟踪的情况下，得到与图7A以及图7B相同的摄影图像。因此，摄影装置100的活动也能够以图7A以及图7B的原理来进行检测。但是，如图8所示，可考虑到摄影装置100和被摄物200同时移动，在时间Ti-1和时间Ti的相对位置关系得以保存，以致摄影图像ICi-1和摄影图像ICi相同的情况。此时，以图7A以及图7B所示的求得差分值的方法不能检测出摄影装置100的活动或被摄物200的活动。因此，如图9所示，在摄影装置100内置姿势传感器部114，来检测摄影装置100的活动。图7A以及图7B所示的被摄物活动检测方法是一个例 子，本发明能够利用任意的被摄物活动检测方法，但是不论适用哪一种方法，若独立检测出摄影装置100的活动，则能提高检测被摄物200的活动的精度，因此姿势传感器部114能够得到有效的利用。姿势传感器部114使用角速度传感器或加速度传感器等。

记录媒介部108将由图像传感元件部104输出的摄影图像IC和由变焦倍率设定部105输出的变焦倍率ZF与时间一起保存。参照被记录的时间可知摄影图像IC和变焦倍率ZF之间的对应关系。被摄物活动检测部106或摄影装置活动检测部107检测出被摄物200或摄影装置100的活动时，多焦点光学透镜部101被设定为光学变焦为1倍，因此不论变焦倍率ZF的设定值如何，都会记录光学变焦为1倍的摄影图像IC。

在摄影时，取幅重新设定部109和取幅变更部110不工作，而是在再生被记录的影像并重新设定取幅时工作。因此，在摄影时，由变焦倍率设定部105提供的变焦倍率ZF经过取幅变更部110被输入到画幅区域设定部111和电子变焦处理部112。在对摄影时的工作进行说明之后，作为再生时的工作说明，对取幅重新设定部109和取幅变更部110的工作进行说明。

依照变焦倍率ZF，画幅区域设定部111对从图像传感元件部104的输出即摄影图像IC中切取的画幅区域ICF进行设定，电子变焦处理部112从摄影图像IC切取画幅区域ICF，通过依靠图像处理进行的电子变焦来生成取幅图像IDF，在取幅图像显示部113向摄影者显示取幅图像IDF。

图10示出图5的摄影图像IC和取幅图像IDF的详细情况。摄影图像IC具有像素数PC、行数LC，与图像传感元件部104的像素数和行数一致。取幅图像IDF具有像素数PD、行数LD，与取幅图像显示部113的像素数和行数一致。虚线的交点表示多焦点光学透镜部101的光轴位置，与摄影图像IC和取幅图像IDF的中心一致。为了使多焦点光学透镜部101为最大角的情况下，变焦倍率ZF的倍率为1，因此依照变焦倍率ZF，缩小视角以切取画幅区域ICF的像素数为(PC)/(ZF)、行数为(LC)/(ZF)。

然后，为了在取幅图像显示部113显示画幅区域ICF，实施电子变焦，将像素数(PC)/(ZF)变换为像素数PD，将行数(LC)/(ZF)变换为行数LD。像素数PD比像素数(PC)/(ZF)大的情况下，或行数LD比行数(LC)/(ZF)大的 情况下，电子变焦使图像放大。在本发明，放大图像的方法是任意的，在图11和图12示出放大图像的方法的例子。

图11是说明线性内插法的图。实线示出被放大图像(相当于图10的画幅区域ICF)的像素位置，实线的交点示出像素。像素P1具有像素值S1，像素P2具有像素值S2，像素P3具有像素值S3，像素P4具有像素值S4。虚线示出放大图像(相当于图10的取幅图像IDF)的像素位置，以(式2)的线性内插运算来求出像素DFP的像素值SD。

【数2】

S_D＝S_A+w_L(S_B-S_A)

S_A＝S₁+w_P(S₂-S₁)    ……(式2)

S_B＝S₃+w_P(S₄-S₃)

图12是说明数据库参照型图像放大方法的图。此时，如图12所示，电子变焦处理部112包括：图像特征解析部301、高密度化数据库302、类别选定部303、以及图像生成部307。并且，高密度化数据库302包括：图像特征类别数据库304、变换表数据库305、以及高密度化图像特征量数据库306。

被放大的图像IS(相当于图10的画幅区域ICF)在图像特征解析部301被变换为图像特征量FIS。图像特征量FIS是表现图像的纹理(texture)(表示光泽感或凹凸感等的图案或模式的总称)的特征量，例如，如图13所示，以小波(wavelet)变换的系数为要素的多维矢量(vector)来表现。也就是说，对n次缩放的每次缩放求得小波变换的输出HL、LH、HH、LL，通过分层捆绑，从而得到(3n+1)次矢量。其被用于图像特征量FIS。高密度化数据库302将图像特征量FIS变换为空间密度较高的高密度化图像特征量FISH。高密度化数据库302按每个图像特征类别保有用于高密度化的图像特征量的变换信息。因此，图像特征量FIS的类别在类别选定部303被选定，在图12的例子中，被选择的是图像特征类别#2。例如按每个被摄物的材质的种类(例如皮肤、木、石、质地等)设定图像特征类别并将图像特征量进行高密度化，就能够保存材质的纹理，能够将放大图像的画 质控制在高品质。在类别选定部303被确定的图像特征类别是参照图像特征类别数据库304被选择的最类似的类别，在图12的例子中，图像特征类别#2被选择。若通过参照图像特征类别数据库304，决定类别编号(在此例为#2)，则在变换表数据库305相同的类别编号被选择，能够得到应该参照的高密度化图像特征量的类别编号(在此例为#10)。依照高密度化图像特征量的类别编号，高密度化图像特征量从高密度化图像特征量数据库306中被选择，在此例中，高密度化图像特征量#10作为高密度化图像特征量FISH被输出到图像生成部307。图像生成部307以图像特征解析部301的处理的逆变换将高密度化图像特征量变换为放大图像IL。在图像特征解析部301利用小波变换的情况下，适用小波逆变换。

如上所述，在被摄物活动检测部106对被摄物200的活动的检测、或摄影装置活动检测部107对摄影装置100的活动的检测中的至少一方被检测出的情况下，考虑到照不全被摄物200的可能性较高，采用最大的视角，在记录媒介部108保存包含外框区域ICM的摄影图像IC。相反，在被摄物200和摄影装置100都静止的情况下，考虑到照不全被摄物200的可能性较低，在记录媒介部108仅保存画幅区域ICF作为作摄影图像IC。通过这样的工作原理，将照不全的可能性抑制到最小限度，并且最大限度地减小在记录媒介部108中的记录容量。

对摄影者使用上述构成的摄影装置100对被摄物200进行摄影的情况下的工作进行说明。

图14是说明摄影装置100的工作的流程图。

摄影装置100若被启动，则作为初始设定(S101)，焦点距离控制部102将多焦点光学透镜部101的焦点距离设定到最短，将变焦倍率复位为1。画幅区域设定部111和电子变焦处理部112将变焦倍率ZF作为1来工作，因此，在取幅图像显示部113显示变焦倍率ZF为1的视角最大的图像(S102)。变焦倍率设定部105向摄影者开放(S103)，摄影者能够以任意的定时变更变焦倍率ZF。若摄影者按下录像键，则被摄物活动检测部106开始监视被摄物的活动，摄影装置活动检测部107开始监视摄影装置的活动(S104)。在被摄物的活动和摄影装置的活动中的至少一方被检测出的情况下(S104的“是”)，焦点距离计算部103计算焦点距离，使变 焦倍率ZF为1，焦点距离控制部102将多焦点光学透镜部101设定为相当于倍率为1的广角(S105)。由倍率为1的广角图像设定与变焦倍率ZF相当的画幅区域ICF，而电子变焦处理部112切取该画幅区域ICF(S106)。然后，电子变焦处理部112放大图像或缩小图像，使画幅区域ICF与取幅图像显示部113的图像尺寸相符(S107)。在取幅图像显示部113显示电子变焦图像(S108)，在记录媒介部108保存摄影图像IC和变焦倍率ZF(S109)。在结束摄影的情况下(S110的“是”)，结束工作。在继续摄影的情况下(S110的“否”)，回到检测被摄物的活动以及摄影装置的活动中的至少一方的步骤(S104)。而在被摄物的活动和摄影装置的活动都未检测出的情况下(S104的“否”)，将多焦点光学透镜部101设定为摄影者设定的变焦倍率ZF(S112)。在取幅图像显示部113显示图像传感元件部104的输出即摄影图像IC(S108)。

上述是与摄影时的工作有关的说明，在此基础上，以下对再生时的重新设定取幅的工作进行说明。

取幅重新设定部109是在摄影后修正摄影时所设定的取幅的单元，其能够变更画幅区域ICF的位置和变焦倍率ZF。图15A以及图15B是说明重新设定取幅的方法的图。图像ICTo是摄影时在记录媒介部108保存的摄影图像，包含外框区域ICM。设定摄影意图为对向右方移动的人物的上半身进行摄影。摄影图像ICTo被记录之前的取幅为捕捉到被摄物201的上半身的取幅，但是，摄影图像ICTo被摄影的时刻才知道被摄物202的身高比被摄物201高，出镜了。因此，设定欲重新设定取幅为如同摄影图像ICT1。也就是说，将画幅区域ICFo的中心位置ICFCo向画幅区域ICF1的中心位置ICFC1移动，并且扩大视角(使变焦倍率变小)。

画幅区域的中心位置和变焦倍率的指定方法，与摄影时相同，由摄影者再生记录媒介部108中保存的摄影图像，边在取幅图像表示部113确认取幅，边向欲修正的方向调整摄影装置100。同时，调整变焦倍率设定部105。摄影装置100的活动在姿势传感器部114(图9)进行检测，并读取摄影图像IC的光轴位置的变化。在重新设定取幅时，降低再生速度(例如1/5秒)以对取幅的确认和操作提供充裕的时间。并且，也可以由摄影者来变更再生速度。被变更的画幅区域的中心位置ICFC1和变焦倍率ZF通过取幅变 更部110被保存在记录媒介部108。此时，摄影者能够选择删除过去的数据仅留下新的变更数据的“覆盖记录模式”或留下过去的数据而另行记录新的变更数据的“复写模式”。并且，也能够利用以复写模式暂时修正，对修正结果进行再生在取幅图像显示部113进行确认后，执行覆盖记录模式的“复写覆盖记录模式”。而且，摄影者能够指示作成变更数据后是删除还是留下外框区域ICM的数据。另外，为了节约记录媒介的记录容量，最好是选择覆盖记录模式，并在过去的数据和变更数据双方删除外框区域。相反，在还有反复重新设定取幅的可能性的情况下，最好是在过去的数据和变更数据双方留下外框区域。在反复重新设定取幅的情况下，摄影者能够选择是对过去的数据还是对变更的数据进行追加变更。如上所述，若以与摄影时相同的操作方法重新设定取幅，则能够参考摄影时的取幅的记录(应该使摄影装置朝上)，因此有以下优点：重新设定时的操作比较顺利，且能够一气儿地修正由多个画幅图像构成的运动图像。

画幅区域ICFo的大小依照变焦倍率ZF来决定，画幅区域ICFo包含的像素数为整个图像ICTo的1/(ZF)^2。例如，变焦倍率ZF为2倍的情况下，其为1/4，变焦倍率ZF为4倍的情况下，其为1/16。外框区域ICM包含的像素数为，从整个图像ICTo减去画幅区域ICFo之后的像素数，因此，变焦倍率ZF为2倍的情况下，其为3/4，变焦倍率为4倍的情况下，其为15/16。相对来看，被利用的可能性较低的外框区域ICM比被利用的可能性较高的画幅区域ICF包含更多的像素，因此，考虑记录媒介部108的记录容量为固定的值(例如为30GB)的情况下，能够容易理解删除外框区域对于延长录像时间比较有效。例如，设定图像传感元件部104的图像尺寸为2560像素×1920行，记录媒介部108的记录容量为30GB，则在RGB24比特图像的情况下，约86秒就达到记录容量的上限。假如，设定取幅图像显示部113的图像尺寸为640像素×480行的情况下，画幅区域ICF的图像尺寸为像素数、行数都为摄影图像IC的1/4，外框区域ICM为15/16。因此，被摄物200和摄影装置100都是静止的情况下，或者，摄影后删除外框区域的情况下，记录容量减小15/16，若记录上限为30GB，则录像时间约延长到1080秒(约18分钟)。

并且，若在电子变焦处理部112执行在如图11或图12例示的依靠图 像处理进行的电子变焦，则能够减少图像传感元件部104的像素数和行数。例如，设定图像传感元件部104为1280像素×960行，若在电子变焦处理部112放大2倍，则可得到相当于2560像素×1920行的画幅区域ICF。图像传感元件部104的像素数和行数都减小到1/2，因此在记录媒介部108的录像时间也延长到4倍，例如，若设定记录媒介部108的记录容量为30GB，则录像时间约为334秒(5分34秒)，在不保存外框区域ICM的情况下，延长到72分钟。

另外，在图5的说明中，被摄物的活动、或摄影装置的活动中的至少一方被检测出时，设定光学变焦为1倍，但是本发明并不限定光学变焦的倍率，例如可以是1.5倍。工作的本质在于被摄物的活动、或摄影装置的活动中的至少一方被检测出时变更为广角摄影这一点，只要是适合于防止照不全被摄物的情况的倍率，可任意地设定该数值。

如此这般，能够提供通过监视被摄物和摄影者的活动，并分开使用光学变焦和电子变焦，从而将照不全被摄物的情况抑制到最小限度，并且能够长时间录像的摄影装置。并且，对摄影装置的活动、变焦倍率的变更与摄影时相同，因此取幅的重新设定不需记忆新的操作方法，并且能够顺利地修正运动图像。

(实施例2)

在本实施例，对按画幅区域和外框区域切换图像数据的压缩率并在记录媒介保存摄影图像的摄影装置进行说明。

图16是示出本发明的实施例2所涉及的摄影装置的构成的方框图。另外，对于与图5所示的摄影装置相同的部分附加相同的符号，对其省略详细说明。

摄影装置400是用于对被摄物200进行摄影的装置，其包括：多焦点光学透镜部101、焦点距离控制部102、焦点距离计算部103、图像传感元件部104、变焦倍率设定部105、被摄物活动检测部106、摄影装置活动检测部107、记录媒介部108、取幅重新设定部109、取幅变更部110、画幅区域设定部111、电子变焦处理部112、取幅图像显示部113、姿势传感器部114、压缩编码部401、以及扩展解码部402。

压缩编码部401以不同的压缩率对在画幅区域设定部111被设定的画 幅区域ICF和外框区域ICM实施图像压缩处理，并向记录媒介部108输出。相对来看，画幅区域ICF被利用于图像显示的可能性较高，外框区域被利用于图像显示的可能性较低，因此，以减小记录容量为目的，对外框区域适用较高的压缩率，以延长录像时间。提高压缩率导致画质劣化，但是通过设置外框区域能够防止照不全的情况。例如，设定图像传感元件部104的图像尺寸为2560像素×1920行，而记录媒介部108的记录容量为30GB，则在RGB24比特图像的情况下，约86秒就达到记录容量的上限。假如，设定取幅图像显示部113的图像尺寸为640像素×480行的情况下，画幅区域ICF的图像尺寸为像素数、行数都为摄影图像IC的1/4，外框区域ICM占15/16。因此，将外框区域ICM的数据量压缩到1/2，而画幅区域ICF的数据量压缩到3/4的情况下，设定1画幅的的记录容量为约7.6MB，记录媒介部108的记录容量为30GB，则录像时间变成约132秒(2分12秒)，录像时间延长到约1.5倍。

扩展解码部402对被压缩编码的摄影图像IC进行扩展解码，并向电子变焦处理部112输出。

如此这般，通过按画幅区域和外框区域切换图像数据的压缩率来在记录媒介保存摄影图像，从而能够提供加长录像时间的摄影装置。另外，也可以以相同的压缩率对画幅区域以及外框区域进行压缩编码，但是通过按上述内容切换压缩率，能够有效地在记录媒介中保存摄影图像。

(实施例3)

在本实施例，对按照被摄物的活动和摄影装置的活动的幅度来控制画幅区域的大小、或压缩率中的至少一方的摄影装置进行说明。

图17是示出本发明的实施例3所涉及的摄影装置的构成的方框图。另外，对于与图16所示的摄影装置相同的部分附加相同的符号，对其省略详细说明。

摄影装置500是用于对被摄物200进行摄影的装置，其包括：多焦点光学透镜部101、焦点距离控制部102、焦点距离计算部103、图像传感元件部104、变焦倍率设定部105、被摄物活动检测部106、摄影装置活动检测部107、记录媒介部108、取幅重新设定部109、取幅变更部110、画幅区域设定部503、电子变焦处理部112、取幅图像显示部113、姿势传感器部114、压缩编码部501、以及扩展解码部502。

被摄物活动检测部106向焦点距离计算部103输出被摄物的活动检测结果，并且向画幅区域设定部503、压缩编码部501和扩展解码部502输出被摄物的活动检测结果。被摄物活动检测部106对画幅区域设定部503、压缩编码部501和扩展解码部502的输出，不仅输出有活动或未活动这两个值的信息，还输出被摄物的活动的幅度。活动的幅度有两个观点：在摄影图像IC中被检测出被摄物的活动的像素数的比例，和在关注时间变化的情况下，被检测出被摄物的活动的像素的集合在摄影图像IC中移动了多少。

如图7A以及图7B所示，被摄物的活动通过以下内容判断：在时间上有先后的2张图像(在图7A以及图7B为时间Ti-1的图像ICi-1和在时间Ti的图像ICi)，按每个像素求得的像素值的差分，判断为具有差分值的像素发生了活动。因此，表示差分值的分布的图像ICOPT的斜线部分的面积越大，判断为被摄物的活动的幅度越大。被摄物的活动的幅度越大，不能照摄影意图来设定取幅的可能性越大，因此使画幅区域ICF小一些，而外框区域ICM大一些，以提高防止照不全的精度。

图18A以及图18B示出在时间上时间Ti-1、时间Ti、以及时间Ti+1这样连续的三张摄影图像，即摄影图像ICi-1、摄影图像ICi、以及摄影图像ICi+1。时间Ti-1和时间Ti的差分为图像ICOPT1，而时间Ti和时间Ti+1的差分为图像ICOPT2。图像ICOPT1的以斜线所示的有活动的像素的重心为点CP1，图像ICOPT2的以斜线所示的有活动的像素的重心为点CP2，可知被检测出被摄物的活动的像素的集合进行了移动。也就是说，通过点CP1的垂直方向上的虚线CV1和通过点CP2的垂直方向上的虚线CV2在不同的位置。另外，被摄物200平行移动，因此通过点CP1的水平方向上的虚线CH1和通过点CP2的水平方向上的虚线CH2在相同的位置。从虚线CV1和虚线CV2不一致可知从时间Ti-1直到Ti+1被摄物的活动是连续的，判断为被摄物的活动的幅度比较大。被摄物的活动的幅度越大，不能照摄影意图来设定取幅的可能性越大，因此使画幅区域ICF小一些，而外框区域ICM大一些，以提高防止照不全的精度。在时间上连续地监视检测出被摄物的活动的像素的集合的重心位置，重心位置的活动越是连续，判断为被摄物的活动的幅度越大。

如上所述，说明了按照被摄物的活动的幅度，设定压缩率是固定的情况下，变更画幅区域ICF的大小的方法，但是，也可以以相同的要领，设定画幅区域ICF的大小是固定的情况下，控制图像压缩的压缩率。也就是说，压缩编码部501，在被输入的活动的幅度大的情况下，使用外框区域ICM重新设定取幅的可能性较大，因此使对外框区域ICM实施图像压缩的压缩率较低，以保持高画质水平。

并且，能够按照被摄物的活动的幅度，同时执行对画幅区域ICF的大小和对外框区域ICM的压缩率的控制。此时，画幅区域ICF的大小越小，电子变焦处理部112执行图像放大处理的放大率则越大。因此，画幅区域ICF的大小越小，针对画幅区域ICF实施图像压缩的压缩率越低，以维持画质的水平。

在上述的说明中，以被摄物的活动为对象说明了图17的工作，但是也可以以摄影装置的活动替换被摄物的活动。并且，在被摄物的活动或摄影装置的活动中的至少一方发生了活动的情况下，也可以求得活动的幅度。

如此这般，能够提供按照被摄物的活动和摄影装置的活动的幅度控制画幅区域的大小、或压缩率中的至少一方的摄影装置，能够将照不全被摄物的情况抑制到最小限度，并且加长录像时间。

(实施例4)

在本实施例说明这样一种摄影装置：在记录媒介中分别管理画幅区域和外框区域，在记录容量无余量的情况下，在外框区域的保存区域进行覆盖记录的摄影装置。

图19是示出本发明的实施例4所涉及的摄影装置的构成的方框图。另外，对于与图5所示的摄影装置相同的部分附加相同的符号，对其省略详细说明。

摄影装置600是用于对被摄物200进行摄影的装置，其包括：多焦点光学透镜部101、焦点距离控制部102、焦点距离计算部103、图像传感元件部104、变焦倍率设定部105、被摄物活动检测部106、摄影装置活动检测部107、记录媒介部604、取幅重新设定部109、取幅变更部110、画幅区域设定部111、电子变焦处理部112、取幅图像显示部113、姿势传感器部114、摄影图像数据部601、存储地址调整部602、以及存储容量 管理部603。

如图20所示，摄影图像数据部601分别具有画幅区域ICF的保存区域和外框区域ICM的保存区域，并以存储地址来识别。在此例中，将存储地址0000到1FFF用于画幅区域，将存储地址2000到FFFF用于外框区域。存储地址调整部602依照画幅区域设定部111提供的画幅区域ICF和外框区域ICM，担当对存储地址的分配。存储容量管理部603监视记录媒介部108的记录容量，无余量的情况下，向存储地址调整部602发出指示，在外框区域ICM的存储地址空间覆盖记录画幅区域ICF。通过这样的工作，能够延长相对来看被利用的可能性较高的画幅区域的记录时间，以加长录像时间。

并且，经由存储地址调整部602，由被摄物活动检测部106和摄影装置活动检测部107将活动的幅度记录于摄影图像数据部。因此，如图20所示，所有的外框区域ICM兼具活动的幅度。在无记录容量的余量而在外框区域ICM的存储空间覆盖记录画幅区域时，从活动的幅度小的数据开始顺序覆盖记录。通过进行这样的工作，能够从相对来看被利用的可能性较小的活动较小的外框区域开始进行覆盖记录，将照不全的情况抑制到最小限度，并且延长录像时间。

如此这般，能够提供在记录媒介上分别管理画幅区域和外框区域，并在记录容量无余量的情况下，在外框区域上进行覆盖记录的摄影装置，能够将照不全的情况抑制到最小限度，并且延长录像时间。

(实施例5)

在本实施例，说明这样一种摄影装置：摄影者欲进行摄影的被摄物在视角外，摄影者对此通过移动摄影装置来将被摄物捕捉到视角内的摄影操作中，将取幅区域移向摄影装置由姿势传感器的活动所预测的移动方向，以更短的时间捕捉被摄物的摄影装置。

图21是示出本发明的实施例5所涉及的摄影装置的构成的方框图。另外，对于与图5所示的摄影装置相同的部分附加相同的符号，对其省略详细说明。

摄影装置700是用于对被摄物200进行摄影的装置，其包括：多焦点光学透镜部101、焦点距离控制部102、焦点距离计算部103、图像传感 元件部104、变焦倍率设定部105、被摄物活动检测部106、摄影装置活动检测部107、记录媒介部108、取幅重新设定部109、取幅变更部110、画幅区域设定部701、压缩编码部401、扩展解码部402、电子变焦处理部112、取幅图像显示部113、以及姿势传感器部114。

姿势传感器部114向画幅区域设定部701输出摄影装置700的姿势信息。画幅区域设定部701在时间上连续地监视姿势信息，在发现摄影装置700的活动具有一定的规律性(例如，向右方连续摇动2秒等)的情况下，摄影装置700预测将来也会连续相同的活动，在摄影图像IC内将画幅区域移向摄影装置的移动方向(例如，向右方摇动)，早于摄影装置的活动捕捉到被摄物。例如，图22是示出使摄影装置700向右方摇动的例子。被摄物为人物201、人物202、人物203，细实线的方框示出外框区域ICM，粗实线的方框示出画幅区域ICF。摄影者设定对画幅区域ICF进行取幅的变焦倍率ZF，电子变焦处理部112对画幅区域ICF进行电子变焦并显示于取幅图像显示部113。图22的上段的一列，是以往的例子，画幅区域ICF的中心与光轴一致。下段的一列，是预测画幅区域ICF的一个例子。设定从直到时间Ti-3为止的对姿势信息的累积监视(例如，向右方连续摇动了2秒)中，检测出了连续的向右方的摇动。因此，在时间Ti-2画幅区域ICFTi-2向右方进行了移动。此时，摄影者察觉到被摄物203的脸部出镜，在时间Ti-1使摄影装置700向上方俯仰，在时间Ti将被摄物203的整个脸部捕捉在画幅区域ICF中。摄影者通过取幅图像显示部113确认到捕捉到了被摄物203的整个脸部，因此不再需要移动摄影装置700，因此，在时间Ti的摄影装置700的向右方的摇动停止，同时画幅区域ICF的预测也停止。因此，画幅区域ICTi的中心回到了光轴。而对画幅区域ICF无预测的上段，在时间Ti-1察觉到被摄物203的出镜，而在时间Ti摄影装置700正在摇动中，因此画幅区域ICFTiFO未能捕捉全被摄物203的脸部。即，在上段，仅以摄影装置700的活动来追踪了目的的被摄物203的脸部，但是，在时间Ti未能完成，而在下段摄影装置700的活动，再加上，利用对画幅区域的预测，更早地捕捉到了目的的被摄物203的脸部。如此这般，若摄影装置的活动，再加上，在摄影图像IC内画幅区域移向摄影装置的移动方向，则能够以更短的时间捕捉到被摄物，将照不全的情况 抑制到最小限度。

在上述的工作，再加上，压缩编码部401以低压缩率对画幅区域ICF进行压缩编码，而以高压缩率对外框区域ICM进行压缩编码。摄影装置700的移动意味着在移动方向的前方存在对于摄影者比较重要的被摄物，而将此捕捉到画幅区域内正是摄影意图，因此对于作为摄影意图比较重要的画幅区域ICF使用画质劣化较小的低压缩率，而对于作为摄影意图不重要的外框区域ICM使用画质劣化较大的高压缩率。另外，压缩编码部401和扩展解码部402的工作与图16相同。

若摄影装置迅速地移动，则在图像中出现称为模糊(blur)的不清楚现象，导致不能确认被摄物的详细情况的画质劣化。因此，在不发生模糊的范围内移动摄影装置，而且利用画幅区域的预测来弥补摄影装置的活动，则能够使照不全的情况的最小化和画质两立。例如，无人的监视摄像机等需要使关心的被摄物被纳入视角内且对被摄物进行详细记录这样的广角和窄角的两立。因此，采取以摇动或俯仰移动窄角像机，以确保广角摄影的方式。本实施例能够发挥以下效果：正在进行摇动或俯仰时，正在观看监视摄像机的影像的操作员检测出关注的被摄物，马上将像机朝向关注的被摄物时，以较短的时间来达到目的。

(实施例6)

在本实施例，说明这样一种摄影装置：将变焦区域自动地移向活动发生了急剧变化的区域，以预测变焦区域的摄影装置。

图23是示出本发明的实施例6所涉及的摄影装置的构成的方框图。另外，对于与图5所示的摄影装置相同的部分附加相同的符号，对其省略详细说明。

摄影装置800是用于对被摄物200进行摄影的装置，其包括：多焦点光学透镜部101、焦点距离控制部102、焦点距离计算部103、图像传感元件部104、变焦倍率设定部105、被摄物活动检测部106、摄影装置活动检测部107、记录媒介部108、取幅重新设定部109、取幅变更部110、画幅区域设定部801、电子变焦处理部112、取幅图像显示部113、以及姿势传感器部114。

被摄物活动检测部106向画幅区域设定部801输出被摄物的活动的幅 度。画幅区域设定部801连续地监视被摄物的活动的幅度，若检测出急剧的变化，则自动地将画幅区域ICF移向该区域。急剧的活动的变化以在图18A以及图18B说明的发生了活动的像素的集合的重心位置的变化来判断，在重心位置的变化量超出阈值的情况下，设定其为发生了急剧的变化，将画幅区域ICF的中心位置移向当前的重心位置(在图18A以及图18B为CP2)。相反，在连续移动了一定时间的重心位置突然停止移动时，自动地将画幅区域ICF的中心位置移向停止的重心位置。

如此这般，向突然加快活动的人物，突然停止活动的人物等自动地分配变焦区域，能够利用例如监视摄像机等对重要的区域自动地详细地进行摄影。

另外，将本实施例适用于监视摄像机的情况下，通过与对摇动和俯仰进行的自动控制相组合，能够以更大范围对关注区域进行变焦。也就是说，若被检测出活动的像素的集合的重心快要偏出视角，则画幅区域ICF就不能被收纳于视角内，脱出到摄影图像IC的外侧。这意味着剧烈活动的被摄物快要从视角偏出的状态，因此，若将摄影装置800的朝向变更为，画幅区域ICF向摄影图像IC的外侧偏出的方向，就能够将被摄物捕捉到视角内。在画幅区域ICF偏出摄影图像IC的横向方向的情况下，自动控制摇动，而在画幅区域ICF偏出摄影图像IC的竖直方向的情况下，自动控制俯仰。

(实施例7)

在本实施例说明一种摄影装置：在检测出特定的颜色、图像模式、或声音等的情况下，将变焦区域自动地移向该检测方向，来预测变焦区域的摄影装置。

图24是示出本发明的实施例7所涉及的摄影装置的构成的方框图。另外，对于与图5所示的摄影装置相同的部分附加相同的符号，对其省略详细说明。

摄影装置900是用于对被摄物200进行摄影的装置，其包括：多焦点光学透镜部101、焦点距离控制部102、焦点距离计算部103、图像传感元件部104、变焦倍率设定部105、被摄物活动检测部106、摄影装置活动检测部107、记录媒介部108、取幅重新设定部109、取幅变更部110、画幅区域设定部902、电子变焦处理部112、取幅图像显示部113、姿势传感器部114、图像特征检测部901、声音传感器部903、以及声音特征检测部905。

图像特征检测部901检测摄影图像IC中的特定的颜色或特定的图像模式。特定的颜色以像素值来指定，例如RGB值同为100-200的灰色，或R值为200以上而G值和B值为10以下的红色等。像素值的种类是任意的，如YUV或HVC、测色值XYZ或LAB等，能够自由地选择。特定的图像模式是指将摄影图像IC例如分割为5×5像素的块，以25像素的像素值为要素形成的特征矢量等。例如，欲检测出特定的字符的情况下，预先将字符图像分割为块，求得特征矢量，并在图像特征检测部901保持。按每个摄影图像IC的块求得和字符图像的特征矢量的内积，若内积超出阈值则设定为检测出了字符。图像特征检测部901在检测出了特定的颜色或图像模式的情况下，向画幅区域设定部902输出检测位置的位置信息。画幅区域设定部902将画幅区域ICF的中心位置移向检测位置的中心位置。并且，在同时检测出了多个特定的颜色或图像模式的情况下，画幅区域设定部902使画幅区域ICF移动，使画幅区域ICF将这些全部包括。

如此这般，若检测出特定的颜色或模式，则自动地分配变焦区域，能够利用例如监视摄像机等对重要的区域自动地详细地进行摄影。

声音传感器部903对声源904发出的声音传感。为了确定声源904的位置，内置多个具有指向性的麦克风，以音量的大小来确定声源904的位置。声音特征检测部905具有针对音量的变化的阈值，在有急剧的巨大声音的情况下、急剧的音量降低的情况下、或检测出具有特定的频率模式的声音的情况下，向画幅区域设定部902输出声源904的位置信息。接受了声源904的位置信息的画幅区域设定部902，将摄影图像IC的声源位置作为画幅区域ICF的中心位置来设定画幅区域ICF。

如此这般，以音量突然变大、音量突然变小、或发生具有特定的频率模式的声音等声音的变化或声音的发生来检知特定的事件，从而自动地分配变焦区域，利用例如监视摄像机等对重要的区域自动地详细地进行摄影。

(实施例8)

在本实施例说明这样一种摄影装置：能够由摄影者来调整在实施例1到实施例7说明的工作的详细的设定的摄影装置。

图25示出本发明的实施例8所涉及的摄影装置的概况，图26示出工作模式的选择画面，并使用图27到图34说明各工作模式的条件设定方法。

如图25所示，摄影装置1000具有工作模式选择/调整拨盘部1001，通过对其进行操作，从图26所示的工作模式的选择画面选择欲变更设定的工作模式。假定对工作模式赋予如下名称：被摄物照不全防止模式1200、压缩率可变模式1300、外框覆盖记录模式1400、取幅重新设定模式1500、预测模式1600。在此例中，被摄物照不全防止模式1200被选择。

图27是在取幅图像显示部113显示的被摄物照不全防止模式1200的设定画面。粗线方框BR示出针对各菜单作为设定值被选择的值。若使被摄物活动检测1201为“ON”，则图5的被摄物活动检测部106变为有效。若提高被摄物活动检测灵敏度1202，则即使图7A以及图7B所示的活动检测像素的像素数相对较少，也判断为被摄物有活动。若降低被摄物活动检测灵敏度1202，则在图7A以及图7B所示的活动检测像素的像素数相对较多的情况下，才判断为被摄物有活动。若使摄影装置活动检测1203为“ON”，则图5的摄影装置活动检测部107变为有效。若提高摄影装置活动检测灵敏度1204，则即使图9所示的姿势传感器部114的变化量相对较小，也判断为摄影装置有活动。若降低摄影装置活动检测灵敏度1204，则在姿势传感器部114的变化量相对较大的情况下，才判断为摄影装置有活动。被摄物活动反映度1205表示按图17所示的被摄物的活动的幅度调整画幅区域ICF的大小的灵敏度。若被摄物反映度1205较高，则即使被摄物的活动相对迟缓，画幅区域ICF的尺寸也灵敏地变化。相反，若被摄物活动反映度1205较低，则即使被摄物的活动相对快速，画幅区域ICF的尺寸也不会急剧的变化。

图28是在取幅图像显示部113显示的压缩率可变模式1300的设定画面。粗线方框BR示出针对各菜单作为设定值被选择的值。画幅区域压缩率1301设定图16的压缩编码部401对画幅区域ICF实施图像压缩处理的压缩率。外框压缩率1302设定压缩编码部401对外框区域ICM实施图像压缩处理的压缩率。在此例中，对画幅区域ICF设定较低的压缩率，对外框区域ICM设定较高的压缩率，以减小在记录媒介部108中的记录容量。被摄物活动反映度1303表示按图17所示的被摄物的活动的幅度调整画幅 区域ICF的大小的灵敏度。若被摄物活动反映度1303较高，则即使被摄物的活动相对迟缓，压缩编码部501也会敏感地适用画幅区域压缩率1301和外框压缩率1302的设定值。相反，若被摄物活动反映度1303较低，则即使被摄物的活动相对快速，压缩编码部501也不会急剧地适用画幅区域压缩率1301和外框压缩率1302的设定值。若使画幅区域尺寸联动压缩率可变控制1304为“ON”，则在画幅区域ICF较小的情况下，降低压缩率，在画幅区域ICF较大的情况下，提高压缩率。以图18A以及图18B所示的方法检测出的被摄物的活动、或以图9的姿势传感器部114检测出的摄影装置100的活动的幅度较大的情况下、画幅区域ICF的尺寸变小，而使外框区域较大，以将照不全抑制到最小限度。

图29是在取幅图像显示部113显示的外框覆盖记录模式1400的设定画面。粗线方框BR示出针对各菜单作为设定值被选择的值。记录时间顺序覆盖记录1401依照在记录媒介部108记录外框区域ICM的顺序覆盖记录画幅区域ICF。若使记录时间顺序覆盖记录1401为“ON”，则在图19的存储容量管理部603向存储地址调整部602通知记录容量无余量时，参照外框区域ICM的记录时间，从最旧的数据开始覆盖记录。被摄物活动幅度顺序覆盖记录1402参照在图20的摄影图像数据部601保存的被摄物的活动幅度，从被摄物的活动幅度小的数据开始按顺序覆盖记录画幅区域ICF。若使被摄物活动幅度顺序覆盖记录1402为“ON”，则在图19的存储容量管理部603向存储地址调整部602通知记录容量无余量时，参照被摄物的活动幅度，从被摄物的活动幅度小的数据开始覆盖记录。摄影装置活动幅度顺序覆盖记录1403参照在图20的摄影图像数据部601保存的摄影装置的活动幅度，从摄影装置的活动幅度小的数据开始按顺序覆盖记录画幅区域ICF。若使摄影装置活动幅度顺序覆盖记录1403为“ON”，则在图19的存储容量管理部603向存储地址调整部602通知记录容量无余量时，参照摄影装置的活动幅度，从摄影装置的活动幅度小的数据开始覆盖记录。在图29的例子中，被摄物活动幅度顺序覆盖记录1402和摄影装置活动幅度顺序覆盖记录1403都为“ON”，因此按被摄物和摄影装置这两者配合的活动幅度小的顺序在外框区域ICM上覆盖记录画幅区域ICF。被摄物的活动幅度和摄影装置的活动幅度配合的方法，例如使用乘法。

图30是在取幅图像显示部113显示的取幅重新设定模式1500的设定画面。粗线方框BR示出针对各菜单作为设定值被选择的值。再生速度1501是从记录媒介部108读出摄影图像时的速度，这成为在取幅图像显示部113的、对取幅图像IDF的恢复速率(refresh rate)。在重新设定取幅时，例如每秒显示5张图像等欲变更再生速度时利用。重新设定取幅数据覆盖记录模式1502，在摄影时的取幅数据上覆盖记录重新设定取幅的结果。也就是说，图5的取幅变更部110仅改写取幅数据，而不访问摄影图像。因此，能够持续地进行对取幅的重新设定。重新设定取幅数据复写模式1503在记录媒介部108另行保存重新设定的取幅数据。也就是说，在记录媒介部108不存在要被删除的数据。图30的例子中，重新设定取幅数据覆盖记录模式1502和重新设定取幅数据复写模式1503都为“ON”，因此以复写模式暂时修正，对修正结果进行再生并在图像显示部113确认之后，执行覆盖记录模式。最终化1504选择在对取幅的重新设定进行确定时是保存外框区域ICM、还是删除外框区域ICM。若保存外框区域ICM，则能够反复修正取幅，但是大量地消费记录媒介部108的容量。若删除外框区域ICM，则能够节约记录媒介部108的容量，但是不能重新设定取幅。

图31是在取幅图像显示部113显示的预测模式1600的设定画面。粗线方框BR示出针对各菜单作为设定值被选择的值。如在图22的说明，摄影装置移动方向1601累积监视来自姿势传感器部114的姿势信息，将画幅区域ICF向摄影装置700的移动方向先行移动。如在图23的说明，被摄物移动变化1602累积监视来自被摄物活动检测部106的活动信息，检测急剧地加快活动或急剧地停止活动的被摄物，将画幅区域ICF移向活动检测的重心位置。如在图24的说明，预先在图像特征检测部901以RGB值或YUV值等针对颜色1603设定特定的颜色。如图32所示，采用使用调色板1606的方法、数值输入1607的方法，或如图33所示，在摄影图像上指定范围1608的范围指定1609来指定特定的颜色。图31的模式1604预先在图像特征检测部901设定特定的模式，若检测出与摄影图像相同的模式，则画幅区域ICF移向检测模式的位置。与图33相同，使用在摄影图像上指定范围1608的范围指定1609来输入特定模式。如在图24的说明，声音1605使画幅区域ICF移向检测出急剧发生音量的变化的方 向或检测出具有特定的频率模式的声音的方向。声音特征检测部905保持在图34被设定的条件，检测来自声音传感器部904的声音信息的音量变化量1611、音量变化方向1612、声音模式1613。声音模式1613预先在声音特征检测部905具有的存储器中记录多种人物(例如，男性、女性、小孩、大人等)、汽车、公共汽车、电车、或呼叫铃等声音。并且，在声音特征检测部905具有的存储器中设定用户定义区域，能够对自己的声音或家人的声音等进行录音。

另外，在摄影装置启动用存储器中记录了所有的模式的设定值的初始值，并由摄影者按需要变更设定。并且，在摄影装置启动用存储器记录被变更的设定值，在下一次启动时能够以摄影者的设定条件开始工作。

如此这般，将在实施例1到实施例7说明的工作按功能分为多个模式，摄影者能够按模式调整设定条件。因此，确保防止被摄物照不全的情况，并且能够进行优先录像时间、或优先画质等自由度较高的运动图像摄影。

(实施例9)

在本实施例说明这样一种摄影装置：提供多种光学变焦图像和电子变焦图像的显示方法的摄影装置。

图35A是示出本发明的实施例9所涉及的摄影装置的构成的方框图。另外，对于与图5所示的摄影装置相同的部分附加相同的符号，对其省略详细说明。

摄影装置1700是用于对被摄物200进行摄影的装置，其包括：多焦点光学透镜部101、焦点距离控制部102、焦点距离计算部103、图像传感元件部104、变焦倍率设定部105、被摄物活动检测部106、摄影装置活动检测部107、记录媒介部108、取幅重新设定部109、取幅变更部110、画幅区域设定部701、电子变焦处理部112、取幅图像显示部113、姿势传感器部114、显示图像生成部1701、以及显示方法设定部1702。

显示图像生成部1701从图像传感元件部104获得光学变焦图像ICO，从电子变焦处理部112获得电子变焦图像IEC。被摄物活动检测部106捕捉到步行的被摄物200的活动，多焦点光学透镜部101被设定为广角，例如摄影到如同图35B所示的图像IDW这样的广角图像。并且，由变焦倍率设定部105向电子变焦处理部112提供用于放大图像的变焦倍率ZF(例如4 倍)，如图35C所示的图像IDF，生成对被摄物200的脸部进行放大的放大图像。而且，显示图像生成部1701从显示方法设定部1702接受显示方法的指示，该指示为：在取幅图像显示部113仅显示光学变焦图像ICO(ICO模式)、在取幅图像显示部113仅显示电子变焦图像IEC(IEC模式)、或在取幅图像显示部113显示光学变焦图像ICO和电子变焦图像IEC双方(ICOE模式)。在ICO模式的情况下，摄影者能够在取幅图像显示部113看到图像IDW，也就是说，能够确认包括外框区域ICM的广角摄影的取幅。并且，在ICE模式的情况下，摄影者能够在取幅图像显示部113看到图像IDF，也就是说，能够确认画幅区域ICF的放大摄影的取幅。并且，在ICOE模式的情况下，摄影者能够在取幅图像显示部113看到图35D所示的图像IDWF，也就是说，能够同时确认画幅区域ICF的放大摄影的取幅和包含外框区域ICM的广角摄影的取幅。

如此这般，摄影者能够通过选择光学变焦图像和电子变焦图像、或同时显示双方，来确认多个取幅。摄影者通过看光学变焦图像，从而能够以图像来确认重新设定取幅的充裕度。并且，通过同时看光学变焦图像和电子变焦图像，能够确认取幅区域ICF捕捉到的视角的外侧的情况，从而能够发现突发的事件、或能够在较早的阶段就察觉到进入多焦点光学透镜部101的视角内的新的被摄物，因此，摄影者能够抑制照不全的情况，并且能够同时决定利用电子变焦的取幅。

本发明所涉及的摄影装置在检测出被摄物的活动或摄影装置的活动的情况下，使光学变焦为广角，从而将照不全被摄物的情况抑制到最小限度，并以电子变焦生成显示图像。并且，在被摄物和摄影装置都未活动的情况下，在记录媒介仅保存光学变焦的摄影图像，从而能够延长摄影时间。因此，在将其装到民生用途的摄像机的情况下，在体育摄影或娱乐摄影时能够放心地进行摄影。并且，在将其装到监视摄像机的情况下，能够依据被摄物的活动、颜色、模式、或声音等来捕捉到在监视目的上比较重要的被摄物而不错过，以变焦来记录详细的图像信息。

Claims (15)

1.一种摄影装置，通过控制多焦点光学透镜的焦点距离来改变变焦倍率，以对被摄物进行摄影，其特征在于，具有：

被摄物活动检测单元，检测所述被摄物的活动；

摄影装置活动检测单元，检测该摄影装置的活动；

焦点距离计算单元，在由所述被摄物活动检测单元对所述被摄物的活动进行的检测、以及由所述摄影装置活动检测单元对该摄影装置的活动进行的检测中，至少一方检测出活动的情况下，计算所述多焦点光学透镜的焦点距离，以使所述多焦点光学透镜的变焦倍率比被设定的变焦倍率小；而在由所述被摄物活动检测单元对所述被摄物的活动进行的检测、以及由所述摄影装置活动检测单元对该摄影装置的活动进行的检测中，未检测出活动的情况下，计算所述多焦点光学透镜的焦点距离，以使所述多焦点光学透镜的变焦倍率变为被设定的所述变焦倍率；

焦点距离控制单元，控制所述多焦点光学透镜的焦点距离，使所述多焦点光学透镜的焦点距离与由所述焦点距离计算单元计算出的焦点距离相符；

画幅区域设定单元，从通过所述多焦点光学透镜成像的光学变焦图像中，切取由所述被设定的变焦倍率来决定位置和大小的画幅区域；

电子变焦处理单元，以电子变焦来进行变更，以使由所述画幅区域设定单元切取的所述画幅区域的图像的尺寸变为所要显示的图像尺寸；

取幅图像显示单元，显示由所述电子变焦处理单元进行了电子变焦的电子变焦图像、或所述光学变焦图像；以及

记录媒介单元，保存所述被设定的变焦倍率和所述光学变焦图像。

2.如权利要求1所述的摄影装置，其特征在于，

所述摄影装置进一步具有：

取幅重新设定单元，重新设定在所述记录媒介单元保存的所述被设定的变焦倍率、以及由所述被设定的变焦倍率决定的画幅区域在所述光学变焦图像上的位置中的至少一个；以及

取幅变更单元，使用由所述取幅重新设定单元重新设定的所述变焦倍率以及所述画幅区域在所述光学变焦图像上的位置，从在所述记录媒介单元保存的所述光学变焦图像中，切取所述画幅区域。

3.如权利要求1所述的摄影装置，其特征在于，

所述被摄物活动检测单元，检测所述光学变焦图像中的所述被摄物的活动。

4.如权利要求3所述的摄影装置，其特征在于，

所述被摄物活动检测单元，使用多个所述光学变焦图像的亮度差以及对应点追踪中的至少一个，检测所述被摄物的活动。

5.如权利要求1所述的摄影装置，其特征在于，

所述摄影装置活动检测单元，使用角速度传感器以及加速度传感器中的至少一个，检测该摄影装置的活动。

6.如权利要求1所述的摄影装置，其特征在于，

所述电子变焦处理单元，对与所述光学变焦图像的图像坐标独立的图像特征量进行高密度化来生成高密度化图像特征量，并由所述高密度化图像特征量生成所述电子变焦图像。

7.如权利要求1所述的摄影装置，其特征在于，

所述摄影装置进一步具有：

压缩编码单元，以各自的压缩率分别对所述画幅区域、和从所述光学变焦图像中除去所述画幅区域之后的外框区域进行图像的压缩编码；以及

扩展解码单元，对以各自的压缩率分别对所述画幅区域和所述外框区域进行了压缩编码的图像进行扩展解码。

8.如权利要求7所述的摄影装置，其特征在于，

所述压缩编码单元，进行压缩编码，使所述被摄物的活动以及所述摄影装置的活动的幅度越大，所述外框区域的压缩率越低。

9.如权利要求1所述的摄影装置，其特征在于，

所述摄影装置进一步具有：

地址调整单元，在所述记录媒介单元中，对所述画幅区域、和从所述光学变焦图像中除去所述画幅区域之后的外框区域分别进行地址管理；以及

容量管理单元，在所述记录媒介单元的记录容量达到上限的情况下，在所述外框区域的地址上覆盖记录所述画幅区域的数据。

10.如权利要求9所述的摄影装置，其特征在于，

所述容量管理单元，在所述记录媒介单元的记录容量达到上限的情况下，从所述外框区域中的所述被摄物的活动的幅度以及所述摄影装置的活动的幅度小的外框区域开始顺序覆盖记录所述画幅区域的数据。

11.如权利要求1所述的摄影装置，其特征在于，

所述画幅区域设定单元，从由所述摄影装置活动检测单元检测出的该摄影装置的活动中检测规律性，基于检测出的所述规律性，移动所述光学变焦图像中的所述画幅区域，以便预测取幅。

12.如权利要求1所述的摄影装置，其特征在于，

所述画幅区域设定单元，在由所述被摄物活动检测单元检测出所述被摄物的活动的变化超过规定值的情况下，将所述光学变焦图像中的所述画幅区域移向检测出所述被摄物的活动的区域。

13.如权利要求1所述的摄影装置，其特征在于，

所述摄影装置进一步具有图像特征检测单元，从所述光学变焦图像中，检测出特别指定的颜色以及特别指定的图像模式中的至少一个，

所述焦点距离计算单元，在由所述图像特征检测单元检测出所述特别指定的颜色以及所述特别指定的图像模式中的至少一个的情况下，计算所述多焦点光学透镜的焦点距离，以使所述多焦点光学透镜的变焦倍率比被设定的变焦倍率小，

所述画幅区域设定单元，移动所述光学变焦图像中的所述画幅区域，以使所述画幅区域包含由所述图像特征检测单元检测出的所述特别指定的颜色以及所述特别指定的图像模式。

14.如权利要求1所述的摄影装置，其特征在于，

所述摄影装置进一步具有显示方法设定单元，接受对由所述取幅图像显示单元所要显示的图像进行的选择，所述选择是从所述光学变焦图像、所述电子变焦图像、所述光学变焦图像和电子变焦图像双方中进行的，

所述取幅图像显示单元，显示由所述显示方法设定单元从所述光学变焦图像、所述电子变焦图像、所述光学变焦图像和电子变焦图像双方中选择的图像。

15.一种摄影方法，通过控制多焦点光学透镜的焦点距离来改变变焦倍率，以对被摄物进行摄影，其特征在于，包括：

被摄物活动检测步骤，检测所述被摄物的活动；

摄影装置活动检测步骤，检测该摄影装置的活动；

焦点距离计算步骤，在所述被摄物活动检测步骤对所述被摄物的活动进行的检测、以及在所述摄影装置活动检测步骤对该摄影装置的活动进行的检测中，至少检测出一方的活动的情况下，计算所述多焦点光学透镜的焦点距离，以使所述多焦点光学透镜的变焦倍率比被设定的变焦倍率小；而在所述被摄物活动检测步骤对所述被摄物的活动进行的检测、以及在所述摄影装置活动检测步骤对该摄影装置的活动进行的检测中，未检测出活动的情况下，计算所述多焦点光学透镜的焦点距离，以使所述多焦点光学透镜的变焦倍率变为被设定的所述变焦倍率；

焦点距离控制步骤，控制所述多焦点光学透镜的焦点距离，以使所述多焦点光学透镜的焦点距离与在所述焦点距离计算步骤计算出的焦点距离相符；

画幅区域设定步骤，从通过所述多焦点光学透镜成像的光学变焦图像中，切取由所述被设定的变焦倍率来决定位置和大小的画幅区域；

电子变焦处理步骤，以电子变焦来进行变更，以使在所述画幅区域设定步骤切取的所述画幅区域的图像的尺寸变为所要显示的图像尺寸；

取幅图像显示步骤，显示在所述电子变焦处理步骤进行了电子变焦的电子变焦图像、或所述光学变焦图像；以及

记录步骤，保存所述被设定的变焦倍率和所述光学变焦图像。

Images