CN105407290B - 摄像装置和摄像方法 - Google Patents

Abstract

摄像装置和摄像方法，在动态图像拍摄时，以各帧图像能够连续地接连再现的方式记录动态图像。该摄像装置按照规定的帧频进行动态图像记录，其具有：图像传感器(4)，其按照被指示的周期反复进行摄像，并输出动态图像数据；分割帧数检测部(19)，其求出比基于帧频的第1周期短的第2周期；切换指示部，其选择性切换第1周期和第2周期而向图像传感器(4)发出指示以；合成处理电路(14)，其在第1周期内对按照第2周期拍摄到的多个图像数据进行图像合成，生成合成图像；以及***控制电路(20)，其控制成针对指示第2周期而拍摄到的图像数据，由合成处理电路(14)将在第1周期内得到的多个图像数据生成合成图像，得到动态图像。

Description

摄像装置和摄像方法

技术领域

本发明涉及按照规定的帧频进行动态图像记录的摄像装置和摄像方法，详细地说，涉及将规定的帧频分割为2以上来取得多个图像数据，并将该多个图像数据合成而记录的摄像装置和摄像方法。

背景技术

动态图像记录按照规定帧频反复摄像，在动态图像的再现时，根据帧频，依次再现连续拍摄到的图像。在被摄体明亮的情况下，如果将快门速度设为比通过帧频确定的时间短来进行动态图像记录，则各帧的曝光时间比通过帧频确定的时间短，因此在动态图像再现时，各帧图像的连续性变差，变得像所谓的连环画那样，而不成为流畅的动态图像再现。

因此，在日本公开特许2007－189295号公报(以下称作专利文献1)中，在动态图像记录时，针对运动的被摄体，加长1帧中的快门速度(曝光时间)，减弱边缘强调，针对不运动的被摄体，加快快门速度，增强边缘强调。

如上所述，在动态图像记录的情况下，存在帧频(例如60fps)的制约。为了在将图像的明亮度设为恒定的同时、进行没有分散感的流畅的动态图像记录，根据所确定的帧频的时间制约范围内的快门速度，改变光圈值和增益，并且使ND(Neutral Density：中性)滤光片在光路中出入。

即，无法使快门速度相比所确定的帧频变得非常高速，因此需要结合景深的明亮度进行光圈驱动。此时，在为了使光圈驱动时间收敛在通过帧频确定的时间内而加快光圈的驱动速度时，对于人眼而言，变为如眨眼那样瞬间变暗的图像，从而图像的品质恶化。在高图像质量的动态图像记录中，需要防止这样的图像质量的劣化。此外，在进行ND滤光片的出入的情况下，图像的品位也同样劣化。

除了上述利用光圈和ND滤光片的曝光调整以外，还考虑调整摄像元件的增益的方法。但是，利用降低饱和的图像数据的增益的方法，无法再现丢失的图像数据。即，即使将所拍摄的图像数据变更为增益的下限(0dB)以下，在摄像元件已饱和的情况下，也无法确保直线性，无法再现原图像的灰度。例如在设为8位灰度时，在使得饱和那样的光量(该情况下，为255)的情况下，如果将增益降低6dB，则变为127，无法实现进一步的灰度表现。

此外，在明亮的环境下运动的被摄体的情况下，如果不使快门速度与所确定的帧频匹配(例如在HD30P的情况下为1/30秒的快门速度)，则无法记录所有的运动。如果加快1帧中的快门速度(曝光时间)，则无法记录所有的运动，因此如连环画那样变得呆板。

发明内容

本发明是鉴于这种情况而完成的，其目的在于，提供一种在动态图像记录时，以各帧图像能够连续地接连再现的方式记录动态图像的摄像装置和摄像方法。

本发明的摄像装置是按照规定的帧频进行动态图像记录的摄像装置，其包含：摄像单元，其按照被指示的周期反复进行摄像，并输出动态图像数据；分割周期运算部，其求出比基于上述帧频的第1周期短的第2周期；切换指示部，其选择性地切换上述第1周期和上述第2周期而指示上述摄像单元；图像合成电路，其在上述第1周期内，对按照上述第2周期拍摄的多个图像数据进行图像合成，生成合成图像；以及控制电路，其进行如下控制：不针对上述切换指示部向上述摄像单元指示上述第1周期而拍摄到的图像数据进行利用上述图像合成电路的图像合成，而针对指示上述第2周期而拍摄到的图像数据，由上述图像合成电路将在上述第1周期内得到的多个图像数据生成合成图像，从而得到动态图像。

本发明的摄像方法是按照规定的帧频进行动态图像记录的摄像方法，包含：按照向摄像单元指示的周期反复进行摄像，并输出动态图像数据，求出比基于上述帧频的第1周期短的第2周期，选择性切换上述第1周期和上述第2周期而进行上述摄像的切换指示，进行如下控制：不针对向上述摄像单元指示上述第1周期而拍摄到的图像数据进行图像合成，而针对指示上述第2周期而拍摄到的图像数据，生成在上述第1周期内得到的多个图像数据的合成图像，从而得到动态图像。

根据本发明，能够提供在动态图像记录时，以各帧图像能够连续地接连再现的方式记录动态图像的摄像装置和摄像方法。

附图说明

图1是示出本发明一个实施方式的照相机的主要电路的框图。

图2是示出本发明一个实施方式的照相机的主要动作的流程图。

图3是说明本发明一个实施方式的照相机中的帧分割的图。

图4是示出在本发明一个实施方式的照相机中进行分割曝光时的图像合成的变形例的图。

图5是说明本发明一个实施方式的照相机中的帧分割的第1变形例的图。

图6是说明本发明一个实施方式的照相机中的帧分割的第2变形例的图。

图7是示出本发明一个实施方式的变形例的照相机的记录动作的流程图。

图8是示出本发明一个实施方式的照相机的记录动作的流程图。

图9A～9F是说明本发明一个实施方式的照相机的变形例中的图像合成的图。

具体实施方式

以下，依照附图使用应用了本发明的照相机对优选实施方式进行说明。本发明的优选实施方式的照相机是数字照相机，概述的话，将基于从摄像元件读出的图像信号的图像数据实时取景显示在显示装置(显示单元)上，并且根据动态图像按钮的操作，按照规定的帧频进行动态图像拍摄，并将图像处理为记录用的动态图像的图像数据记录到外部存储器中。此时在使得像素数据饱和那样的被摄体亮度的情况下，对1帧的曝光时间进行分割，分割为2帧以上的帧来进行拍摄。然后，将多个分割帧的图像数据合成，得到1帧的图像。

图1是示出本发明一个实施方式的照相机的主要电气结构的框图。本实施方式中的照相机具有摄像单元(Imaging Unit)1、图像处理电路10、***控制电路20、以及总线31和与其连接的各电路。另外，在本实施方式中，摄像单元1所包含的镜头2与照相机主体一体地构成，但是不限于一体型的结构，当然也可以是与镜头更换式照相机对应的更换镜头。

在摄像单元1内具有镜头2和图像传感器4。镜头2在图像传感器4上形成被摄体的光学像。在该镜头2内具有调节光圈值的光圈，该光圈值用于调节曝光量。图像传感器4包含CMOS图像传感器或CCD图像传感器等摄像元件，按照每个像素将由镜头2形成的被摄体的光学像转换为电信号，并将图像信号输出到图像处理电路10和总线31。总线31是用于在各模块间进行信号收发的信号线。

此外，图像传感器4具有全局快门或卷帘快门式的电子快门，能够控制与1帧或被分割后的帧对应的曝光时间。图像传感器4作为摄像单元(Imaging Unit)发挥功能，其按照被指示的周期反复进行摄像，并输出动态图像数据。

图像处理电路10对从图像传感器4输出的图像信号实施图像处理，具有合成处理电路14、增益施加电路15和显影处理电路16。

在从图像传感器4读出的与多个分割帧对应的图像数据内，合成处理电路14分别按照对应的每个像素，对输出进行合成处理，生成合成图像数据。作为该合成处理，有相加平均合成、比较亮合成、比较暗合成、确定阈值的比较亮合成和确定阈值的比较暗合成。在本实施方式中，使用了相加平均合成处理作为图像合成，之后将使用图4叙述该例中的处理。之后将使用图9A-图9F，叙述除此以外的合成处理，作为本实施方式的变形例。合成处理电路14作为图像合成电路发挥功能，其在第1周期内，对按照第2周期拍摄的多个图像数据进行图像合成，生成合成图像。

增益施加电路15对图像数据乘以规定的增益值。作为增益值，除了正增益以外，还有负增益，例如，作为负增益的一例，通过乘以1/2的增益值，图像数据的输出成为1/2，从而能够施加与ND2滤光片(将光量减少为1/2的滤光片)同等的减光效果。此外，在数字ND的设定值为例如ND8的情况下，乘以1/8。增益值能够由用户经由输入IF 38等设定。这样，增益施加电路15能够实现期望的减光效果。

显影处理电路16对在合成处理电路14中生成的RAW图像数据(后述的显影处理前的图像数据)进行去马赛克处理(同时化处理)、白平衡调整、伽马校正、图像压缩等显影处理。

等级判定电路17判定像素数据的输出等级。在本实施方式中，以像素数据不达到饱和等级的方式，按照每1帧确定反复摄像的分割数(以下称作分割数)，因此该等级判定电路17能够判定是否达到了饱和等级。使用RAW图像数据的位数的饱和输出，判定像素数据是否达到了饱和等级。也可以显示像素数据的输出等级，由使用者进行判断，从而在进行调整的同时设定分割数。

在等级判定电路17中判定为图像数据的像素输出饱和的情况下，分割帧数检测部19检测来自图像传感器4的图像数据变得不饱和的帧数。具体而言，在实时取景显示中，对预先确定的1帧的曝光时间进行分割，在该分割后的帧时间内进行曝光，在等级判定电路17中判定像素数据是否不饱和，增加帧数，直至像素数据变得不饱和。分割帧数检测部19作为分割周期运算部发挥功能，其求出比基于动态图像记录时的帧频的第1周期短的第2周期。在本实施方式中，第2周期使用了以2以上的整数对第1周期进行分割而得的值，但也可以如之后使用图5叙述那样，设为不能用2以上的整数整除的周期。

另外，可以增加帧数，直至所有像素数据变得不饱和，但也可以增加分割数，直至饱和像素相对于全部像素数为一定的比例以下。此外，除了实际变更分割数并检测像素数据的等级以外，也可以根据例如像素数据的等级(平均亮度等级或峰值亮度等级等)，计算分割数。此外，该分割帧数检测部19可以由硬件电路构成，但也可以利用***控制电路20内的CPU和内部存储器33所存储的程序执行。

在总线31上，除了上述摄像单元1、图像处理电路10、等级判定电路17和分割帧数检测部19以外，还连接有内部存储器33、外部存储器36、显示装置37、输入IF 38、麦克风39和***控制电路20。

内部存储器33存储照相机的动作所需的各种设定信息、以及***控制电路20执行动作所需的程序代码，并在图像处理时暂时存储中途经过的图像。内部存储器33由闪存等非易失性存储器、和DRAM等易失性的存储器构成。

外部存储器36是在照相机主体上拆装自如、或被固定于内部的非易失性的存储介质，例如为SD卡或CF卡等。该外部存储器36能够记录由显影处理电路16进行显影处理后的图像数据，并且在再现时，能够读出所记录的图像数据，并输出到照相机的外部。

显示装置37由具有TFT(Thin Film Transistor：薄膜晶体管)液晶器件或有机EL显示器件等的背面显示装置、或者EVF(Electric View Finder：电子取景器)构成，显示由显影处理电路16进行显影后的图像。

输入IF 38具有快门释放按钮、动态图像按钮等操作部件，以及背面显示部等中的用于输入触摸操作的触摸面板等，根据用户操作，进行各种模式设定和动态图像记录指示等拍摄动作的指示。

麦克风39在动态图像记录时，将周围的声音转换为模拟信号。另外，该模拟声音信号被转换为数字形式的声音数据，并与动态图像的图像数据一起被记录到外部存储器36中。

***控制电路20具有CPU(Central Processing Unit：中央处理器)，按照存储在内部存储器33内的程序代码，进行照相机的整体控制。***控制电路20对前述所示的摄像单元1所包含的各部位发送控制信号。同样，经由总线31接收来自摄像单元1的输出信号。另外，除了前述的图像处理电路10、等级判定电路17、分割帧数检测部19以外，还与内部存储器33、外部存储器36、显示装置37、输入IF 38和麦克风39的各部位之间进行控制信号的收发。

此外，***控制电路20作为切换指示部发挥功能，其向摄像单元发出指示以选择性切换第1周期和第2周期(参照后述图2的S9、S11、S13)。此外，***控制电路20作为以如下方式进行控制的控制电路发挥功能：针对切换指示部向摄像单元指示第1周期而拍摄的图像数据，不进行利用图像合成电路的图像合成，另一方面，针对指示第2周期而拍摄的图像数据，由图像合成电路对在第1周期内得到的多个图像数据进行图像合成，生成合成图像，从而得到动态图像(参照后述的图2的S17、图7、图8)。

接着，使用图2所示的流程图说明本实施方式中的动作。***控制电路20按照内部存储器31所存储的程序代码控制各电路，由此执行该流程图(也包含后述的图7和图8所示的流程图)。

在使用电源开关等接通电源后，***控制电路20根据图2所示的处理流程开始处理。首先，开始曝光，显示装置进行实时取景显示(S1)。这里，图像处理电路10对来自图像传感器4的图像数据进行图像处理以用于实时取景显示，并在显示装置37上进行实时取景显示。拍摄者观察实时取景显示，确定构图，并且确定静态图像的拍摄时机或动态图像的拍摄时机。

在步骤S1中进行实时取景显示后，接着进行记录图像质量的设定(S3)。这里，进行用于动态图像记录的帧频设定。在输入IF 38中进行帧频的设定。帧频表示动态图像记录时的每1秒的图像数，通常设定30、60这样的值。

在步骤S3中进行记录图像质量的设定后，接着进行光圈设定(S5)。这里，确认所需的景深和模糊的状态，计算光圈(被设置在镜头2内)的光圈值，以成为该光圈值的方式进行光圈的控制。

在步骤S5中进行光圈设定后，接着按照每1帧，进行反复摄像的分割数的检测(S7)。这里，分割帧数检测部19根据图像数据，检测使得像素数据成为不饱和的等级的分割数。具体而言，增加分割数，直至像素数据成为饱和等级以下。因此，如果按照在步骤S3中设定的帧频而取得的图像数据的像素数据的等级为饱和等级以下，则不进行分割数的增加，并且如果超过饱和等级，则增加分割数，直至通过等级判定电路17判定为不超过饱和等级。另外，在像素数据过大的情况下，变更光圈值。此外，在分割数为1、且像素数据小的情况下，控制为打开光圈。可以在记录开始前变更光圈值，但在记录开始后，动态图像的品质劣化，因此尽量不进行光圈值的变更。

在步骤S7中进行帧的分割数的检测后，接着判定是否需要对1帧进行分割(S9)。这里，根据步骤S7中的帧分割数的检测结果进行判定。即，如果检测结果为1以下，则判定为不需要对1帧进行分割。

在步骤S9中的判定结果是需要帧分割的情况下，进行帧分割的设定(S11)。这里，按照在步骤S7中检测出的分割数，进行用于对1帧进行分割的分割数的设定。

另一方面，在步骤S9中的判定结果是不需要帧分割的情况下，将设定帧固定(S13)。这里，设为保持在步骤S3中设定的帧频。另外，在图像数据的增益不足的情况下，增益施加电路15施加增益。

在步骤S11或S13中进行帧的分割或固定后，接着判定是否开始记录(S15)。拍摄者在开始动态图像拍摄的情况下，操作动态图像按钮(或快门释放按钮)，因此这里，根据来自输入IF 38的表示动态图像按钮(或快门释放按钮)的操作状态的信号进行判定。该判定结果是记录未开始的情况下，返回步骤S7，反复上述实时取景显示等处理。

另一方面，在步骤S15中的判定结果是开始记录的情况下，接着进行“记录”(S17)。这里，图像传感器4在与通过电子快门对1帧进行分割而成的期间相同的曝光时间的期间内，进行曝光，在曝光后，从图像传感器4读出图像数据。然后，图像处理电路10对所读出的多个图像数据实施动态图像记录用的图像处理，并在外部存储器36中进行图像文件的记录。在该图像处理时，实施如下的图像处理：按照根据像素数据的等级对1帧进行分割后的多个各图像的每个像素，进行相加平均和图像合成，生成合成图像。之后将使用图3叙述1帧的分割曝光，之后将使用图4叙述利用相加平均的图像合成。

在步骤S17中进行“记录”的处理后，接着判定记录是否结束(S19)。拍摄者在结束动态图像拍摄的情况下，再次操作动态图像按钮(或快门释放按钮)，因此这里，根据来自输入IF 38的表示动态图像按钮(或快门释放按钮)的操作状态的信号进行判定。该判定结果是记录未结束的情况下，返回步骤S17，反复上述“记录”的处理。此外，也可以在步骤S17中开始分割拍摄处理。

另一方面，在步骤S19中的判定结果是记录结束的情况下，结束该处理流程，断开电源。

这样，本实施方式中的处理流程中，在图像数据饱和的情况下，将1帧分割成被分割为多个的帧(参照图2的S7、S9、S11)，并设为动态图像的像素数据变得不饱和的周期。然后，对按照该周期进行了曝光的、基于分割后的帧的图像数据进行图像合成，取得1帧的图像数据(参照图2的S17)。因此，各帧图像能够连续地接连再现。即，在通过1帧的周期确定的曝光时间内取得图像数据时，在像素数据饱和的情况下，对1帧进行分割，使用按照分割后的帧而取得的图像数据，对1帧的图像进行了合成，因此在通过1帧的周期确定的整体曝光时间内拍摄了被摄体，所以拍摄没有中断，因此使动态图像的各帧图像连续地相连。

接着，使用图3，说明对1帧进行了分割的情况下的分割后的帧的曝光时间(曝光周期)。该曝光周期在步骤S11中被设定，并且在步骤S17的记录时被执行。图3所示的例子是1帧为1/30秒的情况。在构成图像数据的像素数据饱和的情况下，使分割数增加为2分割、4分割、8分割、16分割，确定像素数据不饱和的分割数(参照图2的S7)。

例如在当前分割数为2的情况下，在与帧频对应的曝光时间(图3的例子中，为1/30秒)的1/2曝光时间(图3的例子中，为1/60秒)内取得分割后的帧的第1张图像数据(时刻t0～t8)，然后在接着的1/2曝光时间(时刻t8～t16)内取得分割帧的第2张图像数据。在分割数为2的情况下，能够取得两张被分割的帧的图像数据。

同样，在分割数为16的情况下，最初在1/16的曝光时间(t0～t1)内取得分割后的帧的1张图像数据，然后在1/16的曝光时间的t1～t2、t2～t3、····、t15～t16内，分别取得第2张～第16张图像数据。

此外，如图3所示，在分割数为2的情况下，EV等级下降1级(与－6dB对应)，在分割数为4的情况下，下降2级(－12dB)，在分割数为8的情况下，下降3级(－18dB)，在分割数为16的情况下，相当于下降4级(－24dB)。另外，曝光时间通过图像传感器4内的电子快门进行控制。

这样，在本实施方式中，以使得图像数据内的像素数据变为不饱和程度的方式，将1帧的曝光时间(第1周期)分割为多个短的曝光时间(第2周期)。另外，在图3中，1帧的曝光时间为1/30秒，但是不限于此，可以减短也可以加长。此外，示出分割数为2～16分割的例子，但也可以多于此。

接着，使用图4说明在步骤S17中进行的图像合成。在本实施方式中，如上所述，进行平均相加合成作为图像合成。在平均相加合成中，通过分割曝光以不饱和的程度拍摄，并施加与相加对应的负增益，由此以所设定的快门速度，生成不饱和的合成图像。

在本实施方式中，如图4所示，通过以图像传感器4的输出不饱和的方式进行了分割后的每帧的曝光(在图4所示的例子中，为2分割曝光)，取得多张图像，并对该所取得的多个图像中的每个图像进行合成，为了与相加对应地下降，施加负增益，由此取得图像。由此与***了ND滤光片同样，能够在不产生曝光过度的情况下得到输出下降后的图像。

即，图4的a～c表示第1次分割曝光时的被摄体亮度、图像传感器输入、图像传感器输出，a’～c’表示第2次分割曝光时的被摄体亮度、图像传感器输入、图像传感器输出。在2分割曝光中，各分割曝光时间变为1/2，因此图像传感器输出也变为1/2，传感器输出不会在饱和等级GCL处被限幅(参照图4的c和c’)。

在第1次分割曝光结束后，读出图像数据并暂时进行存储，在第2次分割曝光结束后，读出图像数据，合成处理电路14进行所读出的两次图像数据的相加合成(参照图4的d)。在进行相加合成后，接着对相加合成而得的图像数据施加负增益(这里为1/2)(乘法运算处理)。该被施加负增益后的最终图像输出的R/G/B的比率与被摄体的R/G/B的比率相同(参照图4的f)。图4的f的用虚线四边形表示的部分与原图像被同样地再现。

合成处理电路14进行图4所示那样的、利用相加平均的图像合成。合成处理电路14作为图像合成电路发挥功能，其在对多个图像数据的亮度信息进行平均化处理后，进行图像合成。

在图4所示的利用相加平均的图像合成的例子中，即使在1帧的曝光时间内取得的像素数据饱和那样的情况下，通过对利用多个分割后的帧而取得的图像数据进行合成，不会出现各像素数据饱和、图像产生曝光过度的情况。但是，需要按照分割后的每个帧存储利用多个分割后的帧而取得的图像数据，因此与进行图7、图8所示的比较亮合成或比较暗合成的情况相比，图像数据存储用的存储器容量变多。另外，在图4所示例子中，对1帧进行了2分割，但是不限于此，分割数能够适当变更为4分割、8分割等。

接着，使用图5说明对1帧进行了分割的情况下的帧的曝光时间(曝光周期)的第1变形例。在图3所示的例子中，分割数为2的乘方，因此在汇总所有分割后的帧时，与1帧完全一致。在该图5所示的第1变形例中，示出分割数不为2的乘方的情况、以及由于模块的原因而不与1帧完全一致的情况。

在图5所示的例子中，作为分割数，使用了不符合2的乘方的3分割、6分割。此外，1帧期间为时刻t0～t30，即使汇总分割后的帧的曝光期间，也为时刻t0～t29，时刻t29～t30为不进行曝光的期间。时刻t29～t30内不进行曝光，因此在再现动态图像时，该期间的图像消失，但是该期间为短时间，所以作为动态图像不会感觉到不舒适感。反之，将不进行曝光的期间设为不会感觉到动态图像的不舒适感程度的短时间即可。

接着，使用图6说明对1帧进行了分割的情况下的帧的曝光时间(曝光周期)的第2变形例。在图3和图5所示的例子中，分别在分割后的帧的整个时间内进行了曝光。例如在图3中，分割数为16的情况下，在时刻t0～t1、t1～t2、t2～t3、···的各时间内进行了曝光。并且在图5中，分割数为6的情况下，在时刻t0～t21、t21～t23、t23～t25、···的各时间内进行了曝光。

与此相对，在图6所示的帧的曝光时间的第2变形例中，分别在分割后的帧的部分时间内进行曝光，不是在整个时间内进行曝光。例如在图6中，在分割数为8且曝光时间为1/360秒的情况下，在时刻t0～t31内进行曝光、在时刻t31～t32内不进行曝光、在时刻t32～t33内进行曝光、在时刻t33～t34内不进行曝光、···、在时刻t44～t45进行曝光、在时刻t45～t46内不进行曝光。

这样，在帧的曝光时间的第2变形例中，不是在1帧的分割后的帧的整个时间内进行曝光。在各帧中，存在不进行曝光的时间，因此在再现动态图像时可能产生连环画那样的不自然感，但由于未曝光的时间较短，因此基本上没有不良影响。此外，在本变形例中，曝光时间的调节自由度增高，容易根据被摄体亮度得到适当曝光。

接着，使用图7、图8所示的流程图和图9A-图9F，说明步骤S17的“记录”时的动作的变形例。在该变形例中，确定阈值等级，并进行比较亮合成和比较暗合成作为图像合成。在进入到“记录”的处理流程后，首先将表示像素位置的n设为n＝1(S21)。这里，像素位置n表示构成图像数据的像素数据的顺序。例如，将图9A的4a的像素位置设为n＝1。对像素数据的像素位置n，从1标注至最终像素，通过反复进行步骤S22～S35，对全部像素数据进行在步骤S22中进行的像素等级K的检测。

在步骤S21中，将表示像素位置的n设为n＝1，接着判定第n个像素位置的像素等级K(S22)。这里，从图像传感器4输入分割后的帧的第1张图像数据，检测构成图像数据的第n个像素位置的像素的像素数据的像素等级K。

在步骤S22中检测到第n个像素位置的像素等级K后，接着判定等级K是否大于基准值L(S23)。该判定通过比较在步骤S22中检测出的第n个像素位置的像素数据的像素等级K、和基准值L来进行(参照图9D、图9E)。在本实施方式中，在像素等级K大于基准值L的情况下，进行比较亮合成，在像素等级K小于基准值L的情况下，进行比较暗合成，在像素等级K与基准值L相同的情况下，保持所读出的像素等级。

另外，基准值L根据动态图像记录前的图像数据进行计算。在图像整体较亮的情况下将基准值L设定得高、在较暗的情况将基准值L设定得低即可。并按照每1个像素存储到存储器33中。在步骤S25的处理中，存储器33利用从图像传感器4读出的像素等级K而被初始化。

在步骤S23中的判定结果是判定为像素等级K大于基准值L的像素位置处，设定比较亮合成作为合成方法(S25)。这里，作为后述的步骤S47中的合成方法，设定如下方法：对第n个像素位置的像素数据进行比较亮合成。在多个分割后的帧中的、最先被读出的分割后的帧的情况下，设为直接暂时存储第n个像素数据。在读出了第2个以后的分割后的帧的情况下(参照后述的步骤S51)，对上次存储在存储器33中的第n个像素位置的像素数据、和此次从图像传感器4读出的第n个像素位置的像素数据进行比较，置换为较亮的像素数据(该处理在后述的步骤S47中进行)。因此，通过进行比较亮合成，更新为较亮的像素数据，在拍摄了运动的被摄体(亮点)的情况下，成为示出亮点的轨迹的图像。

在步骤S23中的判定结果是判定为像素等级K不大于基准值L的第n个像素位置，接着判定像素的等级K是否小于基准值L(S27)。该判定通过比较在步骤S22中检测出的第n个像素位置的像素数据的像素等级K、和基准值L来进行(参照图9E)。

在步骤S27中的判定结果是判定为像素等级K小于基准值L的第n个像素位置，进行比较暗合成(S29)。这里，作为后述的步骤S47中的合成方法，设定如下方法：对第n个像素位置的像素数据进行比较暗合成。在多个分割后的帧中的、最先被读出的分割帧的情况下，直接暂时存储第n个像素位置的像素数据。在读出了第2个以后的分割后的帧的情况下(参照后述的步骤S51)，对上次所存储的第n个像素位置的像素数据、和此次读出的第n个像素位置的像素数据进行比较，置换为较暗的像素数据(该处理在后述的步骤S47中进行)。因此，通过进行比较暗合成，更新为较暗的像素数据，从而成为能清楚看到暗部分的运动的图像。在步骤S29的处理中，存储器33利用从图像传感器4读出的像素等级K而被初始化。

在步骤S27中的判定结果是判定为像素等级K不小于基准值L的第n个像素位置，存储像素等级L(S31)。这里是像素的等级K等于基准值L的情况。在该步骤中，作为后述的步骤S47中的合成方法，设定如下方法：针对第n个像素位置的像素数据，设为基准值L。在多个分割后的帧中的、最先被读出的分割后的帧的情况下，直接暂时存储第n个像素位置的像素数据。在读出了第2个以后的分割后的帧的情况下，在该像素位置处(参照后述的步骤S51)，也将第n个像素位置的像素数据保持为基准值L(该处理在后述的步骤S47中进行)。在步骤S31的处理中，存储器33利用从图像传感器4读出的像素等级K而被初始化。

在步骤S25、S29、S31中，进行依据每个像素位置的图像合成方法的确定、和存储器33的初始化后，接着进行是否为像素位置n＝最终像素的判定(S33)。在下一步骤S35中，对表示像素位置的n进行加法运算，在该步骤S33中，判定在步骤S22中读出的第n个像素位置的像素数据是否为最终像素。

在步骤S33中的判定结果是像素位置n不为最终像素的情况下，执行n＝n+1(S35)。这里，对表示像素编号的n加1。这是指在图9A的x方向上前进1个，或者在x方向为最终的情况下，是指返回原处并在y方向上前进1个。在对像素位置n加1后，返回步骤S22，读出下一像素位置的像素数据，并进行步骤S22～S31的处理。

在步骤S33中的判定结果是像素位置n为最终像素的情况下，进入步骤S41，对存储器33所存储的初始值、和第2张以后的分割后的帧的图像数据进行图像合成。首先，判定所有分割后的图像是否已完成(S41)。在步骤S7中检测分割后的帧数(分割数)，因此针对该分割数的帧判定图像数据的读出是否已结束。

在步骤S41中的判定结果是并非所有分割后的图像都完成的情况下，接着与步骤S21同样，将下一分割后的帧中的像素位置n设为n＝1(S43)。如上所述，像素位置n表示构成图像数据的像素数据的顺序。

在步骤S43中设为像素位置n＝1后，接着判定从图像传感器4读出的第n个像素位置的像素等级K(S45)。这里，检测构成分割后的帧的图像数据的第n个像素位置的像素的像素数据的像素等级K。

在步骤S45中，检测出K＝n的像素等级后，进行与按照每个像素位置确定出的合成方法对应的合成(S47)。即，在步骤S25、S29、S31中，按照每个像素位置设定了图像合成的合成方法，因此在该步骤中，按照根据像素而设定的合成方法，进行比较亮合成、比较暗合成等图像合成。

在步骤S47中进行与合成方法对应的合成后，接着与步骤S33同样，判定像素位置n是否为最终像素(S49)。在后述的步骤S51中，对表示像素位置的n加1，在该步骤S49中，判定在步骤S45中读出的第n个像素位置的像素数据是否为最终像素。

在步骤S49中的判定结果是像素位置n不为最终像素的情况下，与步骤S35同样地执行n＝n+1(S51)。这里，对表示像素位置的n加1。在对n加1后，返回步骤S45，读出下一像素位置的像素数据，并进行步骤S45～S49的处理。通过反复该处理，针对分割后的帧的图像数据，按照每个像素，实施比较亮合成等图像合成。

另一方面，在步骤S49中的判定结果是像素位置n为最终像素的情况下，返回步骤S41，在针对所有分割后的帧的图像数据未完成图像合成的情况下，在步骤S43以后，使用下一分割后的帧的图像数据进行图像合成。

在步骤S41中的判定结果是针对所有分割后的帧的图像数据完成了图像合成的情况下，进行1帧图像的记录(S53)。通过执行步骤S21～S53，使用分割数的分割后的帧图像进行图像合成，从而合成了1帧的图像，然后记录该合成后的1帧的图像数据。在要将记录图像显示在显示装置37的情况下，进一步进行用于显示在显示装置37上的处理。另外，按照所采用的动态图像的图像数据记录方式，生成动态图像记录文件，并记录到外部存储器36中。在进行1帧的图像记录后，返回原来的处理流程。

由此，在本发明一个实施方式的变形例中，在像素等级K大于基准值L的情况下进行了亮合成，在小于的情况下进行了暗合成。因此，眼睛容易看到正在运动的亮被摄体，通过对该亮被摄体的运动进行亮合成，在动态图像中成为流畅的运动。另一方面，暗被摄体即使运动也难以被眼睛看到，且容易被背景隐藏，因此通过进行暗合成，成为背景不运动且容易观察的图像。

另外，在本实施方式中，对多个分割后的帧的图像进行合成的图像合成按照像素等级K与基准值L之间的大小关系，在比较亮合成和比较暗合成之间进行了切换，但是不限于此，图像合成可以仅是比较亮合成，可以仅是比较暗合成，也可以是相加平均合成，还可以是比较动合成。

此外，在本实施方式中，按照每1个像素判定像素等级而确定了合成方法，但也可以如2×2、3×3、4×4那样按照多个像素的每1个进行分组化，并实施求出多个像素的相加平均值、均方值、分布的中间值、最大值、最小值那样的统计处理，进行合成处理。该情况下，能够实现进行存储的存储器区域的缩小化。

接着，使用图9A-图9F说明本变形例中的图像合成。图9A具有图像传感器4的摄像面，针对配置于摄像面的各像素，进行比较亮合成或比较暗合成。像素4a在图像传感器4的摄像面的x方向和y方向被二维地配置。在进行比较亮合成或比较暗合成的情况下，使像素4a在x方向上每次移动1个像素、从而移动1行后，在y方向上每次移动1个像素，从而针对全部像素进行比较亮合成或比较暗合成。

使用图9B～图9E，示出比较亮合成和比较暗合成中的图像合成的方法。另外，图9B～图9F示出4作为分割数的例子。在图9B～图9F中，沿着横向，示出分割后的帧的第1张～第4张和合成图像中的像素4a的像素数据的值(纵向为值)。

比较亮合成是在各像素中，利用最亮像素的像素数据合成图像的合成方法，在图9B所示的例子中，第2张像素数据最大(最亮)，因此作为合成图像，采用了第2张的像素数据。

比较暗合成是在各像素中，利用最暗像素的像素数据合成图像的合成方法，在图9C所示的例子中，第3张像素数据最小(最暗)，因此作为合成图像，采用了第3张的像素数据。

图9D、图9E示出确定了阈值的情况下的例子，在像素数据大于阈值(基准值L)的情况下，进行比较亮合成，在小于阈值(基准值L)的情况下，进行比较暗合成。即，在图9D中，第1张、第2张、第3张的像素数据大于阈值(基准值L)，因此通过比较亮合成生成合成图像。另一方面，在图9E中，第1张～第4张小于阈值(基准值L)，因此通过比较暗合成生成合成图像。

这样，能够对阈值(基准值L)和像素数据进行比较，并根据该比较结果，切换比较亮合成和比较暗合成来生成合成图像。该情况下，能够根据像素数据的大小，选择适当的合成方法。

图9F所示的例子是图像合成的变形例，这里示出的例子是比较动合成。比较动合成是采用正在变化的像素数据作为合成图像的像素数据的合成方法。另外，比较动合成在整个画面正移动的情况下，无法判定是否正在以像素单位进行移动，因此在摇摄时不使用。

以图9F的例子进行说明的话，在取得第2张的分割后的帧的像素数据后，使用第1张和第2张的像素数据，判定在作为比较对象的像素中，被摄体是否正在移动。在图9F的情况下，第1张和第2张的像素数据正在变化，因此判定为在比较对象的像素中，被摄体正在移动。第3张、第4张的像素数据与第1张的像素数据相相同，因此对于第3张、第4张，判定为在比较对象的像素中，被摄体不是正在移动。根据这些判定结果，第2张的像素数据是被摄体正在移动时的数据，因此采用第2张的像素数据的值，作为合成图像的像素数据。

这样，比较动合成在对1帧进行分割，并由多个分割后的帧的图像数据生成合成图像时，采用了正在移动的像素的像素数据，因此能够生成被摄体正在移动的感觉的动态图像。

如以上所说明那样，在本发明的一个实施方式以及变形例中，以图像数据不饱和的方式，对帧的期间进行分割(参照图2的S7、S9、S11、图3、图5、图6等)，对利用分割后的帧而取得的多个图像数据进行图像合成，并设为1帧的图像。此外，此时的快门速度通过电子快门，成为与分割后的帧的曝光期间相同。因此，在记录动态图像时，可设为各帧图像能够连续地接连再现那样的动态图像。此外，能够使用分割后的1张帧的存储区域进行合成，因此不需要搭载大容量的存储器。

另外，在本发明的一个实施方式以及变形例中，将等级判定电路17、分割帧数检测部19设为与微型计算机121分开的结构，但当然也可以利用软件构成各部件的全部或者一部分，并由微型计算机121执行。

此外，在本发明的一个实施方式以及变形例中，作为用于拍摄的设备，使用数字照相机进行了说明，但是作为照相机，可以是数字单反照相机和袖珍数字照相机，可以是摄像机、摄影机这样的动态图像用的照相机，并且当然可以是内置在移动电话、智能手机、便携信息终端PDA(Personal Digital Assist：个人数字助理)、个人计算机(PC)、平板型计算机、游戏设备等中的照相机。无论是哪种照相机，只要是用于动态图像拍摄的设备，则都能够应用本发明。

并且，关于本说明书中说明的技术中主要利用流程图说明的控制，多数情况下能够利用程序进行设定，有时也保存在记录介质或记录部中。关于记录到该记录介质、记录电路中的方法，可以在产品出厂时进行记录，也可以利用发布的记录介质，还可以经由因特网进行下载。

此外，关于权利要求、说明书和附图中的处理流程，即使为了方便，使用“首先”、“接着”等表现顺序的语言进行了说明，但在没有特别进行说明的地方，不是指必须按该顺序进行实施。

本发明不原样限定为上述各实施方式，在实施阶段能够在不脱离其主旨的范围内对结构要素进行变形并具体化。此外，能够通过上述实施方式公开的多个结构要素的适当组合形成各种发明。例如，可以删除实施方式所示的全部结构要素中的几个结构要素。并且，可适当组合不同实施方式的结构要素。

Claims (10)

1.一种摄像装置，其按照规定的帧频进行动态图像记录，其中，该摄像装置包含：

摄像单元，其按照被指示的周期反复进行摄像，并输出动态图像数据；

分割周期运算部，其求出比基于上述帧频的第1周期短的、并按照分割数对所述第1周期进行分割而获得的第2周期，其中，所述分割数根据像素数据的等级或通过检测像素数据的变化而确定；

切换指示部，其根据所述分割数选择性地切换上述第1周期和上述第2周期而指示上述摄像单元；

图像合成电路，其在上述第1周期内，对按照上述第2周期拍摄的多个图像数据进行图像合成，生成合成图像；以及

控制电路，其进行如下控制：不针对上述切换指示部向上述摄像单元指示上述第1周期而拍摄到的图像数据进行利用上述图像合成电路的图像合成，而针对指示上述第2周期而拍摄到的图像数据，由上述图像合成电路将在上述第1周期内得到的多个图像数据生成合成图像，从而得到动态图像。

2.根据权利要求1所述的摄像装置，其中，

上述图像合成电路在对上述多个图像数据的亮度信息进行平均化处理后，进行图像合成。

3.根据权利要求1所述的摄像装置，其中，

在上述图像合成电路中对上述多个图像数据进行图像合成的处理是比较亮合成。

4.根据权利要求1所述的摄像装置，其中，

在上述图像合成电路中对上述多个图像数据进行图像合成的处理是比较暗合成。

5.根据权利要求1所述的摄像装置，其中，

上述图像合成电路在上述多个图像数据的亮度等级为规定的阈值等级以上的情况下，进行比较亮合成，而在亮度等级小于规定的阈值等级的情况下，进行比较暗合成。

6.根据权利要求5所述的摄像装置，其中，

上述阈值等级是根据动态图像记录前的图像数据而计算的。

7.根据权利要求1所述的摄像装置，其中，

在上述图像合成电路中对上述多个图像数据进行图像合成的处理是比较动合成。

8.根据权利要求1所述的摄像装置，其中，

上述第2周期是来自上述摄像单元的动态图像数据变得不饱和的周期。

9.根据权利要求1所述的摄像装置，其中，

上述第2周期相当于对来自上述摄像单元的动态图像数据进行曝光的快门速度。

10.一种摄像方法，按照规定的帧频进行动态图像记录，在该摄像方法中，

按照向摄像单元指示的周期反复进行摄像，并输出动态图像数据，

求出比基于上述帧频的第1周期短的、并按照分割数对所述第1周期进行分割而获得的第2周期，其中，所述分割数根据像素数据的等级或通过检测像素数据的变化而确定，

根据所述分割数选择性切换上述第1周期和上述第2周期而进行上述摄像的切换指示，

进行如下控制：不针对向上述摄像单元指示上述第1周期而拍摄到的图像数据进行图像合成，而针对指示上述第2周期而拍摄到的图像数据，生成在上述第1周期内得到的多个图像数据的合成图像，从而得到动态图像。