CN101222584A - 晃动检测装置、晃动修正装置及方法 - Google Patents

Abstract

本发明提供一种晃动检测装置，其根据摄像单元的输出来检测通过所述摄像单元的摄影而得到的第一图像所包含的晃动，其特征在于：该晃动检测装置具备晃动信息生成单元，其根据所述第一图像、以比所述第一图像的曝光时间还短的曝光时间摄影的第二图像，生成与所述晃动对应的晃动信息。

Description

晃动检测装置、晃动修正装置及方法

技术领域

本发明涉及对通过摄影而得到的图像中包含的晃动进行检测的晃动检测装置及晃动检测方法。再有，本发明涉及对晃动进行修正的晃动修正装置及晃动修正方法。还有，本发明涉及利用了这些装置及方法的摄像装置。

背景技术

手抖修正技术是减轻摄影时的手抖的技术，作为数码相机等摄像装置中的差别化技术受到重视。手抖修正技术不管修正对象是静止图像还是运动图像，可以考虑分为检测手抖的要素技术、和根据该检测结果来修正图像的要素技术。

在检测手抖的方法中，有以下两种方法：采用角速度传感器或加速度传感器等手抖检测传感器的方法；分析图像来检测手抖的电子式方法。在图像的修正过程中，有利用光学***的驱动进行修正的光学式手抖修正、和利用图像处理进行修正的电子式手抖修正。

作为针对静止图像的手抖修正方法，有：以手抖检测传感器检测手抖，并根据该检测结果进行光学式手抖修正的方法；以手抖检测传感器检测手抖，并根据该检测结果进行电子式手抖修正的方法；分析图像而检测手抖，并根据该检测结果进行电子式手抖修正的方法。

由于若采用手抖检测传感器，则导致成本大幅度增加，故谋求开发不需要手抖检测传感器的手抖修正方法。

作为不采用手抖检测传感器即可进行手抖修正的方法，相加运算式手抖修正法正被实用化。参照图15，简单地说明相加运算式手抖修正法。相加运算式手抖修正法中，连续拍摄将通常的曝光时间t1分割而得到的曝光时间t2的多幅分割曝光图像(短曝光图像)DP1～DP4。在将多幅分割曝光图像的幅数设为P_NUM的情况下，为t2＝t1/P_NUM(本例中P_NUM＝4)。而且，通过以可以消除各分割曝光图像间的位置偏离的方式在使分割曝光图像DP1～DP4对位的基础上进行相加运算合成，从而生成手抖少且可以确保所希望的明亮度的1幅静止图像。

再有，也提出以下方式，即根据通过摄影而得到的包含晃动的1幅手抖图像，推断表示摄影中的手抖的手抖信息(点展开函数或图像复原滤波器)，根据该手抖信息与手抖图像，以数字信号处理生成没有晃动的复原图像。在这种方式中，公开了采用傅立叶迭代法的方式。

图16表示实现傅立叶迭代法的构成的框图。在傅立叶迭代法中，通过借助复原图像和点展开函数(PSF)的修正反复执行傅立叶变换与傅立叶逆变换，从而根据劣化图像推断最终的复原图像。为了执行傅立叶迭代法，需要提供初始的复原图像(复原图像的初始值)，作为初始的复原图像，一般采用随机图像或作为手抖图像的劣化图像。

若采用傅立叶迭代法，则能生成降低了手抖的影响的图像，而无需采用手抖检测传感器。但是，傅立叶迭代法是非线性最佳化方法，为了得到适当的复原图像需要很多迭代次数。也就是说，手抖检测及修正所需的处理时间非常长。因此，数码相机等中的实用化变得困难。处理时间的缩短在实用化方面是重要课题。

再有，作为未采用手抖检测传感器的手抖修正方法，也提出了以下方法。在某一现有方法中，在应修正的主图像的摄影前后拍摄多幅副图像，根据该多幅副图像推断主图像摄影时的手抖信息，根据该晃动信息修正主图像的晃动。但是在该方法中，由于根据在主图像前后得到的副图像间的运动量(也包含曝光间隔的运动量)来推断主图像的晃动，故晃动的检测精度及修正精度降低。还有，在其他现有方法中，根据将手抖图像变换到二维频域的图像来检测手抖。具体是，将通过变换而得到的图像投影到以频率坐标的原点为中心的圆中，根据该投影数据来求取晃动的大小与方向。但是，在该方法中，只能推断直线且等速的晃动，另外在被拍摄体的特定方向中的频率成分小的情况下，有时晃动方向的检测失败而无法适当地修正晃动。晃动修正的高精度化不言而喻也是重要的课题。

发明内容

本发明涉及的晃动检测装置，其基于摄像单元的输出来检测通过所述摄像单元的摄影而得到的第一图像所包含的晃动，该晃动检测装置具备晃动信息生成单元，其基于所述第一图像、以比所述第一图像的曝光时间还短的曝光时间所摄影的第二图像，来生成与所述晃动对应的晃动信息。

具体是，例如所述晃动信息是表示所述第一图像整体的晃动的图像劣化函数。

再有，例如所述晃动信息生成单元具备从所述第一图像及第二图像中分别提取一部分图像的提取单元，基于各一部分图像来生成所述晃动信息。

更具体的是，例如所述晃动信息生成单元根据将基于所述第一图像的图像变换到频域上而得到的第一函数、和将基于所述第二图像的图像变换到频域上而得到的第二函数，暂时求取频域上的所述图像劣化函数，通过对将所求得的频域上的所述图像劣化函数变换到空间域上而得到的函数利用规定的约束条件进行修正的处理，最终求得所述图像劣化函数。

进一步具体的是，例如所述晃动信息生成单元将基于所述第一图像的图像及基于所述第二图像的图像分别作为劣化图像及初始的复原图像进行处理，利用傅立叶迭代法计算所述晃动信息。

而且，例如所述晃动信息生成单元具备从所述第一图像及第二图像中分别提取一部分图像的提取单元，通过由各一部分图像生成所述劣化图像及所述初始的复原图像，从而使得所述劣化图像及所述初始的复原图像的各图像尺寸小于所述第一图像的图像尺寸。

还有，例如该晃动检测装置还具备保持单元，其对基于所述第一图像的摄影之前或之后的所述摄像单元的输出的显示用图像进行保持，所述晃动信息生成单元将所述显示用图像作为所述第二图像沿用。

另外，例如所述晃动信息生成单元在根据所述第二图像及所述第二图像生成所述劣化图像及所述初始的复原图像的过程中，针对基于所述第一图像的图像及基于所述第二图像的图像的至少一方，执行噪声除去处理、与所述第一图像和所述第二图像之间的亮度等级比对应的亮度标准化处理、边缘提取处理及与所述第一图像和所述第二图像之间的图像尺寸对应的图像尺寸标准化处理中的一种以上的处理。

此外，例如该晃动检测装置还具备保持单元，其将基于所述第一图像的摄影之前或之后的所述摄像单元的输出的显示用图像作为第三图像进行保持，所述晃动信息生成单元根据所述第一图像、所述第二图像和所述第三图像来生成所述晃动信息。

此外，例如所述晃动信息生成单元通过对所述第二图像与所述第三图像进行加权相加运算而生成第四图像，并根据所述第一图像与所述第四图像来生成所述晃动信息。

取而代之，所述晃动信息生成单元包括将所述第二图像与所述第三图像中的任一方选择为第四图像的选择单元，并根据所述第一图像与所述第四图像来生成所述晃动信息，所述选择单元基于下述条件中的至少一个来进行所述第二图像与所述第三图像之间的选择：所述第二图像与所述第三图像的各边缘强度、所述第二图像与所述第三图像的各曝光时间、及所设定的外部信息。

再有，例如所述晃动信息生成单元将基于所述第一图像的图像及基于所述第四图像的图像分别作为劣化图像及初始的复原图像进行处理，利用傅立叶迭代法来计算所述晃动信息。

而且，例如所述晃动信息生成单元具备从所述第一图像、第二图像及第三图像中分别提取一部分图像的提取单元，通过由各一部分图像生成所述劣化图像及所述初始的复原图像，从而使得所述劣化图像及所述初始的复原图像的各图像尺寸小于所述第一图像的图像尺寸。

还有，例如也可以形成以下这样的晃动修正装置。该晃动修正装置据别图像生成单元，其利用由所述晃动检测装置生成的所述晃动信息，生成降低了所述第一图像的所述晃动的修正图像。

再有，本发明涉及的第一摄像装置，其具备所述晃动检测装置；和所述摄像单元。

进而，本发明涉及的晃动检测方法，基于摄像单元的输出来检测通过所述摄像单元的摄影而得到的第一图像所包含的晃动，基于所述第一图像、以比所述第一图像的曝光时间还短的曝光时间摄影的第二图像，来生成与所述晃动对应的晃动信息。

还有，本发明涉及的晃动修正装置包括：图像取得单元，其通过利用了摄像单元的摄影来取得第一图像，并且通过曝光时间比所述第一图像的曝光时间还短的多次摄影来取得多幅短曝光图像；第二图像生成单元，其由所述多幅短曝光图像生成1幅图像，以作为第二图像；和修正处理单元，其基于所述第一图像与所述第二图像，对所述第一图像所包含的晃动进行修正。

具体是，例如所述第二图像生成单元基于下述条件中的至少一个来从所述多幅短曝光图像中选择1幅短曝光图像，以作为所述第二图像，所述条件为：各短曝光图像的边缘强度、各短曝光图像的对比度、及各短曝光图像相对于所述第一图像的旋转角。

进而，例如所述第二图像生成单元还利用各短曝光图像与所述第一图像的摄影时间差来进行所述第二图像的选择。

或者，例如所述第二图像生成单元通过对所述多幅短曝光图像内的2幅以上的短曝光图像进行合成，从而生成所述第二图像。

或者，例如所述第二图像生成单元包括：选择处理单元，其基于下述条件中的至少一个来从所述多幅短曝光图像中选择1幅短曝光图像，所述条件为：所述各短曝光图像的边缘强度、各短曝光图像的对比度、及各短曝光图像相对于所述第一图像的旋转角；合成处理单元，其生成对所述多幅短曝光图像中的2幅以上短曝光图像进行合成后的合成图像；和切换控制单元，其通过仅使所述选择处理单元及所述合成处理单元中的任一方发挥作用，从而生成所述1幅短曝光图像或所述合成图像来作为所述第二图像；所述切换控制单元基于各短曝光图像的S/N比来确定使所述选择处理单元及所述合成处理单元的哪一方发挥作用。

再有，例如所述修正处理单元基于所述第一图像与所述第二图像，生成与所述第一图像的所述晃动对应的晃动信息，并基于所述晃动信息，对所述第一图像的所述晃动进行修正。

取而代之，例如所述修正处理单元通过将所述第二图像的亮度信号与所述第一图像的颜色信号进行合成，从而对所述第一图像的所述晃动进行修正。

取而代之，例如所述修正处理单元通过利用所述第二图像对所述第一图像进行清晰化，从而对所述第一图像的所述晃动进行修正。

本发明涉及的摄像装置，其包括：所述晃动修正装置；和所述摄像单元。

再有，本发明涉及的晃动修正方法，包括：图像取得步骤，通过利用了摄像单元的摄影来取得第一图像，并且通过曝光时间比所述第一图像的曝光时间还短的多次摄影来取得多幅短曝光图像；第二图像生成步骤，由所述多幅短曝光图像生成1幅图像，以作为第二图像；和修正处理步骤，基于所述第一图像与所述第二图像，对所述第一图像所包含的晃动进行修正。

通过以下所示的实施方式的说明，可以进一步明确本发明的含义以及效果。其中以下的实施方式仅是本发明的一个实施方式，本发明以及各构成要件的用语的意义，并未限定于以下的实施方式所记载的内容。

附图说明

图1是本发明第一实施方式涉及的摄像装置的整体框图。

图2是表示本发明第一实施例涉及的手抖检测及手抖修正的动作流程的流程图。

图3是表示图2的动作流程的一部分的概念图。

图4是图2的傅立叶迭代法的详细流程图。

图5是实现图2的傅立叶迭代法的构成的框图。

图6是表示本发明第二实施例涉及的手抖检测及手抖修正的动作流程的流程图。

图7是表示图6的动作流程的一部分的概念图。

图8是用于说明本发明第二实施例中执行的图像复原滤波器的滤波系数的纵横放大处理的图。

图9是表示本发明第三实施例涉及的手抖检测及手抖修正的动作流程的流程图。

图10是表示图9的动作流程的一部分的概念图。

图11(a)及(b)是用于说明本发明第三实施例中执行的加权相加运算处理的意义的图。

图12是表示本发明第四实施例涉及的手抖检测及手抖修正的动作流程的流程图。

图13是表示图12的动作流程的一部分的概念图。

图14是实现本发明第五实施例涉及的手抖检测及手抖修正的构成框图。

图15是用于说明现有的相加运算式手抖修正的图。

图16是现有的实现傅立叶迭代法的构成的框图。

图17是本发明第二实施方式涉及的摄像装置的整体框图。

图18是表示本发明第二实施方式涉及的、从修正对象图像与参照图像中提取多个小图像的形态的图。

图19是表示本发明第二实施方式涉及的、从修正对象图像及参照图像中提取出的互相对应的小图像的图。

图20是表示本发明第二实施方式涉及的、通过对从参照图像中提取出的小图像实施边缘提取处理而可以检测沿边缘方向延伸的直线的形态的图。

图21是本发明第二实施方式涉及的、在图19的图像上重叠显示沿边缘方向延伸的直线的图。

图22是用于表示图21的直线的正交方向上的亮度值的分布的图。

图23是用于表示图21的直线的正交方向上的亮度值的分布的图。

图24是表示本发明第二实施方式涉及的、作为基于亮度值的分布而生成的平滑函数的空间滤波器的图。

图25是表示本发明第二实施方式涉及的手抖检测动作流程的流程图。

图26是本发明第三实施方式涉及的摄像装置的整体框图。

图27是表示本发明第六实施例涉及的、图26的摄像装置进行的手抖修正的动作流程的流程图。

图28是表示本发明第七实施例涉及的、图26的摄像装置进行的手抖修正的动作流程的流程图。

图29是表示本发明第八实施例涉及的、图26的摄像装置进行的手抖修正的动作流程的流程图。

图30是表示本发明第八实施例涉及的、设于图26的摄像装置中的测光电路及LUT的图。

图31是表示本发明第九实施例涉及的、用于生成参照图像的第一评价值的计算动作的流程图。

图32是用于说明本发明第九实施例涉及的、用于生成参照图像的第一评价值的计算方法的图。

图33是表示本发明第九实施例涉及的、用于生成参照图像的第二评价值的计算动作的流程图。

图34(a)及(b)分别是表示清晰的短曝光图像及晃动大而不清晰的短曝光图像的图；都是用于说明与图33对应的动作的意义的图。

图35(a)及(b)分别是表示与图34(a)及(b)的短曝光图像对应的亮度直方图的图。

图36是用于说明本发明第九实施例涉及的、用于生成参照图像的第三评价值的计算方法的图。

图37是表示本发明第十实施例涉及的、第一修正方法的手抖修正处理的动作流程的流程图。

图38是表示本发明第十实施例涉及的、第二修正方法的手抖修正处理的动作流程的流程图。

图39是与图38对应的手抖修正处理的概念图。

图40是表示本发明第十实施例涉及的、第三修正方法的手抖修正处理的动作流程的流程图。

图41是与图40对应的手抖修正处理的概念图。

图42是表示本发明第十实施例涉及的一维的高斯分布的图。

图43是用于说明与图40对应的手抖修正处理的效果的图。

图44是表示本发明第十一实施例涉及的、各短曝光图像和相邻的短曝光图像间的光流的例子的图。

图45是表示本发明第十一实施例涉及的、相邻的短曝光图像间的光流的其他例子的图。

图46是表示本发明第十一实施例涉及的、相邻的短曝光图像间的光流的另一例子的图。

具体实施方式

以下，参照附图具体说明本发明的实施方式。在所参照的各图中，对同一部分赋予相同的标记，原则上对与同一部分相关的重复说明进行省略。

《第一实施方式》

首先，对本发明的第一实施方式进行说明。图1是本发明第一实施方式涉及的摄像装置1的整体框图。图1的摄像装置1是能拍摄并记录静止图像的数码相机或者能拍摄并记录静止图像及运动图像的数码摄像机。

摄像装置1具备摄像部11、AFE(Analog Front End)12、主控制部13、内部存储器14、显示部15、记录介质16、操作部17、曝光控制部18和手抖检测/修正部19。操作部17中备有快门按钮17a。

摄像部11具有光学***、光圈、由CCD(Charge Coupled Devices)或CMOS(Complementary Metal Oxide Semiconductor)图像传感器等构成的摄像元件、控制光学***或光圈用的驱动器(全部未图示)。驱动器根据来自主控制部13的AF/AE控制信号，控制光学***的变焦倍率或焦距以及光圈的开度。摄像元件对表示通过光学***及光圈入射的被摄体的光学像进行光电变换，将通过该光电变换得到的电信号输出到AFE12。

AFE12对从摄像部11(摄像元件)输出的模拟信号进行放大，并将放大后的模拟信号转换为数字信号。AFE12将该数字信号依次输出到主控制部13。

主控制部13具备CPU(Central Processing Unit)、ROM(Read OnlyMemory)及RAM(Random Access Memory)等，也作为视频信号处理部起作用。主控制部13根据AFE12的输出信号，生成表示由摄像部11拍摄到的图像(以下也称为“摄影图像”)的视频信号。再有，主控制部13也具备作为对显示部15的显示内容进行控制的显示控制单元的功能，对显示部15进行显示所需的控制。

内部存储器14由SDRAM(Synchronous Dynamic Random AccessMemory)等形成，暂时存储摄像装置1内生成的各种数据。显示部15是由液晶显示器等构成的显示装置，在主控制部13的控制之下，显示之前的帧中拍摄到的图像或存储于存储介质16的图像等。记录介质16是SD(Secure Digital)存储卡等非易失性存储器，在主控制部13的控制之下存储摄影图像等。

操作部17接受来自外部的操作。针对操作部17的操作内容被传达到主控制部13。快门按钮17a是用于指示静止图像的摄影及记录的按钮。

曝光控制部18控制摄像元件的各像素的曝光时间，以使摄像部11的摄像元件的曝光量最佳。再有，在从主控制部13向曝光控制部18提供曝光时间控制信号的情况下，曝光控制部18根据该曝光时间控制信号来控制曝光时间。

摄像装置1的动作模式中包含能进行静止图像或运动图像的拍摄及记录的摄影模式、和在显示部15上再生显示记录于记录介质16的静止图像或运动图像的再生模式。根据针对操作部17的操作，实施各模式间的变换。

在摄影模式中，摄像部11以规定的帧周期(例如1/60秒)依次进行拍摄。主控制部13在各帧中根据摄像部11的输出生成直通(through)显示用图像，并使显示部15依次更新显示依次得到的直通显示用图像。

在摄影模式中，在按下了快门按钮17a之际，主控制部13将表示1幅摄影图像的图像数据存储到记录介质16及内部存储器14(即，使之进行存储)。该摄影图像是可能包含手抖所导致的晃动的图像，然后根据经由操作部17等提供的修正指示或自动由手抖检测/修正部19进行修正。因此，以下将伴随快门按钮17a的按下的上述1幅摄影图像特别称为“修正对象图像”。再有，由于由手抖/修正部19可以检测出修正对象图像所包含的晃动，故也可以将修正对象图像换称为“检测对象图像”。

手抖检测/修正部19不采用角速度传感器等手抖检测传感器，而是根据由摄像部11的输出信号得到的图像数据，检测修正对象图像所包含的晃动，通过根据该检测结果对修正对象图像进行修正，从而生成除去或降低了晃动的修正图像。

以下，作为详细说明手抖检测/修正部19的功能的实施例，对第一～第五实施例进行说明。某个实施例记载的事项只要没有矛盾，就能适用于其他实施例。再有，第一～第四实施例(以及后述的第二实施方式)的描述中，所谓存储图像等的“存储器”是指内部存储器14或手抖检测/修正部19(第二实施方式中手抖检测/修正部20)内设置的未图示的存储器。

[第一实施例]

首先对第一实施例进行说明。参照图2及图3。图2是表示第一实施例涉及的手抖检测及手抖修正的动作流程的流程图。图3是该动作流程的一部分的概念图。根据图2的流程图对该动作的流程进行说明。

在摄影模式中，若按下快门按钮17a，则进行通常曝光摄影，将由此生成的修正对象图像存储在存储器上(步骤S1及S2)。以下将第一实施例中的该修正对象图像称为修正对象图像A1。

接着，在步骤S3中对得到修正对象图像A1之际的曝光时间T1和阈值T_TH进行比较，在曝光时间T1小于阈值T_TH时，认为修正对象图像中未含有(或者极其轻微的含有)手抖导致的晃动，不进行手抖修正，结束图2的处理。作为阈值T_TH，例如采用手抖界限曝光时间。手抖界限曝光时间是判断为可以忽略手抖的界限曝光时间，可以根据焦距f_D的倒数来计算。

在曝光时间T1大于阈值T_TH时，移至步骤S4，接着通常曝光摄影进行短时间曝光摄影，将由该短时间曝光摄影得到的摄影图像作为参照图像存储在存储器上。下面将第一实施例中的该参照图像称为参照图像A2。虽然修正对象图像A1与参照图像A2是通过连续摄影而得到的(即在相邻的帧中得到的)，但主控制部13对图1的曝光控制部18进行控制，以使得到参照图像A2之际的曝光时间比曝光时间T1还短。例如参照图像A2的曝光时间为T1/4。再有，修正对象图像A1与参照图像A2的图像尺寸相等。

接着，在步骤S5中，从修正对象图像A1之中提取特征性的小区域，将该提取出的小区域内的图像作为小图像A1a存储在存储器上。所谓特征性的小区域是指：在提取源图像中边缘成分比较多(换言之对比度比较强)的矩形区域，例如利用哈里斯(Harris)的拐角检测器，将128×128像素的小区域作为特征性的小区域提取。这样，根据该小区域内的图像的边缘成分的大小(或者对比度量)来选择特征性的小区域。

接下来，在步骤S6中，从参照图像A2中提取与从修正对象图像A1中提取出的小区域为同一坐标的小区域，将从参照图像A2中提取出的小区域内的图像作为小图像A2a存储在存储器上。从修正对象图像A1提取出的小区域的中心坐标(修正对象图像A1的中心坐标)和从参照图像A2提取出的小区域的中心坐标(参照图像A2的中心坐标)相等，修正对象图像A1与参照图像A2的图像尺寸也相等，因此两个小区域的图像尺寸也相等。

由于参照图像A2的曝光时间较短，故小图像A2a的信噪比(以下称为S/N比)比较低。因此，在步骤S7中，针对小图像A2a进行噪声去除处理。将除去噪声后的小图像A2a作为小图像A2b。噪声除去是通过利用线性滤波器(加权平均滤波器等)或非线性滤波器(中值滤波器(medianfilter)等)对小图像A2a进行滤波而进行的。

小图像A2b为低亮度，因此在步骤S8中，使小图像A2b的亮度等级增加。即，例如以使小图像A2b的亮度等级与小图像A1a的亮度等级相等的方式(使小图像A2b的平均亮度与小图像A2a的平均亮度相等的方式)，进行所谓将小图像A2b的各像素的亮度值乘以恒定值的亮度标准化处理。将如此使亮度等级增加后的小图像A2b称为小图像A2c。

在将这样得到的小图像A1a作为劣化图像且将小图像A2c作为初始复原图像进行处理的基础上(步骤S9)，在步骤S10中实施傅立叶迭代法，求取图像劣化函数。

在实施傅立叶迭代法时，虽然需要提供初始的复原图像(复原图像的初始值)，但将该初始的复原图像称为初始复原图像。

作为图像劣化函数，求取点展开函数(Point Spread Function；以下称为PSF)。根据理想的点像由于摄像装置1的晃动而描绘在图像上的轨迹进行加权的算符(operator)或空间滤波器被称为PSF，一般用作手抖的数学模型。由于手抖对整个图像造成一样的劣化，故针对小区域A1a求出的PSF可以用作针对整个修正对象图像A1的PSF。

傅立叶迭代法是根据包含劣化的劣化图像而得到除去或降低了劣化的复原图像的方法(例如参照文献：G.R.Ayers and J.C.Dainty，“Iterativeblind deconvolution method and its applications”，OPTICS LETTERS，1988年，Vol.13，No.7，p.547-549)。参照图4及图5，详细说明该傅立叶迭代法。图4是图2的步骤S10的处理的详细流程图。图5是实施傅立叶迭代法的部位的框图。

首先，在步骤S101中将复原图像设为f’，将该复原图像f’设为初始复原图像。即，作为初始的复原图像f’，使用上述的初始复原图像(本实施例中为小图像A2c)。接着，在步骤S102中，将劣化图像(在本实施例中为A1a)设为g。而且，将对劣化图像g进行过傅立叶变换的图像作为G存储在存储器上(步骤S103)。例如，在初始复原图像及劣化图像的图像尺寸为128×128像素时，f’及g可以表现为具有128×128的矩阵尺寸的矩阵。

接着，在步骤S110中，求取对复原图像f’进行过傅立叶变换的F’，进而在步骤S111中，通过下述式(1)计算H。H相当于对PSF进行过傅立叶变换的函数。在式(1)中，F’^*是F’的共轭复矩阵，α是常数。

$H=\frac{G\·{F^{\′}}^{*}}{{\left|F^{\′}\right|}^2+\mathrm{\α}}...\left(1\right)$

接着，在步骤S112中，通过对H进行逆傅立叶变换，得到PSF。将在此得到的PSF设为h。接着，在步骤S113中，以下述式(2a)的约束条件对PSF h进行修正后，以式(2b)的约束条件进行修正。

$h(x,y)=\left\{\begin{array}{cc}1& :h(x,y)>1\\ h(x,y)& :0\&le;h(x,y)\&le;1\\ 0& :h(x,y)<0\end{array}\right....\left(2a\right)$

∑h(x,y)=1                         …(2b)

PSF h表现为二维的矩阵，因此以h(x，y)表示该矩阵的各要素。PSF的各要素应该为0以上且1以下的值。因此，在步骤S113中，判断PSF的各要素是否为0以上且1以下，为0以上且1以下的要素的值直接沿用。而为大于1的要素时将该要素的值修正为1，且在为小于0时将该要素的值修正为0。这是基于式(2a)的约束条件进行的修正。而且，对PSF进行标准化，以使该修正后的PSF的各要素的总和为1。该标准化是基于式(2b)的约束条件而进行的修正。

将根据式(2a)及(2b)的约束条件进行过修正的PSF设为h’。

接下来，在步骤S114中求取对PSF h’进行过傅立叶变换的H’，进而在步骤S115中根据下述式(3)计算F。F相当于对复原图像进行过傅立叶变换的值。在式(3)中，H’^*是H’的共轭复矩阵，β为常数。

$F=\frac{G\&CenterDot;{H^{\&prime;}}^{*}}{{\left|H^{\&prime;}\right|}^2+\mathrm{\&beta;}}...\left(3\right)$

接着，在步骤S116中，通过对F进行傅立叶逆变换，从而取得复原图像。将在此获得的复原图像设为f。接着，在步骤S117中，以下述式(4)的约束条件对复原图像f进行修正，将修正后的复原图像重新设为f’。

$f(x,y)=\left\{\begin{array}{cc}255& :f(x,y)>255\\ f(x,y)& :0\&le;f(x,y)\&le;255\\ 0& :f(x,y)<0\end{array}\right....\left(4\right)$

复原图像f表现为二维的矩阵，因此以f(x，y)表示该矩阵的各要素。当前设为以0到255的数字值来表示劣化图像及复原图像的各要素的像素值。这样，表示复原图像f的矩阵的各要素(即各像素值)应该取0以上且255以下的值。因此，在步骤S117中判断表示复原图像f的矩阵的各要素是否在0以上且255以下，为0以上且255以下的要素的值直接沿用，而在存在大于255的要素时将该要素的值修正为255，且在存在小于0的要素时将该要素的值修正为0。这是根据式(4)的约束条件进行的修正。

接着，在步骤S118中，通过判断是否满足收敛条件，从而进行迭代处理的收敛判断。

例如，将最新的F’和一个之前得到的F’之差的绝对值用作收敛判断的指标。当该指标在规定的阈值以下时，判断为满足收敛条件，而在不是的情况下判断为未满足收敛条件。

在满足收敛条件的情况下，将对最新的H’进行了傅立叶逆变换的函数设为最终的PSF。即，对该最新的H’进行了傅立叶逆变换后的函数，应该是在图2的步骤S10中求得的PSF。在未满足收敛条件的情况下，返回到步骤S110，重复步骤S110～S118的各处理。在各步骤S110～S118的各处理的重复过程中，将f’、F’、H、h、h’、H’、F和f(参照图5)依次更新为最新值。

作为收敛判断的指标，也可采用其他指标。例如，可以将最新的H’和一个之前得到的H’之差的绝对值用作收敛判断的指标，判断上述收敛条件成立还是不成立。还有，例如也可以将利用上述式(2a)及(2b)的步骤S113中的修正量或者利用上述式(4)的步骤S117中的修正量用作收敛判断的指标，判断上述收敛条件的成立或不成立。这是因为若迭代处理倾向于收敛，则这些修正量变小。

再有，也可以在由步骤S110～S118构成的循环处理的重复次数达到规定次数的情况下，判断为不可收敛，结束处理而不计算最终的PSF。此时不进行修正对象图像的修正。

返回到图2的各步骤的说明。在步骤S10中计算出PSF后，移到步骤S11。在步骤S11中，将步骤S10中求出的PSF的逆矩阵的各要素作为图像复原滤波器的各滤波系数来求取。该图像复原滤波器是用于由劣化图像得到复原图像的滤波器。实际上，以相当于上述式(3)右边的一部分的下述式(5)表示的矩阵的各要素相当于图像复原滤波器的各滤波系数，因此可以直接利用步骤S10中的傅立叶迭代法的计算过程中的结果。其中，式(5)中的H’^*及H’是在步骤S118的收敛条件成立之前得到的H’^*及H’(即最终得到的H’^*及H’)。

$\frac{H^{{\&prime;}^{*}}}{{\left|H^{\&prime;}\right|}^2+\mathrm{\&beta;}}...\left(5\right)$

在步骤S11中求得图像复原滤波器的各滤波系数之后，移到步骤S12，利用该图像复原滤波器对修正对象图像A1进行滤波，从而生成除去或降低了修正对象图像A1所包含的晃动的滤波图像。由于滤波图像中包含伴随滤波的振铃信号(ringing)，故通过步骤S13将其除去，从而生成最终的修正图像。

[第二实施例]

接着对第二实施例进行说明。

如上所述，在摄影模式下，摄像部11以规定的帧周期(例如1/60秒)依次进行摄影，主控制部13在各帧中根据摄像部11的输出生成直通显示用图像，使显示部15依次更新显示依次得到的直通显示用图像。

直通显示用图像是运动图像用的图像，其图像尺寸比作为静止图像的修正对象图像的尺寸还小。修正对象图像根据摄像部11的摄像元件的有效摄像区域内的全部像素的像素信号生成，而直通显示用图像是对该有效摄像区域的各像素的像素信号进行间隔提取而生成的。在将摄影图像考虑为由有效摄像区域内的全部像素的像素信号生成的图像的情况下，修正对象图像是根据快门按钮17a的按下而被通常曝光摄影和记录的摄像图像本身，直通显示用图像相当于各帧的摄影图像的间隔提取图像。

在第二实施例中，将基于拍摄修正对象图像的帧之前或之后的帧的摄影图像的直通显示用图像用作参照图像。以下，例示利用拍摄修正对象图像的帧之前的帧的直通显示用图像的情况。

参照图6及图7。图6是表示第二实施例涉及的手抖检测及手抖修正的动作流程的流程图。图7是表示该动作流程的一部分的概念图。参照图6说明该动作流程。

在摄影模式中，如上所述，在各帧生成直通显示用图像，在存储器上依次更新存储该图像并且在显示部15上进行更新显示(步骤S20)。而且，若按下快门按钮17a，则进行通常曝光摄影，存储由此生成的修正对象图像(步骤S21及S22)。以下将第二实施例中的该修正对象图像称为修正对象图像B1。此时存储于存储器上的直通显示用图像为拍摄修正对象图像B1的帧之前的帧的通过摄影而得到的直通显示用图像，以下将其称为参照图像B3。

接着，在步骤S23中，对得到修正对象图像B1时的曝光时间T1和阈值T_TH进行比较。在曝光时间T1小于上述阈值T_TH(例如为焦距f_D的倒数)的情况下，认为修正对象图像中未含有(或者极其轻微地含有)手抖导致的晃动，不进行手抖修正，结束图6的处理。

在曝光时间T1大于阈值T_TH的情况下，移至步骤S24，对曝光时间T1和得到参照图像B3之际的曝光时间T3进行比较。在T1≤T3的情况下，认为参照图像B3中的手抖大，不进行手抖修正而结束图6的处理。在T1＞T3的情况下移至步骤S25，利用哈里斯的拐角检测器等，从参照图像B3之中提取特征性的小区域，将该提取出的小区域内的图像作为小图像B3a存储在存储器上。特征性的小区域的意义以及提取方法与第一实施例中描述的同样。

接着，在步骤S26中，与小图像B3a的坐标对应，从修正对象图像B1中提取小区域。而且，将根据修正对象图像B1与参照图像B3的图像尺寸比而对从修正对象图像B1中提取出的该小区域内的图像进行缩小后的图像，作为小图像B1a存储到存储器上。也就是说，在生成小图像B1a之际，进行图像尺寸的标准化处理，以使小图像B1a与B3a的图像尺寸相等。

假设以使修正对象图像B1与参照图像B3的图像尺寸相等的方式放大参照图像B3，则从修正对象图像B1提取的小区域的中心坐标(修正对象图像B1的中心坐标)和从参照图像B3提取的小区域的中心坐标(参照图像B3的中心坐标)一致。其中，由于修正对象图像B1和参照图像B3的图像尺寸实际上是不同的，故两个小区域的图像尺寸根据修正对象图像B1与参照图像B3的图像尺寸比而不同。因此，使从参照图像B3提取的小区域的图像尺寸与从修正对象图像B1提取的小区域的图像尺寸之比、和参照图像B3的图像尺寸与修正对象图像B1的图像尺寸之比一致。而且，最终通过以小图像B1a与B3a的图像尺寸相等的方式缩小从修正对象图像B1提取的小区域内的图像，从而得到小图像B1a。

接着，在步骤S27中，对小图像B1a及B3a实施边缘提取处理，得到小图像B1b及B3b。例如，通过对小图像B1a的各像素采用任意的边缘检测算符，从而生成小图像B1a的边缘提取图像，将该边缘提取图像设为小图像B1b。对于小图像B3b也同样。

然后，在步骤S28中，对小图像B1b与B3b进行亮度标准化处理。也就是说，将小图像B1b及/或B3b的各像素的亮度值乘以恒定值，以使小图像B1b与B3b的亮度等级相等(小图像B1b的平均亮度与小图像B3b的平均亮度相等)。将该亮度标准化处理后的小图像B1b及B3b设为小图像B1c及B3c。

由于作为参照图像B3的直通显示用图像是运动图像用的图像，故例如以使其具有适用于运动图像的色调的方式借助运动图像用的图像处理而得到。另一方面，由于修正对象图像B1是伴随快门按钮17a的按下而拍摄到的静止图像，故其借助静止图像用的图像处理而得到。因为两个图像处理间的差异，即使被摄体相同，在小图像B1a与B3a之间色调等也会不同。由于该差异可以通过边缘提取处理而除去，故在步骤S27中进行边缘提取处理。进而，由于可以通过边缘提取处理将修正对象图像B1与参照图像B3的亮度差大致除去，故虽然通过边缘提取处理可以抑制亮度差的影响(即提高晃动检测精度)，但由于并不能完全除去，故接下来在步骤S28中进行亮度标准化处理。

在将如上所述获得的小图像B1c作为劣化图像且将小图像B3c作为初始复原图像进行处理的基础上(步骤S29)，移至步骤S10，依次执行步骤S10、S11、S12及S13的各处理。

步骤S10～S13的各处理内容与第一实施例中的同样。其中，由于通过步骤S10及S11得到的图像复原滤波器的各滤波系数(及通过步骤S10得到的PSF)适用于运动图像的图像尺寸，故以使其适合静止图像的图像尺寸的方式进行纵横放大处理。

例如，在直通显示用图像与修正对象图像的图像尺寸比为3∶5且通过步骤S10及S11得到的图像复原滤波器的尺寸为3×3的情况下，在计算出图8的标记101所示的各滤波系数时，通过纵横放大处理，生成图8的标记102所示的5×5尺寸的图像复原滤波器的各滤波系数。而且，最终将5×5尺寸的图像复原滤波器的各滤波系数设为通过步骤S11得到的各滤波系数。还有，在与图8的标记102对应的例子中，虽然将通过纵横放大处理而***补的滤波系数设为0，但也可以通过线性插补等计算应***补的滤波系数。

在步骤S11中求得图像复原滤波器的各滤波系数之后，移至步骤S12，通过利用该图像复原滤波器对修正对象图像B1进行滤波，从而生成除去或降低了修正对象图像B1所包含的晃动的滤波图像。由于滤波图像中可能含有伴随滤波的振铃信号，故通过步骤S13除去该振铃信号，从而生成最终的修正图像。

[第三实施例]

接着，对第三实施例进行说明。参照图9及图10。图9是表示第三实施例涉及的手抖检测及手抖修正的动作流程的流程图。图10是表示该动作流程的一部分的概念图。根据图9的流程图说明该动作流程。

在摄影模式中，在各帧生成直通显示用图像，将其依次更新存储在存储器上并且更新显示于显示部15(步骤S30)。而且，若按下快门按钮17a，则进行通常曝光摄影，存储由此生成的修正对象图像(步骤S31及S32)。以下将第三实施例中的该修正对象图像称为修正对象图像C1。该时刻存储于存储器上的直通显示用图像为拍摄修正对象图像C1的帧之前的帧的通过摄影而得到的直通显示用图像，以下将其称为参照图像C3。

接着，在步骤S33中，对得到修正对象图像C1时的曝光时间T1和阈值T_TH进行比较。在曝光时间T1小于上述阈值T_TH(例如焦距f_D的倒数)的情况下，认为修正对象图像中未含有(或极其轻微地含有)手抖导致的晃动，不进行手抖修正而结束图9的处理。

在曝光时间T1大于阈值T_TH的情况下，对曝光时间T1和得到参照图像C3时的曝光时间T3进行比较，在T1≤T3的情况下，认为参照图像C3中的手抖大，以下执行与第一实施例同样的手抖检测及手抖修正(即进行与图2的S4～S13同样的处理)。另一方面，在T1＞T3的情况下移至步骤S34，在通常曝光摄影之后进行短时间曝光摄影，将通过该短时间曝光摄影而得到的摄影图像作为参照图像C2存储在存储器上。在图9中，省略与T1和T3的比较相关的处理内容的记载，以下对T1＞T3的情况进行说明。

虽然修正对象图像C1与参照图像C2是通过连续摄影而得到的(即在相邻的帧内得到的)，但主控制部13对图1的曝光控制部18进行控制，以使得到参照图像C2时的曝光时间比曝光时间T1还短。例如，设参照图像C2的曝光时间为T3/4。再有，修正对象图像C1与参照图像C2的图像尺寸相等。

步骤S34之后移至步骤S35，利用哈里斯的拐角检测器等，从参照图像C3之中提取特征性的小区域，将该提取出的小区域内的图像作为小图像C3a存储在存储器上。特征性的小区域的意义以及提取方法与第一实施例中描述的相同。

接着，在步骤S36中，与小图像C3a的坐标对应，从修正对象图像C1中提取小区域。而且，将根据修正对象图像C1与参照图像C3的图像尺寸比，对从修正对象图像C1中提取出的该小区域内的图像进行缩小后的图像作为小图像C1a存储到存储器上。也就是说，在生成小图像C1a之际，进行图像尺寸的标准化处理，以使小图像C1a与C3a的图像尺寸相等。同样，与小图像C3a的坐标对应，从参照图像C2中提取小区域。而且，将根据参照图像C2与参照图像C3的图像尺寸比，对从参照图像C2中提取出的该小区域内的图像进行缩小后的图像作为小图像C2a存储到存储器上。由修正对象图像C1(或参照图像C2)得到小图像C1a(或小图像C2a)的方法和第二实施例中所说明的由修正对象图像B1得到小图像B1a的方法(图6的步骤S26)同样。

接着，在步骤S37中，以小图像C3a为基准，对小图像C2a进行亮度标准化处理。也就是说，以使小图像C3a与C2a的亮度等级相等的方式(小图像C3a的平均亮度与C2a的平均亮度相等的方式)，对小图像C2a的各像素的亮度值乘以恒定值。将该亮度标准化处理后的小图像C2a设为小图像C2b。

在步骤S37的处理之后移至步骤S38。在步骤S38中，首先生成小图像C3a和小图像C2b的差分图像。仅针对小图像C3a与C2b之间存在差异的部分将差分图像的像素值取为0以外的值。而且，将差分图像的各像素的像素值作为加权系数，通过对小图像C3a与C2b进行加权相加运算，从而生成小图像C4a。

以I_D(p，q)表示差分图像的各像素的像素值，以I₃(p，q)表示小图像C3a的各像素的像素值，以I₂(p，q)表示小图像C2b的各像素的值，以I₄(p，q)表示小图像C4a的各像素的像素值，则I₄(p，q)可以由下述式(6)来表示。在此，k为常数，p及q表示差分图像或各小图像中的水平坐标及垂直坐标。

I₄(p，q)＝k·I_D(p，q)·I₂(p，q)+(1-k)·I_D(p，q)·I₃(p，q)    …(6)

由后述的说明可知，小图像C4a被用作计算与修正对象图像C1的晃动对应的PSF的图像。为了得到良好的PSF，需要在小图像C4a中预先适当保存边缘部分。当然，小图像C4a的S/N比越高越可以得到良好的PSF。一般，若对多个图像进行相加运算，则可以提高S/N比，因此通过对小图像C3a与C2b进行相加运算，当然可以得到小图像C4a，但通过该相加运算，边缘部分变得模糊，无法得到良好的PSF。

因此，如上所述，借助与差分图像的像素值对应的加权相加运算来生成小图像C4a。参照图11(a)及(b)补充说明该加权相加运算的意义。由于小图像C3a比小图像C2b的曝光时间还长，故如图11(a)所示，拍摄了同一边缘体时的前者的晃动通常比后者的晃动大。因此，若单纯地对两个小图像进行相加运算，则如图11(a)所示，边缘部变得模糊，但如图11(b)所示，若根据两个小图像间的差分图像的像素值对两个小图像进行加权相加运算，则可以比较良好地保存边缘部。这是因为：在因小图像C3a的晃动大而产生的相异部分110(边缘部劣化不同的部分)中，I_D(p，q)变大，小图像C2b的加权增大，小图像C4a中难以反映小图像C3a的大的边缘部劣化。相反，在非相异部分111中，因为曝光时间比较长的小图像C3a的加权变大，故也可以获得提高S/N比的效果(降低噪声效果)。

接着，在步骤S39中，以小图像C1a为基准，对小图像C4a进行亮度标准化处理。也就是说，以使小图像C1a与C4a的亮度等级相等的方式(小图像C1a的平均亮度与C4a的平均亮度相等的方式)，对小图像C4a的各像素的亮度值乘以恒定值。将该亮度标准化处理后的小图像C4a设为小图像C4b。

在将如上所述获得的小图像C1a作为劣化图像且将小图像C4b作为初始复原图像进行处理的基础上(步骤S40)，移至步骤S10，依次执行步骤S10、S11、S12及S13的各处理。

步骤S10～S13的各处理内容与第一实施例中的同样。其中，由于通过步骤S10及S11得到的图像复原滤波器的各滤波系数(及通过步骤S10得到的PSF)适用于运动图像的图像尺寸，故以使其适合静止图像的图像尺寸的方式进行纵横放大处理。该纵横放大处理与第二实施例中说明的同样。

在步骤S11中求得图像复原滤波器的各滤波系数之后，移至步骤S12，通过利用该图像复原滤波器对修正对象图像C1进行滤波，从而生成除去或降低了修正对象图像C1所包含的晃动的滤波图像。由于滤波图像中可能含有伴随滤波的振铃信号，故通过步骤S13除去该振铃信号，从而生成最终的修正图像。

[第四实施例]

接着对第四实施例进行说明。参照图12及图13。图12是表示第四实施例涉及的手抖检测及手抖修正的动作流程的流程图。图13是表示该动作流程的一部分的概念图。根据图12的流程图对该动作的流程进行说明。

在第四实施例中，首先实施步骤S50～S56的各处理。步骤S50～S56的各处理内容，由于与第三实施例中的步骤S30～S36(参照图9)的处理内容同样，故省略重复的说明。其中，第三实施例中的修正对象图像C1以及参照图像C2及C3在第四实施例中替换为修正对象图像D1以及参照图像D2及D3。再有，例如参照图像D2的曝光时间设为T1/4。

经过步骤S50～S56，得到基于修正对象图像D1以及参照图像D2及D3的小图像D1a、D2a及D3a，然后移至步骤S57。

在步骤S57中，将小图像D2a及D3a中的任一方小图像选择为小图像D4a。选择可以基于各种指标进行。

例如，对小图像D2a的边缘强度和小图像D3a的边缘强度进行比较，将边缘强度较大的小图像选择为小图像D4a。小图像D4a作为傅立叶迭代法的初始复原图像的基础，这是因为考虑到：越是边缘强度大的图像，其边缘部的劣化越少，因此优选作为初始复原图像。例如，通过对小图像D2a的各像素适用规定的边缘检测算符，从而生成小图像D2a的边缘提取图像，将该边缘提取图像的像素值的总和作为小图像D2a的边缘强度。同样也可以计算小图像D3a的边缘强度。

还有，例如也可以对参照图像D2的曝光时间和参照图像D3的曝光时间进行比较，将与更短曝光时间对应的小图像选择为小图像D4a。这是因为考虑到：越是曝光时间短的图像，其边缘部的劣化越少，优选作为初始复原图像。再有，例如也可以根据通过图1的操作部17等预先设定的选择信息(外部信息)，从小图像D2a及D3a中选择小图像D4a。还有，也能根据组合了上述的边缘强度、曝光时间及选择信息的指标值，进行该选择。

接着，在步骤S58中，以小图像D1a为基准，对小图像D4a进行亮度标准化处理。也就是说，以使小图像D1a与D4a的亮度等级相等的方式(小图像D1a的平均亮度与小图像D4a的平均亮度相等的方式)，对小图像D4a的各像素的亮度值乘以恒定值。将该亮度标准化处理后的小图像D4a设为小图像D4b。

在将如上所述获得的小图像D1a作为劣化图像且将小图像D4b作为初始复原图像进行处理的基础上(步骤S59)，移至步骤S10，依次执行步骤S10、S11、S12及S13的各处理。

步骤S10～S13的各处理内容与第一实施例中的同样。其中，由于通过步骤S10及S11得到的图像复原滤波器的各滤波系数(及通过步骤S10得到的PSF)适用于运动图像的图像尺寸，故以使其适合静止图像的图像尺寸的方式进行纵横放大处理。该纵横放大处理与第二实施例中说明的同样。

在步骤S11中求得图像复原滤波器的各滤波系数之后，移至步骤S12，通过利用该图像复原滤波器对修正对象图像D1进行滤波，从而生成除去或降低了修正对象图像D1所包含的晃动的滤波图像。由于滤波图像中可能含有伴随滤波的振铃信号，故通过步骤S13除去该振铃信号，从而生成最终的修正图像。

[第五实施例]

接着对第五实施例进行说明。在第五实施例中，对实现在第一～第四实施例中已经描述过的手抖检测及手抖修正的构成进行说明。图14是表示该构成的框图。本实施例中描述的修正对象图像为第一～第四实施例中的修正对象图像(A1、B1、C1或D2)，本实施例中描述的参照图像为第一～第四实施例中的参照图像(A2、B3、C2及C3或D2及D3)。

图14中的存储器31由图1的内部存储器14来实现，或者设于手抖检测/修正部19内。图14中的劣化图像/初始复原图像设定部32、傅立叶迭代处理部33、滤波部34以及振铃信号除去部15设于图1的手抖检测/修正部19。

存储器31存储修正对象图像及参照图像。劣化图像/初始复原图像设定部32根据存储器31的记录内容，以第一～第四实施例中描述的方法设定劣化图像及初始复原图像，并将这些图像提供给傅立叶迭代处理部33。例如，在采用第一实施例的情况下，将通过图2的步骤S1～S8的各处理得到的小图像A1a及A2c分别作为劣化图像及初始复原图像提供给傅立叶迭代处理部33。

另外，设于劣化图像/初始复原图像32的小图像提取部36从修正对象图像及参照图像中提取作为劣化图像以及初始设定图像的基础的各小图像(图3的A1a、A2a、图10的C1a、C2a、C3a等)。

傅立叶迭代处理部33根据所提供的劣化图像及初始复原图像，实施参照图4等说明过的傅立叶迭代法。图像复原滤波器本身安装于滤波部34内，傅立叶迭代处理部33通过执行图2等的步骤S10及S11的各处理，从而计算该图像复原滤波器的各滤波系数。

滤波部34通过对具有计算出的各滤波系数的图像复原滤波器适用于修正对象图像的各像素，对修正对象图像进行滤波，从而生成滤波图像。虽然图像复原滤波器的尺寸比修正对象图像的图像尺寸小，但由于考虑到手抖会对整个图像造成一样的劣化，故通过对整个修正对象图像适用该图像复原滤波器，从而可以除去整个修正对象图像的晃动。

振铃信号除去部35通过对所生成的滤波图像与修正对象图像进行加权平均，从而生成最终的修正图像。例如，加权平均按照每个像素进行，每个像素的加权平均的比率可以根据修正对象图像的各像素的边缘强度来确定。

所生成的最终修正图像是除去或降低了修正对象图像所包含的晃动且除去或降低了伴随于滤波的振铃信号后的图像。其中，由于滤波部34生成的滤波图像也是除去或降低了晃动的图像，因此可以解释为滤波图像也是修正图像的一种。

另外，由于除去上述振铃信号的方法是公知的，省略详细说明。作为其方法，例如可以采用特开2006-129236号公报所公开的方法。

通过曝光时间比通常曝光摄影还短的摄影而得到的参照图像为低亮度，故所包含的手抖量少，因此其边缘成分接近于没有手抖的图像的边缘成分。因此，如上所述，将根据该参照图像得到的图像作为傅立叶迭代法中的初始复原图像(复原图像的初始值)。

通过基于傅立叶迭代法的循环处理的重复，复原图像(f’)逐渐接近于尽量除去了手抖的图像，但由于初始复原图像本身已经接近无手抖的图像，故可以比以往那样将随机图像或劣化图像设为初始复原图像的方法更快收敛(最短在1次循环处理中收敛)。结果，可以缩短生成手抖信息(PSF或图像复原滤波器的滤波系数)用的处理时间以及手抖修正用的处理时间。再有，若初始复原图像与应收敛的图像相差很远，则收敛到局部解(与的确应收敛的图像不同的图像)的概率增高，但通过如上述那样设定初始复原图像，从而收敛到局部解的概率降低(即手抖修正失败的概率降低)。

还有，由于手抖对整个图像造成一样的劣化，故由各图像中提取小区域，由各小区域的图像数据生成手抖信息(PSF或图像复原滤波器的滤波系数)，可以将这些信息适用于整个图像。由此，可以降低需要的运算量，可以缩短手抖信息生成用的处理时间及手抖修正用的处理时间。当然，也可以预见到必要电路的规模缩小或伴随于此的成本降低的效果。

此时，如各实施例中所描述的那样，设为自动提取包含很多边缘成分的特征性的小区域。PSF的计算源图像中的边缘成分的增大意味着信号成分相对于噪音成分的比例的增大，因此通过提取特征性的小区域，从而噪声的影响减小，可以更准确地检测手抖信息。

还有，在第二实施例中无需进行用于取得参照图像的专用摄影，即使在第一、第三及第四实施例中也只进行一次用于取得参照图像的专用摄影(短时间曝光摄影)，因此几乎不会增大摄影时的负荷。再有，无需多言，由于不使用角速度传感器等来进行手抖检测及手抖修正，故可以实现摄像装置1的低成本化。

另外，作为用于求取PSF的处理例子，以上描述了基于傅立叶迭代法的图4的处理，但附带言及对此的补充说明及变形例(也参照图5)。在图4的处理中，通过利用傅立叶变换将空间域上的劣化图像g及复原图像f’变换到频域上，从而可以求得表示频域上的劣化图像g的函数G和表示频域上的复原图像f’的函数F’(其中所谓频域当然是指二维的频域)。根据所求得的函数G及F’，求取表示频域上的PSF的函数H，通过傅立叶逆变换将该函数H变换为空间域上的函数、即PSF h。利用规定的约束条件对该PSF h进行修正，求得修正后的PSF h’。以下将修正该PSF的处理称为“第一修正处理”。

通过傅立叶变换将PSF h’再次变换到频域上，求取函数H’，根据函数H’与函数G求取表示频域上的复原图像的函数F。通过对该函数F进行傅立叶逆变换，从而得到空间域上的复原图像f，利用规定的约束条件对该复原图像f进行修正，求取修正后的复原图像f’。以下将修正该复原图像的处理称为“第二修正处理”。

在上述的例子中，描述了之后利用修正后的修正图像f’反复进行上述处理，直到在图4的步骤S118中满足收敛条件为止。再有，还描述了：考虑若迭代处理倾向于收敛、则修正量减小的特性，也可以根据与第一修正处理对应的步骤S113中的修正量或与第二修正处理对应的步骤S117中的修正量来判断该收敛条件的成立/不成立。在根据修正量进行该判断的情况下，预先设定基准修正量，对步骤S113中的修正量或步骤S117中的修正量和基准修正量进行比较，在前者小于后者的情况下判断为收敛条件成立，但若将基准修正量设定得足够大，则不重复执行步骤S110～S117的处理。也就是说，该情况下仅进行一次第一修正处理而得到的PSF h’就成为应该以图2等的步骤S10导出的最终的PSF。这样，即使采用了图4的处理，也不一定重复执行第一及第二修正处理。

第一及第二修正处理的重复执行次数的增大有助于提高最终求得的PSF的精度，但在本实施方式中，由于初始复原图像本身已经接近于无手抖的图像，故仅进行一次第一修正处理而得到的PSF h’的精度在实用性上也高达没有问题的程度。若考虑这些，则也能省略步骤S118的判断处理本身。该情况下，通过仅执行一次步骤S113的处理而求取的PSF h’成为应以图2等的步骤S10导出的最终的PSF，根据仅执行一次步骤S114的处理而求取的函数H’，求取应以图2等的步骤S11导出的图像复原滤波器的各滤波系数。因此，在省略步骤S118的处理的情况下，也可以省略步骤S115～S117的处理。

作为针对第一实施方式的变形例或注释事项，以下记为注释1～注释6。各注释中记载的内容只要没有矛盾，就能任意进行组合。

[注释1]

在第一、第三或第四实施例中(参照图3、图10或图13)，说明了通过用于得到修正对象图像的通常曝光摄影之后的短时间曝光摄影来得到参照图像A2、C2或D2，但即使通过该通常曝光摄影之前的短时间曝光摄影来得到这些参照图像也是可以的。该情况下，只要将第三或第四实施例中的参照图像C3或D3作为拍摄修正对象图像的帧之后的帧中的直通显示用图像即可。

[注释2]

在各实施例中，在由各小图像生成针对傅立叶迭代法的劣化图像及初始复原图像的过程中，对各小图像适用噪声除去处理、亮度标准化处理、边缘提取处理及图像尺寸标准化处理(参照图3、图7、图10及图13)中的任意一种以上的处理。各实施例中描述的这些处理的适用方法只是例子而已，能够进行各种变更。在各实施例中的劣化图像及初始复原图像的生成过程中，极端的是也能对各小区域实施上述的4个处理的全部(其中在第一实施例中图像尺寸标准化处理是无意义的)。

[注释3]

作为从修正对象图像或参照图像中提取包含很多边缘成分的特征性小区域的方法，能够采用各种各样的方法。例如，也可以挪用在自动对焦控制中计算的AF评价值来进行该提取。该自动对焦控制采用TTL(Through The Lends)方式的对比度检测法。

摄像装置1中设有AF评价部(未图示)，AF评价部将各摄影图像(或各直通显示用图像)分割为多个分割区域，按照每个分割区域计算与分割区域内的图像的对比度对应的AF评价值。图1的主控制部13参照针对上述多个分割区域中的任一分割区域的AF评价值，利用登山控制来控制摄像部11的对焦透镜的位置，以使该AF评价值取最大值(或极大值)，由此使被摄体的光学像于摄像元件的摄像面上成像。

在执行这种自动对焦控制的情况下，在从修正对象图像或参照图像中提取特征性小区域时，参照针对该提取源图像的各分割区域的AF评价值。例如，确定针对提取源图像的各分割区域的AF评价值中的最大AF评价值，将与该最大AF评价值对应的分割区域(或以该分割区域为基准的区域)作为特征性小区域进行提取。AF评价值伴随分割区域内的图像的对比度量(或者边缘成分)的增大而增大，因此也能据此将含有边缘成分较多的小区域作为特征性小区域进行提取。

[注释4]

上述说明内容中示出的具体数值仅仅是例示，当然可以将其变更为各种各样的数值。

[注释5]

再有，图1的摄像装置1可以通过硬件、软件或硬件与软件的组合来实现。尤其是，图14所示的各部位(其中除去存储器31)的功能可以通过硬件、软件或硬件与软件的组合来实现，还可以通过摄像装置1的外部装置(计算机等)来实现这些部位的各功能。

在利用软件来构成摄像装置1的情况下，针对通过软件实现的部位的框图是表示该部位的功能框图。可以以程序描述由图14的各部位(其中除去存储器31)实现的功能的全部或一部分，通过在程序执行装置(例如计算机)上执行该程序，从而实现该功能的全部或一部分。

[注释6]

在图14中，劣化图像/初始复原图像设定部32与傅立叶迭代处理部33形成晃动检测装置，晃动修正装置构成为包括滤波部34及振铃信号部35。其中，也可以从该晃动修正装置中省略振铃信号部35。再有，也可以考虑在该晃动修正装置内含有上述晃动检测装置。还有，上述晃动检测装置也可以包含存储器31(保持单元)。另外，在图1中，手抖检测/修正部19作为晃动检测装置起作用，并且也作为晃动修正装置起作用。

傅立叶迭代处理部33或劣化图像/初始复原图像设定部32和傅立叶迭代处理部33作为生成手抖信息(PSF或图像复原滤波器的滤波系数)的单元起作用。

《第二实施方式》

接着，对本发明第二实施方式进行说明。第二实施方式相当于第一实施方式的变形例，第一实施方式的记载事项只要不矛盾就可以适用于第二实施方式。图17是第二实施方式涉及的摄像装置1a的整体框图。摄像装置1a由参照标记11～18以及20的各部位构成。即，通过将图1的手抖检测/修正部19置换为手抖检测/修正部20而形成摄像装置1a。在其他方面两摄像装置是同样的，因此省略同样部分的重复说明。

在摄像装置1a中，在摄影模式下若按下快门按钮17a则进行通常曝光摄影，将由此得到的摄影图像作为修正对象图像E1存储到存储器上。以T1表示得到修正对象图像E1时的曝光时间(曝光时间的长度)。再有，在得到修正对象图像E1的通常曝光摄影之前或之后进行短时间曝光摄影，将通过该短时间曝光摄影得到的摄影图像作为参照图像E2存储到存储器上。虽然通过连续摄影获得修正对象图像E1与参照图像E2(即在相邻的帧得到)，但主控制部13通过曝光控制部18控制摄像部11，以使得到参照图像E2时的曝光时间比曝光时间T1还短。例如，将参照图像E2的曝光时间设为T1/4。还有，修正对象图像E1与参照图像E2的图像尺寸相等。

此外，也可以对曝光时间T1和第一实施方式中描述过的T_TH(手抖界限曝光时间)进行比较，在前者小于后者的情况下，认为修正对象图像E1中未含有(或极其轻微地含有)手抖所导致的晃动，不进行手抖修正。再有，该情况下可以不执行得到参照图像E2用的短时间曝光摄影。

在得到修正对象图像E1与参照图像E2后，从参照图像E2中提取特征性的小区域，另一方面从修正对象图像E1中提取与从参照图像E2提取出的小区域对应的小区域。将所提取的小区域设为例如128×128像素的小区域。特征性的小区域的意义及提取方法如第一实施方式所述。在本实施方式中，从参照图像E2中提取多个特征性的小区域。因此，从修正对象图像E1中也提取与其相同数量的小区域。目前，如图18所示，从参照图像E2中提取8个小区域，将这8个小区域内的图像(斜线区域内图像)称为小图像GR₁～GR₈。另一方面，将与小图像GR₁～GR₈对应而从修正对象图像E1中提取出的8个小区域内的图像(斜线区域内图像)称为小图像GL₁～GL₈。

在将i设为1以上8以下的整数的情况下，小图像GR_i与小图像GL_i的图像尺寸相等。在可以忽略修正对象图像E1与参照图像E2之间的位置偏离的情况下，按照从参照图像E2提取的小图像GR_i的中心坐标(参照图像E2内的中心坐标)、和与该小图像GR_i对应地从修正对象图像E1中提取的小图像GL_i的中心坐标(修正对象图像E1内的中心坐标)相等的方式，进行小区域的提取。在无法忽略该位置偏离的情况下，也可以利用模板匹配(template matching)法等进行对应小区域的搜索(另外这也可以适用于第一实施方式)。即，例如将小图像GR_i作为模板，采用公知的模板匹配法，从修正对象图像E1中搜索与该模板相似度最高的小区域，将搜索到的小区域内的图像设为小图像GL_i。

图19示出小图像GL₁及GR₁的放大图。在图19中，将亮度高的部分表现为白色，将亮度低的部分表现为黑色。再有，设想水平方向及垂直方向上亮度变化急剧的边缘存在于小图像GL₁内及小图像GR₁内的情况。进而，设想在包含小图像GL₁的修正对象图像E1的曝光期间内水平方向的手抖作用于摄像装置1a的情况。因此，在基于短时间曝光摄影的小图像GR₁内边缘不会模糊，但在基于通常曝光摄影的小图像GL₁内边缘在水平方向模糊。

通过对这种小图像GR₁实施采用任意边缘检测算符的边缘提取处理，从而生成图20所示的边缘提取图像ER₁。在图20的边缘提取图像ER₁中，将边缘强度较强的部分表现为白色，将边缘强度较弱的部分表现为黑色。沿小图像GR₁内的直线状边缘的部分作为边缘强度较强的部分，呈现于边缘提取图像ER₁内。通过对该边缘提取图像ER₁适用公知的哈夫(huff)变换而提取沿边缘的直线。在图20的右方示出所提取出的直线与小图像GR₁重叠的部分。在本例中，针对小图像GR₁，提取沿垂直方向延伸的直线HR₁₁与沿水平方向延伸的直线HR₁₂。

然后，从小图像GL₁中提取与直线HR₁₁及HR₁₂对应的直线HL₁₁及HL₁₂。在图21中将所提取出的直线HL₁₁及HL₁₂与小图像GL₁重叠显示。在图21中也示出重叠了直线HR₁₁及HR₁₂的小图像GR₁。对应的直线的方向相同。即，直线HL₁₁与直线HR₁₁的延伸方向相同，直线HL₁₂与直线HR₁₂的延伸方向相同。

提取出各直线后，求取各直线的正交方向上小图像内的亮度值的分布。该分布是针对所提取出的各小图像来求取的。关于小图像GL₁及GR₁，直线HL₁₁与直线HR₁₁在图像的垂直方向平行，且直线HL₁₂与直线HR₁₂在图像的水平方向平行。因此，在关注直线HL₁₁与直线HR₁₁的情况下，求取图像的水平方向上的亮度值的分布，在关注直线HL₁₂与直线HR₁₂的情况下，求取图像的垂直方向上的亮度值的分布。

参照图22及图23，具体说明亮度值分布的求取方法。在图22中，小图像GL₁内所示的各实线箭头表示在与直线HL₁₁正交的方向上亮度值被扫描的形态。由于直线HL₁₁的正交方向为水平方向，故以小图像GL₁左端的某个点为起点从左向右扫描，同时取得小图像GL₁内的各像素的亮度值，由此求取直线HL₁₁的正交方向上的亮度值的分布。其中，设以横切与直线HL₁₁对应的边缘存在的部分的方式进行扫描。即，针对亮度值的梯度急剧的部分求取亮度值的分布。因此沿图22的虚线箭头，不进行扫描(在后述的图23中也同样)。在仅关注1行(该情况下为水平行)而求得的分布中噪声成分的影响较大，因此针对小图像GL₁内的多行求取同样的分布，将所求得的多个分布的平均作为对直线HL₁₁最终应该求得的分布201。

同样，对直线HR₁₁也求取分布。在图22中，小图像GR₁内所示的各实线箭头表示在与直线HR₁₁正交的方向上亮度值被扫描的形态。由于直线HR₁₁的正交方向为水平方向，故以小图像GR₁左端的某个点为起点从左向右扫描，同时取得小图像GR₁内的各像素的亮度值，由此求取直线HR₁₁的正交方向上的亮度值的分布。其中，设以横切与直线HR₁₁对应的边缘存在的部分的方式进行扫描。即，针对亮度值的梯度急剧的部分求取亮度值的分布。因此，沿图22的虚线箭头，不进行扫描(在后述的图23中也同样)。在仅关注1行(该情况下为水平行)而求得的分布中噪声成分的影响较大，因此针对小图像GR₁内的多行求取同样的分布，将所求得的多个分布的平均作为对直线HR₁₁最终应该求得的分布202。

在图22的表示分布201及202的各曲线图中，横轴表示像素的水平位置，纵轴表示亮度值。由分布201及202可知，虽然亮度值以沿图像的垂直方向延伸的边缘部分为边界急剧变化，但在与通常曝光摄影对应的分布201中，由于曝光期间内的手抖，该亮度值的变化比较缓慢。在与直线HL₁₁对应的小图像GL₁内的边缘部分中，以WL₁₁表示亮度值开始变化到变化结束为止的水平方向的像素数，在与直线HR₁₁对应的小图像GR₁内的边缘部分中，以WR₁₁表示从亮度值开始变化到变化结束位置的水平方向的像素数。再有，将这样求得的WL₁₁或WR₁₁称为边缘宽度。在本例中，设为“WL₁₁＞WR₁₁”，在忽略了参照图像E2所包含的晃动的情况下，可以认为边缘宽度的差“WL₁₁-WR₁₁”是以像素为单位表示修正对象图像E1的曝光期间中产生的水平方向的手抖量的值。

对从小图像GL₁及GR₁提取出的各直线执行上述求取边缘宽度的处理。在本例的情况下，即使对从小图像GL₁及GR₁提取出的直线HL₁₂及HR₁₂也求取上述的边缘宽度。

在图23中，小图像GL₁内所示的各实线箭头表示在与直线HL₁₂正交的方向上亮度值被扫描的形态。以横切与直线HL₁₂对应的边缘存在的部分的方式沿垂直方向进行扫描，同时取得小图像GL₁内的各像素的亮度值，由此求取直线HL₁₂的正交方向上的亮度值的分布。针对多行(该情况下为垂直行)进行扫描，将所求得的多个分布的平均作为对直线HL₁₂最终应该求得的分布211。在图23中，小图像GR₁内所示的各实线箭头表示在与直线HR₁₂正交的方向上亮度值被扫描的形态。以横切与直线HR₁₂对应的边缘存在的部分的方式沿垂直方向进行扫描，同时取得小图像GR₁内的各像素的亮度值，由此求取直线HR₁₂的正交方向上的亮度值的分布。针对多行(该情况下为垂直行)进行扫描，将所求得的多个分布的平均作为对直线HR₁₂最终应该求得的分布212。

而且，根据分布211及212，求取边缘宽度WL₁₂或WR₁₂。边缘宽度WL₁₂表示在与直线HL₁₂对应的小图像GL₁内的边缘部分中亮度值开始变化到变化结束为止的垂直方向的像素数，边缘宽度WR₁₂表示在与直线HR₁₂对应的小图像GR₁内的边缘部分中从亮度值开始变化到变化结束为止的垂直方向的像素数。在本例中，为“WL₁₂WR₁₂”。该情况对应于修正对象图像E1的曝光期间中几乎没有发生垂直方向的手抖。

虽然关注小图像GL₁及GR₁，说明了边缘宽度的计算方法，但针对其他的小图像GL₂～GL₈及GR₂～GR₈也同样求取边缘宽度及边缘宽度的差。将表示小图像的编号的变量设为i，将表示直线的编号的变量设为j(i及j为整数)。这样，由小图像GL_i及GR_i中提取出直线HL_ij及HR_ij后，求取与直线HL_ij及HR_ij对应的边缘宽度WL_ij及WR_ij。然后，根据式“D_ij＝WL_ij-WR_ij”来计算表示边缘宽度的差的D_ij。假设从小图像GL₁～GL₈的每一个小图像中各提取出2条直线，则求取共计16个边缘宽度的差D_ij(在此，i为1以上8以下的整数，j为1或2)。

在本实施方式中，将与所求出的多个差D_ij的最大值对应的直线对确定为手抖检测用直线对，根据该手抖检测用直线对所对应的边缘宽度的差及直线方向，求取与修正对象图像E1的整体对应的PSF。

例如，考虑所求出的多个差D_ij中的、与图22对应的差D₁₁(＝WL₁₁一WR₁₁)最大的情况。该情况下，将直线HL₁₁及HR₁₁确定为手抖检测用直线对，将与直线HL₁₁及HR₁₁对应的差D₁₁代入表示最大差的变量D_MAX中。而且，生成在直线HL₁₁的正交方向上对图像进行平滑化用的平滑函数。以图24所示的、直线HL₁₁的正交方向上抽头数(滤波器尺寸)为D_MAX的空间滤波器220来表示该平滑函数。在该空间滤波器220中，仅向沿直线HL₁₁的正交方向的要素提供0以外的恒定的滤波系数，对其他要素提供滤波系数0。图24的空间滤波器具有5×5的滤波器尺寸，仅对垂直方向正中的行的各要素提供滤波系数1，其他要素的滤波系数为0。另外，实际上以全部滤波系数的总和为1的方式进行标准化。

而且，手抖检测/修正部20通过将该平滑函数作为修正对象图像E1整体的PSF进行处理，从而对修正对象图像E1的晃动进行修正。在修正对象图像E1的曝光期间中对摄像装置1a起作用的手抖的方向及速度恒定的假设条件下，上述的PSF很好地发挥作用。若该假设正确且上述的平滑函数可以正确地表示修正对象图像E1的PSF，则通过对没有晃动的理想图像实施采用空间滤波器220的空间滤波，从而可以得到与修正对象图像E1同等的图像。

图25是表示包含上述处理动作的手抖检测的动作流程的流程图。图25所示的步骤S151～S155的各处理，由手抖检测/修正部20来执行。

取得修正对象图像E1及参照图像E2后，在步骤S151中，从参照图像E2中提取多个特征性的小区域，将各小区域内的图像作为小图像GR_i存储到存储器上。在接下来的步骤S152中，从修正对象图像E1中提取与各小图像GR_i对应的小区域，将从修正对象图像E1中提取出的小区域内的图像作为小图像GL_i存储到存储器上。该时刻，例如生成图18所示的小图像GL₁～GL₈与小图像GR₁～GR₈。

步骤S152的处理之后移至步骤S153。在步骤S153中，反复执行针对变量i的循环处理，该循环处理中包含针对变量j的循环处理。在步骤S153中，生成小图像GR_i的边缘提取图像ER_i，从该边缘提取图像ER_i中提取1条或多条直线HR_ij，进而从小图像GL_i中提取与直线HR_ij对应的直线HL_ij。而且，关注互相对应的直线HL_ij及HR_ij，计算这些直线的边缘宽度WL_ij及WR_ij，求取其差D_ij(＝WL_ij-WR_ij)。在步骤S153中，针对变量i能取的值的每一个且针对变量j能取的值的每一个进行同样的处理。结果，在从步骤S153移向步骤S154的时刻，可以计算针对i与j的所有组合的差D_ij。例如，若在步骤S151中通过提取8个小区域而生成小图像GR₁～GR₈，且从小图像GR₁～GR₈的每一个中各提取出2条直线，则求取共计16个边缘宽度的差D_ij(在此，i为1以上8以下的整数，j为1或2)。

在步骤S154中，确定步骤S153中求出的全部边缘宽度的差Dij中的最大值D_MAx，将与该最大值D_MAX对应的直线对确定为手抖检测用直线对。进而，在步骤S155中，根据该手抖检测用直线对和最大值D_MAX，计算表示为平滑函数的PSF。例如，在求出的全部差Dij中的与图22对应的差D₁₁(＝WL₁₁-WR₁₁)为最大值D_MAX的情况下，将直线HL₁₁及HR₁₁确定为手抖检测用直线对，计算由图24的空间滤波器220表示的PSF。

算出PSF后的手抖修正动作与第一实施方式中描述的同样。即，手抖检测/修正部20将步骤S155中求出的PSF的逆矩阵的各要素作为图像复原滤波器的各滤波系数进行求取，利用具有该各滤波系数的图像复原滤波器对修正对象图像E1的整体进行滤波。而且，将该滤波后的图像或者对此实施了振铃信号除去处理的图像作为最终的修正图像。该修正图像是除去或降低了修正对象图像E1所包含的晃动的图像。

在本实施方式中，由于是在修正对象图像E1的曝光期间中作用于摄像装置1a的手抖的方向及速度恒定的假设条件下来求取作为图像劣化系数的PSF(换言之折叠劣化函数)，故对于不适用该假设条件的手抖来说其修正效果较低。然而，由于可以以较少的处理量简单地求取PSF，故是实用的。

再有，本实施方式适用上述的第二实施例(参照图7)，也能根据得到修正对象图像E1用的通常曝光摄影之前或之后取得的直通显示用图像来生成参照图像E2(其中需要使该直通显示用图像的曝光时间比修正对象图像E1的曝光时间短)。在该直通显示用图像的图像尺寸比修正对象图像E1的图像尺寸还小的情况下，对直通显示用图像实施使两者的图像尺寸相同用的图像放大处理，来生成参照图像E2即可。相反，通过对借助通常曝光摄影得到的图像实施图像缩小处理，也可以实现图像尺寸的相同化。

还有，本实施方式适用上述的第四实施例(参照图13)，也可以根据得到修正对象图像E1用的通常曝光摄影之前及之后取得的两个参照图像中的任一方参照图像来生成参照图像E2。这两个参照图像中的一方可以是直通显示用图像。当然，这两个参照图像的各曝光时间比修正对象图像E1的曝光时间还短。

另外，针对第一实施方式描述的注释3～注释5的记载内容同样也能适用于第二实施方式。图17的手抖检测/修正部20在作为晃动检测装置起作用的同时，也能作为晃动修正装置起作用。手抖检测/修正部20中还包含：生成与整个修正对象图像对应的PSF的晃动信息生成单元；或提取作为修正对象图像或参照图像的一部分图像的小图像的提取单元。

《第三实施方式》

接着，对本发明第三实施方式进行说明。通过短时间曝光摄影得到的图像(以下也称之为“短曝光图像”)所包含的晃动比通过通常曝光摄影得到的图像(以下也称之为“通常曝光图像”)所包含的晃动还小，因此上述的手抖修正方法是非常有益的。但是，手抖对短曝光图像的影响并不是完全没有的，由于短时间曝光摄影的曝光期间内的手抖或被摄体晃动(被摄体在实际空间中的活动)，短曝光图像中也会包含无法忽略程度的晃动。因此，在第三实施方式中，通过多次短时间曝光摄影取得多个短曝光图像，由该多个短曝光图像生成用于通常曝光图像的手抖修正的参照图像。

图26是第三实施方式涉及的摄像装置1b的整体框图。摄像装置1b具备参照标记11～18及21的各部位。参照标记11～18的各部位和图1的各部位相同，省略对同一部分的重复说明。如果将图1的摄像装置1中的手抖检测/修正部19置换为手抖修正部21，就可以得到摄像装置1b。

在摄影模式下按下快门按钮17a时，进行通常曝光摄影，主控制部13将表示通过该摄影得到的1幅摄影图像的图像数据存储到记录介质16及内部存储器14(即，使其进行存储)。该摄影图像是可以包含手抖所引起的晃动的图像，然后根据通过操作部17等提供的修正指示或者自动由手抖修正部21进行修正。因此，与第一实施方式同样，将通过通常曝光摄影得到的上述的1幅摄影图像尤其称为“修正对象图像”。手抖修正部21不利用角速度传感器等手抖检测用传感器，而是根据由摄像部11的输出信号得到的图像数据，对修正对象图像所包含的晃动进行修正。

以下，作为详细说明手抖修正部21的功能的实施例，说明第六～第十一实施例。记载于某实施例的事项只要不矛盾就可以适用于其他实施例。另外，在以下的描述中，在单称为“存储器”的情况下，其是指内部存储器14或设于手抖修正部21内的未图示的存储器。

[第六实施例]

首先对第六实施例进行说明。在第六实施例中，由多个短曝光图像中选择1幅例如推测为所含晃动最少的短曝光图像。然后，将所选择的短曝光图像作为参照图像且将通过通常曝光摄影得到的图像作为修正对象图像进行处理，根据修正对象图像和参照图像进行修正对象图像的手抖修正。图27是表示摄像装置1b进行的、该手抖修正的动作流程的流程图。根据该流程图，对摄像装置1b的动作进行说明。

在摄影模式下若按下快门按钮17a，则进行通常曝光摄影，将由此生成的通常曝光图像作为修正对象图像Lw存储到存储器上(步骤S201及S202)。接着，在步骤S203中，对得到修正对象图像Lw时的曝光时间T1和阈值T_TH进行比较，在曝光时间T1小于阈值T_TH的情况下，认为修正对象图像Lw中未含有(或极其轻微地含有)手抖所导致的晃动，不进行手抖修正，结束图27的处理。作为阈值T_TH，例如采用根据焦距f_D的倒数算出的手抖界限曝光时间。

在曝光时间T1大于阈值T_TH的情况下，在主控制部13的控制之下，在通常曝光摄影之后连续执行N次短时间曝光摄影，取得短曝光图像Cw₁～Cw_N。手抖修正部21通过执行步骤S206～S209的处理，从而计算与短曝光图像Cw₁～Cw_N对应的评价值K₁～K_N，并根据评价值K₁～K_N，从短曝光图像Cw₁～Cw_N中选择1幅短曝光图像，作为参照图像。在此，N为2以上的整数，例如为4。虽然修正对象图像Lw与短曝光图像Cw₁～Cw_N是通过连续摄影得到的，但主控制部13对曝光控制部18进行控制，以使得到各短曝光图像时的曝光时间比曝光时间T1还短。例如，各短曝光图像的曝光时间为T1/4。再有，修正对象图像Lw与各短曝光图像的图像尺寸相等。

更具体地说明各步骤的处理内容。在曝光时间T1大于阈值T_TH的情况下，从步骤S203移向步骤S204。在步骤S204中，引入变量i并将初始值1代入变量i。然后，移至步骤S205，执行1次短时间曝光摄影，将由此得到的短曝光图像作为短曝光图像Cw_i存储到存储器上。该存储器是能够存储1幅份短曝光图像的图像数据的短曝光图像用存储器。因此，例如在i＝1时将短曝光图像Cw₁存储到短曝光图像用存储器上，在i＝2时将短曝光图像Cw₂存储到短曝光图像用存储器上。

在紧接于步骤S205之后的步骤S206中，手抖修正部21计算与短曝光图像Cw_i对应的评价值K_i。作为原则，评价值K_i取与短曝光图像Cw_i所包含的晃动的大小(以下也称之为“晃动量”)对应的值，短曝光图像Cw_i的晃动量越小，评价值K_i越大(包括例外情况，评价值K_i的计算方法在第九实施例中详细说明)。

然后，移向步骤S207，对步骤S206中算出的最新的评价值K_i和表示之前算出的评价值(即K₁～K_i-1)的最大值的变量K_MAX进行比较，在前者大于后者的情况下或者变量i＝1的情况下，在步骤S208中将短曝光图像Cw_i作为参照图像Rw存储到存储器上，并且在步骤S209中将评价值K_i代入变量K_MAX中，然后移至步骤S210。另一方面，在“i≠1”且“K_i≤K_MAX”成立的情况下，从步骤S207直接移向步骤S210。在步骤S210中，判断变量i是否与N的值一致，在为“i＝N”的情况下从步骤S210移向步骤S212，而在为“i≠N”的情况下从步骤S210移向步骤S211，将变量i加1后返回到步骤S205，重复执行步骤S205以后的上述各处理。

结果，执行N次步骤S205及S206的各处理，在到达步骤S212的时刻，与短曝光图像Cw₁～Cw_N对应的评价值K₁～K_N被全部计算出来，将评价值K₁～K_N内的最大值代入变量K_MAX，并且将与该最大值对应的短曝光图像作为参照图像Rw存储到存储器上。例如，若评价值K₁～K_N中的评价值K_N-1最大，则在将短曝光图像Cw_N-1作为参照图像Rw存储到存储器上的状态下到达步骤S212。另外，存储参照图像Rw的存储器是能存储1幅份的参照图像Rw的图像数据的参照图像用存储器，在需要将新的图像数据存储到参照图像用存储器上的情况下，针对存储了旧图像数据的存储器区域覆盖存储新的图像数据。

在步骤S212中，手抖修正部21根据存储在参照图像用存储器上的参照图像Rw与步骤S202中得到的修正对象图像Lw，实施针对修正对象图像Lw的手抖修正，生成降低了修正对象图像Lw中的晃动的修正图像Qw(以后在第十实施例中描述修正方法)。该修正图像Qw被记录于记录介质16且用显示部15进行显示。

如上所述，通过生成参照图像Rw，从而例如即使在多个短时间曝光摄影中的一部分期间内产生了大的手抖或被摄体晃动，也可以将手抖影响较小的短曝光图像选择为参照图像Rw，因此能够高精度地执行手抖修正。一般，虽然由于手抖而导致图像的高频成分衰减，但若将手抖影响最小的短曝光图像用作参照图像，则可以对更高频域的频率成分进行手抖修正。再有，通过如步骤S205～S211那样进行处理并覆盖存储短曝光图像及参照图像，从而可以将短曝光图像用存储器及参照图像用存储器各自所需的存储器容量抑制到1幅图像份。

[第七实施例]

接着对第七实施例进行说明。在第七实施例中，由多个短曝光图像中选择2幅以上例如推测为所含晃动较少的短曝光图像，将所选择的短曝光图像进行合成而生成1幅参照图像。然后，根据生成的参照图像且将通过通常曝光摄影得到的修正对象图像，进行修正对象图像的手抖修正。图28是表示摄像装置1b进行的、该手抖修正的动作流程的流程图。根据该流程图，对摄像装置1b的动作进行说明。

在摄影模式下若按下快门按钮17a，则进行通常曝光摄影，将由此生成的通常曝光图像作为修正对象图像Lw存储到存储器上(步骤S221及S222)。接着，在步骤S223中，对得到修正对象图像Lw时的曝光时间T1和阈值T_TH进行比较，在曝光时间T1小于阈值T_TH的情况下，认为修正对象图像Lw中未含有(或极其轻微地含有)手抖所导致的晃动，不进行手抖修正，结束图28的处理。

在曝光时间T1大于阈值T_TH的情况下，在主控制部13的控制之下，在通常曝光摄影之后连续执行N次短时间曝光摄影，取得短曝光图像Cw₁～Cw_N。手抖修正部21通过执行步骤S226及S227的处理，从而计算与短曝光图像Cw₁～Cw_N对应的评价值K₁～K_N，并根据评价值K₁～K_N，从短曝光图像Cw₁～Cw_N中选择M幅短曝光图像。在此，M为2以上的整数，不等式“N＞M”成立。因此，在第七实施例中N为3以上的整数。例如N＝4。虽然修正对象图像Lw与短曝光图像Cw₁～Cw_N是通过连续摄影得到的，但主控制部13对曝光控制部18进行控制，以使得到各短曝光图像时的曝光时间比曝光时间T1还短。例如，各短曝光图像的曝光时间为T1/4。再有，修正对象图像Lw与各短曝光图像的图像尺寸相等。

更具体地说明各步骤的处理内容。在曝光时间T1大于阈值T_TH的情况下，从步骤S223移向步骤S224。在步骤S224中，引入变量i并将初始值1代入变量i。然后，移至步骤S225，执行1次短时间曝光摄影，将由此得到的短曝光图像作为短曝光图像Cw_i存储到存储器上。该存储器是能够存储1幅份短曝光图像的图像数据的短曝光图像用存储器。因此，例如在i＝1时将短曝光图像Cw₁存储到短曝光图像用存储器上，在i＝2时将短曝光图像Cw₂存储到短曝光图像用存储器上。

在紧接于步骤S225之后的步骤S226中，手抖修正部21计算与短曝光图像Cw_i对应的评价值K_i(计算方法在第九实施例中详细说明)。该评价值K_i与图27的步骤S206中算出的评价值相同。

然后，移至步骤S227，将至今为止算出的评价值K₁～K_i从大的开始按照顺序排列，从i幅短曝光图像Cw₁～Cw_i中选择与第1～第M大的评价值对应的短曝光图像，将选出的M幅短曝光图像作为被合成图像Dw₁～Dw_M记录到存储器上。例如，在i＝3且M＝2、而且不等式“K₁＜K₂＜K₃”成立的情况下，从3幅短曝光图像Cw₁～Cw₃选择2幅短曝光图像Cw₂及Cw₃，将该短曝光图像Cw₂及Cw₃作为被合成图像Dw₁及Dw₂记录在存储器上。当然，由于变量i小且不等式“i＜M”成立的阶段取得的短曝光图像的总幅数不足M幅，故该情况下将短曝光图形Cw₁～Cw_i直接作为被合成图像Dw₁～Dw_i记录在存储器上。另外，存储被合成图像的存储器为能存储多幅被合成图像的图像数据的被合成图像用存储器，在存储有多幅图像数据的状态下需要存储新的图像数据的情况下，对记录了不需要的旧图像数据的存储器区域覆盖记录该新的图像数据。

在步骤S227的处理之后的步骤S228中，判断变量i与N的值是否一致，在为“i＝N”的情况下从步骤S228移向步骤S230，而在为“i≠N”的情况下从步骤S228移向步骤S229，将变量i加1后返回到步骤S225，反复执行步骤S225以后的上述各处理。结果，执行N次步骤S225～S227的各处理，在到达步骤S230的时刻，与短曝光图像Cw₁～Cw_N对应的评价值K₁～K_N被全部计算出来，将评价值K₁～K_N内的第1～第M大的评价值所对应的M幅短曝光图像作为被合成图像Dw₁～Dw_M存储到被合成图像用存储器上。

在步骤S230中，手抖修正部21通过对被合成图像Dw₁～Dw_M进行对位后进行合成，从而生成1幅参照图像Rw。例如，将被合成图像Dw₁作为基准图像且将被合成图像Dw₂～Dw_M的每一个作为非基准图像，使各非基准图像与基准图像对位后进行合成。其中“对位”与后述的“位置偏离修正”的含义相同。

说明对1幅基准图像与1幅非基准图像进行对位并进行合成的处理。例如，利用哈里斯的拐角检测器从基准图像中提取特征性的小区域(例如32×32像素的小区域)。特征性的小区域是指提取源图像中边缘成分较多的(换言之对比度比较强的)矩形区域，例如是含有特征性的图案的区域。所谓特征性的图案例如是指物体的角部等在两个方向以上具有亮度变化，根据该亮度变化可以容易地检测出该图案的位置(图像上的位置)的图案。而且，将从基准图像提取出的该小区域内的图像作为模板，采用模板匹配法从非基准图像中提取与该模板的类似程度最高的小区域。并且，将搜索出的小区域的位置(非基准图像上的位置)和从基准图像提取出的小区域的位置(基准图像上的位置)的偏差量作为位置偏离量Δd进行计算。位置偏离量Δd是包含水平成分与垂直成分的二维量，表现为所谓的运动向量。非基准图像可以视为以基准图像为基准产生了相当于位置偏离量Δd份的位置偏离的图像。因此，以抵消该位置偏离量Δd的方式对非基准图像进行坐标变换(仿射(affine)变换等)，从而对非基准图像进行位置偏离修正。例如，求取进行该坐标变换用的几何变换参数，通过将非基准图像坐标变换到定义了基准图像的坐标上，从而进行位置偏离修正。位置偏离修正前的非基准图像内的位于坐标(x+Δdx，y+Δdy)的像素，通过位置偏离修正而变换为位于坐标(x，y)的像素。Δdx及Δdy分别为Δd的水平成分及垂直成分。而且，对基准图像和位置偏离修正后的非基准图像进行合成。通过合成而得到的图像内的位于坐标(x，y)的像素的像素信号，相当于将位于坐标(x，y)的基准图像内的像素的像素信号和位于坐标(x，y)的位置偏离修正后的非基准图像内的像素的像素信号进行了相加运算后的信号。

对各非基准图像执行上述的对位及合成处理。由此，得到对被合成图像Dw₁和位置偏离修正后的被合成图像Dw₂～Dw_M进行合成后的图像，将所得到的图像作为参照图像Rw存储到存储器上。另外，也可以从基准图像中提取多个特征性的小区域，利用模板匹配法，从非基准图像中搜索与该多个小区域对应的多个小区域，根据基准图像内提取出的多个小区域的位置和非基准图像内搜索出的多个小区域的位置，求取上述的几何变换参数，进行上述的位置偏离修正。

在步骤S230中生成参照图像Rw后，在步骤S231中，手抖修正部21根据所生成的参照图像Rw与步骤S222中得到的修正对象图像Lw，实施针对修正对象图像Lw的手抖修正，生成降低了修正对象图像Lw中的晃动后的修正图像Qw(以后在第十实施例中描述修正方法)。该修正图像Qw被记录于记录介质16且由显示部15进行显示。

如上所述通过生成参照图像Rw，从而例如即使在多个短时间曝光摄影中的一部分期间内产生了大的手抖或被摄体晃动，也由于该期间内得到的短曝光图像不会通过评价值比较运算而成为被合成图像，故能够高精度地执行手抖修正。再有，通过对M幅的短曝光图像进行对位及合成而生成参照图像Rw，故不但参照图像Rw的晃动量和1幅的短曝光图像的晃动量同等，而且通过像素值相加运算合成，参照图像Rw的S/N比(信噪比)也会比1幅短曝光图像的S/N比还要高。因此，可以实现更高精度的手抖修正。再有，通过如步骤S225～S229那样进行处理并覆盖存储短曝光图像及被合成图像，从而可以将短曝光图像用存储器所需的存储器容量抑制到1幅图像份，将被合成图像用存储器所需的存储器容量抑制到M幅图像份。

[第八实施例]

接着，对第八实施例进行说明。第八实施例通过切换执行第六实施例的参照图像生成方法(以下也称之为1幅选择方式)和第七实施例的参照图像生成方式(以下也称之为多幅合成方式)，从而进行手抖修正。该切换控制通过推测短曝光图像的S/N比而进行。图29是表示摄像装置1b进行的该手抖修正的动作流程的流程图。根据该流程图，对摄像装置1b的动作进行说明。再有，也参照图30。图30中示出设置在摄像装置1b内的测光电路22及LUT(查找表)23。

在摄影模式下，若按下快门按钮17a，则主控制部13从测光电路22取得明亮度信息，根据该明亮度信息计算摄像部11的摄像元件所对应的最佳曝光时间(步骤S241及S242)。测光电路22利用测光传感器(未图示)或者摄像元件的输出信号，测量被摄体的明亮度(换言之向摄像部11的入射光量)。明亮度信息是表示该测量结果的信息。接着，在步骤S243中，主控制部13根据最佳曝光时间和预先设定的程序线图，决定实际的曝光时间(以下称之为实际曝光时间)。LUT23中预先存储有表示程序线图的表格数据，若将明亮度信息输入LUT23，根据该表格数据，从LUT23输出实际曝光时间、光圈值及AFE12的放大度。主控制部13根据LUT23的输出来决定实际曝光时间。进而，根据从LUT23输出的光圈值及AFE12的放大度，规定通常曝光摄影及短时间曝光摄影中的光圈值(摄像部11的光圈的开度)及AFE12的放大度。

在接下来的步骤S244中，在由步骤S243中决定的实际曝光时间内进行通常曝光摄影，将由此生成的通常曝光图像作为修正对象图像Lw存储在存储器上。其中，在实际曝光时间比最佳曝光时间还短的情况下，将以补偿与实际曝光时间和最佳曝光时间之比对应的曝光不足部分的方式将通常曝光图像的各像素值乘以一定值而得到的像素值放大图像作为修正对象图像Lw存储到存储器上。此时，也可以根据需要对像素值放大图像进行噪声除去处理，将除去噪声后的像素值放大图像作为修正对象图像Lw存储在存储器上。噪声除去通过利用线性滤波器(加权平均滤波器等)或非线性滤波器(中值滤波器等)对像素值放大图像进行滤波而进行。

然后，在步骤S245中，对得到修正对象图像Lw时的实际曝光时间和上述的阈值T_TH进行比较，在实际曝光时间小于阈值T_TH时，认为修正对象图像Lw中未含有(或极其轻微地含有)手抖所导致的晃动，不进行手抖修正，结束图29的处理。

在实际曝光时间大于阈值T_TH时，在步骤S246中，主控制部13计算基于最佳曝光时间的短曝光时间Topt。在接下来的步骤S247中，主控制部13计算基于实际曝光时间的短曝光时间Treal。所谓短曝光时间是指短时间曝光摄影中的曝光时间。例如，将短曝光时间Topt设为最佳曝光时间的1/4且将短曝光时间Treal设为实际曝光时间的1/4。然后，在步骤S248中，主控制部13判断不等式“Treal＜Topt×kro”是否成立。系数kro是满足不等式“0＜kro＜1”的预定系数，例如kro＝0.8。

而且，在不等式“Treal＜Topt×kro”不成立的情况下，由于推断为短曝光时间Treal内应取得的短曝光图像的S/N比比较高，因此移至步骤S249，手抖修正部21采用可以通过比较简单的处理进行手抖修正的1幅选择方式，生成参照图像Rw。即，在步骤S249中，进行图27的步骤S205～S211的各处理，生成参照图像Rw。

另一方面，在不等式“Treal＜Topt×kro”成立的情况下，由于推断为短曝光时间Treal内应取得的短曝光图像的S/N比较低，故移至步骤S250，手抖修正部21采用可以降低噪声影响的多幅合成方式生成参照图像Rw。即，在步骤S250中进行图28的步骤S225～S230的各处理，生成参照图像Rw。另外，无论在步骤S249中，还是在步骤S250中，将短时间曝光摄影中的实际的曝光时间都设为Treal。

在步骤S249或步骤S250中生成参照图像Rw后，在步骤S251中，手抖修正部21根据该参照图像Rw与步骤S244中取得的修正对象图像Lw，生成修正图像Qw(在第十实施例中后述修正方法)。将该修正图像Qw记录在记录介质16中并且用显示部15进行显示。

为了抑制暗处摄影时手抖或被摄体晃动引起的图像的晃动，大多以比根据测光电路22的测定结果简单计算出的最佳曝光时间还短的曝光时间进行通常曝光摄影，对通过该摄影得到的图像的各像素值实施乘以一定值的处理(即提高灵敏度)后，记录图像数据。这种情况下，不等式“Treal＜Topt×kro”容易成立，而所取得的短曝光图像的S/N比十分低。因此，这种情况下采用可以抑制噪声影响的多幅合成方式来生成参照图像Rw。另一方面，在因为摄像装置1b的周边照度比较大而导致不等式“Treal＜Topt×kro”不能成立，推断为短曝光图像的S/N比较高的情况下，采用可以通过比较简单的处理进行手抖修正的1幅选择方式，生成参照图像Rw。这样，通过根据短曝光图像的S/N比，切换参照图像Rw的生成方法，从而可以在维持手抖修正精度的同时极力抑制计算成本。所谓计算成本是指计算所带来的负荷，计算成本增大使得处理时间及耗电增大。另外，也可以对短曝光图像实施噪声除去处理，根据噪声除去处理后的短曝光图像来生成参照图像RW，但即使在该情况下上述的切换控制也可以有效地发挥作用。

[第九实施例]

接着，对第九实施例进行说明。在第九实施例中，对第六～第八实施例的处理中利用的评价值K_i的计算方法进行说明。评价值K_i是根据以下四个评价值中的任一个以上的评价值来决定的，即：基于短曝光图像的边缘强度的第一评价值Ka_i；基于短曝光图像的对比度的第二评价值Kb_i；基于短曝光图像相对于修正对象图像Lw的旋转量的第三评价值Kc_i；以及基于短时间曝光摄影与通常曝光摄影的摄影时间差的第四评价值Kd_i。首先，对第一评价值Ka_i～第四评价值Kd_i的计算方法分别进行说明。

(1)第一评价值Ka_i的计算方法

参照图31及图32，对作为第一评价值的评价值Ka_i的计算方法进行说明。图31是表示评价值Ka_i的计算动作的流程的流程图。图32是表示用于该动作的图像等的关系的图。在根据评价值Ka_i计算评价值K_i的情况下，在图27的步骤S206及图28的步骤S226中，执行图31的步骤S301～S305。

首先，在步骤S301中，判断变量i是否为1，在i＝1的情况下移至步骤S302，而在i≠1的情况下移至步骤S303。在步骤S302中，提取位于短曝光图像Cw_i的中央或中央附近的小区域，将该小区域内的图像设为小图像Cs_i。将所提取的小区域例如设为128×128像素的小区域。仅在i＝1的情况下到达步骤S302，因此在步骤S302中从第1短曝光图像Cw₁中提取小图像Cs₁。

步骤S302的处理之后移至步骤S304，在步骤S304中，对小图像Cs_i实施边缘提取处理，得到小图像Es_i。例如通过对小图像Cs_i的各像素适用任意的边缘检测算符，从而生成小图像Cs_i的边缘提取图像，将该边缘提取图像作为小图像Es_i。然后，在步骤S305中，计算小图像Es_i的像素值的总和，将该总和设为评价值Ka_i。

在i≠1的情况下从步骤S301转移的步骤S303中，从短曝光图像Cw_i(≠Cw₁)中提取与从短曝光图像Cw₁中提取出的小区域对应的小区域，将从短曝光图像Cw_i提取出的小区域内的图像作为小图像Cs_i。对应小区域的搜索通过利用了模板匹配法等的图像处理来进行。即例如，将从短曝光图像Cw₁中提取出的小图像Cs₁作为模板，采用公知的模板匹配法，从短曝光图像Cw_i内搜索与该模板的的类似程度最高的小区域，将搜索出的小区域内的图像作为小图像Cs_i。在步骤S303中提取出小图像Cs_i后，针对该小图像Cs_i实施步骤S304及S305的各处理。由上述的处理内容可知，评价值Ka_i伴随小图像Cs_i的边缘强度的增大而增加。

若为相同构图的图像，则曝光期间内产生的手抖越小边缘越清晰，图像中的边缘强度越高。再有，由于手抖对整个图像造成一样的劣化，故短曝光图像Cw_i整体中的边缘强度与小图像Cs_i中的边缘强度对应。因此，上述的评价值Ka_i越大，则可以推断为与其对应的小图像Cs_i及短曝光图像Cw_i的晃动量就越小。从希望用于生成参照图像的短曝光图像的晃动量尽可能小的观点来看，利用评价值Ka_i是有益的。例如，也能将评价值Ka_i本身作为图27的步骤S206及图28的步骤S226中应该求取的评价值K_i。

另外，一般为了由1幅图像求取该图像的晃动量，如特开平11-27574号公报所公开的，需要进行将图像进行傅立叶变换来生成频域上的变换图像、计测由于手抖而衰减的频率的间隔等计算成本大的处理。相对于此，若利用边缘强度与晃动量的关系，根据边缘强度来推测晃动量，则与利用傅立叶变换等现有方法相比，可以减小推测晃动量用的计算成本。再有，通过关注所提取出的小图像来计算评价值，而不是整个图像，从而可以得到进一步降低计算成本的效果。进而，由于采用模板匹配等，在对应的小区域间比较评价值，故即使在多个短时间曝光摄影中构图发生变化，该变化所造成的影响也是轻微的。

(2)第二评价值Kb_i的计算方法

参照图33说明作为第二评价值的评价值Kb_i的计算方法。图33是表示评价值Kb_i的计算动作的流程的流程图。在根据评价值Kb_i计算评价值K_i的情况下，在图27的步骤S206中及图28的步骤S226中执行图33的步骤S311～S315。

图33中的步骤S311～S313的各处理内容分别和图31中的步骤S301～S303的各处理内容相同，因此省略重复的说明。其中设为在步骤S312或S313的处理之后移至步骤S314。

在步骤S314中，提取小图像Cs_i的各像素的亮度信号。当然，例如在i＝1时提取小图像Cs₁的各像素的亮度信号，i＝2时提取小图像Cs₂的各像素的亮度信号。而且，在步骤S315中，生成小图像Cs_i的亮度值(即亮度信号的值)的直方图，计算该直方图的离散方差，将该离散方差设为评价值Kb_i。

若为相同构图的图像，则曝光期间内产生的手抖越大，相邻像素间的亮度越平滑，中间灰度等级的像素的比例增加，亮度值的直方图中的分布集中于中间灰度等级。上述的平滑程度越大，则直方图中的离散方差越小，评价值Kb_i越小，因此评价值Kb_i越大，则可以推断为与此对应的小图像Cs_i及短曝光图像Cw_i的晃动量就越小。从希望用于生成参照图像的短曝光图像的晃动量尽可能小的观点来看，利用评价值Kb_i是有益的。例如，也能将评价值Kb_i本身作为图27的步骤S206及图28的步骤S226中应该求取的评价值K_i。

作为短曝光图像的例子，图34(a)中示出短曝光图像261；并且图34(b)中示出短曝光图像262。短曝光图像261为清晰的图像，而短曝光图像262的曝光期间内产生了大的手抖，从而短曝光图像262中含有大的晃动。再有，图35(a)及(b)中分别示出针对短曝光图像261及262在步骤S315中生成的直方图。在与短曝光图像261的直方图的对比中(参照图35(a))，在短曝光图像262的直方图(参照图35(b))中，可以看到分布向中间灰度等级集中。由于该集中，离散方差(及标准偏差)变小。

关于某个关注图像，直方图中的离散方差小对应于该关注图像的对比度低，直方图中的离散方差大对应于该关注图像的对比度高。因此，在上述的方法中，通过计算直方图中的离散方差来推测关注图像的对比度，根据推测出的对比度，推测关注图像的晃动量。而且，将对比度的推测值作为评价值Kb_i导出。

在本评价计算方法中，利用对比度与晃动量的关系，根据对比度来推测晃动量。因此，与利用傅立叶变换等的现有方法相比，可以减小推测晃动量用的计算成本。再有，通过关注所提取出的小图像来计算评价值，而不是整个图像，从而可以得到进一步降低计算成本的效果。进而，由于采用模板匹配等，在对应的小区域间比较评价值，故即使在多个短时间曝光摄影中构图发生变化，该变化所造成的影响也是轻微的。

(3)第三评价值Kc_i的计算方法

对作为第三评价值的评价值Kc_i的计算方法进行说明。评价值Kc_i是根据短曝光图像Cw_i相对于修正对象图像Lw的旋转角来计算的。参照图36，更具体地说明计算方法。

首先，从修正对象图像Lw中提取多个特征性的小区域(例如32×32像素的小区域)。特征性小区域的含义及提取方法如第七实施例所述(即使在后述的其他实施例中也同样)。如图36所示，从修正对象图像Lw中提取2个小区域281及282。小区域281及282的中心点分别参照标记291及292。在图36所示的例子中，连接中心点291及292的线段的方向与修正对象图像Lw的水平方向一致。

接着，从短曝光图像Cw_i中提取与从修正对象图像Lw中提取出的2个小区域281及282对应的2个小区域。对应小区域的搜索，可以采用利用了模板匹配法等的上述方法来进行。在图36中示出从短曝光图像Cw₁中提取出的2个小区域281a及282a、以及从短曝光图像Cw₂中提取出的2个小区域281b及282b。小区域281a及281b对应于小区域281；小区域282a及282b对应于小区域282。再有，小区域281a、282a、281b及282b的中心点分别参照标记291a、292a、291b及292b。

在计算与短曝光图像Cw₁对应的评价值Kc₁的情况下，求取连接中心点291a及292a的线段相对于连接中心点291及292的线段的旋转角(即倾斜度)θ₁。同样，在计算与短曝光图像Cw₂对应的评价值Kc₂的情况下，求取连接中心点291b及292b的线段相对于连接中心点291及292的线段的旋转角(即倾斜度)θ₂。针对其他短曝光图像Cw₃～短曝光图像Cw_N的旋转角θ₃～θ_N也同样求取，作为评价值Kc_i，求取旋转角θ_i的倒数。

由于作为修正对象图像的通常曝光图像和参照图像生成用的短曝光图像的摄影时间(摄影时刻)不同，故在两者的摄影间会产生构图的偏差。为了进行高精度的手抖检测，需要进行对位，以便消除该偏差导致的修正对象图像和参照图像之间的位置偏离。该对位虽然可以通过坐标变换(仿射变换等)来实现，但若该对位中包含图像旋转处理，则会增大电路规模及计算成本。因此，为了仅使针对参照图像生成用的短曝光图像的旋转角减小，利用评价值Kc_i是有益的。例如，也能将评价值Kc_i本身作为图27的步骤S206及图28的步骤S226中应该求取的评价值K_i。这样，优先使用相对于修正对象图像Lw的旋转角小的短曝光图像来生成参照图像Rw，因此不仅可以得到平行移动的对位效果，还可以得到比较良好的手抖修正效果，也有助于电路规模的缩小。

另外，在利用后述的傅立叶迭代法进行手抖修正的情况下，在通过对修正对象图像Lw及参照图像Rw进行傅立叶变换而得到的频域上的图像间进行线性运算(在第十实施例中详细说明)。该情况下，若在修正对象图像Lw与参照图像Rw之间存在旋转方向的偏差，则在傅立叶变换的特性上，手抖检测及手抖修正精度显著下降。因此，在利用傅立叶迭代法进行手抖修正的情况下，通过利用评价值Kc_i来选择参照图像Rw，从而可以大幅度提高手抖检测及手抖修正精度。

(4)第四评价值Kd_i的计算方法

对作为第四评价值的评价值Kd_i的计算方法进行说明。评价值Kd_i为修正对象图像Lw与短曝光图像Cw_i的摄影时间差的倒数。修正对象图像Lw与短曝光图像Cw_i的摄影时间差为修正对象图像Lw摄影时的曝光时间的中间时刻和短曝光图像Cw_i摄影时的曝光期间的中间时刻的时间差。在修正对象图像Lw的摄影之后按照短曝光图像Cw₁、Cw₂、…、Cw_N的顺序进行摄影的情况下，当然Kd₁＞Kd₂＞...＞Kd_N成立。

修正对象图像Lw与短曝光图像Cw_i的摄影时间差越大，其间被摄体活动的概率就越高，并且照度等摄影条件变化的概率也越高。被摄体的活动或摄影条件的变化作用于使手抖检测及手抖修正精度降低的方向。因此，按照优先利用与大的评价值Kd_i对应的短曝光图像来生成参照图像的Rw的方式来利用评价值Kd_i为好。这样，可以减轻被摄体的活动或摄影条件的变化的影响，能够进行更高精度的手抖检测及手抖修正。

(5)最终的评价值K_i的计算方法

图27的步骤S206及图28的步骤S226中应求取的评价值K_i由评价值Ka_i、Kb_i、Kc_i、Kd_i中的任一个以上的评价值来决定。例如，通过下述式(A-1)来计算评价值K_i。在此，ka、kb、kc及kd为具有0或正值的规定的加权系数。利用评价值Ka_i、Kb_i、Kc_i及Kd_i中的2个或3个，计算评价值K_i的情况下，只要使必要的加权系数为0即可。例如，在未考虑修正对象图像Lw与短曝光图像Cw_i的摄影时间差的情况下，只要在使“kd＝0”的基础上计算评价值K_i即可。

Ki＝ka×Ka_i+kb×Kb_i+kc×Kc_i+kd×Kd_i    ...(A-1)

另外，如上所述，优选仅根据与修正对象图像Lw的摄影时间差尽可能短的短曝光图像来生成参照图像Rw，但在计算评价值K_i时，应该辅助地利用评价值Kd_i。即，不应该使加权系数ka、kb及kc全部为0。

[第十实施例]

接着，对第十实施例进行说明。在第十实施例中，对基于修正对象图像Lw与参照图像Rw的、修正对象图像Lw的修正方法进行说明。用于进行该修正的处理，在图27的步骤S212、图28的步骤S231及图29的步骤S251中执行。作为修正对象图像Lw的修正方法，以下例示第一～第三修正方法。第一、第二、第三修正方法分别是基于图像复原方式、图像合成方式、图像清晰化方式的修正方法。

(1)第一修正方法

参照图37，对第一修正方法进行说明。图37是表示基于第一修正方法的修正处理的流程的流程图。在采用第一修正方法的情况下，图27的步骤S212、图28的步骤S231及图29的步骤S251的处理分别由图37的步骤S401～S409的各处理形成。

首先，在步骤S401中，从修正对象图像Lw中提取特征性的小区域(例如128×128像素的小区域)，将该提取出的小区域内的图像作为小图像Ls存储到存储器上。

接着，在步骤S402中，从参照图像Rw中提取与从修正对象图像Lw中提取出的小区域相同坐标的小区域，将从参照图像Rw提取出的小区域内的图像作为小图像Rs存储到存储器上。从修正对象图像Lw提取出的小区域的中心坐标(修正对象图像Lw的中心坐标)和从参照图像Rw提取出的小区域的中心坐标(参照图像Rw的中心坐标)相等，修正对象图像Lw与参照图像Rw的图像尺寸也相等，因此两个小区域的图像尺寸也相等。

由于参照图像Rw的曝光时间比较短，故小图像Rs的S/N比较低。因此，在步骤S403中对小图像Rs进行噪声除去处理。将除去噪声后的小图像Rs设为小图像Rsa。噪声除去是通过采用线性滤波器(加权平均滤波器等)或非线性滤波器(中值滤波器等)对小图像Rsa进行滤波而进行的。小图像Rsa为低亮度，因此在步骤S404中，使小图像Rsa的亮度等级增加。即，例如，以使小图像Rsa的亮度等级与小图像Ls的亮度等级相等的方式(小图像Rsa的平均亮度和小图像Ls的平均亮度相等的方式)，进行对小图像Rsa的各像素的亮度值乘以恒定值的亮度标准化处理。将这样使亮度等级增加后的小图像Rsa设为小图像Rsb。

将如上所述得到的小图像Ls作为劣化图像、将小图像Rsb作为初始复原图像进行处理(步骤S405)，在步骤S406中通过实施傅立叶迭代法而求取作为图像劣化函数的PSF。基于傅立叶迭代法的PSF的计算方法，与第一实施方式所述的同样。即，在步骤S406中，通过执行图4的步骤S101～S103及S110～S118构成的处理，从而求取与小图像Ls对应的PSF。手抖对图像整体造成一样的劣化，因此针对小区域Ls求出的PSF可以用作针对整个修正对象图像Lw的PSF。另外，如第一实施方式中所述的，也可以删除步骤S118的处理，以1次的修正处理求取最终的PSF。

在步骤S407中，在将步骤S406求出的PSF的逆矩阵的各要素作为图像复原滤波器的各滤波系数进行求取。该图像复原滤波器是根据劣化图像得到复原图像用的滤波器。实际上，如第一实施方式所述，通过直接利用步骤S406中的傅立叶迭代法的计算过程中结果，从而可以求取图像复原滤波器的各滤波系数。

在步骤S407中求出图像复原滤波器的各滤波系数后，移至步骤S408，利用该图像复原滤波器对修正对象图像Lw进行滤波(空间滤波)。即，将具有所求出的各滤波系数的图像复原滤波器适用于修正对象图像Lw的各像素，对修正对象图像Lw进行滤波，由此可以生成除去或降低了修正对象图像Lw所包含的晃动的滤波图像。图像复原滤波器的尺寸要比修正对象图像Lw的图像尺寸还小，但手抖对整个图像造成一样的劣化，因此通过将该图像复原滤波器适用于整个修正对象图像Lw，从而可以除去整个修正对象图像Lw的晃动。

滤波图像中可能含有伴随滤波的振铃信号。因此，在步骤S409中，通过对滤波图像实施除去该振铃信号用的振铃信号除去处理，从而生成最终的修正图像Qw。由于除去振铃信号的方法是公知的，故省略详细的说明。作为该方法，例如只要采用特开2006-129236号公报所记载的方法。

修正对象Qw是除去或降低了修正对象图像Lw所包含的晃动且除去或降低了伴随滤波的振铃信号的图像。其中，由于滤波图像也是除去或降低了晃动的图像，故也能将滤波图像作为修正图像Qw。

由于参照图像Rw所包含的晃动量少，故其边缘成分接近于没有手抖的理想图像的边缘成分。因此，如上所述，将由该参照图像Rw得到的图像设为傅立叶迭代法中的初始复原图像。由此，可以得到第一实施方式所述的各种效果(缩短手抖信息(PSF或图像复原滤波器的滤波系数)的计算处理时间的效果)。

(2)第二修正方法

接着，参照图38及图39，对第二修正方法进行说明。图38是表示基于第二修正方法的修正处理流程的流程图。图39是表示该修正处理流程的概念图。在采用第二修正方法的情况下，图27的步骤S212、图28的步骤S231及图29的步骤S251的处理分别由图38的步骤S421～S425的各处理构成。

通过图26的摄像部11的摄影而得到的图像为包含与亮度相关的信息和与颜色相关的信息的彩色图像。因此，形成修正对象图像Lw的各像素的像素信号由表示像素的亮度的亮度信号、和表示像素的颜色的颜色信号构成。目前，以YUV形式表现各像素的像素信号。该情况下，颜色信号由两个色差信号U及V形成。而且，形成修正对象图像Lw的各像素的像素信号由表示像素的亮度的亮度信号Y、和表示像素的颜色的两个色差信号U及V形成。

这样，如图39所示，修正对象图像Lw可以分解为：作为像素信号仅包含亮度信号Y的图像Lw_Y；作为像素信号仅包含色差信号U的图像Lw_U；作为像素信号仅包含色差信号V的图像Lw_V。同样，参照图像Rw也可以分解为：作为像素信号仅包含亮度信号Y的图像Rw_Y；作为像素信号仅包含色差信号U的图像Rw_U；作为像素信号仅包含色差信号V的图像Rw_v(图39中仅图示图像Rw_Y)。

在图38的步骤S421中，首先通过提取修正对象图像Lw的亮度信号及色差信号，从而生成图像Lw_Y、Lw_U及Lw_v。在接下来的步骤S422中，通过提取参照图像Rw的亮度信号，从而生成图像Rw_Y。

由于图像Rw_Y为低亮度，故在步骤S423中，使图像Rw_Y的亮度等级增加。即，例如，以使图像Rw_Y的亮度等级与图像Lw_Y的亮度等级相等的方式(图像Rw_Y的平均亮度和图像Lw_Y的平均亮度相等的方式)，进行对图像Rw_Y的各像素的亮度值乘以恒定值的亮度标准化处理。进而，对该亮度标准化处理后的图像Rw_Y实施采用了中值滤波器等的噪声除去处理。将亮度标准化处理及噪声除去处理后的图像Rw_Y作为图像Rw_Y’存储到存储器上。

然后，在步骤S424中，通过对图像Lw_Y的像素信号和图像Rw_Y’的像素信号进行比较，从而计算图像Lw_Y与图像Rw_Y’之间的位置偏离量ΔD。位置偏离量ΔD是包含水平成分及垂直成分的二维量，表现为所谓的运动向量。可以采用公知的代表点匹配法或模板匹配法，进行位置偏离量ΔD的计算。例如，将从图像Lw_Y中提取出的小区域内的图像作为模板，利用模板匹配法，从图像Rw_Y’中搜索与该模板的类似程度最高的小区域。而且，将搜索到的小区域的位置(图像Rw_Y’上的位置)和从图像Lw_Y中提取出的小区域的位置(图像Lw_Y上的位置)的偏离量作为位置偏离量ΔD来计算。另外，希望将应从图像Lw_Y提取的小区域设为上述的特征性的小区域。

将图像Lw_Y作为基准来考虑，位置偏离量ΔD为图像Rw_Y’相对于图像Lw_Y的位置偏离量。可以将图像Rw_Y’视为以图像Lw_Y为基准产生了相当于位置偏离量ΔD的量的位置偏离的图像。因此，在步骤S425中，以抵消该位置偏离量ΔD的方式对图像Rw_Y’实施坐标变换(仿射变换等)，由此对图像Rw_Y’进行位置偏离修正。位置偏离修正前的图像Rw_Y’内的位于坐标(x+ΔDx，y+ΔDy)的像素，通过位置偏离修正而变换为位于坐标(x，y)的像素。ΔDx及ΔDy分别为ΔD的水平成分及垂直成分。

在步骤S425中，进而对图像Lw_U及图像Lw_v和位置偏离修正后的图像Rw_Y’进行合成，将通过该合成而得到的图像作为修正图像Qw输出。修正图像Qw内的位于坐标(x，y)的像素的像素信号由对位于坐标(x，y)的图像Lw_U内的像素的像素信号和位于坐标(x，y)的图像Lw_v内的像素的像素信号构成。

在彩色图像中，所看到的晃动主要由亮度的晃动引起，若亮度的边缘成分接近于没有晃动的理想图像的边缘成分，则观察者会感觉到晃动少。因此，在本修正方法中，通过将晃动量比较少的参照图像Rw的亮度信号与修正对象图像Lw的颜色信号进行合成，从而得到疑似手抖修正效果。根据该方法，虽然在边缘附近产生颜色偏差，但在眼睛里可以以低计算成本生成晃动少的图像。

(3)第三修正方法

接着，参照图40及图41，对第三修正方法进行说明。图40是表示基于第三修正方法的修正处理流程的流程图。图41是表示该修正处理流程的概念图。在采用第三修正方法的情况下，图27的步骤S212、图28的步骤S231及图29的步骤S251的处理分别由图40的步骤S441～S447的各处理形成。

首先，在步骤S441中，通过从修正对象图像Lw中提取特征性的小区域，从而生成小图像Ls，在步骤S442中，从参照图像Rw中提取与小图像Ls对应的小区域，由此生成小图像Rs。该步骤S441及S442的处理与图37的步骤S401及S402的处理相同。接着在步骤S443中，对小图像Rs实施采用了中值滤波器等的噪声除去处理，进而使噪声除去处理后的小图像Rs的亮度等级增加。即，例如以使小图像Rs的亮度等级与小图像Ls的亮度等级相等的方式(小图像Rs的平均亮度和小图像Ls的平均亮度相等的方式)，进行对小图像Rs的各像素的亮度值乘以恒定值的亮度标准化处理。将噪声除去处理及亮度标准化处理后的小图像Rs作为小图像Rs’存储到存储器上。

接着，在步骤S444中，通过利用互不相同的8种平滑滤波器对小图像Rs’进行滤波，从而生成平滑程度不同的8个平滑小图像Rs_G1、Rs_G2、…、Rs_G8。目前，作为8个平滑滤波器使用的是互不相同的8个高斯滤波器(Gaussian filter)，以σ²来表示由高斯滤波器表现的高斯分布。

关注一维图像，在以x表示该一维图像中的像素位置时，公知由下述式(B-1)表示平均为0且离散方差为σ²的高斯分布(参照图42)。若将该高斯分布适用于高斯滤波器，则可以用h_g(x)来表示高斯滤波器的各滤波系数。也就是说，在将高斯滤波器适用于位置0的像素时，以h_g(x)来表示位置x处的滤波系数。换言之，以h_g(x)来表示与高斯滤波器进行滤波后的位置0的像素值对应的、滤波前的位置x的像素值的影响程度。

$h_g\left(x\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}\exp (-\frac{x^2}{2{\mathrm{\&sigma;}}^2})\&CenterDot;\&CenterDot;\&CenterDot;(B-1)$

将该想法扩展到二维，在以(x，y)表示二维图像中的像素的位置时，由下述式(B-2)来表示二维高斯分布。另外，x及y分别表示水平方向的位置及垂直方向的位置。若将该二维高斯分布适用于高斯滤波器，则可以以h_g(x，y)来表示高斯滤波器的各滤波系数，在将高斯滤波器适用于位置(0，0)的像素时，以h_g(x，y)来表示位置(x，y)中的滤波系数。也就是说，以h_g(x，y)来表示与高斯滤波器进行滤波后的位置(0，0)的像素值对应的、滤波前的位置(x，y)的像素值的影响程度。

$h_g(x,y)=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\&sigma;}}^2})\&CenterDot;\&CenterDot;\&CenterDot;(B-2)$

在步骤S444中，作为8个高斯滤波器，采用σ＝1、3、5、7、9、11、13、15的高斯滤波器。在接下来的步骤S445中，在小图像Ls与平滑小图像Rs_G1～Rs_G8的每一个之间进行图像匹配，确定平滑小图像Rs_G1～Rs_G8中匹配误差最小的平滑小图像(即与小图像Ls的相关性最高的平滑小图像)。

关注平滑小图像Rs_G1，简单说明对比小图像Ls与平滑小图像Rs_G1时的匹配误差(匹配残差)的计算方法。小图像Ls与平滑小图像Rs_G1的图像尺寸相同，将这些图像的水平方向的像素数及垂直方向的像素数分别设为M_N及N_N(M_N及N_N为2以上的整数)。通过V_Ls(x，y)来表示小图像Ls内的位置(x，y)中的像素的像素值，通过V_Rs(x，y)来表示小图像Rs_G1内的位置(x，y)中的像素的像素值(其中x及y是满足0≤x≤M_N-1且0≤y≤N_N-1的整数)。这样，根据下述式(B-3)计算表示对比图像间的SAD(Sum of Absolute Difference)的R_sAD，根据下述式(B-4)计算表示对比图像间的SSD(Sum of Square Difference)的R_ssD。

$R_{\mathrm{SAD}}=\underset{y=0}{\overset{N_N-1}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{M_N-1}{\mathrm{\&Sigma;}}}|V_{\mathrm{Ls}}(x,y)-V_{\mathrm{Rs}}(x,y)|\&CenterDot;\&CenterDot;\&CenterDot;(B-3)$

$R_{\mathrm{SSD}}=\underset{y=0}{\overset{N_N-1}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{M_N-1}{\mathrm{\&Sigma;}}}\{V_{\mathrm{Ls}}(x,y)-V_{\mathrm{Rs}}(x,y){\}}^2\&CenterDot;\&CenterDot;\&CenterDot;(B-4)$

将该R_sAD或R_ssD设为小图像Ls与平滑小图像Rs_G1之间的匹配误差。同样，还求取小图像Ls与平滑小图像Rs_G2～Rs_G8的每一个之间的匹配误差，确定匹配误差最小的平滑小图像。目前，确定与σ＝5对应的平滑小图像Rs_G3。在步骤S445中，将与平滑小图像Rs_G3对应的σ设为σ’。即，σ’的值为5。

在接下来的步骤S446中，通过将由该σ’表示的高斯模糊作为表示修正对象图像Lw的劣化状态的图像劣化函数进行处理，从而实现除去修正对象图像Lw的劣化。

具体是，在步骤S446中，通过根据σ’对修正对象图像Lw整体适用虚边蒙片滤波器(unsharp mask filter)，从而取出修正对象图像Lw的晃动。将适用虚边蒙片滤波器前的图像设为输入图像I_INPUT，将适用虚边蒙片滤波器后的图像设为输出图像I_OUTPUT，说明虚边蒙片滤波器的处理内容。首先作为虚边蒙片滤波器，采用σ’的高斯滤波器(即σ＝5的高斯滤波器)，通过利用该σ’的高斯滤波器对输入图像I_INPUT进行滤波，从而生成模糊图像I_BLUR。接着，通过从输入图像I_INPUT的各像素值中减去模糊图像I_BLUR的各像素值，从而生成输入图像I_INPUT与模糊图像I_BLUR之间的差分图像I_DELTA。最后，将通过对输入图像I_INPUT的各像素值加上差分图像I_DELTA的各像素值而得到的图像作为输出图像I_OUTPUT。在式(B-5)中示出输入图像I_INPUT与输出图像I_OUTPUT的关系式。在式(B-5)中，(I_INPUT·Gauss)表示利用σ’的高斯滤波器对输入图像I_INPUT进行滤波的结果。

I_OUTPUT＝I_INPUT+I_DELTA

       ＝I_INPUT+(I_INPUT-I_BLUR)

       ＝I_INPUT+(I_INPUT-(I_INPUT·Gauss)    …(B-5)

在步骤S446中，通过将修正对象图像Lw作为输入图像I_INPUT来处理，从而可以得到作为输出图像I_OUTPUT的滤波图像。而且，在步骤S447中，除去该滤波图像的振铃信号后生成修正图像Qw(步骤S447的处理与图37的步骤S409的处理相同)。

通过采用虚边蒙片滤波器，从而可以强调输入图像(I_INPUT)的边缘，得到图像清晰化的效果。其中，若生成图像(I_BLUR)时的模糊程度与输入图像所包含的实际模糊量大不相同，则无法得到适当的模糊修正效果。输出图像(I_OUTPUT)成为极端清晰的不自然的图像。另一方面，若生成模糊图像时的模糊程度比实际的模糊量小，则清晰化效果过弱。在本修正方法中，作为虚边蒙片滤波器，采用以σ规定了模糊程度的高斯滤波器，作为该高斯滤波器的σ，采用与图像劣化系数对应的σ’。因此，可以得到最佳的清晰化效果，可以得到已经很好地除去了模糊的修正图像。即，可以以低的计算成本来生成眼睛中晃动少的图像。

图43中与作为输入图像I_INPUT的手抖图像300一起示出：采用最佳σ的高斯滤波器时得到的图像(即原来的修正图像)302；采用过小σ的高斯滤波器时得到的图像301；采用过大σ的高斯滤波器时得到的图像303。由此可知：若σ过小，则清晰化效果弱，若σ过大则会生成极端清晰化的不自然的图像。

[第十一实施例]

在第九实施例中，对为了选择参照图像生成用的短曝光图像而利用的第一～第四评价值Ka_i、Kb_i、Kc_i及Kd_i的计算方法进行说明。其中，描述了：从短曝光图像Cw_i中提取小图像Cs_i，根据小图像Cs_i的边缘强度或对比度，推测与短曝光图像Cw_i的整体对应的晃动量，由此计算评价值Ka_i及Kb_i(参照图31及图33)。此时，举出了从短曝光图像Cw_i的中央附近提取小图像Cs_i的例子，但并不一定要从短曝光图像Cw_i的中央附近提取小图像Cs。例如也可以如下所述这样。另外，为了具体化说明，考虑N＝5的情况即取得5幅短曝光图像Cw₁～Cw₅的情况。

首先，利用块匹配法等，求取时间上连续拍摄的2幅短曝光图像Cw_i-1与短曝光图像Cw_i之间的光流(optical flow)。图44表示求出的光流的例子。光流是对比图像间的运动向量。接着，根据求出的光流，检测一系列的短曝光图像Cw₁～Cw₅中的小图像提取用区域。小图像提取用区域被定义在各短曝光图像内。而且，从短曝光图像Cw_i的小图像提取用区域中提取小图像Cs_i。

例如，在5幅短曝光图像的摄影中，在摄影装置1基本固定且位于摄影区域中央附近的人物在实际空间上活动的情况下，在与该人物对应的位置上可以检测出故意的运动向量，而在占据短曝光图像的大部分的周边部分中，无法检测出这种运动向量。所谓故意的运动向量是指具有规定大小以上大小的运动向量，单纯地指大小不为0的运动向量。图44表示这种情况下的光流。该情况下，未检测出故意的运动向量的区域在实际空间上是描绘静止的被摄体的静止被摄体区域，将该静止被摄体区域作为小图像提取区域进行检测。图44的短曝光图像Cw₁～Cw₅中被虚线包围的区域内部对应于检测出的小图像提取用区域。

另外，例如在5幅短曝光图像的摄影中，位于摄影区域中央附近的人物在实际空间上向右运动且摄像装置1的框体(未图示)追随该人物向右摇的情况下，如图45所示，在与该人物对应的位置上无法检测出故意的运动向量，另一方面在占据短曝光图像大部分的周边部分(背景部分)中可以检测出故意的运动向量。而且，所检测出的该故意的运动向量的大小及方向是均一的。该情况下，将可以检测该故意的运动向量的区域、即图像中的支配性运动区域作为小图像提取用区域来检测(结果，可以检测出与图44所示的情况同样的小图像提取用区域)。

另外，例如在5幅短曝光图像的摄影中全部被摄体即摄像装置1在实际空间上是静止的情况下，在短曝光图像的整个区域内无法检测出故意的运动向量。该情况下，各短曝光图像的整个区域为静止被摄体区域，将该静止被摄体区域作为小图像提取用区域来检测。再有，例如在5幅短曝光图像的摄影中，在全部被摄体在实际空间上静止而摄像装置1的框体向右摇的情况下或者摄像装置1在实际空间上静止而全部被摄体均匀地向左移动的情况下，如图46所示，在全部短曝光图像中，可以检测出大小及方向均等的故意的运动向量。该情况下，将短曝光图像的整个区域判断为支配性运动区域，将该支配性运动区域作为小图像提取用区域来检测。

这样，  通过对形成光流的多个运动向量进行统计处理，从而可以确定小图像提取用区域。

或者，也可以检测在实际空间上活动的运动被摄体(人物等)，将该运动被摄体未处在的区域作为小图像提取用区域来检测。若采用基于图像处理的公知的运动被摄体的跟踪技术，则能够根据包含短曝光图像的图像数据的摄像部11的输出来检测运动被摄体，并进行跟踪。

若自描绘有在摄影区域内不规则活动的运动被摄体的区域中提取小图像Cs_i，根据该小图像Cs_i来计算评价值(Ka_i或Kb_i)，则该评价值受到运动被摄体的活动的影响，针对小图像Cs_i及短曝光图像Cw_i的晃动量的推测精度劣化。结果，晃动量小的短曝光图像的选择失败，无法生成适当的参照图像Rw的可能性增大。然而，如上所述，若检测小图像提取用区域(静止被摄体区域或支配性运动区域)并从小图像提取用区域中提取小图像Cs_i，则即使短曝光图像Cw_i中含有不规则活动的运动被摄体，也可以正确选择晃动量少的短曝光图像并生成适当的参照图像Rw。

再有，即使在计算基于短曝光图像Cw_i的旋转角的评价值Kc_i之际(参照图36)也从修正对象图像Lw中提取小区域，但为了回避评价值Kc_i受到运动被摄体的活动的影响，也可以从小图像提取用区域中提取该小区域。该情况下，只要针对修正对象图像Lw与5幅短曝光图像Cw₁～Cw₅构成的一系列连续摄影图像组，如上所述那样求取光流，通过对形成该光流的多个运动向量进行统计处理，从而在修正对象图像Lw内设定小图像提取用区域即可。

作为针对第三实施方式的变形例或注释事项，以下记为注释7及注释8。各注释记载的内容只要不矛盾就可以任意组合。再有，针对第一实施方式陈述的上述注释2～注释5的记载内容对于第三实施方式来说也可以适用。

[注释7]

在第六、第七及第八实施例的上述动作中，在得到修正对象图像Lw用的通常曝光摄影之后进行N次短时间曝光摄影，但可以将在通常曝光摄影之前进行该N次的短时间曝光摄影。再有，也可以在通常曝光摄影之前进行Na次的短时间曝光摄影且在通常曝光摄影之后进行Nb次的短时间曝光摄影，合计进行N次的短时间曝光摄影(其中，N＝Na+Nb)

[注释8]

例如可以如下这样考虑。图26的摄像装置1b内包含晃动修正装置，其具有：图像取得单元，其取得作为修正对象图像的1幅通常曝光图像和N幅短曝光图像；参照图像生成单元(第二图像生成单元)，其采用第六、第七或第八实施例所记载的方法，由N幅短曝光图像生成参照图像；修正处理单元，其执行图27的步骤S212、图28的步骤S231或图29的步骤S251的处理，生成修正图像。该晃动修正装置主要由手抖修正部21形成或者由手抖修正部21及主控制部13形成。特别是在实现第八实施例的动作的情况下，参照图像生成单元(第二图像生成单元)具有：执行图29的步骤S249的处理的选择处理单元；执行图29的步骤S250的处理的合成处理单元；和通过进行图29的步骤S248的分支处理，从而执行步骤S249与S250的任一方的切换控制单元。

Claims (24)

1.一种晃动检测装置，其基于摄像单元的输出来检测通过所述摄像单元的摄影而得到的第一图像所包含的晃动，

该晃动检测装置具备晃动信息生成单元，其基于所述第一图像、以比所述第一图像的曝光时间还短的曝光时间所摄影的第二图像，来生成与所述晃动对应的晃动信息。

2.根据权利要求1所述的晃动检测装置，其特征在于，

所述晃动信息是表示所述第一图像整体的晃动的图像劣化函数。

3.根据权利要求1所述的晃动检测装置，其特征在于，

所述晃动信息生成单元具备从所述第一图像及第二图像中分别提取一部分图像的提取单元，基于各一部分图像来生成所述晃动信息。

4.根据权利要求2所述的晃动检测装置，其特征在于，

所述晃动信息生成单元根据将基于所述第一图像的图像变换到频域上而得到的第一函数、和将基于所述第二图像的图像变换到频域上而得到的第二函数，暂时求取频域上的所述图像劣化函数，通过对将所求得的频域上的所述图像劣化函数变换到空间域上而得到的函数利用规定的约束条件进行修正的处理，最终求得所述图像劣化函数。

5.根据权利要求1所述的晃动检测装置，其特征在于，

所述晃动信息生成单元将基于所述第一图像的图像及基于所述第二图像的图像分别作为劣化图像及初始的复原图像进行处理，利用傅立叶迭代法计算所述晃动信息。

6.根据权利要求5所述的晃动检测装置，其特征在于，

所述晃动信息生成单元具备从所述第一图像及第二图像中分别提取一部分图像的提取单元，通过由各一部分图像生成所述劣化图像及所述初始的复原图像，从而使得所述劣化图像及所述初始的复原图像的各图像尺寸小于所述第一图像的图像尺寸。

7.根据权利要求1所述的晃动检测装置，其特征在于，

还具备保持单元，其对基于所述第一图像的摄影之前或之后的所述摄像单元的输出的显示用图像进行保持，

所述晃动信息生成单元将所述显示用图像作为所述第二图像沿用。

8.根据权利要求1所述的晃动检测装置，其特征在于，

还具备保持单元，其将基于所述第一图像的摄影之前或之后的所述摄像单元的输出的显示用图像作为第三图像进行保持，

所述晃动信息生成单元根据所述第一图像、所述第二图像和所述第三图像来生成所述晃动信息。

9.根据权利要求8所述的晃动检测装置，其特征在于，

所述晃动信息生成单元通过对所述第二图像与所述第三图像进行加权相加运算而生成第四图像，并根据所述第一图像与所述第四图像来生成所述晃动信息。

10.根据权利要求8所述的晃动检测装置，其特征在于，

所述晃动信息生成单元包括将所述第二图像与所述第三图像中的任一方选择为第四图像的选择单元，并根据所述第一图像与所述第四图像来生成所述晃动信息，

所述选择单元基于下述条件中的至少一个来进行所述第二图像与所述第三图像之间的选择：所述第二图像与所述第三图像的各边缘强度、所述第二图像与所述第三图像的各曝光时间、及所设定的外部信息。

11.根据权利要求9所述的晃动检测装置，其特征在于，

所述晃动信息生成单元将基于所述第一图像的图像及基于所述第四图像的图像分别作为劣化图像及初始的复原图像进行处理，利用傅立叶迭代法来计算所述晃动信息。

12.根据权利要求11所述的晃动检测装置，其特征在于，

所述晃动信息生成单元具备从所述第一图像、第二图像及第三图像中分别提取一部分图像的提取单元，通过由各一部分图像生成所述劣化图像及所述初始的复原图像，从而使得所述劣化图像及所述初始的复原图像的各图像尺寸小于所述第一图像的图像尺寸。

13.一种摄像装置，其中具备：

权利要求1所述的晃动检测装置；和

所述摄像单元。

14.一种晃动检测方法，基于摄像单元的输出来检测通过所述摄像单元的摄影而得到的第一图像所包含的晃动，

基于所述第一图像、以比所述第一图像的曝光时间还短的曝光时间摄影的第二图像，来生成与所述晃动对应的晃动信息。

15.一种晃动修正装置，其中包括：

图像取得单元，其通过利用了摄像单元的摄影来取得第一图像，并且通过曝光时间比所述第一图像的曝光时间还短的多次摄影来取得多幅短曝光图像；

第二图像生成单元，其由所述多幅短曝光图像生成1幅图像，以作为第二图像；和

修正处理单元，其基于所述第一图像与所述第二图像，对所述第一图像所包含的晃动进行修正。

16.根据权利要求15所述的晃动修正装置，其特征在于，

所述第二图像生成单元基于下述条件中的至少一个来从所述多幅短曝光图像中选择1幅短曝光图像，以作为所述第二图像，所述条件为：各短曝光图像的边缘强度、各短曝光图像的对比度、及各短曝光图像相对于所述第一图像的旋转角。

17.根据权利要求16所述的晃动修正装置，其特征在于，

所述第二图像生成单元还利用各短曝光图像与所述第一图像的摄影时间差来进行所述第二图像的选择。

18.根据权利要求15所述的晃动修正装置，其特征在于，

所述第二图像生成单元通过对所述多幅短曝光图像内的2幅以上的短曝光图像进行合成，从而生成所述第二图像。

19.根据权利要求15所述的晃动修正装置，其特征在于，

所述第二图像生成单元包括：

选择处理单元，其基于下述条件中的至少一个来从所述多幅短曝光图像中选择1幅短曝光图像，所述条件为：所述各短曝光图像的边缘强度、各短曝光图像的对比度、及各短曝光图像相对于所述第一图像的旋转角；

合成处理单元，其生成对所述多幅短曝光图像中的2幅以上短曝光图像进行合成后的合成图像；和

切换控制单元，其通过仅使所述选择处理单元及所述合成处理单元中的任一方发挥作用，从而生成所述1幅短曝光图像或所述合成图像来作为所述第二图像；

所述切换控制单元基于各短曝光图像的S/N比来确定使所述选择处理单元及所述合成处理单元的哪一方发挥作用。

20.根据权利要求15所述的晃动修正装置，其特征在于，

所述修正处理单元基于所述第一图像与所述第二图像，生成与所述第一图像的所述晃动对应的晃动信息，并基于所述晃动信息，对所述第一图像的所述晃动进行修正。

21.根据权利要求15所述的晃动修正装置，其特征在于，

所述修正处理单元通过将所述第二图像的亮度信号与所述第一图像的颜色信号进行合成，从而对所述第一图像的所述晃动进行修正。

22.根据权利要求15所述的晃动修正装置，其特征在于，

所述修正处理单元通过利用所述第二图像对所述第一图像进行清晰化，从而对所述第一图像的所述晃动进行修正。

23.一种摄像装置，其中包括：

权利要求15所述的晃动修正装置；和

所述摄像单元。

24.一种晃动修正方法，包括：

图像取得步骤，通过利用了摄像单元的摄影来取得第一图像，并且通过曝光时间比所述第一图像的曝光时间还短的多次摄影来取得多幅短曝光图像；

第二图像生成步骤，由所述多幅短曝光图像生成1幅图像，以作为第二图像；和

修正处理步骤，基于所述第一图像与所述第二图像，对所述第一图像所包含的晃动进行修正。

Images