CN103973999A - 摄像装置及其控制方法 - Google Patents

Abstract

本发明提供一种摄像装置及其控制方法。所述摄像装置能够减小卷帘快门失真校正处理所需的边缘区域。所述摄像装置包括：采用卷帘快门方法的摄像单元；以及校正单元，其被配置为对由所述摄像单元拍摄的图像数据，进行用于减少卷帘快门失真的校正处理。所述校正单元相对于所述图像数据中的基准线的读出位置来调整其他线的读出位置，并且设置所述基准线，以减少所述基准线的读出位置与所述其他线的读出位置之间的偏移量。

Description

摄像装置及其控制方法

技术领域

本发明涉及一种用于对拍摄图像数据进行针对由于卷帘快门方法而产生的失真的校正处理的技术。

背景技术

诸如摄像机及数字照相机等摄像装置的尺寸和重量一直在不断减小，这使得利用便携式摄像装置来拍摄图像数据的机会增加。近年来，互补金属氧化物半导体（CMOS）传感器已被用于此类摄像装置的图像传感器。这主要是因为CMOS传感器具有如下的优点，即这类传感器能够容易地实现成本降低以及像素数的增加，并且这类传感器的功耗低。

然而，将CMOS传感器用作图像传感器可能导致如下的结果，即除拍摄图像数据的振动之外，还由于照相机抖动或者被摄体的运动（或被摄体的抖动）而产生失真。当将电荷耦合器件（CCD）用作图像传感器时，则不会发生这种现象。

大部分CMOS传感器被配置为通过卷帘快门方法读出图像数据，在该方法中，逐个像素或逐条线地（通常在水平方向上，或者有时在垂直方向上）依次读出图像数据。根据这种卷帘快门方法，各像素或各条线被曝光不同的曝光时间段。然而，在逐个像素地依次读出图像数据的情况下，与线间的曝光开始时间差相比，在一条线中仅产生小到能够忽略的像素间曝光开始时间差。因此，在下面的描述中，将把逐个像素地读出图像数据，视为具有与逐条线地读出图像数据相同的问题。

当由卷帘快门型的传感器来拍摄图像数据时，如果在从画面中的顶线到底线的曝光时段中，被摄体运动或者照相机抖动，则由于各条扫描线的曝光时段的时间差，而导致该被摄体的图像发生变形，并且这表现为失真。在下文中，将这种失真称为卷帘快门失真。

对此，一种可能的解决方案是配设作为CCD的标准功能的全局快门功能。另一种可能的解决方案是提供多个电路，这些电路用于读出像素数据，从而并行地使用这些像素数据，或者将这些电路中的各个分配给图像数据中的各区域，由此加快读出操作，进而减小曝光时段之间的时间差。

然而，前一种解决方案需要像素数的数倍的晶体管，从而导致成本增加。此外，该提案由于妨碍了像素的开口率（aperture ratio）的增加，因此存在对图像质量本身产生不利影响的问题。因此，该解决方案的采用局限于一些被设计用于测量的摄像装置。另一方面，对于后一种解决方案，因为图像数据的像素数不断增加，所以为了提供足以减小曝光时段间的时间差的大量读出电路，导致成本增加。

因此，作为用于校正卷帘快门失真的方法，依赖于图像处理的校正成为主导。已提出了各种方法作为卷帘快门失真校正处理。例如，这些方法中的许多被配置为通过对图像数据进行几何变形，来实现卷帘快门失真校正处理，如在日本专利申请特开第2006-186481号公报中所讨论的。

另一方面，摄像装置包括检测摄影操作的传感器，所述摄影操作涉及诸如陀螺仪及加速度传感器等的摄像装置的旋转和移动。在图像分析中，利用分析技术在多个连续的图像数据之间，计算或估计摄影操作（自身运动）、全局运动以及被摄体的运动。在CVPR2010中提出的由SimonBaker等撰写的“去除卷帘快门摇晃”（"Removing Rolling ShutterWobble"written by Simon Baker et.al.presented in CVPR2010）讨论了通过运动的多项式插值与图像数据之间的拟合处理来获取运动信息的方法。

简单的校正方法是如下的方法，即在仅着重于水平方向和垂直方向上的图像数据的平移运动的同时，进行卷帘快门失真校正处理。另一方面，复杂的校正方法是如下的方法，即根据诸如运动估计结构（StructureFrom Motion，SFM）等的现有原理，而虑及所有类型的摄影操作以及被摄体的深度位置。另一种复杂的校正方法是如下的方法，即在区分被摄体的运动以估计或计算运动信息的同时，进行卷帘快门失真校正处理。以这种方式，卷帘快门失真校正处理通过考虑各条线的曝光时段的时间差，计算能够抵消该时间差的几何变形，并将该几何变形应用于图像数据，来进行能够减少卷帘快门失真的校正。

关于时间方向，也存在仅针对由如下运动产生的失真（一般被归类为切变（shear））的简单方法，所述运动作为一个帧中的曝光时段期间的运动，能够被认为具有恒定的方向及大小。另一方面，还存在针对由在帧周期内方向及大小不恒定而是可变的运动产生的失真（被归类为摇晃（wobble）或果冻效果（jello effect））的方法。

此外，对于实际实施卷帘快门失真校正处理而言，存在各种各样可能的方法，诸如在摄像时进行卷帘快门失真校正处理的实时方法、在再现时或者对记录的图像数据进行卷帘快门失真校正处理的离线方法、以及在摄像装置以外的图像处理装置中进行卷帘快门失真校正处理的方法等。

上述方法中的任何方法均通过在具有不同曝光时段的线当中将单条线设置为基准线并且对图像数据进行几何变形，来进行卷帘快门失真校正处理，以消除由不同曝光时段期间产生的运动而导致的卷帘快门失真，就如同在与基准线相同的曝光时段期间对这些线进行了摄像一样，这一点在所有这些方法当中是共同的。

该卷帘快门失真校正处理要求将某一行确定为基准行，并计算其他行相对于该基准行的偏移量。已知的结构包括在考虑实时处理的情况下选择第一行作为基准行，以及选择图像数据中的中心行作为基准行，以减少图像数据总体的变形量。在这两者中的任何一种情况下，基准行均是固定的。

此外，用于抵消运动的几何变形还要求将边缘区域附加至输出图像数据的大小，以不生成不具有像素数据的区域，而不管采用哪种校正方法，都必须以比输出图像数据更大的大小进行摄像。

关于该边缘区域，如果同时进行电子照相机抖动校正，则用于该电子照相机抖动校正的边缘区域也应当被考虑在内。电子照相机抖动校正是如下的校正，即相对于在将边缘区域附加至图像数据的同时拍摄的图像数据，根据照相机抖动的程度来移动读出图像数据的位置。通过改变从传感器中读出图像数据的位置，从存储图像数据的缓冲器中剪切出输出图像数据，或者对存储在缓冲器中的图像数据进行几何变形，来实现照相机抖动校正。

然而，根据上述的常规卷帘快门失真校正处理，随着卷帘快门失真越大，需要更大的边缘区域来校正卷帘快门失真。另一方面，来自用户的增加图像数据的像素数的要求导致如下的趋势，即减少能够向用于卷帘快门失真校正处理的边缘区域分配的传感器像素的数量。在使防振功能更为动态化的趋向的影响下，在同时另外进行电子抖动校正的方法中，上述趋势更为显著。

因此，卷帘快门失真校正处理的一个目的是实现节省卷帘快门失真校正处理所需的边缘区域，同时使得甚至能够校正由更大的抖动产生的卷帘快门失真。尤其是，如果除了电子振动校正机构之外，还进行卷帘快门失真校正处理，则在这两者之间应当共享边缘区域。

因此，期望减小在卷帘快门失真校正处理期间所需的边缘区域。

发明内容

根据本发明的一个方面，提供一种摄像装置，该摄像装置包括：采用卷帘快门方法的摄像单元；以及校正单元，其被配置为对由所述摄像单元拍摄的图像数据进行用于减少卷帘快门失真的校正处理。所述校正单元相对于所述图像数据中的基准线的读出位置来调整其他线的读出位置，并且设置所述基准线，以减少所述基准线的读出位置与所述其他线的读出位置之间的偏移量。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是例示根据本发明的第一示例性实施例的摄像装置的结构的框图。

图2例示了与输出图像数据的大小相对应的图像切出区域、边缘区域以及拍摄图像数据的整个区域（整个摄像区域）之间的关系。

图3A例示了由采用卷帘快门方法的摄像装置100拍摄的图像数据的帧间隔（frame interval）与各行的曝光时段之间的关系。图3B例示了当图3A中所示的图像数据被校正时的、帧间隔与各行的曝光时段之间的关系。

图4A例示了从作为运动信息计算单元102的偏航方向旋转传感器获取到的运动信息。图4B例示了当将第一行用作基准行时的卷帘快门失真校正处理。图4C例示了当将读出方向上的中心行用作基准行时的卷帘快门失真校正处理。

图5A例示了作为映射位置的采样目标的示例。图5B例示了基准行的选择产生的效果。

图6例示了当在对值域（range）施加限制的情况下确定基准行的同时进行卷帘快门失真校正处理时相对于帧进展的各个帧中的采样位置。

图7例示了根据本发明的第二示例性实施例的摄像装置的结构。

图8例示了两个帧之间的模板匹配。

图9例示了利用直方图来选择全局矢量的方法的示例。

图10A例示了从作为运动信息计算单元702的偏航方向旋转传感器获取到的运动信息。图10B例示了当将第一行用作基准行时的卷帘快门失真校正处理。图10C例示了当将读出方向上的中心行用作基准行时的卷帘快门失真校正处理。图10D例示了当将第一行用作基准行时的卷帘快门失真校正处理。图10E例示了当将读出方向上的中心行用作基准行时的卷帘快门失真校正处理。图10F例示了当将比图10E中所示的中心行低图像高度的1/4大小的行用作基准行时的卷帘快门失真校正处理。

图11是例示根据本发明的第三示例性实施例的摄像装置的结构的框图。

图12A例示了当对图像数据仅进行图像模糊校正处理时利用几何变形的校正处理。图12B例示了当对图像数据仅进行图像模糊校正处理时利用几何变形的校正处理，以及用于校正模糊和卷帘快门失真两者的处理。

图13例示了用于选择基准行的处理的示例。

具体实施方式

下面，将参照附图来详细描述本发明的各个示例性实施例、特征及方面。

首先，将描述本发明的第一示例性实施例。图1例示了根据本示例性实施例的摄像装置100的结构。如图1所示，摄像装置100包括图像输入单元101、运动信息计算单元102、卷帘快门失真校正量计算单元103、卷帘快门失真校正单元104，以及校正基准行确定单元105。

图像输入单元101输入通过对被摄体进行摄像而形成的图像数据（在下文中有时可以称为拍摄图像数据）。具体而言，图像输入单元101包括未例示的光学***、图像传感器及图像处理电路。首先，由光学***在图像传感器上形成被摄体的光学图像，并且通过图像传感器的光电转换操作，将该光学图像转换为电信号。接下来，由图像处理电路把被转换为了电信号的被摄体图像由模拟数据转换为数字数据，并且如果图像传感器是单板传感器，则该被摄体图像经受拜耳（Bayer）插值处理。然后，被摄体图像经受摄像***的信号处理，包括孔径校正、伽玛校正及白平衡处理等，由此生成拍摄图像数据。在实际中，用于执行处理的图像处理电路被配置为单个电路或多个部分电路。特别是，摄像***的图像处理电路在实际中经常被划分为两个部分，即处置模拟电信号的模拟前端，以及模拟-数字（AD）转换之后的数字后端。

图2例示了与输出图像数据的大小相对应的图像切出区域202、边缘区域203以及拍摄图像数据的整个区域（整个摄像区域）201之间的关系。如图2所示，从图像输入单元101输入的拍摄图像数据的整个区域（整个摄像区域）201对应于通过向与输出图像数据的大小相对应的图像切出区域202添加用于卷帘快门失真校正处理的边缘区域203而获取到的大小。

运动信息计算单元102检测摄像装置100的运动。运动信息计算单元102输出摄像装置100的运动信息，或是通过将摄像装置100的运动信息转换为图像数据的运动而生成的信息。通过安装在摄像装置100上并计算旋转及移动量的传感器（诸如陀螺仪、加速度传感器或磁传感器等），来实现运动信息计算单元102。与跟帧速率或者图像数据中的各行的采样率相对应的采样间隔相比，运动信息计算单元102以更短的采样间隔来获取运动信息。通过下面的公式1，能够将运动信息表示为关于任意时间以及焦距信息之类的照相机参数的运动矢量。

$\stackrel{\→}{p}\left(t\right)=(p_1\left(t\right),p_2\left(t\right),...)$ 公式1

用公式1表示的运动信息中的各要素对应于在某一时刻传感器的输出信号的值、通过将该输出信号乘以系数而获取到的值，或是包括通过变焦而变化的焦距之类的可变照相机参数的值等。

如果在将与摄影操作相对应的运动信息转换为图像数据中的运动之后处置该运动信息，则通过使用由下面的公式2表示的空间运动模型函数，将该运动信息转换为图像数据的运动。

$\mathrm{\Δ}\stackrel{\→}{x}=\frac{d\stackrel{\→}{x}\left(t\right)}{\mathrm{dt}}=m(\stackrel{\→}{x};\stackrel{\→}{p}\left(t\right))$ 公式2

符号“”代表参数矢量，该参数矢量除了摄像装置100的运动信息之外，还包括像素大小及焦距之类的照相机参数。

符号“m()”代表空间运动模型函数，该空间运动模型函数用于将摄像装置100的各种运动信息，改变为图像数据的运动。

符号“”代表图像数据的坐标。符号“”代表在单位时间内在图像数据的坐标上产生的运动矢量。

在本示例性实施例的描述中，假设摄像装置100配备有使用与光轴垂直的两个轴作为旋转轴的旋转传感器，诸如陀螺仪等，作为运动信息计算单元102。因此，如果空间运动模型函数是针对旋转的光轴附近的线性近似模型，则能够用下面的公式3来表示运动信息。

$\mathrm{\Δ}\stackrel{\→}{x}\left(t\right)=m(\stackrel{\→}{x};\stackrel{\→}{p}\left(t\right))=(\frac{f\left(t\right)\mathrm{\Δ}{\mathrm{\θ}}_1\left(t\right)}{d_x},\frac{f\left(t\right)\mathrm{\Δ}{\mathrm{\θ}}_2\left(t\right)}{d_y})$ 公式3

在该公式中，Δθ₁(t)＝p₁(t)，并且Δθ₂(t)＝p₂(t)。

（另外在该公式中， $\stackrel{\→}{p}\left(t\right)=(p_1\left(t\right),p_2\left(t\right),p_3\left(t\right),p_4\left(t\right),p_5\left(t\right))=$ $(\mathrm{\Δ}{\mathrm{\θ}}_1\left(t\right),\mathrm{\Δ}{\mathrm{\θ}}_2\left(t\right),f\left(t\right),d_x,d_y).)$

显然，上述的空间运动模型函数能够被替换为任意的函数。例如，可以增加作为输入的摄像装置100的运动信息的变量的数量，即增加传感器的数量，或者将模型替换为不使用近似的、更加精确的模型，从而用更高级的模型替换该函数。

卷帘快门失真校正量计算单元103基于由运动信息计算单元102计算的运动信息，来计算卷帘快门失真校正处理所需的几何变形量。换言之，卷帘快门失真校正量计算单元103计算几何变形量作为卷帘快门失真校正量，该卷帘快门失真校正量用于基于逆变换，对由卷帘快门导致的拍摄图像数据的几何失真进行几何校正，所述几何失真是在各行的曝光时段的时间差中由摄像装置100的运动产生的。

图3A例示了由采用卷帘快门方法的摄像装置100拍摄的图像数据的帧间隔与各行的曝光时段之间的关系。如图3A所示，在采用卷帘快门方法的摄像装置100中，开始与垂直同步信号同步地读出各帧，并且依次曝光和读出各帧中的各行。此外，如图3A所示，假设τ代表行间的读出延迟时间，并且H代表图像数据中的所有行的数量，这样，在第一行与最后一行之间产生(H-1)τ的读出时间差。

构成图像数据的各像素的卷帘快门失真校正量被计算为几何变形量，以用来基于具有不同曝光时段的行之中的单个行，来消除由根据不同曝光时段的运动产生的失真，就如同在同一曝光时段中对这些行进行了摄像一样。

图3B例示了当利用卷帘快门失真校正量计算单元103及卷帘快门失真校正单元104，以与通过全局快门拍摄的图像数据类似的方式校正图3A中所示的图像数据时帧间隔与各行的曝光时段之间的关系。图3B中所示的示例表示使用从第一行起的第三行作为基准行而校正的图像数据。本示例性实施例校正图像数据，以消除各行与基准行的曝光定时的时间差期间产生的几何改变。结果，本示例性实施例能够获取与在时间方向上移动曝光时段相同的效果。因此，本示例性实施例能够获得如同在相同定时对基准行和其他行进行了曝光的图像数据，如图3B所示。根据本示例性实施例，替代将基准行固定为特定行，校正基准行确定单元105动态地改变基准行。

基本而言，在卷帘快门失真校正处理中使用反向映射。因此，作为校正量，计算通过将卷帘快门失真校正处理后的图像数据的坐标转换为卷帘快门失真校正处理前的图像数据的坐标而获取的值。用下面的公式4，表示用于获取卷帘快门失真校正处理前的图像数据的坐标的映射的基本公式。

其中t＝y′τ≈yτ，t₁＝y₁τ公式4

符号“”表示卷帘快门失真校正处理前的图像数据的坐标。

符号“”表示卷帘快门失真校正处理后的图像数据中的坐标。

符号“m()”代表空间运动模型函数。

右侧的第二项是用于再现源于摄像装置100的运动的、图像数据的运动的项，所述摄像装置100的运动是在基准行y1与包含几何变形的目标像素的行y的曝光时段之间的差(y-y₁)τ期间产生的。

符号“t₁”代表对基准行进行摄像的时间。

此外，如果公式能够被简化，则可以将函数m()置于积分之外，如下面的公式4'所表示的。

${\stackrel{\→}{x}}^{\′}=\stackrel{\→}{x}+m(\stackrel{\→}{x};{\∫}_{t_1}^t\stackrel{\→}{p}\left(s\right)\mathrm{ds})$ 公式4'

此外，以由三行及三列构成的矩阵的形式，来表示作为映射公式的简单版本的单应性（homography）。可以通过增加维度，对用公式4表示的映射公式进行线性转换。结果，如果能够用下面的公式5表示的单应性表达式来表示该映射，则能够将该映射处置为用“h”表示的单应性表达式的参数，该单应性表达式使得能够以少量的信息来表示几何变形。

$h=\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]$ 公式5

在该公式中， $\left[\begin{array}{c}{x}^{\″}\\ y^{\″}\\ m\end{array}\right]=h\left[\begin{array}{c}x\\ y\\ 1\end{array}\right],x^{\′}=\frac{x^{\″}}{m},y^{\′}=\frac{y^{\″}}{m}.$

图4A例示了从作为运动信息计算单元102的偏航方向旋转传感器获取到的运动信息。这是利用某一运动模型的具体示例而获取的运动信息。在本公开中，未例示俯仰方向上的旋转，因为假设不存在这样的旋转。此外，如果通过假设焦距是固定的而简化了公式，则能够用下面的公式6来表示映射公式。

其中t＝y′τ≈yτ，t₁＝y₁τ公式6

此外，如下面的公式7所表示的，公式6中的积分项基于如下的假设，即能够获取在曝光时段的时间差期间产生的、关于摄像装置100的旋转的任意角度变化量。

${\∫}_{t_1}^t{p}_1\left(s\right)\mathrm{ds}={\mathrm{\θ}}_1,{\∫}_{t_1}^t{p}_2\left(s\right)\mathrm{ds}={\mathrm{\θ}}_2$ 公式7

图4B例示了当将第一行用作基准行（y₁＝1，t₁＝1）时如何进行卷帘快门失真校正处理。此外，图4C例示了当将读出方向（图4C中的垂直方向）上的中心行用作基准行（Y₁＝H/2，t₁＝Hτ）时如何进行卷帘快门失真校正处理。

在图4B及图4C中，由实曲线包围的区域401是与生成输出图像数据所需的像素相对应的区域。此外，由虚线包围的区域402是对像素值进行采样的图像切出区域。由实线矩形包围的外周区域403是通过向图像切出区域402添加边缘区域而获取到的整个图像区域，所述边缘区域被准备用来获取由实曲线包围的区域401中的像素值。在图4B及图4C中，生成输出图像数据所需的区域401中内接的矩形的位置超出图像切出区域402的左侧的大小为S_ax。在图4B及图4C中，生成输出图像数据所需的区域401中内接的矩形的位置超出图像切出区域402的右侧的大小为S_bx。整个图像区域403中的中心行M用下面的公式8来表示。在公式8中，“H”代表图像切出区域402的图像高度，该高度用像素数来表示。

M＝H/2 公式8

从图4B与图4C之间的差异中能够了解到，即使摄像装置100在拍摄图像数据时具有相同的运动，边缘区域也根据如何确定基准行而变化。如图4B所示，将第一行用作基准行适合于实时处理，因为这使得能够在获取到第一行的运动信息时，逐个地依次计算行的映射目的地。然而，如果摄像装置100具有如图4A所示的运动信息，则边缘区域被不均匀地设置，因为如图4B所示，仅边缘区域的右侧被用于采样，以使得能够不断地对像素值进行采样，而不丢失图像数据。因此，该方法快速到达边缘区域的界限。结果，对于由摄像装置100的快速运动产生的大的卷帘快门失真，边缘区域的使用往往显著浪费，从而导致可校正失真的大小被施加严格的限制，并且所需的边缘区域增大。

另一方面，如图4C所示，将读出方向上的中心行用作基准行，使得对像素值进行采样的范围能够分布到边缘区域的左侧和右侧。将读出方向上的中心行用作基准行使得与将第一行用作基准行相比，能够更高效地利用边缘区域。特别是，当摄像装置100正以恒定速度运动时，边缘区域被均匀地分布到左侧和右侧，从而实现边缘区域的理想使用。然而，对于由非恒定速度的运动产生的卷帘快门失真，例如，对于如图4A所示的后程加速的运动，所需边缘尺寸的大小是左右非对称的，如下面的公式9所表示的。

s_ax＜s_bx 公式9

在甚至考虑到所需边缘区域非对称的运动的情况下，应当准备大的边缘区域，以为非对称的情况做准备，从而能够应对各种运动。

卷帘快门失真校正单元104通过几何变形来校正卷帘快门失真。换言之，卷帘快门失真校正单元104接收图像数据的输入，以及几何变形的映射公式的参数或单应性的输入，并且输出通过几何变形校正了卷帘快门失真的图像数据。此外，作为衍生，对几何变形的简单替代处理包括改变从临时存储包括边缘区域的图像数据的缓冲器中读出图像数据的位置，以及改变从图像传感器读出图像数据的位置。从卷帘快门失真校正单元104输出的图像数据被记录在未例示的记录介质中，或者显示在未例示的显示单元上。

校正基准行确定单元105确定藉以进行卷帘快门失真校正处理的基准行。此时，校正基准行确定单元105选择能够使卷帘快门失真校正处理所需的边缘区域最小化的基准行。下面的公式10是用于确定基准行的函数的示例。

$y_{1\mathrm{best}}=\underset{y_1}{\arg \min }\left(f_{\cos t}(y_1,{\stackrel{\→}{x}}_{\mathrm{test}},\stackrel{\→}{p})\right)$ （其中，如果则）公式10

符号“”表示选择用以使括号内的函数值最小化的基准行y1作为变量。

符号“f_cost”代表使用y1作为变量的成本函数，并且是在需要大的边缘量时产生较大值的函数。

符号“”表示为了计算成本函数f_cost而选择的图像切出区域中的采样点。

符号“”代表包括相应时间的信息的运动参数。

符号“”表示全部的测试坐标

公式10基于如下的假设，即如果f_cost=0则在图像切出区域中包含全部测试坐标的采样目标。

可以将图像切出区域中的全部像素用作图像数据中的采样点，但是在考虑到加快处理的情况下，通过选择4个角处的像素坐标或者外周的8个像素，能够高效地选择基准行。通过将基准行设置为变量，利用梯度下降优化计算上述公式的解，来实现基准行的确定。

下面，将参照图5A及5B来描述成本函数f_cost。成本函数f_cost用例如下面的公式11来表示。

$\begin{array}{c}{f}_{\cos t}=\\ \max (L1\left(\right|x^{\′}-\frac{w}{2}|-\frac{w}{2},|y^{\′}-\frac{H}{2}|-\frac{H}{2})\stackrel{\‾}{\mathrm{rect}(({x^{\′}}_{\mathrm{test}}-\frac{w}{2})/w,({y^{\′}}_{\mathrm{test}}-\frac{H}{2})-H,))}\end{array}$

公式11

符号“”代表通过将卷帘快门失真校正处理后的图像数据中的采样点映射至卷帘快门失真校正处理前的图像数据而获取的坐标。

成本函数f_cost是用于进行如下的量化的函数，即在与采样点被映射的位置相对应的采样目标之中，从图像切出区域偏移最远的采样目标的位置超出图像切出区域多少。在图5A中所示的示例中，图像切出区域202的外周的8个像素被表示为白圆圈，并且从图像切出区域202偏移最远的采样目标501被表示为其中写有X的白圆圈。此外，在图5A中所示的示例中，在外周的上述8个像素之中，左上点502被选择作为采样源坐标。由标尺503表示的距离，是从图像切出区域202的外周到采样目标的像素的距离，并且对应于第一项中的距离函数L1。距离函数L1是用于计算图像数据的坐标的距离的函数。可以将诸如L2函数等的任意距离函数用作距离函数。在第二项中被表示为rect的函数，是用下面的与所谓的矩形函数类似的公式12来表示的函数。

$\mathrm{rect}\left(x\right)=\left\{\begin{array}{c}0x>\left|\frac{1}{2}\right|\\ 1x\≤\left|\frac{1}{2}\right|\end{array}\right.$ 公式12

此外，在公式11中，由于rect在表示否定的横号下，因此，如果采样目标在图像切出区域202内，则该项返回0，而如果采样目标在图像切出区域202外、并且包含在边缘区域203中，则该项返回1。校正基准行确定单元705通过使用表示这种运动的成本函数f_cost，选择能够使生成输出图像数据所需的边缘区域203最小化的基准行。然而，校正基准行确定单元705不一定必须选择能够使边缘区域203最小化的基准行。例如，校正基准行确定单元705可以以使得边缘区域的左侧的大小的最大值与边缘区域的右侧的大小的最大值之差被包含在预定范围内的方式，来选择基准行。

接下来，将参照图5B，来描述基准行的选择的效果。如上所述，图4C例示了使用图像切出区域402中的中心行作为基准行，来校正由图4A中所示的运动信息产生的卷帘快门失真。如图2所示，如果图像切出区域202被定位在整个摄像区域201的中心，则与如图4B所示的将图像切出区域402中的第一行用作基准行相比，如图4C所示的将图像切出区域402中的中心行用作基准行能够更大程度地减小所需边缘区域。然而，即使在这种情况下，边缘区域仍保持左右非对称（S_ax＜S_bx），并且仍然存在节省区域的空间。另一方面，如图5B所示，通过选择适当的基准行，能够使几何变形均匀地分布到边缘区域的左侧和右侧（S′_ax＝S′_bx）。用下面的公式13来表示如下两者之间的关系，其中一者是当中心行被选择作为基准行时的边缘区域的大小（S_bx，S_by），另一者是当适当的行被选择作为基准行时的边缘区域的大小（S′_bx，S′_by）。

max(S_bx，5_by)＞max(S′_bx，S′_by)公式13

以这种方式，能够节省所需的边缘区域，而不改变对可校正的卷帘快门失真的大小的限制。然而，在运动图像数据的摄像中，改变用于卷帘快门失真校正处理的基准行，对应于改变时间方向上的采样定时。因此，如果用于卷帘快门失真校正处理的基准行在相邻帧之间过大地改变，则导致发生如下的问题，即虽然物体实际上正以恒定速度运动，但是该物体看起来好像正以非恒定速度不稳定地运动。因此，如下的做法是有效的，即基于在对前一帧的卷帘快门失真校正处理中使用的基准行，对要由校正基准行确定单元105确定的基准行施加限制。例如，可能方法有对基准行的值域施加限制，如下面的公式14所表示的。

y_{1_n-1}-Δy≤y_{1_n}＜y_{1_n-1}+Δy 公式14

在该公式中，“Δy”代表控制值域改变的容许范围的参数。通过施加用于从先前选择的行（在本示例中为前一帧）起的预定范围内的行中选择基准行的限制，能够防止基准行在运动图像数据特有的连续帧之间发生大的改变。结果，能够解决在卷帘快门失真校正处理中发生的、关于时间方向上的采样定时的问题。

图6例示了当在对值域施加限制的情况下确定基准行、并据此进行卷帘快门失真校正处理时相对于帧的进展的各个帧中的采样位置。在图6中，纵轴方向表示帧的进展，并且横轴方向表示帧周期内的卷帘快门失真校正处理后的采样定时，或是图像数据中的基准行的垂直位置。图6例示了通过对基准行的选择施加限制，摄像定时在帧之间平稳地改变。受限的基准行的选择公式用下面的公式15来表示。在该公式中，y_1a＝y1-Δy，y_1b＝y₁-Δy。

$y_{1\mathrm{best}}=\underset{y_{1a}\≤y_1\≤y_{1b}}{\arg \min }\left(f_{\cos t}(y_1,{\stackrel{\→}{x}}_{\mathrm{test}},\stackrel{\→}{p})\right)$ 公式15

此外，直到在对构成帧的各个行进行摄像时的运动信息全部被获取到，校正基准行确定单元105才能够开始确定基准行。如果在运动图像数据的摄像中期望进行实时处理，则这成为极大的限制。另一方面，由于运动图像数据的特性，使得卷帘快门失真在相邻帧之间具有类似的趋势。因此，为了克服该限制，针对通过在各个行被累积的时段中的运动信息确定了基准行的帧，不使用该基准行信息。将该基准行信息用于下一帧中的卷帘快门失真校正处理。结果，一旦一直到基准行都能够获取运动信息，校正基准行确定单元105就开始校正失真。

如上所述，当基于从旋转/位于传感器获取到的运动信息来校正卷帘快门失真时，即使运动信息包含改变，使得用于校正卷帘快门失真的常规方法无法避免增大校正所需的边缘区域，本示例性实施例也能够在有效地利用小的边缘区域的同时，高效地校正卷帘快门失真。

接下来，将描述本发明的第二示例性实施例。在下面的描述中，将着重于与第一示例性实施例的差异，来描述第二示例性实施例。因此，第一示例性实施例的上述特征也能够适当地运用于第二示例性实施例。

图7例示了根据本示例性实施例的摄像装置700的结构。如图7所示，根据本示例性实施例的摄像装置700包括图像输入单元101、运动信息计算单元702、卷帘快门失真校正量计算单元703、卷帘快门失真校正单元104、以及校正基准行确定单元105。图7中所示的图像输入单元101、卷帘快门失真校正单元104及校正基准行确定单元105的结构，分别类似于图1中所示的图像输入单元101、卷帘快门失真校正单元104及校正基准行确定单元105，因此在这里省略重复的描述。

运动信息计算单元702从图像输入单元701输入两个或更多帧，以计算运动信息。换言之，运动信息计算单元702由帧之间的运动矢量，来计算摄像装置700与被摄体之间的相对运动信息。运动矢量是通过重复切出帧中的一个帧中的局部区域作为模板并且在帧中的另一个帧中计算相关性的处理而获取到的。

图8例示了两个帧之间的模板匹配。在图8中，将左边的帧设置为基准图像数据801，并且将右边的帧设置为相关图像数据802。例如，左边的基准图像数据801对应于紧接在当前帧之前的在前图像数据，并且右边的相关图像数据802对应于随后的当前帧的图像数据。然后，把在基准图像数据801中任意选择的像素的位置，设置为要通过模板匹配来计算运动矢量的基准点803。然后，把该位置周围的区域，即图8中的基准图像数据801中被正方形包围的区域804设置为相应的模板。然后，运动信息计算单元702在相关图像数据802中搜索相应点。相应位置搜索范围805是在相关图像数据802中任意设置的。输入的两个帧之间的最大可能位移量被设置为相应位置搜索范围805。期望尽可能地限制该搜索范围，以防止相应位置搜索找出错误的对应点。

运动信息计算单元702计算相应位置搜索范围805中的各相应候选点806与基准点803的相关值。运动信息计算单元702针对为相应候选点806设置的、与作为模板的区域804具有相同大小的区域807，计算像素值之间的归一化互相关（normalized cross-correlation）或者像素值之差的和，从而计算出相关值。运动信息计算单元702针对搜索范围805中存在的各相应候选点806，来计算相关值。然后，运动信息计算单元702选择具有最高相关性的相应候选点806作为相应点，并且计算基准点803与相应点之间的偏移作为运动矢量。

如果区域804或区域807中包含的周围像素之中的相应像素中的一者是曝光过度像素或曝光不足像素，则将该像素从相关值计算中排除。然后，作为相关值计算的结果，运动信息计算单元702输出在两个或更多帧之间获取的任意坐标位置的多个运动矢量，作为运动信息。此外，运动信息计算单元702可以从上述多个运动矢量中选择更具汇总性的全局矢量，以将该全局矢量输出作为运动信息。此时，运动信息计算单元702可以通过例如聚类（clustering），来去除多余的运动矢量。

图9例示了利用直方图来选择全局矢量的方法的示例。运动信息计算单元702针对例如垂直方向和水平方向上的各分量，由从模板匹配中获取的多个运动矢量来形成直方图。然后，运动信息计算单元702选择如图9中的箭头所示与最高频率相对应的值，作为全局矢量的分量。作为另一选择，运动信息计算单元702可以由多个运动矢量来形成二维直方图，并且选择与最高频率相对应的直方柱（bin）的运动矢量作为全局矢量。

此外，替代从多个运动矢量中选择全局矢量，运动信息计算单元702可以计算与空间运动模型函数的自由度相对应的帧之间的运动参数。通过例如日本专利申请特开第2005-26941号公报中所讨论的方法，能够实现用于计算与空间运动模型函数的自由度相对应的帧之间的运动参数来替代全局矢量的方法。例如，假设如下的简单情况，即空间运动模型函数仅处置平移及缩放的运动，这样，帧之间的运动参数用下面的公式16来表示。

$\left[\begin{array}{c}{{\stackrel{\→}{x}}^{\′}}_n\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_n& 0& c_n\\ 0& a_n& d_n\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{{\stackrel{\→}{x}}^{\′}}_{n-1}\\ 1\end{array}\right]$ 公式16

符号“”代表包含失真的前一帧的图像数据的坐标。

符号“”代表也包含失真的当前帧的图像数据的坐标。

通过日本专利申请特开第2005-26941号公报中所讨论的方法，由在帧之间计算出的多个运动矢量来获取运动参数。日本专利申请特开第2005-26941号公报中所讨论的方法是如下的方法，该方法使得能够通过基本上类似于全局矢量计算方法的过程，即简单的四则运算以及直方图处理，来获取运动参数。

此外，可以通过对在图像数据中获取的多个运动矢量进行最小二乘拟合，来计算运动参数。用下面的公式17，来表示用于计算包含运动矢量的平移及缩放运动的赫尔默特（Helmert）模型的运动参数的公式。

$\left[\begin{array}{c}{x^{\′}}_1\\ {y^{\′}}_1\\ {x^{\′}}_2\\ {y^{\′}}_2\\ \·\\ \·\\ \·\\ {x^{\′}}_m\\ {y^{\′}}_m\end{array}\right]=\left[\begin{array}{cccccc}{x}_1& y_1& 1& 0& 0& 0\\ 0& 0& 0& x_1& y_1& 1\\ x_2& y_2& 1& 0& 0& 0\\ 0& 0& 0& x_2& y_2& 1\\ \·& & & & & \\ \·& & & & & \\ \·& & & & & \\ x_m& y_m& 1& 0& 0& 0\\ 0& 0& 0& x_m& y_m& 1\end{array}\right]{A^{\′}}_n$ 公式17

其中， ${A^{\′}}_n=[a_1,a_2,a_3,a_4,a_5,a_6],A_n=\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ a_4& a_5& a_6\\ 0& 0& 1\end{array}\right]$

在该公式中，符号“”代表帧之间的各坐标的运动。

然后，把m组运动矢量(Δx_i，Δy_i)(i=1，…，m)、该图像数据的计算出的坐标(x_i,y_i)以及由该信息获取到的下一帧中的相应坐标(x_i',y_i')，代入公式17的第一个公式的两边。在此应当注意，点是用与公式16不同的表达式来代表的。然后，通过用最小二乘法求解将实际数据引入到系数中的齐次方程，来获取作为公式的系数的帧之间的运动参数。这样获取的空间运动模型函数的运动参数可以作为运动信息计算单元702的输出。此外，运动信息计算单元702可以部分地选择运动参数，作为根据空间运动模型函数而局限于平移及缩放的运动。

卷帘快门失真校正量计算单元703基于从运动信息计算单元702输入的运动信息，来计算卷帘快门失真校正量。如果输入的运动信息仅是帧之间的运动信息，则假设在该时间期间与图像数据中的各行相对应的运动以恒定速度改变，据此卷帘快门失真校正量计算单元703计算卷帘快门失真校正量。换言之，卷帘快门失真校正量计算单元703假设针对各行计算的运动的速度信息是恒定的。

然后，卷帘快门失真校正量计算单元703根据接下来的公式4''，利用帧之间的运动参数作为运动信息，来计算卷帘快门失真校正量。通过假设运动是不变的常数项，并将帧之间的在各坐标的运动引入到积分项中，能够将公式4''简化为下面的公式。

${\stackrel{\→}{x}}^{\′}=\stackrel{\→}{x}+\stackrel{\→}{u}\left(\stackrel{\→}{x}\right)\frac{y^{\′}-y_1}{H}$ 公式4''

此外，假设根据空间运动模型函数，运动局限于例如平移及缩放，这样，能够用下面的公式18来表示帧之间的在各坐标的运动矢量。

$\stackrel{\→}{u}\left(\stackrel{\→}{x}\right)=\left[\begin{array}{ccc}{a}_n-1& 0& c_n\\ 0& a_n-1& d_n\\ 0& 0& 1\end{array}\right]\stackrel{\→}{x}-\stackrel{\→}{x}=\left[\begin{array}{ccc}{a}_n-1& 0& c_n\\ 0& a_n-1& d_n\\ 0& 0& 1\end{array}\right]$ 公式18

此外，通过将公式4''代入公式17，能够以下面的使用单应性h的公式19的形式，来获取计算卷帘快门失真校正量所需的、从卷帘快门失真校正处理后的图像数据的坐标到卷帘快门失真校正处理前的图像数据的坐标的映射公式。在该公式中，省略了各系数的下标n。

$h=\left[\begin{array}{ccc}\frac{1}{H}& \frac{\mathrm{cH}}{H((H-d)(H-(a-1)y_1)-d(a-1)y_1)}& \frac{{\mathrm{cy}}_1(H-d-1)}{H((H-d)(H-(a-1)y_1)-d(a-1)y_1)}\\ 0& \frac{H-(a-1)y_1}{(H-d)(H-(a-1)y_1)-d(a-1)y_1}& -\frac{{\mathrm{dy}}_1}{(H-d)(H-(a-1)y_1)-d(a-1)y_1}\\ 0& -\frac{a-1}{(H-d)(H-(a-1)y_1)-d(a-1)y_1}& \frac{H-{\mathrm{dy}}_1}{(H-d)(H-(a-1)y_1)-d(a-1)y_1}\end{array}\right]$

公式19

在该公式中，

与该公式相反，下面的公式20通过对矩阵求逆，来表示从卷帘快门失真校正处理前的图像数据的坐标、到卷帘快门失真校正处理后的图像数据的坐标映射公式的单应性表达式h^-1。

$h^{-1}=\left[\begin{array}{ccc}H& -c& {\mathrm{cy}}_1\\ 0& H-{\mathrm{dy}}_1& {\mathrm{dy}}_1\\ 0& (a-1)& H-(a-1)y_1\end{array}\right]$ 公式20

在该公式中，

图10A至图10F例示了当输入了帧之间的运动信息时、在根据公式19计算出卷帘快门失真校正量后如何进行卷帘快门失真校正处理的示例。图10A例示了从作为运动信息计算单元702的偏航方向旋转传感器获取到的运动信息。在图10A中，忽略了偏航方向上的旋转，因为假设不发生该运动。此外，通过假设焦距是固定的而简化了该情况。图10A中所示的示例表示仅检测偏航方向上的平移的情况。

在图10A中，被表示为与纵轴上的恒定值相对应的值的参数是值h/H，该值h/H是通过将单应性变量h除以行数H而获取到的。图10B例示了当将第一行用作基准行时如何进行卷帘快门失真校正处理。此外，图10C例示了当将读出方向上的中心行用作基准行时如何进行卷帘快门失真校正处理。在图10B所示的卷帘快门失真校正处理中，以与图4B中所示的示例类似的方式，不均匀地设置了边缘区域，其中在采样中仅使用边缘区域的一侧（S_bx）。

另一方面，如图10C所示，当将读出方向上的中心行用作基准行时，对像素值进行采样的范围分布到边缘区域的左侧和右侧。特别是，当输入被局限于帧之间的运动信息时，各行中的运动被认为是始终具有恒定速度，这导致恒定的左右对称以及边缘区域的均匀使用（S_ax=S_bx）。当运动被局限于平移时，所进行的卷帘快门失真校正处理能够利用边缘区域而无任何浪费。

接下来，图10D及图10E例示了当帧之间的运动仅是缩放时如何进行卷帘快门失真校正处理。虽然图10B及图10C例示了当图10A中所示的运动信息被认为是图像数据的平移的改变量时如何进行卷帘快门失真校正处理，但是图10D及图10E例示了当图10A中所示的运动信息被认为是图像数据的缩放的改变量时如何进行卷帘快门失真校正处理。图10D例示了当将第一行用作基准行时如何进行卷帘快门失真校正处理，并且图10E例示了当将读出方向上的中心行用作基准行时如何进行卷帘快门失真校正处理。从图10D及图10E中所示的结果能够了解到，仅包含缩放分量的帧之间的运动不仅在水平方向上需要边缘区域，而且在垂直方向上也需要边缘区域。如图10E所示，边缘区域包括左上侧的大小S_ax及S_ay，以及右下侧的大小S_bx及S_by。以这种方式，根据图像数据的缩放的改变的性质与公式4之间的关系，与平移的示例不同，无论如何设置基准行，所需的边缘区域都不可能是对称的。然而，图10E揭示了基准行的改变使最外侧的采样位置相对于图像切出区域发生移动，从而使得即使在这种情况下也能够减小所需的边缘区域。图10F例示了当将比图10E中所示的中心行进一步低图像高度的1/4的大小的行用作基准行时如何进行卷帘快门失真校正处理。因为基准行被定位为较接近图像数据的下端，所以针对该行及该行下面的行，卷帘快门失真校正量减小。因此，该设置能够减小生成输出图像数据所需的边缘区域。因此，即使是更大的失真也能够被校正。

换言之，当运动信息包含作为图像数据的改变的最一般类型的运动的缩放时，即使针对当作为帧之间的运动矢量而获取运动信息时的卷帘快门失真校正处理，引入根据本示例性实施例的改变用于卷帘快门失真校正处理的基准行的技术也是有效的。

另外很明显，也能够以与在第一示例性实施例中采用的、使用传感器信号作为输入的空间运动模型函数类似的方式，用任意函数，来替换在本示例性实施例中采用的、使用图像数据中的运动矢量或全局矢量作为输入的空间运动模型函数。例如，该函数也可以被替换为甚至能够处置以垂直于图像数据的法线为轴的面内旋转的运动的更高级的模型。

接下来，将描述本发明的第三示例性实施例。在下面的描述中，将着重于与第一及第二示例性实施例的差异，来描述第三示例性实施例。因此，第一及第二示例性实施例的上述特征也能够适当地应用于第三示例性实施例。

图11是例示根据第三示例性实施例的摄像装置1100的结构的框图。根据本示例性实施例的摄像装置1100除了卷帘快门失真之外，还能够校正由于照相机抖动而导致的图像数据的劣化。

如图11所示，根据本示例性实施例的摄像装置1100包括图像输入单元101、运动信息计算单元1102、卷帘快门失真校正量计算单元103、模糊/卷帘快门失真校正单元1104、校正基准行确定单元1105、以及模糊校正量计算单元1106。图11中所示的图像输入单元101及卷帘快门失真校正量计算单元103的结构分别类似于图1中所示的图像输入单元101及卷帘快门失真校正量计算单元103，因此在这里省略重复的描述。

模糊校正量计算单元1106基于从运动信息计算单元1102获取的运动信息，来确定用于减少图像数据的模糊（振动）的校正量。例如，作为简单运动模型的一种可设想的方法如下，即为摄像装置1100配设在第一示例性实施例中采用的双轴旋转传感器，并且使用旋转的光轴附近的线性近似模型，作为空间运动模型函数。此外，用于确定校正量的最简单的方法是基于第一帧，来消除由于运动导致的振动的影响。在这种情况下，可以通过选择如下的几何变形量作为模糊校正量来消除图像模糊，所述几何变形量能够抵消从对第一帧进行摄像时起的运动信息的积分值。结果，如图12A所示，图像切出区域202移动与模糊校正量相对应的距离，从而实现图像数据的振动的消除。用实线表示的矩形区域1204是消除了振动之后的图像切出区域。

本示例性实施例采用这样的简单模糊校正量计算单元116，但是作为替代，也可以采用利用更多运动传感器进行更高级的模糊校正的单元。模糊/卷帘快门失真校正单元1104通过几何变形来校正卷帘快门失真以及模糊。换言之，模糊/卷帘快门失真校正单元1104接收图像数据的输入，以及用于各校正的几何变形的映射公式的参数或单应性的输入，并且生成通过几何变形校正了模糊及卷帘快门失真的图像数据。作为衍生，对几何变形的简单替代处理包括：改变从临时存储包括边缘区域的图像数据的缓冲器中读出图像数据的位置，以及改变从图像传感器读出图像数据的位置。

此外，可以连同上述结构一起，使用通过移动图像输入单元101中包括的光学***中的透镜、来消除图像数据的模糊的光学图像模糊校正单元，以消除与如下分量的校正相对应的模糊，所述分量具有几何变形的平移分量的高频率及极小振幅。光学图像模糊校正单元包括运动信息计算单元1102及图像输入单元101中包括的光学***，以及具有未例示的透镜移动驱动***的反馈机构。在这种情况下，在消除不能由该光学图像模糊校正单元消除的具有低频率及大振幅的模糊分量时，根据本示例性实施例的模糊校正机构发挥作用。此外，光学图像模糊校正单元还能够消除卷帘快门失真，并且模糊/卷帘快门失真校正单元1104在校正仍然产生的卷帘快门失真时发挥作用。从模糊/卷帘快门失真校正单元1104输出的图像数据，被未例示的记录单元记录在记录介质等中，或者被显示在图11中未被例示的显示单元上。

虽然图12A例示了当仅消除模糊时如何通过几何变形进行校正处理，但是图12B例示了如何进行用于校正模糊和卷帘快门失真两者的处理。图12B例示了当将第一行用作用于卷帘快门失真校正的基准行时如何进行校正处理。通过把图12A中所示的振动消除后的图像切出区域1204中的像素设置为采样源，并且根据由卷帘快门失真校正量计算单元103计算出的卷帘快门失真校正量进行几何变形，能够获取到区域1206作为对像素值进行采样的最终位置。图12B中所示的区域1205对应于在模糊校正后对像素值进行采样的位置。此外，图12B中所示的边缘区域的右下侧具有大小S_bx及S_by。在图12B中所示的示例中，用于获取输出图像数据的区域1206伸出整个摄像区域201之外，但是，应当准备边缘区域以包含整个区域1206，从而获取整个输出图像数据。

校正基准行确定单元1105确定藉以进行卷帘快门失真校正的校正基准行。具体而言，校正基准行确定单元1105在同时考虑到卷帘快门失真校正量和模糊校正量的情况下，选择能够使校正所需的边缘区域最小化的基准行。在下面的描述中，将参照图13来描述用于选择基准行的处理的示例。在该示例中，如图13所示，选择最后一行作为能够使边缘区域最小化的基准行。以这种方式，本示例性实施例在考虑到模糊校正量和卷帘快门失真校正量两者的情况下，确定用于卷帘快门失真校正处理的基准行，以减小整个模糊校正处理和卷帘快门失真校正处理所需的边缘区域。结果，本示例性实施例能够节约卷帘快门失真校正处理所需的边缘区域，并且校正甚至更大的模糊和更大的卷帘快门失真。

本发明不仅能够应用于摄像装置，而且还能够应用于例如包括有摄像装置的便携式信息终端、作为后处理对拍摄图像数据进行处理的图像处理装置，以及包括这种图像处理装置的图像显示装置。

此外，本发明不仅能够应用于用户用来手持拍摄图像的摄像装置，而且能够应用于安全摄像头之类的固定安装的摄像装置，以主要对诸如行人及汽车等的运动被摄体进行摄像。

另外，本发明还可以通过进行以下的处理来实现。该处理为经由网络或者各种非易失性存储介质中的任何存储介质，向***或装置提供实现上述示例性实施例的功能的软件（程序），并且使所述***或所述装置的计算机（或者中央处理单元（CPU）、微处理单元（MPU）等）读出所述程序以执行所述程序。

其他实施例

另外，可以通过读出并执行记录在存储介质（例如，非临时性计算机可读存储介质）上的计算机可执行指令、以执行本发明的上述实施例中的一个或更多实施例的功能的***或装置的计算机，来实现本发明的各实施例，并且可以利用由例如读出并执行来自存储介质的计算机可执行指令、以执行上述实施例中的一个或更多实施例的功能的***或装置的计算机来执行的方法，来实现本发明的各实施例。所述计算机可以包括中央处理单元（CPU）、微处理单元（MPU）或其他电路中的一者或更多，并且可以包括分开的计算机或分开的计算机处理器的网络。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器（RAM）、只读存储器（ROM）、分布式计算***的存储器、光盘（诸如压缩盘（CD）、数字通用盘（DVD）或蓝光盘（BD）^TM）、闪存设备、存储卡等中的一者或更多。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使所述范围涵盖所有的此类变型例以及等同结构和功能。

Claims (9)

1.一种摄像装置，该摄像装置包括：

采用卷帘快门方法的摄像单元；以及

校正单元，其被配置为对所述摄像单元拍摄的图像数据进行用于减少卷帘快门失真的校正处理，该校正处理是通过相对于所述图像数据中的基准线的读出位置调整其他线的读出位置来进行的，

其中，所述校正单元在进行所述校正处理时，设置所述基准线，以减小所述基准线的读出位置与所述其他线的读出位置之间的偏移量。

2.根据权利要求1所述的摄像装置，该摄像装置还包括检测单元，该检测单元被配置为检测所述摄像装置的运动，

其中，所述校正单元基于所述检测单元检测到的所述摄像装置的运动，来调整所述其他线的读出位置。

3.根据权利要求1所述的摄像装置，其中，所述校正单元确定所述基准线，以使附加至用于所述校正处理的输出图像数据的大小的边缘区域最小化。

4.根据权利要求1所述的摄像装置，其中，所述校正单元以使得在所述其他线当中第一方向上的偏移量的最大值与第二方向上的偏移量的最大值之差被包含在预定范围内的方式，来确定所述基准线，所述第二方向与所述第一方向相反。

5.根据权利要求1所述的摄像装置，其中，所述校正单元从先前确定的基准线起的预定范围内的线中，新设置所述基准线。

6.根据权利要求1所述的摄像装置，其中，所述校正单元由第一图像数据，来计算用于相对于所述基准线的读出位置调整所述其他线的读出位置的校正量，并且在所述第一图像数据之后获取到的第二图像数据中，基于由所述第一图像数据计算出的所述校正量，相对于所述基准线的读出位置来调整所述其他线的读出位置。

7.根据权利要求2所述的摄像装置，其中，所述检测单元基于所述摄像装置的摄影操作或者图像数据的帧之间的运动矢量，来检测所述摄像装置的运动。

8.根据权利要求2所述的摄像装置，该摄像装置还包括模糊校正量计算单元，该模糊校正量计算单元被配置为基于所述检测单元检测到的所述摄像装置的运动，来计算用于消除所述摄像单元拍摄的图像数据的模糊的模糊校正量，

其中，所述校正单元基于由所述模糊校正量计算单元计算出的所述模糊校正量，对所述摄像单元拍摄的图像数据进行模糊校正处理。

9.一种摄像装置的控制方法，所述摄像装置包括采用卷帘快门方法的摄像单元，该控制方法包括以下步骤：

对所述摄像单元拍摄的图像数据进行用于减少卷帘快门失真的校正，

其中，所述校正包括相对于所述图像数据中的基准线的读出位置来调整其他线的读出位置，并且，

其中，所述校正还包括设置所述基准线，以减小所述基准线的读出位置与所述其他线的读出位置之间的偏移量。