CN102318334B - 图像处理装置、摄像装置以及图像处理方法 - Google Patents

Abstract

一种图像处理装置(36)，对通过摇摄被摄体而得到的输入图像的晃动进行校正，该图像处理装置(36)具备：晃动推定部(32)，针对所述输入图像内的多个区域的每一个区域，推定晃动的方向以及晃动的大小；分簇部(33)，基于被推定出的晃动的方向以及晃动的大小中的至少一方的相似性，对多个区域进行分簇；被摄体区域确定部(34)，从通过进行分簇而得到的多个簇中，确定与被摄体对应的至少一个簇；以及晃动校正部(35)，基于被推定出的晃动的方向以及晃动的大小，对属于被确定的簇的区域的晃动进行校正。

Description

图像处理装置、摄像装置以及图像处理方法

技术领域

本发明涉及对通过摇摄被摄体而得到的输入图像的晃动进行校正的图像处理装置、摄像装置以及图像处理方法。

背景技术

近些年，随着相机向多功能化发展，相机变得愈益简便。用户的需求转向了相机的功能所支持的摄影技术。摇摄是这样的摄影技术之一。摇摄是指，将透镜朝向欲在图像内的特定的位置将其像进行固定的被摄体，并在快门开放期间，配合该被摄体的运动而移动相机来进行拍摄，以使被摄体的位置不偏移。通过摇摄而得到的图像，被拍摄为背景晃动了在曝光期间相机被移动的部分而被摄体似乎是静止的。

其结果，通过摇摄而得到的图像，能够表现起飞降落或低空飞行中的飞机、或者运行中的列车、汽车或摩托车等运动快速的被摄体的速度感。

在用户用手移动相机来进行摇摄的情况下，多出现因大幅度的手的晃动而使被摄体的像也变得不鲜明的情况。尤其在用户不是手持摄影熟练的摄影师的情况下，摇摄是很难的摄影技术。即便是在利用独脚架或三脚架这样的器具来进行摇摄的情况下，也存在与被摄体的移动方向不同方向的晃动(纵向晃动)出现于被摄体的像的情况。

以往，提出了对通过摇摄(流し撮り)而得到的图像的晃动进行校正的方法(例如参照专利文献1)。图1是示出专利文献1所记载的以往的摄像装置的框图。

图1中，摄像装置具备摄像部11、控制***部12、原因信息保存部13、检测部14、处理部15以及记录部16。摄像部11拍摄图像。控制***部12驱动摄像部11。原因信息保存部13保存使图像劣化等的已知的变化原因信息(例如摄影光学***的象差等)。检测部14由角速度传感器等构成，其检测作为图像劣化等的变化原因的变化原因信息。处理部15处理由摄像部11拍摄的图像。记录部16记录由处理部15处理后的图像。

并且，处理部15判定摄影图像是否是摇摄的摄影图像。并且，处理部15，在判定为摄影图像是摇摄的摄影图像的情况下，利用从原因信息保存部13中保存的变化原因信息中除去摇摄的方向的变化原因信息后的数据，来进行晃动的校正。

并且，以往还提出了基于连拍的多个图像来生成摇摄的图像的方法(例如参照专利文献2)。图2是示出专利文献2记载的以往的摄像装置的框图。

图2中，摄像装置具备摄像部21、背景获得部22、处理部23以及合成部24。摄像部21拍摄包括运动的被摄体的像的多个帧。背景获得部22计算多个帧间的图像的差分，以便从多个帧除去运动的被摄体的像。处理部23，通过对除去被摄体的像之后的图像进行模糊处理，从而能够生成使背景模糊的图像。合成部24，通过将被摄体的像重合在模糊处理的结果中，从而生成背景模糊且被摄体鲜明的图像。

专利文献1：(日本)特开2007-074269号公报

专利文献2：(日本)特开2006-339784号公报

然而，专利文献1所示的方法不能校正摇摄的方向的晃动。因此，在作为摇摄的对象的被摄体的像具有摇摄方向的晃动的情况下，不能有效地对晃动进行校正。

并且，专利文献2所示的方法，因为对不存在晃动的背景图像进行模糊处理，因此不能得到具有被摄体的移动方向上的晃动的背景图像。也就是说，专利文献2所示的方法，不能得到表现了被摄体的速度感的摇摄图像。

发明内容

本发明用于解决上述以往的课题，目的在于提供这样一种图像处理装置、摄像装置以及图像处理方法：对通过摇摄被摄体而得到的图像的晃动进行校正，从而能够生成被摄体的像的晃动被抑制且表现出被摄体的速度感的图像。

为了解决以往的课题，本发明的一个实施例所涉及的图像处理装置，对通过摇摄被摄体而得到的输入图像的晃动进行校正，该图像处理装置具备：晃动推定部，针对所述输入图像内的多个区域的每一个区域，推定晃动的方向以及晃动的大小；分簇部，基于被推定出的所述晃动的方向以及所述晃动的大小中的至少一方的相似性，对所述多个区域进行分簇(clusting)；被摄体区域确定部，从通过进行所述分簇而得到的多个簇中，确定与所述被摄体对应的至少一个簇；以及晃动校正部，基于被推定出的所述晃动的方向以及所述晃动的大小，对属于被确定的所述簇的区域的晃动进行校正。

根据此构成，能够基于晃动的相似性，对输入图像内的多个区域进行分簇。在对运动的被摄体进行摇摄的情况下，被摄体的像与背景的像具有不同的晃动。因此，基于晃动的相似性，通过对输入图像内的多个区域进行分簇，从而能够划分为与被摄体对应的簇(区域的集合)以及与背景对应的簇。因此，通过基于属于该簇的区域来推定的晃动的方向以及晃动的大小，对属于与被摄体对应的簇的区域的晃动进行校正，从而能够生成被摄体的像的晃动被抑制且被摄体的速度感被表现出的图像。

并且，最好是，所述晃动推定部，通过针对所述输入图像内的多个区域的每一个区域推定点扩散函数(PSF：PointSpreadFunction)，从而推定所述晃动的方向以及所述晃动的大小。

根据此构成，通过针对输入图像内的多个区域的每一个区域推定PSF，从而能够高精确度地推定晃动的方向以及晃动的大小。

并且，最好是，所述晃动推定部具有：点扩散函数大小决定部，将点扩散函数的大小决定为，所述点扩散函数的大小按照所述输入图像的特征以及所述输入图像被拍摄时的摄影条件的至少一方而适应性地变化；以及点扩散函数推定部，针对所述输入图像内的多个区域的每一个区域，推定所决定的大小的点扩散函数。

根据此构成，能够按照摄影条件或者输入图像的特征来使PSF的大小适应性地变化。最好是，为了得到与被摄体的像的形状一致的簇，使各区域的大小小。各区域的大小须在PSF的大小以上。因此，最好是，PSF的大小越小越好。但是，在PSF的大小比晃动的大小还小的情况下，PSF就不能恰当地表现晃动。并且，因为区域内的图像的特征而存在如果不使PSF的大小变大则不能恰当地推定PSF的情况。因此，通过按照摄影条件或输入图像的特征来使PSF的大小适应性地变化，从而能够推定恰当的大小的PSF。

并且，最好是，所述点扩散函数大小决定部，将所述点扩散函数的大小决定为，所述被摄体的像的轮廓形状越复杂则所述点扩散函数的大小越小。

根据此构成，能够基于被摄体的像的轮廓形状的复杂度来决定PSF的大小。在被摄体的像的轮廓形状不复杂的情况下，区域内的特征少，难以高精确度地推定大小小的PSF。因此，通过将PSF的大小决定为，被摄体的像的轮廓形状越复杂则PSF的大小越小，从而能够高精确度地推定PSF。

并且，最好是，所述点扩散函数大小决定部，将所述点扩散函数的大小决定为，所述输入图像被拍摄时的曝光时间越长则所述点扩散函数的大小越大。

根据此构成，能够将PSF的大小决定为，曝光时间越长则PSF的大小越大。存在曝光时间越长则晃动的大小越大的倾向。因此，通过使曝光时间越长则PSF的大小越大，从而能够使PSF的大小比晃动的大小还小的可能性减低。

并且，最好是，所述分簇部，对所述多个区域进行分簇而使两个区域的点扩散函数间的L2范数或者L1范数越小则该两个区域就越属于同一个簇。

根据此构成，能够基于PSF间的L2范数或L1范数来正确地对多个区域进行分簇。

并且，最好是，所述分簇部，对所述多个区域进行分簇而使表示两个区域的晃动的方向以及晃动的大小的矢量的差分越小则该两个区域就越属于同一个簇。

根据此构成，能够基于表示晃动的矢量的差分来正确地对多个区域进行分簇。

并且，最好是，所述被摄体区域确定部，将位于距所述输入图像的中央的距离在阈值以内的位置的簇，作为与所述被摄体对应的簇来确定。

根据此构成，能够利用主要的被摄体多被摄在图像的中心这一特征，自动地容易地确定与被摄体对应的簇。

并且，最好是，所述被摄体区域确定部，基于输入信息来确定与所述被摄体对应的簇，所述输入信息是从用户接受的输入信息且该输入信息示出所述输入图像内的所述被摄体的像的位置。

根据此构成，能够基于来自用户的输入信息来正确地确定与被摄体对应的簇。

并且，最好是，所述被摄体区域确定部，将晃动的大小比阈值小的簇，作为与所述被摄体对应的簇来确定。

根据此构成，能够利用背景的像具有的晃动比被摄体的像具有的晃动多这一特征，来自动地正确地确定与被摄体对应的簇。

并且，最好是，所述晃动校正部，按照属于被确定的所述簇的每一个区域，利用该区域的被推定的所述晃动的方向及所述晃动的大小，对该区域的晃动进行校正。

根据此构成，能够按照每一个区域对晃动进行校正，能够更加高精确度地对晃动进行校正。

并且，最好是，所述晃动校正部，利用按照属于被确定的所述簇的每一个区域被推定的所述晃动的方向及所述晃动的大小的平均，对属于被确定的所述簇的区域的晃动进行校正。

根据此构成，能够统一对属于簇的区域的晃动进行校正，能够减低计算负荷。

并且，最好是，所述晃动校正部，进一步，利用属于与所述被摄体对应的簇的区域的被推定的所述晃动的方向以及所述晃动的大小，对属于与所述被摄体对应的簇之外的簇的区域的晃动进行加工。

根据此构成，能够对晃动进行校正，以使属于与被摄体对应的簇之外的簇(即，与背景对应的簇)的区域的图像在被摄体的晃动方向晃动。因此，能够生成更加强调了被摄体的速度感的图像。

并且，也可以是，所述图像处理装置作为集成电路来构成。

并且，本发明的一个实施例所涉及的摄像装置具备：上述图像处理装置；以及摄像部，生成所述输入图像。

根据此构成，能够得到与上述图像处理装置同样的效果。

另外，本发明不仅能够作为这样的图像处理装置来实现，还能够作为以这样的图像处理装置所具备的具有特征的构成要素的工作作为步骤的图像处理方法来实现。并且，本发明也能够作为使计算机执行图像处理方法所包括的各步骤的程序来实现。并且，不言而喻，能够使这样的程序通过CD-ROM(CompactDiscReadOnlyMemory：只读存储光盘)等非暂时性的记录介质或互联网等传输介质来分发。

根据本发明，能够对通过摇摄被摄体而得到的图像的晃动进行校正，从而生成被摄体的像的晃动被抑制且表现出了被摄体的速度感的图像。

附图说明

图1是用于说明以往的晃动校正处理的一个例子的图。

图2是用于说明以往的晃动校正处理的另外一个例子的图。

图3A是本发明的实施例的摄像装置的外观图。

图3B是示出本发明的实施例的摄像装置的功能构成的框图。

图4是用于说明PSF的图。

图5是示出本发明的实施例的PSF推定部的功能构成的框图。

图6是用于说明本发明的实施例的图像处理装置的工作的图。

具体实施方式

以下，参照附图来说明本发明的实施例。

图3A是本发明的实施例的摄像装置30的外观图。图3B是示出本发明的实施例的摄像装置30的功能构成的框图。

图3B中，摄像装置30具备摄像部31和图像处理装置36。摄像部31生成图像。具体而言，摄像部31具备未图示的光学***以及摄像元件等，将经由光学***入射的光通过摄像元件转换为电信号，从而生成图像。

本实施例中，摄像部31例如由用户来移动以追踪被摄体。其结果，摄像部31生成通过摇摄被摄体而得到的输入图像。

这样生成的输入图像中，背景的像具有摄像部31被移动的方向的晃动，而被摄体的像具有摄像部31的移动和被摄体的移动被相加后的晃动。在此，晃动意味着出现于图像中的模糊(blur)中的、因被摄体或摄像装置的移动而产生的模糊(motionblur：运动模糊)。

图像处理装置36对通过摇摄被摄体而得到的输入图像的晃动进行校正。对晃动进行校正是指使晃动减低的图像处理。如图3B所示，图像处理装置36具备晃动推定部32、分簇部33、被摄体区域确定部34以及晃动校正部35。

晃动推定部32，针对输入图像内的多个区域的每一个区域，推定晃动的方向以及晃动的大小。在本实施例中，晃动推定部32，通过按照输入图像内的每个区域来推定该区域的PSF(PointSpreadFunction：点扩散函数)，从而推定晃动的方向以及晃动的大小。

一般而言，如图4所示，PSF作为运动的轨迹来被表现，被作为在白色部分具有值的图像来被表现。也就是说，PSF表示晃动的方向以及晃动的大小。在图4中，PSF41表示横向的晃动，PSF42表示斜向的晃动，PSF43表示圆状的晃动。

图5是示出本发明的实施例的晃动推定部32的详细的功能构成的框图。如图5所示，晃动推定部32具备图像输入部51、PSF大小决定部52以及PSF推定部53。

图像输入部51从摄像部31取得输入图像。并且，图像输入部51设定输入图像内的多个区域。本实施例中，图像输入部51，通过将输入图像分割为互不重复的多个矩形区域，从而设定多个区域。所有的区域的区域的大小相同，与后述的PSF的大小(例如20×20像素)相同。

另外，多个区域并非一定是互不重复的区域，也可以是与其他区域重复一部分的区域。例如，图像输入部51，通过按照每一个像素对输入图像进行光栅扫描，从而设定多个区域。

PSF大小决定部52决定PSF的大小。一般而言，PSF的大小是20×20像素这样的程度，就被认为是能够充分地表现晃动的大小。因此，本实施例中，PSF大小决定部52，将能够表现一般的晃动的预先规定的大小且与区域的大小相同的大小(例如20×20像素)，作为PSF的大小来决定。另外，PSF的形状，并非一定要是正方形，但最好是矩形。

PSF推定部53按每个区域推定被决定的大小的PSF。该PSF的推定方法有各种各样的方法。但是，图像内的各区域的PSF不能利用陀螺仪传感器等传感信息来推定。因此，本实施例中，PSF推定部53通过图像处理来推定各区域的PSF。也就是说，PSF推定部53，按照每个区域，利用构成该区域的像素的像素值来推定PSF。

具体而言，例如，PSF推定部53利用非专利文献1(“High-QualityMotionDeblurringFromaSingleImage”，Siggraph2008，Qi，Shenetc，)中记载的方法，来推定各区域的PSF。

据此，PSF推定部53能够基于一个输入图像来推定各区域的晃动的方向以及晃动的大小。因此，不必为了推定晃动的方向以及晃动的大小而连拍多个图像，因此能够减轻处理负荷且能够使摄像部31的构成简易。

接着，说明分簇部33。分簇部33，基于被推定的晃动的方向以及晃动的大小中的至少一方的相似性，来对多个区域进行分簇。也就是说，分簇部33对多个区域进行分簇使晃动的方向以及晃动的大小中的至少一方相似的互相相邻的区域属于同一个簇。

在此，进行分簇是指将数据的集合划分为特征互相相似的数据的子集。这样的子集称为簇。也就是说，通过进行分簇而得到的多个簇的每一个簇中，包括特征互相相似的数据。

本实施例中，分簇部33，基于PSF的相似性，对多个区域进行分簇。PSF是以如图5所示的直线或曲线表示的函数，可视作图像。因此，分簇部33，如以下的(式1)，对多个区域进行分簇而使两个区域的PSF间的L2范数(norm)越小则该两个区域越属于同一个簇。

[算式1]

$\mathrm{VAL}=\underset{p=1}{\overset{N}{\mathrm{\Σ}}}((P_{1p}-P_{2p})\×(P_{1p}-P_{2p}))$ (式1)

在(式1)中，VAL表示示出两个PSF间的相似度的L2范数。该VAL其值越小则示出相似度越高。并且，N表示区域中包括的像素的总数。并且，P1p以及P2p表示作为比较对象的两个PSF的像素P的像素值。

也就是说，分簇部33基于该VAL来对多个区域进行分簇。例如，分簇部33，在互相相邻的两个区域的PSF间的VAL比阈值th小的情况下，进行分簇使该两个区域属于同一个簇。并且，分簇部33，在互相相邻的两个PSF间的VAL在阈值th以上的情况下，进行分簇使该两个区域属于不同的簇。

另外，本实施例中，分簇部33，虽然基于LS范数来对多个区域进行分簇，但是并非一定要基于L2范数来进行分簇。例如，可以是，分簇部33基于L1范数来进行分簇。

并且，也可以是，分簇部33基于晃动的方向或晃动的大小或者其组合，来进行分簇。例如，也可以是，分簇部33进行分簇，使基于PSF得到的晃动的角度的差异比一定的角度小的区域属于一个簇。

并且，也可以是，分簇部33对多个区域进行分簇，使表示两个区域的晃动的方向以及晃动的大小的矢量的差分越小则使该两个区域越属于同一个簇。例如，也可以是，分簇部33进行分簇，使差分矢量的大小比一定的大小小的区域属于一个簇。据此，分簇部33能够正确地对多个区域进行分簇。

如上所述，分簇部33对多个区域进行分簇，以使如果PSF的值的大小或者由PSF示出的晃动的方向或晃动的大小(图4中的白线)相似，则使其属于一个簇。

接着，说明被摄体区域确定部34。被摄体区域确定部34，从通过分簇而得到的多个簇中，确定与成为摇摄的对象的被摄体对应的簇。一般而言，周知的是，主要的被摄体的像位于图像的中央附近，并且主要的被摄体的像的面积比较大。

因此，本实施例中，被摄体区域确定部34，将位于图像的中央附近且面积最大的簇，作为与被摄体对应的簇来确定。也就是说，被摄体区域确定部34，将位于距输入图像的中央的距离在阈值以内的位置的簇，作为与被摄体对应的簇来确定。并且，在位于距输入图像的中央的距离在阈值以内的位置的簇是多个的情况下，被摄体区域确定部34，将这些簇中面积最大的簇，作为与被摄体对应的来确定。据此，被摄体区域确定部34，能够利用主要的被摄体多被摄在图像的中心这一特征，自动地容易地确定与被摄体对应的簇。

另外，簇的位置是指代表属于簇的多个区域的位置。例如，簇的位置是属于簇的多个区域的中心位置或者重心位置等。

最后，说明晃动校正部35。

晃动校正部35，利用PSF，针对属于由被摄体区域确定部34确定的簇的区域，进行晃动的复原。也就是说，晃动校正部35，基于被推定的晃动的方向以及晃动的大小，对属于被确定的簇的区域的晃动进行校正。

另外，晃动校正部35，利用上述的非专利文献1中记载的方法、维纳滤波或者Richardson-Lucy算法等来对晃动进行校正就可以。

据此，晃动校正部35能够生成背景的像具有被摄体的移动方向的晃动而被摄体的像不具有晃动的输出图像。也就是说，晃动校正部35能够恰当地生成摇摄的图像。

另外，也可以是，晃动校正部35可以按照每个区域来对晃动进行校正，也可以按照每个簇来对晃动进行校正。具体而言，例如，晃动校正部35，按照属于被确定的簇的每个区域，利用该区域被推定的晃动的方向以及晃动的大小，来对该区域的晃动进行校正。据此，晃动校正部35能够高精确度地对晃动进行校正。并且，例如，可以是，晃动校正部35，利用按照属于被确定的簇的每个区域被推定的晃动的方向以及晃动的大小的平均，来对属于被确定的簇的区域的晃动进行校正。据此，晃动校正部35，能够统一对属于簇的区域的晃动进行校正，能够减低计算负荷。

其次，说明以上述来构成的图像处理装置的各种工作。

图6是示出本发明的实施例的图像处理的流程的流程图。

首先，晃动推定部32，针对输入图像内的多个区域的每一个区域，推定PSF(S101)。在图6中，晃动推定部32，将输入图像61分割为多个矩形区域，并按照每一个该矩形区域来推定PSF。

接着，分簇部33，基于被推定的PSF的相似性，对多个区域进行分簇(S102)。例如，如分簇结果62所示，分簇部33，将多个区域分簇为第一簇62a(标示了剖面线的区域)和第二簇62b(未表示剖面线的区域)。

并且，被摄体区域确定部34，从通过进行分簇而得到的多个簇中，确定与被摄体对应的至少一个簇(S103)。例如，被摄体区域确定部34，将位于输入图像的中央的位置的第一簇62a，确定为与被摄体对应的簇。

最后，晃动校正部35，基于被推定的晃动的方向及晃动的大小，对属于被确定的簇的区域的晃动进行校正(S104)。例如，晃动校正部35，通过对属于第一簇62a的八个区域的晃动进行校正，从而生成输出图像63。

这样，通过本实施例的图像处理装置36，能够容易地将背景的像与被摄体的像分离。并且，因为仅对作为摇摄的对象的主要的被摄体的像的晃动进行校正，而对背景的像则使其照旧维持具有晃动的状态，因此能够简便地生成摇摄的图像。

也就是说，根据本实施例的图像处理装置36，能够基于晃动的相似性，对输入图像内的多个区域进行分簇。在对运动的被摄体进行摇摄的情况下，被摄体的像与背景的像具有不同的晃动。因此，通过基于晃动的相似性对输入图像内的多个区域进行分簇，从而能够划分为与被摄体对应的簇(区域的集合)以及与背景对应的簇。因此，对属于与被摄体对应的簇的区域的晃动，基于属于该簇的区域而被推定的晃动的方向以及晃动的大小，来对晃动进行校正，从而能够生成使被摄体的晃动被抑制且被摄体的速度感被表现出的图像。

以上，基于实施例说明了本发明的一个实施例所涉及的图像处理装置36，但是，本发明并不限定于这些实施例。只要不超出本发明的宗旨，对本实施例进行了同行业人员所能想到的各种变形的方式，或者组合不同的实施方式的构成要素来构筑的方式也包括在本发明的范围内。

例如，上述实施例中，晃动推定部32，通过推定各区域的PSF，从而推定各区域的晃动的方向以及晃动的大小，但是只要能够推定各区域的晃动的方向以及晃动的大小就可以，并非一定要推定PSF。也可以是，例如，晃动推定部32，针对连拍的、包括输入图像的多个图像，通过追踪在各图像间对应的点，从而推定晃动的方向以及晃动的大小。

并且，例如，在上述实施例中，PSF大小决定部52，将预先规定的大小作为PSF的大小来决定，但是并非一定要这样来决定PSF的大小。PSF大小决定部52，也可以将PSF的大小决定为，使PSF的大小按照输入图像的特征以及输入图像被拍摄时的摄影条件中的至少一方而适应性地变化。

为了得到与被摄体的像的形状一致的簇，最好是各区域的大小小。各区域的大小须在PSF的大小以上。因此，PSF的大小越小越好。但是，在PSF的大小比晃动的大小还小的情况下，PSF就不能恰当地表现晃动。并且，因区域内的图像的特征而存在如果PSF的大小不大则不能恰当地推定PSF的情况。因此，PSF大小决定部52，通过按照摄影条件或输入图像的特征，使PSF的大小适应性地变化，从而能够推定恰当的大小的PSF。

具体而言，也可以是，PSF大小决定部52，将PSF的大小决定为，被摄体的像的轮廓形状越复杂则PSF的大小越小。在被摄体的像的轮廓形状不复杂的情况下，区域内的特征少，难以高精确度地推定大小小的PSF。因此，PSF大小决定部52，通过将PSF的大小决定为，被摄体的像的轮廓形状越复杂则PSF的大小越小，从而能够高精确度地推定PSF。另外，一般而言，在被摄体的像的轮廓形状复杂的情况下，构成输入图像的像素的像素值的离散变大。因此，也可以是，PSF大小决定部52，将PSF的大小决定为，构成输入图像的像素的像素值越离散则PSF的大小越小。

并且，也可以是，例如，PSF大小决定部52，将PSF的大小决定为，输入图像被拍摄时的曝光时间越长则PSF的大小越大。并且，也可以是，PSF大小决定部52，将PSF的大小决定为，输入图像被拍摄时的摄像装置30的运动越大则PSF的大小越大。此时，也可以是，PSF大小决定部52，利用由被装配在摄像装置30的运动传感器(例如陀螺传感器等)获得的信息，来决定PSF的大小。据此，PSF大小决定部52，能够使PSF的大小比晃动的大小小的可能性减低。

并且，也可以是，PSF大小决定部52，利用用户指示的与被摄体有关的信息，来决定PSF的大小。此时，PSF大小决定部52，通过接受来自用户的输入，从而取得与被摄体有关的信息就可以。另外，与被摄体有关的信息是例如被摄体的类别(汽车、电车、飞机、人或马等)、被摄体的移动速度等。

另外，在上述实施例中，被摄体区域确定部34，将位于输入图像的中央附近的位置的簇，作为与被摄体对应的簇来确定，但是并非一定要这样确定。例如，也可以是，被摄体区域确定部34，基于输入信息来确定与被摄体对应的簇，该输入信息是从用户接受的输入信息且该输入信息示出输入图像内的被摄体的像的位置。此时，用户例如针对显示在触屏等的输入图像，指示被摄体的像的位置就可以。据此，被摄体区域确定部34，能够正确地确定与被摄体对应的簇。

并且，也可以是，被摄体区域确定部34，将晃动的大小比阈值小的簇，作为与所述被摄体对应的簇来确定。据此，被摄体区域确定部34，能够利用背景的像具有的晃动比被摄体的像具有的晃动大的情况多这一特征，来自动地正确地确定与被摄体对应的簇。

另外，也可以是，被摄体区域确定部34，通过组合上述各种方法来确定与被摄体对应的区域。例如，也可以是，被摄体区域确定部34，将位于输入图像的中央附近的位置且晃动小的簇，作为与被摄体对应的簇来确定。

另外，在上述实施例中，多个区域的大小都相同，但是大小并非一定要相同。例如，也可以是，图像输入部51，按照输入图像的位置，使区域的大小适应性地变化。

另外，在上述实施例中，输入图像是通过由用户移动摄像部31以便追踪被摄体这样来拍摄的图像，但是也可以是，例如，摄像部31被固定而拍摄的图像。此时，最好是，晃动校正部35，进一步，利用属于与被摄体对应的簇的区域的被推定的晃动的方向以及晃动的大小，对属于与被摄体对应的簇之外的簇的区域的晃动进行加工。在此，对晃动进行加工是指强调晃动的图像处理。具体而言，对晃动进行加工是例如通过将图像与PSF进行卷积运算来实现。

据此，晃动校正部35，能够对晃动进行校正，以使属于与被摄体对应的簇之外的簇(也就是说，与背景对应的簇)的区域的图像在被摄体的晃动方向晃动。因此，晃动校正部35能够生成更加强调了被摄体的速度感的图像。

另外，在上述实施例中，图像处理装置36被具备在摄像装置30，但是图像处理装置36并非一定要被具备在摄像装置30。也就是说，也可以是，图像处理装置36可以作为与摄像装置30独立的装置来构成。

并且，也可以是，上述实施例的图像处理装置36所具备的构成要素的一部分或全部，由一个***LSI(LargeScaleIntegration：大规模集成电路)来构成。例如，也可以是，图像处理装置36由具有晃动推定部32、分簇部33、被摄体区域确定部34以及晃动校正部35的***LSI来构成。

***LSI是将多个构成要素集成在一个芯片上而制造的超多功能LSI，具体而言，是包括微处理器、ROM(ReadOnlyMmory：只读存储器)、RAM(RamdomAccessMemory：随机存取存储器)等而构成的计算机***。所述RAM中记忆有计算机程序。通过所述微处理器随所述计算机程序工作，***LSI达成其功能。

另外，在此设定是LSI，但根据集成度的不同，有时也称为IC、***LSI、超级(super)LSI、特级(ultra)LSI。并且，集成电路化的方法不只限于LSI，也可以通过专用电路或者通用处理器来实现。也可以采用在制作LSI后能够编程的FPGA(FieldProgrammableGateArray：现场可编程门阵列)、或者能够重构LSI内部的电路单元的连接及设定的可重构处理器。

而且，如果由于半导体技术的进步或者派生其他的技术而出现替换LSI的集成电路化的技术，当然也可以使用该技术进行功能块的集成化。也有适用生物技术等的可能性。

并且，本发明不仅能够作为具备具有这样的特征的处理部的图像处理装置来实现，还能够作为以包含在该图像处理装置中的具有特征的处理部作为步骤的图像处理方法来实现。并且，也能够作为使计算机执行图像处理方法中包括的具有特征的各步骤的计算机程序来实现。并且，不言而喻，这样的计算机程序能够通过CD-ROM等计算机可读取的非暂时性的记录介质或者互联网等通信网络而使其流通。

本发明作为能够对通过摇摄被摄体而得到的输入图像的晃动进行校正的图像处理装置、具备该图像处理装置的数字静像相机或者数字摄像机等摄像装置有用。

符号说明

30撮像装置

31撮像部

32晃动推定部

33分簇部

34被摄体区域确定部

35晃动校正部

36图象处理装置

51图像输入部

52点扩散函数大小决定部

53点扩散函数推定部

Claims (14)

1.一种图像处理装置，对通过摇摄被摄体而得到的输入图像的晃动进行校正，该图像处理装置具备：

晃动推定部，针对所述输入图像内的多个区域的每一个区域，推定晃动的方向以及晃动的大小；

分簇部，基于被推定出的所述晃动的方向以及所述晃动的大小中的至少一方的相似性，对所述多个区域进行分簇；

被摄体区域确定部，从通过进行所述分簇而得到的多个簇中，确定与所述被摄体对应的至少一个簇；以及

晃动校正部，基于被推定出的所述晃动的方向以及所述晃动的大小，对属于被确定的所述簇的区域的晃动进行校正，

所述晃动推定部具有：

点扩散函数大小决定部，将点扩散函数的大小决定为，所述点扩散函数的大小基于所述输入图像内的被摄体像的轮廓形状的复杂度而适应性地变化；以及

点扩散函数推定部，针对所述输入图像内的多个区域的每一个区域，推定所决定的大小的点扩散函数，从而推定所述晃动的方向以及所述晃动的大小。

2.如权利要求1所述的图像处理装置，

所述点扩散函数大小决定部，将所述点扩散函数的大小决定为，所述被摄体的像的轮廓形状越复杂则所述点扩散函数的大小越小。

3.如权利要求1所述的图像处理装置，

所述点扩散函数大小决定部，将所述点扩散函数的大小决定为，所述输入图像被拍摄时的曝光时间越长则所述点扩散函数的大小越大。

4.如权利要求1所述的图像处理装置，

所述分簇部，对所述多个区域进行分簇而使两个区域的点扩散函数间的L2范数或者L1范数越小则该两个区域就越属于同一个簇。

5.如权利要求1所述的图像处理装置，

所述分簇部，对所述多个区域进行分簇而使表示两个区域的晃动的方向以及晃动的大小的矢量的差分越小则该两个区域就越属于同一个簇。

6.如权利要求1所述的图像处理装置，

所述被摄体区域确定部，将位于距所述输入图像的中央的距离在阈值以内的位置的簇，作为与所述被摄体对应的簇来确定。

7.如权利要求1所述的图像处理装置，

所述被摄体区域确定部，基于输入信息来确定与所述被摄体对应的簇，所述输入信息是从用户接受的输入信息且该输入信息示出所述输入图像内的所述被摄体的像的位置。

8.如权利要求1所述的图像处理装置，

所述被摄体区域确定部，将晃动的大小比阈值小的簇，作为与所述被摄体对应的簇来确定。

9.如权利要求1所述的图像处理装置，

所述晃动校正部，按照属于被确定的所述簇的每一个区域，利用该区域的被推定的所述晃动的方向及所述晃动的大小，对该区域的晃动进行校正。

10.如权利要求1所述的图像处理装置，

所述晃动校正部，利用按照属于被确定的所述簇的每一个区域被推定的所述晃动的方向及所述晃动的大小的平均，对属于被确定的所述簇的区域的晃动进行校正。

11.如权利要求1所述的图像处理装置，

所述晃动校正部，进一步，利用属于与所述被摄体对应的簇的区域的被推定的所述晃动的方向以及所述晃动的大小，对属于与所述被摄体对应的簇之外的簇的区域的晃动进行加工。

12.如权利要求1所述的图像处理装置，

所述图像处理装置作为集成电路来构成。

13.一种摄像装置，该摄像装置具备：

权利要求1所述的图像处理装置；以及

摄像部，生成所述输入图像。

14.一种图像处理方法，对通过摇摄被摄体而得到的输入图像的晃动进行校正，该图像处理方法包括：

晃动推定步骤，针对所述输入图像内的多个区域的每一个区域，推定晃动的方向以及晃动的大小；

分簇步骤，基于被推定出的所述晃动的方向以及所述晃动的大小中的至少一方的相似性，对所述多个区域进行分簇；

被摄体区域确定步骤，从通过进行所述分簇而得到的多个簇中，确定与所述被摄体对应的至少一个簇；以及

晃动校正步骤，基于被推定出的所述晃动的方向以及所述晃动的大小，对属于被确定的所述簇的区域的晃动进行校正，

所述晃动推定步骤包括：

点扩散函数大小决定步骤，将点扩散函数的大小决定为，所述点扩散函数的大小基于所述输入图像内的被摄体像的轮廓形状的复杂度而适应性地变化；以及

点扩散函数推定步骤，针对所述输入图像内的多个区域的每一个区域，推定所决定的大小的点扩散函数，从而推定所述晃动的方向以及所述晃动的大小。