CN102017607A - 图像校正装置以及图像校正方法 - Google Patents

图像校正装置以及图像校正方法 Download PDF

Info

Publication number
CN102017607A
CN102017607A CN2010800014220A CN201080001422A CN102017607A CN 102017607 A CN102017607 A CN 102017607A CN 2010800014220 A CN2010800014220 A CN 2010800014220A CN 201080001422 A CN201080001422 A CN 201080001422A CN 102017607 A CN102017607 A CN 102017607A
Authority
CN
China
Prior art keywords
point spread
spread function
psf
image
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800014220A
Other languages
English (en)
Other versions
CN102017607B (zh
Inventor
石井育规
物部祐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102017607A publication Critical patent/CN102017607A/zh
Application granted granted Critical
Publication of CN102017607B publication Critical patent/CN102017607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

通过不利用多个图像就校正包含多个抖动的输入图像，从而生成抖动比输入图像少的目标图像。图像校正装置(100)，通过校正输入图像，从而生成抖动比所述输入图像少的目标图像，所述图像校正装置具备：自适应区域划分部(110)，按照构成输入图像的像素的像素值，将输入图像划分为多个自适应区域；PSF插值部(120)，利用按被划分的多个自适应区域算出的表示图像的抖动特征的PSF，对位于代表像素之间的像素的PSF进行插值，所述代表像素是代表多个自适应区域的每一个自适应区域的像素；以及图像校正部(130)，通过利用插值后的PSF校正输入图像，从而生成目标图像。

Description

图像校正装置以及图像校正方法
技术领域
本发明涉及对使用数字图片相机、安防相机等拍摄的图像进行校正的图像校正装置，尤其涉及校正图像抖动的图像校正装置。
背景技术
在用户使用相机拍摄了被摄体的情况下，有时拍摄的图像产生抖动。该图像产生的抖动大致分为手抖动(hand shake blur)以及被摄体抖动(motion blur)的两个种类。手抖动是按快门时等因相机抖动而产生的图像的抖动。此外，被摄体抖动是因被摄体在拍摄中移动而产生的图像的抖动。
作为表示这样的手抖动以及被摄体抖动的特征的函数有点扩散函数(以下，称为“PSF/Point Spread Function”)。所谓PSF是指表示点像(Point image)因抖动或者散焦而模糊的时候的强度分布的函数。图14A和图14B是用于说明PSF的图。例如，如图14A所示，由图像1003来表现表示从没有模糊的图像1001劣化到散焦图像1002的PSF。此外，如图14B所示，由图像1006来表现表示从没有抖动的图像1004劣化到向x方向抖动的图像1005的PSF。
另外，近几年校正手抖动的技术(例如，电子式手抖动校正、光学式手抖动校正等)已经实用化。具体而言，在光学式手抖动校正的情况下，例如根据陀螺仪(gyroscope)等的感应器信息来推定摄影时的手的动作。此外，按照推定的动作来控制透镜机构或者受光部感应器，从而实现手抖动的校正。而且，在电子式手抖动校正的情况下，例如根据陀螺仪等的感应器信息算出PSF。此外，利用算出的PSF来校正图像，从而实现手抖动的校正。在手抖动的情况下，PSF与摄影时的手的动作对应，所以在图像整体中大体相同。
另一方面，在被摄体抖动的情况下，PSF与被摄体的动作对应，所以按图像的区域而不同。从而，使用与校正手抖动的方法同样的方法来校正被摄体抖动是困难的。
于是，作为校正被摄体抖动的技术提出了利用低分辨率的图像列和高分辨率的图像的方法，所述低分辨率的图像列是利用高速快门拍摄的图像列，所述高分辨率的图像是利用低速快门拍摄的图像(例如，参考非专利文献1)。在非专利文献1记载的方法中，在抖动少的低分辨率高速快门的图像列中包含的多个图像之间使像素相对应，从而推定被摄体图像的动作。而且，利用推定出的被摄体图像的动作，校正抖动大的低速快门的图像，从而得到被校正了被摄体抖动的高分辨率的图像。
此外，作为校正被摄体抖动的其他的技术提出了利用连续拍摄的多个图像进行校正的方法(例如，参考专利文献1)。在专利文献1记载的方法中与非专利文献1的方法相同，根据连续拍摄的多个图像求出被摄体的动作(轨迹)，从而求出1个劣化函数(例如，PSF)，所述劣化函数表示在对象图像的所有像素位置上的劣化特性。另外，利用这样算出的劣化函数，从对象图像生成没有抖动的图像。
专利文献1：日本特开2001-197355号公报
非专利文献1：Image/Video Deblurring using a Hybrid Camera(Yu-Wing Tai，Hao Du，M.S.Brown，S.Lin CVPR2008)
然而，在非专利文献1记载的方法中存在如下课题，在不能利用高速快门的环境的情况下，不能校正被摄体抖动。例如，在低照度环境中，根据高速快门拍摄图像的情况下，因为光量不足只能得到暗的图像。在利用这样的暗的图像的情况下，图像之间的像素的对应精度下降。此外，为了消除低照度环境的光量不足而提高灵敏度的情况下，暗电流噪声及热噪声等摄像装置引起的噪声信号被放大，所以图像之间的像素的对应精度下降。这样在非专利文献1记载的方法中，在被摄体抖动发生的机会多的低照度环境中，图像之间的像素的对应精度下降，所以不能高精度地校正被摄体抖动。
此外，在专利文献1记载的方法中，与非专利文献1记载的方法同样地需要连续拍摄的多个图像，所以在低照度环境中不能高精度地校正被摄体抖动。此外，在专利文献1中有下述记载，根据对象图像的多个区域算出的劣化函数来算出对象图像的所有像素位置上的劣化函数，但是没有记载具体的方法。
发明内容
于是，本发明鉴于所述课题而提出，其目的在于提供一种图像校正装置，能够将包含多个抖动的输入图像高精度地校正为抖动比输入图像少的目标图像。
为了达到上述目的，本发明涉及的图像校正装置，通过校正输入图像，从而生成抖动比所述输入图像少的目标图像，所述图像校正装置具备：自适应区域划分部，根据构成所述输入图像的像素的像素值，将抖动相同的区域决定为一个自适应区域，从而将所述输入图像划分为多个自适应区域，并按每个已划分的自适应区域算出表示图像的抖动特征的点扩散函数；点扩散函数插值部，利用算出的所述点扩散函数，对位于代表像素之间的像素的点扩散函数进行插值，所述代表像素是代表所述多个自适应区域的每一个自适应区域的像素；以及图像校正部，通过利用插值后的所述点扩散函数校正所述输入图像，从而生成所述目标图像。
根据这个构成，能够将输入图像划分为多个自适应区域以使抖动相同的区域成为1个自适应区域。其结果，按每个抖动相同的区域利用点扩散函数校正输入图像，所以能够将包含多个抖动的输入图像高精度地校正为抖动比该输入图像少的目标图像。进而能够利用按每个区域算出的点扩散函数，对位于代表像素之间的像素的点扩散函数进行插值，所以能够抑制因已划分的区域的境界中点扩散函数的不连续而在目标图像产生的不协调感。
此外，优选的是，所述自适应区域划分部，根据点扩散函数的类似性，将抖动相同的区域决定为一个自适应区域。
根据这个构成，能够根据点扩散函数的类似性判断抖动的共同性，所以能高精度地将抖动相同的区域决定为1个自适应区域。
此外，优选的是，所述自适应区域划分部具备：第一点扩散函数算出部，算出初始区域的点扩散函数，以作为第一点扩散函数，所述初始区域是所述输入图像的一部分区域；区域保持部，保持所述初始区域，以作为保持区域；第二点扩散函数算出部，算出评价区域的点扩散函数，以作为第二点扩散函数，所述评价区域是包含所述初始区域且比所述初始区域大的区域；类似度判定部，判定所述第一点扩散函数与所述第二点扩散函数是否类似；以及自适应区域决定部，在由所述类似度判定部判定为所述第一点扩散函数与所述第二点扩散函数不类似的情况下，通过将所述区域保持部最后保持的保持区域决定为所述自适应区域，从而将抖动相同的区域决定为一个自适应区域，所述区域保持部，在由所述类似度判定部判定为所述第一点扩散函数与所述第二点扩散函数类似的情况下，保持所述评价区域，以作为保持区域，所述第二点扩散函数算出部，在由所述类似度判定部判定为所述第一点扩散函数与所述第二点扩散函数类似的情况下，算出新的评价区域的点扩散函数，以作为所述第二点扩散函数，所述新的评价区域是包含所述评价区域且比所述评价区域大的区域。
根据这个构成，能够自适应地划分输入图像，以使点扩散函数类似的区域成为1个自适应区域，所以能够将拍摄了往不同方向移动的多个被摄体而得到的一张输入图像，划分为与被摄体对应的自适应区域。即，能够利用符合每个被摄体图像的抖动方向的点扩散函数来校正输入图像，所以能够生成抖动更少的目标图像。
此外，优选的是，所述第一点扩散函数算出部具备：候补区域选择部，选择所述输入图像的全部或者一部分区域，以作为候补区域；抖动方向判定部，判定由所述候补区域选择部选择出的候补区域的抖动方向是否是单一的抖动方向；以及初始区域决定部，在由所述抖动方向判定部判定为是单一的抖动方向的情况下，将所述候补区域决定为所述初始区域，所述候补区域选择部，在由所述抖动方向判定部判定为不是单一的抖动方向的情况下，选择比所述候补区域小的区域，以作为新的候补区域。
根据这个构成，能够将决定自适应区域时的初始区域决定为单一的抖动方向的区域，所以能够降低抖动方向不同的被摄体图像包含在自适应区域中的可能性。即，能够利用符合每个被摄体图像的抖动方向的PSF来校正输入图像，所以能够生成抖动更少的目标图像。
优选的是，所述自适应区域划分部，根据是否是单一的抖动方向，将抖动相同的区域决定为一个自适应区域。
根据这个构成，能够根据是否是单一的抖动方向来判断抖动的相同性，所以能够高精度地将抖动相同的区域决定为1个自适应区域。
此外，优选的是，所述自适应区域划分部具备：候补区域选择部，选择所述输入图像的全部或者一部分区域，以作为候补区域；抖动方向判定部，判定由所述候补区域选择部选择出的候补区域的抖动方向是否是单一的抖动方向；以及自适应区域决定部，在由所述抖动方向判定部判定为是单一的抖动方向的情况下，通过将所述候补区域决定为所述自适应区域，从而将抖动相同的区域决定为一个自适应区域，所述候补区域选择部，在由所述抖动方向判定部判定为不是单一的抖动方向的情况下，选择比所述候补区域小的区域，以作为新的候补区域。
根据这个构成，能够将单一的抖动方向的区域决定为自适应区域，所以在划分输入图像时能够抑制将包含往不同方向移动的多个被摄体图像的区域作为1个自适应区域来划分。即，能够利用符合被摄体图像的抖动方向的PSF来校正输入图像，所以能够生成抖动更少的目标图像。
此外，优选的是，所述点扩散函数插值部，在算出的所述点扩散函数中至少两个点扩散函数以直线来表现的情况下，将该至少两个点扩散函数的每一个点扩散函数划分为两个以上，并根据划分的点扩散函数的对应关系，对位于所述自适应区域的代表像素之间的像素的点扩散函数进行插值，所述自适应区域是与该至少两个点扩散函数的每一个点扩散函数对应的区域。
根据这个构成，在点扩散函数能够以直线来表现的情况下，能够简单地对点扩散函数进行插值。
此外，优选的是，所述点扩散函数插值部，根据对应关系对位于所述自适应区域的代表像素之间的像素的点扩散函数进行插值，所述对应关系是利用动态规划法的匹配方法使算出的所述点扩散函数互相对应而得到的，所述自适应区域是与该点扩散函数的每一个点扩散函数对应的区域。
根据这个构成，即使是点扩散函数不能以直线表现的情况下，也能够对点扩散函数进行插值。
此外，优选的是，所述点扩散函数插值部，判定算出的所述点扩散函数是否互相类似，对位于自适应区域的代表像素之间的像素的点扩散函数进行插值，所述自适应区域是与判定为互相类似的点扩散函数的每一个点扩散函数对应的区域。
根据这个构成，对点扩散函数互相不类似的自适应区域不进行点扩散函数的插值，所以能够降低对进行互不相同的动作的被摄体图像的境界进行点扩散函数插值的可能性。即，能够降低针对与不同于实际被摄体动作的动作对应的点扩散函数进行插值的可能性。
另外，本发明不仅作为这样的图像校正装置来实现，也能作为具备这样的图像校正装置所具备的特征性构成部的集成电路来实现。
此外，本发明不仅作为这样的图像校正装置来实现，也能作为以这样的图像校正装置具备的特征性构成部的动作为步骤的图像校正方法来实现。进而，本发明也能作为使计算机执行图像校正方法所包含的各步骤的程序来实现。而且，这些程序也可以经由CD-ROM(Compact Disc-Read Only Memory)等记录媒体或者互联网等的传送媒体来分发。
根据上述说明可知，本发明涉及的图像校正装置，能够将包含多个抖动的输入图像划分为多个自适应区域，以使抖动相同的区域成为1个自适应区域。其结果，图像校正装置能够按每个抖动相同的区域校正输入图像，所以能够将包含多个抖动的输入图像，高精度地校正为抖动比该输入图像少的目标图像。
附图说明
图1是表示本发明的实施方式1以及2涉及的图像校正装置的功能构成的方框图。
图2是表示本发明实施方式1涉及的程序存储部的功能构成的方框图。
图3是表示本发明的实施方式1以及2涉及的图像校正装置的整体处理流程的流程图。
图4是表示本发明实施方式1涉及的自适应区域划分部的处理流程的流程图。
图5是用于说明本发明实施方式1涉及的自适应区域划分部的区域划分的处理流程的图。
图6是表示本发明实施方式1以及2涉及的PSF插值部的处理流程的流程图。
图7是用于说明本发明的实施方式1以及2涉及的PSF插值部的PSF的插值的图。
图8是用于说明本发明的实施方式1以及2涉及的PSF插值部的PSF的插值的图。
图9是表示本发明实施方式1涉及的由第1PSF算出部进行的决定初始区域有关的处理流程的流程图。
图10是用于说明本发明实施方式1涉及的由第1PSF算出部进行的决定初始区域有关的处理流程的图。
图11是表示本发明的实施方式2涉及的程序存储部的功能构成的方框图。
图12是表示本发明实施方式2涉及的自适应区域划分部的处理流程的流程图。
图13是表示本发明涉及的***LSI的功能构成的方框图。
图14A是用于说明PSF的图。
图14B是用于说明PSF的图。
具体实施方式
下面，参考附图来说明本发明的实施方式。
(实施方式1)
图1是表示本发明的实施方式1涉及的图像校正装置100的功能构成的方框图。
如图1所示，图像校正装置100具备演算控制部101、存储器部102、显示部103、输入部104、通信I/F(接口)部105、数据记忆部106、以及程序存储部107。这些各构成部101～107经由总线108连接。
演算控制部101是CPU(Central Processing Unit/中央处理机)、数值处理器等，按照来自用户的指示等从程序存储部107加载存储器部102所需的程序并执行，按照其执行结果，控制各构成部102～107。
存储器部102是提供演算控制部101的作业区域的RAM(Random Access Memory/随机存取存储器)等。
显示部103是CRT(Cathode-Ray Tube/阴极射线管)、LCD(Liquid Crystal Display/液晶显示器)等。此外，输入部104是键盘、鼠标等。而且，这些显示部103以及输入部104，在演算控制部101的控制下，用于图像校正装置100和用户进行对话等。
通信I/F部105是LAN适配器等，用于图像校正装置100和相机400等的通信。
数据记忆部106是存储通过相机400等获得的输入图像以及通过校正输入图像而获得的目标图像等的硬盘、闪存等。
程序存储部107是存储实现图像校正装置100的功能的各种程序的ROM(Read Only Memory/只读存储器)等。
图2是表示本发明实施方式1涉及的程序存储部107的功能构成的方框图。如图2所示，程序存储部107在功能上(作为由演算控制部101执行的情况下发挥功能的处理部)具有自适应区域划分部110、PSF插值部120以及图像校正部130。
自适应区域划分部110根据构成输入图像的像素的像素值，将抖动相同的区域决定为1个自适应区域，从而将输入图像划分为多个自适应区域。进而，自适应区域划分部110，按每个划分的自适应区域算出PSF。具体而言，自适应区域划分部110按照PSF的类似性，将抖动相同的区域决定为1个自适应区域。
如图2所示，自适应区域划分部110具备第一PSF算出部111、区域保持部112、第二PSF算出部113、类似度判定部114、自适应区域决定部115。
第一PSF算出部111将输入图像的一部分区域即初始区域的PSF作为第一PSF来算出。具体而言，第一PSF算出部111具备候补区域选择部111a、抖动方向判定部111b、初始区域决定部111c。而且，第一PSF算出部111，算出由初始区域决定部111c决定的初始区域的PSF以作为第一PSF。
候补区域选择部111a将输入图像的全部或者一部分区域作为候补区域来选择。此外，候补区域选择部111a在抖动方向判定部111b判定为不是单一的抖动方向的情况下，将比候补区域小的区域作为新的候补区域来选择。
抖动方向判定部111b判定由候补区域选择部111a选择的候补区域的抖动方向是否为单一的抖动方向。
初始区域决定部111c在由抖动方向判定部111b判定为是单一的抖动方向的情况下，将候补区域决定为初始区域。
区域保持部112将初始区域作为保持区域来保持。此外，区域保持部112，在由后述的类似度判定部114判定为第一PSF与第二PSF类似的情况下，将评价区域作为保持区域来保持。
第二PSF算出部113将评价区域的PSF作为第二PSF来算出，所述评价区域是包含初始区域且比初始区域大的区域。此外，第二PSF算出部113在由类似度判定部114判定为第一PSF与第二PSF类似的情况下，将新的评价区域的PSF作为第二PSF来算出，所述新的评价区域是包含评价区域且比评价区域大的区域。
类似度判定部114判定第一PSF与第二PSF是否类似。
自适应区域决定部115在由类似度判定部114判定为第一PSF与第二PSF不类似的情况下，将最后保持在区域保持部112的保持区域决定为自适应区域。就是说，自适应区域决定部115根据PSF的类似性将抖动相同的区域决定为1个自适应区域。
PSF插值部120利用算出的PSF，对位于代表像素之间的像素的PSF进行插值。在此所谓代表像素是指代表多个区域中的每一个区域的像素。例如，代表像素是各区域的中心、重心等像素。
具体而言，PSF插值部120，例如利用根据运动规划法(Dynamic Programming)的匹配方法(下面称为“DP匹配”)，使按照每个自适应区域算出的PSF互相对应。并且，PSF插值部120，根据通过这样使PSF相对应所得到的对应关系，对位于自适应区域的代表像素之间的像素的PSF进行插值，所述自适应区域与上述PSF的每一个对应。
另外，PSF插值部120例如在所算出的PSF中至少2个PSF以直线来表现的情况下，可以将该至少2个PSF进行划分之后进行对应。具体而言，PSF插值部120，根据通过这样使PSF相对应所得到的对应关系，可以对位于自适应区域的代表像素之间的像素的PSF进行插值，所述自适应区域与该至少2个PSF的每一个对应。
此外，PSF插值部120判定PSF是否互相类似，对位于与判定为互相类似的PSF的每一个对应的自适应区域的代表像素之间的像素的PSF进行插值。
图像校正部130，通过利用PSF校正输入图像，从而生成抖动比输入图像少的目标图像。
接着说明如上述构成的图像校正装置100的各种动作。
图3是表示本发明的实施方式1涉及的图像校正装置100的整体处理流程的流程图。
首先，自适应区域划分部110按照构成数据记忆部106中存储的输入图像的像素的像素值，将输入图像划分为自适应大小的多个自适应区域。加之，自适应区域划分部110按每个自适应区域算出PSF(S101)。接着，PSF插值部120利用按每个自适应区域算出的PSF，对位于各自适应区域的代表像素之间的像素的PSF进行插值(S102)。
最后，图像校正部130利用每个插值后的像素的PSF校正输入图像，从而生成抖动比输入图像少的目标图像(S103)。例如，图像校正部130采用以下公式(1)示出的R-L方法(Richardson-Lucy method)，利用通过步骤S101及步骤S102的处理所得到的每一个像素的PSF，校正输入图像。
公式(1)
I n + 1 = ( K * B + 1 ( I n + 1 ) ⊗ K ) ( I n + 1 ) . . . ( 1 )
Figure BPA00001250123300102
：Convolution
在此，I表示校正后的图像(目标图像)。此外，K表示PSF。此外，B表示输入图像。
另外，本实施方式中图像校正部130采用R-L方法校正输入图像，不过，也可以采用Fourier-log方法，最大熵法(Maximum entropy method)等其他的方法校正输入图像。
接着，对由自适应区域划分部110进行的区域划分的细节进行说明。
图4是表示本发明实施方式1涉及的自适应区域划分部110的处理(S101)流程的流程图。
首先，第一PSF算出部111决定作为输入图像的一部分区域的初始区域(S201)。关于决定初始区域的处理的细节在后边叙述。
接着，第一PSF算出部111将决定的初始区域的PSF作为第一PSF来算出(S202)。具体而言，第一PSF算出部111利用根据一幅图像算出PSF的方法(例如，参见非专利文献2“Removing Camera Shake from a single image(Rob Fergus et.al，SIGGRAPH2006)”)来算出PSF。
在利用非专利文献2所述的方法的情况下，数据记忆部106预先存储没有抖动的一般的自然图像中显示的图像梯度(image gradient)的分布。此外，第一PSF算出部111反复对利用给予的PSF校正初始区域的时候所得到的图像梯度的分布和存储在数据记忆部106的图像梯度的分布进行比较，搜索这些图像梯度的分布一致或者类似的PSF。此外，第一PSF算出部111将这样进行搜索结果所得到的PSF作为第一PSF来算出。
接着，区域保持部112，将由第一PSF算出部111决定的初始区域作为保持区域来保持(S203)。
接着，第二PSF算出部113选择评价区域(S204)。该评价区域是包含初始区域且比初始区域大的区域。例如，在初始区域为矩形区域的情况下，第二PSF算出部113将比起初始区域在x方向上大1像素，y方向上大1像素的区域作为评价区域来选择。此外，第二PSF算出部113，将选择的评价区域的PSF作为第二PSF来算出(S205)。
另外，第二PSF算出部113没有必要将x方向以及y方向的双方都比初始区域大的区域决定为评价区域。例如，第二PSF算出部113可以将只在x方向以及y方向中的一方比初始区域大的区域决定为评价区域。进而，第二PSF算出部113可以例如只对初始区域的外缘的一部分，向x方向或者y方向扩展的区域决定为评价区域。根据这些，因为第二PSF算出部113能够灵活地选择评价区域，能够提高将进行相同动作的被摄体的图像作为一个区域来选择的可能性。
接着，类似度判定部114判定第一PSF与第二PSF是否类似(S206)。具体而言，类似度判定部114算出将第一PSF以及第二PSF作为图像来表现的时候的图像间距离，以作为表示PSF的类似程度的类似度。例如，类似度判定部114将由以下公式(2)所算出的L1范数(L1 norm)作为类似度来算出。另外，L1范数的值越小，就表示类似程度越高。
公式(2)
在此，P1ij表示在将第一PSF作为图像来表现的情况下，由坐标(i，j)确定的像素的PSF值。此外，P2ij表示在将第二PSF作为图像来表现的情况下，由坐标(i，j)确定的像素的PSF值。
类似度判定部114在第一PSF和第二PSF的L1范数比预先规定的阈值小的情况下，判定为第一PSF与第二PSF类似。相反，类似度判定部114在第一PSF和第二PSF的L1范数是预先规定的阈值以上的情况下，判定为第一PSF与第二PSF不类似。
另外，本实施方式中，类似度判定部114将L1范数作为类似度来算出，不过也可以用其他的图像间的类似度判定方法来算出类似度。例如，类似度判定部114可以将L2范数作为类似度来算出。
在此，在判定为第一PSF与第二PSF类似的情况下(S206中的“是”)，区域保持部112保持评价区域以作为保持区域(S207)。进而，第二PSF算出部113选择新的评价区域(S204)。该新的评价区域是包含由步骤S207保持的保持区域且比由步骤S207保持的保持区域大的区域。此外，采用新的评价区域，执行步骤S205及步骤S206的处理。这样，直到在步骤S206中判定为第一PSF与第二PSF不类似为止，反复步骤S204～S207的处理。
另一方面，在判定为第一PSF与第二PSF不类似的情况下(S206中的“否”)，自适应区域决定部115将在步骤S207最后保持的保持区域决定为自适应区域(S208)。
接着，第一PSF算出部111，判定输入图像的所有像素是否包含在已被决定的自适应区域中(S209)。
在此，在输入图像的所有像素没有包含在已被决定的自适应区域中的情况下(S209中的“否”)，第一PSF算出部111将只包含尚未包含在自适应区域中的像素的区域决定为初始区域(S201)。例如，第一PSF算出部111在决定初始区域时，使初始区域包含与被决定的自适应区域的右端或者下端邻接的像素。另外，第一PSF算出部111在决定初始区域时，可以使初始区域不是包含邻接的像素，而是包含相隔由预期的知识所决定的像素数的像素。此外，第一PSF算出部111在决定初始区域时，使初始区域包含相隔用户的输入值示出的像素数的像素，所述用户的输入值由输入部104所接受。
另一方面，输入图像的所有像素包含在已被决定的自适应区域中的情况下(S209中的“是”)，执行图3的步骤S102的处理。
自适应区域划分部110通过重复进行所述的步骤S201至步骤S209的处理，从而将输入图像划分为多个自适应区域。
这样，划分输入图像时使PSF类似的区域成为1个区域，从而能够使进行不同动作的被摄体的图像的境界和区域的境界一致。
接着，用图5具体地说明由所述的自适应区域划分部110进行的区域划分的处理的流程。
图5是用于说明本发明实施方式1涉及的自适应区域划分部110进行的区域划分的处理流程的图。
首先，如图5(a)所示，第一PSF算出部111决定初始区域501。此外，第一PSF算出部111算出第一PSF502(P1)，以作为初始区域501的PSF。另外，在此初始区域501是矩形，不过，初始区域501没有必要一定是矩形。例如，初始区域501可以是菱形，平行四边形或者圆形等任意的形状。
接着，如图5(b)所示，第二PSF算出部113将包含初始区域501且比初始区域501大的区域作为评价区域503来选择。而且，第二PSF算出部113算出第二PSF504(P2)，以作为评价区域503的PSF。另外，在此评价区域503是矩形，不过，评价区域503没有必要一定是矩形。例如，评价区域503可以是菱形，平行四边形或者圆形等任意的形状。
在此，类似度判定部114算出第一PSF502和第二PSF504的L1范数。因为算出的L1范数比阈值TH小，所以类似度判定部114判定为第一PSF502与第二PSF504类似。从而，区域保持部112保持评价区域503。
接着，第二PSF算出部113如图5(c)所示，将包含评价区域503且比评价区域503大的区域作为评价区域505来选择。此外，第二PSF算出部113算出第二PSF506(P3)，以作为评价区域505的PSF。
在此，类似度判定部114算出第一PSF502和第二PSF506的L1范数。因为算出的L1范数是阈值TH以上，所以类似度判定部114判定为第一PSF502与第二PSF504不类似。从而，自适应区域决定部115将由区域保持部112最后保持的评价区域503决定为自适应区域。
接着，如图5(e)所示，第一PSF算出部111，将与已决定的自适应区域邻接的区域决定为初始区域507。
这样，通过重复从决定初始区域到决定自适应区域为止的处理，自适应区域划分部110如图5(f)所示将输入图像划分为多个自适应区域。
接着，说明由PSF插值部120进行的PSF插值的处理的细节。在进行了划分的区域之间产生PSF的偏差的情况下，产生抖动的境界，所以校正后的目标图像成为具有不协调感的图像。于是，PSF插值部120为了降低校正后的目标图像的不协调感，如以下所示对PSF进行插值。
图6是表示本发明实施方式1涉及的PSF插值部120进行的处理(S102)流程的流程图。
首先，PSF插值部120从由自适应区域划分部110进行划分的多个自适应区域的每一个区域算出的多个PSF中，选择至少包含2个PSF的PSF群(S301)。例如，PSF插值部120选择互相邻接的2个自适应区域的PSF。
接着，PSF插值部120在选择出的PSF群中包含的PSF之间，搜索作为对应的点的对应点(S302)。例如，如图7所示，2个PSF中的每一个分别用1个直线来表现的情况下，PSF插值部120将2个PSF的每一个分为N等分(N为正整数)。此外，PSF插值部120在2个PSF之间，通过使分为N等分的PSF相对应来搜索对应点。此外，例如图8所示，在2个PSF中的至少一个不是用1个直线来表现的情况下，可以通过DP匹配来搜索对应点。另外，在这里搜索出的对应点的组合称为对应关系。
接着，PSF插值部120算出搜索出的对应点之间的距离(S303)。具体而言，PSF插值部120与图5的步骤S206相同，例如作为距离算出L1范数等。在作为距离算出L1范数的情况下，L1范数越小就表示类似程度越高。
接着，PSF插值部120判定所算出的距离是否比预先规定的阈值小(S304)。就是说，PSF插值部120判定PSF群中包含的PSF是否互相类似。
在此，在判定为距离是预先规定的阈值以上的情况下(S304中的“否”)，PSF插值部120执行步骤S306的处理。就是说，在PSF插值部120判定为PSF之间互相不类似的情况下，在与该PSF对应的自适应区域中对PSF不进行插值。即，自适应区域内的各像素的PSF与对该自适应区域算出的PSF相同。
这样，在判定为PSF互相不类似的情况下，PSF插值部120不对PSF进行插值，这是因为与互相不类似的PSF对应的自适应区域中的每一个区域包含的被摄体图像是进行各自不同的动作的被摄体图像的可能性高。即，这样在包含不同的被摄体图像的多个自适应区域中对PSF插值的情况下，可能成为针对与本来不能发生的被摄体的动作对应的PSF进行插值。
另一方面，在判定为距离比预先规定的阈值小的情况下(S302中的“是”)，PSF插值部120在与该PSF对应的自适应区域中对PSF进行插值(S305)。就是说，PSF插值部120在判定为PSF互相类似的情况下，对位于自适应区域的代表像素之间的像素的PSF进行插值。就是说，PSF插值部120针对与各自适应区域内外的像素且是代表像素以外的像素的PSF，根据从代表像素的距离以及PSF的对应关系来进行插值。具体而言，PSF插值部120这样进行插值，按照想要进行插值的像素的位置和各代表像素之间的距离，算出基于PSF的对应关系的新的PSF，将算出的PSF作为该像素的PSF。
即，PSF插值部120只在判定为PSF互相类似的情况下，在与该PSF对应的自适应区域中对PSF进行插值。这是因为在PSF类似的情况下，与该PSF对应的自适应区域的每一个区域包含的被摄体图像是进行相同动作的1个被摄体图像的可能性高。这样在包含1个被摄体图像的多个自适应区域之间，通过由PSF插值部120对PSF进行插值，能够使目标图像中的自适应区域的境界上产生的不协调感减少。另外，PSF插值部120可以通过线性插值、多项式插值或者样条插值(spline interpolation)等任一个插值方法来对PSF进行插值。
接着，PSF插值部120判定是否已经选择了所有PSF(S306)。在此，在只要是PSF中的任一个没被选择的情况下(S306中的“否”)，PSF插值部120选择包含还没被选择的PSF的PSF群(S301)。另一方面，在所有PSF已被选择的情况下(S306中的“是”)，执行图3的步骤S103的处理。
这样，PSF插值部120利用按每个自适应区域算出的PSF，对位于代表每个自适应区域的像素之间的像素的PSF进行插值。其结果，PSF插值部120在邻接的自适应区域的境界中，能够抑制PSF发生不自然的大的变化。即，图像校正部130能够在自适应区域的境界中生成没有不协调感的目标图像。
接着说明由第一PSF算出部111进行的决定初始区域有关的方法。在初始区域太小的情况下，因为第一PSF算出部111难以区分是纹理(texture)或是抖动，所以难以算出PSF。另一方面，在初始区域太大的情况下，进行不同动作的被摄体图像包含在初始区域中的可能性高，所以第一PSF算出部111难以算出对应被摄体动作的PSF。于是说明以下的按顺序从大的区域边进行缩小，边决定初始区域的方法，通过该方法初始区域中不包含进行不同动作的多个被摄体图像。
图9是表示本发明实施方式1涉及的由第1PSF算出部111进行的决定初始区域有关的处理(S201)流程的流程图。
首先，候补区域选择部111a将输入图像的全部或者一部分区域作为候补区域来选择(S401)。接着，抖动方向判定部111b，针对选择的候补区域的像素值利用离散傅立叶转换(DFT：Discrete Fourier Transform)等转换为频率空间(S402)。
此外，抖动方向判定部111b判定通过频率空间转换而得到的频率分布是否能够以sinc函数来表现(S403)。若在图像空间中是矩形波，在频率空间就能以sinc函数(公式(3))来表现。
公式(3)
sin c ( x ) = sin ( x ) x . . . ( 3 )
因此，在图像的抖动为单一方向的情况下，将像素值转换为频率空间而得到的频率分布能用sinc函数来表现。相反，图像的抖动不是单一方向的情况下，将像素值转换为频率空间而得到的频率分布，不能用sinc函数来表现，而是作为多个频率成分集合的频率分布来表现。于是，抖动方向判定部111b，通过判定转换为频率空间而得到的频率分布是否能用sinc函数来表现，从而判定候补区域的抖动方向是否是单一的抖动方向。
具体而言，抖动方向判定部111b算出通过转换为频率空间而得到的频率分布和多个sinc函数中的每一个函数之间的相关值。在此多个sinc函数是指，组合了多个振幅及多个相位时，与其每一个对应的sinc函数。此外，抖动方向判定部111b，利用L1范数、L2范数或者算出正规化相关等的图像间的类似度的方法来算出相关值。
而且，抖动方向判定部111b，判定是否存在相关值超过预先规定的阈值的sinc函数。在此，在存在相关值超过预先规定的阈值的sinc函数的情况下，抖动方向判定部111b判定为频率分布能够用sinc函数来表现。相反，在不存在相关值超过预先规定的阈值的sinc函数的情况下，抖动方向判定部111b判定为频率分布不能以sinc函数来表现。
在此，在判定为频率分布能够用sinc函数表现的情况下(S403中的“是”)，因为候补区域的抖动方向是单一的抖动方向，所以初始区域决定部111c将候补区域决定为初始区域(S405)。
另一方面，判定为频率分布不能用sinc函数表现的情况下(S403中的“否”)，因为候补区域的抖动方向不是单一的抖动方向，所以初始区域决定部111c不将候补区域决定为初始区域。于是，抖动方向判定部111b判定候补区域的大小是否比预先规定的阈值小(S404)。在此，预先规定的阈值是指表示能够算出下述PSF的区域的大小的值，所述PSF是能够高精度地校正输入图像的抖动的PSF。该区域的大小是按照图像被拍摄的时候的曝光时间而不同的大小。例如，在曝光时间为1秒左右的情况下，阈值可以是100像素(10×10像素)左右的值。
在此，在判定为候补区域的大小是预先规定的阈值以上的情况下(S404中的“否”)，候补区域选择部111a将小于当前的候补区域的区域选择为新的候补区域(S401)。
另一方面，在判定为候补区域的大小小于预先规定的阈值的情况下(S404中的“是”)，初始区域决定部111c将现在被选择的候补区域决定为初始区域(S405)。这是因为候补区域小，所以可以想成候补区域中包含的被摄体图像是单一的被摄体图像。即，可以想出候补区域中包含的被摄体图像是向多个方向移动的被摄体的图像，所以初始区域决定部111c不用进一步缩小候补区域，将现在选择的候补区域决定为初始区域。
这样，第一PSF算出部111，直到判定为频率分布能够以sinc函数表现的时候或者直到预先规定的大小为止缩小候补区域，以此来决定初始区域。从而，第一PSF算出部111能够将不包含不同抖动方向的PSF的小区域决定为初始区域。
接着，用图10来具体地说明由所述第一PSF算出部111进行的决定初始区域的处理的流程。
图10是用于说明本发明实施方式1涉及的由第1PSF算出部111进行的决定初始区域有关的处理流程的图。
首先，候补区域选择部111a如图10(a)所示，将未被决定为自适应区域的区域且比较大的区域选择为候补区域601。另外，候补区域选择部111a也可以将图像的全部选择为候补区域。
接着，抖动方向判定部111b，将候补区域601的像素值通过离散傅立叶转换等转换成频率成分。图10(b)是示出表示被转换的频率成分的图像602的图。而且，抖动方向判定部111b如图10(c)所示，算出与多个振幅以及相位的sinc函数的每一个对应的多个图像和，表示通过转换得到的频率成分的图像602之间的相关值。
因为候补区域601包含多个抖动方向，所以表示图10(b)的图像602成为表示频率成分的点纵横扩展的图像。从而，图像602和与sinc函数对应的图像之间的相关值小。就是说，不存在与图像602类似的、与sinc函数对应的图像。
从而，抖动方向判定部111b判定为候补区域601的抖动方向不是单一的抖动方向。此外，候补区域选择部111a如图10(d)所示，将比候补区域601小的区域选择为新的候补区域603。此外，抖动方向判定部111b，将候补区域603的像素值利用离散傅立叶转换等转换为频率成分。图10(e)是表示被转换的频率成分的图像604的图。而且，抖动方向判定部111b如图10(f)所示，算出与多个振幅以及相位的sinc函数的每一个对应的多个图像和，表示通过转换得到的频率成分的图像604之间的相关值。
因为候补区域603的抖动方向是单一的抖动方向，图10(e)示出的图像604成为表示频率成分的点排列成1条直线的图像。从而，图像604和与sinc函数对应的图像之间的相关值大。也就是，存在与图像604类似的与sinc函数对应的图像。从而，抖动方向判定部111b判定为候补区域603的抖动方向是单一的抖动方向。此外，初始区域决定部111c将候补区域603决定为初始区域。
这样，第一PSF算出部111通过将是否能够以sinc函数来表现作为判断基准以决定初始区域，从而能够判定是纹理引起的层次(gradation)，还是抖动引起的层次。
如上所述，本实施方式涉及的图像校正装置100能够将输入图像划分为多个自适应区域，以使抖动相同的区域成为1个自适应区域。其结果，图像校正装置100能够按每个抖动相同的区域利用PSF来校正输入图像，所以能够将包含多个抖动的输入图像，高精度地校正到抖动比该输入图像少的目标图像。进而，图像校正装置100能够利用按每个区域算出的PSF，对位于代表像素之间的像素的PSF进行插值，所以能够抑制在被划分的区域的境界中因为PSF的不连续而导致在目标图像上产生不协调感。此外，图像校正装置100即使不用输入图像以外的图像，也能校正输入图像。
此外，图像校正装置100能够将输入图像划分为自适应区域，以使PSF类似的区域成为1个自适应区域。从而，图像校正装置100能够将拍摄往不同方向移动的多个被摄体所得到的1幅输入图像，划分为与被摄体对应的区域。即，因为图像校正部130能够利用符合每个被摄体图像的抖动方向的PSF来校正输入图像，所以图像校正装置100能够生成抖动更少的目标图像。
此外，图像校正装置100因为能够将决定自适应区域的时候的初始区域决定为单一抖动方向的区域，所以能够降低在自适应区域中包含抖动方向不同的被摄体图像的可能性。即，因为图像校正装置100能够利用符合每个被摄体图像的抖动方向的PSF来校正输入图像，所以能够生成抖动更少的目标图像。
此外，PSF插值部120对PSF互相不类似的自适应区域不进行PSF插值。从而，PSF插值部120能够降低对进行互相不同的动作的被摄体图像的境界进行PSF插值的可能性。即，PSF插值部120能够降低与不同于实际被摄体的动作的动作相对应的PSF插值的可能性。
另外，在本实施方式中，自适应区域划分部110决定自适应区域时使PSF类似的区域成为1个区域，但是适用本发明的图像校正装置100，不限于这样的图像校正装置。例如，自适应区域划分部110，利用类似的纹理是进行相同动作的可能性高的预见性知识，将输入图像划分为多个自适应区域，该多个自适应区域分别是抖动相同的区域。此外，自适应区域划分部110，例如，还并用计算机视觉(computer vision)领域中使用的区域划分方法(例如图表切割等)，将输入图像划分为多个自适应区域，该多个自适应区域分别是抖动相同的区域。这样，自适应区域划分部110能够进行灵活的纹理划分。
此外，在已经知道多幅图像中动作小等输入图像的特性的情况下(如集体照片一样动作少的情况)，图像校正装置100可以利用图像间差分等从延长曝光时间所拍摄的多幅图像中只提取有动作的区域，并只对提取的区域进行上述的PSF插值以及图像校正。这样，图像校正装置100能够减少总的计算成本、存储器成本等。
此外，在本实施方式中，第一PSF算出部111一边缩小候补区域一边决定初始区域，不过，也可以将例如与输入图像的曝光时间对应的预先规定的大小的区域决定为初始区域。这个情况下，优选的是数据记忆部106中存储有使曝光时间和区域的大小相对应的表。此外，第一PSF算出部111通过参考数据记忆部106中存储的表，获得与输入图像的曝光时间对应的区域的大小，将获得的大小的区域决定为初始区域。
(实施方式2)
下面，参考附图来说明本发明的实施方式2。
实施方式2涉及的图像校正装置200和实施方式1涉及的图像校正装置100，在程序存储部107具备的自适应区域划分部的构成不同，其他的构成要素相同。因此，下面针对与实施方式1的构成相同的构成的方框图以及具有相同的处理流程的流程图，省略图示及说明。此外，具有与实施方式1的构成要素相同的功能的构成要素赋予相同的符号，省略说明。
图11是表示本发明的实施方式2涉及的程序存储部107的功能构成的方框图。
本实施方式涉及的自适应区域划分部210根据是否是单一的抖动方向，将抖动相同的区域决定为1个自适应区域。如图11所示，自适应区域划分部210具备候补区域选择部211、抖动方向判定部212、自适应区域决定部213、PSF算出部214。
候补区域选择部211决定作为输入图像的全部或者一部分区域的候补区域。此外，候补区域选择部211在由抖动方向判定部212判定为不是单一的抖动方向的情况下，将小于候补区域的区域选择为新的候补区域。
抖动方向判定部212对由候补区域选择部211选择的候补区域的抖动方向是否是单一的抖动方向进行判定。
自适应区域决定部213在由抖动方向判定部212判定为是单一的抖动方向的情况下，将候补区域决定为自适应区域。就是说，自适应区域决定部213根据是否是单一的抖动方向，将抖动相同的区域决定为1个自适应区域。
PSF算出部214算出由自适应区域决定部213决定的自适应区域的PSF。
下面，对如上述构成的自适应区域划分部210的动作进行说明。
图12是表示本发明实施方式2涉及的自适应区域划分部210的处理(S101)流程的流程图。
首先，候补区域选择部211将输入图像的全部或者一部分区域选择为候补区域(S501)。接着，抖动方向判定部212通过离散傅立叶转换等将选择的候补区域的像素值转换为频率空间(S502)。
此外，抖动方向判定部212判定通过频率空间转换而得到的频率分布是否能够以sinc函数来表现(S503)。就是说，抖动方向判定部212判定在候补区域中抖动方向是否是单一方向。
具体而言，抖动方向判定部212算出通过转换为频率空间而得到的频率分布和多个sinc函数中的每一个函数之间的相关值。在此多个sinc函数是指，组合了多个振幅及多个相位时，与每一个对应的sinc函数。此外，抖动方向判定部212，利用L1范数、L2范数或者算出正规化相关等的图像间的类似度的方法来算出相关值。
而且，抖动方向判定部212，判定在多个sinc函数中是否存在相关值超过预先规定的阈值的sinc函数。在此，在存在相关值超过预先规定的阈值的sinc函数的情况下，抖动方向判定部212判定为频率分布能够用sinc函数来表现。相反，在不存在相关值超过预先规定的阈值的sinc函数的情况下，抖动方向判定部212判定为频率分布不能用sinc函数来表现。
在此，在判定为频率分布能用sinc函数来表现的情况下(S503中的“是”)，因为候补区域的抖动方向是单一的抖动方向，所以自适应区域决定部213将候补区域决定为自适应区域(S505)。
另一方面，在判定为频率分布不能用sinc函数来表现的情况下(S503中的“否”)，因为候补区域的抖动方向不是单一的抖动方向，所以自适应区域决定部213不将候补区域决定为自适应区域。于是，抖动方向判定部212判定候补区域的大小是否比预先规定的阈值小(S504)。在此，预先规定的阈值是指表示能够算出下述PSF的区域的大小的值，所述PSF是能够高精度地校正输入图像的抖动的PSF。该区域的大小是按照图像被拍摄的时候的曝光时间而不同的大小。例如，在曝光时间为1秒左右的情况下，阈值可以利用100像素(10×10像素)左右的值。
在此，在判定为候补区域的大小是预先规定的阈值以上的情况下(S504中的“否”)，候补区域选择部211选择小于当前的候补区域的区域，以作为新的候补区域(S501)。
另一方面，在判定为候补区域的大小小于预先规定的阈值的情况下(S504中的“是”)，自适应区域决定部213将现在选择的候补区域决定为自适应区域(S505)。这是因为候补区域小，所以可以想成候补区域中包含的被摄体图像是单一的被摄体的图像。即，可以想到候补区域中包含的被摄体图像是向多个方向移动的单一的被摄体图像，所以自适应区域决定部213不用进一步缩小候补区域，将现在选择的候补区域决定为自适应区域。
这样，第一PSF算出部111，直到判定为频率分布能用sinc函数表现为止，或者到预先规定的大小为止，一边缩小候补区域一边决定自适应区域。从而，第一PSF算出部111能够将不包含不同抖动方向的PSF的区域决定为自适应区域。
另外，如上述一边缩小区域一边决定自适应区域的时候，以是否是单一的抖动方向作为判断基准，这是因为开始时选择比较大的区域作为候补区域，所以区域内包含动作方向不同的多个被摄体图像的可能性高。即，在一边缩小区域一边决定自适应区域的时候，将PSF的类似度作为判断基准，以决定自适应区域的情况下，将包含不同抖动方向的PSF的区域决定为自适应区域的可能性高。
如上所述，本实施方式涉及的图像校正装置200，因为能够将单一的抖动方向的区域决定为自适应区域，所以在划分输入图像的时候，能够抑制将包含向不同方向移动的多个被摄体图像的区域作为一个自适应区域来划分。即，图像校正装置200因为能够利用与被摄体图像的抖动方向对应的PSF来校正输入图像，从而能够生成抖动更少的目标图像。
以上，根据实施方式对本发明的图像校正装置进行了说明，不过，本发明不被这些实施方式所限制。只要不超出本发明的宗旨，则技术者想出的各种变形例实施在本实施方式的例子，或者对不同实施方式中的构成要素进行组合而构筑的例子也都包括在本发明的范围中。
例如，构成上述实施方式涉及的图像校正装置的构成要素的一部分或者全部可以由一个***大规模集成电路(LSI：Large Scale Integration)来构成。***LSI是将多个构成部集积在1个芯片上制造的是超多功能LSI。具体而言，***LSI是包含微处理器、ROM(Read Only Memory)以及RAM(Random Access Memory)等构成的计算机***。进一步具体而言，例如，如图13所示，自适应区域划分部110、PSF插值部120、图像校正部130，可以由从1个***LSI300构成。
此外，本发明可以作为具备所述实施方式涉及的图像校正装置和由光学***及成像器件等构成的摄影部的图像摄影装置来实现。
本发明涉及的图像校正装置等具有高精度的被摄体抖动校正功能，因为能够实现数字图片相机或者安防相机的高感度化，所以有用于夜间摄影、暗环境下的利用相机的保安等。
符号说明
100，200图像校正装置
101演算控制部
102存储器部
103显示部
104输入部
105通信I/F部
106数据记忆部
107程序存储部
108总线
110，210自适应区域划分部
111第一PSF算出部
111a，211候补区域选择部
111b，212抖动方向判定部
111c初始区域决定部
112区域保持部
113第二PSF算出部
114类似度判定部
115，213自适应区域决定部
120PSF插值部
130图像校正部
214PSF算出部
300***LSI
400相机

Claims (13)

1.一种图像校正装置，通过校正输入图像，从而生成抖动比所述输入图像少的目标图像，所述图像校正装置具备：
自适应区域划分部，根据构成所述输入图像的像素的像素值，将抖动相同的区域决定为一个自适应区域，从而将所述输入图像划分为多个自适应区域，并按每个已划分的自适应区域算出表示图像的抖动特征的点扩散函数；
点扩散函数插值部，利用算出的所述点扩散函数，对位于代表像素之间的像素的点扩散函数进行插值，所述代表像素是代表所述多个自适应区域的每一个自适应区域的像素；以及
图像校正部，通过利用插值后的所述点扩散函数校正所述输入图像，从而生成所述目标图像。
2.如权利要求1所述的图像校正装置，
所述自适应区域划分部，根据点扩散函数的类似性，将抖动相同的区域决定为一个自适应区域。
3.如权利要求2所述的图像校正装置，
所述自适应区域划分部具备：
第一点扩散函数算出部，算出初始区域的点扩散函数，以作为第一点扩散函数，所述初始区域是所述输入图像的一部分区域；
区域保持部，保持所述初始区域，以作为保持区域；
第二点扩散函数算出部，算出评价区域的点扩散函数，以作为第二点扩散函数，所述评价区域是包含所述初始区域且比所述初始区域大的区域；
类似度判定部，判定所述第一点扩散函数与所述第二点扩散函数是否类似；以及
自适应区域决定部，在由所述类似度判定部判定为所述第一点扩散函数与所述第二点扩散函数不类似的情况下，通过将所述区域保持部最后保持的保持区域决定为所述自适应区域，从而将抖动相同的区域决定为一个自适应区域，
所述区域保持部，在由所述类似度判定部判定为所述第一点扩散函数与所述第二点扩散函数类似的情况下，保持所述评价区域，以作为保持区域，
所述第二点扩散函数算出部，在由所述类似度判定部判定为所述第一点扩散函数与所述第二点扩散函数类似的情况下，算出新的评价区域的点扩散函数，以作为所述第二点扩散函数，所述新的评价区域是包含所述评价区域且比所述评价区域大的区域。
4.如权利要求3所述的图像校正装置，
所述第一点扩散函数算出部具备：
候补区域选择部，选择所述输入图像的全部或者一部分区域，以作为候补区域；
抖动方向判定部，判定由所述候补区域选择部选择出的候补区域的抖动方向是否是单一的抖动方向；以及
初始区域决定部，在由所述抖动方向判定部判定为是单一的抖动方向的情况下，将所述候补区域决定为所述初始区域，
所述候补区域选择部，在由所述抖动方向判定部判定为不是单一的抖动方向的情况下，选择比所述候补区域小的区域，以作为新的候补区域。
5.如权利要求1所述的图像校正装置，
所述自适应区域划分部，根据是否是单一的抖动方向，将抖动相同的区域决定为一个自适应区域。
6.如权利要求5所述的图像校正装置，
所述自适应区域划分部具备：
候补区域选择部，选择所述输入图像的全部或者一部分区域，以作为候补区域；
抖动方向判定部，判定由所述候补区域选择部选择出的候补区域的抖动方向是否是单一的抖动方向；以及
自适应区域决定部，在由所述抖动方向判定部判定为是单一的抖动方向的情况下，通过将所述候补区域决定为所述自适应区域，从而将抖动相同的区域决定为一个自适应区域，
所述候补区域选择部，在由所述抖动方向判定部判定为不是单一的抖动方向的情况下，选择比所述候补区域小的区域，以作为新的候补区域。
7.如权利要求1所述的图像校正装置，
所述点扩散函数插值部，在算出的所述点扩散函数中至少两个点扩散函数以直线来表现的情况下，将该至少两个点扩散函数的每一个点扩散函数划分为两个以上，并根据对应关系对位于所述自适应区域的代表像素之间的像素的点扩散函数进行插值，所述对应关系是利用已划分的点扩散函数使该至少两个点扩散函数互相对应而得到的，所述自适应区域是与该至少两个点扩散函数的每一个点扩散函数对应的区域。
8.如权利要求7所述的图像校正装置，
所述点扩散函数插值部，判定算出的所述点扩散函数是否互相类似，对位于自适应区域的代表像素之间的像素的点扩散函数进行插值，所述自适应区域是与判定为互相类似的点扩散函数的每一个点扩散函数对应的区域。
9.如权利要求1所述的图像校正装置，
所述点扩散函数插值部，根据对应关系对位于所述自适应区域的代表像素之间的像素的点扩散函数进行插值，所述对应关系是利用动态规划法的匹配方法使算出的所述点扩散函数互相对应而得到的，所述自适应区域是与该点扩散函数的每一个点扩散函数对应的区域。
10.如权利要求9所述的图像校正装置，
所述点扩散函数插值部，判定算出的所述点扩散函数是否互相类似，对位于自适应区域的代表像素之间的像素的点扩散函数进行插值，所述自适应区域是与判定为互相类似的点扩散函数的每一个点扩散函数对应的区域。
11.一种图像校正方法，通过校正输入图像，从而生成抖动比所述输入图像少的目标图像，所述图像校正方法包括：
自适应区域划分步骤，根据构成所述输入图像的像素的像素值，将抖动相同的区域决定为一个自适应区域，从而将所述输入图像划分为多个自适应区域，并按每个已划分的自适应区域算出表示图像的抖动特征的点扩散函数；
点扩散函数插值步骤，利用算出的所述点扩散函数，对位于代表像素之间的像素的点扩散函数进行插值，所述代表像素是代表所述多个自适应区域的每一个自适应区域的像素；以及
图像校正步骤，通过利用插值后的所述点扩散函数校正所述输入图像，从而生成所述目标图像。
12.一种集成电路，通过校正输入图像，从而生成抖动比所述输入图像少的目标图像，所述集成电路具备：
自适应区域划分部，根据构成所述输入图像的像素的像素值，将抖动相同的区域决定为一个自适应区域，从而将所述输入图像划分为多个自适应区域，并按每个已划分的自适应区域算出表示图像的抖动特征的点扩散函数；
点扩散函数插值部，利用算出的所述点扩散函数，对位于代表像素之间的像素的点扩散函数进行插值，所述代表像素是代表所述多个自适应区域的每一个自适应区域的像素；以及
图像校正部，通过利用插值后的所述点扩散函数校正所述输入图像，从而生成所述目标图像。
13.一种程序，用于使计算机执行权利要求11所述的图像校正方法的程序。
CN2010800014220A 2009-02-25 2010-02-22 图像校正装置以及图像校正方法 Active CN102017607B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009042741 2009-02-25
JP2009-042741 2009-02-25
PCT/JP2010/001115 WO2010098054A1 (ja) 2009-02-25 2010-02-22 画像補正装置及び画像補正方法

Publications (2)

Publication Number Publication Date
CN102017607A true CN102017607A (zh) 2011-04-13
CN102017607B CN102017607B (zh) 2013-12-25

Family

ID=42665272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800014220A Active CN102017607B (zh) 2009-02-25 2010-02-22 图像校正装置以及图像校正方法

Country Status (5)

Country Link
US (1) US8422827B2 (zh)
EP (1) EP2403235B1 (zh)
JP (1) JP5331816B2 (zh)
CN (1) CN102017607B (zh)
WO (1) WO2010098054A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789574A (zh) * 2012-07-02 2012-11-21 湖北微驾技术有限公司 基于三棱镜光学传感器的指纹图像几何矫正算法
CN103906473A (zh) * 2011-10-28 2014-07-02 日立阿洛卡医疗株式会社 超声波成像装置、超声波成像方法以及超声波成像用程序
CN111476746A (zh) * 2020-03-19 2020-07-31 航天信德智图（北京）科技有限公司 一种基于ihs变换与自适应区域特征的遥感图像融合方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012155456A (ja) * 2011-01-25 2012-08-16 Panasonic Corp 被写体分離装置、画像復元装置、被写体分離方法及び画像復元方法
US8624986B2 (en) * 2011-03-31 2014-01-07 Sony Corporation Motion robust depth estimation using convolution and wavelet transforms
JP5674532B2 (ja) * 2011-03-31 2015-02-25 富士フイルム株式会社 撮像装置、画像処理方法及び画像処理装置
JP2013005258A (ja) * 2011-06-17 2013-01-07 Panasonic Corp ブレ補正装置、ブレ補正方法及び帳票
US9124797B2 (en) 2011-06-28 2015-09-01 Microsoft Technology Licensing, Llc Image enhancement via lens simulation
US9137526B2 (en) * 2012-05-07 2015-09-15 Microsoft Technology Licensing, Llc Image enhancement via calibrated lens simulation
WO2014010726A1 (ja) * 2012-07-12 2014-01-16 株式会社ニコン 画像処理装置及び画像処理プログラム
US9589328B2 (en) * 2012-11-09 2017-03-07 Nikon Corporation Globally dominant point spread function estimation
AU2012258467A1 (en) * 2012-12-03 2014-06-19 Canon Kabushiki Kaisha Bokeh amplification
KR101527656B1 (ko) * 2013-12-12 2015-06-10 한국과학기술원 의료 영상에서 비강체 영상 정합을 이용한 점상 강도 분포 함수를 보간하는 방법 및 시스템
US10165263B2 (en) * 2013-09-30 2018-12-25 Nikon Corporation Point spread function estimation of optics blur
US9684970B2 (en) * 2015-02-27 2017-06-20 Qualcomm Incorporated Fast adaptive estimation of motion blur for coherent rendering
WO2018129692A1 (en) * 2017-01-12 2018-07-19 Intel Corporation Image refocusing
CN110991550B (zh) * 2019-12-13 2023-10-17 歌尔科技有限公司 一种视频监控方法、装置、电子设备及存储介质
US20230319401A1 (en) * 2022-03-31 2023-10-05 Qualcomm Incorporated Image capture using dynamic lens positions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112099A (ja) * 2000-09-28 2002-04-12 Nikon Corp 画像修復装置および画像修復方法
JP2006221347A (ja) * 2005-02-09 2006-08-24 Tokyo Institute Of Technology ぶれ情報検出方法
JP2008176735A (ja) * 2007-01-22 2008-07-31 Toshiba Corp 画像処理装置及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3189870B2 (ja) * 1996-12-24 2001-07-16 シャープ株式会社 画像処理装置
JP2001197355A (ja) 2000-01-13 2001-07-19 Minolta Co Ltd デジタル撮像装置および画像復元方法
US20010008418A1 (en) * 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
US20070146689A1 (en) 2004-01-15 2007-06-28 Matsushita Electric Industrial Co., Ltd. Measuring method for optical transfer function, image restoring method, and digital imaging device
JP2005309560A (ja) * 2004-04-19 2005-11-04 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
US7991240B2 (en) * 2007-09-17 2011-08-02 Aptina Imaging Corporation Methods, systems and apparatuses for modeling optical images
US8040382B2 (en) * 2008-01-07 2011-10-18 Dp Technologies, Inc. Method and apparatus for improving photo image quality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112099A (ja) * 2000-09-28 2002-04-12 Nikon Corp 画像修復装置および画像修復方法
JP2006221347A (ja) * 2005-02-09 2006-08-24 Tokyo Institute Of Technology ぶれ情報検出方法
JP2008176735A (ja) * 2007-01-22 2008-07-31 Toshiba Corp 画像処理装置及び方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103906473A (zh) * 2011-10-28 2014-07-02 日立阿洛卡医疗株式会社 超声波成像装置、超声波成像方法以及超声波成像用程序
CN102789574A (zh) * 2012-07-02 2012-11-21 湖北微驾技术有限公司 基于三棱镜光学传感器的指纹图像几何矫正算法
CN102789574B (zh) * 2012-07-02 2015-07-29 湖北微驾技术有限公司 基于三棱镜光学传感器的指纹图像几何矫正算法
CN111476746A (zh) * 2020-03-19 2020-07-31 航天信德智图（北京）科技有限公司 一种基于ihs变换与自适应区域特征的遥感图像融合方法

Also Published As

Publication number Publication date
JP5331816B2 (ja) 2013-10-30
EP2403235A1 (en) 2012-01-04
US8422827B2 (en) 2013-04-16
JPWO2010098054A1 (ja) 2012-08-30
EP2403235A4 (en) 2013-01-16
CN102017607B (zh) 2013-12-25
WO2010098054A1 (ja) 2010-09-02
US20110033132A1 (en) 2011-02-10
EP2403235B1 (en) 2014-07-09

Similar Documents

Publication Publication Date Title
CN102017607B (zh) 图像校正装置以及图像校正方法
CN101516001B (zh) 数字拍摄设备及其控制方法和记录介质
EP2293540B1 (en) Image processing apparatus and method for detection and correction of camera shake
WO2010070804A1 (ja) 画像検索装置及び画像検索方法
US20080292182A1 (en) Noise reduced color image using panchromatic image
WO2010013424A1 (ja) 画像検索装置及び画像検索方法
US9027067B2 (en) System and method for interactive spatio-temporal streaming data
US8213741B2 (en) Method to generate thumbnails for digital images
JP2009527156A (ja) デジタル画像の前景又は背景分割
EP2395748A2 (en) Apparatus and method creating ghost-free high dynamic range image using filtering
US20100321513A1 (en) Content adaptive detection of images with stand-out object
KR20180102639A (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
CN110572534A (zh) 全景图像的数字视频稳像方法、装置、设备及存储介质
CN101405765A (zh) 内容自适应的滤波器技术
JP2011176747A (ja) 画像処理装置および方法、並びにプログラム
JP6091172B2 (ja) 特徴点検出装置およびプログラム
JP4362479B2 (ja) カラーバランス補正プログラム、カラーバランス補正装置およびカラーバランス補正方法
JP4990876B2 (ja) 画像処理装置
US20160260227A1 (en) Image processing apparatus, image pickup apparatus, and storage medium for storing image processing program
US9904988B2 (en) Image processing method and image processing program
EP2966613A1 (en) Method and apparatus for generating a super-resolved image from an input image
KR101544171B1 (ko) 혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법
JP5683153B2 (ja) 画像処理装置および画像処理方法
JP2008269181A (ja) 対象物検出装置
US20090041387A1 (en) System and method of image zooming with intensity preservation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: DOLBY INTERNATIONAL CO., LTD.

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140813

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140813

Address after: Amsterdam

Patentee after: Dolby International AB

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co., Ltd.