CN1732406A - 抖动校正相机*** - Google Patents

抖动校正相机*** Download PDF

Info

Publication number
CN1732406A
CN1732406A CN200380107765.5A CN200380107765A CN1732406A CN 1732406 A CN1732406 A CN 1732406A CN 200380107765 A CN200380107765 A CN 200380107765A CN 1732406 A CN1732406 A CN 1732406A
Authority
CN
China
Prior art keywords
image
distribution function
optical system
jitter correction
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200380107765.5A
Other languages
English (en)
Other versions
CN1732406B (zh
Inventor
富田博之
臼井一利
北野贤一
小野佳子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2002374748A external-priority patent/JP2004205810A/ja
Priority claimed from JP2002374739A external-priority patent/JP4244633B2/ja
Priority claimed from JP2002374704A external-priority patent/JP4647183B2/ja
Priority claimed from JP2002374724A external-priority patent/JP4244632B2/ja
Priority claimed from JP2002374687A external-priority patent/JP2004205803A/ja
Priority claimed from JP2002374661A external-priority patent/JP4356316B2/ja
Priority claimed from JP2003026098A external-priority patent/JP2004239962A/ja
Application filed by Nikon Corp filed Critical Nikon Corp
Priority claimed from PCT/JP2003/016809 external-priority patent/WO2004059380A1/ja
Publication of CN1732406A publication Critical patent/CN1732406A/zh
Application granted granted Critical
Publication of CN1732406B publication Critical patent/CN1732406B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

一种抖动校正相机***,包括:抖动校正镜头,根据从角速度传感器得到的振动检测信号被驱动,校正像抖动;点像函数运算部,对点像分布函数进行运算;和图像恢复运算部,利用点像分布函数,通过图像处理对拍摄的图像进行图像恢复,校正像抖动。进一步通过图像恢复校正在抖动校正镜头中没有完全校正的像抖动,得到更高画质的图像。

Description

抖动校正相机***
本申请以日本专利申请2002-374644号(2002年12月25日申请)、日本专利申请2002-374661号(2002年12月25日申请)、日本专利申请2002-374687号(2002年12月25日申请)、日本专利申请2002-374704号(2002年12月25日申请)、日本专利申请2002-374724号(2002年12月25日申请)、日本专利申请2002-374748号(2002年12月25日申请)、日本专利申请2002-374739号(2002年12月25日申请)、以及日本专利申请2003-026098号(2003年2月3日申请)作为基础,将其内容作为引用文合并到其中。
技术领域
本发明涉及适用于相机等、检测由于手抖动等引起的振动并校正图像的抖动的技术。
背景技术
一直以来,为了防止由于拍摄时产生的手抖动引起的拍摄图像的劣化,公知的是具有抖动校正功能的相机。作为校正抖动的方法,大致为以下所示的两种方法。
第一种抖动校正方法是如下所述的光学式抖动校正方法:通过角速度传感器、加速度传感器等振动检测传感器检测相机的振动,根据其检测量驱动摄影镜头或可变顶角棱镜等光学***,进行抖动校正(例如,特开昭61-240780号公报)。
第二种抖动校正方法是如下所述的电子式校正法:从拍摄的图像和暂时存储在存储器中的前图像的差分求得抖动量,在图像读出时进行抖动校正(例如,特开昭63-187883号公报)。这两种方法任何一个均是在摄影时实时地进行抖动校正的方法。
另一方面,作为与上述方法不同的抖动校正方法中迄今所知的技术,公知的是将劣化图像恢复为没有手抖动或模糊的图像。例如,在特开昭62-127976号公报中公开了以下方法:以点像分布函数表示摄影时的抖动引起的图像劣化,根据该点像分布函数恢复为没有抖动的图像。此外,公知的是以下技术:在相机上仅设置抖动检测设备记录手抖动信息,在重放时利用该信息进行图像恢复处理,从而校正抖动(例如,特开平6-276512号公报)。
在此,对图像恢复处理的具体方法进行说明。所谓图像恢复是指:利用抖动信息处理抖动的图像,恢复为抖动很少的图像。
现在,设(x,y)为画面上的位置坐标,没有抖动时的图像(以下称为原图像)为o(x,y),由于抖动而劣化的图像(以下称为抖动图像)为z(x,y),由于抖动而扩展的点像的信息(以下称为点像函数)为p(x,y),则这三者满足以下的关系。
z(x,y)=o(x,y)*p(x,y)    (1)
在此,*表示卷积积分运算,因此具体地由下式表示。
z(x,y)=∫∫σ(x,y)p(x-x′,y-y′)dx′dy′  (2)
将其进行傅立叶变换为空间频率(u,v)区域,则公式(1)、(2)变为下式(3)。
Z(u,v)=O(u,v)·P(u,v)    (3)
其中,Z(u,v)、O(u,v)、P(u,v)分别为z(x,y)、o(x,y)、p(x,y)的频谱。此外,在公式(3)中,P(u,v)被特别称为空间频率传递函数。
在此,除了抖动图像z(x,y)之外,可以通过任意方法得知点像函数p(x,y)时,算出各自的频谱,通过利用使公式3变形后的下式4算出原图像的频谱O(u,v)。
O ( u , v ) = Z ( u , v ) P ( u , v ) - - - ( 4 )
在公式(4)中,1/P(u,v)被特别称为逆滤波器。对由公式4算出的频谱进行逆傅立叶变换,就可以求得原图像o(x,y)。图6(a)~(c)、图7(a)~(d)是说明现有技术的图像恢复的图。
在此,为了简便,如图6(b)所示,使抖动在一个轴(X轴)方向上均匀的发生。
选取该点像分布函数的剖面,如图7(a)所示。图7(b)将其进行傅立叶变换,这是图6(a)所示的抖动的空间频率传递函数。该传递函数应该注意的是存在几处值为0的地方这一点。使其为逆滤波器时如图7(c)所示,存在变得无限大的地方。将其应用于公式(4),则关于某个特定的空间频率,变得如下式(5)所示,原图像的频谱值不确定。
Figure A20038010776500212
所谓传递函数为0意味着存在由于抖动而没有传递(=信息丢失)的频率成分,该公式表示丢失的频率成分无法恢复。这意味着无法使原图像完全恢复。
另外,实际上,将下式表示的维纳滤波器用于图像恢复,以使逆滤波器不会变得无限大。
P * ( u , v ) | P ( u , v ) | 2 + 1 / c   c:常数    (6)
图7(d)是使维纳滤波器为图表。
通过使其为维纳滤波器,不会如公式(5)那样O(u,v)变得不确定。
但是,在上述现有的光学式抖动校正及图像恢复中,存在以下所示的问题。
<光学式抖动校正的问题>
在光学式抖动校正中,一般使用角速度传感器作为检测振动的传感器。为了将从角速度传感器检测出的角速度变换为角度,需要操作时的传感器静止时的输出值(基准值),公知该基准值容易受到由于温度而引起的漂移的影响。参照图8(a)、(b)对该问题进行详细说明。
图8(a)(b)是表示包括漂移成分的角速度传感器输出、基准值的输出、在像面的抖动量的图。
图8(a)表示了与时间相对的角速度传感器的变化,为了方便说明,假定为以正弦波产生手抖动的情况。在图8(a)中,波形e0表示以正弦波产生手抖动时的抖动传感器的输出。此外,波形e1、e2任意一个均是以低通滤波器运算的基准值,波形e1的遮断频率被设定为比波形e2低。在图8(a)中,输出值由于环境条件的影响而随着时间的经过从振动中心偏离,从而出现漂移。
图8(b)表示利用图8(a)的角速度传感器输出和基准值进行抖动校正时的像面抖动量。图8(b)中的波形f0、f1、f2分别与图8(a)中的波形e0、e1、e2相对应,波形f0表示抖动校正没有被完全进行时的像面的抖动量。波形f1与波形f2比较,由于使用低遮断频率的基准值e1,高频成分被切断且随着时间经过抖动量变大。相反,波形f2的基准值的遮断频率比波形f1高,因此漂移比f1小,但不能除去由于手抖动产生的高频成分。
这样一来,去除由于手抖动产生的像抖动和减少漂移的影响是相反的问题,充分地校正像抖动、且设定低通滤波器的遮断频率以减少漂移的影响非常困难。因此存在以下问题:在检测出的抖动量中,必然发生检测误差,即使进行光学式抖动校正在得到的图像中也残留有抖动。
进而,在光学式抖动校正装置中,大多设置切换抖动校正操作的ON/OFF的开关,这种情况还存在以下问题:忘记使该开关为ON,而在摄影时没有进行抖动校正操作,因而拍摄了像抖动的图像。
<图像恢复的问题>
接下来,对图像恢复的问题进行说明。
一直以来公知的是:利用维纳滤波器对抖动图像进行恢复处理从而得到的图像,与原图像相比分辨率升高。但是,在P(u’,v’)0的空间频率(u’,v’)中,由于滤波器的值变大,因此在图像中所包含的杂波包含该空间频率成分时,杂波成分被放大。其结果,出现在图像中产生不必要的条纹而使画质下降的问题。该条纹,在原来的抖动很小时不会成为很大的问题,但是抖动很大时就会变得很明显,因此成为问题的就比较多。
此外,设置了现有的图像恢复处理功能的相机,没有可以光学地进行校正的,只是简单地记录来自角速度传感器等抖动传感器的输出数据,在重放时根据这些抖动信息进行恢复处理。因此,如果图像的抖动过大,就会产生即使进行图像恢复处理由于上述条纹等的影响也无法改善画质的问题。
进而,图像恢复所需要的点像函数,根据角速度传感器输出等信息来运算,根据其运算结果进行图像恢复运算,但从角速度传感器输出的数据量非常多,需要进行非常大量的运算,存在运算效率差、需要高速的运算处理部的问题。
进而,即使是在不进行点像函数运算及图像恢复运算就将图像恢复所需要的数据记录到记录介质等上或发送到外部时,也存在以下问题:如上所述由于数据量很大,因此需要大容量的记录介质,或需要高速的记录设备及高速的通信设备等,实现比较困难,成为成本增高的原因。
发明内容
本发明如下构成。
(1)本发明的抖动校正相机***,包括:振动检测部,检测振动并输出振动检测信号;抖动校正光学***,根据振动检测信号而被驱动,校正像抖动;摄像部,对由包含抖动校正光学***的摄影光学***形成的像进行拍摄;和图像恢复运算部,通过图像处理对由摄像部拍摄的图像进行图像恢复,校正像抖动。优选的是,还具有运算点像分布函数的点像分布函数运算部,图像恢复运算部,通过以点像分布函数处理图像进行图像恢复。优选的是,还具有运算振动检测信号的基准值的基准值运算部,点像分布函数运算部,根据基准值运算部的运算结果运算点像分布函数。优选的是,抖动校正相机***包括:相机,具有振动检测部、抖动校正光学***、摄像部、点像分布函数运算部、基准值运算部、和记录图像的图像记录部;和外部装置,具有图像恢复运算部,是与相机分开的装置,通过输入由图像记录部记录的图像和点像分布函数,进行图像恢复。
本发明的抖动校正相机,包括:振动检测部,检测振动并输出振动检测信号;抖动校正光学***,根据振动检测信号而被驱动,校正像抖动;摄像部,对由包含抖动校正光学***的摄影光学***形成的像进行拍摄;图像记录部,记录由摄像部拍摄的图像;和点像分布函数运算部,对图像恢复运算所需要的点像分布函数进行运算。优选的是,还具有点像分布函数输出设备,利用图像记录部或通信设备,将由点像分布函数运算部运算的点像分布函数输出到外部。优选的是,还具有运算振动检测信号的基准值的基准值运算部,点像分布函数运算部,根据基准值运算部的运算结果,运算点像分布函数。
本发明的图像恢复装置,包括:数据输入部,经由与外部的通信及/或介质,接收图像数据以及在图像数据拍摄时得到的点像分布函数;和图像恢复运算部,通过以点像分布函数对图像数据进行图像处理,来进行图像恢复,校正像抖动。
本发明的可以计算机读入的计算机程序制品,具有抖动校正用控制程序,该控制程序具有:数据输入命令,接收图像数据以及在图像数据拍摄时得到的点像分布函数;和图像恢复运算命令,通过以点像分布函数对图像数据进行图像处理,来进行图像恢复,校正像抖动。优选的是,计算机程序制品是记录了控制程序的记录介质。计算机程序制品的控制程序也可以是被作为数据信号而包含的载波。
(2)本发明的抖动校正相机***,包括:振动检测部,检测振动并输出振动检测信号;基准值运算部,运算振动检测信号的基准值;抖动校正光学***,根据振动检测信号及基准值而被驱动,校正像抖动;摄像部,对由包含抖动校正光学***的摄影光学***形成的像进行拍摄;点像分布函数运算部,利用基准值或振动检测信号,运算点像分布函数;和图像恢复运算部,通过以点像分布函数对由摄像部拍摄的图像进行图像处理,来进行图像恢复,校正像抖动。优选的是,还具有点像分布函数运算切换部,在以下两种情况间进行切换:是利用基准值还是利用振动检测信号,由点像分布函数运算部进行点像分布函数的运算。点像分布函数运算切换部,也可以兼用作切换是否由抖动校正光学***进行抖动校正操作的抖动校正操作设定部。优选的是,在由抖动校正光学***进行抖动校正操作时,点像分布函数运算部,利用基准值运算点像分布函数。在没有由抖动校正光学***进行抖动校正操作时,点像分布函数运算部,也可以利用振动检测信号运算点像分布函数。优选的是,抖动校正相机***,包括:相机,具有振动检测部、抖动校正光学***、摄像部、点像分布函数运算部、基准值运算部、和记录图像的图像记录部;和外部装置,具有图像恢复运算部,是与相机分开的装置,通过输入由图像记录部记录的图像和点像分布函数,进行图像恢复。
本发明的抖动校正相机,包括:振动检测部,检测振动并输出振动检测信号;基准值运算部,运算振动检测信号的基准值;抖动校正光学***,根据振动检测信号及基准值而被驱动,校正像抖动;摄像部,对由包含抖动校正光学***的摄影光学***形成的像进行拍摄;图像记录部,记录由摄像部拍摄的图像;和点像分布函数运算部,利用基准值或振动检测信号,运算点像分布函数。优选的是,还具有点像分布函数输出设备,利用图像记录部或通信设备,将由点像分布函数运算部运算的点像分布函数输出到外部。
(3)本发明的抖动校正相机,包括:振动检测部,检测振动并输出振动检测信号;基准值运算部,运算振动检测信号的基准值;抖动校正光学***,根据振动检测信号及基准值而被驱动,校正像抖动;摄像部,对由包含抖动校正光学***的摄影光学***形成的像进行拍摄;点像分布函数运算部,根据基准值运算图像恢复运算所需要的点像分布函数;和信息量减少部,使用于点像分布函数的运算的基准值及/或运算后的点像分布函数的信息量减少。优选的是,信息量减少部,通过抽取基准值及/或运算后的点像分布函数的数据,减少信息量。优选的是,信息量减少部,减少信息量以确保图像恢复运算所需要的信息量。
(4)本发明的抖动校正相机***,包括:振动检测部,检测振动并输出振动检测信号;摄像部,将由包含抖动校正光学***的摄影光学***形成的像作为原图像进行拍摄;原图像保存部,保存原图像;图像恢复运算部,可以改变与图像处理相关的参数,利用参数通过图像处理对原图像进行图像恢复,制作校正了像抖动的恢复图像;和恢复结果保存部,将用于图像恢复运算部中的图像处理的参数及/或恢复图像,与原图像建立关联并保存。优选的是,还具有运算点像分布函数的点像分布函数运算部,图像恢复运算部,通过以点像分布函数处理图像进行图像恢复,参数包括点像分布函数。优选的是,恢复结果保存部,可以保存与多组恢复图像相对应的多个参数及/或多个恢复图像。优选的是,抖动校正相机***包括:相机,具有振动检测部、根据振动检测信号而被驱动以校正像抖动的抖动校正光学***、摄像部、点像分布函数运算部、运算振动检测信号的基准值的基准值运算部、原图像保存部;和外部装置,具有图像恢复运算部及恢复结果保存部,是与相机分开的装置,通过输入由原图像保存部记录的原图像和点像分布函数,进行图像恢复。
本发明的图像恢复装置,包括:数据输入部,经由与外部的通信及/或介质,接收原图像数据以及原图像数据拍摄时所得到的点像分布函数;图像恢复运算部,可以改变与图像处理相关的参数,利用包括点像分布函数的参数,通过图像处理对原图像数据进行图像恢复,制作校正了像抖动的恢复图像;和恢复结果保存部,将用于图像恢复运算部中的图像处理的参数及/或恢复图像,与原图像建立关联并保存。
本发明的可以计算机读入的计算机程序制品,具有抖动校正用控制程序,该控制程序包括:数据输入命令,接收原图像数据以及原图像数据拍摄时所得到的点像分布函数;图像恢复运算命令,可以改变与图像处理相关的参数,利用包括点像分布函数的参数,通过图像处理对原图像数据进行图像恢复,制作校正了像抖动的恢复图像;和恢复结果保存命令,将用于图像恢复运算部中的图像处理的参数及/或恢复图像,与原图像建立关联并保存。优选的是,计算机程序制品是记录了控制程序的记录介质。计算机程序制品的控制程序也可以是被作为数据信号而包含的载波。
(5)本发明的抖动校正相机,包括:振动检测部,检测振动并输出振动检测信号;光学抖动校正设备,根据振动检测信号驱动抖动校正光学***,校正像抖动;点像分布函数运算部,对通过图像处理恢复像抖动所需要的点像分布函数进行运算;和图像恢复判断部,判断是否需要进行图像恢复模式,该图像恢复模式,通过图像恢复进行抖动校正,或进行用于通过图像恢复进行抖动校正的准备。优选的是,图像恢复判断部,根据振动检测信号判断是否需要进行图像恢复模式。图像恢复判断部,也可以根据快门速度判断是否需要进行图像恢复模式。图像恢复判断部,也可以根据摄影光学***的焦距判断是否需要进行图像恢复模式。图像恢复判断部,也可以根据点像分布函数判断是否需要进行图像恢复模式。还可以进一步具有通知设备,当图像恢复判断部判断为不需要进行图像恢复模式时,通知该信息。当图像恢复判断部判断为不需要进行图像恢复模式时,也可以不进行图像恢复模式。当图像恢复判断部判断为不需要进行图像恢复模式时,也可以不保存点像分别函数。
(6)本发明的抖动校正相机,包括:振动检测部,检测振动并输出振动检测信号;基准值运算部,运算振动检测信号的基准值;抖动校正光学***,根据基准值及振动检测信号而被驱动,校正像抖动;驱动控制部,根据振动检测信号及基准值,控制抖动校正光学***的操作;点像分布函数运算部,根据基准值,对通过图像处理校正像的抖动的图像恢复所需要的点像分布函数进行运算;和抖动校正模式选择部,选择除了利用抖动校正光学***进行抖动校正的光学式抖动校正操作之外,是否进行图像恢复模式,该图像恢复模式,通过图像恢复进行抖动校正,或进行用于通过图像恢复进行抖动校正的准备,驱动控制部,根据抖动校正模式选择部的选择状态,改变抖动校正光学***的控制内容。优选的是,驱动控制部,根据抖动校正模式选择部的选择状态,改变基准值的运算方法,从而改变校正光学***的控制内容。优选的是,基准值运算部,利用低通滤波器运算基准值,驱动控制部,通过改变低通滤波器的截止频率,改变抖动校正光学***的控制内容。优选的是,驱动控制部,将抖动校正模式选择部进行图像恢复的选择状态的截止频率,设定为比抖动校正模式选择部不进行图像恢复的选择状态的截止频率高的频率。
(7)抖动校正相机,包括:振动检测部,检测振动并输出振动检测信号;光学式抖动校正设备,根据振动检测信号驱动抖动校正光学***,校正像抖动;点像分布函数运算部,运算图像恢复所需要的点像分布函数,该图像恢复,通过图像处理对由光学式抖动校正设备没有完全校正的抖动进行恢复;和抖动校正模式选择部,在利用光学式校正设备进行抖动校正的光学式抖动校正模式、以及图像恢复模式之间进行选择,图像恢复模式,通过图像恢复进行抖动校正,或进行用于通过图像恢复进行抖动校正的准备,抖动校正模式选择部,选择图像恢复模式时,还同时选择光学式抖动校正模式。
本发明的抖动校正相机,包括:振动检测部,检测振动并输出振动检测信号;光学式抖动校正设备,根据振动检测信号驱动抖动校正光学***,校正像抖动;点像分布函数运算部,运算图像恢复所需要的点像分布函数,该图像恢复,通过图像处理对由光学式抖动校正设备没有完全校正的抖动进行恢复;和抖动校正模式选择部,在利用光学式校正设备进行抖动校正的光学式抖动校正模式、以及图像恢复模式之间进行选择,图像恢复模式,通过图像恢复进行抖动校正,或进行用于通过图像恢复进行抖动校正的准备,抖动校正模式选择部,在不选择光学式抖动校正模式的状态下,无法选择图像恢复模式。
本发明的抖动校正相机,包括:振动检测部,检测振动并输出振动检测信号;光学式抖动校正设备,根据振动检测信号驱动抖动校正光学***,校正像抖动;点像分布函数运算部,运算图像恢复所需要的点像分布函数,该图像恢复,通过图像处理对由光学式抖动校正设备没有完全校正的抖动进行恢复;和抖动校正模式选择部,在利用光学式校正设备进行抖动校正的光学式抖动校正模式、以及图像恢复模式之间进行选择,图像恢复模式,通过图像恢复进行抖动校正,或进行用于通过图像恢复进行抖动校正的准备,抖动校正模式选择部,在不选择光学式抖动校正模式的状态下,选择图像恢复模式时,进行警告。
本发明的抖动校正相机,包括:振动检测部,检测振动并输出振动检测信号;光学式抖动校正设备,根据振动检测信号驱动抖动校正光学***,校正像抖动;和点像分布函数运算部,运算图像恢复所需要的点像分布函数,该图像恢复,通过图像处理对由光学式抖动校正设备没有完全校正的抖动进行恢复,由点像分布函数运算部进行的点像分布函数的运算,可以通过操作光学式抖动校正设备进行。
(8)本发明的抖动校正相机***,包括:抖动校正光学***,校正像抖动;振动检测部,检测振动并输出振动信号;
基准值运算部,运算振动信号的基准值;驱动部,驱动抖动校正光学***;位置检测部,检测抖动校正光学***的位置,输出位置信号;控制部,根据基准值、振动信号及位置信号,控制抖动校正光学***的驱动,以校正由于振动引起的被拍摄体像的抖动;摄像部,对由包含抖动校正光学***的摄影光学***形成的像进行拍摄;控制位置误差输出部,将由控制部得到的抖动校正光学***的驱动目标位置和从位置检测部输出的抖动校正光学***的实际驱动位置的差,作为控制位置误差输出;和图像恢复运算部,通过对由摄像部拍摄的图像加上了控制位置误差的图像处理进行图像恢复,校正像抖动。优选的是,还包括:点像分布函数运算部,对图像恢复运算所需要的点像分布函数进行运算;和函数校正部,利用控制位置误差校正点像分布函数,图像恢复运算部,通过以函数校正部校正后的点像分布函数进行图像处理,而进行图像恢复。优选的是,还包括点像分布函数运算部,对图像恢复运算所需要的点像分布函数进行运算,点像分布函数,根据(a)基准值及控制位置误差、(b)振动信号及控制位置误差、(c)基准值及振动信号及控制位置误差、或(d)控制位置误差,进行运算,图像恢复运算部,通过以点像分布函数进行图像处理,而进行图像恢复。优选的是,抖动校正相机***包括:相机,至少具有振动检测部、抖动校正光学***、摄像部、点像分布函数运算部、基准值运算部、记录图像的图像记录部;和外部装置,至少具有图像恢复运算部,是与相机分开的装置,通过输入由图像记录部记录的图像和点像分布函数,进行图像恢复。抖动校正相机***也可以包括:相机,至少具有振动检测部、抖动校正光学***、摄像部、基准值运算部、记录图像的图像记录部;和外部装置,至少具有点像分布函数运算部和图像恢复运算部,是与相机分开的装置,通过输入由图像记录部记录的图像和点像分布函数,进行图像恢复。
本发明的抖动校正相机,包括:抖动校正光学***,校正像抖动;振动检测部,检测振动并输出振动信号;基准值运算部,运算振动信号的基准值;驱动部,驱动抖动校正光学***;位置检测部,检测抖动校正光学***的位置并输出位置信号;控制部,根据基准值、振动信号及位置信号,控制抖动校正光学***的驱动以校正由于振动引起的被拍摄体像的抖动;摄像部,对由包含抖动校正光学***的摄影光学***形成的像进行拍摄;图像记录部,记录图像;控制位置误差输出部,将由控制部得到的抖动校正光学***的驱动目标位置和从位置检测部输出的抖动校正光学***的实际驱动位置的差,作为控制位置误差输出;点像分布函数运算部,对图像恢复运算所需要的点像分布函数进行运算;函数校正部,利用控制位置误差校正点像分布函数;和外部输出设备,利用图像记录部或通信设备,将由校正部校正的点像分布函数输出到外部。
本发明的抖动校正相机,包括:抖动校正光学***,校正像抖动;振动检测部,检测振动并输出振动信号;基准值运算部,运算振动信号的基准值;驱动部,驱动抖动校正光学***;位置检测部,检测抖动校正光学***的位置并输出位置信号;控制部,根据基准值、振动信号及位置信号,控制抖动校正光学***的驱动以校正由于振动引起的被拍摄体像的抖动;摄像部,对由包含抖动校正光学***的摄影光学***形成的像进行拍摄;图像记录部,记录图像;控制位置误差输出部,将由控制部得到的抖动校正光学***的驱动目标位置和从位置检测部输出的抖动校正光学***的实际驱动位置的差,作为控制位置误差输出;点像分布函数运算部,对图像恢复运算所需要的点像分布函数进行运算;和外部输出设备,利用图像记录部或通信设备,将点像分布函数输出到外部,点像分布函数,根据(a)基准值及控制位置误差、(b)振动信号及控制位置误差、(c)基准值及振动信号及控制位置误差、或(d)控制位置误差,进行运算。
本发明的抖动校正相机,包括:抖动校正光学***,校正像抖动;振动检测部,检测振动并输出振动信号;基准值运算部,运算振动信号的基准值;驱动部,驱动抖动校正光学***;位置检测部,检测抖动校正光学***的位置并输出位置信号;控制部,根据基准值、振动信号及位置信号,控制抖动校正光学***的驱动以校正由于振动引起的被拍摄体像的抖动;摄像部,对由包含抖动校正光学***的摄影光学***形成的像进行拍摄;图像记录部,记录图像;控制位置误差输出部,将由控制部得到的抖动校正光学***的驱动目标位置和从位置检测部输出的抖动校正光学***的实际驱动位置的差,作为控制位置误差输出;和外部输出设备,利用图像记录部或通信设备,将点像分布函数输出到外部。
本发明的图像恢复装置,包括:数据输入部,经由与外部的通信及/或介质,接收根据抖动校正光学***的驱动目标位置和从位置检测部输出的抖动校正光学***的实际驱动位置的差求得的控制位置误差、图像数据、以及图像数据拍摄时所得到的点像分布函数;函数校正部,利用控制位置误差校正点像分布函数;和图像恢复运算部,通过以函数校正部校正后的点像分布函数对图像数据进行图像处理,来进行图像恢复,校正像抖动。
本发明的图像恢复装置,包括:数据输入部,经由与外部的通信及/或介质,接收根据抖动校正光学***的驱动目标位置和从位置检测部输出的抖动校正光学***的实际驱动位置的差求得的控制位置误差、图像数据、以及图像数据拍摄时所得到的振动信号;点像分布函数运算部,对图像恢复运算所需要的点像分布函数进行运算;函数校正部,利用控制位置误差校正点像分布函数;和图像恢复运算部,通过以函数校正部校正后的点像分布函数对图像数据进行图像处理,来进行图像恢复,校正像抖动。
本发明的图像恢复装置,包括:数据输入部,经由与外部的通信及/或介质,接收根据抖动校正光学***的驱动目标位置和从位置检测部输出的抖动校正光学***的实际驱动位置的差求得的控制位置误差、图像数据、以及图像数据拍摄时所得到的振动信号;点像分布函数运算部,对图像恢复运算所需要的点像分布函数进行运算;和图像恢复运算部,通过以点像分布函数对图像数据进行图像处理,来进行图像恢复,校正像抖动,点像分布函数,根据(a)基准值及控制位置误差、(b)振动信号及控制位置误差、(c)基准值及振动信号及控制位置误差、或(d)控制位置误差,进行运算。
本发明的可以计算机读入的计算机程序制品,具有抖动校正用控制程序,该控制程序包括:数据输入命令,经由与外部的通信及/或介质,接收根据抖动校正光学***的驱动目标位置和从位置检测部输出的抖动校正光学***的实际驱动位置的差求得的控制位置误差、图像数据、以及图像数据拍摄时所得到的点像分布函数;函数校正命令,利用控制位置误差校正点像分布函数;和图像恢复运算命令,通过以函数校正部校正后的点像分布函数对图像数据进行图像处理,来进行图像恢复,校正像抖动。
本发明的可以计算机读入的计算机程序制品,具有抖动校正用控制程序,该控制程序包括:数据输入命令,经由与外部的通信及/或介质,接收根据抖动校正光学***的驱动目标位置和从位置检测部输出的抖动校正光学***的实际驱动位置的差求得的控制位置误差、图像数据、以及图像数据拍摄时所得到的振动信号;点像分布函数运算命令,对图像恢复运算所需要的点像分布函数进行运算;函数校正命令,利用控制位置误差校正点像分布函数;和图像恢复运算命令,通过以函数校正部校正后的点像分布函数对图像数据进行图像处理,来进行图像恢复,校正像抖动。
本发明的可以计算机读入的计算机程序制品,具有抖动校正用控制程序,该控制程序包括:数据输入命令,经由与外部的通信及/或介质,接收根据抖动校正光学***的驱动目标位置和从位置检测部输出的抖动校正光学***的实际驱动位置的差求得的控制位置误差、图像数据、以及图像数据拍摄时所得到的振动信号;点像分布函数运算命令,将图像恢复运算所需要的点像分布函数,根据(a)基准值及控制位置误差、(b)振动信号及控制位置误差、(c)基准值及振动信号及控制位置误差、或(d)控制位置误差,进行运算;和图像恢复运算命令,通过以点像分布函数对图像数据进行图像处理,来进行图像恢复,校正像抖动。计算机程序制品是记录了控制程序的记录介质。控制程序是被作为数据信号而包含的载波。
附图说明
图1为表示本发明的抖动校正相机的第一实施方式的***结构的框图。
图2为第一实施方式中的抖动校正相机的框配置图的一例。
图3为对光学式校正***的抖动校正控制部的控制操作进行说明的控制框图。
图4(a)~(c)为说明本实施方式中的图像恢复的图。
图5(a)~(d)为说明本实施方式中的图像恢复的图。
图6(a)~(c)为说明现有技术的图像恢复的第一图。
图7(a)~(d)为说明现有技术的图像恢复的第二图。
图8(a)(b)为表示包含漂移成分的角速度传感器输出、基准值的输出、在像面的抖动量的图。
图9为表示本发明的抖动校正相机的第二实施方式的***结构的框图。
图10为第二实施方式中的抖动校正相机的框配置图的一例。
图11为对第二实施方式中的抖动校正控制部的操作进行说明的框图。
图12为表示第二实施方式中的相机的操作的流程图。
图13为表示第二实施方式中的曝光及图像恢复操作的流程图。
图14为表示本发明的抖动校正相机的第三实施方式的***结构的框图。
图15为表示进行抖动校正操作时的相机的基本操作的流程图。
图16为表示第三实施方式中的光学式抖动校正操作模式时的相机的基本操作的流程图。
图17为表示第三实施方式中的图像恢复操作模式时的相机的基本操作的流程图。
图18为表示第三实施方式中根据抖动检测数据判断是否进行点像函数运算的图像恢复判断部的详细的操作的流程图。
图19为详细地表示了获得点像函数运算用数据的操作的流程图。
图20为表示图像重放装置的基本操作的流程图。
图21为表示具体的图像显示及各种参数的操作例的图。
图22(a)~(c)为表示具体的图像显示及各种参数的操作例的图。
图23为表示了在S2110中保存的恢复图像、参数及原图像的关系的示意图。
图24为表示第四实施方式中的图像恢复操作的流程图。
图25为表示第四实施方式中根据点像函数判断是否进行图像恢复的图像恢复判断部的详细操作的流程图。
图26为表示本发明的抖动校正相机的第五实施方式的***结构的框图。
图27为对第五实施方式中的相机主体及可更换镜头在拍摄时的操作步骤进行表示的流程图。
图28为接着图27对第五实施方式中的相机主体及可更换镜头在拍摄时的操作步骤进行表示的流程图。
具体实施方式
以下,参照附图等对本发明的实施方式进一步进行详细说明。
<第一实施方式>
图1为表示本发明的抖动校正相机的第一实施方式的***结构的框图。
本实施方式中的抖动校正相机1,形成具有光学式抖动校正功能并且可以进行图像恢复的相机***。图2为将抖动校正相机1应用于可更换镜头镜筒的单反时的框配置图。如图2所示,相机***包括相机主体101和镜头镜筒102。
抖动校正相机1,是电子地拍摄图像的所谓数码照相机,具有光学式校正***(或抖动光学校正***)500。
光学式校正***500的角速度传感器10是以角速度值检测对抖动校正相机1施加的振动的振动检测部。角速度传感器10,利用科里奥利力检测角速度,并将检测结果作为电压信号输出。
利用图2对角速度传感器10及其输出信号的处理进行说明。
角速度传感器10,被分别在垂直于摄影镜头的光轴I的X轴及垂直于X轴的Y轴上相对应地各设置一个,二维地检测抖动校正相机1的振动。角速度传感器10可以仅在由电源供给部90供给电源期间进行角速度的检测。另外,为了容易理解在图1中仅表示了一个角速度传感器10,在图2中表示了X轴方向及Y轴方向的角速度传感器10a、10b。
放大部420为放大角速度传感器10的输出的放大部。
A/D转换部20为将模拟信号转换为数字信号的转换器,将来自角速度传感器10的振动信号从模拟信号转换为数字信号,并传送到抖动校正控制部30。
A/D转换器440为将从位置检测部60传送而来的抖动校正镜头70的位置信息(模拟信号)转换为数字信号的转换器。转换了的抖动校正镜头位置信息被发送至抖动校正控制部30。
D/A转换器430为用于将在抖动校正控制部30运算了的驱动信号(数字信号)转换为模拟信号的D/A转换器。转换后的模拟信号被发送至光学***驱动部50。
一般来说,由于来自角速度传感器10的输出较小,即使直接通过A/D转换器20将其数字化并在微型计算机460内进行处理,角速度值的分解能力过低(1位对应的角速度值过大),还是无法进行正确的振动检测。因此无法提高抖动校正的精度。所以,在输入到A/D转换器20之前,通过放大器420放大角速度信号。如此,可以提高在微型计算机460内的角速度值的分解能力(使1位对应的角速度值减小),可以提高抖动校正的精度。
在放大部420中,分别与角速度传感器10a、10b对应设置两个放大部420a、420b。此外,在此,也可以附加低通滤波器,该低通滤波器不仅进行信号的放大,还以降低传感器输出中包含的高频杂波为目的。
此外,如图2所示,A/D转换部20、抖动校正控制部30、光学***驱动部50、位置检测部60、D/A转换器430及A/D转换器440,包括分别与X轴方向及Y轴方向对应的20a、20b;30a、30b;50a、50b;60a、60b;430a、430b及440a、440b。然而,由于各部的X轴方向及Y轴方向中的操作相同,所以以下并不对X轴方向及Y轴方向进行区别说明。
以下,根据图1进行说明。
抖动校正控制部30是下述部分:根据由角速度传感器10检测出的振动信号、和由后述的位置检测部60检测出的抖动校正镜头70的位置信息,运算用于驱动抖动校正镜头70的驱动信号,并将驱动信号输出到光学***驱动部50。此外,抖动校正控制部30还有作为后述的输出误差(控制位置误差)的控制位置误差输出部的作用。
在抖动校正控制部30中包含基准值运算部31(参照图3)。基准值运算部31是运算从角速度传感器10得到的振动信号的基准值的部分,在本实施方式中,使用数字低通滤波器(LPF),将LPF的输出作为基准值。对于由抖动校正控制部30进行的控制操作,在以后进行说明。
光学驱动部50,是以从抖动校正控制部30输出的驱动信号为基础、驱动抖动校正镜头70的执行元件。
位置检测部60为了进行抖动校正而检测抖动校正镜头70在X轴方向及Y轴方向的位置。位置检测部60的输出(位置信号),经由A/D转换器440被发送到抖动校正控制部30。
抖动校正镜头70,是相机的摄影光学***的一部分,是由可以在大致垂直于摄影光学***的光轴I的平面内移动的单镜头、或由多个镜头形成的镜头组构成的抖动校正光学***。抖动校正镜头70,由光学***驱动部50在大致垂直于光轴I的方向上进行驱动,并使摄影光学***的光轴I偏向。
照片等像的抖动,是由于手抖动等对相机施加的振动,在曝光中成像面的像移动从而产生的。在本实施方式的抖动校正相机1中,可以通过角速度传感器10检测对抖动校正相机1施加的振动。并且,如果检测到对抖动校正相机1施加的振动,就可以得知由该振动引起的成像面的像的移动,因此可以驱动抖动校正镜头70以抑制成像面上的像的移动,校正成像面上的像的移动即像抖动。
抖动校正相机1,除了上述光学式校正***500之外,还包括控制部80、电源供给部90、点像函数运算部100、摄像部110、图像记录部120、曝光控制部150、对焦镜头位置检测部160、焦距检测部170、闪光控制部180、操作部190等。
控制部80是控制抖动校正相机1的整体操作的控制部,进行控制抖动校正控制部30、点像函数运算部100、曝光控制部150、对焦镜头位置检测部160、焦距检测部170、闪光控制部180等的各种控制运算等。
电源供给部90是下述部分:在如图2所示的半按计时器195为ON的期间,对在以角速度传感器10为起始的相机内需要电源的地方持续供给电源。此外,在半按计时器为OFF时,停止电源的供给。因此,仅在相机的半按计时器195为ON的期间内,可以由角速度传感器10进行相机的振动检测。
点像函数运算部100是下述点像分布函数运算部:根据从抖动校正控制部30、曝光控制部150、对焦镜头位置检测部160、焦距检测部170等得到的各种信息,运算曝光中的点像函数(点像分布函数)。
由抖动校正镜头70进行的光学式抖动校正完全时,点像函数为1点,但实际上光学式抖动校正并不完全,因此点像函数并不是1点。即,残留有通过抖动校正镜头70未校正完全的像抖动(抖动校正残余)。在此算出的点像函数,在以后通过图像处理对通过抖动校正镜头70未校正完全而残留在成像面上的抖动校正残余进行进一步抖动校正时使用。
摄像部110包括摄像元件111、A/D转换部112、信号处理部113等,是对由摄影光学***在成像面所成的像进行拍摄、并将图像数据输出到图像记录部120的部分。摄像元件111是使通过摄影光学***在成像面所成的被拍摄体像受光、并转换为模拟信号的图像数据的元件。A/D转换部112是将模拟图像转换为数字图像的转换器。信号处理部113是对通过A/D转换部112转换为数字信号后的图像数据进行处理的部分。
图像记录部120是分别将由摄像部110拍摄的图像、由点像函数运算部100运算的点像函数、各种图像恢复处理所需要的各种信息(参数)等与图像建立关联并记录保存的部分。这些点像函数、各种信息等,例如可以作为题头嵌入并记录在图像文件内,也可以是如电子水印技术那样直接嵌入到图像中的方法。此外,也可以制作与图像文件相对应的别的文件,将信息写入到其中。
图像记录部120的具体的方式,例如可以是压缩光盘(コンパクトデイスク)(商标)、智能媒体(スマ一トメデイア)(商标)等可移动记录介质,也可以是进行图像传送的缓冲存储器。
曝光控制部150是从在未图示的指令盘等设定的曝光时间的设定值控制到摄像元件的曝光时间的部分。曝光时间信息及曝光的开始/结束的时序信息被发送到点像函数运算部100。
对焦镜头位置检测部160是检测未图示的对焦镜头的位置的部分。通过检测对焦镜头的位置,可以计算点像函数的运算所需要的从成像面到被拍摄体的距离。
焦点检测部170是检测摄影光学***摄影时的镜头焦距f的部分。该镜头焦距f也是点像函数的运算所需要的信息。
闪光控制部180是控制闪光发光部181的发光的部分。
操作部190具有半按开关(SW1)191、全按开关(SW2)192等。
半按开关191是使未图示的释放按钮的半按操作连动从而使其为ON的开关。通过使该半按开关191为ON,开始由未图示的测光部进行的测光运算、自动聚焦驱动等。此外,在半按计时器195为OFF时,与该半按开关191的ON同步,使半按计时器195为ON。
全按开关192是使未图示的释放按钮的全按操作连动从而使其为ON的开关。通过使该全按开关192为ON,进行由未图示的快门机构进行的快门的开闭、由图像传感器进行的图像的写入等一系列的摄影操作。
图像恢复运算部210是下述部分:根据从抖动校正相机1的图像记录部120传送而来的图像数据、对应于图像数据的点像函数信息以及用于图像恢复处理的各种参数,进行校正图像中所包含的抖动的图像恢复处理。在图像恢复运算部210中的图像恢复处理中,使用公式
(6)所述的维纳滤波器(ウイナ一フイルタ),但并不限于此,也可以使用其他的方法。
图像显示部220是显示摄影者拍摄的图像、或图像恢复后的图像的部分,在本实施方式中,相机的监视器部相当于该部分。
接下来,对于抖动校正控制部30关连的部分,包括光学式抖动校正操作的控制进行说明。
图3是对光学式校正***500的抖动校正控制部30的控制操作进行说明的控制框图。
首先,通过角速度传感器10检测对相机施加的振动。角速度传感器10通常使用检测科里奥利力的压电振动式角速度传感器。角速度传感器10的输出,经由A/D转换器20被输入到基准值运算部(低频成分抽出)31。
基准值运算部31是根据角速度传感器10的输出运算抖动的基准值的部分。通常手抖动的基准值为在角速度传感器10完全静止的状态下的输出(以下称为零输出)值即可。但是,该零输出值根据漂移或温度等环境条件而变动,因此无法使基准值为固定值。因此,从实际使用的状态、即摄影者的手抖动信号运算基准值,必须求得零输出。在基准值运算中,使用数字低通滤波器(LFP)。
数字低通滤波器的截止频率fc优选被设定的尽可能低,但如现有技术的说明中所述,将截止频率fc设定的过低时,容易受到传感器漂移的影响。此外,相反地设定的较高时,fc以下的频率成分由于未进行光学校正,因此作为像抖动而残留。在以后进行详细讲述,但可以以未进行该光学校正的基准值输出为基础求得点像函数,通过进行图像恢复处理而由后处理恢复在光学校正中没有完全取得的像抖动。
然后,在基准值运算之后,将从来自角速度传感器10的抖动检测信号减去了基准值的抖动检测信号发送到积分部32。
在积分部32中,对以角速度单位表示的抖动检测信号进行时间积分,并转换为相机的抖动角度。例如,根据以下的公式(7)进行运算。
θ(t)=θ(t-1)+C·(ω(t)-ω0(t))    (7)
在公式(7)的各记号中,θ(t)为目标驱动位置,ω(t)为抖动检测信号,ω0(t)为基准值,t为时间(整数值),C是由镜头的焦距等条件决定的常数。
由积分部32运算的目标驱动位置信息被发送到目标驱动位置运算部33。
在目标驱动位置运算部33中,在从积分部32传送而来的抖动角度信息中,加入来自焦点检测部170的镜头焦距f、来自对焦镜头位置检测部160的被拍摄体距离D等信息,运算用于驱动抖动校正镜头70的目标驱动位置信息。
在抖动校正控制部30中,利用公知的PID控制等,为了根据该目标驱动位置信息移动抖动校正镜头70,得到目标驱动位置信息和来自抖动校正镜头70的位置检测部60的位置信息的差,送出用于驱动光学***驱动部50的驱动信号。经由D/A转换器430将驱动信号传送到光学***驱动部50。可以根据送出的驱动信号在光学***驱动部50的线圈中流过电流,从而在垂直于光轴的方向上驱动抖动校正镜头70。
在位置检测部60中,监视抖动校正镜头70的位置,并利用检测出的镜头位置信息,通过抖动校正控制部30反馈控制抖动校正镜头70。
接下来,对点像函数运算部100的操作进行说明。
在现有技术的说明中对以下问题进行了讲述:即使通过光学式校正***500进行抖动校正也没有完全校正抖动,而在图像上残留有若干抖动(抖动校正残余的产生)(参照图8(a)(b))。这种抖动校正残余产生的原因主要是基于基准值的地方很大。因此,在本实施方式的点像函数运算部100中,以基准值为基础计算抖动校正残余的点像函数。
在此,对点像函数的运算方法进行简单说明。
点像函数利用下述公式计算。即,从得到的基准值ω0中减去基准值运算平均值ω0ave,将其积分求得误差角度θ(t)。进而从焦距信息f求得在像面的点像分布函数X(t)。
ω0ave=∑ω0(t)/N                       (8)
θ′(t)=θ′(t-1)+C·(ω0(t)-ω0ave)    (9)
X(t)=f·θ(t)                              (10)
另外,在安装望远倍率镜时,需要根据望远倍率镜的倍率改变焦距。此外,利用被拍摄体距离信息进行校正时点像分布函数的精度增高。此时,利用下式(11)即可。
X(t)=β·Rf·θ(t)    (11)
β:横倍率
R:被拍摄体距离
分别对X方向、Y方向进行这些运算,将其在X-Y平面上展开时得到点像分布函数。
另外,上述例为点像函数运算的一例,对于点像函数的运算,也可以利用其他的方法。
在此算出的点像函数,被发送到图像恢复运算部210。图像恢复运算部210根据该发送的点像函数进行图像恢复运算。通过对在抖动校正镜头70的抖动校正操作中没有完全校正的像抖动进行校正,可以得到抖动校正效果好的高画质的图像。
用于现有的图像恢复处理的数据,几乎都是从通过角速度传感器等检测出的抖动检测数据直接求得点像函数进行图像恢复的例子。但是,如之前所述,在这种方法中,在图像的抖动很大的情况下,存在即使进行图像恢复也没有改善画质的问题。但是,根据本实施方式,通过光学式抖动校正机构校正某种程度的抖动,利用此时的抖动信息进行图像恢复处理,由此可以大幅地改善画质。
图4(a)~(c)及图5(a)~(d)是说明本实施方式中的图像恢复的图。
在本实施方式中,由于利用由光学式抖动校正机构进行抖动校正后的图像数据及抖动信息,因此并没有发生抖动量过大的问题。通过比较图7(a)~(d)可以明白此点的效果。抖动越大没有传递的频率成分越是增加,图像的恢复就越难。可知图5(b)所示的空间频率传递函数变为0的点比图7(b)的要少。这表示:由于减少未传递的频率成分,因此可以有效地进行图像恢复。
如上述详细说明,根据本第一实施方式可以起到以下的效果。
由于具有校正像抖动的抖动校正光学***、和对由摄像部拍摄的图像通过图像处理进行图像恢复以校正像抖动的图像恢复运算部,因此可以补充利用了光学校正光学***的光学的抖动校正的问题点、和图像恢复中的抖动校正的问题点,提高抖动校正效果。
具有运算点像分布函数的点像分布函数运算部,图像恢复运算部,通过根据点像分布函数处理图像来进行图像恢复,所以如果在摄影时运算并保存点像分布函数,就可以在摄影后的任意时刻进行图像恢复。
点像分布函数运算部,根据基准值运算部的运算结果运算点像分布函数,所以可以将在由抖动校正光学***进行的抖动校正中没有完全校正的抖动作为点像分布函数,可以通过图像恢复对在由抖动校正光学***进行的抖动校正中没有完全校正的抖动进行校正。
<第二实施方式>
本实施方式是在第一实施方式的***结构中设置抖动校正操作选择开关194和信号流通控制部452的结构。
图9是本实施方式的***结构框图,图10是这些结构的框配置图。对起到与第一实施方式相同的功能的部分,标以相同的标号,适当省略重复的说明。
图11为对抖动校正部的操作进行说明的框图。如图11所示,将来自基准值运算部31的输出送出到点像函数运算部100时,设置切换是否进行抖动校正操作的信号流通控制部452。
抖动校正操作选择开关(VRSW)194是切换光学的抖动校正操作的ON/OFF的开关。此外,信号流通控制部452是根据VRSW 194的状态切换发送到点像函数运算部100的数据的部分。另外,在可更换镜头镜筒相机中如图10所示,该校正操作选择开关194被设置在可更换镜头的镜头镜筒102的外周部。如下进行基于本实施方式中的选择开关194的操作。
VRSW 194为ON时,驱动抖动校正镜头70,为了光学式校正操作和图像恢复而进行必要的操作。将为了进行图像恢复处理所需要的图像恢复用的数据,从基准值运算部31发送到点像函数运算部100。另一方面,在VRSW 194为OFF的状态下,停止抖动校正镜头70的驱动,进行光学的抖动校正操作。从目标驱动位置运算部33输出的目标驱动位置信号被作为图像恢复用的数据发送到点像函数运算部100。另外,无论VRSW 194的设定状态为何种状态,都将其发送到点像函数运算部100。
接下来,对本实施方式的抖动校正相机1的基本操作进行说明。
图12是对本发明的相机的基本操作进行说明的流程图。
以下,根据图12所示的流程图,对本实施方式的相机操作的流程进行说明。
另外,由于之后说明的内容是在X方向Y方向共用的内容,因此并不特别标明方向而进行说明。
在步骤S1010中,判断半按开关SW1是否为ON。半按开关SW1为ON时进入S1020,半按开关SW1为OFF时进入S1140。
在S1020中,重置计数器TSW1,使计数值为0。计数器TSW1是用于测量半按开关SW1变为OFF之后的经过时间的计数器,计数值为整数。该计数器在半按开关SW1为ON的期间内为0,仅在半按开关SW1为OFF且半按计时器为ON的期间进行操作。
在S1030中,判断半按计时器195是否为OFF。半按计时器195为OFF时进入S1040,半按计时器195为ON时进入S1170。
在S1040中,重置计数器t,使计数值为0。计数器t是用于测量半按计时器195为ON的时间的计数器。该计数器为整数值计数器,在半按计时器195变为ON的同时开始计数操作,在半按计时器195为ON的期间持续计数操作。
在S1050中,使半按计时器195为ON。在S1060中,使角速度传感器10为ON,开始振动的检测。此外,由A/D转换器20进行的转换操作也在此开始。在S1070中,根据来自角速度传感器10的输出开始基准值的运算。在S1080中,开始用于驱动抖动校正镜头70的驱动信号的运算。在S1090中,判断VRSW 194是否被设定为ON。VRSW 194被设定为ON时,为了驱动抖动校正镜头70而进入S1100。另一方面,VRSW 194被设定为OFF时,进入S1130。
在S1100中,开始抖动校正镜头70的驱动。在S1100中,进行曝光操作、图像恢复操作。之后利用图13对该操作进行详细说明。在S1120中,将半按计时器195的计数器t增加1。在S1130中,停止抖动校正镜头70的驱动。另外,当在进入该步骤的时刻抖动校正镜头70的驱动已经停止了时,直接持续停止状态。
在S1140中,判断半按计时器195是否为ON。半按计时器195为ON时进入S1150,半按计时器195为OFF时返回S1010,继续进行半按开关SW1的检测。在S1150中,在进入该步骤的时刻,相机处于半按开关SW1为OFF、半按计时器195为ON的状态。为了测量该状态持续的时间,将计数器TSW1增加1。
在S1160中,判断计数器TSW1的值是否比阈值T_SW1还小。在此,阈值T_SW1为用于决定计数器TSW1的上限的常数,决定从半按开关SW1变为OFF到半按计时器195变为OFF的时间。
计数器TSW1不满阈值T_SW1时,即肯定判断时,不将半按计时器195设为OFF就进入S1170。另一方面,计数TSW1与该阈值T_SW1相等时,即在该步骤否定判断时,进入S1220,进行使半按计时器195为OFF的处理、以及半按计时器195变为OFF所伴随的处理。
在S1170中,持续角速度传感器10为ON的状态,进行振动的检测。此外,也持续由A/D转换器20进行的转换操作。在S1180中,持续基准值的运算。在S1190中,从由角速度传感器10的输出和在S1180运算的基准值持续用于驱动抖动校正镜头70的驱动信号的运算。
在S1200中,判断VRSW 194是否被设定为ON。VRSW 194被设定为ON时,为了持续抖动校正镜头70的驱动而进入S1210。VRSW194被设定为OFF时进入S1130。
在S1210中,持续抖动校正镜头70的驱动。在S1220中,停止抖动校正镜头70的驱动。在S1230中,停止基准值的运算。在S1240中,停止对角速度传感器10的电源供给,并使角速度传感器10为OFF。在S1250中,使半按计数器195为OFF并返回S1010,进行半按开关(SW1)191的状态检测。
接下来,对本实施方式的相机的曝光操作及图像恢复操作进行说明。
图13为表示图12中的S1110的曝光操作、图像恢复操作的详细的流程图。
在S1 500中,判断全按开关(SW2)192是否为ON。全按开关SW2为ON时进入S1510,全按开关SW2为OFF时进入S1520。
在S1510中,判断曝光开始的处理是否已完成。曝光开始处理已完成时进入S1520,曝光开始处理未完成时进入S1530。全按开关SW2是成为曝光操作的契机的开关。该开关为ON时如果没有开始曝光就在此开始曝光,如果已经开始曝光就进行曝光的控制。
在S1520中,判断是否处于曝光中。处于曝光中时进入S1540,不在曝光中就进入S1570。在S1530中,进行未图示的反射镜的上升、打开快门等用于曝光开始的处理。在S1540中,判断VRSW 194是否为ON。VRSW 194为ON时进入S1550,VRSW 194为OFF时进入S1560。
在S1550中将基准值积分。这与对通过光学抖动校正操作没有完全校正的像的抖动进行运算等效。积分后的值存储在存储器等中,用于曝光后的点像函数的运算。
在S1560中,读入目标驱动位置信号,并存储在存储器等中。利用此在曝光结束后进行点像函数的运算。在S1570中,判断用于结束曝光的处理是否完成。处理完成时进入S1590,处理未完成时进入S1580。在S1580中,进行反射镜的下降、关闭快门等用于曝光结束的处理。
在S1590中,判断点像函数的运算是否结束。点像函数的运算结束时进入S1610,点像函数的运算没有结束时进入S1600。
在S1600中,开始或持续点像函数的运算。在进入该步骤的时刻如果没有开始点像函数的运算就开始运算,如果已经开始运算就持续该运算。
在S1610中,判断图像恢复的运算是否结束。图像恢复的运算结束时进入S1120,图像恢复的运算没有结束时进入S1620。在S1620中,开始或持续图像恢复的运算。在进入该步骤的时刻如果没有开始图像恢复的运算就开始运算,如果已经开始图像恢复的运算就持续该运算。
此外,不进行光学的抖动校正操作时,可以从角速度传感器10的输出运算点像函数,通过摄影后的图像恢复处理减轻抖动。因此,即使在由于电池不足、开关忘记接通等任何故障而使抖动校正镜头70没有操作时,也可以通过图像恢复处理减轻抖动。
如上述详细的说明,根据本发明,可以起到以下效果。
由于具有校正像抖动的校正光学***、利用基准值或振动检测信号运算点像分布函数的点像分布函数运算部、和对由摄像部拍摄的图像根据点像分布函数进行图像处理从而进行图像恢复以校正像抖动的图像恢复运算部,因此无论是否进行利用了抖动校正光学***的光学的抖动校正,都可以进行图像恢复。
由于具有对是利用基准值还是利用振动检测信号来由点像分布函数运算部进行点像分布函数的运算进行切换的点像分布函数运算切换部,所以可以根据需要选择点像分布函数的运算方法,可以在需要的时候有效地进行图像恢复。
点像分布函数运算切换部,兼用作在是否由抖动校正光学***进行抖动校正操作之间进行切换的抖动校正操作设定部,所以可以使由抖动校正光学***进行的抖动校正操作连动,改变点像分布函数的运算方法,可以进行与由抖动校正光学***进行的抖动校正操作的有无对应的最佳点像分布函数的运算。
在不进行由抖动校正光学***进行的抖动校正操作时,点像分布函数运算部利用振动检测信号运算点像分布函数,因此运算的点像分布函数与相机的抖动本身相关,可以通过图像恢复使起因于该相机的抖动的像抖动恢复。
由于具有校正像抖动的抖动校正光学***、和利用基准值或振动检测信号运算点像分布函数的点像分布函数运算部,所以无论是否进行利用了抖动校正光学***的光学的抖动校正,都可以以最佳的运算方法运算图像恢复所需要的点像分布函数,可以在其后通过外部装置等有效地对拍摄的图像进行图像恢复。
<第三实施方式>
第三实施方式是将图像恢复装置和相机主体分开的方式。对于起到与第一实施方式相同的功能的部分,附以相同的标号,适当省略重复的说明。
以下,参照附图对本发明的实施方式进一步进行详细说明。图14是表示本发明的抖动校正相机的第三实施方式的***结构的框图。
本实施方式的抖动校正相机主体1,在第一实施方式的结构上设置函数校正部105、接口部130、图像恢复判断部140,图像恢复运算部210变成作为图像重放装置2的一部分而与相机主体1分离的结构。
图像重放装置2为如下所述的图像恢复装置:利用传送电缆等连接图像记录部120或抖动校正相机1和重放装置,重放由抖动校正相机1拍摄的图像,并且可以进行图像恢复。
函数校正部105是利用从位置检测部60得到的抖动校正镜头70的位置信号来校正点像函数的部分。更为具体的说,利用位置信号根据作为驱动目标位置和位置信号(实际驱动位置)的差的控制位置误差进行点像函数的校正。
图像记录部120利用传送电缆300连接接口部130和图像重放装置2,根据需要将保存在图像记录部120中的图像以及图像恢复处理所需要的信息传送到图像重放装置2。
接口部130是在连接抖动校正相机1和图像重放装置2等时具有了连接传送电缆300的端子的通信设备。
连接电缆300是连接接口部130的连接器和图像重放装置2的通信端口(例如RS-232C、USB、并行端口、IEEE1394等)的电缆。经由该连接电缆300在抖动校正相机1和图像重放装置2之间进行数据的收发。
图像恢复判断部140是对是否进行点像函数运算进行判断处理的部分。即,根据快门速度或抖动量等信息判断是否对来自抖动校正控制部30的基准值运算部的输出数据进行点像函数运算的部分。
由于通过图像恢复判断部140判断点像函数运算的必要性,因此可以使保存在图像记录部120的信息尽量只是需要的数据,可以减少无谓的运算操作及存储器容量。
操作部190具有半按开关(SW)191、全按开关(SW)192、抖动校正模式选择开关(SW)194等。
抖动校正模式选择开关194是进行光学式校正操作模式和图像恢复模式的组合选择的操作部件。在本实施方式中,作为可以选择3个模式的抖动校正操作模式的开关,其操作如下。
选择了“抖动校正OFF模式”时,不进行光学式校正及图像恢复。即,停止抖动校正镜头70的驱动,抖动校正操作均不进行,图像恢复用的数据的记录保存也不进行。
选择了“光学式校正操作模式”时,仅进行光学式校正操作,驱动抖动校正镜头70进行像抖动校正操作,但不进行用于图像恢复处理的点像函数的运算、图像恢复用的数据的记录保存等。
选择了“图像恢复操作模式”时,进行光学式校正操作和图像恢复所需要的操作。将图像恢复处理所需要的图像恢复用的数据,从光学式校正***500经由图像恢复判断部140发送到点像函数运算部100。
接下来,对图像重放装置2进行说明。
图像重放装置2,包括进行图像恢复处理的图像恢复运算部210、显示图像的图像显示部220和恢复结果保存部230。
本实施方式中的图像重放装置2,利用个人电脑,将包含图像恢复所需要的专用的抖动校正程序的应用软件安装到该个人电脑上,由此使其作为图像重放装置2起作用。
在该抖动校正程序中,除了进行图像恢复处理的图像恢复运算部(图像恢复运算程序)之外,还包括接收从相机侧传送的图像数据、点像分布函数及各种参数的数据输入部(数据输入程序)和从图像重放装置侧进行相机侧的参数设定的设定部等。
另外,图像重放装置2并不限于利用个人电脑的情况,例如既可以作为专用的重放装置,也可以将其组装到相机中。
图像恢复运算部210是如下所述的部分:根据从抖动校正相机1的图像记录部120传送而来的图像数据、与图像数据对应的点像函数信息以及用于图像恢复处理的各种参数,进行校正图像中所包含的抖动的图像恢复处理。
对于图像恢复运算部210中的图像恢复处理,使用了公式(6)所述的维纳滤波器,但不限于此,也可以使用其他方法。
图像显示部220是显示摄影者拍摄的图像或图像恢复后的图像的部分,在本实施方式中,个人电脑的监视器部相当于该部分。
恢复结果保存部230是将由图像恢复运算部210进行图像恢复处理后的恢复图像和进行图像恢复处理时所用的参数与原图像建立关联并保存的部分。
接下来,对本实施方式的抖动校正相机1的基本操作进行说明。
图15是表示进行抖动校正操作时相机的基本操作的流程图。
在步骤S210中,半按开关191为ON时进入S220。在S220中,判别抖动校正模式选择开关194的状态。“光学式校正操作模式”时进入S230的光学式校正操作流程,“图像恢复操作模式”时进入S240的进行光学式抖动校正操作和图像恢复处理操作的图像恢复处理流程。选择了“抖动校正OFF模式”时进入S250。
在S250中,由于选择了“抖动校正OFF模式”,因此如上所述,不进行光学式校正及图像恢复,停止抖动校正镜头70的驱动,抖动校正操作均不进行,也不进行图像恢复用的数据的记录保存。
以下,分别对“光学式校正操作模式”以及“图像恢复操作模式”的情况下的抖动校正相机1的操作进行说明。
首先,对“光学式校正操作模式”时的抖动校正相机的操作进行说明。
图16是表示光学式抖动校正操作模式时的相机的基本操作的流程图。
在S400中,将用于基准值运算部3 1的LPF部的截止频率fc设为fc=0.1Hz。在S410中,使作为振动检测部的角速度传感器10为ON。在S420中,解除被锁定的抖动校正镜头70的锁定。在S430中,开始抖动校正操作。在此开始的抖动校正是指如下所述的光学式抖动校正操作:根据角速度传感器10的输出,为了消除其像抖动,使抖动校正镜头70在大致垂直于光轴方向的方向上移动,来校正抖动。
在S440中,检测半按计时器的状态,如果半按计时器为OFF就进入S450,如果半按计时器为ON就进入S470。在S450中,停止抖动校正操作,在S460中锁定校正镜头70,结束光学校正模式。在S470中,检测全按开关192的状态,如果全按开关192为ON就进入S480,如果全按开关192为OFF就返回S440。
在S480中,进行抖动校正镜头70的居中操作后,再度开始抖动校正。在没有通过光学***驱动部50驱动的状态下,摄影光学***的光轴I和抖动校正镜头70的光轴未必一致。通常,抖动校正镜头70大多处于移动到了其可动范围的端部的状态,直接进行抖动校正操作时,产生无法驱动的方向,所以驱动抖动校正镜头70,以根据该居中操作使抖动校正镜头70的光轴和摄影光学***的光轴I大致一致。
在S490中,进行快门打开操作,开始对摄像部110的曝光。在S500中,进行闪光(SB)是否发光的判断,进行闪光的发光时进入S510,不进行闪光的发光时进入S520。在S510中进行闪光的发光。在S520中,关闭快门,结束曝光。其后,返回到S440的半按计时器判断程序。
接下来,对“图像恢复操作模式”时的抖动校正相机的操作进行说明。
图17是表示图像恢复操作模式时的相机的基本操作的流程图。
在S600中,将用于基准值运算部31的LPF部的截止频率fc设定为fc=1Hz。相对于在上述“光学式校正操作模式”时fc=0.1Hz,在该“图像恢复操作模式”时,提高截止频率fc。
通过如此设定,在“图像恢复操作模式”时,与“光学式校正操作模式”相比,可以使在抖动校正相机1的振动内,由点像函数运算部100运算的点像函数所出现的成分增多,使驱动抖动校正镜头70进行抖动校正的成分减少。由此,可以减少驱动抖动校正镜头70的驱动量,可以使抖动校正镜头70在可以驱动的范围内持有余量的进行驱动。此时,由光学式抖动校正操作校正的抖动量减少,拍摄的图像的抖动量增加,但对于该增加了的抖动,以后通过图像恢复进行校正,所以最终可以得到抖动校正效果高、没有像抖动或像抖动非常少的图像。
如此,在“图像恢复操作模式”时,与“光学式校正操作模式”时相比增高用于基准值运算的截止频率,将进行抖动校正的成分分配给光学式抖动校正和图像恢复,从而与“光学式校正操作模式”时相比,即使是更大的手抖动,也可以进行适当的抖动校正。
图1 7中从S610到S670的流程,与图16中从S410到S470的流程中的操作相同,所以在此省略详细的说明。
在S680中进行恢复处理判断。以后利用图18进行该S680的恢复处理判断的详细说明。通过该步骤中的恢复处理判断,判断为不需要图像恢复处理时进入S690,判断为需要图像恢复处理时进入S720。
在S690中,与图16中的S480一样,在进行抖动校正镜头70的居中操作后,再度开始抖动校正。在S700中,进行快门打开操作,开始对摄像部110的曝光。在S710中,关闭快门,结束曝光。其后,返回到S640的半按计时器判断程序。在S720中,与图16中的S480一样,在进行抖动校正镜头70的居中操作后,再度开始抖动校正。
在S730中,进行快门打开操作,开始对摄像部110的曝光。在S740中,在曝光期间进行点像函数运算用的数据取得。作为点像函数运算用的数据,包括根据来自角速度传感器10的输出运算的基准值、和根据由位置检测部60得到的抖动校正镜头70的位置信息运算的误差信息。以后利用图19对该S740中的点像函数运算用的数据取得进行详细说明。
在S745中,关闭快门,结束曝光。在S750中,在取得点像函数运算用数据后,利用取得的数据进行点像函数的运算。对于点像函数的运算例,由于在第一实施方式中已经进行了说明因而省略。在S755中,利用误差数据校正在S740中运算的点像函数(由函数校正部105进行的操作)。
在此,对利用了误差数据的点像函数的校正方法进行说明。
作为时间t的函数将抖动校正镜头70的驱动目标位置设为lc(t),实际驱动位置设为lr(t),则分别在X轴方向及Y轴方向上的控制位置误差e(t),通过以下公式得到(作为控制位置误差输出部的操作)。
ex(t)=lcx(t)-lrx(t)    (12)
ey(t)=lcy(t)-lry(t)    (13)
将二维地展开这些公式(12)、(13)后的函数设为e(x,y),则校正后的点像函数p’(x,y)可以利用数学式1所示的点像函数p(x,y),根据下式得到。
p’(x,y)=p(x,y)+e(x,y)    (14)
校正了点像函数后,在S760中,对图像恢复处理对象图像附加抖动标记。
在S770中,将校正了的点像函数作为抖动信息记录,返回到S640。
接下来,对从光学式校正***500输出的抖动信息的处理和点像函数运算用数据的取得进行说明。
图18是表示根据抖动检测数据判断是否进行点像函数运算的图像恢复判断部140(图17中的S680)的详细的操作的流程图。
根据该图像恢复判断部140的判断,来判断是否记录图像恢复所需要的抖动检测数据。
在S310中,根据抖动检测量的大小,判断图像恢复处理的有效性。在该步骤中,根据抖动信息及相机摄影信息预先设定可以图像恢复的条件范围,并根据该条件判断是否可以通过从目标驱动位置运算结果进行图像恢复处理来有效地校正抖动。
例如,抖动量过大(最大界限抖动量)时,即使进行图像恢复处理,在图像中条纹也比较明显,无法避免由该条纹引起的画质劣化。此外,抖动量过小(最小界限抖动量)时,即使进行图像恢复也不会出现其改善效果。
因此,预先通过根据实验或经验所得来设定这些界限抖动量。
在S320中,根据快门速度(曝光时间)判断图像恢复处理的必要性。在该步骤中,根据快门速度预测某种程度抖动量的大小,根据该预测的抖动量判断是否需要图像恢复处理。快门速度很快时,例如即使产生抖动也是非常小的抖动量,判断是可供欣赏的图像。此时的抖动量,从焦距和快门速度这二者求得。在不进行光学式抖动校正时,一般是指手抖动的发生比(1/焦距)的快门速度慢的情况。但是,在本实施方式中,由于也进行光学式抖动校正,因此例如仅在满足下式(15)的情况下,进行图像恢复处理。
(A/焦距)<快门秒时(曝光时间)    (15)
在此,(公式15)中的“A”,既可以是预定值,也可以是根据其他条件而变化的变量。
在S310、S320中的快门速度判断及抖动检测量判断共同判断为需要进行恢复处理时,变为具有恢复处理的S330的曝光步骤,进入图17中的S720。
另一方面,S310、S320中的快门速度判断或抖动检测量判断的任意一个都判断为无需进行恢复处理时,进入S340,警告、显示(通知)不进行图像恢复操作的信息。通知例如可以是警告音,也可以进行预定的显示。
进行了S340之后,变为S350的无恢复处理的曝光步骤,进入图17中的S690。
如图18所示,通过判断是否需要图像恢复,可以减轻用于图像恢复处理的抖动信息量,可以进行存储器容量的降低。
图19是详细地表示了点像函数运算用数据取得的操作(图17中的S740)的流程图。
在本实施方式中,将存储器容量的节约等作为主要目的,进行图19所示的抽取处理(作为信息量减少部的处理)。
曝光开始后,在S910中重置计数器。具体地说,设N=1,K=0。其中,N是作为为了区别多个基准值而附加的编号的计数器,K是作为计算时间的计时器的计数器。
在S920中保存作为初始基准值输出的ω0(1)。
在S925中计算此时的误差e(1)并保存。其中,所谓误差,是指由目标驱动位置运算部33运算的抖动校正镜头70的驱动目标位置、和从位置检测部60输出的抖动校正镜头70的实际驱动位置的差(控制位置误差),由抖动校正控制部30进行运算。在抖动校正控制部30中,输出驱动信号以补足驱动目标位置和实际驱动位置的差,但有时抖动校正镜头70并没有完全追随驱动目标,此时产生误差。
在S930中根据下式计算基准值输出的平均值ω0ave。
ω0ave={ω0(N)+ω0ave×(N-1)}/N    (16)
在S940中,进行计数器的确认。K=100时进入S950,除此以外的情况下,进入S970。在S950中保存基准值输出ω0(N)。
在S955中,计算此时的误差e(N)并保存。在S960中,设K=0重置计时器计数器。在本实施方式中,由于角速度传感器10的采样频率为1KHz,因此每隔0.1sec保存基准值输出,所以变成抽取基准值输出。在S970中,确认快门是否关闭,如果快门打开就进入S990,如果快门关闭就进入S980。
在S980中,保存最后的基准值输出ω0(N)。这是因为,在由于基准值输出的抽取保存而使快门秒时很快时,避免了仅保存基准值输出的初始点。例如,在本实施方式中是因为,由于在采样频率为1KHz时每隔0.1sec保存基准值输出,所以在比1/10sec更快的快门速度下,仅保存了初始的基准值输出,无法构成点像函数。此外,在该S980中,还同时保存在S930中运算的基准值输出的平均值ω0ave。
在S985中,计算此时的误差e(N)并保存。在S990及S1000中,增加计数,返回S930,进行基准值输出的平均值运算。
在此,对上述抽取处理进行说明。
在本实施方式中,用于图像恢复处理的点像函数,根据基准值输出来进行计算。基准值输出,如上所述是具有1Hz(进行图像恢复的图17的流程时)的截止频率的LPF输出,因此比手抖动的频率成分低。因此,也可以减少用于点像函数运算的数据数。
进行点像函数运算时,对从光学式校正***500送出的抖动检测数据的全部数据运算点像函数时,需要很大的运算量和存储器容量。
从目标位置运算结果得到的抖动检测数据的个数,例如在基准值运算的采样频率为1KHz时,1秒的基准值数据个数为N=1000个,是非常多的数据量。手抖动的频率是0.1~10Hz左右,在计算手抖动的基准值的基准值运算部31上设置的低通滤波器的截止频率是1Hz左右。即,在点像函数运算部100中,1Hz或其以下的频率是主要成分。对于表示1Hz的频率,以其10倍左右、即0.1sec周期的数据就足够了。因此,可以对1KHz采样的数据进行到1/100的数据的抽取。
此外,改变用于基准值输出运算的LPF的截止频率时,需要改变从该截止频率的抽取量。
通过这种处理,可以缩短运算处理的时间,节约存储器等的容量。
在抽取处理后,为了通过图像重放装置进行图像恢复处理而在记录介质中记录抖动信息,并将数据传送到图像重放装置2。在本实施方式中,通过抽取处理记录并传送图像恢复处理所需要的最低的数据个数,由此可以对传送时间、运算处理时间的缩短、特别是存储器容量的节约起到很大的效果。
在此,对图17的S750中进行的点像函数运算部100的操作进行说明。
在现有技术的说明中记载了以下问题:即使通过光学式校正***500进行抖动校正也没有完全校正抖动而在图像上残留有若干抖动(抖动校正残余的产生)。这种抖动校正残余产生的原因主要是基准值的位置、以及在抖动校正镜头的实际的驱动位置和驱动目标之间产生的误差的位置较大。因此,在本实施方式的点像函数运算部100中,根据基准值计算点像函数,在函数校正部105中,通过误差校正该点像函数。在此校正了的点像函数被发送到图像恢复运算部210。图像恢复运算部210,根据该发送的校正后的点像函数进行图像恢复运算,可以通过校正在抖动校正镜头70的抖动校正操作中没有完全校正的像抖动,得到抖动校正效果好的高画质的图像。
接下来,对图像重放装置2的操作进行说明。
图20是表示图像重放装置2的基本操作的流程图。
在图像重放装置2中,已经安装有用于进行图像恢复的抖动校正程序。
如之前所示,在本实施方式中,将相机侧的图像数据经由传送电缆300传送到图像重放装置2中。
在图20中,已经进行图像的传送,开始抖动校正(图像恢复处理)程序,进行菜单画面显示。
在S2010中,通过由鼠标等输入装置点击恢复处理按钮等,进入进行图像恢复的流程。在S2020中,对于被判断为是预先在相机侧进行恢复处理对象图像的图像,附加抖动标记并进行记录,因此在重放时仅读出、显示图像读入操作开始并且被附加该抖动标记的图像。在S2030中,看着与图像或像抖动相关的各种参数同时选择、显示利用者进行图像恢复处理的图像。
在S2040中,更为详细的显示与选择的图像相关并作为图像恢复所需要的参数的抖动轨迹数据以及点像抖动。更为具体的说,在图像显示部(显示器)220上显示抖动轨迹数据、点像抖动等由抖动校正相机1记录的校正信息及摄影信息等,操作者可以在图像显示部220上直接操作适宜的抖动轨迹数据。
图21及图22(a)~(c)是表示具体的图像显示及各种参数的操作例的图。图22(a)表示抖动轨迹数据,图22(b)表示粗调整操作模式中的抖动轨迹数据,图22(c)表示微调整操作模式中的抖动轨迹数据。
在S2050中,任意地变更、设定进行图像恢复时的上述参数。在S2060中,根据在S2050中设定的参数进行恢复处理。在S2070中,在图像重放装置2的图像显示部220上比较显示恢复处理前的抖动图像和恢复处理后的恢复图像。在S2080中,由眼睛比较图像恢复前的抖动图像和图像恢复后的恢复图像,判断恢复图像是否可以(是否进行再度图像恢复)。恢复图像可以时,进入S2085,进行再度图像恢复时,返回S2040。
在S2085中,利用者判断并决定是否保存恢复图像及参数的判断。保存恢复图像及参数时,进入S2090,不保存时结束。在S2090中,利用者判断并选择指示是否覆盖保存恢复图像及参数。不覆盖保存时进入S2110,覆盖保存时进入S2100。此外,覆盖保存时还同时进行被覆盖消去的数据(已经保存的数据)的选择。
在S2100中,删除与原图像对应保存的过去的恢复图像及参数(S2090中进行了覆盖选择的数据)。在S2110中,将恢复图像和用于本次图像恢复处理的新参数与原图像建立关联并保存。
在该步骤中,将保存了恢复前的原图像(抖动图像)的文件和保存了参数的文件以及恢复图像的3种文件,作为各自不同的文件,在保存了参数的文件中,写入与保存了原图像的文件及保存了恢复图像的文件相关的信息。其后在图像重放装置2中打开保存了参数的文件时,也打开并显示相关联的、保存了原图像的文件和保存了恢复图像的文件。
图23是表示了在S2110中保存的恢复图像、参数及原图像的关系的示意图。
如图23所示,在本实施方式中,可以存在多个与1个原图像相关联的恢复图像和参数的组合。
由此,即使进行数次图像恢复处理也将参数与图像建立关联并进行保存,所以可以不混乱而顺利地推进作业。
另外,恢复图像或参数和原图像的保存,并不限于本实施方式所示的方式,可以是各种实施方式。下表1中表示这些组合。
表1
原图像保存? 恢复图像保存? 参数保存? 保存方法 No.
不保存 保存 保存 重新 1
覆盖 2
不保存 保存 重新 3
覆盖 4
保存 不保存 重新 5
覆盖 6
保存 保存 保存 重新 7
覆盖 8
不保存 保存 重新 9
覆盖 10
保存 不保存 重新 11
覆盖 12
表1中的No.1~6是不保存原图像的方式。
例如,对恢复结果满意而不进行再度图像恢复时,存在完全不需要原图像的情况,此时,No.1、2、5、6等方式有效。
另一方面,对原图像进行恢复处理,对所得到的恢复图像不能满意,而不需要原图像及恢复图像的情况下,作为其后对别的原图像进行恢复处理时的参考而想要保存参数时,No.3、4的方式有效。
表1中的No.7~12为保存原图像的方式。其中的No.7、8的方式是上述实施方式。
例如,在图像重放装置2的图像恢复运算部210的处理速度很高的情况下,即使不保存恢复图像,通过与原图像建立关联仅保存参数,可以在需要时立即利用保存的参数及原图像进行图像恢复并显示恢复图像。因此,保持与上述实施方式相同的使用情况,可以节约记录介质等的容量(No.9、10)。
此外,对恢复结果满意而不需要再度进行同条件的图像恢复,但为了确认而保存原图像,以使能够以别的参数重新进行图像恢复的情况下,No.11、12有效。
另外,对上述所有的方式,作为保存方法可以选择重新保存和覆盖保存。
在图21所示的例中,在图像显示部220上,使恢复处理前的抖动图像和恢复处理后的恢复图像、与点像函数相关的信息和抖动轨迹数据分别相对应,并进行视窗显示。通过如此在同一画面上比较显示,可以使操作者直观地一眼判断出校正什么位置即可。
此外,在图21的右下方显示的部分,进行可以进行抖动轨迹数据的操作的显示。在本实施方式中,这样一来,可以利用鼠标等局部地操作在图像显示部220上显示的抖动轨迹数据。根据如此操作的抖动轨迹数据进行再度恢复处理,可以进行更为详细的比较判断。
此外,在本实施方式中,可以通过以鼠标指示点P0为基准缩小/放大图22(a)所示、得到的抖动轨迹数据,进行图22(b)所示的图像数据操作的粗调整、图22(c)所示的微调整。图22(c)是使其为微调整模式的例子,可以细致地操作数据数,因此容易进行对得到的恢复图像的参数的评价,可以提高图像操作自由度并且进行有效的处理。
以往,在点像函数运算中,将从角速度传感器10等传感器输出得到的输出直接用于运算,因此在点像函数中含有非常多的误差因素,即使进行图像显示操作也很难得到高画质的图像。对此,在本实施方式中,点像函数运算,利用由光学式抖动校正操作进行了抖动校正的杂波误差少的输出数据进行图像恢复处理,因此得到画质非常高的恢复图像。此外,对抖动轨迹数据或点像数据等,例如可以利用鼠标等直接进行图像操作,也容易评价对用于图像恢复处理的参数的图像恢复的效果,可以进行有效的处理作业。
如此,在本实施方式中,由于与图像建立关联记录抖动信息,仅通过利用图像重放装置2(图像阅览软件)阅览图像就使利用者得到抖动信息。因此,不需要利用者在进行图像恢复前将图像和抖动信息建立关联,提高了作业效率。此外,由于还通过抖动标记显示是否需要图像恢复的信息,所以进一步提高了作业效率。
根据本实施方式,检测抖动校正镜头70的实际驱动位置,将其与驱动目标位置的差作为误差求出,对反映了该误差的点像函数进行运算,因此通过利用该点像函数进行图像恢复,对于抖动校正镜头70的驱动误差引起的抖动校正残余也可以通过图像恢复进行校正,可以提高抖动校正效果。
另外,并不限于以上说明的实施方式,可以进行各种变形或变更,那些也均在本发明的均等的范围内。
例如,在本实施方式中,表示了对基准值运算利用数字低通滤波器的例子,但不限于此,也可以通过进行移动平均等其他的方法进行基准值运算。
在本实施方式中,表示了根据是否进行图像恢复改变LPF的截止频率的例子,但不限于此,也可以不根据是否进行图像恢复改变LPF的截止频率。
在本实施方式中,表示了经由传送电缆300连接抖动校正相机1和图像重放装置2进行数据的收发的例子,但不限于此,例如可以利用记录了由抖动校正相机1拍摄的图像和对应于该图像的点像函数、其他的图像恢复处理所需要的参数及摄影信息等的广泛应用的记录介质,也可以通过无线通信传送。
在本实施方式中,表示了将恢复结果运算部230设置在图像重放装置2上的例子,但不限于此,例如,对于具有图像恢复运算部的相机,也可以将恢复结果运算部设置在相机上。
在本实施例中,表示了将数据的抽取处理作为点像函数运算前的处理的例子,但不限于此,也可以在点像函数运算后进行数据的抽取处理。
在本实施例中,表示了抖动校正操作模式选择开关194为3态开关的例子。但是不限于此,例如,可以是能够分别使“光学式校正操作模式”和“图像恢复操作模式”ON/OFF的开关,也可以是软件性的开关。这种情况下,在不选择“光学式校正操作模式”的状态下选择“图像恢复操作模式”时,对使用者进行如下警告:发出警告音,或显示警告显示,或与图像相关附加表示没有进行光学抖动校正的警告标记等。
在本实施方式中,表示了以下例子:判断图像恢复是否需要的结果,判断为不进行图像恢复时,不对点像函数等抖动信息进行运算或进行记录保存,但不限于此,例如可以附加进行这些抖动信息的记录、进行是不需要图像恢复的图像的信息的通知(警告)的标记,也可以附加表示不将抖动信息记录保存的信息的标记。
在本实施方式中,表示了以下例子:分别将保存了原图像的文件、保存了参数的文件、及恢复图像的3种文件作为不同的文件,在保存了参数的文件中,写入与保存了原图像的文件以及保存了恢复图像的文件相关的信息。但是不限于此,例如,可以将这3种数据作为一个文件保存,也可以将与3种数据的关联相关的信息保存在别的文件中,在应用软件上参照该别的文件进行3种数据的关联显示等。
如上述详细说明,根据本发明,可以起到以下的效果。
由于具有含有点像分布函数运算部的相机和含有图像恢复运算部的外部装置,所以无需通过相机进行运算量很大的图像恢复,可以使相机变得便宜,此外,可以减少相机的电力消耗。
由于具有利用图像记录部或通信设备将由点像分布函数运算部运算出的点像分布函数输出到外部的点像分布函数输出设备,所以不进行烦杂的作业就可以容易地由外部装置进行图像恢复。
点像分布函数运算部根据基准值运算部的运算结果运算点像分布函数,因此可以将在抖动校正光学***进行的抖动校正中没有完全校正的抖动作为点像分布函数,可以通过图像恢复校正在抖动校正光学***进行的抖动校正中没有完全校正的抖动。
由于具有接收图像数据及点像分布函数的数据输入部、和进行图像恢复校正像抖动的图像恢复运算部,所以可以利用点像分布函数对包含抖动的图像数据进行图像恢复,在摄影后校正像抖动。
由于是包括接收图像数据及点像分布函数的数据输入程序和进行图像恢复校正像抖动的图像恢复运算程序的抖动校正程序,所以可以利用广泛应用的计算机进行图像恢复。因此,不用利用专用的外部装置就可以进行图像恢复,可以使其作为整体成为低成本的***。
由于具有使用于点像分布函数的运算的基准值及/或运算后的点像分布函数的信息量减少的信息量减少部,因此可以缩短运算处理时间、节约存储器容量等,无需高速运算处理部、大容量记录介质、高速记录设备及高速通信设备,就可以进行图像恢复。
信息量减少部,通过抽取基准值及/或运算后的点像分布函数的数据减少信息量,因此可以简单且切实地减少信息量。
信息量减少部,减少信息量以确保图像恢复运算所需要的信息量,因此不会使图像恢复后的画质劣化,可以得到高画质的恢复图像。
由于具有将用于图像恢复运算部中的图像处理的参数及/或恢复图像与原图像建立关联并保存的恢复结果保存部或恢复结果保存程序,所以在利用者改变图像恢复时所需要的参数时,可以容易地整理并管理图像数据及参数设定。
恢复结果保存部,可以保存与多组恢复图像对应的多个参数及/或恢复图像,因此即使在改变参数同时多次试行图像恢复的情况下,也可以保留试行的历史,可以容易地进行整理。
抖动校正控制部,与抖动校正模式选择部的选择状态相对应,改变抖动校正光学***的控制内容,因此可以进行适合于进行图像恢复情况的光学式抖动校正操作。
抖动校正控制部,通过根据抖动校正模式选择部的选择状态改变基准值的运算方法,改变抖动校正光学***的控制内容。由此,在进行图像恢复时可以改变光学式抖动校正操作的抖动校正量,通过减少光学式抖动校正操作的抖动校正量,对于更大的手抖动,也可以进行适当的抖动校正操作。此外,残留的像抖动可以通过图像恢复进行抖动校正,因此可以得到充分地抖动校正了的高画质的图像。
抖动校正控制部,通过改变低通滤波器的截止频率改变抖动校正光学***的控制内容,因此可以容易地进行光学式抖动校正操作的抖动校正量的变更,可以容易地进行本实施方式。
抖动校正控制部,将抖动校正模式选择部进行图像恢复的选择状态的截止频率,变更为比抖动校正模式选择部不进行图像恢复的选择状态的截止频率高的频率,因此进行图像恢复时光学式抖动校正操作的抖动校正量减少,对于更大的手抖动,也可以进行适当的抖动校正操作。
由于具有判断是否需要进行图像恢复模式的图像恢复判断部,所以可以在希望通过进行图像恢复改善画质时进行图像恢复,防止进行无谓的图像恢复。
图像恢复判断部,根据振动检测信号判断是否需要进行图像恢复模式,因此可以判断像抖动过大的情况、以及像抖动几乎没有发生的情况。
图像恢复判断部,根据快门速度判断是否需要进行图像恢复模式,因此可以在有可能产生像抖动的快门速度的情况下进行图像恢复。
图像恢复判断部,根据摄影光学***的焦距判断是否需要进行图像恢复模式,因此可以在有可能产生像抖动的焦距的情况下进行图像恢复。
图像恢复判断部,根据点像分布函数判断是否需要进行图像恢复模式,因此可以根据曝光中的抖动量变化判断是否需要图像恢复,并且可以进行更为正确的判断。
当图像恢复判断部判断不需要进行图像恢复模式时,由于具有通知该信息的通知设备,所以摄影者可以容易地把握摄影状态,可以更为方便使用。
当图像恢复判断部判断不需要进行图像恢复模式时,由于不进行图像恢复模式,因此不会无谓地进行运算处理,在处理速度、电力消耗等方面有效。
当图像恢复判断部判断不需要进行图像恢复模式时,由于不保存点像分布函数,因此可以节约存储器、记录介质的容量。
抖动校正模式选择部选择图像恢复模式时,由于也同时选择光学式校正模式,所以可以通过光学式抖动校正降低进行图像恢复的像的抖动,可以在进行图像恢复时切实地得到高画质的图像。
抖动校正模式选择部,在不选择光学式抖动校正模式的状态下,无法选择图像恢复模式,因此可以防止在错误地在不进行光学式抖动校正的状态下对拍摄的图像进行图像恢复。因此,在进行图像恢复时可以总是得到高画质的图像。
抖动校正模式选择部,在不选择光学式抖动校正模式的状态下选择图像恢复模式时,会进行警告,因此可以防止错误地在不进行光学式抖动校正的状态下对拍摄的图像进行图像恢复。因此,在进行图像恢复时可以总是得到高画质的图像。
由点像分布函数运算部进行的点像分布函数的运算,可以通过操作光学式抖动校正设备来进行,因此可以通过光学式抖动校正降低进行图像恢复时的像的抖动,运算的点像分布函数,充分地包含图像恢复所需要的信息,因此在进行图像恢复时可以总是得到高画质的图像。
<第四实施方式>
以下,利用图24对本发明的第四实施方式进行说明。
第四实施方式在下点与第三实施方式不同,其他部分与第三实施方式相同,即:在进行点像函数运算(S750)后,进行相当于第三实施方式的图17中的S680(图像恢复判断部)的操作。因此,对起到与上述第三实施方式相同的功能的部分,标以相同的标号,适当省略重复的说明。
在S750中进行点像函数运算后,在S755中进行是否需要图像恢复(是否需要进行图像恢复操作模式)的判断。该步骤是具有与第三实施方式中图17的S680相同的目的的操作(作为图像恢复判断部的操作),但判断方法不同(参照图25)。S755中的判断结果,判断为进行图像恢复时,进入S760,判断为不进行图像恢复时,返回到S640。
图25是表示根据点像函数判断是否进行图像恢复的图像恢复判断部的详细操作的流程图,是相当于第三实施方式中的图18的图。
在S5310中,根据点像函数判断是否需要进行图像恢复操作模式。判断的结果为进行图像恢复时进入S5320,进入到有图像恢复的曝光程序(图24中的S760)。另一方面,在不进行图像恢复时进入S5330。
作为根据点像函数进行的是否需要进行图像恢复操作模式的判断的具体方式,例如为以下方法:计算点像函数的宽度,该宽度比预定量(例如30μm)小时进行图像恢复。在此,点像函数的宽度,例如可以求得与点像函数外接的长方形,将与该长方形相接的对角线长度作为点像函数的宽度。
在S5330中,警告、显示(通知)不进行图像恢复操作的信息。通知,例如既可以为警告音,也可以进行预定的显示。
在S5340中,进入无恢复处理的曝光程序(图24中的S640)。
在第三实施方式中,在进行点像函数运算之前,利用抖动检测量、快门速度、焦距等信息判断是否需要图像恢复。但是,这些信息是将释放按钮从半按到全按的期间得到的信息,因此预测并判断曝光中的振动,从全按释放按钮到曝光结束期间抖动量变化的情况下,存在无法正确判断的情况。因此,在本实施方式中,根据利用曝光中得到的信息运算的点像函数,进行是否需要进行图像恢复操作模式的判断,可以进行反映了摄影中的实际的振动信息的判断。
此外,从点像函数得到作为具体的数值的像面中的像抖动量,因此可以更为正确地判断需要/无需图像恢复。
根据本实施方式,由于根据点像函数进行是否需要进行图像恢复操作模式的判断,所以可以根据曝光中的抖动量变化判断是否需要图像恢复,并且可以进行更为正确的判断。
如上述详细说明,根据本发明,可以起到以下的效果。
由于具有判断是否需要进行图像恢复模式的图像恢复判断部,所以可以在希望通过进行图像恢复改善画质时进行图像恢复,防止进行无谓的图像恢复。
图像恢复判断部,根据振动检测信号判断是否需要进行图像恢复模式,因此可以判断像抖动过大的情况、以及像抖动几乎没有发生的情况。
图像恢复判断部,根据快门速度判断是否需要进行图像恢复模式,因此可以在有可能产生像抖动的快门速度的情况下进行图像恢复。
图像恢复判断部,根据摄影光学***的焦距判断是否需要进行图像恢复模式,因此可以在有可能产生像抖动的焦距的情况下进行图像恢复。
图像恢复判断部,根据点像分布函数判断是否需要进行图像恢复模式,因此可以根据曝光中的抖动量变化判断是否需要图像恢复,并且可以进行更为正确的判断。
当图像恢复判断部判断不需要进行图像恢复模式时,由于具有通知该信息的通知设备,所以摄影者可以容易地把握摄影状态,可以更为方便使用。
当图像恢复判断部判断不需要进行图像恢复模式时,由于不进行图像恢复模式,因此不会无谓地进行运算处理,在处理速度、电力消耗等方面有效。
当图像恢复判断部判断不需要进行图像恢复模式时,由于不保存点像分布函数,因此可以节约存储器、记录介质的容量。
<第五实施方式>
第五实施方式是作为可以更换摄影镜头部分的可更换式相机的方式,对起到与第三实施方式相同的功能的部分,标以相同的标号,适当省略重复的说明。
图26是表示本发明的抖动校正相机的第五实施方式的***结构的框图。
在相机主体101上,设置主体侧控制部80A、电源供给部90、点像函数运算部100、摄像部110、图像记录部120、接口部130、抖动校正模式判断部145、曝光控制部150、闪光控制部180、操作部190等。
在可更换镜头102上,设置镜头侧控制部80B、RAM 121、对焦镜头位置检测部160、焦距检测部170、抖动校正模式选择开关194、光学式校正***500等。
此外,在连接相机主体101和可更换镜头102的部分,设置信号传递部310,可以在相机主体101和可更换镜头102之间进行信号的交换。
在图像重放装置2上设置函数校正部240。
接下来,对本实施方式中相机主体101及可更换镜头102在摄影时的操作进行说明。
另外,如第三实施方式中所述,抖动校正模式选择开关194是可以选择“抖动校  OFF模式”、“光学式校正操作模式”、“图像恢复操作模式”3种模式的开关,但在此,仅对与本发明的说明相关的“光学式校正操作模式”、“图像恢复操作模式”的操作进行说明。
图27及图28是表示本实施方式的相机主体101及可更换镜头102在摄影时的操作的流程的流程图,仅表示与一般的单拍释放时的抖动校正相关的部分。另外,在纸面上,将流程图分为图27和图28进行表示。此外,在这些流程中,在图中的左侧表示相机主体101侧的流程(S3000号部分),在右侧表示可更换镜头102侧的流程(S4000号部分),这之间以虚线连接的操作,表示为大致同时刻的操作。
在S3010中,对可更换镜头102许可电源供给部90的电源使用。
得到了电源使用许可(S4010)的可更换镜头102,在S4020中,对角速度传感器10及其他电路供电。
在S3020中,判断半按开关191是否为ON,半按开关191为ON时进入S3030,半按开关191为OFF时重复该S3020中的判断。在S3030中,将指示在半按开关191为ON的期间进行的抖动校正(以下称为半按抖动校正)操作开始的指令发送到镜头侧。
在接收了半按抖动校正开始指令(S4030)的可更换镜头102中,在S4040中,解除抖动校正镜头70的锁定,开始半按抖动校正操作。
在S3040中,判断全按开关192是否为ON,全按开关192为ON时进入S3050,全按开关192为OFF时返回S3030,重复该S3040中的判断。在S3050中,接收全按开关192的ON,将指示曝光中抖动校正开始的指令发送到镜头侧。在S3060中进行曝光准备,例如反射镜上升等,在S3070中开始曝光,在S3080中结束曝光。
在接收了曝光中抖动校正开始指令(S4050)的可更换镜头102中,在S4060开始曝光中抖动校正操作。此外,在该S4060中,在可更换镜头102中,进行该曝光中抖动校正操作,并且由位置检测部60检测抖动校正镜头70的实际驱动位置,至少在从曝光开始时刻到结束时刻的期间,将与目标驱动位置的差作为误差信息(误差数据),此外,将来自角速度传感器10的信息作为振动数据持续存储到RAM121中。
在S3090中,将指示抖动校正停止的指令(抖动校正停止指令)发送到可更换镜头102。在接收了抖动校正停止指令(S4070)的可更换镜头102中,在S4080停止抖动校正控制。
在S3100中进行曝光后的处理,例如反射镜下降及充电等。在S3110中,将指示抖动校正镜头70的锁定的抖动校正镜头锁定指令发送到可更换镜头102。在接收了抖动校正镜头锁定指令(S4090)的可更换镜头102中,在S4100锁定抖动校正镜头。
进入图28,在S3120中,在设置在相机主体101的抖动校正模式判断部145中判断:是通过设置在可更换镜头102上的抖动校正模式选择开关194选择“光学式校正操作模式”(仅进行光学式的抖动校正),还是选择“图像恢复操作模式”(进行光学式的抖动校正和图像恢复)。若为“图像恢复操作模式”就进入S3130,若为“光学式校正操作模式”就进入S3170。
此外,即使在可更换镜头侧,也与S3120中的操作相对应,若为“图像恢复操作模式”就进入S4120,除此以外的情况进入S4150(S4110)。
在S3130中,将请求之前存储在RAM 121中的误差数据和振动数据的指令发送到可更换镜头102。接收了请求误差数据和振动数据(S4120)的可更换镜头102,在S4130中将误差数据发送到相机主体101。
在S4140中,判断两个数据的发送是否完成,发送已经完成时进入S4150,在发送未完成时返回S4130继续误差数据的发送。在接收了误差数据和振动数据(S3140)的相机主体101中,在S3150判断两个数据的发送是否完成,发送已经完成时进入S3160,发送未完成时返回S3140继续两个数据的发送。
在S3155中,通过接收的振动数据运算点像函数。在S3160中,对拍摄的图像将误差数据及点像函数建立关联并保存到图像记录部120。在S3170中,将摄影图像保存到图像记录部120。另外,在该步骤的情况下,与S3160不同,不保存误差数据。在S3180中,对可更换镜头102发送催促隔断电源的指令,其后,在S3190中将相机主体101 OFF,结束操作。
在接收了催促隔断电源的指令(S4150)的可更换镜头102中,在S4160将角速度传感器10及其他的电路OFF,结束操作。
保存的图像数据、由点像函数运算部100运算的点像函数以及误差数据,被发送到图像重放装置2,在函数校正部240根据误差数据校正点像函数。
其后,在图像恢复运算部210中进行图像恢复。此时,利用根据误差数据校正后的点像函数进行图像恢复。如此得到的恢复图像,进行考虑了抖动校正镜头70的追随误差的抖动校正,可以得到抖动校正效果高的图像。
根据本实施方式,在可更换镜头的相机***中,检测抖动校正镜头70的驱动误差,用于图像恢复,因此在抖动校正镜头的驱动特性按照各个可更换镜头而不同时,使用任何可更换镜头均可以得到最佳的抖动校正效果。
不限于以上说明的实施方式,可以进行各种变形或变更,这些均在本发明的均等的范围内。
在第一及第三实施方式中,表示了进行数据的抽取处理减少数据量的例子,但不限于此,不进行数据的抽取,也可以进行基准值的运算、保存以及误差的运算、保存。
在本实施方式中,表示了通过利用了来自角速度传感器10的输出的基准值或振动数据运算点像函数、通过误差信息对其进行校正的例子,但不限于此,例如,也可以从基准值和振动数据双方运算函数进行校正。
此外,也可以根据基准值和振动数据的任意一方或双方以及误差信息求得点像函数,不进行点像函数的校正就进行图像恢复。
进而,也可以全然不用角速度传感器10的输出,仅从误差信息运算点像函数。仅从该误差信息运算点像函数时,基准值或振动数据,无需存储或通过通信传送,因此可以提高作业效率以及缩短作业时间。
在本实施方式中,表示了点像函数运算部100被安装在相机1的相机主体101上的例子,但不限于此,例如也可以在图像重放装置2上安装点像函数运算部100。同样,在第五实施方式中,表示了在图像重放装置2上安装函数校正部240,但不限于此,例如也可以在相机1的相机主体101上设置函数校正部。如此,作为利用与控制位置误差相关的信息的方式,可以进行多种组合。下表2中表示该组合例。
表2
  No.   相机、相机主体     图像重放装置 备注
1   点像函数运算部函数校正部图像恢复运算部
2   点像函数运算部(反映误差)图像恢复运算部
3   点像函数运算部(仅根据误差进行的运算)图像恢复运算部
4   点像函数运算部函数校正部 图像恢复运算部 与第三实施方式对应
5 点像函数运算部     函数校正部图像恢复运算部 与第五实施方式对应
  6   点像函数运算部(反映误差)     图像恢复运算部
  7   点像函数运算部(仅根据误差进行的运算)     图像恢复运算部
8     点像函数运算部函数校正部图像恢复运算部
9     点像函数运算部(反映误差)图像恢复运算部
10     点像函数运算部(仅根据误差进行的运算)图像恢复运算部
表2中的No.4相当于第三实施方式,No.5相当于第五实施方式。表2中所示的任何一个方式均可以同样地发挥本发明的效果。
此外,根据表2中的No.3、7、10所示的方式,如上所述,基准值或振动数据无需存储或通过通信传送,可以提高作业效率以及缩短作业时间。
如上述详细说明,根据本发明的实施方式,可以起到以下的效果。
由于具有:控制位置误差输出部,将由控制部得到的抖动校正光学***的驱动目标位置和从位置检测部输出的抖动校正光学***的实际驱动位置的差,作为控制位置误差输出;和图像恢复运算部,通过对由摄像部拍摄的图像加上了控制位置误差的图像处理进行图像恢复,校正像抖动;可以根据抖动校正光学***的驱动控制误差校正剩余的像抖动,还包括没有如目标那样由光学式抖动校正进行抖动校正的情况,可以总是抖动校正效果高且切实地校正像抖动。
包括利用控制位置误差校正点像分布函数的函数校正部,图像恢复运算部,以由函数校正部校正后的点像分布函数进行处理,从而进行图像恢复,因此可以通过抖动校正光学***的驱动控制误差校正残留的像抖动,还包括没有如目标那样由光学式抖动校正进行抖动校正的情况,可以总是抖动校正效果高且切实地校正像抖动。
由于具有利用控制位置误差运算点像分布函数的点像分布函数运算部,因此可以对反映了抖动校正光学***的驱动控制误差的点像分布函数进行运算。因此,可以通过抖动校正光学***的驱动控制误差校正残留的像抖动,还包括没有如目标那样由光学式抖动校正进行抖动校正的情况,可以总是抖动校正效果高且切实地校正像抖动。
产业上利用的可能性
以上,对拍摄静态图像的数码照相机进行了说明,但对于拍摄动画的数码相机也可以同样地应用本发明。

Claims (62)

1.一种抖动校正相机***,包括:
振动检测部,检测振动并输出振动检测信号;
抖动校正光学***,根据所述振动检测信号而被驱动,校正像抖动;
摄像部,对由包含所述抖动校正光学***的摄影光学***形成的像进行拍摄;和
图像恢复运算部,通过图像处理对由所述摄像部拍摄的图像进行图像恢复,校正像抖动。
2.根据权利要求1所述的抖动校正相机***,
还具有运算点像分布函数的点像分布函数运算部,
所述图像恢复运算部,通过以所述点像分布函数处理所述图像来进行图像恢复。
3.根据权利要求2所述的抖动校正相机***,
还具有运算所述振动检测信号的基准值的基准值运算部,
所述点像分布函数运算部,根据所述基准值运算部的运算结果运算所述点像分布函数。
4.根据权利要求3所述的抖动校正相机***,包括:
相机,具有所述振动检测部、所述抖动校正光学***、所述摄像部、所述点像分布函数运算部、所述基准值运算部、和记录图像的图像记录部;和
外部装置,具有所述图像恢复运算部,是与所述相机分开的装置,通过输入由所述图像记录部记录的图像和所述点像分布函数,进行所述图像恢复。
5.一种抖动校正相机,包括:
振动检测部,检测振动并输出振动检测信号;
抖动校正光学***,根据所述振动检测信号而被驱动,校正像抖动;
摄像部,对由包含所述抖动校正光学***的摄影光学***形成的像进行拍摄;
图像记录部,记录由所述摄像部拍摄的图像;和
点像分布函数运算部,对图像恢复运算所需要的点像分布函数进行运算。
6.根据权利要求5所述的抖动校正相机,
还具有点像分布函数输出设备,利用所述图像记录部或通信设备,将由所述点像分布函数运算部运算的所述点像分布函数输出到外部。
7.根据权利要求5或6所述的抖动校正相机,
还具有运算所述振动检测信号的基准值的基准值运算部,
所述点像分布函数运算部,根据所述基准值运算部的运算结果,运算所述点像分布函数。
8.一种图像恢复装置,包括:
数据输入部,经由与外部的通信及/或介质,接收图像数据以及在所述图像数据拍摄时得到的点像分布函数;和
图像恢复运算部,通过以所述点像分布函数对所述图像数据进行图像处理,来进行图像恢复,校正像抖动。
9.一种可以计算机读入的计算机程序制品,具有抖动校正用控制程序,该控制程序具有:
数据输入命令,接收图像数据以及在所述图像数据拍摄时得到的点像分布函数;和
图像恢复运算命令,通过以所述点像分布函数对所述图像数据进行图像处理,来进行图像恢复,校正像抖动。
10.根据权利要求9所述的计算机程序制品,是记录了所述控制程序的记录介质。
11.根据权利要求9所述的计算机程序制品,所述控制程序是被作为数据信号而包含的载波。
12.一种抖动校正相机***,包括:
振动检测部,检测振动并输出振动检测信号;
基准值运算部,运算所述振动检测信号的基准值;
抖动校正光学***,根据所述振动检测信号及所述基准值而被驱动,校正像抖动;
摄像部,对由包含所述抖动校正光学***的摄影光学***形成的像进行拍摄;
点像分布函数运算部,利用所述基准值或所述振动检测信号,运算所述点像分布函数;和
图像恢复运算部,通过以所述点像分布函数对由所述摄像部拍摄的图像进行图像处理,来进行图像恢复,校正像抖动。
13.根据权利要求12所述的抖动校正相机***,
还具有点像分布函数运算切换部,在以下两种情况间进行切换:是利用所述基准值还是利用所述振动检测信号,由所述点像分布函数运算部进行点像分布函数的运算。
14.根据权利要求13所述的抖动校正相机***,
所述点像分布函数运算切换部,兼用作切换是否由所述抖动校正光学***进行抖动校正操作的抖动校正操作设定部。
15.根据权利要求12~14的任意一项所述的抖动校正相机***,
在由所述抖动校正光学***进行抖动校正操作时,所述点像分布函数运算部,利用所述基准值运算点像分布函数。
16.根据权利要求12~14的任意一项所述的抖动校正相机***,
在没有由所述抖动校正光学***进行抖动校正操作时,所述点像分布函数运算部,利用所述振动检测信号运算点像分布函数。
17.根据权利要求12所述的抖动校正相机***,包括:
相机,具有所述振动检测部、所述抖动校正光学***、所述摄像部、所述点像分布函数运算部、所述基准值运算部、和记录图像的图像记录部;和
外部装置,具有所述图像恢复运算部,是与所述相机分开的装置,通过输入由所述图像记录部记录的图像和所述点像分布函数,进行所述图像恢复。
18.一种抖动校正相机,包括:
振动检测部,检测振动并输出振动检测信号;
基准值运算部,运算所述振动检测信号的基准值;
抖动校正光学***,根据所述振动检测信号及所述基准值而被驱动,校正像抖动;
摄像部,对由包含所述抖动校正光学***的摄影光学***形成的像进行拍摄;
图像记录部,记录由所述摄像部拍摄的图像;和
点像分布函数运算部,利用所述基准值或所述振动检测信号,运算所述点像分布函数。
19.根据权利要求18所述的抖动校正相机,
还具有点像分布函数输出设备,利用所述图像记录部或通信设备,将由所述点像分布函数运算部运算的所述点像分布函数输出到外部。
20.一种抖动校正相机,包括:
振动检测部,检测振动并输出振动检测信号;
基准值运算部,运算所述振动检测信号的基准值;
抖动校正光学***,根据所述基准值及所述振动检测信号而被驱动,校正像抖动;
摄像部,对由包含所述抖动校正光学***的摄影光学***形成的像进行拍摄;
点像分布函数运算部,根据所述基准值运算图像恢复运算所需要的点像分布函数;和
信息量减少部,使用于所述点像分布函数的运算的所述基准值及/或运算后的所述点像分布函数的信息量减少。
21.根据权利要求20所述的抖动校正相机,
所述信息量减少部,通过抽取所述基准值及/或运算后的所述点像分布函数的数据,减少信息量。
22.根据权利要求20或21所述的抖动校正相机,
所述信息量减少部,以确保图像恢复运算所需要的信息量的方式减少信息量。
23.一种抖动校正相机***,包括:
振动检测部,检测振动并输出振动检测信号;
摄像部,将由包含抖动校正光学***的摄影光学***形成的像作为原图像进行拍摄;
原图像保存部,保存所述原图像;
图像恢复运算部,可以改变与图像处理相关的参数,利用所述参数通过图像处理对所述原图像进行图像恢复,制作校正了像抖动的恢复图像;和
恢复结果保存部,将用于所述图像恢复运算部中的图像处理的所述参数及/或所述恢复图像,与所述原图像建立关联并保存。
24.根据权利要求23所述的抖动校正相机***,
还具有运算点像分布函数的点像分布函数运算部,
所述图像恢复运算部,通过以所述点像分布函数处理所述图像进行图像恢复,
所述参数包括所述点像分布函数。
25.根据权利要求23或24所述的抖动校正相机***,
所述恢复结果保存部,可以保存与多组所述恢复图像相对应的多个所述参数及/或多个所述恢复图像。
26.根据权利要求24所述的抖动校正相机***,包括:
相机,具有所述振动检测部、根据所述振动检测信号而被驱动以校正像抖动的所述抖动校正光学***、所述摄像部、所述点像分布函数运算部、运算所述振动检测信号的基准值的基准值运算部、和所述原图像保存部;和
外部装置,具有所述图像恢复运算部及所述恢复结果保存部,是与所述相机分开的装置,通过输入由所述原图像保存部记录的所述原图像和所述点像分布函数,进行所述图像恢复。
27.一种图像恢复装置,包括:
数据输入部,经由与外部的通信及/或介质,接收原图像数据以及所述原图像数据拍摄时所得到的点像分布函数;
图像恢复运算部,可以改变与图像处理相关的参数,利用包括所述点像分布函数的所述参数,通过图像处理对所述原图像数据进行图像恢复,制作校正了像抖动的恢复图像;和
恢复结果保存部,将用于所述图像恢复运算部中的图像处理的所述参数及/或所述恢复图像,与所述原图像建立关联并保存。
28.一种可以计算机读入的计算机程序制品,具有抖动校正用控制程序,该控制程序包括:
数据输入命令,接收原图像数据以及所述原图像数据拍摄时所得到的点像分布函数;
图像恢复运算命令,可以改变与图像处理相关的参数,利用包括所述点像分布函数的所述参数,通过图像处理对所述原图像数据进行图像恢复,制作校正了像抖动的恢复图像;和
恢复结果保存命令,将用于所述图像恢复运算步骤中的图像处理的所述参数及/或所述恢复图像,与所述原图像建立关联并保存。
29.根据权利要求28所述的计算机程序制品,是记录了所述控制程序的记录介质。
30.根据权利要求28所述的计算机程序制品,所述控制程序是被作为数据信号而包含的载波。
31.一种抖动校正相机,包括:
振动检测部,检测振动并输出振动检测信号;
光学抖动校正设备,根据所述振动检测信号驱动抖动校正光学***,校正像抖动;
点像分布函数运算部,对通过图像处理恢复所述像抖动所需要的点像分布函数进行运算;和
图像恢复判断部,判断是否需要进行图像恢复模式,该图像恢复模式,通过所述图像恢复进行抖动校正,或进行用于通过所述图像恢复进行抖动校正的准备。
32.根据权利要求31所述的抖动校正相机,
所述图像恢复判断部,根据所述振动检测信号判断是否需要进行所述图像恢复模式。
33.根据权利要求31或32所述的抖动校正相机,
所述图像恢复判断部,根据快门速度判断是否需要进行所述图像恢复模式。
34.根据权利要求31~33的任意一项所述的抖动校正相机,
所述图像恢复判断部,根据摄影光学***的焦距判断是否需要进行所述图像恢复模式。
35.根据权利要求31所述的抖动校正相机,
所述图像恢复判断部,根据所述点像分布函数判断是否需要进行所述图像恢复模式。
36.根据权利要求31~35的任意一项所述的抖动校正相机,
还具有通知设备,当所述图像恢复判断部判断为不需要进行所述图像恢复模式时,通知该信息。
37.根据权利要求31~36的任意一项所述的抖动校正相机,
当所述图像恢复判断部判断为不需要进行所述图像恢复模式时,不进行所述图像恢复模式。
38.根据权利要求31~37的任意一项所述的抖动校正相机,
当所述图像恢复判断部判断为不需要进行所述图像恢复模式时,不保存所述点像分别函数。
39.一种抖动校正相机,
包括:振动检测部,检测振动并输出振动检测信号;
基准值运算部,运算所述振动检测信号的基准值;
抖动校正光学***,根据所述基准值及所述振动检测信号而被驱动,校正像抖动;
驱动控制部,根据所述振动检测信号及所述基准值,控制所述抖动校正光学***的操作;
点像分布函数运算部,根据所述基准值,对通过图像处理校正像的抖动的图像恢复所需要的点像分布函数进行运算;和
抖动校正模式选择部,选择除了利用所述抖动校正光学***进行抖动校正的光学式抖动校正操作之外,是否进行图像恢复模式,该图像恢复模式,通过所述图像恢复进行抖动校正,或进行用于通过所述图像恢复进行抖动校正的准备,
所述驱动控制部,根据所述抖动校正模式选择部的选择状态,改变所述抖动校正光学***的控制内容。
40.根据权利要求39所述的抖动校正相机,
所述驱动控制部,根据所述抖动校正模式选择部的选择状态,改变所述基准值的运算方法,从而改变所述校正光学***的控制内容。
41.根据权利要求39或40所述的抖动校正相机,
所述基准值运算部,利用低通滤波器运算基准值,
所述驱动控制部,通过改变所述低通滤波器的截止频率,改变所述抖动校正光学***的控制内容。
42.根据权利要求41所述的抖动校正相机,
所述驱动控制部,将所述抖动校正模式选择部进行图像恢复的选择状态的所述截止频率,设定为比所述抖动校正模式选择部不进行图像恢复的选择状态的所述截止频率高的频率。
43.一种抖动校正相机,
包括:振动检测部,检测振动并输出振动检测信号;
光学式抖动校正设备,根据所述振动检测信号驱动抖动校正光学***,校正像抖动;
点像分布函数运算部,运算图像恢复所需要的点像分布函数,该图像恢复,通过图像处理对由所述光学式抖动校正设备没有完全校正的抖动进行恢复;和
抖动校正模式选择部,在利用所述光学式校正设备进行抖动校正的光学式抖动校正模式、以及图像恢复模式之间进行选择,所述图像恢复模式,通过所述图像恢复进行抖动校正,或进行用于通过所述图像恢复进行抖动校正的准备,
所述抖动校正模式选择部,选择所述图像恢复模式时,还同时选择所述光学式抖动校正模式。
44.一种抖动校正相机,
包括:振动检测部,检测振动并输出振动检测信号;
光学式抖动校正设备,根据所述振动检测信号驱动抖动校正光学***,校正像抖动;
点像分布函数运算部,运算图像恢复所需要的点像分布函数,该图像恢复,通过图像处理对由所述光学式抖动校正设备没有完全校正的抖动进行恢复;和
抖动校正模式选择部,在利用所述光学式校正设备进行抖动校正的光学式抖动校正模式、以及图像恢复模式之间进行选择,所述图像恢复模式,通过所述图像恢复进行抖动校正,或进行用于通过所述图像恢复进行抖动校正的准备,
所述抖动校正模式选择部,在不选择所述光学式抖动校正模式的状态下,无法选择所述图像恢复模式。
45.一种抖动校正相机,
包括:振动检测部,检测振动并输出振动检测信号;
光学式抖动校正设备,根据所述振动检测信号驱动抖动校正光学***,校正像抖动;
点像分布函数运算部,运算图像恢复所需要的点像分布函数,该图像恢复,通过图像处理对由所述光学式抖动校正设备没有完全校正的抖动进行恢复;和
抖动校正模式选择部,在利用所述光学式校正设备进行抖动校正的光学式抖动校正模式、以及图像恢复模式之间进行选择,所述图像恢复模式,通过所述图像恢复进行抖动校正,或进行用于通过所述图像恢复进行抖动校正的准备,
所述抖动校正模式选择部,在不选择所述光学式抖动校正模式的状态下,选择所述图像恢复模式时,进行警告。
46.一种抖动校正相机,
包括:振动检测部,检测振动并输出振动检测信号;
光学式抖动校正设备,根据所述振动检测信号驱动抖动校正光学***,校正像抖动;和
点像分布函数运算部,运算图像恢复所需要的点像分布函数,该图像恢复,通过图像处理对由所述光学式抖动校正设备没有完全校正的抖动进行恢复,
由所述点像分布函数运算部进行的所述点像分布函数的运算,可以通过操作所述光学式抖动校正设备进行。
47.一种抖动校正相机***,包括:
抖动校正光学***,校正像抖动;
振动检测部,检测振动并输出振动信号;
基准值运算部,运算所述振动信号的基准值;
驱动部,驱动所述抖动校正光学***;
位置检测部,检测所述抖动校正光学***的位置,输出位置信号;
控制部,根据所述基准值、所述振动信号及所述位置信号,控制所述抖动校正光学***的驱动,以校正由于所述振动引起的被拍摄体像的抖动;
摄像部,对由包含所述抖动校正光学***的摄影光学***形成的像进行拍摄;
控制位置误差输出部,将由所述控制部得到的所述抖动校正光学***的驱动目标位置和从所述位置检测部输出的所述抖动校正光学***的实际驱动位置的差,作为控制位置误差输出;和
图像恢复运算部,通过加上了所述控制位置误差的图像处理对由所述摄像部拍摄的图像进行图像恢复,校正像抖动。
48.根据权利要求47所述的抖动校正相机***,
还包括:点像分布函数运算部,对图像恢复运算所需要的点像分布函数进行运算;和
函数校正部,利用所述控制位置误差校正所述点像分布函数,
所述图像恢复运算部,通过以所述函数校正部校正后的所述点像分布函数进行图像处理,而进行图像恢复。
49.根据权利要求47所述的抖动校正相机***,
还包括点像分布函数运算部,对图像恢复运算所需要的点像分布函数进行运算,
所述点像分布函数,根据(a)所述基准值及所述控制位置误差、(b)所述振动信号及所述控制位置误差、(c)所述基准值及所述振动信号及所述控制位置误差、或(d)所述控制位置误差,进行运算,
所述图像恢复运算部,通过以所述点像分布函数进行图像处理,而进行图像恢复。
50.根据权利要求48或49所述的抖动校正相机***,包括:
相机,至少具有所述振动检测部、所述抖动校正光学***、所述摄像部、所述点像分布函数运算部、所述基准值运算部、记录图像的图像记录部;和
外部装置,至少具有所述图像恢复运算部,是与所述相机分开的装置,通过输入由所述图像记录部记录的图像和所述点像分布函数,进行所述图像恢复。
51.根据权利要求48或49所述的抖动校正相机***,包括:
相机,至少具有所述振动检测部、所述抖动校正光学***、所述摄像部、所述基准值运算部、记录图像的图像记录部;和
外部装置,至少具有所述点像分布函数运算部和所述图像恢复运算部,是与所述相机分开的装置,通过输入由所述图像记录部记录的图像和所述点像分布函数,进行所述图像恢复。
52.一种抖动校正相机,包括:
抖动校正光学***,校正像抖动;
振动检测部,检测振动并输出振动信号;
基准值运算部,运算所述振动信号的基准值;
驱动部,驱动所述抖动校正光学***;
位置检测部,检测所述抖动校正光学***的位置并输出位置信号;
控制部,根据所述基准值、所述振动信号及所述位置信号,控制所述抖动校正光学***的驱动以校正由于所述振动引起的被拍摄体像的抖动;
摄像部,对由包含所述抖动校正光学***的摄影光学***形成的像进行拍摄;
图像记录部,记录图像;
控制位置误差输出部,将由所述控制部得到的所述抖动校正光学***的驱动目标位置和从所述位置检测部输出的所述抖动校正光学***的实际驱动位置的差,作为控制位置误差输出;
点像分布函数运算部,对图像恢复运算所需要的点像分布函数进行运算;
函数校正部,利用所述控制位置误差校正所述点像分布函数;和
外部输出设备,利用所述图像记录部或通信设备,将由所述校正部校正的所述点像分布函数输出到外部。
53.一种抖动校正相机,
包括:抖动校正光学***,校正像抖动;
振动检测部,检测振动并输出振动信号;
基准值运算部,运算所述振动信号的基准值;
驱动部,驱动所述抖动校正光学***;
位置检测部,检测所述抖动校正光学***的位置并输出位置信号;
控制部,根据所述基准值、所述振动信号及所述位置信号,控制所述抖动校正光学***的驱动以校正由于所述振动引起的被拍摄体像的抖动;
摄像部,对由包含所述抖动校正光学***的摄影光学***形成的像进行拍摄;
图像记录部,记录图像;
控制位置误差输出部,将由所述控制部得到的所述抖动校正光学***的驱动目标位置和从所述位置检测部输出的所述抖动校正光学***的实际驱动位置的差,作为控制位置误差输出;
点像分布函数运算部,对图像恢复运算所需要的点像分布函数进行运算;和
外部输出设备,利用所述图像记录部或通信设备,将所述点像分布函数输出到外部,
所述点像分布函数,根据(a)所述基准值及所述控制位置误差、(b)所述振动信号及所述控制位置误差、(c)所述基准值及所述振动信号及所述控制位置误差、或(d)所述控制位置误差,进行运算。
54.一种抖动校正相机,包括:
抖动校正光学***,校正像抖动;
振动检测部,检测振动并输出振动信号;
基准值运算部,运算所述振动信号的基准值;
驱动部,驱动所述抖动校正光学***;
位置检测部,检测所述抖动校正光学***的位置并输出位置信号;
控制部,根据所述基准值、所述振动信号及所述位置信号,控制所述抖动校正光学***的驱动以校正由于所述振动引起的被拍摄体像的抖动;
摄像部,对由包含所述抖动校正光学***的摄影光学***形成的像进行拍摄;
图像记录部,记录图像;
控制位置误差输出部,将由所述控制部得到的所述抖动校正光学***的驱动目标位置和从所述位置检测部输出的所述抖动校正光学***的实际驱动位置的差,作为控制位置误差输出;和
外部输出设备,利用所述图像记录部或通信设备,将所述点像分布函数输出到外部。
55.一种图像恢复装置,包括:
数据输入部,经由与外部的通信及/或介质,接收根据抖动校正光学***的驱动目标位置和从位置检测部输出的所述抖动校正光学***的实际驱动位置的差求得的控制位置误差、图像数据、以及所述图像数据拍摄时所得到的点像分布函数;
函数校正部,利用所述控制位置误差校正所述点像分布函数;和
图像恢复运算部,通过以所述函数校正部校正后的所述点像分布函数对所述图像数据进行图像处理,来进行图像恢复,校正像抖动。
56.一种图像恢复装置,包括:
数据输入部,经由与外部的通信及/或介质,接收根据抖动校正光学***的驱动目标位置和从位置检测部输出的所述抖动校正光学***的实际驱动位置的差求得的控制位置误差、图像数据、以及所述图像数据拍摄时所得到的振动信号;
点像分布函数运算部,对图像恢复运算所需要的点像分布函数进行运算;
函数校正部,利用所述控制位置误差校正所述点像分布函数;和
图像恢复运算部,通过以所述函数校正部校正后的所述点像分布函数对所述图像数据进行图像处理,来进行图像恢复,校正像抖动。
57.一种图像恢复装置,
包括:数据输入部,经由与外部的通信及/或介质,接收根据抖动校正光学***的驱动目标位置和从位置检测部输出的所述抖动校正光学***的实际驱动位置的差求得的控制位置误差、图像数据、以及/或所述图像数据拍摄时所得到的振动信号;
点像分布函数运算部,对图像恢复运算所需要的点像分布函数进行运算;和
图像恢复运算部,通过以所述点像分布函数对所述图像数据进行图像处理,来进行图像恢复,校正像抖动,
所述点像分布函数,根据(a)从所述振动信号求得的所述基准值及所述控制位置误差、(b)所述振动信号及所述控制位置误差、(c)所述基准值及所述振动信号及所述控制位置误差、或(d)所述控制位置误差,进行运算。
58.一种可以计算机读入的计算机程序制品,具有抖动校正用控制程序,该控制程序包括:
数据输入命令,经由与外部的通信及/或介质,接收根据抖动校正光学***的驱动目标位置和从位置检测部输出的所述抖动校正光学***的实际驱动位置的差求得的控制位置误差、图像数据、以及所述图像数据拍摄时所得到的点像分布函数;
函数校正命令,利用所述控制位置误差校正所述点像分布函数;和
图像恢复运算命令,通过以所述函数校正步骤校正后的所述点像分布函数对所述图像数据进行图像处理,来进行图像恢复,校正像抖动。
59.一种可以计算机读入的计算机程序制品,具有抖动校正用控制程序,该控制程序包括:
数据输入命令,经由与外部的通信及/或介质,接收根据抖动校正光学***的驱动目标位置和从位置检测部输出的所述抖动校正光学***的实际驱动位置的差求得的控制位置误差、图像数据、以及所述图像数据拍摄时所得到的振动信号;
点像分布函数运算命令,对图像恢复运算所需要的点像分布函数进行运算;
函数校正命令,利用所述控制位置误差校正所述点像分布函数;和
图像恢复运算命令,通过以所述函数校正步骤校正后的所述点像分布函数对所述图像数据进行图像处理,来进行图像恢复,校正像抖动。
60.一种可以计算机读入的计算机程序制品,具有抖动校正用控制程序,该控制程序包括:
数据输入命令,经由与外部的通信及/或介质,接收根据抖动校正光学***的驱动目标位置和从位置检测部输出的所述抖动校正光学***的实际驱动位置的差求得的控制位置误差、图像数据、及/或所述图像数据拍摄时所得到的振动信号;
点像分布函数运算命令,将图像恢复运算所需要的点像分布函数,根据(a)从所述振动信号求得的基准值及所述控制位置误差、(b)所述振动信号及所述控制位置误差、(c)所述基准值及所述振动信号及所述控制位置误差、或(d)所述控制位置误差,进行运算;和
图像恢复运算命令,通过以所述点像分布函数对所述图像数据进行图像处理,来进行图像恢复,校正像抖动。
61.根据权利要求58~60的任意一项所述的计算机程序制品,是记录了所述控制程序的记录介质。
62.根据权利要求58~60的任意一项所述的计算机程序制品,所述控制程序是被作为数据信号而包含的载波。
CN200380107765.5A 2002-12-25 2003-12-25 抖动校正相机*** Expired - Fee Related CN1732406B (zh)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
JP374644/2002 2002-12-25
JP374739/2002 2002-12-25
JP374661/2002 2002-12-25
JP2002374687A JP2004205803A (ja) 2002-12-25 2002-12-25 ブレ補正カメラ
JP2002374661A JP4356316B2 (ja) 2002-12-25 2002-12-25 ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム
JP374748/2002 2002-12-25
JP374687/2002 2002-12-25
JP2002374739A JP4244633B2 (ja) 2002-12-25 2002-12-25 ブレ補正カメラ
JP2002374724A JP4244632B2 (ja) 2002-12-25 2002-12-25 ブレ補正カメラ
JP2002374704A JP4647183B2 (ja) 2002-12-25 2002-12-25 ブレ補正カメラシステム、画像回復装置及びブレ補正プログラム
JP2002374644A JP4311013B2 (ja) 2002-12-25 2002-12-25 ブレ補正カメラシステム及びブレ補正カメラ
JP374724/2002 2002-12-25
JP374704/2002 2002-12-25
JP2002374748A JP2004205810A (ja) 2002-12-25 2002-12-25 ブレ補正カメラ
JP2003026098A JP2004239962A (ja) 2003-02-03 2003-02-03 ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム
JP026098/2003 2003-02-03
PCT/JP2003/016809 WO2004059380A1 (ja) 2002-12-25 2003-12-25 ブレ補正カメラシステム

Publications (2)

Publication Number Publication Date
CN1732406A true CN1732406A (zh) 2006-02-08
CN1732406B CN1732406B (zh) 2010-06-02

Family

ID=32812606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200380107765.5A Expired - Fee Related CN1732406B (zh) 2002-12-25 2003-12-25 抖动校正相机***

Country Status (2)

Country Link
JP (1) JP4311013B2 (zh)
CN (1) CN1732406B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902573A (zh) * 2009-05-25 2010-12-01 索尼公司 成像设备以及抖动校正方法
CN101470313B (zh) * 2007-12-25 2011-03-02 三洋电机株式会社 摄像装置的防抖控制电路
CN102082914A (zh) * 2009-11-30 2011-06-01 佳能株式会社 图像处理装置及图像处理方法
CN101266383B (zh) * 2007-03-13 2011-10-05 Hoya株式会社 防抖装置
CN102269912A (zh) * 2010-06-01 2011-12-07 佳能株式会社 具有图像抖动校正功能的光学装置
CN104427241A (zh) * 2013-09-09 2015-03-18 联想(北京)有限公司 一种信息处理方法以及一种电子设备
CN104754225A (zh) * 2009-10-21 2015-07-01 奥林巴斯映像株式会社 摄像装置和摄像方法
CN105704364A (zh) * 2014-12-15 2016-06-22 奥林巴斯株式会社 照相机***及其抖动校正方法
CN106210505A (zh) * 2015-05-29 2016-12-07 三星电机株式会社 图像校正电路、图像校正方法及相机模块
CN106921832A (zh) * 2015-12-24 2017-07-04 三星电机株式会社 光学式图像稳定化模块以及相机模块
CN110196500A (zh) * 2018-02-27 2019-09-03 日本电产三协株式会社 带抖动修正机构的激光指示器及其摆动抑制控制方法
CN113691728A (zh) * 2016-07-25 2021-11-23 佳能株式会社 配件设备、控制设备及其控制方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4418342B2 (ja) * 2004-10-13 2010-02-17 オリンパス株式会社 画像処理装置及び電子カメラ
JP4985062B2 (ja) * 2006-04-14 2012-07-25 株式会社ニコン カメラ
JP2008236289A (ja) * 2007-03-20 2008-10-02 Sanyo Electric Co Ltd 撮像装置
JP2022112842A (ja) * 2021-01-22 2022-08-03 キヤノン株式会社 ブレ評価装置、ブレ評価方法、撮影手段の製造方法、およびプログラム
KR102501092B1 (ko) * 2022-09-15 2023-02-17 주식회사 서랩 스마트 목줄 홀더 및 이를 포함하는 반려동물 관리 융합 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2803072B2 (ja) * 1990-10-18 1998-09-24 富士写真フイルム株式会社 手振れ補正装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266383B (zh) * 2007-03-13 2011-10-05 Hoya株式会社 防抖装置
CN101470313B (zh) * 2007-12-25 2011-03-02 三洋电机株式会社 摄像装置的防抖控制电路
CN101902573A (zh) * 2009-05-25 2010-12-01 索尼公司 成像设备以及抖动校正方法
CN104754225B (zh) * 2009-10-21 2018-10-30 奥林巴斯株式会社 摄像装置和摄像方法
CN104754225A (zh) * 2009-10-21 2015-07-01 奥林巴斯映像株式会社 摄像装置和摄像方法
CN102082914A (zh) * 2009-11-30 2011-06-01 佳能株式会社 图像处理装置及图像处理方法
CN102082914B (zh) * 2009-11-30 2014-01-08 佳能株式会社 图像处理装置及图像处理方法
CN102269912A (zh) * 2010-06-01 2011-12-07 佳能株式会社 具有图像抖动校正功能的光学装置
CN102269912B (zh) * 2010-06-01 2014-08-13 佳能株式会社 具有图像抖动校正功能的光学装置
US8809757B2 (en) 2010-06-01 2014-08-19 Canon Kabushiki Kaisha Optical apparatus having image shake correcting function including angular velocity sensors
CN104427241A (zh) * 2013-09-09 2015-03-18 联想(北京)有限公司 一种信息处理方法以及一种电子设备
CN105704364A (zh) * 2014-12-15 2016-06-22 奥林巴斯株式会社 照相机***及其抖动校正方法
CN105704364B (zh) * 2014-12-15 2018-11-27 奥林巴斯株式会社 照相机***及其抖动校正方法
CN106210505A (zh) * 2015-05-29 2016-12-07 三星电机株式会社 图像校正电路、图像校正方法及相机模块
CN106921832A (zh) * 2015-12-24 2017-07-04 三星电机株式会社 光学式图像稳定化模块以及相机模块
CN106921832B (zh) * 2015-12-24 2020-01-17 三星电机株式会社 光学式图像稳定化模块以及相机模块
CN113691728A (zh) * 2016-07-25 2021-11-23 佳能株式会社 配件设备、控制设备及其控制方法
CN113691728B (zh) * 2016-07-25 2023-11-17 佳能株式会社 配件设备、控制设备及其控制方法
CN110196500A (zh) * 2018-02-27 2019-09-03 日本电产三协株式会社 带抖动修正机构的激光指示器及其摆动抑制控制方法
CN110196500B (zh) * 2018-02-27 2021-06-25 日本电产三协株式会社 带抖动修正机构的激光指示器及其摆动抑制控制方法

Also Published As

Publication number Publication date
CN1732406B (zh) 2010-06-02
JP4311013B2 (ja) 2009-08-12
JP2004205799A (ja) 2004-07-22

Similar Documents

Publication Publication Date Title
CN1732406A (zh) 抖动校正相机***
CN1305006C (zh) 向图象处理装置提供格式化信息的方法和***
CN100345158C (zh) 用于产生涉及几何失真的格式化信息的方法和***
CN1249617C (zh) 图像补正装置,图像补正方法,及图像形成装置
CN1246754C (zh) 信息处理装置,信息处理方法和程序存储介质
CN1271505C (zh) 用于进行图像检索的图像处理装置及方法
CN1193606C (zh) 摄影图象检索装置、电子照相装置和摄影图象检索方法
CN1214614C (zh) 图像处理方法、图像处理装置及记录媒体
CN1892508A (zh) 图像形成装置、图像形成方法、控制程序和记录介质
CN1790528A (zh) 重放装置及其方法、记录介质和程序
CN1867940A (zh) 成像装置及其图像处理方法
CN1199908A (zh) 图象输出控制装置
CN1847789A (zh) 测量位置及姿态的方法和装置
CN101055460A (zh) 图像形成装置
CN1914536A (zh) 透镜筒和配备透镜筒的成像装置以及透镜筒的装配方法
CN101064777A (zh) 命令***及设备、成像设备及方法、命令处理方法及程序
CN1673947A (zh) 信息处理方法、装置、程序和记录介质及图像输出装置
CN1574898A (zh) 图像摄取装置
CN1816275A (zh) 印刷基板的品质管理***
CN1912825A (zh) 信息处理装置及其控制方法
CN1190750A (zh) 图像输入装置以及图像输入方法
CN1707347A (zh) 防震装置
CN101046837A (zh) 打印装置
CN1885899A (zh) 图像合成装置及其控制方法和程序
CN1519691A (zh) 信息处理装置及其控制方法、计算机可读媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100602

Termination date: 20191225

CF01 Termination of patent right due to non-payment of annual fee