JP2004239962A - ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム - Google Patents

ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム Download PDF

Info

Publication number
JP2004239962A
JP2004239962A JP2003026098A JP2003026098A JP2004239962A JP 2004239962 A JP2004239962 A JP 2004239962A JP 2003026098 A JP2003026098 A JP 2003026098A JP 2003026098 A JP2003026098 A JP 2003026098A JP 2004239962 A JP2004239962 A JP 2004239962A
Authority
JP
Japan
Prior art keywords
image
unit
optical system
point spread
shake correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003026098A
Other languages
English (en)
Inventor
Yoshiko Ono
佳子 小野
Hiroyuki Tomita
博之 富田
Kazutoshi Usui
一利 臼井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2003026098A priority Critical patent/JP2004239962A/ja
Priority to CN200380107765.5A priority patent/CN1732406B/zh
Priority to US10/540,136 priority patent/US7711253B2/en
Priority to AU2003296127A priority patent/AU2003296127A1/en
Priority to PCT/JP2003/016809 priority patent/WO2004059380A1/ja
Priority to EP03786325.5A priority patent/EP1577705B1/en
Priority to EP18178218.6A priority patent/EP3404479A1/en
Publication of JP2004239962A publication Critical patent/JP2004239962A/ja
Priority to US12/073,954 priority patent/US7596307B2/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Abstract

【課題】光学式ブレ補正によるブレ補正が狙い通りに行われない場合も含めて、常にブレ補正効果が高く、確実に像ブレを補正することができるブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラムを提供する。
【解決手段】ブレ補正制御部30によるブレ補正レンズ70の駆動目標位置と位置検出部60から出力されるブレ補正レンズ70の実駆動位置との差を制御位置誤差としてRAM121に保存し、カメラボディ101へ送信する。撮像部110により撮像された画像に対して制御位置誤差を加味した画像処理による画像回復を行い像ブレを補正する。
【選択図】 図16

Description

【0001】
【発明の属する技術分野】
本発明は、手振れ等による振動を検出し、像のブレを補正するブレ補正カメラに関し、特に、光学式ブレ補正の他に、画像回復に対応したブレ補正カメラに関するものである。
【0002】
【従来の技術】
従来から撮影時に生じる手ブレによる撮像画像の劣化を防ぐため、ブレ補正機能を付けたカメラが知られている。ブレを補正する方法として大別して以下に示す2つの手法がある。
1つ目のブレ補正手法は、角速度センサ、加速度センサなどの振動検出センサによりカメラの振動を検出して、その検出量に応じて撮影レンズや可変頂角プリズムなどの光学系を駆動してブレ補正を行う光学式ブレ補正手法である(例えば、特許文献1,2参照)。
2つ目のブレ補正手法は、撮像された画像と一時的にメモリ記憶された前画像との差分からブレ量を求め画像読み出し時にブレ補正する電子式的補正法である(例えば、特許文献3参照)。これら2つの手法は、いずれも撮影時にブレ補正をリアルタイムで行う方法である。
【0003】
一方、上述の手法とは別のブレ補正手法であって従来から知られた技術として、劣化画像を手ブレやぼけのない画像に回復する技術が知られている。例えば、特許文献4には、撮影時のブレによる画像劣化を点像分布関数で表し、この点像分布関数に基づいてブレのない画像に回復する手法が開示されている。また、カメラにブレ検出手段のみを設けて手ブレ情報を記録し、再生時にその情報を用いて画像回復処理を行うことによりブレを補正する技術が知られている(例えば、特許文献5〜7参照)。
【0004】
ここで、画像回復処理の具体的方法について説明する。画像回復とは、ブレの情報を利用してブレた画像を処理し、ブレの少ない画像に回復するものである。
今、(x,y)を画面上の位置座標とし、ブレのない時の画像(以下、元画像)をo(x,y)、ブレによって劣化した画像(以下、ブレ画像)をz(x,y)、ブレによって広がった点像の情報(以下、点像関数)をp(x,y)とすると、この3つは、次の関係を満たす。
【0005】
【数1】
Figure 2004239962
【0006】
ここで、*は、コンボリューション(畳み込み積分)演算を表すもので、具体的には、以下の式で表される。
【0007】
【数2】
Figure 2004239962
【0008】
これをフーリエ変換して空間周波数(u,v)領域にすると、数1,2は、以下の式のようになる。
【0009】
【数3】
Figure 2004239962
【0010】
ここで、Z(u,v)、O(u,v)、P(u,v)は、それぞれz(x,y)、o(x,y)、p(x,y)のスペクトルである。また、数3において、P(u,v)は、特に空間周波数伝達関数と呼ばれている。
ここで、ブレ画像z(x,y)に加えて、何らかの方法により点像関数p(x,y)を知ることができれば、それぞれのスペクトルを算出し、数3を変形した以下の数4を利用することで、元画像のスペクトルO(u,v)を算出することができる。
【0011】
【数4】
Figure 2004239962
【0012】
数4において、1/P(u,v)は、特に逆フィルタと呼ばれている。数4により算出したスペクトルを逆フーリエ変換すれば、元画像o(x,y)を求めることができる。
【0013】
図13,図14は、従来の画像回復を説明する図である。
ここでは、簡単のために、ブレは、図13(b)に示すように一軸(X軸)方向に一様に発生したものとする。
この点像分布関数の断面をとると、図14(a)のようになる。これをフーリエ変換したものが図14(b)であり、これが図13(a)に示すブレの空間周波数伝達関数である。この伝達関数で注目すべきところは、値が0となっているところが何カ所かある点である。これを逆フィルタにすると図14(c)に示すように、無限大となってしまうところが存在する。これを数4に適用すると、ある特定の空間周波数に関しては、以下に示す数5のようになってしまい、元画像のスペクトル値は不定となる。
【0014】
【数5】
Figure 2004239962
【0015】
伝達関数が0であるということは、ブレによって伝達されない(=情報が失われる)周波数成分が存在するということであり、この式は、失われた周波数成分は、回復できないことを示している。これは、元画像を完全に回復させることができないことを意味している。
なお、実際には、逆フィルタが無限大とならないよう、以下の式で表されるウィナーフィルタを画像回復に使用する。
【0016】
【数6】
Figure 2004239962
【0017】
図14(d)は、ウィナーフィルタをグラフにしたものである。
ウィナーフィルタにすることにより、数5のようにO(u,v)が不定となるところはなくなる。
【0018】
【特許文献1】
特開昭61−240780号公報
【特許文献2】
特開昭61−223819号公報
【特許文献3】
特開昭63−187883号公報
【特許文献4】
特開昭62−127976号公報
【特許文献5】
特開平6−276512号公報
【特許文献6】
特開平6−343159号公報
【特許文献7】
特開平7−226905号公報
【0019】
【発明が解決しようとする課題】
しかし、上述した従来の光学式ブレ補正及び画像回復には、以下に示す問題があった。
(光学式ブレ補正の問題)
光学式ブレ補正では、振動を検出するセンサとして一般に角速度センサが用いられている。角速度センサから検出された角速度を角度に変換するためには動作時のセンサ静止時の出力値(基準値)が必要であり、この基準値は、温度によるドリフトの影響を受けやすいことが知られている。この問題について図15(a),(b)を参照して詳しく説明する。
【0020】
図15は、ドリフト成分を含む角速度センサ出力、基準値の出力、像面でのブレ量を示す図である。
図15(a)は、時間に対する角速度センサ出力値の変化を示したものであり、説明を簡単にするために正弦波で手ブレが生じている場合を想定している。図15(a)において、波形e0は、正弦波で手ブレが生じている時のブレセンサの出力を表している。また、波形e1、e2は、いずれもローパスフィルタで演算された基準値であり、波形e1の遮断周波数は、波形e2よりも低く設定されている。図15(a)では、出力値が環境条件の影響で時間の経過とともに振動中心がずれていき、ドリフトしている。
【0021】
図15(b)は、図15(a)の角速度センサ出力と基準値とを利用してブレ補正した時の像面ブレ量を示したものである。図15(b)中の波形f0,f1,f2は、それぞれ図15(a)中の波形e0,e1,e2に対応し、波形f0は、ブレ補正を全く行わなかったときの像面のブレ量を表している。波形f1は、波形f2に比較して、低い遮断周波数の基準値e1を使用することにより、高い周波数成分はカットされているものの時間経過とともにブレ量が大きくなってしまっている。逆に波形f2は、波形f1よりも基準値の遮断周波数が高くなっているため、f1よりもドリフトは小さくなっているが、手ぶれによる高周波成分を除くことができていない。このように、手ブレによる像ブレの除去とドリフトの影響を少なくすることは相反する問題であり、像ブレを十分に補正し、かつ、ドリフトの影響が少なくなるようにローパスフィルタの遮断周波数を設定することが難しい。そのため検出したブレ量には、必ず検出誤差が生じ、光学式ブレ補正を行っても得られる画像にブレが残るという問題があった。
【0022】
また、光学式ブレ補正では、センサにより検出した振動量に応じてブレ補正レンズの駆動目標を演算し、この駆動目標にしたがってブレ補正レンズの駆動を行うが、ブレ補正レンズの実際の駆動位置が必ず駆動目標と一致するとは限らず、ブレ補正レンズの実際の駆動位置と駆動目標との間に誤差が生じる場合が多かった。この誤差が生じている場合、ブレ補正レンズが駆動目標通りに駆動されていないので、誤差量に応じた像ブレが残ってしまうという問題があった。
【0023】
(画像回復の問題)
次に、画像回復の問題について説明する。
従来からブレ画像をウィナーフィルタを用いて回復処理することにより得られた画像は、元画像に比べ解像が向上することは知られている。しかし、P(u’,v’)≒0となる空間周波数(u’,v’)では、フィルタの値が大きくなるため、画像に含まれるノイズがその空間周波数成分を含む場合、ノイズ成分を増幅してしまう。その結果、画像に不必要な縞模様を生じ画質を低下させてしまうという問題があった。この縞模様は、元のブレが小さければそれほど大きな問題にはならないが、ブレが大きい場合に顕著に現れるので問題となるケースが多かった。
【0024】
本発明の課題は、光学式ブレ補正によるブレ補正が狙い通りに行われない場合も含めて、常にブレ補正効果が高く、確実に像ブレを補正することができるブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラムを提供することである。
【0025】
【課題を解決するための手段】
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。すなわち、請求項1の発明は、像ブレを補正するブレ補正光学系(70)と、振動を検出して振動信号を出力する振動検出部(10)と、前記振動信号の基準値を演算する基準値演算部(31)と、前記ブレ補正光学系を駆動する駆動部(50)と、前記ブレ補正光学系の位置を検出し位置信号を出力する位置検出部(60)と、前記基準値、前記振動信号及び前記位置信号に基づき、前記振動による被写体像のブレを補正するように前記ブレ補正光学系の駆動を制御する制御部(30,40)と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部(110)と、前記制御部による前記ブレ補正光学系の駆動目標位置と前記位置検出部から出力される前記ブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部(40)と、前記撮像部により撮像された画像に対して前記制御位置誤差を加味した画像処理による画像回復を行い像ブレを補正する画像回復演算部(210)と、を備えるブレ補正カメラシステムである。
【0026】
請求項2の発明は、請求項1に記載のブレ補正カメラシステムにおいて、点像分布関数を演算する点像分布関数演算部(100)と、前記制御位置誤差を用いて前記点像分布関数を補正する関数補正部(240)と、を備え、前記画像回復演算部(210)は、前記関数補正部による補正後の前記点像分布関数で処理することにより画像回復を行うこと、を特徴とするブレ補正カメラシステムである。
【0027】
請求項3の発明は、請求項1に記載のブレ補正カメラシステムにおいて、点像分布関数を演算する点像分布関数演算部(210)を備え、前記点像分布関数は、前記基準値及び前記制御位置誤差、又は、前記振動信号及び前記制御位置誤差、又は、前記基準値及び前記振動信号及び前記制御位置誤差、又は、前記制御位置誤差に基づいて演算され、前記画像回復演算部(210)は、前記点像分布関数で処理することにより画像回復を行うこと、を特徴とするブレ補正カメラシステムである。
【0028】
請求項4の発明は、請求項1から請求項3までのいずれか1項に記載のブレ補正カメラシステムにおいて、前記振動検出部(10)と、前記ブレ補正光学系(70)と、前記撮像部(110)と、前記点像分布関数演算部(100)と、前記基準値演算部(31)と、画像を記録する画像記録部(120)と、を備えたカメラ(1,101)と、前記画像回復演算部(210)を有し、前記カメラとは別体の装置であって、前記画像記録部により記録された画像と前記点像分布関数とを入力することにより前記画像回復を行う外部装置(2)と、を備えることを特徴とするブレ補正カメラシステムである。
【0029】
請求項5の発明は、請求項1から請求項3までのいずれか1項に記載のブレ補正カメラシステムにおいて、前記振動検出部(10)と、前記ブレ補正光学系(70)と、前記撮像部(100)と、前記基準値演算部(31)と、画像を記録する画像記録部(120)と、を備えたカメラと、前記点像分布関数演算部(100)と、前記画像回復演算部(210)とを有し、前記カメラとは別体の装置であって、前記画像記録部により記録された画像と前記点像分布関数とを入力することにより前記画像回復を行う外部装置と、を備えることを特徴とするブレ補正カメラシステムである。
【0030】
請求項6の発明は、像ブレを補正するブレ補正光学系と、振動を検出して振動信号を出力する振動検出部と、前記振動信号の基準値を演算する基準値演算部と、前記ブレ補正光学系を駆動する駆動部と、前記ブレ補正光学系の位置を検出し位置信号を出力する位置検出部と、前記基準値、前記振動信号及び前記位置信号に基づき、前記振動による被写体像のブレを補正するように前記ブレ補正光学系の駆動を制御する制御部と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、画像を記録する画像記録部と、前記制御部による前記ブレ補正光学系の駆動目標位置と前記位置検出部から出力される前記ブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、前記制御位置誤差を用いて前記点像分布関数を補正する関数補正部と、前記補正部により補正された前記点像分布関数を前記画像記録部又は通信手段を用いて外部に出力する外部出力手段と、を備えるブレ補正カメラである。
【0031】
請求項7の発明は、像ブレを補正するブレ補正光学系(70)と、振動を検出して振動信号を出力する振動検出部(10)と、前記振動信号の基準値を演算する基準値演算部(31)と、前記ブレ補正光学系を駆動する駆動部(50)と、前記ブレ補正光学系の位置を検出し位置信号を出力する位置検出部(60)と、前記基準値、前記振動信号及び前記位置信号に基づき、前記振動による被写体像のブレを補正するように前記ブレ補正光学系の駆動を制御する制御部(30,40)と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部(110)と、画像を記録する画像記録部(120)と、前記制御部による前記ブレ補正光学系の駆動目標位置と前記位置検出部から出力される前記ブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部(40)と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算部(100)と、前記点像分布関数を前記画像記録部又は通信手段を用いて外部に出力する外部出力手段(120,130)と、を備え、前記点像分布関数は、前記基準値及び前記制御位置誤差、又は、前記振動信号及び前記制御位置誤差、又は、前記基準値及び前記振動信号及び前記制御位置誤差、又は、前記制御位置誤差に基づいて演算されること、を特徴とするブレ補正カメラ(1)である。
【0032】
請求項8の発明は、像ブレを補正するブレ補正光学系(70)と、振動を検出して振動信号を出力する振動検出部(10)と、前記振動信号の基準値を演算する基準値演算部(31)と、前記ブレ補正光学系を駆動する駆動部(50)と、前記ブレ補正光学系の位置を検出し位置信号を出力する位置検出部(60)と、前記基準値、前記振動信号及び前記位置信号に基づき、前記振動による被写体像のブレを補正するように前記ブレ補正光学系の駆動を制御する制御部(30,40)と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部(110)と、画像を記録する画像記録部(120)と、前記制御部による前記ブレ補正光学系の駆動目標位置と前記位置検出部から出力される前記ブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部(40)と、前記制御位置誤差を前記画像記録部又は通信手段を用いて外部に出力する外部出力手段(120,130)と、を備えるブレ補正カメラである。
【0033】
請求項9の発明は、ブレ補正光学系(70)の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた点像分布関数を外部との通信及び/又は媒体を介して受け取るデータ入力部(210)と、前記制御位置誤差を用いて前記点像分布関数を補正する関数補正部(240)と、前記画像データに対して前記関数補正部による補正後の前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算部(240)と、を備える画像回復装置(2)である。
【0034】
請求項10の発明は、ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた振動信号を外部との通信及び/又は媒体を介して受け取るデータ入力部と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、前記制御位置誤差を用いて前記点像分布関数を補正する関数補正部と、前記画像データに対して前記関数補正部による補正後の前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算部と、を備える画像回復装置である。
【0035】
請求項11の発明は、ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び/又は、前記画像データの撮像時に得られた振動信号を外部との通信及び/又は媒体を介して受け取るデータ入力部と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、前記画像データに対して前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算部と、を備え、前記点像分布関数は、前記振動信号から求まる基準値及び前記制御位置誤差、又は、前記振動信号及び前記制御位置誤差、又は、前記基準値及び前記振動信号及び前記制御位置誤差、又は、前記制御位置誤差に基づいて演算されること、を特徴とする画像回復装置である。
【0036】
請求項12の発明は、ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた点像分布関数を外部との通信及び/又は媒体を介して受け取るデータ入力手順と、前記制御位置誤差を用いて前記点像分布関数を補正する関数補正手順と、前記画像データに対して前記関数補正手順による補正後の前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算手順と、を備えるブレ補正プログラムである。
【0037】
請求項13の発明は、ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた振動信号を外部との通信及び/又は媒体を介して受け取るデータ入力手順と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算手順と、前記制御位置誤差を用いて前記点像分布関数を補正する関数補正手順と、前記画像データに対して前記関数補正手順による補正後の前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算手順と、を備えるブレ補正プログラムである。
【0038】
請求項14の発明は、ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び/又は、前記画像データの撮像時に得られた振動信号を外部との通信及び/又は媒体を介して受け取るデータ入力手順と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算手順と、前記画像データに対して前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算手順と、を備え、前記点像分布関数は、前記振動信号から求まる基準値及び前記制御位置誤差、又は、前記振動信号及び前記制御位置誤差、又は、前記基準値及び前記振動信号及び前記制御位置誤差、又は、前記制御位置誤差に基づいて演算されること、を特徴とするブレ補正プログラムである。
【0039】
【発明の実施の形態】
以下、図面等を参照しながら、本発明の実施の形態について、さらに詳しく説明する。
(第1実施形態)
図1は、本発明によるブレ補正カメラの第1実施形態のシステム構成を示すブロック図である。
本実施形態におけるブレ補正カメラ1は、画像再生装置2と組み合わせて使用することにより、画像回復を行うことができるカメラシステムを形成している。
画像再生装置2は、ブレ補正カメラ1により撮像された画像を画像記録部120又はブレ補正カメラ1と再生装置とを転送ケーブルなどを用いて接続し再生するとともに、画像回復を行うことができる画像回復装置である。
ブレ補正カメラ1は、画像を電子的に撮像する所謂デジタルスチルカメラであり、光学式補正系500を備えている。
光学式補正系500は、角速度センサ10,A/D変換部20,ブレ補正制御部30,光学系駆動部50,位置検出部60,ブレ補正レンズ70等を備えている。
【0040】
角速度センサ10は、ブレ補正カメラ1に印加された振動を角速度値で検出する振動検出部である。角速度センサ10は、コリオリ力を利用して角速度を検出し、検出結果を電圧信号として出力する。
図1には、理解を容易にするため角速度センサ10を1つのみ示しているが、撮影レンズの光軸に直交するX軸及びX軸に直交するY軸方向それぞれに対応して1つずつ設けられており、ブレ補正カメラ1の振動を2次元において検出する。なお、角速度センサ10は、電源供給部90より電源が供給されている間のみ角速度の検出が可能となっている。
【0041】
A/D変換部20は、アナログ信号をデジタル信号に変換する変換器であり、角速度センサ10からの振動信号をアナログ信号からデジタル信号に変換し、ブレ補正制御部30へ伝える。
【0042】
ブレ補正制御部30は、角速度センサ10により検出された振動信号と、後述の位置検出部60により検出されたブレ補正レンズ70の位置情報とから、ブレ補正レンズ70を駆動するための駆動信号を演算し、光学系駆動部50に駆動信号を出力する部分である。また、ブレ補正制御部30は、後述する誤差(制御位置誤差)を出力する制御位置誤差出力部としても機能する。
ブレ補正制御部30には、基準値演算部31が含まれている(図2参照)。基準値演算部31は、角速度センサ10から得られた振動信号の基準値を演算する部分であり、本実施形態では、デジタルローパスフィルタ(LPF)を使用し、LPFの出力を基準値としている。
ブレ補正制御部30による制御動作の詳細については、後に説明する。
【0043】
光学系駆動部50は、ブレ補正制御部30から出力された駆動信号を基に、ブレ補正レンズ70を駆動するアクチュエータである。
位置検出部60は、ブレ補正するためにブレ補正レンズ70のX軸方向及びY軸方向の位置を検出する位置検出部であり、位置検出部60の出力(位置信号)は、A/D変換器(不図示)を経由してブレ補正制御部30に送信される。
【0044】
ブレ補正レンズ70は、カメラの撮影光学系の一部であり、撮影光学系の光軸と略直交する平面内を動くことができる単レンズ、又は、複数枚のレンズより構成されるレンズ群からなるブレ補正光学系である。ブレ補正レンズ70は、光学系駆動部50によって光軸と略直交する方向に駆動され、撮影光学系の光軸を偏向させる。
写真等の像のブレは、手ブレ等のカメラに加えられる振動により、露光中に結像面の像が動いてしまうことにより発生する。本実施形態におけるブレ補正カメラ1では、角速度センサ10により、ブレ補正カメラ1に加えられた振動を検出することができる。そして、ブレ補正カメラ1に加えられた振動が検出されれば、その振動による結像面の像の動きを知ることができるので、結像面上の像の動きを抑えるようにブレ補正レンズ70を駆動し、結像面上の像の動き、すなわち像ブレを補正することができる。
【0045】
ブレ補正カメラ1は、上述の光学式補正系500の他に、制御部80,電源供給部90,点像関数演算部100,関数補正部105,撮像部110,画像記録部120,インターフェイス部130,画像回復判断部140,露出制御部150,合焦レンズ位置検出部160,焦点距離検出部170,閃光制御部180,操作部190等を備えている。
【0046】
制御部80は、ブレ補正カメラ1の動作全体を制御する制御部であり、ブレ補正制御部30、点像関数演算部100、露出制御部150、合焦レンズ位置検出部160、焦点距離検出部170、閃光制御部180などを制御する各種制御演算など行う。
【0047】
電源供給部90は、不図示の半押タイマがONの間は、角速度センサ10を始めとするカメラ内で電源が必要とされるところに電源を供給し続ける部分である。また、半押しタイマがOFFとなっているときは、電源の供給は停止する。したがって、カメラの半押しタイマがONの間のみ、角速度センサ10によるカメラの振動検出が可能となる。
【0048】
点像関数演算部100は、ブレ補正制御部30、露出制御部150、合焦レンズ位置検出部160、焦点距離検出部170などから得られた各種情報に基づき露光中の点像関数(点像分布関数)を演算する点像分布関数演算部である。
ブレ補正レンズ70による光学式ブレ補正が完全であれば点像関数は1点となるが、実際には、光学式ブレ補正は、完全でないため、点像関数は1点にはならない。つまり、ブレ補正レンズ70によって補正しきれない像ブレ(ブレ補正残差)が残る。ここで算出する点像関数は、ブレ補正レンズ70で補正しきれずに結像面に残ったブレ補正残差を、後に画像処理によりさらにブレ補正するときに使用するものである。
関数補正部105は、位置検出部60から得られるブレ補正レンズ70の位置信号を用いて点像関数を補正する部分である。より具体的には、位置信号を利用して駆動目標位置と位置信号(実駆動位置)との差である制御位置誤差により点像関数の補正を行う。
【0049】
撮像部110は、撮像素子111,A/D変換部112,信号処理部113等を備え、撮影光学系により結像面に結像した像を撮像し、画像記録部120へ画像データを出力する部分である。
撮像素子111は、撮影光学系により結像面に結像した被写体像を受光し、アナログ信号の画像データに変換する素子である。
A/D変換部112は、アナログ画像をデジタル画像に変換する変換器である。
信号処理部113は、A/D変換部112によりデジタル信号に変換された画像データを処理する部分である。
【0050】
画像記録部120は、撮像部110により撮像した画像、点像関数演算部100により演算された点像関数、各種画像回復処理に必要な各種情報(パラメータ)などをそれぞれ画像に対応づけて記録保存する部分である。これら点像関数、各種情報などは、例えば、画像ファイル内にヘッダとして埋め込んで記録してもよいし、電子透かし技術のように画像の中に直接埋め込む方法でもよい。また、画像ファイルに対応させた別ファイルを作成し、そこに情報を書き込むようにしてもよい。
【0051】
画像記録部120の具体的な形態は、例えば、コンパクトフラッシュ(登録商標)、スマートメディア(登録商標)などの可動記録媒体でもよいし、画像転送を行うバッファメモリであってもよい。実施形態では、インターフェイス部130と画像再生装置2とを転送ケーブル300を用いて接続し、画像記録部120に保存された画像、及び、画像回復処理に必要な情報を必要に応じて画像再生装置2へ転送する。
【0052】
インターフェイス部130は、ブレ補正カメラ1と画像再生装置2とを接続するときなどに、転送ケーブル300を接続する端子を備えた通信手段である。
接続ケーブル300は、インターフェイス部130の接続コネクタと画像再生装置2の通信ポート(例えば、RS−232C、USB、パラレルポート、IEEE1394等)を接続するケーブルである。この接続ケーブル300を介してブレ補正カメラ1と画像再生装置2との間でデータの送受信が行われる。
【0053】
画像回復判断部140は、点像関数演算を行うか否か判断処理する部分である。画像回復判断部140により点像関数演算の必要性を判断するので、画像記録部120に保存する情報をできるだけ必要なデータだけとすることができ、無駄な演算動作やメモリ容量の軽減を図ることができる。
【0054】
露出制御部150は、不図示のコマンドダイヤルなどで設定された露光時間の設定値から撮像素子への露光時間を制御する部分である。露光時間情報や露光の開始/終了のタイミング情報は、点像関数演算部100に送信される。
【0055】
合焦レンズ位置検出部160は、不図示の合焦レンズの位置を検出する部分である。合焦レンズの位置を検出することにより、点像関数の演算に必要な結像面から被写体までの距離を算出することができる。
【0056】
焦点距離検出部170は、撮影光学系の撮影時のレンズ焦点距離fを検出する部分である。このレンズ焦点距離fも、点像関数の演算に必要な情報である。
閃光制御部180は、閃光発光部181の発光を制御する部分である。
【0057】
操作部190は、半押しスイッチ(SW)191、全押しスイッチ(SW)192、ブレ補正モード選択スイッチ(SW)193などを有している。
半押しスイッチ191は、不図示のレリーズボタンの半押し動作に連動してONとなるスイッチである。この半押しスイッチ191がONとなることにより、不図示の測光部による測光演算、オートフォーカス駆動などが開始される。また、半押しタイマがOFFであった場合には、この半押しスイッチ191のONに同期して半押しタイマがONとなる。
【0058】
全押しスイッチ192は、不図示のレリーズボタンの全押し動作に連動してONとなるスイッチである。この全押しスイッチ192がONとなることにより、図示しないシャッタ機構によるシャッタの開閉、イメージセンサによる画像の取り込みなど一連の撮影動作が行われる。
【0059】
ブレ補正モード選択スイッチ193は、光学式補正動作モードと画像回復モードの組み合わせ選択を行う操作部材である。本実施形態では、ブレ補正動作モードを3モード選択可能なスイッチとし、その動作は次のようになる。
「ブレ補正OFFモード」が選択された場合、光学式補正も画像回復も行わない。すなわち、ブレ補正レンズ70の駆動を停止し、ブレ補正動作は一切行わず、画像回復用のデータの記録保存も行わない。
「光学式補正動作モード」が選択された場合、光学式補正動作のみ行い、ブレ補正レンズ70を駆動させて像ブレ補正動作を行うが、画像回復処理のための点像関数の演算、画像回復用のデータの記録保存等は行わない。
「画像回復動作モード」が選択された場合、光学式補正動作と画像回復のために必要な動作が行われる。光学式補正系500から画像回復処理するために必要な画像回復用のデータは、光学式補正系500から画像回復判断部140を介して点像関数演算部100に送出される。
【0060】
次に、画像再生装置2について説明する。
画像再生装置2は、画像回復処理を実行する画像回復演算部210と画像を表示する画像表示部220とを備えている。
本実施形態における画像再生装置2は、パソコンを利用しており、このパソコンに画像回復に必要な専用のブレ補正プログラムを含むアプリケーションソフトウェアをインストールすることにより、画像再生装置として機能させている。
なお、画像再生装置2は、パソコンを利用する場合に限らず、例えば、専用の再生装置としてもよいし、カメラの中に組み込んでもよい。
【0061】
画像回復演算部210は、ブレ補正カメラ1の画像記録部120から送られてきた画像データと、画像データに対応する点像関数情報及び画像回復処理するための各種パラメータに基づいて、画像に含まれるブレを補正する画像回復処理を実行する部分である。
画像回復演算部210における画像回復処理には、数6で述べたウィナーフィルタを使用するが、これに限らず他の手法を用いてもよい。
画像表示部220は、撮影者が撮影した画像、又は、画像回復した後の画像を表示する部分であり、本実施形態では、パソコンのモニタ部がこの部分に相当する。
【0062】
次に、ブレ補正制御部30に関連する部分について、光学式ブレ補正動作の制御を含めて説明する。
図2は、光学式補正系500におけるブレ補正制御部30の制御動作を説明する制御ブロック図である。
まず、カメラに加えられた振動を角速度センサ10により検出する。角速度センサ10は、通常、コリオリ力を検出する圧電振動式角速度センサを用いる。角速度センサ10の出力は、基準値演算部(低周波成分抽出)31へ入力される。基準値演算部31は、角速度センサ10の出力よりブレの基準値を演算する部分である。通常の手振れの基準値は、角速度センサ10が完全に静止している状態での出力(以下、ゼロ出力)値とすればよい。しかし、このゼロ出力値は、ドリフトや温度などの環境条件で変動してしまうため、基準値を固定値とすることができない。したがって、実際に使用されている状態、つまり撮影者の手振れの信号から基準値を演算し、ゼロ出力を求めなければならない。基準値演算には、デジタルローパスフィルタ(LPF)を用いる。
【0063】
デジタルローパスフィルタのカットオフ周波数fcは、出来るだけ低く設定する事が望ましいが、従来技術の説明においても述べた通り、カットオフ周波数fcをあまり低く設定するとセンサドリフトの影響を受けやすくなる。また、逆に高く設定するとfc以下の周波数成分は、光学補正されないため像ブレとして残ってしまう。後で詳しく述べるが、この光学補正されない基準値出力を基に点像関数を求め、画像回復処理を行うことにより光学補正で取りきれなかった像ブレを後処理により回復することが可能となる。
【0064】
本実施形態では、LPFのカットオフ周波数fcを、画像回復を行わない場合(光学式補正動作モード)と、画像回復を行う場合(画像回復動作モード)と、で変更することとしている。具体的には、画像回復を行わない「光学式補正動作モード」の場合、fc=0.1Hzとし、画像回復を行う「画像回復動作モード」の場合、fc=1Hzとしている。このカットオフ周波数fcの詳細な説明は、後述する図4,5におけるS400,S600の説明において行う。
【0065】
次に、基準値演算した後、角速度センサ10からのブレ検出信号から基準値を減算したブレ検出信号を、積分部32へ送信する。
積分部32では、角速度の単位で表されているブレ検出信号を時間積分し、カメラのブレ角度に変換する。
目標駆動位置演算部33では、積分部32から送られてきたブレ角度情報に焦点距離検出部170からのレンズ焦点距離fや合焦レンズ位置検出部160からの被写体距離Dなどの情報を加味して、ブレ補正レンズ70を駆動するための目標駆動位置情報を例えば、以下の数7により演算する。
【0066】
【数7】
Figure 2004239962
【0067】
数7中の各記号は、θ(t):目標駆動位置,ω(t):ブレ検出信号,ω(t):基準値,t:時間(整数値)であり、Cは、レンズの焦点距離等の条件によって決まる定数である。
積分部32により演算されたブレ角度情報は、目標駆動位置演算部33へ送られ、上述のように目標駆動位置情報が演算される。
【0068】
ブレ補正制御部30では、公知のPID制御等を用いて、この目標駆動位置情報に応じてブレ補正レンズ70を動かすために目標駆動位置情報とブレ補正レンズ70の位置検出60からの位置情報との差をとり、光学系駆動部50を駆動するための駆動信号を送出する。送出された駆動信号に基づいて光学系駆動部50のコイルに電流を流すことによりブレ補正レンズ70を光軸に直交する方向に駆動することが可能となる。
【0069】
位置検出部60では、ブレ補正レンズ70の位置をモニタしており、検出されたレンズ位置信号を用いてブレ補正レンズ70がブレ補正制御部30によりフィードバック制御される。
また、目標駆動位置演算部33から出力される目標駆動位置情報は、画像回復判断部140を介して点像関数演算部100にも送出される。
【0070】
次に、本実施形態におけるブレ補正カメラ1の基本動作について説明する。
図3は、ブレ補正動作を行う場合のカメラの基本動作を示すフローチャートである。
ステップ(以下、Sとする)210において、半押しスイッチ191がONされると、S220へ進む。
S220では、ブレ補正モード選択スイッチ193の状態を判別する。「光学式補正動作モード」の場合S230の光学式補正動作フローに進み、「画像回復動作モード」の場合S240の光学式ブレ補正動作と画像回復処理動作とを行う画像回復処理フローへと進み、「ブレ補正OFFモード」が選択された場合S250へ進む。
S250では、「ブレ補正OFFモード」が選択されているので、上述のように、光学式補正も画像回復も行わず、ブレ補正レンズ70の駆動を停止し、ブレ補正動作は一切行わず、画像回復用のデータの記録保存も行わない。
以下、「光学式補正動作モード」及び「画像回復動作モード」それぞれの場合のブレ補正カメラ1の動作を分けて説明する。
【0071】
まず、「光学式補正動作モード」時のブレ補正カメラの動作について説明する。
図4は、光学式ブレ補正動作モード時のカメラの基本動作を示すフローチャートである。
S400では、基準値演算部31に用いられているLPF部のカットオフ周波数fcをfc=0.1Hzに設定する。
S410では、振動検出部である角速度センサ10がONとなる。
S420では、ロックされていたブレ補正レンズ70のロックを解除する。
S430では、ブレ補正動作が開始される。ここで開始されるブレ補正とは、角速度センサ10の出力に基づき、その像ブレを打ち消すようにブレ補正レンズ70を光軸方向に略直交する方向に移動させて、ブレを補正する光学式ブレ補正動作である。
S440では、半押しタイマの状態を検出し、半押しタイマがOFFならばS450へ進み、半押しタイマがONならばS470へ進む。
S450では、ブレ補正動作を停止し、S460で補正レンズをロックし光学補正モード終了する。
【0072】
S470では、全押しスイッチ192の状態を検出し、全押しスイッチ192がONならばS480へ進み、全押しスイッチ192がOFFならばS440へ戻る。
S480では、ブレ補正レンズ70のセンタリング動作を実行後、再度ブレ補正を開始する。光学系駆動部50により駆動されていない状態では、撮影光学系の光軸とブレ補正レンズ70の光軸とが必ずしも一致していない。通常は、ブレ補正レンズ70は、その可動範囲の端部に移動した状態にあることが多く、そのままブレ補正動作を行うと、駆動できない方向が生じてしまうので、このセンタリング動作によりブレ補正レンズ70の光軸と撮影光学系の光軸とが略一致するように、ブレ補正レンズ70を駆動する。
【0073】
S490では、シャッタ開動作が行われ、撮像部110への露光が開始される。
S500では、閃光(SB)発光するか否かの判断が行われ、閃光の発光を行う場合S510へ進み、閃光の発光を行わない場合S520へ進む。
S510では、閃光の発光が行われる。
S520では、シャッタが閉じられ、露出が終了する。その後、S440の半押しタイマ判断ルーチンへ戻る。
【0074】
次に、「画像回復動作モード」時のブレ補正カメラの動作について説明する。
図5は、画像回復動作モード時のカメラの基本動作を示すフローチャートである。
S600では、基準値演算部31に用いられているLPF部のカットオフ周波数fcをfc=1Hzに設定する。
上述した「光学式補正動作モード」時には、fc=0.1Hzとしたのに対して、この「画像回復動作モード」時には、カットオフ周波数fcを上げている。このようにすることにより、「画像回復動作モード」時には、「光学式補正動作モード」時に比べて、ブレ補正カメラ1の振動の内、点像関数演算部100により演算される点像関数に現れる成分を多くし、ブレ補正レンズ70を駆動してブレ補正する成分を少なくすることができる。そうすることにより、ブレ補正レンズ70を駆動する駆動量を減少させることができ、ブレ補正レンズ70が駆動可能な範囲内で余裕を持って駆動することができる。この場合、光学式ブレ補正動作により補正されるブレ量が減少し、撮像される画像のブレ量が増加するが、この増加したブレについては、後に画像回復により補正されるので、最終的には、ブレ補正効果が高く、像ブレがない、又は、像ブレが非常に少ない画像を得ることができる。
このように、「画像回復動作モード」時には、基準値演算に使用するカットオフ周波数を「光学式補正動作モード」時に比べて高くし、ブレ補正する成分を光学式ブレ補正と画像回復とに配分することにより、「光学式補正動作モード」時に比べて、より大きな手振れであっても、適切なブレ補正を行うことができる。
【0075】
図5におけるS610からS670までのフローは、図4におけるS410からS470までのフローにおける動作と同様なので、ここでの詳細な説明は省略する。
S680では、回復処理判断を行う。このS680の回復処理判断の詳細な説明は、後に図6を用いて行う。このステップにおける回復処理判断により画像回復処理が必要無いと判断された場合は、S690へ進み、画像回復処理が必要であると判断された場合は、S720へ進む。
【0076】
S690では、図4におけるS480と同様に、ブレ補正レンズ70のセンタリング動作の実行後、ブレ補正が再開される。
S700では、シャッタ開動作が行われ、撮像部110への露光が開始される。
S710では、シャッタが閉じられ、露出が終了する。その後、S640の半押しタイマ判断ルーチンへ戻る。
S720では、図4におけるS480と同様に、ブレ補正レンズ70のセンタリング動作の実行後、ブレ補正が再開される。
S730では、シャッタ開動作が行われ、撮像部110への露光が開始される。
S740では、露光期間中に点像関数演算用のデータ取得を行う。点像関数演算用のデータとしては、角速度センサ10からの出力に基づいて演算された基準値と、位置検出部60により得られたブレ補正レンズ70の位置情報に基づいて演算された誤差情報とが含まれている。このS740における点像関数演算用データ取得の詳細については、後に図7を用いて説明する。
S745では、シャッタが閉じられ、露光が終了する。
【0077】
S750では、点像関数演算用データの取得後、取得したデータを用いて点像関数の演算を行う。点像関数の演算は、取得した基準値ωから基準値演算平均値ωaveを減算し、これを積分、誤差角度θ(t)を求め、さらに焦点距離情報fから像面での点像分布関数X(t)を以下の数8により求める。
【0078】
【数8】
Figure 2004239962
【0079】
なお、テレコンバータ装着時は、テレコンバータの倍率に応じて焦点距離を変更する必要がある。また、被写体距離情報を用いて補正を行うとさらに点像分布関数の精度は高くなる。この場合、以下の数9を用いるとよい。
【0080】
【数9】
Figure 2004239962
【0081】
これらの演算をそれぞれX方向、Y方向について行い、それらをX−Y平面に展開すると点像分布関数が得られる。
なお、上述の例は、点像関数演算の一例であって、点像関数の演算には、他の方法を利用してもよい。
S755では、S740において演算した点像関数を、誤差データを用いて補正する(関数補正部105による動作)。
ここで、誤差データを用いた点像関数の補正方法について説明する。
時間tの関数としてブレ補正レンズ70の駆動目標位置をlc(t)、実駆動位置をlr(t)とすると、X軸方向及びY軸方向それぞれにおける制御位置誤差e(t)は、以下の式により与えられる(制御位置誤差出力部としての動作)。
(t)=lc(t)−lr(t)
(t)=lc(t)−lr(t)
これら2つの式を2次元に展開した関数をe(x,y)とすると、補正後の点像関数p’(x、y)は、数1に示した点像関数p(x,y)を用いて、以下の式により与えられる。
p’(x、y)=p(x,y)+e(x,y)
点像関数を補正した後、S760では、画像回復処理対象画像に、ブレマークを付与する。
S770では、補正した点像関数をブレ情報として記録し、S640へ戻る。
【0082】
次に、光学式補正系から出力されたブレ情報の処理と点像関数演算用データの取得について説明する。
図6は、ブレ検出データに基づいて点像関数演算を行うか否かを判断する画像回復判断部140(図5におけるS680)の詳細な動作を示すフローチャートである。
この画像回復判断部140の判断に基づき画像回復に必要なブレ検出データを記録するか否かが判断される。
【0083】
S310では、ブレ検出量の大きさに基づき、画像回復処理の有効性を判断する。このステップでは、目標駆動位置演算結果から画像回復処理することによりブレを効果的に補正することができるか否かをブレ情報やカメラ撮影情報に基づいて画像回復可能条件範囲を予め設定しておき、その条件に基づき判断を行う。例えば、ブレ量が大きすぎる(最大限界ブレ量)と画像回復処理しても画像に縞模様が目立ち、この縞模様による画質劣化を避けることができない。また、ブレ量が小さすぎる(最小限界ブレ量)と画像回復してもその改善効果が現れない。そこで、これら限界ブレ量は、予め実験や経験により得ることにより設定しておく。
【0084】
S320では、シャッタ速度(露光時間)により画像回復処理の必要性を判断する。このステップでは、シャッタ速度によりある程度ブレ量の大きさが予測され、その予測されるブレ量により画像回復処理の必要か否かを判断する。シャッタ速度が速い場合は、たとえブレが生じても非常に小さいブレ量であり、鑑賞に堪えられる画像であると判断される。この場合のブレ量は、焦点距離とシャッタ速度の双方から求められる。光学式ブレ補正を行わない場合には、手ブレが発生するのは、(1/焦点距離)のシャッタ速度より遅い場合であると一般的にいわれている。しかし、本実施形態では、光学式ブレ補正も行っているので、例えば、以下の式を満たす場合にのみ、画像回復処理を行うようにする。
【0085】
(A/焦点距離)<シャッタ秒時(露光時間)
ここで、上記Aは、所定値としてもよいし、他の条件により変化する変数としてもよい。
【0086】
S310,S320におけるシャッタ速度判断及びブレ検出量判断共に回復処理必要と判断された場合には、回復処理有りのS330の露光シーケンスとなり、図5におけるS720へ進む。
一方、S310,S320におけるシャッタ速度判断又はブレ検出量判断のいずれかにおいて回復処理不要と判断された場合には、S340へ進み、画像回復動作を行わない旨の警告・表示(告知)を行う。告知は、例えば、警告音であってもよいし、所定の表示を行うようにしてもよい。
S340を実行した後、S350の回復処理無しの露光シーケンスとなり、図5におけるS690へ進む。
この図6に示したように、画像回復の適否を判断することにより、画像回復処理のためのブレ情報量を軽減でき、メモリ容量の軽減を行うことができる。
【0087】
図7は、点像関数演算用データ取得の動作(図5におけるS740)を詳細に示したフローチャートである。
本実施形態では、メモリ容量の節約等を主な目的として、図7に示す間引き処理(情報量減少部としての処理)を行っている。
露光開始後、S910では、カウンタをリセットする。具体的には、N=1,K=0とする。ここで、Nは、複数の基準値を区別するために付与する番号となるカウンタであり、Kは、時間を計るタイマとなるカウンタである。
S920では、最初の基準値出力であるω(1) を保存する。
【0088】
S925では、そのときの誤差e(1)を演算して保存する。ここで、誤差とは、目標駆動位置演算部33により演算されたブレ補正レンズ70の駆動目標位置と、位置検出部60から出力されるブレ補正レンズ70の実駆動位置との差(制御位置誤差)であり、ブレ補正制御部30により演算される。ブレ補正制御部30では、駆動目標位置と実駆動位置との差を埋めるように駆動信号を出力しているが、ブレ補正レンズ70が駆動目標に追従しきれない場合があり、この場合に誤差が生じる。
S930では、基準値出力の平均値ωaveを以下の式により演算する。
【0089】
【数10】
Figure 2004239962
【0090】
S940では、カウンタの確認を行う。K=100であれば、S950へ進み、それ以外の場合には、S970へ進む。
S950では、基準値出力ω(N) を保存する。
S955では、そのときの誤差e(N)を演算して保存する。
S960では、K=0としてタイマカウンタをリセットする。本実施形態では、角速度センサ10のサンプリング周波数が1KHzであるので、0.1sec毎に基準値出力を保存するので、基準値出力を間引くことになる。
【0091】
S970では、シャッタが閉じているか否かを確認し、シャッタが開いていればS990へ進み、シャッタが閉じていればS980へ進む。
S980では、最後の基準値出力ω(N)を保存しておく。これは、基準値出力の間引き保存によりシャッタ秒時が速い場合、基準値出力の最初のポイントしか保存されないことを避けるためである。例えば、本実施形態では、サンプリング周波数1KHzのときに0.1sec毎に基準値出力を保存するので、1/10secよりも速いシャッタスピードでは、最初の基準値出力しか保存されておらず、点像関数が構成できなくなってしまうからである。また、このS980では、S930において演算した基準値出力の平均値ωaveも同時に保存しておく。
S985では、そのときの誤差e(N)を演算して保存する。
S990及びS1000では、カウンタを進め、S930に戻り、基準値出力の平均値演算を行う。
【0092】
ここで、上述の間引き処理について説明する。
本実施形態では、画像回復処理に用いる点像関数は、基準値出力を基に演算される。基準値出力は、前述の様に1Hz(画像回復を行う図5のフローの場合)のカットオフ周波数を有するLPF出力であるため、手ブレの周波数成分より低い。したがって、点像関数演算に用いるデータ数も少なくする事が可能である。点像関数演算を行う場合に、光学式補正系500から送出されるブレ検出データの全てのデータについて点像関数を演算しようとすると、多大な演算量とメモリ容量が必要となってしまう。
【0093】
目標位置演算結果から得られるブレ検出データの個数は、例えば、基準値演算のサンプリング周波数が1kHzの時、1秒分の基準値のデータ個数は、N=1000個であり、非常に多くのデータ量である。手振れの周波数は、0.1〜10Hz程度であり、手振れ振動の基準値を算出する基準値演算部31に設けられたローパスフィルタのカットオフ周波数は、1Hz程度である。つまり、点像関数演算部には、1Hz以下の周波数が主成分となる。1Hzの周波数を表すにはその10倍程度、つまり0.1sec周期のデータで十分である。したがって、1KHzサンプリングのデータを1/100までデータの間引きを行う事が可能となる。
また、基準値出力演算のためのLPFのカットオフ周波数を変更する場合には、このカットオフ周波数から間引き量を変更する必要がある。
このような処理により、演算処理時間の短縮、メモリ容量等の節約を行うことができる。
【0094】
間引き処理した後に、画像再生装置により画像回復処理するために記録媒体にブレ情報を記録したり、画像再生装置にデータを転送したりすることが行われる。本実施形態では、間引き処理により画像回復処理に必要な最低のデータ個数を記録や転送することにより、転送時間、演算処理時間の短縮、とりわけメモリ容量の節約に大きな効果を奏することができる。
【0095】
ここで、図5のS750において行われる点像関数演算部100の動作について説明する。
光学式補正系500によりブレ補正を実行してもブレを補正しきれず、若干のブレが画像に残ってしまう(ブレ補正残差)という問題については、従来技術の説明において述べた。このようなブレ補正残差が発生する原因は、主に基準値によるところと、ブレ補正レンズの実際の駆動位置と駆動目標との間に生じる誤差によるところが大きい。そこで、本実施形態における点像関数演算部100では、基準値を基に点像関数を算出し、関数補正部105において、この点像関数を誤差で補正する。ここで補正した点像関数は、画像回復演算部210に送信される。画像回復演算部210は、この送信された補正後の点像関数を基に画像回復演算を行い、ブレ補正レンズ70のブレ補正動作では補正しきれなかった像ブレを補うことにより、ブレ補正効果の高い高画質な画像を得ることができる。
【0096】
従来の画像回復処理に用いるデータは、角速度センサ等により検出されたブレ検出データから直接点像関数を求めて画像回復を行う例がほとんどであった。しかし、先にも述べたように、このような方法では、画像のブレが大きくなってしまった場合、画像回復をしても画質が改善されないという問題があった。しかし、本実施形態によれば、光学式ブレ補正機構によりある程度ブレを補正し、そのときのブレ情報を用いて画像回復処理することにより大幅な画質改善が可能である。
【0097】
図8及び図9は、本実施形態における画像回復を説明する図である。
本実施形態では、光学式ブレ補正機構によりブレ補正された後の画像データ及びブレ情報を用いているので、ブレ量が大きすぎることはない。この点の効果は、図14と比較することにより明らかである。ブレが大きくなるほど伝達されない周波数成分が増え、画像の回復が難しくなる。図9(b)に示す空間周波数伝達関数が0になっている点が図14(b)のそれよりも少なくなっていることがわかる。これは、伝達されない周波数成分を減らしていることになるので、画像回復を効果的に行うことができることを示している。
【0098】
次に、画像再生装置2の動作について説明する。
図10は、画像再生装置2の基本動作を示すフローチャートである。
画像再生装置2には、画像回復を行うためのブレ補正プログラムは、すでに画像再生装置2にインストールされているものとする。
先に示したように、本実施形態では、カメラ側の画像データは、転送ケーブル300を介して画像再生装置2に転送される。
図10では、既に、画像の転送が行われ、ブレ補正(画像回復処理)プログラムが立ち上がりメニュー画面表示されているものとする。
【0099】
S2010では、回復処理ボタンをマウスでクリックする等により、画像回復を行うフローに入る。
S2020では、予めカメラ側で回復処理する対象の画像であると判断された画像には、ブレマークが付与され記録されているので、再生時において画像読み込み動作開始とともにこのブレマークが付与されている画像のみが読み出されて表示される。
【0100】
S2030では、画像又は像ブレに関する各種パラメータを見ながら利用者が画像回復処理を実行する画像を選択し、表示する。
S2040では、選択された画像に関し、画像回復のために必要なパラメータであるブレ軌跡データ及び点像ブレをより詳細に表示する。具体的には、画像表示部(ディスプレイ)220上にブレ軌跡データや点像ブレなどのブレ補正カメラ1により記録された補正情報や撮影情報などを表示し、操作者が適宜ブレ軌跡データを画像表示部220上で直接操作することができる。
図11及び図12は、具体的な画像表示及び各種パラメータの操作例を示す図である。
【0101】
S2050では、画像回復を行うときの上記パラメータを任意に変更、設定する。
S2060では、S2050において設定したパラメータに従い回復処理を実行する。
S2070では、画像再生装置2の画像表示部220上に回復処理する前のブレ画像と回復処理した回復画像とを比較表示する。
S2080では、画像回復前のブレ画像と回復画像後の回復画像とを目視にて比較し、回復画像でよいか否か(再度画像回復を行うか否か)を判断する。回復画像でよい場合には、S2090へ進み、再度画像回復を行う場合には、S2040へ戻る。
【0102】
S2085では、回復画像及びパラメータを保存するか否かの判断を、利用者が判断して決定する。回復画像及びパラメータを保存する場合には、S2090へ進み、保存しない場合には終了する。
S2090では、回復画像及びパラメータを上書き保存するか否か利用者が判断して選択指示する。上書き保存しない場合は、S2110へ進み、上書き保存する場合はS2100に進む。また、上書き保存する場合には、上書きされて消されるデータ(既に保存されているデータ)の選択も併せて行う。
S2100では、原画像に対応して保存されている過去の回復画像及びパラメータ(S2090において上書きされる選択がされたデータ)を削除する。
S2110では、回復画像と、今回の画像回復処理に使用した新たなパラメータとを原画像に関連づけて保存する。
【0103】
図11に示す例では、画像表示部220上には、回復処理する前のブレ画像と回復処理した回復画像、点像関数に関する情報とブレ軌跡データとがそれぞれ対応づけてウインドウ表示されている。このように同一画面上に比較して表示することにより、操作者が直感的にどの個所を修正すればよいかが一目にして判断することができる。
また、図11の右下に表示されている部分には、ブレ軌跡データの操作を行うことができる表示が行われている。本実施形態では、このようにして、画像表示部220上に表示されているブレ軌跡データをマウスなどを用いて局所的に操作することができる。このように操作されたブレ軌跡データに基づいて再度回復処理を実行し、より詳細な比較判断をすることができる。
【0104】
また、本実施形態では、得られたブレ軌跡データ〔図12(a)〕をマウス指示点Pを基準に縮小拡大することにより、図12(b)に示す画像データ操作の粗調整、図12(c)に示す微調整を行うことができる。図12(c)は、微調モードにした例であり、データ数を細かく操作することができるため、得られた回復画像のパラメータに対する評価がし易くなり、画像操作自由度を高められるとともに効率的な処理を行うことができる。
【0105】
従来、点像関数演算では、角速度センサなどのセンサ出力から得られた出力を直接演算に用いていたので、非常に多くの誤差要因が点像関数に含まれ、画像表示操作しても高画質な画像を得ることは困難であった。これに対し、本実施形態では、点像関数演算は、光学式ブレ補正動作によりブレ補正されたノイズ誤差の少ない出力データを用いて画像回復処理を行うので、非常に高画質の回復画像が得られる。また、ブレ軌跡データや点像データなどを、例えば、マウスなどを用いて直接画像を操作することができ、画像回復処理に用いるパラメータの画像回復に対する効果の度合いも評価し易くなり、効率的な処理作業をすることができる。
【0106】
このように、本実施形態では、画像に関連づけてブレ情報を記録しているため、画像再生装置2(画像閲覧ソフト)により画像を閲覧するだけでブレ情報が利用者にわかるようになっている。したがって、画像回復する前に画像とブレ情報とを利用者が関連づけする必要がなくなり、作業効率が向上する。また、画像回復が必要か否かの情報もブレマークにより表示されるため、さらに作業効率がよくなる。
【0107】
本実施形態によれば、ブレ補正レンズ70の実駆動位置を検出し、駆動目標位置との差を誤差として求め、この誤差を反映した点像関数を演算するので、この点像関数を用いて画像回復を行うことにより、ブレ補正レンズ70の駆動誤差によるブレ補正残差についても画像回復により補正することができ、ブレ補正効果を高めることができる。
【0108】
(第2実施形態)
第2実施形態は、撮影レンズ部分が交換可能な交換レンズタイプのカメラとした形態であり、第1実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
図16は、本発明によるブレ補正カメラの第2実施形態のシステム構成を示すブロック図である。
カメラボディ101には、ボディ側制御部80A,電源供給部90,点像関数演算部100,撮像部110,画像記録部120,インターフェイス部130,ブレ補正モード判断部145,露出制御部150,閃光制御部180,操作部190等が設けられている。
交換レンズ102には、レンズ側制御部80B,RAM121,合焦レンズ位置検出部160,焦点距離検出部170,ブレ補正モード選択スイッチ193,光学式補正系500等が設けられている。
また、カメラボディ101と交換レンズ102とが接続される部分には、信号伝達部310が設けられており、カメラボディ101と交換レンズ102との間で信号のやりとりが可能となっている。
画像再生装置2には、関数補正部240が設けられている。
【0109】
次に、本実施形態におけるカメラボディ101及び交換レンズ102の撮影時における動作について説明する。
なお、第1実施形態において説明したように、ブレ補正モード選択スイッチ193は、「ブレ補正OFFモード」「光学式補正動作モード」「画像回復動作モード」の3モードを選択可能なスイッチであるが、ここでは、本発明の説明に関連する「光学式補正動作モード」「画像回復動作モード」の動作についてのみ説明を行うものとする。
図17及び図18は、本実施形態におけるカメラボディ101及び交換レンズ102の撮影時における動作の流れについて示したフローチャートであり、通常の単写レリーズの場合のブレ補正に関する部分のみを示している。なお、図17と図18は、紙面の都合上、分割して示している。また、このフローにおいて、図中の左側にカメラボディ側のフロー(S3000番台)を示し、右側に交換レンズ側のフロー(S4000番台)を示し、これらの間を破線で結ばれた動作は、略同時点における動作であることを示すものとする。
【0110】
S3010では、交換レンズ102に対して電源供給部90の電源使用を許可する。
電源使用許可を得た(S4010)交換レンズ102は、S4020において、角速度センサ10及びその他の回路に電力を供給する。
S3020では、半押しスイッチ191がONしているか否かを判断し、半押しスイッチ191がONの場合にはS3030へ進み、半押しスイッチ191がOFFの場合には、このS3020における判断を繰り返す。
【0111】
S3030では、半押しスイッチ191のONの間に行われるブレ補正(以下、半押しブレ補正)動作の開始を指示するコマンドをレンズ側へ送信する。
半押しブレ補正開始コマンドを受信した(S4030)交換レンズ102では、S4040において、ブレ補正レンズ70のロックを解除して、半押しブレ補正動作を開始する。
S3040では、全押しスイッチ192がONしているか否かを判断し、全押しスイッチ192がONの場合にはS3050へ進み、全押しスイッチ192がOFFの場合には、S3030に戻り、このS3040における判断を繰り返す。
【0112】
S3050では、全押しスイッチ192のONを受けて、露光中ブレ補正の開始を指示するコマンドをレンズ側へ送信する。
S3060では、露光準備、例えばミラーアップ等を行い、S3070において露光を開始し、S3080で露光を終了する。
【0113】
露光中ブレ補正開始コマンドを受信した(S4050)交換レンズ102では、S4060において、露光中ブレ補正動作を開始する。また、このS4060において交換レンズ102では、この露光中ブレ補正動作を行いながら位置検出部60によりブレ補正レンズ70の実駆動位置を検出し、少なくとも露光開始時点から終了時点までの間、目標駆動位置との差を誤差情報(誤差データ)として、また、角速度センサ10からの情報を振動データとしてRAM121へ格納し続ける。
【0114】
S3090では、ブレ補正の停止を指示するコマンド(ブレ補正停止コマンド)を交換レンズ102へ送信する。
ブレ補正停止コマンドを受信した(S4070)交換レンズ102では、S4080においてブレ補正制御を停止する。
S3100では、露光後の処理、例えば、ミラーダウン及びチャージ等を行う。
S3110では、ブレ補正レンズ70のロックを指示するブレ補正レンズロックコマンドを交換レンズ102へ送信する。
ブレ補正レンズロックコマンドを受信した(S4090)交換レンズ102では、S4100においてブレ補正レンズをロックする。
【0115】
図18へ進んで、S3120では、交換レンズ102に設けられたブレ補正モード選択スイッチ193が「光学式補正動作モード」(光学式のブレ補正のみ行う)が選択されているか、「画像回復動作モード」(光学式のブレ補正と画像回復を行う)が選択されているのかをカメラボディ101に設けられたブレ補正モード判断部145において判断する。「画像回復動作モード」であれば、S3130へ進み、「光学式補正動作モード」であれば、S3170へ進む。
また、交換レンズ側でも、S3120における動作に対応して、「画像回復動作モード」であれば、S4120へ進み、それ以外の場合はS4150へ進む(S4110)。
【0116】
S3130では、先にRAM121へ格納した誤差データと振動データを要求するコマンドを交換レンズ102へ送信する。
誤差データと振動データを要求するコマンドを受信した(S4120)交換レンズ102は、S4130において誤差データをカメラボディ101へ送信する。
S4140では、両データの送信を完了したか否かを判断し、送信を完了した場合にはS4150へ進み、送信を完了していない場合には、S4130へ戻り誤差データの送信を続ける。
誤差データと振動データを受信した(S3140)カメラボディ101では、S3150において、両データの受信を完了したか否かを判断し、受信を完了した場合にはS3160へ進み、受信を完了していない場合には、S3140へ戻り両データの受信を続ける。
S3155では、受け取った振動データにより点像関数を演算する。
【0117】
S3160では、撮影した画像に対して誤差データ及び点像関数を関連付けて画像記録部120へ保存する。
S3170では、画像記録部120に撮影画像を保存する。なお、このステップの場合には、S3160と異なり、誤差データは保存しない。
S3180では、交換レンズ102に対して電源遮断を促進するコマンドを送信し、その後、S3190においてカメラボディ101の電源をOFFして動作を終了する。
電源遮断を促進するコマンドを受信した(S4150)交換レンズ102では、S4160において角速度センサ10その他の回路をOFFし、動作を終了する。
【0118】
保存された画像データ、点像関数演算部100により演算された点像関数、及び、誤差データは、画像再生装置2へ送信され、関数補正部240において、点像関数を誤差データに基づいて補正する。
その後、画像回復演算部210において画像回復が行われる。このとき、誤差データによる補正後の点像関数を用いて画像回復を行う。このようにして得られる回復画像は、ブレ補正レンズ70の追従誤差を考慮したブレ補正が行われており、ブレ補正効果の高い画像を得ることができる。
【0119】
本実施形態によれば、レンズ交換可能なカメラシステムにおいて、ブレ補正レンズ70の駆動誤差を検出し、画像回復に利用することとしたので、ブレ補正レンズの駆動特性が交換レンズ毎に異なっている場合において、いずれの交換レンズを使用しても最良のブレ補正効果を得ることができる。
【0120】
(変形形態)
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の均等の範囲内である。
(1)各実施形態において、ブレ補正カメラ1と画像再生装置2とを転送ケーブル300を介して接続し、データの送受信を行う例を示したが、これに限らず、例えば、ブレ補正カメラ1により撮影された画像とその画像に対応する点像関数やその他の画像回復処理に必要なパラメータ及び撮影情報などが記録された汎用の記録媒体を用いてもよい。
【0121】
(2)第1実施形態において、データの間引き処理を行い、データ量を減少させる例を示したが、これに限らず、データの間引きを行わずに、基準値の演算・保存、及び、誤差の演算・保存を行ってもよい。
【0122】
(3)第1実施形態において、画像回復を行うか否かに応じてLPFのカットオフ周波数を変更する例を示したが、これに限らず、画像回復を行うか否かに応じてLPFのカットオフ周波数を変更しなくてもよい。
【0123】
(4)各実施形態において、角速度センサ10からの出力を用いた基準値又は振動データにより点像関数を演算し、これを誤差情報により補正する例を示したが、これに限らず、例えば、基準値と振動データ両方から関数を演算して補正するようにしてもよい。
また、基準値と振動データのいずれか一方、又は、両方と誤差情報により点像関数を求め、点像関数の補正を行うことなく画像回復を行うようにしてもよい。さらに、角速度センサ10の出力を全く用いずに、誤差情報のみから点像関数を演算するようにしてもよい。この誤差情報のみから点像関数を演算する場合は、基準値や振動データは、格納しておいたり、通信で渡したりする必要がなくなるので、作業効率の向上、及び、作業時間の短縮を図ることができる。
【0124】
(5)各実施形態において、点像関数演算部100は、カメラ1,カメラボディ101に備わっている例を示したが、これに限らず、例えば、点像関数演算部を画像再生装置に備えてもよい。同様に、第2実施形態において、関数補正部240は、画像再生装置に設けられている例を示したが、これに限らず、例えば、関数補正部をカメラ,カメラボディに設けてもよい。このように、制御位置誤差に関する情報を利用する形態としては、複数の組み合わせが実施可能である。この組み合わせ例を、以下の表1に示す。
【0125】
【表1】
Figure 2004239962
【0126】
表1中のNo.4が第1実施形態に相当し、No.5が第2実施形態に相当している。表1に示すいずれの形態であっても、本発明の効果を同様に発揮することができる。
また、表1中のNo.3,7,10に示す形態によれば、上述のように基準値や振動データは、格納しておいたり、通信で渡したりする必要がなく、作業効率の向上、及び、作業時間の短縮を図ることができる。
【0127】
【発明の効果】
以上詳しく説明したように、本発明によれば、以下の効果を奏することができる。
(1)制御部によるブレ補正光学系の駆動目標位置と位置検出部から出力されるブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部と、撮像部により撮像された画像に対して制御位置誤差を加味した画像処理による画像回復を行い像ブレを補正する画像回復演算部とを備えるので、ブレ補正光学系の駆動制御誤差により残る像ブレを補正することができ、光学式ブレ補正によるブレ補正が狙い通りに行われない場合も含めて、常にブレ補正効果が高く、確実に像ブレを補正することができる。
【0128】
(2)制御位置誤差を用いて点像分布関数を補正する関数補正部を備え、画像回復演算部は、関数補正部による補正後の点像分布関数で処理することにより画像回復を行うので、ブレ補正光学系の駆動制御誤差により残る像ブレを補正することができ、光学式ブレ補正によるブレ補正が狙い通りに行われない場合も含めて、常にブレ補正効果が高く、確実に像ブレを補正することができる。
【0129】
(3)制御位置誤差を利用して点像分布関数を演算する点像分布関数演算部を備えるので、ブレ補正光学系の駆動制御誤差を反映した点像分布関数を演算することができる。したがって、ブレ補正光学系の駆動制御誤差により残る像ブレを補正することができ、光学式ブレ補正によるブレ補正が狙い通りに行われない場合も含めて、常にブレ補正効果が高く、確実に像ブレを補正することができる。
【図面の簡単な説明】
【図1】本発明によるブレ補正カメラの第1実施形態のシステム構成を示すブロック図である。
【図2】光学式補正系500のブレ補正制御部30の制御動作を説明する制御ブロック図である。
【図3】ブレ補正動作を行う場合のカメラの基本動作を示すフローチャートである。
【図4】光学式ブレ補正動作モード時のカメラの基本動作を示すフローチャートである。
【図5】画像回復動作モード時のカメラの基本動作を示すフローチャートである。
【図6】ブレ検出データに基づいて点像関数演算を行うか否かを判断する画像回復判断部140の詳細な動作を示すフローチャートである。
【図7】点像関数演算用データ取得の動作を詳細に示したフローチャートである。
【図8】本実施形態における画像回復を説明する図である。
【図9】本実施形態における画像回復を説明する図である。
【図10】画像再生装置の基本動作を示すフローチャートである。
【図11】具体的な画像表示及び各種パラメータの操作例を示す図である。
【図12】具体的な画像表示及び各種パラメータの操作例を示す図である。
【図13】従来の画像回復を説明する図である。
【図14】従来の画像回復を説明する図である。
【図15】ドリフト成分を含む角速度センサ出力、基準値の出力、像面でのブレ量を示す図である。
【図16】本発明によるブレ補正カメラの第2実施形態のシステム構成を示すブロック図である。
【図17】本実施形態におけるカメラボディ101及び交換レンズ102の撮影時における動作の流れについて示したフローチャートである。
【図18】本実施形態におけるカメラボディ101及び交換レンズ102の撮影時における動作の流れについて示したフローチャートである。
【符号の説明】
1 ブレ補正カメラ
2 画像再生装置
10 角速度センサ
20 A/D変換部
30 ブレ補正制御部
31 基準値演算部
32 積分部
33 目標駆動位置演算部
50 光学系駆動部
60 位置検出部
70 ブレ補正レンズ
80 制御部
80A ボディ側制御部
80B レンズ側制御部
90 電源供給部
100 点像関数演算部
101 カメラボディ
102 交換レンズ
105 関数補正部
110 撮像部
120 画像記録部
121 RAM
130 インターフェイス部
140 画像回復判断部
145 ブレ補正モード判断部
150 露出制御部
160 合焦レンズ位置検出部
170 焦点距離検出部
180 閃光制御部
190 操作部
191 半押しスイッチ
192 全押しスイッチ
193 ブレ補正モード選択スイッチ
210 画像回復演算部
220 画像表示部
240 関数補正部
300 接続ケーブル
500 光学式補正系

Claims (14)

  1. 像ブレを補正するブレ補正光学系と、
    振動を検出して振動信号を出力する振動検出部と、
    前記振動信号の基準値を演算する基準値演算部と、
    前記ブレ補正光学系を駆動する駆動部と、
    前記ブレ補正光学系の位置を検出し位置信号を出力する位置検出部と、
    前記基準値、前記振動信号及び前記位置信号に基づき、前記振動による被写体像のブレを補正するように前記ブレ補正光学系の駆動を制御する制御部と、
    前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、
    前記制御部による前記ブレ補正光学系の駆動目標位置と前記位置検出部から出力される前記ブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部と、
    前記撮像部により撮像された画像に対して前記制御位置誤差を加味した画像処理による画像回復を行い像ブレを補正する画像回復演算部と、
    を備えるブレ補正カメラシステム。
  2. 請求項1に記載のブレ補正カメラシステムにおいて、
    点像分布関数を演算する点像分布関数演算部と、
    前記制御位置誤差を用いて前記点像分布関数を補正する関数補正部と、
    を備え、
    前記画像回復演算部は、前記関数補正部による補正後の前記点像分布関数で処理することにより画像回復を行うこと、
    を特徴とするブレ補正カメラシステム。
  3. 請求項1に記載のブレ補正カメラシステムにおいて、
    点像分布関数を演算する点像分布関数演算部を備え、
    前記点像分布関数は、前記基準値及び前記制御位置誤差、又は、前記振動信号及び前記制御位置誤差、又は、前記基準値及び前記振動信号及び前記制御位置誤差、又は、前記制御位置誤差に基づいて演算され、
    前記画像回復演算部は、前記点像分布関数で処理することにより画像回復を行うこと、
    を特徴とするブレ補正カメラシステム。
  4. 請求項1から請求項3までのいずれか1項に記載のブレ補正カメラシステムにおいて、
    前記振動検出部と、前記ブレ補正光学系と、前記撮像部と、前記点像分布関数演算部と、前記基準値演算部と、画像を記録する画像記録部と、を備えたカメラと、
    前記画像回復演算部を有し、前記カメラとは別体の装置であって、前記画像記録部により記録された画像と前記点像分布関数とを入力することにより前記画像回復を行う外部装置と、
    を備えることを特徴とするブレ補正カメラシステム。
  5. 請求項1から請求項3までのいずれか1項に記載のブレ補正カメラシステムにおいて、
    前記振動検出部と、前記ブレ補正光学系と、前記撮像部と、前記基準値演算部と、画像を記録する画像記録部と、を備えたカメラと、
    前記点像分布関数演算部と、前記画像回復演算部とを有し、前記カメラとは別体の装置であって、前記画像記録部により記録された画像と前記点像分布関数とを入力することにより前記画像回復を行う外部装置と、
    を備えることを特徴とするブレ補正カメラシステム。
  6. 像ブレを補正するブレ補正光学系と、
    振動を検出して振動信号を出力する振動検出部と、
    前記振動信号の基準値を演算する基準値演算部と、
    前記ブレ補正光学系を駆動する駆動部と、
    前記ブレ補正光学系の位置を検出し位置信号を出力する位置検出部と、
    前記基準値、前記振動信号及び前記位置信号に基づき、前記振動による被写体像のブレを補正するように前記ブレ補正光学系の駆動を制御する制御部と、
    前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、
    画像を記録する画像記録部と、
    前記制御部による前記ブレ補正光学系の駆動目標位置と前記位置検出部から出力される前記ブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部と、
    画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、
    前記制御位置誤差を用いて前記点像分布関数を補正する関数補正部と、
    前記補正部により補正された前記点像分布関数を前記画像記録部又は通信手段を用いて外部に出力する外部出力手段と、
    を備えるブレ補正カメラ。
  7. 像ブレを補正するブレ補正光学系と、
    振動を検出して振動信号を出力する振動検出部と、
    前記振動信号の基準値を演算する基準値演算部と、
    前記ブレ補正光学系を駆動する駆動部と、
    前記ブレ補正光学系の位置を検出し位置信号を出力する位置検出部と、
    前記基準値、前記振動信号及び前記位置信号に基づき、前記振動による被写体像のブレを補正するように前記ブレ補正光学系の駆動を制御する制御部と、
    前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、
    画像を記録する画像記録部と、
    前記制御部による前記ブレ補正光学系の駆動目標位置と前記位置検出部から出力される前記ブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部と、
    画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、
    前記点像分布関数を前記画像記録部又は通信手段を用いて外部に出力する外部出力手段と、
    を備え、
    前記点像分布関数は、前記基準値及び前記制御位置誤差、又は、前記振動信号及び前記制御位置誤差、又は、前記基準値及び前記振動信号及び前記制御位置誤差、又は、前記制御位置誤差に基づいて演算されること、
    を特徴とするブレ補正カメラ。
  8. 像ブレを補正するブレ補正光学系と、
    振動を検出して振動信号を出力する振動検出部と、
    前記振動信号の基準値を演算する基準値演算部と、
    前記ブレ補正光学系を駆動する駆動部と、
    前記ブレ補正光学系の位置を検出し位置信号を出力する位置検出部と、
    前記基準値、前記振動信号及び前記位置信号に基づき、前記振動による被写体像のブレを補正するように前記ブレ補正光学系の駆動を制御する制御部と、
    前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、
    画像を記録する画像記録部と、
    前記制御部による前記ブレ補正光学系の駆動目標位置と前記位置検出部から出力される前記ブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部と、
    前記制御位置誤差を前記画像記録部又は通信手段を用いて外部に出力する外部出力手段と、
    を備えるブレ補正カメラ。
  9. ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた点像分布関数を外部との通信及び/又は媒体を介して受け取るデータ入力部と、
    前記制御位置誤差を用いて前記点像分布関数を補正する関数補正部と、
    前記画像データに対して前記関数補正部による補正後の前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算部と、
    を備える画像回復装置。
  10. ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた振動信号を外部との通信及び/又は媒体を介して受け取るデータ入力部と、
    画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、
    前記制御位置誤差を用いて前記点像分布関数を補正する関数補正部と、
    前記画像データに対して前記関数補正部による補正後の前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算部と、
    を備える画像回復装置。
  11. ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び/又は、前記画像データの撮像時に得られた振動信号を外部との通信及び/又は媒体を介して受け取るデータ入力部と、
    画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、
    前記画像データに対して前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算部と、
    を備え、
    前記点像分布関数は、前記振動信号から求まる基準値及び前記制御位置誤差、又は、前記振動信号及び前記制御位置誤差、又は、前記基準値及び前記振動信号及び前記制御位置誤差、又は、前記制御位置誤差に基づいて演算されること、
    を特徴とする画像回復装置。
  12. ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた点像分布関数を外部との通信及び/又は媒体を介して受け取るデータ入力手順と、
    前記制御位置誤差を用いて前記点像分布関数を補正する関数補正手順と、
    前記画像データに対して前記関数補正手順による補正後の前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算手順と、
    を備えるブレ補正プログラム。
  13. ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた振動信号を外部との通信及び/又は媒体を介して受け取るデータ入力手順と、
    画像回復演算に必要な点像分布関数を演算する点像分布関数演算手順と、
    前記制御位置誤差を用いて前記点像分布関数を補正する関数補正手順と、
    前記画像データに対して前記関数補正手順による補正後の前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算手順と、
    を備えるブレ補正プログラム。
  14. ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び/又は、前記画像データの撮像時に得られた振動信号を外部との通信及び/又は媒体を介して受け取るデータ入力手順と、
    画像回復演算に必要な点像分布関数を演算する点像分布関数演算手順と、
    前記画像データに対して前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算手順と、
    を備え、
    前記点像分布関数は、前記振動信号から求まる基準値及び前記制御位置誤差、又は、前記振動信号及び前記制御位置誤差、又は、前記基準値及び前記振動信号及び前記制御位置誤差、又は、前記制御位置誤差に基づいて演算されること、
    を特徴とするブレ補正プログラム。
JP2003026098A 2002-12-25 2003-02-03 ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム Pending JP2004239962A (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2003026098A JP2004239962A (ja) 2003-02-03 2003-02-03 ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム
CN200380107765.5A CN1732406B (zh) 2002-12-25 2003-12-25 抖动校正相机***
US10/540,136 US7711253B2 (en) 2002-12-25 2003-12-25 Blur correction camera system
AU2003296127A AU2003296127A1 (en) 2002-12-25 2003-12-25 Blur correction camera system
PCT/JP2003/016809 WO2004059380A1 (ja) 2002-12-25 2003-12-25 ブレ補正カメラシステム
EP03786325.5A EP1577705B1 (en) 2002-12-25 2003-12-25 Blur correction camera system
EP18178218.6A EP3404479A1 (en) 2002-12-25 2003-12-25 Blur correction camera system
US12/073,954 US7596307B2 (en) 2002-12-25 2008-03-12 Blur correction camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003026098A JP2004239962A (ja) 2003-02-03 2003-02-03 ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム

Publications (1)

Publication Number Publication Date
JP2004239962A true JP2004239962A (ja) 2004-08-26

Family

ID=32954204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003026098A Pending JP2004239962A (ja) 2002-12-25 2003-02-03 ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム

Country Status (1)

Country Link
JP (1) JP2004239962A (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005064921A1 (ja) * 2003-12-26 2005-07-14 Matsushita Electric Industrial Co., Ltd. 撮影装置、製品パッケージおよび半導体集積回路
JP2007158772A (ja) * 2005-12-06 2007-06-21 Matsushita Electric Ind Co Ltd 撮像装置、撮像方法及びそのプログラム
JP2007243579A (ja) * 2006-03-08 2007-09-20 Matsushita Electric Ind Co Ltd 撮像装置
JP2007306548A (ja) * 2006-04-14 2007-11-22 Nikon Corp 画像回復装置、カメラ、プログラム
JP2008199275A (ja) * 2007-02-13 2008-08-28 Casio Comput Co Ltd 手ぶれ補正装置及びプログラム
JP2008236289A (ja) * 2007-03-20 2008-10-02 Sanyo Electric Co Ltd 撮像装置
CN100544404C (zh) * 2003-12-26 2009-09-23 松下电器产业株式会社 图像拾取装置、产品组件以及半导体集成电路
JP2010078765A (ja) * 2008-09-25 2010-04-08 Sanyo Electric Co Ltd 撮像装置
JP2010161760A (ja) * 2008-12-09 2010-07-22 Sanyo Electric Co Ltd 画像処理装置及び電子機器
JP2011010214A (ja) * 2009-06-29 2011-01-13 Canon Inc レンズ交換式カメラ、及びその制御方法
JP2012146281A (ja) * 2010-12-22 2012-08-02 Canon Inc 画像処理装置、画像処理方法、およびプログラム、および画像処理システム
JP2014007493A (ja) * 2012-06-22 2014-01-16 Canon Inc 画像処理方法、画像処理装置および撮像装置
JP2014039131A (ja) * 2012-08-14 2014-02-27 Canon Inc 撮像システム及びその制御方法
WO2014175314A1 (ja) * 2013-04-26 2014-10-30 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
KR20150096902A (ko) * 2014-02-17 2015-08-26 삼성전기주식회사 이미지 보정 장치 및 그 방법
US9854169B2 (en) 2014-06-06 2017-12-26 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
EP3522519A4 (en) * 2016-10-17 2019-09-18 Huawei Technologies Co., Ltd. PHOTOGRAPHING METHOD AND DEVICE DEVICE

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8208017B2 (en) 2003-12-26 2012-06-26 Panasonic Corporation Imaging device, product package, and semiconductor integrated circuit
WO2005064921A1 (ja) * 2003-12-26 2005-07-14 Matsushita Electric Industrial Co., Ltd. 撮影装置、製品パッケージおよび半導体集積回路
CN100544404C (zh) * 2003-12-26 2009-09-23 松下电器产业株式会社 图像拾取装置、产品组件以及半导体集成电路
JP2007158772A (ja) * 2005-12-06 2007-06-21 Matsushita Electric Ind Co Ltd 撮像装置、撮像方法及びそのプログラム
JP2007243579A (ja) * 2006-03-08 2007-09-20 Matsushita Electric Ind Co Ltd 撮像装置
JP2007306548A (ja) * 2006-04-14 2007-11-22 Nikon Corp 画像回復装置、カメラ、プログラム
KR101370145B1 (ko) * 2006-04-14 2014-03-04 가부시키가이샤 니콘 화상 회복 장치, 카메라, 프로그램
JP2008199275A (ja) * 2007-02-13 2008-08-28 Casio Comput Co Ltd 手ぶれ補正装置及びプログラム
JP2008236289A (ja) * 2007-03-20 2008-10-02 Sanyo Electric Co Ltd 撮像装置
JP2010078765A (ja) * 2008-09-25 2010-04-08 Sanyo Electric Co Ltd 撮像装置
JP2010161760A (ja) * 2008-12-09 2010-07-22 Sanyo Electric Co Ltd 画像処理装置及び電子機器
JP2011010214A (ja) * 2009-06-29 2011-01-13 Canon Inc レンズ交換式カメラ、及びその制御方法
JP2012146281A (ja) * 2010-12-22 2012-08-02 Canon Inc 画像処理装置、画像処理方法、およびプログラム、および画像処理システム
US9386262B2 (en) 2012-06-22 2016-07-05 Canon Kabushiki Kaisha Image processing method, image processing apparatus and image pickup apparatus
JP2014007493A (ja) * 2012-06-22 2014-01-16 Canon Inc 画像処理方法、画像処理装置および撮像装置
JP2014039131A (ja) * 2012-08-14 2014-02-27 Canon Inc 撮像システム及びその制御方法
WO2014175314A1 (ja) * 2013-04-26 2014-10-30 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5851655B2 (ja) * 2013-04-26 2016-02-03 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
KR20150096902A (ko) * 2014-02-17 2015-08-26 삼성전기주식회사 이미지 보정 장치 및 그 방법
KR102163045B1 (ko) * 2014-02-17 2020-10-08 삼성전기주식회사 이미지 보정 장치 및 그 방법
US9854169B2 (en) 2014-06-06 2017-12-26 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
EP3522519A4 (en) * 2016-10-17 2019-09-18 Huawei Technologies Co., Ltd. PHOTOGRAPHING METHOD AND DEVICE DEVICE
US11057565B2 (en) 2016-10-17 2021-07-06 Huawei Technologies Co., Ltd. Image obtaining method and terminal device

Similar Documents

Publication Publication Date Title
EP1577705B1 (en) Blur correction camera system
JP2004239962A (ja) ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム
JP4678860B2 (ja) 撮像装置及びその制御方法とプログラム
EP1845709B1 (en) Image capturing apparatus, control method therefor, image processing apparatus, image processing method, and program
JPH114375A (ja) 電子的撮像装置
JP4311013B2 (ja) ブレ補正カメラシステム及びブレ補正カメラ
JP2009033267A (ja) 撮像装置及びその制御方法及びプログラム
JPH114401A (ja) 電子的撮像装置
JP4370780B2 (ja) ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム
JP5257106B2 (ja) 撮像装置及び撮像方法
JP4244632B2 (ja) ブレ補正カメラ
JP4899954B2 (ja) カメラ
JP4647183B2 (ja) ブレ補正カメラシステム、画像回復装置及びブレ補正プログラム
JP4244633B2 (ja) ブレ補正カメラ
JP4356316B2 (ja) ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム
JP2004205803A (ja) ブレ補正カメラ
JP2004205810A (ja) ブレ補正カメラ
US9124803B2 (en) Image pickup apparatus, method of controlling the same, reproduction apparatus, and method of controlling the same
JP2021182693A (ja) 撮像装置およびその制御方法
JP2007150418A (ja) カメラ及び画像再生装置
JP2005252760A (ja) ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置、及び、ブレ補正プログラム
US20240022706A1 (en) Evaluation method of image blur correction capability of image capturing apparatus, image capturing apparatus, and recording medium
JP2005208385A (ja) 撮像装置およびその制御方法
JP5424725B2 (ja) 撮像装置、撮像装置の制御方法
JPH09318988A (ja) 画像補正システム並びに画像補正システムのカメラ及び画像処理装置