JP4244632B2

JP4244632B2 - Vibration reduction camera

Info

Publication number: JP4244632B2
Application number: JP2002374724A
Authority: JP
Inventors: 博之富田; 一利臼井
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2002-12-25
Filing date: 2002-12-25
Publication date: 2009-03-25
Anticipated expiration: 2022-12-25
Also published as: JP2004205806A

Description

【０００１】
【発明の属する技術分野】
本発明は、手振れ等による振動を検出し、像のブレを補正するブレ補正カメラに関し、特に、光学式ブレ補正の他に、画像回復に対応したブレ補正カメラに関するものである。
【０００２】
【従来の技術】
従来から撮影時に生じる手ブレによる撮像画像の劣化を防ぐため、ブレ補正機能を付けたカメラが知られている。ブレを補正する方法として大別して以下に示す２つの手法がある。
１つ目のブレ補正手法は、角速度センサ、加速度センサなどの振動検出センサによりカメラの振動を検出して、その検出量に応じて撮影レンズや可変頂角プリズムなどの光学系を駆動してブレ補正を行う光学式ブレ補正手法である（例えば、特許文献１，２参照）。
２つ目のブレ補正手法は、撮像された画像と一時的にメモリ記憶された前画像との差分からブレ量を求め画像読み出し時にブレ補正する電子式的補正法である（例えば、特許文献３参照）。これら２つの手法は、いずれも撮影時にブレ補正をリアルタイムで行う方法である。
【０００３】
一方、上述の手法とは別のブレ補正手法であって従来から知られた技術として、劣化画像を手ブレやぼけのない画像に回復する技術が知られている。例えば、特許文献４には、撮影時のブレによる画像劣化を点像分布関数で表し、この点像分布関数に基づいてブレのない画像に回復する手法が開示されている。また、カメラにブレ検出手段のみを設けて手ブレ情報を記録し、再生時にその情報を用いて画像回復処理を行うことによりブレを補正する技術が知られている（例えば、特許文献５〜７参照）。
【０００４】
ここで、画像回復処理の具体的方法について説明する。画像回復とは、ブレの情報を利用してブレた画像を処理し、ブレの少ない画像に回復するものである。今、（ｘ，ｙ）を画面上の位置座標とし、ブレのない時の画像（以下、元画像）をｏ（ｘ，ｙ）、ブレによって劣化した画像（以下、ブレ画像）をｚ（ｘ，ｙ）、ブレによって広がった点像の情報（以下、点像関数）をｐ（ｘ，ｙ）とすると、この３つは、次の関係を満たす。
【０００５】
【数１】

【０００６】
ここで、＊は、コンボリューション（畳み込み積分）演算を表すもので、具体的には、以下の式で表される。
【０００７】
【数２】

【０００８】
これをフーリエ変換して空間周波数（ｕ，ｖ）領域にすると、数１，２は、以下の式のようになる。
【０００９】
【数３】

【００１０】
ここで、Ｚ（ｕ，ｖ）、Ｏ（ｕ，ｖ）、Ｐ（ｕ，ｖ）は、それぞれｚ（ｘ，ｙ）、ｏ（ｘ，ｙ）、ｐ（ｘ，ｙ）のスペクトルである。また、数３において、Ｐ（ｕ，ｖ）は、特に空間周波数伝達関数と呼ばれている。
ここで、ブレ画像ｚ（ｘ，ｙ）に加えて、何らかの方法により点像関数ｐ（ｘ，ｙ）を知ることができれば、それぞれのスペクトルを算出し、数３を変形した以下の数４を利用することで、元画像のスペクトルＯ（ｕ，ｖ）を算出することができる。
【００１１】
【数４】

【００１２】
数４において、１／Ｐ（ｕ，ｖ）は、特に逆フィルタと呼ばれている。数４により算出したスペクトルを逆フーリエ変換すれば、元画像ｏ（ｘ，ｙ）を求めることができる。
【００１３】
図１３，図１４は、従来の画像回復を説明する図である。
ここでは、簡単のために、ブレは、図１３（ｂ）に示すように一軸（Ｘ軸）方向に一様に発生したものとする。
この点像分布関数の断面をとると、図１４（ａ）のようになる。これをフーリエ変換したものが図１４（ｂ）であり、これが図１３（ａ）に示すブレの空間周波数伝達関数である。この伝達関数で注目すべきところは、値が０となっているところが何カ所かある点である。これを逆フィルタにすると図１４（ｃ）に示すように、無限大となってしまうところが存在する。これを数４に適用すると、ある特定の空間周波数に関しては、以下に示す数５のようになってしまい、元画像のスペクトル値は不定となる。
【００１４】
【数５】

【００１５】
伝達関数が０であるということは、ブレによって伝達されない（＝情報が失われる）周波数成分が存在するということであり、この式は、失われた周波数成分は、回復できないことを示している。これは、元画像を完全に回復させることができないことを意味している。
なお、実際には、逆フィルタが無限大とならないよう、以下の式で表されるウィナーフィルタを画像回復に使用する。
【００１６】
【数６】

【００１７】
図１４（ｄ）は、ウィナーフィルタをグラフにしたものである。
ウィナーフィルタにすることにより、数５のようにＯ（ｕ，ｖ）が不定となるところはなくなる。
【００１８】
【特許文献１】
特開昭６１−２４０７８０号公報
【特許文献２】
特開昭６１−２２３８１９号公報
【特許文献３】
特開昭６３−１８７８８３号公報
【特許文献４】
特開昭６２−１２７９７６号公報
【特許文献５】
特開平６−２７６５１２号公報
【特許文献６】
特開平６−３４３１５９号公報
【特許文献７】
特開平７−２２６９０５号公報
【００２２】
（画像回復の問題）
次に、画像回復の問題について説明する。
従来からブレ画像をウィナーフィルタを用いて回復処理することにより得られた画像は、元画像に比べ解像が向上することは知られている。しかし、Ｐ（ｕ’，ｖ’）≒０となる空間周波数（ｕ’，ｖ’）では、フィルタの値が大きくなるため、画像に含まれるノイズがその空間周波数成分を含む場合、ノイズ成分を増幅してしまう。その結果、画像に不必要な縞模様を生じ画質を低下させてしまうという問題があった。この縞模様は、元のブレが小さければそれほど大きな問題にはならないが、ブレが大きい場合に顕著に現れるので問題となるケースが多かった。
【００２３】
したがって、極端にブレ量が大きい場合に画像回復を行うと、画質の改善を望めないばかりか、上述の縞模様の発生など、かえって画質の劣化を生じてしまうおそれがあった。
この逆に、光学式ブレ補正により十分にブレ補正が行われている場合には、画像回復をさらに行うことにより得られる利益が無く、画像回復を行う必要はなかった。
また、画像回復を行うことが有効な場合に画像回復動作を実行することができるようにするためには、上述のように極端にブレ量が大きい場合や光学式ブレ補正により十分にブレ補正が行われている場合であっても、点像関数の演算を行ったり、点像関数演算に必要な各種パラメータを保存したりするなど、画像回復に必要なデータを記録しておく必要がある。画像回復に必要なデータは、データ量が非常に多く、画像回復が有効ではない場合にまで、多量のデータを取り扱うことは、限られたメモリ容量を無駄に使用することとなり、大容量の記録媒体が必要であったり、コストアップの要因となったりするという問題があった。
【００２４】
本発明の課題は、画像回復を行うことにより画質の改善が望めるときに画像回復を行い、無駄な画像回復を行うことのないブレ補正カメラを提供することである。
【００２５】
【課題を解決するための手段】
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。すなわち、請求項１の発明は、振動を検出して振動検出信号を出力する振動検出部（１０）と、前記振動検出信号の基準値を演算する基準値演算部と、前記振動検出信号に基づいてブレ補正光学系（７０）を駆動して像ブレを補正する光学的ブレ補正手段（５００）と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、前記ブレ補正光学系が駆動し、かつ、前記撮像部が撮像をしているときに得られた前記振動検出信号の基準値に基づいて、前記像ブレを画像処理により回復する画像回復に必要な点像分布関数を演算する点像分布関数演算部と、前記撮像部により撮像された画像に含まれる前記光学的ブレ補正手段では補正されなかった像ブレを、前記点像分布関数に基づいて検出する像ブレ検出部と、前記像ブレ検出部による検出結果に基づいて、前記撮像部により撮像された前記画像を画像回復によりブレ補正することの適否を判断する画像回復適否判断部（Ｓ６８０，Ｓ７５５）とを備えること、を特徴とするブレ補正カメラである。
【００２６】
請求項２の発明は、請求項１に記載のブレ補正カメラにおいて、前記画像回復適否判断部が画像回復をすると判断したとき、前記点像分布関数に基づいて、前記撮像部により撮像された画像に対して画像処理による画像回復をする画像回復部を有することを特徴とするブレ補正カメラである。
【００２７】
請求項３の発明は、請求項１又は請求項２に記載のブレ補正カメラにおいて、前記画像回復適否判断部が前記画像回復モードを行うことが不適であると判断したときに、その旨を告知する告知手段を備えること、を特徴とするブレ補正カメラである。
【００２８】
請求項４の発明は、請求項１から請求項３までのいずれか１項に記載のブレ補正カメラにおいて、前記画像回復適否判断部が前記画像回復モードを行うことが不適であると判断したときは、前記画像回復モードを実行しないこと、を特徴とするブレ補正カメラである。
【００２９】
請求項５の発明は、請求項１から請求項４までのいずれか１項に記載のブレ補正カメラにおいて、前記画像回復適否判断部が前記画像回復モードを行うことが不適であると判断したときは、前記点像分布関数を保存しないこと、を特徴とするブレ補正カメラである。
【００３３】
【発明の実施の形態】
以下、図面等を参照しながら、本発明の実施の形態について、さらに詳しく説明する。
（第１実施形態）
図１は、本発明によるブレ補正カメラの第１実施形態のシステム構成を示すブロック図である。
本実施形態におけるブレ補正カメラ１は、画像再生装置２と組み合わせて使用することにより、画像回復を行うことができるカメラシステムを形成している。画像再生装置２は、ブレ補正カメラ１により撮像された画像を画像記録部１２０又はブレ補正カメラ１と再生装置とを転送ケーブルなどを用いて接続し再生するとともに、画像回復を行うことができる画像回復装置である。
ブレ補正カメラ１は、画像を電子的に撮像する所謂デジタルスチルカメラであり、光学式補正系５００を備えている。
光学式補正系５００は、角速度センサ１０，Ａ／Ｄ変換部２０，駆動制御部３０，追従制御部４０，光学系駆動部５０，位置検出部６０，ブレ補正レンズ７０等を備えている。
【００３４】
角速度センサ１０は、ブレ補正カメラ１に印加された振動を角速度値で検出する振動検出部である。角速度センサ１０は、コリオリ力を利用して角速度を検出し、検出結果を電圧信号として出力する。
図１には、理解を容易にするため角速度センサ１０を１つのみ示しているが、撮影レンズの光軸に直交するＸ軸及びＸ軸に直交するＹ軸方向それぞれに対応して１つずつ設けられており、ブレ補正カメラ１の振動を２次元において検出する。なお、角速度センサ１０は、電源供給部９０より電源が供給されている間のみ角速度の検出が可能となっている。
【００３５】
Ａ／Ｄ変換部２０は、アナログ信号をデジタル信号に変換する変換器であり、角速度センサ１０からの振動検出信号をアナログ信号からデジタル信号に変換し、駆動制御部３０へ伝える。
【００３６】
駆動制御部３０は、角速度センサ１０により検出された振動検出信号と、後述の位置検出部６０により検出されたブレ補正レンズ７０の位置情報とから、ブレ補正レンズ７０を駆動するための駆動信号を演算し、光学系駆動部５０に駆動信号を出力する部分である。駆動制御部３０には、基準値演算部３１が含まれている（図２参照）。基準値演算部３１は、角速度センサ１０から得られた振動検出信号の基準値を演算する部分であり、本実施形態では、デジタルローパスフィルタ（ＬＰＦ）を使用し、ＬＰＦの出力を基準値としている。
追従制御部４０は、駆動制御部３０から得る駆動信号と、位置検出部６０から得るブレ補正レンズ７０の位置情報に基づいてブレ補正レンズ７０を駆動制御する信号を光学系駆動部５０へ伝える部分である。
駆動制御部３０及び追従制御部４０による制御動作の詳細については、後に説明する。
【００３７】
光学系駆動部５０は、駆動制御部３０から出力された駆動信号を基に、ブレ補正レンズ７０を駆動するアクチュエータである。
位置検出部６０は、ブレ補正するためにブレ補正レンズ７０のＸ軸方向及びＹ軸方向の位置を検出する位置検出部であり、位置検出部６０の出力は、Ａ／Ｄ変換器（不図示）を経由して追従制御部４０に送信される。
【００３８】
ブレ補正レンズ７０は、カメラの撮影光学系の一部であり、撮影光学系の光軸と略直交する平面内を動くことができる単レンズ、又は、複数枚のレンズより構成されるレンズ群からなるブレ補正光学系である。ブレ補正レンズ７０は、光学系駆動部７０によって光軸と略直交する方向に駆動され、撮影光学系の光軸を偏向させる。
写真等の像のブレは、手ブレ等のカメラに加えられる振動により、露光中に結像面の像が動いてしまうことにより発生する。本実施形態におけるブレ補正カメラ１では、角速度センサ１０により、ブレ補正カメラ１に加えられた振動を検出することができる。そして、ブレ補正カメラ１に加えられた振動が検出されれば、その振動による結像面の像の動きを知ることができるので、結像面上の像の動きを抑えるようにブレ補正レンズ７０を駆動し、結像面上の像の動き、すなわち像ブレを補正することができる。
【００３９】
ブレ補正カメラ１は、上述の光学式補正系５００の他に、制御部８０，電源供給部９０，点像関数演算部１００，撮像部１１０，画像記録部１２０，インターフェイス部１３０，補正動作判断部１４０，露出制御部１５０，合焦レンズ位置検出部１６０，焦点検出部１７０，閃光制御部１８０，操作部１９０等を備えている。
【００４０】
制御部８０は、ブレ補正カメラ１の動作全体を制御する制御部であり、駆動制御部３０、追従制御部４０、点像関数演算部１００、露出制御部１５０、合焦レンズ位置検出部１６０、焦点検出部１７０、閃光制御部１８０などを制御する各種制御演算など行う。
【００４１】
電源供給部９０は、不図示の半押タイマがＯＮの間は、角速度センサ１０を始めとするカメラ内で電源が必要とされるところに電源を供給し続ける部分である。また、半押しタイマがＯＦＦとなっているときは、電源の供給は停止する。したがって、カメラの半押しタイマがＯＮの間のみ、角速度センサ１０によるカメラの振動検出が可能となる。
【００４２】
点像関数演算部１００は、駆動制御部３０、追従制御部４０、露出制御部１５０、合焦レンズ位置検出部１６０、焦点距離検出部１７０などから得られた各種情報に基づき露光中の点像関数（点像分布関数）を演算する点像分布関数演算部である。
ブレ補正レンズ７０による光学式ブレ補正が完全であれば点像関数は１点となるが、実際には、光学式ブレ補正は、完全でないため、点像関数は１点にはならない。つまり、ブレ補正レンズ７０によって補正しきれない像ブレ（ブレ補正残差）が残る。ここで算出する点像関数は、ブレ補正レンズ７０で補正しきれずに結像面に残ったブレ補正残差を、後に画像処理によりさらにブレ補正するときに使用するものである。
【００４３】
撮像部１１０は、撮像素子１１１，Ａ／Ｄ変換部１１２，信号処理部１１３等を備え、撮影光学系により結像面に結像した像を撮像し、画像記録部１２０へ画像データを出力する部分である。
撮像素子１１１は、撮影光学系により結像面に結像した被写体像を受光し、アナログ信号の画像データに変換する素子である。
Ａ／Ｄ変換部１１２は、アナログ画像をデジタル画像に変換する変換器である。
信号処理部１１３は、Ａ／Ｄ変換部１１２によりデジタル信号に変換された画像データを処理する部分である。
【００４４】
画像記録部１２０は、撮像部１１０により撮像した画像、点像関数演算部１００により演算された点像関数、各種画像回復処理に必要な各種情報（パラメータ）などをそれぞれ画像に対応づけて記録保存する部分である。これら点像関数、各種情報などは、例えば、画像ファイル内にヘッダとして埋め込んで記録してもよいし、電子透かし技術のように画像の中に直接埋め込む方法でもよい。また、画像ファイルに対応させた別ファイルを作成し、そこに情報を書き込むようにしてもよい。
【００４５】
画像記録部１２０の具体的な形態は、例えば、コンパクトディスク（商標）、スマートメディア（商標）などの可動記録媒体でもよいし、画像転送を行うバッファメモリであってもよい。実施形態では、インターフェイス部１３０と画像再生装置２とを転送ケーブル３００を用いて接続し、画像記録部１２０に保存された画像、及び、画像回復処理に必要な情報を必要に応じて画像再生装置２へ転送する。
【００４６】
インターフェイス部１３０は、ブレ補正カメラ１と画像再生装置２とを接続するときなどに、転送ケーブル３００を接続する端子を備えた通信手段である。
接続ケーブル３００は、インターフェイス部１３０の接続コネクタと画像再生装置２の通信ポート（例えば、ＲＳ−２３２Ｃ、ＵＳＢ、パラレルポート、ＩＥＥＥ１３９４等）を接続するケーブルである。この接続ケーブル３００を介してブレ補正カメラ１と画像再生装置２との間でデータの送受信が行われる。
【００４７】
補正動作判断部１４０は、点像関数演算を行うか否か判断処理する部分である。補正動作判断部１４０により点像関数演算の必要性を判断するので、画像記録部１２０に保存する情報をできるだけ必要なデータだけとすることができ、無駄な演算動作やメモリ容量の軽減を図ることができる。
【００４８】
露出制御部１５０は、不図示のコマンドダイヤルなどで設定された露光時間の設定値から撮像素子への露光時間を制御する部分である。露光時間情報や露光の開始／終了のタイミング情報は、点像関数演算部１００に送信される。
【００４９】
合焦レンズ位置検出部１６０は、不図示の合焦レンズの位置を検出する部分である。合焦レンズの位置を検出することにより、点像関数の演算に必要な結像面から被写体までの距離を算出することができる。
【００５０】
焦点検出部１７０は、撮影光学系の撮影時のレンズ焦点距離ｆを検出する部分である。このレンズ焦点距離ｆも、点像関数の演算に必要な情報である。
閃光制御部１８０は、閃光発光部１８１の発光を制御する部分である。
【００５１】
操作部１９０は、半押しスイッチ（ＳＷ）１９１、全押しスイッチ（ＳＷ）１９２、ブレ補正モード選択スイッチ（ＳＷ）１９３などを有している。
半押しスイッチ１９１は、不図示のレリーズボタンの半押し動作に連動してＯＮとなるスイッチである。この半押しスイッチ１９１がＯＮとなることにより、不図示の測光部による測光演算、オートフォーカス駆動などが開始される。また、半押しタイマがＯＦＦであった場合には、この半押しスイッチ１９１のＯＮに同期して半押しタイマがＯＮとなる。
【００５２】
全押しスイッチ１９２は、不図示のレリーズボタンの全押し動作に連動してＯＮとなるスイッチである。この全押しスイッチ１９２がＯＮとなることにより、図示しないシャッタ機構によるシャッタの開閉、イメージセンサによる画像の取り込みなど一連の撮影動作が行われる。
【００５３】
ブレ補正モード選択スイッチ１９３は、光学式補正動作モードと画像回復モードの組み合わせ選択を行う操作部材である。本実施形態では、ブレ補正動作モードを３モード選択可能なスイッチとし、その動作は次のようになる。
「ブレ補正ＯＦＦモード」が選択された場合、光学式補正も画像回復も行わない。すなわち、ブレ補正レンズ７０の駆動を停止し、ブレ補正動作は一切行わず、画像回復用のデータの記録保存も行わない。
「光学式補正動作モード」が選択された場合、光学式補正動作のみ行い、ブレ補正レンズ７０を駆動させて像ブレ補正動作を行うが、画像回復処理のための点像関数の演算、画像回復用のデータの記録保存等は行わない。
「画像回復動作モード」が選択された場合、光学式補正動作と画像回復のために必要な動作が行われる。光学式補正系５００から画像回復処理するために必要な画像回復用のデータは、光学式補正系５００から補正動作判断部１４０を介して点像関数演算部１００に送出される。
【００５４】
次に、画像再生装置２について説明する。
画像再生装置２は、画像回復処理を実行する画像回復演算部２１０と画像を表示する画像表示部２２０とを備えている。
本実施形態における画像再生装置２は、パソコンを利用しており、このパソコンに画像回復に必要な専用のブレ補正プログラムを含むアプリケーションソフトウェアをインストールすることにより、画像再生装置として機能させている。
なお、画像再生装置２は、パソコンを利用する場合に限らず、例えば、専用の再生装置としてもよいし、カメラの中に組み込んでもよい。
【００５５】
画像回復演算部２１０は、ブレ補正カメラ１の画像記録部１２０から送られてきた画像データと、画像データに対応する点像関数情報及び画像回復処理するための各種パラメータに基づいて、画像に含まれるブレを補正する画像回復処理を実行する部分である。
画像回復演算部２１０における画像回復処理には、数６で述べたウィナーフィルタを使用するが、これに限らず他の手法を用いてもよい。
画像表示部２２０は、撮影者が撮影した画像、又は、画像回復した後の画像を表示する部分であり、本実施形態では、パソコンのモニタ部がこの部分に相当する。
【００５６】
次に、駆動制御部３０及び追従制御部４０に関連する部分について、光学式ブレ補正動作の制御を含めて説明する。
図２は、光学式補正系５００の駆動制御部３０及び追従制御部４０の制御動作を説明する制御ブロック図である。
まず、カメラに加えられた振動を角速度センサ１０により検出する。角速度センサ１０は、通常、コリオリ力を検出する圧電振動式角速度センサを用いる。角速度センサ１０の出力は、基準値演算部（低周波成分抽出）３１へ入力される。基準値演算部３１は、角速度センサ１０の出力よりブレの基準値を演算する部分である。通常の手振れの基準値は、角速度センサ１０が完全に静止している状態での出力（以下、ゼロ出力）値とすればよい。しかし、このゼロ出力値は、ドリフトや温度などの環境条件で変動してしまうため、基準値を固定値とすることができない。したがって、実際に使用されている状態、つまり撮影者の手振れの信号から基準値を演算し、ゼロ出力を求めなければならない。基準値演算には、デジタルローパスフィルタ（ＬＰＦ）を用いる。
【００５７】
デジタルローパスフィルタのカットオフ周波数ｆｃは、出来るだけ低く設定する事が望ましいが、従来技術の説明においても述べた通り、カットオフ周波数ｆｃをあまり低く設定するとセンサドリフトの影響を受けやすくなる。また、逆に高く設定するとｆｃ以下の周波数成分は、光学補正されないため像ブレとして残ってしまう。後で詳しく述べるが、この光学補正されない基準値出力を基に点像関数を求め、画像回復処理を行うことにより光学補正で取りきれなかった像ブレを後処理により回復することが可能となる。
【００５８】
本実施形態では、ＬＰＦのカットオフ周波数ｆｃを、画像回復を行わない場合（光学式補正動作モード）と、画像回復を行う場合（画像回復動作モード）と、で変更することとしている。具体的には、画像回復を行わない「光学式補正動作モード」の場合、ｆｃ＝０．１Ｈｚとし、画像回復を行う「画像回復動作モード」の場合、ｆｃ＝１Ｈｚとしている。このカットオフ周波数ｆｃの詳細な説明は、後述する図４，５におけるＳ４００，Ｓ６００の説明において行う。
【００５９】
次に、基準値演算した後、角速度センサ１０からのブレ検出信号から基準値を減算したブレ検出信号を、積分部３２へ送信する。
積分部３２では、角速度の単位で表されているブレ検出信号を時間積分し、カメラのブレ角度に変換する。例えば、以下の数７により演算する。
【００６０】
【数７】

【００６１】
数７中の各記号は、θ(t)：目標駆動位置，ω(t)：ブレ検出信号，ω₀(t)：基準値，t：時間（整数値）であり、Ｃは、レンズの焦点距離等の条件によって決まる定数である。
積分部３２により演算された目標駆動位置信号は、追従制御部４０へ送信される。
【００６２】
目標駆動位置演算部３３では、積分部３２から送られてきたブレ角度情報に焦点検出部１７０からのレンズ焦点距離ｆや合焦レンズ位置検出部１６０からの被写体距離Ｄなどの情報を加味して、ブレ補正レンズ７０を駆動するための目標駆動位置情報を演算する。
追従制御部４０では、公知のＰＩＤ制御等用いて、この目標駆動位置情報に応じてブレ補正レンズ７０を動かすために目標駆動位置情報とブレ補正レンズ７０の位置検出６０からの位置情報との差をとり、光学系駆動部５０を駆動するための駆動信号を送出する。送出された駆動信号に基づいて光学系駆動部５０のコイルに電流を流すことによりブレ補正レンズ７０を光軸に直交する方向に駆動することが可能となる。
【００６３】
位置検出部６０では、ブレ補正レンズ７０の位置をモニタしており、検出されたレンズ位置信号を用いてブレ補正レンズ７０が駆動制御部３０によりフィードバック制御される。
また、目標駆動位置演算部３３から出力される目標駆動位置情報は、ブレ補正レンズ７０を追従制御する追従制御部４０と補正動作判断部１４０を介して点像関数演算部１００へと送出される。
【００６４】
次に、本実施形態におけるブレ補正カメラ１の基本動作について説明する。
図３は、ブレ補正動作を行う場合のカメラの基本動作を示すフローチャートである。
ステップ（以下、Ｓとする）２１０において、半押しスイッチ１９１がＯＮされると、Ｓ２２０へ進む。
Ｓ２２０では、ブレ補正モード選択スイッチ１９３の状態を判別する。「光学式補正動作モード」の場合Ｓ２３０の光学式補正動作フローに進み、「画像回復動作モード」の場合Ｓ２４０の光学式ブレ補正動作と画像回復処理動作とを行う画像回復処理フローへと進む。
以下、「光学式補正動作モード」及び「画像回復動作モード」それぞれの場合のブレ補正カメラ１の動作を分けて説明する。
【００６５】
まず、「光学式補正動作モード」時のブレ補正カメラの動作について説明する。
図４は、光学式ブレ補正動作モード時のカメラの基本動作を示すフローチャートである。
Ｓ４００では、基準値演算部３１に用いられているＬＰＦ部のカットオフ周波数ｆｃをｆｃ＝０．１Ｈｚに設定する。
Ｓ４１０では、振動検出部である角速度センサ１０がＯＮとなる。
Ｓ４２０では、ロックされていたブレ補正レンズ７０のロックを解除する。
Ｓ４３０では、ブレ補正動作が開始される。ここで開始されるブレ補正とは、角速度センサ１０の出力に基づき、その像ブレを打ち消すようにブレ補正レンズ７０を光軸方向に略直交する方向に移動させて、ブレを補正する光学式ブレ補正動作である。
Ｓ４４０では、半押しタイマの状態を検出し、半押しタイマがＯＦＦならばＳ４５０へ進み、半押しタイマがＯＮならばＳ４７０へ進む。
Ｓ４５０では、ブレ補正動作を停止し、Ｓ４６０で補正レンズをロックし光学補正モード終了する。
【００６６】
Ｓ４７０では、全押しスイッチ１９２の状態を検出し、全押しスイッチ１９２がＯＮならばＳ４８０へ進み、全押しスイッチ１９２がＯＦＦならばＳ４４０へ戻る。
Ｓ４８０では、ブレ補正レンズ７０のセンタリング動作が実行される。光学系駆動部５０により駆動されていない状態では、撮影光学系の光軸とブレ補正レンズ７０の光軸とが必ずしも一致していない。通常は、ブレ補正レンズ７０は、その可動範囲の端部に移動した状態にあることが多く、そのままブレ補正動作を行うと、駆動できない方向が生じてしまうので、このセンタリング動作によりブレ補正レンズ７０の光軸と撮影光学系の光軸とが略一致するように、ブレ補正レンズ７０を駆動する。
【００６７】
Ｓ４９０では、シャッタ開動作が行われ、撮像部１１０への露光が開始される。
Ｓ５００では、閃光（ＳＢ）発光するか否かの判断が行われ、閃光の発光を行う場合Ｓ５１０へ進み、閃光の発光を行わない場合Ｓ５２０へ進む。
Ｓ５１０では、閃光の発光が行われる。
Ｓ５２０では、シャッタが閉じられ、露出が終了する。その後、Ｓ４４０の半押しタイマ判断ルーチンへ戻る。
【００６８】
次に、「画像回復動作モード」時のブレ補正カメラの動作について説明する。
図５は、画像回復動作モード時のカメラの基本動作を示すフローチャートである。
Ｓ６００では、基準値演算部３１に用いられているＬＰＦ部のカットオフ周波数ｆｃをｆｃ＝１Ｈｚに設定する。
上述した「光学式補正動作モード」時には、ｆｃ＝０．１Ｈｚとしたのに対して、この「画像回復動作モード」時には、カットオフ周波数ｆｃを上げている。このようにすることにより、「画像回復動作モード」時には、「光学式補正動作モード」時に比べて、ブレ補正カメラ１の振動の内、点像関数演算部１００により演算される点像関数に現れる成分を多くし、ブレ補正レンズ７０を駆動してブレ補正する成分を少なくすることができる。そうすることにより、ブレ補正レンズ７０を駆動する駆動量を減少させることができ、ブレ補正レンズ７０が駆動可能な範囲内で余裕を持って駆動することができる。この場合、光学式ブレ補正動作により補正されるブレ量が減少し、撮像される画像のブレ量が増加するが、この増加したブレについては、後に画像回復により補正されるので、最終的には、ブレ補正効果が高く、像ブレがない、又は、像ブレが非常に少ない画像を得ることができる。
このように、「画像回復動作モード」時には、基準値演算に使用するカットオフ周波数を「光学式補正動作モード」時に比べて高くし、ブレ補正する成分を光学式ブレ補正と画像回復とに配分することにより、「光学式補正動作モード」時に比べて、より大きな手振れであっても、適切なブレ補正を行うことができる。
【００６９】
図５におけるＳ６１０からＳ６７０までのフローは、図４におけるＳ４１０からＳ４７０までのフローにおける動作と同様なので、ここでの詳細な説明は省略する。
Ｓ６８０では、回復処理判断を行う。このＳ６８０の回復処理判断の詳細な説明は、後に図６を用いて行う。このステップにおける回復処理判断により画像回復処理が必要無いと判断された場合は、Ｓ６９０へ進み、画像回復処理が必要であると判断された場合は、Ｓ７２０へ進む。
【００７０】
Ｓ６９０では、図４におけるＳ４８０と同様に、ブレ補正レンズ７０のセンタリング動作が実行される。
Ｓ７００では、シャッタ開動作が行われ、撮像部１１０への露光が開始される。
Ｓ７１０では、シャッタが閉じられ、露出が終了する。その後、Ｓ６４０の半押しタイマ判断ルーチンへ戻る。
Ｓ７２０では、図４におけるＳ４８０と同様に、ブレ補正レンズ７０のセンタリング動作が実行される。
Ｓ７３０では、シャッタ開動作が行われ、撮像部１１０への露光が開始される。
Ｓ７４０では、露光期間中に点像関数演算用のデータ取得を行う。このＳ７４０における点像関数演算用データ取得の詳細については、後に図７を用いて説明する。
【００７１】
Ｓ７５０では、点像関数演算用データの取得後、取得したデータを用いて点像関数の演算を行う。点像関数の演算は、取得した基準値から基準値演算平均値を減算し、これを積分、誤差角度θ（ｔ）を求め、さらに焦点距離情報ｆから像面での点像分布関数Ｘ（ｔ）を以下の数８により求める。
【００７２】
【数８】

【００７３】
なお、テレコンバータ装着時は、テレコンバータの倍率に応じて焦点距離を変更する必要がある。また、被写体距離情報を用いて補正を行うとさらに点像分布関数の精度は高くなる。この場合、以下の数９を用いるとよい。
【００７４】
【数９】

【００７５】
これらの演算をそれぞれＸ方向、Ｙ方向について行い、それらをＸ−Ｙ平面に展開すると点像分布関数が得られる。
なお、上述の例は、点像関数演算の一例であって、点像関数の演算には、他の方法を利用してもよい。
点像関数演算の後、Ｓ７６０では、画像回復処理対象画像に、ブレマークを付与する。
Ｓ７７０では、演算した点像関数をブレ情報として記録し、Ｓ６４０へ戻る。
【００７６】
次に、ブレ光学式補正系から出力されたブレ情報の処理と点像関数演算用データの取得について説明する。
図６は、ブレ検出データに基づいて点像関数演算を行うか否か（画像回復動作モードを行うことの適否）を判断する画像回復適否判断部（図５におけるＳ６８０）の詳細な動作を示すフローチャートである。
この画像回復適否判断部の判断に基づき画像回復に必要なブレ検出データを記録するか否かが判断される。
【００７７】
Ｓ３１０では、ブレ検出量の大きさに基づき、画像回復処理の有効性を判断する。このステップでは、目標駆動位置演算結果から画像回復処理することによりブレを効果的に補正することができるか否かをブレ情報やカメラ撮影情報に基づいて画像回復可能条件範囲を予め設定しておき、その条件に基づき判断を行う。例えば、ブレ量が大きすぎる（最大限界ブレ量）と画像回復処理しても画像に縞模様が目立ち、この縞模様による画質劣化を避けることができない。また、ブレ量が小さすぎる（最小限界ブレ量）と画像回復してもその改善効果が現れない。そこで、これら限界ブレ量は、予め実験や経験により得ることにより設定しておく。
【００７８】
Ｓ３２０では、シャッタ速度（露光時間）により画像回復処理の必要性を判断する。このステップでは、シャッタ速度によりある程度ブレ量の大きさが予測され、その予測されるブレ量により画像回復処理の必要か否かを判断する。シャッタ速度が速い場合は、たとえブレが生じても非常に小さいブレ量であり、鑑賞に堪えられる画像であると判断される。この場合のブレ量は、焦点距離とシャッタ速度の双方から求められる。光学式ブレ補正を行わない場合には、手ブレが発生するのは、（１／焦点距離）のシャッタ速度より遅い場合であると一般的にいわれている。しかし、本実施形態では、光学式ブレ補正も行っているので、例えば、以下の式を満たす場合にのみ、画像回復処理を行うようにする。
【００７９】
（Ａ／焦点距離）＜シャッタ秒時（露光時間）
ここで、上記Ａは、所定値としてもよいし、他の条件により変化する変数としてもよい。
【００８０】
Ｓ３１０，Ｓ３２０におけるシャッタ速度判断及びブレ検出量判断共に回復処理必要と判断された場合には、回復処理有りのＳ３３０の露光シーケンスとなり、図５におけるＳ７２０へ進む。
一方、Ｓ３１０，Ｓ３２０におけるシャッタ速度判断又はブレ検出量判断のいずれかにおいて回復処理不要と判断された場合には、Ｓ３４０へ進み、画像回復動作を行わない旨の警告・表示（告知）を行う。告知は、例えば、警告音であってもよいし、所定の表示を行うようにしてもよい。
Ｓ３４０を実行した後、Ｓ３５０の回復処理無しの露光シーケンスとなり、図５におけるＳ６９０へ進む。
この図６に示したように、画像回復の適否を判断することにより、画像回復処理のためのブレ情報量を軽減でき、メモリ容量の軽減を行うことができる。
また、画像回復を行うことによりかえって画質が劣化するような場合に誤って画像回復してしまうことを防止することができる。
【００８１】
図７は、点像関数演算用データ取得の動作（図５におけるＳ７４０）を詳細に示したフローチャートである。
本実施形態では、メモリ容量の節約等を主な目的として、図７に示す間引き処理（情報量減少部としての処理）を行っている。
露光開始後、Ｓ９１０では、カウンタをリセットする。具体的には、Ｎ＝１，Ｋ＝０とする。ここで、Ｎは、複数の基準値を区別するために付与する番号となるカウンタであり、Ｋは、時間を計るタイマとなるカウンタである。
Ｓ９２０では、最初の基準値出力であるω₀（１）を保存する。
Ｓ９３０では、基準値出力の平均値ω₀ａｖｅを以下の式により演算する。
【００８２】
【数１０】

【００８３】
Ｓ９４０では、カウンタの確認を行う。Ｋ＝１００であれば、Ｓ９５０へ進み、それ以外の場合には、Ｓ９７０へ進む。
Ｓ９５０では、基準値出力ω₀（Ｎ）を保存する。
Ｓ９６０では、Ｋ＝０としてタイマカウンタをリセットする。本実施形態では、角速度センサ１０のサンプリング周波数が１ＫＨｚであって、０．１ｓｅｃ毎に基準値出力を保存するので、基準値出力を間引くことになる。
【００８４】
Ｓ９７０では、露光が終了しているか否かを確認し、露光終了前ならばＳ９９０へ進み、露光終了の場合には、Ｓ９８０へ進む。
Ｓ９８０では、最後の基準値出力ω₀（Ｎ）を保存しておく。これは、基準値出力の間引き保存によりシャッタ秒時が速い場合、基準値出力の最初のポイントしか保存されないことを避けるためである。例えば、本実施形態では、サンプリング周波数１ＫＨｚのときに０.１ｓｅｃ毎に基準値出力を保存するので、１／１０ｓｅｃよりも速いシャッタスピードでは、最初の基準値出力しか保存されておらず、点像関数が構成できなくなってしまうからである。
Ｓ９９０及びＳ１０００では、カウンタを進め、Ｓ９３０に戻り、基準値出力の平均値演算を行う。
【００８５】
ここで、上述の間引き処理について説明する。
画像回復処理に用いる点像関数は、基準値出力を基に演算される。基準値出力は、前述の様に１Ｈｚ（画像回復を行う図５のフローの場合）のカットオフ周波数を有するＬＰＦ出力であるため、手ブレの周波数成分より低い。したがって、点像関数演算に用いるデータ数も少なくする事が可能である。点像関数演算を行う場合に、光学式補正系５００から送出されるブレ検出データの全てのデータについて点像関数を演算しようとすると、多大な演算量とメモリ容量が必要となってしまう。
【００８６】
目標位置演算結果から得られるブレ検出データの個数は、例えば、基準値演算のサンプリング周波数が１ｋＨｚの時、１秒分の基準値のデータ個数は、Ｎ＝１０００個であり、非常に多くのデータ量である。手振れの周波数は、０．１〜１０Ｈｚ程度であり、手振れ振動の基準値を算出する基準値演算部３１に設けられたローパスフィルタのカットオフ周波数は、１Ｈｚ程度である。つまり、点像関数演算部には、１Ｈｚ以下の周波数が主成分となる。１Ｈｚの周波数を表すにはその１０倍程度、つまり０．１ｓｅｃ周期のデータで十分である。したがって、１ＫＨｚサンプリングのデータを１／１００までデータの間引きを行う事が可能となる。
また、基準値出力演算のためのＬＰＦのカットオフ周波数を変更する場合には、このカットオフ周波数から間引き量を変更する必要がある。
このような処理により、演算処理時間の短縮、メモリ容量等の節約を行うことができる。
【００８７】
間引き処理した後に、画像再生装置により画像回復処理するために記録媒体にブレ情報を記録したり、画像再生装置にデータを転送したりすることが行われる。本実施形態では、間引き処理により画像回復処理に必要な最低のデータ個数を記録や転送することにより、転送時間、演算処理時間の短縮、とりわけメモリ容量の節約に大きな効果を奏することができる。
【００８８】
ここで、図５のＳ７５０において行われる点像関数演算部１００の動作について説明する。
光学式補正系５００によりブレ補正を実行してもブレを補正しきれず、若干のブレが画像に残ってしまう（ブレ補正残差）という問題については、従来技術の説明において述べた（図１５）。このようなブレ補正残差が発生する原因は、主に基準値によるところが大きい。そこで、本実施形態における点像関数演算部１００では、基準値を元にブレ補正残差の点像関数を算出する。ここで算出した点像関数は、画像回復演算部２１０に送信される。画像回復演算部２１０は、この送信された点像関数を基に画像回復演算を行い、ブレ補正レンズ７０のブレ補正動作では補正しきれなかった像ブレを補うことにより、ブレ補正効果の高い高画質な画像を得ることができる。
【００８９】
従来の画像回復処理に用いるデータは、角速度センサ等により検出されたブレ検出データから直接点像関数を求めて画像回復を行う例がほとんどであった。しかし、先にも述べたように、このような方法では、画像のブレが大きくなってしまった場合、画像回復をしても画質が改善されないという問題があった。しかし、本実施形態によれば、光学式ブレ補正機構によりある程度ブレを補正し、そのときのブレ情報を用いて画像回復処理することにより大幅な画質改善が可能である。
【００９０】
図８及び図９は、本実施形態における画像回復を説明する図である。
本実施形態では、光学式ブレ補正機構によりブレ補正された後の画像データ及びブレ情報を用いているので、ブレ量が大きすぎることはない。この点の効果は、図１４と比較することにより明らかである。ブレが大きくなるほど伝達されない周波数成分が増え、画像の回復が難しくなる。図９（ｂ）に示す空間周波数伝達関数が０になっている点が図１４（ｂ）のそれよりも少なくなっていることがわかる。これは、伝達されない周波数成分を減らしていることになるので、画像回復を効果的に行うことができることを示している。
【００９１】
次に、画像再生装置２の動作について説明する。
図１０は、画像再生装置２の基本動作を示すフローチャートである。
画像再生装置２には、画像回復を行うためのブレ補正プログラムは、すでに画像再生装置２にインストールされているものとする。
先に示したように、本実施形態では、カメラ側の画像データは、転送ケーブル３００を介して画像再生装置２に転送される。
図１０では、既に、画像の転送が行われ、ブレ補正（画像回復処理）プログラムが立ち上がりメニュー画面表示されているものとする。
【００９２】
Ｓ２０１０では、回復処理ボタンをマウスでクリックする等により、画像回復動作を開始する。
Ｓ２０２０では、予めカメラ側で回復処理する対象の画像であると判断された画像には、ブレマークが付与され記録されているので、再生時において画像読み込み動作開始とともにこのブレマークが付与されている画像のみが読み出されて表示される。
【００９３】
Ｓ２０３０では、画像又は像ブレに関する各種パラメータを見ながら利用者が画像回復処理を実行する画像を選択し、表示する。
Ｓ２０４０では、選択された画像に関し、画像回復のために必要なパラメータであるブレ軌跡データ及び点像ブレをより詳細に表示する。具体的には、画像表示部（ディスプレイ）２２０上にブレ軌跡データや点像ブレなどのブレ補正カメラ１により記録された補正情報や撮影情報などを表示し、操作者が適宜ブレ軌跡データを画像表示部２２０上で直接操作することができる。
図１１及び図１２は、具体的な画像表示及び各種パラメータの操作例を示す図である。
【００９４】
Ｓ２０５０では、画像回復を行うときの上記パラメータを任意に変更、設定する。
Ｓ２０６０では、Ｓ２０５０において設定したパラメータに従い回復処理を実行する。
Ｓ２０７０では、画像再生装置２の画像表示部２２０上に回復処理する前のブレ画像と回復処理した回復画像とを比較表示する。
Ｓ２０８０では、画像回復前のブレ画像と回復画像後の回復画像とを目視にて比較し、回復画像でよいか否か（再度画像回復を行うか否か）を判断する。回復画像でよい場合には、Ｓ２０９０へ進み、再度画像回復を行う場合には、Ｓ２０４０へ戻る。
【００９５】
Ｓ２０８５では、回復画像及びパラメータを保存するか否かの判断を、利用者が判断して決定する。回復画像及びパラメータを保存する場合には、Ｓ２０９０へ進み、保存しない場合には終了する。
Ｓ２０９０では、回復画像及びパラメータを上書き保存するか否か利用者が判断して選択指示する。上書き保存しない場合は、Ｓ２１１０へ進み、上書き保存する場合はＳ２１００に進む。また、上書き保存する場合には、上書きされて消されるデータ（既に保存されているデータ）の選択も併せて行う。
Ｓ２１００では、原画像に対応して保存されている過去の回復画像及びパラメータ（Ｓ２０９０において上書きされる選択がされたデータ）を削除する。
Ｓ２１１０では、回復画像と、今回の画像回復処理に使用した新たなパラメータとを原画像に関連づけて保存する。
【００９６】
図１１に示す例では、画像表示部２２０上には、回復処理する前のブレ画像と回復処理した回復画像、点像関数に関する情報とブレ軌跡データとがそれぞれ対応づけてウインドウ表示されている。このように同一画面上に比較して表示することにより、操作者が直感的にどの個所を修正すればよいかが一目にして判断することができる。
また、図１１の右下に表示されている部分には、ブレ軌跡データの操作を行うことができる表示が行われている。本実施形態では、このようにして、画像表示部２２０上に表示されているブレ軌跡データをマウスなどを用いて局所的に操作することができる。このように操作されたブレ軌跡データに基づいて再度回復処理を実行し、より詳細な比較判断をすることができる。
【００９７】
また、本実施形態では、得られたブレ軌跡データ〔図１２（ａ）〕をマウス指示点Ｐを基準に縮小拡大することにより、図１２（ｂ）に示す画像データ操作の粗調整、図１２（ｃ）に示す微調整を行うことができる。図１２（ｃ）は、微調モードにした例であり、データ数を細かく操作することができるため、得られた回復画像のパラメータに対する評価がし易くなり、画像操作自由度を高められるとともに効率的な処理を行うことができる。
【００９８】
従来、点像関数演算では、角速度センサなどのセンサ出力から得られた出力を直接演算に用いていたので、非常に多くの誤差要因が点像関数に含まれ、画像表示操作しても高画質な画像を得ることは困難であった。これに対し、本実施形態では、点像関数演算は、光学式ブレ補正動作によりブレ補正されたノイズ誤差の少ない出力データを用いて画像回復処理を行うので、非常に高画質の回復画像が得られる。また、ブレ軌跡データや点像データなどを、例えば、マウスなどを用いて直接画像を操作することができ、画像回復処理に用いるパラメータの画像回復に対する効果の度合いも評価し易くなり、効率的な処理作業をすることができる。
【００９９】
このように、本実施形態では、画像に関連づけてブレ情報を記録しているため、画像再生装置２（画像閲覧ソフト）により画像を閲覧するだけでブレ情報が利用者にわかるようになっている。したがって、画像回復する前に画像とブレ情報とを利用者が関連づけする必要がなくなり、作業効率が向上する。また、画像回復が必要か否かの情報もブレマークにより表示されるため、さらに作業効率がよくなる。
【０１００】
本実施形態によれば、画像回復適否判断部（図５におけるＳ６８０）により、画像回復の適否を判断することにより、画像回復処理のためのブレ情報量を軽減することができ、メモリ容量の節約を行うことができる。
また、画像回復を行うことによりかえって画質が劣化するような場合に誤って画像回復してしまうことを防止することができる。
さらに、画像回復が適さない場合には、点像関数の演算及び保存を行わないので、扱うデータ量を減少することができ、メモリ等の節約をすることができる。
【０１０１】
（第２実施形態）
図１６は、本発明の第２実施形態を説明する図である。
第２実施形態は、第１実施形態における図５中のＳ６８０（画像回復適否判断部）に相当する動作を、点像関数演算（Ｓ７５０）を行った後に行う点が、第１実施形態と異なっており、他の部分は第１実施形態と共通である。よって、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
【０１０２】
Ｓ７５０において点像関数演算を行った後、Ｓ７５５では、画像回復の適否（画像回復動作モードを行うことの適否）の判断を行う。このステップは、第１実施形態におけるＳ６８０と同様な目的を有する動作（画像回復適否判断部としての動作）であるが、判断手法が異なっている（図１７参照）。Ｓ７５５における判断の結果、画像回復を行うと判断した場合には、Ｓ７６０へ進み、画像回復を行わないと判断した場合には、Ｓ６４０へ戻る。
【０１０３】
図１７は、点像関数に基づいて画像回復を行うか否かを判断する画像回復適否判断部の詳細な動作を示すフローチャートであり、第１実施形態における図６に相当する図である。
Ｓ３０１０では、点像関数に基づいて画像回復動作モードを行うことの適否の判断を行う。判断の結果、画像回復を行う場合にはＳ３０２０へ進み画像回復ありの露光シーケンス（図５におけるＳ７６０）へ進む。一方、画像回復を行わない場合にはＳ３０３０へ進む。
点像関数に基づいて行う画像回復動作モードを行うことの適否の判断の、具体的な形態としては、例えば、点像関数の幅を算出し、この幅が所定量（例えば、３０μｍ）よりも小さい場合に画像回復を行うこととする手法が挙げられる。ここで、点像関数の幅は、例えば、点像関数に外接する長方形を求め、この長方形に接する対角線長を点像関数の幅とすることができる。
【０１０４】
Ｓ３０３０では、画像回復動作を行わない旨の警告・表示（告知）を行う。告知は、例えば、警告音であってもよいし、所定の表示を行うようにしてもよい。Ｓ３０４０では、回復処理無しの露光シーケンス（図５におけるＳ６４０）へ進む。
【０１０５】
第１実施形態では、点像関数演算を行う前に、ブレ検出量、シャッタ速度、焦点距離等の情報を用いて画像回復の適否を判断していた。しかし、これらの情報は、レリーズボタンを半押しから全押しまでの間に得られた情報であるので、露光中の振動を予想して判断していることになり、レリーズボタンの全押しから露光終了までの間にブレ量が変化した場合には、適正な判断ができない場合がある。そこで、本実施形態では、露光中に得られた情報を用いて演算される点像関数に基づいて画像回復動作モードを行うことの適否の判断を行うこととして、撮影中の実際の振動情報を反映した判断を行えるようにしている。
また、点像関数から像面における像ブレ量が具体的な数値として得られるので、画像回復の要不要をより正確に判断することができる。
【０１０６】
本実施形態によれば、点像関数に基づいて画像回復動作モードを行うことの適否の判断を行うので、露光中のブレ量変化に対応して画像回復の要不要を判断することができるとともに、より正確な判断を行うことができる。
【０１０７】
（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の均等の範囲内である。
各実施形態において、画像回復の適否を判断した結果、画像回復を行わないと判断した場合には、点像関数などのブレ情報を演算しなかったり、記録保存しなかったりする例を示したが、これに限らず、例えば、これらブレ情報の記録は行い、画像回復に適さない画像である旨の告知（警告）を行うマークを付与するようにしてもよいし、ブレ情報を記録保存しなかった旨を示すマークを付与してもよい。
【０１０８】
また、本実施形態において、ブレ補正カメラ１と画像再生装置２とを転送ケーブル３００を介して接続し、データの送受信を行う例を示したが、これに限らず、例えば、ブレ補正カメラ１により撮影された画像とその画像に対応する点像関数やその他の画像回復処理に必要なパラメータ及び撮影情報などが記録された汎用の記録媒体を用いてもよい。
【０１０９】
【発明の効果】
以上詳しく説明したように、本発明によれば、以下の効果を奏することができる。
（１）画像回復モードを行うことの適否を判断する画像回復適否判断部を備えるので、画像回復を行うことにより画質の改善が望めるときに画像回復を行い、無駄な画像回復を行うことを防止することができる。
【０１１０】
（２）画像回復適否判断部は、振動検出信号に基づいて画像回復モードを行うことの適否を判断するので、像ブレが大きすぎる場合、及び、像ブレが殆ど発生していない場合を判断することができる。
【０１１１】
（３）画像回復適否判断部は、シャッタ速度に基づいて画像回復モードを行うことの適否を判断するので、像ブレが生じるおそれがあるシャッタ速度の場合に、画像回復を行うことができる。
【０１１２】
（４）画像回復適否判断部は、撮影光学系の焦点距離に基づいて画像回復モードを行うことの適否を判断するので、像ブレが生じるおそれがある焦点距離の場合に、画像回復を行うことができる。
【０１１３】
（５）画像回復適否判断部は、点像分布関数に基づいて画像回復モードを行うことの適否を判断するので、露光中のブレ量変化に対応して画像回復の要不要を判断することができるとともに、より正確な判断を行うことができる。
【０１１４】
（６）画像回復適否判断部が画像回復モードを行うことが不適であると判断したときに、その旨を告知する告知手段を備えるので、撮影者が撮影状態を容易に把握することができ、使い勝手をよくすることができる。
【０１１５】
（７）画像回復適否判断部が画像回復モードを行うことが不適であると判断したときは、画像回復モードを実行しないので、無駄に演算処理などを行わず、処理速度、消費電力などの面で有効である。
【０１１６】
（８）画像回復適否判断部が画像回復モードを行うことが不適であると判断したときは、点像分布関数を保存しないので、メモリ、記憶媒体の容量を節約することができる。
【図面の簡単な説明】
【図１】本発明によるブレ補正カメラの第１実施形態のシステム構成を示すブロック図である。
【図２】光学式補正系５００の駆動制御部３０及び追従制御部４０の制御動作を説明する制御ブロック図である。
【図３】ブレ補正動作を行う場合のカメラの基本動作を示すフローチャートである。
【図４】光学式ブレ補正動作モード時のカメラの基本動作を示すフローチャートである。
【図５】画像回復動作モード時のカメラの基本動作を示すフローチャートである。
【図６】ブレ検出データに基づいて点像関数演算を行うか否かを判断する画像回復適否判断部の詳細な動作を示すフローチャートである。
【図７】点像関数演算用データ取得の動作を詳細に示したフローチャートである。
【図８】本実施形態における画像回復を説明する図である。
【図９】本実施形態における画像回復を説明する図である。
【図１０】画像再生装置の基本動作を示すフローチャートである。
【図１１】具体的な画像表示及び各種パラメータの操作例を示す図である。
【図１２】具体的な画像表示及び各種パラメータの操作例を示す図である。
【図１３】従来の画像回復を説明する図である。
【図１４】従来の画像回復を説明する図である。
【図１５】ドリフト成分を含む角速度センサ出力、基準値の出力、像面でのブレ量を示す図である。
【図１６】本発明の第２実施形態を説明する図である。
【図１７】点像関数に基づいて画像回復を行うか否かを判断する画像回復適否判断部の詳細な動作を示すフローチャートである。
【符号の説明】
１ブレ補正カメラ
２画像再生装置
１０角速度センサ
２０Ａ／Ｄ変換部
３０駆動制御部
３１基準値演算部
３２積分部
３３目標駆動位置演算部
４０追従制御部
５０光学系駆動部
６０位置検出部
７０ブレ補正レンズ
８０制御部
９０電源供給部
１００点像関数演算部
１１０撮像部
１２０画像記録部
１３０インターフェイス部
１４０補正動作判断部
１５０露出制御部
１６０合焦レンズ位置検出部
１７０焦点検出部
１８０閃光制御部
１９０操作部
１９１半押しスイッチ
１９２全押しスイッチ
１９３ブレ補正モード選択スイッチ
２１０画像回復演算部
２２０画像表示部
３００接続ケーブル
５００光学式補正系[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a shake correction camera that detects vibration caused by camera shake and corrects image blur, and more particularly, to a shake correction camera that supports image recovery in addition to optical shake correction.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, cameras with a shake correction function are known in order to prevent deterioration of a captured image due to camera shake that occurs during shooting. There are two methods for correcting blur as follows.
In the first blur correction method, camera vibration is detected by a vibration detection sensor such as an angular velocity sensor or an acceleration sensor, and an optical system such as a photographing lens or a variable vertex prism is driven according to the detected amount. This is an optical blur correction method for performing correction (see, for example, Patent Documents 1 and 2).
The second blur correction method is an electronic correction method in which a blur amount is obtained from a difference between a captured image and a previous image temporarily stored in a memory, and blur correction is performed when the image is read (for example, Patent Document 3). reference). Both of these two methods are methods for performing blur correction in real time during shooting.
[0003]
On the other hand, a technique for correcting a deteriorated image to an image free from camera shake or blur is known as a conventionally known technique that is a blur correction technique different from the above-described technique. For example, Patent Document 4 discloses a technique of representing image degradation due to blurring at the time of shooting with a point spread function and recovering to a blur-free image based on this point spread function. Further, a technique is known in which only camera shake detection means is provided in a camera, camera shake information is recorded, and image recovery processing is performed using the information during reproduction to correct the camera shake (for example, Patent Documents 5 to 7). reference).
[0004]
Here, a specific method of image restoration processing will be described. Image recovery is to process a blurred image using blur information and recover the image with less blur. Now, let (x, y) be the position coordinates on the screen, an image without blurring (hereinafter referred to as an original image) is o (x, y), and an image degraded by blurring (hereinafter referred to as a blurred image) is z (x , Y), and point information (hereinafter referred to as point spread function) spread by blurring is p (x, y), these three satisfy the following relationship.
[0005]
[Expression 1]

[0006]
Here, * represents a convolution (convolution integration) operation, and is specifically represented by the following equation.
[0007]
[Expression 2]

[0008]
When this is Fourier-transformed into the spatial frequency (u, v) region, Equations 1 and 2 become the following equations.
[0009]
[Equation 3]

[0010]
Here, Z (u, v), O (u, v), and P (u, v) are the spectra of z (x, y), o (x, y), and p (x, y), respectively. . In Equation 3, P (u, v) is particularly called a spatial frequency transfer function.
Here, in addition to the blurred image z (x, y), if the point spread function p (x, y) can be known by some method, each spectrum is calculated, and the following equation 4 obtained by transforming equation 3 is obtained. By using this, the spectrum O (u, v) of the original image can be calculated.
[0011]
[Expression 4]

[0012]
In Equation 4, 1 / P (u, v) is particularly called an inverse filter. If the spectrum calculated by Equation 4 is subjected to inverse Fourier transform, the original image o (x, y) can be obtained.
[0013]
13 and 14 are diagrams for explaining conventional image restoration.
Here, for the sake of simplicity, it is assumed that blurring occurs uniformly in the uniaxial (X-axis) direction as shown in FIG.
A cross section of this point spread function is as shown in FIG. FIG. 14B shows a Fourier transform of this, which is the blur spatial frequency transfer function shown in FIG. What should be noted about this transfer function is that there are several places where the value is zero. If this is an inverse filter, there is a place where it becomes infinite as shown in FIG. When this is applied to Equation 4, for a specific spatial frequency, Equation 5 shown below is obtained, and the spectrum value of the original image becomes indefinite.
[0014]
[Equation 5]

[0015]
A transfer function of 0 means that there is a frequency component that is not transmitted by blur (= information is lost), and this equation indicates that the lost frequency component cannot be recovered. This means that the original image cannot be completely recovered.
In practice, a Wiener filter represented by the following formula is used for image restoration so that the inverse filter does not become infinite.
[0016]
[Formula 6]

[0017]
FIG. 14D is a graph showing the Wiener filter.
By using a Wiener filter, there is no place where O (u, v) becomes indefinite as shown in Equation 5.
[0018]
[Patent Document 1]
JP-A-61-240780
[Patent Document 2]
JP-A-61-223819
[Patent Document 3]
JP 63-187883 A
[Patent Document 4]
Japanese Patent Laid-Open No. 62-127976
[Patent Document 5]
JP-A-6-276512
[Patent Document 6]
JP-A-6-343159
[Patent Document 7]
JP 7-226905 A
[0022]
(Image recovery problem)
Next, the problem of image restoration will be described.
Conventionally, it has been known that the resolution of an image obtained by restoring a blurred image using a Wiener filter is improved as compared with the original image. However, at the spatial frequency (u ′, v ′) where P (u ′, v ′) ≈0, the value of the filter becomes large. Therefore, when the noise included in the image includes the spatial frequency component, the noise component is reduced. It will be amplified. As a result, there is a problem that an unnecessary stripe pattern is generated in the image and the image quality is lowered. This striped pattern is not a big problem if the original blur is small, but it appears prominently when the blur is large, so there are many problems.
[0023]
Therefore, if image restoration is performed when the amount of blurring is extremely large, not only improvement in image quality cannot be expected, but there is a risk that the image quality will be deteriorated, such as the occurrence of the above-mentioned stripe pattern.
On the contrary, when the image stabilization is sufficiently performed by the optical image stabilization, there is no benefit obtained by performing further image recovery, and it is not necessary to perform image recovery.
In addition, in order to be able to execute the image restoration operation when it is effective to perform the image restoration, when the amount of shake is extremely large as described above or the shake correction is sufficiently performed by the optical shake correction. Even in such a case, it is necessary to record data necessary for image restoration, such as calculating a point spread function and storing various parameters necessary for the point spread function calculation. The amount of data required for image recovery is very large, and handling a large amount of data, even when image recovery is not effective, wastes the limited memory capacity and records large amounts of data. There is a problem that a medium is necessary or a cost increases.
[0024]
An object of the present invention is to provide a shake correction camera that performs image recovery when image recovery can be improved by performing image recovery and does not perform useless image recovery.
[0025]
[Means for Solving the Problems]
The present invention solves the above problems by the following means. In addition, in order to make an understanding easy, although the code | symbol corresponding to embodiment of this invention is attached | subjected and demonstrated, it is not limited to this. That is, the invention of claim 1 is a vibration detection unit (10) that detects vibration and outputs a vibration detection signal; A reference value calculation unit for calculating a reference value of the vibration detection signal; An optical blur correction means (500) for driving the blur correction optical system (70) based on the vibration detection signal to correct image blur; An imaging unit that captures an image formed by a photographing optical system including the blur correction optical system, and the vibration detection obtained when the blur correction optical system is driven and the imaging unit is capturing an image. Based on the signal reference value, A point spread function calculation unit for calculating a point spread function required for image restoration to recover the image blur by image processing; An image blur detection unit that detects, based on the point spread function, an image blur that has not been corrected by the optical blur correction unit included in the image captured by the imaging unit, and a detection result by the image blur detection unit The image captured by the imaging unit Blur correction by image restoration Do Image restoration propriety judgment unit (S680, S755) for judging whether or not When It is a blurring correction camera characterized by comprising.
[0026]
According to a second aspect of the present invention, in the camera shake correction camera according to the first aspect, When the image recovery suitability determination unit determines that image recovery is to be performed, the image recovery unit includes an image recovery unit that performs image recovery on the image captured by the imaging unit based on the point spread function. Is a camera shake correction camera characterized by
[0027]
According to a third aspect of the present invention, in the blur correction camera according to the first or second aspect, when the image recovery suitability determining unit determines that it is inappropriate to perform the image recovery mode, the fact is notified. An image stabilization camera comprising a notification means for performing It is.
[0028]
According to a fourth aspect of the present invention, in the blur correction camera according to any one of the first to third aspects, when the image recovery suitability determination unit determines that it is inappropriate to perform the image recovery mode. Does not execute the image recovery mode. It is.
[0029]
According to a fifth aspect of the present invention, in the blur correction camera according to any one of the first to fourth aspects, when the image recovery suitability determination unit determines that it is inappropriate to perform the image recovery mode. Does not store the point spread function, It is.
[0033]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in more detail with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram showing a system configuration of a first embodiment of a shake correction camera according to the present invention.
The blur correction camera 1 according to the present embodiment forms a camera system that can perform image recovery when used in combination with the image playback device 2. The image reproduction apparatus 2 reproduces an image captured by the shake correction camera 1 by connecting the image recording unit 120 or the shake correction camera 1 and the reproduction apparatus using a transfer cable or the like, and can perform image recovery. It is a recovery device.
The blur correction camera 1 is a so-called digital still camera that electronically captures an image, and includes an optical correction system 500.
The optical correction system 500 includes an angular velocity sensor 10, an A / D conversion unit 20, a drive control unit 30, a tracking control unit 40, an optical system drive unit 50, a position detection unit 60, a shake correction lens 70, and the like.
[0034]
The angular velocity sensor 10 is a vibration detection unit that detects vibration applied to the shake correction camera 1 with an angular velocity value. The angular velocity sensor 10 detects the angular velocity using Coriolis force, and outputs the detection result as a voltage signal.
Although only one angular velocity sensor 10 is shown in FIG. 1 for easy understanding, one angular velocity sensor 10 is provided corresponding to each of the X axis orthogonal to the optical axis of the photographing lens and the Y axis direction orthogonal to the X axis. The vibration of the camera shake correction camera 1 is detected in two dimensions. The angular velocity sensor 10 can detect the angular velocity only while the power is supplied from the power supply unit 90.
[0035]
The A / D conversion unit 20 is a converter that converts an analog signal into a digital signal. The A / D conversion unit 20 converts a vibration detection signal from the angular velocity sensor 10 from an analog signal into a digital signal, and transmits the signal to the drive control unit 30.
[0036]
The drive control unit 30 generates a drive signal for driving the shake correction lens 70 from the vibration detection signal detected by the angular velocity sensor 10 and the position information of the shake correction lens 70 detected by the position detection unit 60 described later. This is a part that calculates and outputs a drive signal to the optical system drive unit 50. The drive control unit 30 includes a reference value calculation unit 31 (see FIG. 2). The reference value calculation unit 31 is a part that calculates the reference value of the vibration detection signal obtained from the angular velocity sensor 10, and in this embodiment, a digital low-pass filter (LPF) is used and the output of the LPF is used as a reference value. .
The follow-up control unit 40 transmits a signal for driving and controlling the shake correction lens 70 to the optical system drive unit 50 based on the drive signal obtained from the drive control unit 30 and the position information of the shake correction lens 70 obtained from the position detection unit 60. It is.
Details of the control operation by the drive control unit 30 and the tracking control unit 40 will be described later.
[0037]
The optical system drive unit 50 is an actuator that drives the shake correction lens 70 based on the drive signal output from the drive control unit 30.
The position detection unit 60 is a position detection unit that detects the position of the shake correction lens 70 in the X-axis direction and the Y-axis direction to perform shake correction. The output of the position detection unit 60 is an A / D converter (not shown). ) To the follow-up control unit 40.
[0038]
The blur correction lens 70 is a part of the photographing optical system of the camera, and is a single lens that can move in a plane substantially orthogonal to the optical axis of the photographing optical system, or a lens group that includes a plurality of lenses. This is a blur correction optical system. The blur correction lens 70 is driven in a direction substantially orthogonal to the optical axis by the optical system driving unit 70 to deflect the optical axis of the photographing optical system.
Blur of an image such as a photograph occurs when the image on the imaging plane moves during exposure due to vibration applied to the camera such as camera shake. In the shake correction camera 1 according to the present embodiment, the angular velocity sensor 10 can detect vibration applied to the shake correction camera 1. If the vibration applied to the shake correction camera 1 is detected, the movement of the image on the imaging plane due to the vibration can be known. Therefore, the shake correction lens 70 so as to suppress the movement of the image on the imaging plane. And the movement of the image on the image plane, that is, the image blur can be corrected.
[0039]
In addition to the optical correction system 500 described above, the shake correction camera 1 includes a control unit 80, a power supply unit 90, a point spread function calculation unit 100, an imaging unit 110, an image recording unit 120, an interface unit 130, and a correction operation determination unit. 140, an exposure control unit 150, a focusing lens position detection unit 160, a focus detection unit 170, a flash control unit 180, an operation unit 190, and the like.
[0040]
The control unit 80 is a control unit that controls the overall operation of the shake correction camera 1, and includes a drive control unit 30, a follow-up control unit 40, a point spread function calculation unit 100, an exposure control unit 150, a focusing lens position detection unit 160, Various control calculations for controlling the focus detection unit 170, the flash control unit 180, and the like are performed.
[0041]
The power supply unit 90 is a part that continues to supply power to a place where power is required in the camera including the angular velocity sensor 10 while a half-press timer (not shown) is ON. Further, when the half-press timer is OFF, the supply of power is stopped. Therefore, the vibration of the camera can be detected by the angular velocity sensor 10 only while the camera half-press timer is ON.
[0042]
The point image function calculation unit 100 is a point image during exposure based on various information obtained from the drive control unit 30, the tracking control unit 40, the exposure control unit 150, the focusing lens position detection unit 160, the focal length detection unit 170, and the like. It is a point spread function calculation unit for calculating a function (point spread function).
If the optical blur correction by the blur correction lens 70 is complete, the point spread function becomes one point. However, since the optical blur correction is not perfect, the point spread function does not become one point. That is, image blur (blur correction residual) that cannot be corrected by the blur correction lens 70 remains. The point spread function calculated here is used when the blur correction residual that has not been completely corrected by the blur correction lens 70 and remains on the imaging surface is further corrected by image processing.
[0043]
The imaging unit 110 includes an imaging device 111, an A / D conversion unit 112, a signal processing unit 113, and the like, captures an image formed on the imaging surface by the imaging optical system, and outputs image data to the image recording unit 120. Part.
The imaging element 111 is an element that receives a subject image formed on an imaging surface by a photographing optical system and converts it into image data of an analog signal.
The A / D conversion unit 112 is a converter that converts an analog image into a digital image.
The signal processing unit 113 is a part that processes the image data converted into a digital signal by the A / D conversion unit 112.
[0044]
The image recording unit 120 records and saves the image captured by the imaging unit 110, the point spread function calculated by the point spread function calculation unit 100, various information (parameters) necessary for various image restoration processes, and the like in association with the image. It is a part to do. These point spread functions, various types of information, and the like may be recorded by embedding them as headers in an image file, or may be embedded directly in an image as in a digital watermark technique. Further, another file corresponding to the image file may be created and information may be written therein.
[0045]
A specific form of the image recording unit 120 may be, for example, a movable recording medium such as a compact disk (trademark) or smart media (trademark), or a buffer memory that performs image transfer. In the embodiment, the interface unit 130 and the image reproduction device 2 are connected using the transfer cable 300, and the image stored in the image recording unit 120 and information necessary for the image restoration processing are image reproduction device as necessary. Forward to 2.
[0046]
The interface unit 130 is a communication unit that includes a terminal for connecting the transfer cable 300 when the shake correction camera 1 and the image reproducing device 2 are connected.
The connection cable 300 is a cable for connecting a connection connector of the interface unit 130 and a communication port (for example, RS-232C, USB, parallel port, IEEE 1394, etc.) of the image reproduction apparatus 2. Data is transmitted / received between the camera shake correction camera 1 and the image reproducing apparatus 2 via the connection cable 300.
[0047]
The correction operation determination unit 140 is a part that determines whether or not to perform a point spread function calculation. Since the necessity for point spread function calculation is determined by the correction operation determination unit 140, information stored in the image recording unit 120 can be limited to only necessary data, and unnecessary calculation operations and memory capacity can be reduced. Can do.
[0048]
The exposure control unit 150 is a part that controls the exposure time to the image sensor from the set value of the exposure time set by a command dial (not shown). The exposure time information and exposure start / end timing information are transmitted to the point spread function calculation unit 100.
[0049]
The focusing lens position detection unit 160 is a part that detects the position of a focusing lens (not shown). By detecting the position of the focusing lens, it is possible to calculate the distance from the image plane to the subject necessary for calculating the point spread function.
[0050]
The focus detection unit 170 is a part that detects the lens focal length f at the time of shooting by the shooting optical system. This lens focal length f is also information necessary for the calculation of the point spread function.
The flash control unit 180 is a part that controls the light emission of the flash light emitting unit 181.
[0051]
The operation unit 190 includes a half-push switch (SW) 191, a full-push switch (SW) 192, a shake correction mode selection switch (SW) 193, and the like.
The half-press switch 191 is a switch that is turned on in conjunction with a half-press operation of a release button (not shown). When the half-press switch 191 is turned on, photometric calculation by an unillustrated photometric unit, autofocus drive, and the like are started. If the half-press timer is OFF, the half-press timer is turned ON in synchronization with the half-press switch 191 being turned ON.
[0052]
The full push switch 192 is a switch that is turned on in conjunction with a full push operation of a release button (not shown). When the full-press switch 192 is turned on, a series of photographing operations such as opening / closing a shutter by a shutter mechanism (not shown) and capturing an image by an image sensor are performed.
[0053]
The shake correction mode selection switch 193 is an operation member that selects a combination of the optical correction operation mode and the image restoration mode. In the present embodiment, the blur correction operation mode is a switch capable of selecting three modes, and the operation is as follows.
When “blur correction OFF mode” is selected, neither optical correction nor image restoration is performed. That is, the driving of the blur correction lens 70 is stopped, no blur correction operation is performed, and no data for image restoration is recorded and stored.
When the “optical correction operation mode” is selected, only the optical correction operation is performed, and the image blur correction operation is performed by driving the blur correction lens 70. No data storage or storage is performed.
When the “image recovery operation mode” is selected, an optical correction operation and an operation necessary for image recovery are performed. Image restoration data necessary for image restoration processing from the optical correction system 500 is sent from the optical correction system 500 to the point spread function calculation unit 100 via the correction operation determination unit 140.
[0054]
Next, the image reproduction device 2 will be described.
The image reproduction device 2 includes an image recovery calculation unit 210 that executes an image recovery process and an image display unit 220 that displays an image.
The image reproduction apparatus 2 in the present embodiment uses a personal computer, and functions as an image reproduction apparatus by installing application software including a dedicated blur correction program necessary for image restoration in the personal computer.
The image playback device 2 is not limited to using a personal computer. For example, the image playback device 2 may be a dedicated playback device or may be incorporated in a camera.
[0055]
The image restoration calculation unit 210 is included in the image based on the image data sent from the image recording unit 120 of the blur correction camera 1, the point spread function information corresponding to the image data, and various parameters for image restoration processing. This is a part for executing an image restoration process for correcting the shake.
For the image restoration processing in the image restoration calculation unit 210, the Wiener filter described in Equation 6 is used, but the present invention is not limited to this, and other methods may be used.
The image display unit 220 is a part that displays an image taken by the photographer or an image after image restoration. In this embodiment, the monitor unit of the personal computer corresponds to this part.
[0056]
Next, portions related to the drive control unit 30 and the follow-up control unit 40 will be described including control of the optical shake correction operation.
FIG. 2 is a control block diagram illustrating control operations of the drive control unit 30 and the tracking control unit 40 of the optical correction system 500.
First, the vibration applied to the camera is detected by the angular velocity sensor 10. The angular velocity sensor 10 normally uses a piezoelectric vibration type angular velocity sensor that detects Coriolis force. The output of the angular velocity sensor 10 is input to a reference value calculation unit (low frequency component extraction) 31. The reference value calculation unit 31 is a part that calculates a reference value for blurring from the output of the angular velocity sensor 10. The reference value for normal camera shake may be an output value (hereinafter referred to as zero output) when the angular velocity sensor 10 is completely stationary. However, since this zero output value fluctuates due to environmental conditions such as drift and temperature, the reference value cannot be a fixed value. Therefore, it is necessary to calculate the reference value from the actually used state, that is, the camera shake signal of the photographer to obtain the zero output. A digital low-pass filter (LPF) is used for the reference value calculation.
[0057]
Although it is desirable to set the cut-off frequency fc of the digital low-pass filter as low as possible, as described in the description of the prior art, if the cut-off frequency fc is set too low, it is easily affected by sensor drift. On the other hand, if it is set high, the frequency components below fc remain as image blur because they are not optically corrected. As will be described in detail later, by obtaining a point spread function based on the reference value output that is not optically corrected and performing image restoration processing, it is possible to recover image blur that cannot be removed by optical correction by post-processing.
[0058]
In the present embodiment, the cut-off frequency fc of the LPF is changed between when image recovery is not performed (optical correction operation mode) and when image recovery is performed (image recovery operation mode). Specifically, in the “optical correction operation mode” in which image recovery is not performed, fc = 0.1 Hz, and in the “image recovery operation mode” in which image recovery is performed, fc = 1 Hz. A detailed description of the cut-off frequency fc will be given in the description of S400 and S600 in FIGS.
[0059]
Next, after calculating the reference value, a shake detection signal obtained by subtracting the reference value from the shake detection signal from the angular velocity sensor 10 is transmitted to the integration unit 32.
The integrating unit 32 integrates the shake detection signal expressed in units of angular velocity with time, and converts it into a camera shake angle. For example, the calculation is performed according to the following Expression 7.
[0060]
[Expression 7]

[0061]
Each symbol in Equation 7 is θ (t): target drive position, ω (t): shake detection signal, ω ₀ (t): Reference value, t: Time (integer value), and C is a constant determined by conditions such as the focal length of the lens.
The target drive position signal calculated by the integration unit 32 is transmitted to the follow-up control unit 40.
[0062]
In the target drive position calculation unit 33, information such as the lens focal length f from the focus detection unit 170 and the subject distance D from the focus lens position detection unit 160 is added to the shake angle information sent from the integration unit 32. Then, target drive position information for driving the blur correction lens 70 is calculated.
In the follow-up control unit 40, the difference between the target drive position information and the position information from the position detection 60 of the shake correction lens 70 is used to move the shake correction lens 70 according to the target drive position information using known PID control or the like. And a drive signal for driving the optical system drive unit 50 is sent out. It is possible to drive the blur correction lens 70 in a direction orthogonal to the optical axis by passing a current through the coil of the optical system drive unit 50 based on the sent drive signal.
[0063]
The position detection unit 60 monitors the position of the blur correction lens 70, and the blur correction lens 70 is feedback-controlled by the drive control unit 30 using the detected lens position signal.
The target drive position information output from the target drive position calculation unit 33 is sent to the point spread function calculation unit 100 via the tracking control unit 40 that performs tracking control of the blur correction lens 70 and the correction operation determination unit 140. .
[0064]
Next, the basic operation of the shake correction camera 1 in the present embodiment will be described.
FIG. 3 is a flowchart showing the basic operation of the camera when performing the blur correction operation.
In step (hereinafter referred to as S) 210, when the half-press switch 191 is turned ON, the process proceeds to S220.
In S220, the state of the shake correction mode selection switch 193 is determined. In the case of the “optical correction operation mode”, the process proceeds to the optical correction operation flow in S230, and in the case of the “image recovery operation mode”, the process proceeds to an image recovery processing flow in which the optical blur correction operation and the image recovery processing operation are performed in S240.
Hereinafter, the operation of the blur correction camera 1 in each of the “optical correction operation mode” and the “image restoration operation mode” will be described separately.
[0065]
First, the operation of the camera shake correction camera in the “optical correction operation mode” will be described.
FIG. 4 is a flowchart showing the basic operation of the camera in the optical blur correction operation mode.
In S400, the cutoff frequency fc of the LPF unit used in the reference value calculation unit 31 is set to fc = 0.1 Hz.
In S410, the angular velocity sensor 10, which is a vibration detection unit, is turned on.
In S420, the locked shake correction lens 70 is unlocked.
In S430, a shake correction operation is started. The blur correction started here is an optical blur that corrects blur by moving the blur correction lens 70 in a direction substantially orthogonal to the optical axis direction so as to cancel the image blur based on the output of the angular velocity sensor 10. Correction operation.
In S440, the state of the half-press timer is detected. If the half-press timer is OFF, the process proceeds to S450, and if the half-press timer is ON, the process proceeds to S470.
In S450, the blur correction operation is stopped, and in S460, the correction lens is locked and the optical correction mode is ended.
[0066]
In S470, the state of the full push switch 192 is detected. If the full push switch 192 is ON, the process proceeds to S480, and if the full push switch 192 is OFF, the process returns to S440.
In S480, the centering operation of the shake correction lens 70 is executed. In a state where it is not driven by the optical system driving unit 50, the optical axis of the photographing optical system and the optical axis of the shake correction lens 70 do not necessarily coincide with each other. Normally, the blur correction lens 70 is often moved to the end of its movable range, and if the blur correction operation is performed as it is, a direction in which it cannot be driven is generated. The image stabilization lens 70 is driven so that the optical axis of the optical system and the optical axis of the photographing optical system substantially coincide with each other.
[0067]
In S490, a shutter opening operation is performed, and exposure to the imaging unit 110 is started.
In S500, it is determined whether or not flash (SB) light is emitted. If flash light is emitted, the process proceeds to S510, and if flash light is not emitted, the process proceeds to S520.
In S510, a flash is emitted.
In S520, the shutter is closed and the exposure ends. Thereafter, the process returns to the half-pressing timer determination routine of S440.
[0068]
Next, the operation of the camera shake correction camera in the “image recovery operation mode” will be described.
FIG. 5 is a flowchart showing the basic operation of the camera in the image restoration operation mode.
In S600, the cutoff frequency fc of the LPF unit used in the reference value calculation unit 31 is set to fc = 1 Hz.
In the “optical correction operation mode” described above, fc = 0.1 Hz, whereas in the “image restoration operation mode”, the cutoff frequency fc is increased. By doing so, in the “image restoration operation mode”, the vibration of the camera shake correction camera 1 appears in the point image function calculated by the point image function calculation unit 100 in comparison with the “optical correction operation mode”. It is possible to increase the number of components and to reduce the number of components for correcting the blur by driving the blur correction lens 70. By doing so, the driving amount for driving the blur correction lens 70 can be reduced, and the blur correction lens 70 can be driven with a margin within a driveable range. In this case, the blur amount corrected by the optical blur correction operation decreases and the blur amount of the captured image increases, but this increased blur will be corrected later by image restoration, so finally An image having a high blur correction effect and no image blur or very little image blur can be obtained.
As described above, in the “image recovery operation mode”, the cutoff frequency used for the reference value calculation is set higher than that in the “optical correction operation mode”, and the components for blur correction are distributed between the optical blur correction and the image recovery. By doing so, it is possible to perform appropriate blur correction even with a larger camera shake than in the “optical correction operation mode”.
[0069]
Since the flow from S610 to S670 in FIG. 5 is the same as the operation from the flow from S410 to S470 in FIG. 4, detailed description thereof is omitted here.
In S680, a recovery process determination is performed. The detailed description of the recovery processing determination in S680 will be made later with reference to FIG. If it is determined that the image recovery process is not necessary in this step, the process proceeds to S690, and if it is determined that the image recovery process is necessary, the process proceeds to S720.
[0070]
In S690, as in S480 in FIG. 4, the centering operation of the shake correction lens 70 is executed.
In S700, a shutter opening operation is performed, and exposure to the imaging unit 110 is started.
In S710, the shutter is closed and the exposure ends. Thereafter, the process returns to the half-press timer determination routine of S640.
In S720, as in S480 in FIG. 4, the centering operation of the shake correction lens 70 is executed.
In S730, a shutter opening operation is performed, and exposure to the imaging unit 110 is started.
In S740, data for point spread function calculation is acquired during the exposure period. Details of the point spread function calculation data acquisition in S740 will be described later with reference to FIG.
[0071]
In S750, after acquiring the point spread function calculation data, the point spread function is calculated using the acquired data. The point image function is calculated by subtracting the reference value calculation average value from the acquired reference value, integrating it, obtaining the error angle θ (t), and further calculating the point image distribution function X (( t) is obtained by the following equation (8).
[0072]
[Equation 8]

[0073]
When the teleconverter is mounted, it is necessary to change the focal length according to the magnification of the teleconverter. Further, when the correction is performed using the subject distance information, the accuracy of the point spread function is further increased. In this case, the following formula 9 may be used.
[0074]
[Equation 9]

[0075]
When these operations are performed in the X direction and Y direction, respectively, and developed on the XY plane, a point spread function is obtained.
Note that the above example is an example of a point spread function calculation, and other methods may be used for the point spread function calculation.
After the point spread function calculation, in step S760, a blur mark is added to the image restoration processing target image.
In S770, the calculated point spread function is recorded as blur information, and the process returns to S640.
[0076]
Next, processing of blur information output from the blur optical correction system and acquisition of point spread function calculation data will be described.
FIG. 6 shows the detailed operation of the image restoration suitability determination unit (S680 in FIG. 5) for judging whether or not to perform the point spread function calculation based on the blur detection data (appropriateness of performing the image restoration operation mode). It is a flowchart.
Based on the determination of the image recovery suitability determination unit, it is determined whether or not to detect blur detection data necessary for image recovery.
[0077]
In S310, the effectiveness of the image restoration process is determined based on the magnitude of the shake detection amount. In this step, an image recoverable condition range is set in advance based on the blur information and camera photographing information to determine whether or not the blur can be effectively corrected by performing the image recovery process from the target drive position calculation result. Judgment is made based on the conditions. For example, if the blur amount is too large (maximum limit blur amount), even if the image restoration process is performed, a striped pattern is conspicuous in the image, and image quality deterioration due to the striped pattern cannot be avoided. Also, if the blur amount is too small (minimum limit blur amount), the improvement effect does not appear even if the image is restored. Therefore, these limit blur amounts are set in advance through experiments and experience.
[0078]
In S320, the necessity of image restoration processing is determined based on the shutter speed (exposure time). In this step, the amount of blur is predicted to some extent based on the shutter speed, and it is determined whether or not image restoration processing is necessary based on the predicted blur amount. When the shutter speed is high, it is determined that the image has a very small amount of blur even if blur occurs, and the image can be appreciated. The blur amount in this case is obtained from both the focal length and the shutter speed. When optical blur correction is not performed, it is generally said that camera shake occurs when the shutter speed is slower than (1 / focal length). However, in this embodiment, since optical blur correction is also performed, for example, image restoration processing is performed only when the following formula is satisfied.
[0079]
(A / focal length) <shutter time (exposure time)
Here, A may be a predetermined value, or may be a variable that changes depending on other conditions.
[0080]
If it is determined that both the shutter speed determination and the blur detection amount determination in S310 and S320 require the recovery process, the exposure sequence of S330 with the recovery process is performed, and the process proceeds to S720 in FIG.
On the other hand, if it is determined that the restoration process is not required in either the shutter speed judgment or the blur detection amount judgment in S310 and S320, the process proceeds to S340, and a warning / display (notification) that the image restoration operation is not performed is performed. The notification may be, for example, a warning sound or a predetermined display.
After performing S340, the exposure sequence without the recovery process in S350 is performed, and the process proceeds to S690 in FIG.
As shown in FIG. 6, by determining whether image restoration is appropriate, the amount of blur information for image restoration processing can be reduced, and the memory capacity can be reduced.
Further, it is possible to prevent the image from being erroneously restored when the image quality is deteriorated by performing the image restoration.
[0081]
FIG. 7 is a flowchart showing in detail the operation of acquiring point spread function calculation data (S740 in FIG. 5).
In the present embodiment, the thinning process (processing as an information amount reducing unit) shown in FIG. 7 is performed mainly for the purpose of saving memory capacity.
After the exposure is started, the counter is reset in S910. Specifically, N = 1 and K = 0. Here, N is a counter serving as a number assigned to distinguish a plurality of reference values, and K is a counter serving as a timer for measuring time.
In S920, the first reference value output ω ₀ Save (1).
In S930, the average value ω of the reference value output ₀ ave is calculated by the following equation.
[0082]
[Expression 10]

[0083]
In S940, the counter is checked. If K = 100, the process proceeds to S950; otherwise, the process proceeds to S970.
In S950, the reference value output ω ₀ Save (N).
In S960, the timer counter is reset with K = 0. In this embodiment, since the sampling frequency of the angular velocity sensor 10 is 1 KHz and the reference value output is stored every 0.1 sec, the reference value output is thinned out.
[0084]
In S970, it is confirmed whether or not the exposure is completed. If it is before the exposure is completed, the process proceeds to S990. If the exposure is completed, the process proceeds to S980.
In S980, the last reference value output ω ₀ Save (N). This is to avoid storing only the first point of the reference value output when the shutter speed is fast due to the thinning of the reference value output. For example, in this embodiment, since the reference value output is stored every 0.1 sec when the sampling frequency is 1 KHz, only the first reference value output is stored at a shutter speed faster than 1/10 sec. This is because the function cannot be constructed.
In S990 and S1000, the counter is advanced, and the process returns to S930 to calculate the average value of the reference value output.
[0085]
Here, the above-described thinning process will be described.
The point spread function used for the image restoration process is calculated based on the reference value output. Since the reference value output is an LPF output having a cutoff frequency of 1 Hz (in the case of the flow of FIG. 5 in which image restoration is performed) as described above, it is lower than the frequency component of camera shake. Accordingly, it is possible to reduce the number of data used for the point spread function calculation. When performing the point image function calculation, if the point image function is calculated for all the data of the blur detection data transmitted from the optical correction system 500, a large amount of calculation and memory capacity are required.
[0086]
The number of blur detection data obtained from the target position calculation result is, for example, when the sampling frequency of the reference value calculation is 1 kHz, the number of reference value data for one second is N = 1000, and a very large amount of data Amount. The frequency of camera shake is about 0.1 to 10 Hz, and the cutoff frequency of the low-pass filter provided in the reference value calculation unit 31 that calculates the reference value of camera shake vibration is about 1 Hz. That is, the point spread function calculation unit has a frequency of 1 Hz or less as a main component. In order to represent a frequency of 1 Hz, about 10 times, that is, data having a period of 0.1 sec is sufficient. Therefore, it is possible to thin the data of 1 KHz sampling to 1/100.
Further, when the cutoff frequency of the LPF for the reference value output calculation is changed, it is necessary to change the thinning amount from this cutoff frequency.
By such processing, it is possible to shorten the calculation processing time and save memory capacity.
[0087]
After the thinning process, blur information is recorded on a recording medium or data is transferred to the image reproducing apparatus in order to perform an image restoration process by the image reproducing apparatus. In this embodiment, by recording and transferring the minimum number of data necessary for the image restoration process by the thinning-out process, a great effect can be achieved in shortening the transfer time and the calculation processing time, particularly in saving the memory capacity.
[0088]
Here, the operation of the point spread function calculation unit 100 performed in S750 of FIG. 5 will be described.
The problem that blurring cannot be completely corrected even if blur correction is performed by the optical correction system 500 and a slight blur remains in the image (blur correction residual) has been described in the description of the prior art (FIG. 15). . The cause of the occurrence of such a blur correction residual is largely due to the reference value. Therefore, the point spread function calculation unit 100 according to the present embodiment calculates a point spread function of the blur correction residual based on the reference value. The point spread function calculated here is transmitted to the image restoration calculation unit 210. The image restoration calculation unit 210 performs an image restoration calculation based on the transmitted point spread function and compensates for image blur that cannot be corrected by the blur correction operation of the blur correction lens 70. A high-quality image can be obtained.
[0089]
Most of the data used for the conventional image restoration processing is an example in which image restoration is performed by directly obtaining a point spread function from blur detection data detected by an angular velocity sensor or the like. However, as described above, such a method has a problem that the image quality is not improved even if the image is restored when the blurring of the image becomes large. However, according to the present embodiment, it is possible to greatly improve image quality by correcting blur to some extent by the optical blur correction mechanism and performing image restoration processing using the blur information at that time.
[0090]
8 and 9 are diagrams for explaining image restoration in the present embodiment.
In the present embodiment, since the image data and the blur information after the blur correction by the optical blur correction mechanism is used, the blur amount is not too large. The effect of this point is clear by comparing with FIG. As blurring increases, frequency components that are not transmitted increase, making it difficult to recover the image. It can be seen that the point at which the spatial frequency transfer function shown in FIG. 9B is 0 is smaller than that in FIG. 14B. This indicates that frequency components that are not transmitted are reduced, so that image restoration can be performed effectively.
[0091]
Next, the operation of the image reproduction device 2 will be described.
FIG. 10 is a flowchart showing the basic operation of the image playback device 2.
It is assumed that a blur correction program for performing image recovery is already installed in the image playback device 2 in the image playback device 2.
As described above, in this embodiment, the image data on the camera side is transferred to the image reproduction device 2 via the transfer cable 300.
In FIG. 10, it is assumed that the image has already been transferred and the shake correction (image restoration processing) program has been started and the menu screen is displayed.
[0092]
In S2010, the image recovery operation is started by clicking the recovery processing button with the mouse.
In S2020, an image that has been determined to be a target image to be restored on the camera side in advance is recorded with a blur mark. Therefore, only an image with the blur mark added at the start of the image reading operation at the time of playback. Is read and displayed.
[0093]
In S2030, the user selects and displays an image on which image restoration processing is executed while viewing various parameters relating to the image or image blur.
In S2040, regarding the selected image, blur locus data and point image blur, which are parameters necessary for image restoration, are displayed in more detail. Specifically, correction information, shooting information, and the like recorded by the blur correction camera 1, such as blur locus data and point image blur, are displayed on the image display unit (display) 220, and the operator appropriately displays the blur locus data. It can be operated directly on the display unit 220.
11 and 12 are diagrams illustrating specific image display and various parameter operation examples.
[0094]
In S2050, the above parameters for image restoration are arbitrarily changed and set.
In S2060, the recovery process is executed according to the parameters set in S2050.
In S2070, the blurred image before the restoration process and the restored image after the restoration process are compared and displayed on the image display unit 220 of the image reproduction apparatus 2.
In S2080, the blurred image before the image recovery and the recovered image after the recovery image are visually compared to determine whether the recovered image is acceptable (whether image recovery is performed again). If the restored image is acceptable, the process proceeds to S2090. If the image is restored again, the process returns to S2040.
[0095]
In step S <b> 2085, the user determines whether to save the restored image and parameters. If the restored image and parameters are to be saved, the process advances to step S2090; otherwise, the process ends.
In step S2090, the user determines whether or not to overwrite the restored image and parameters, and instructs the selection. If not overwritten, the process proceeds to S2110. If overwritten, the process proceeds to S2100. In addition, in the case of overwriting, data to be overwritten and deleted (data already stored) is also selected.
In S2100, the past restored image and parameters (the data that has been selected to be overwritten in S2090) stored corresponding to the original image are deleted.
In S2110, the restored image and the new parameters used for the current image restoration process are stored in association with the original image.
[0096]
In the example shown in FIG. 11, on the image display unit 220, the blurred image before the recovery process, the recovered image after the recovery process, the information about the point spread function, and the blur locus data are displayed in a window in association with each other. Thus, by comparing and displaying on the same screen, it is possible to determine at a glance which part the operator should correct intuitively.
In addition, in the portion displayed at the lower right in FIG. 11, a display capable of operating blur locus data is provided. In this embodiment, in this way, the blur locus data displayed on the image display unit 220 can be locally manipulated using a mouse or the like. Based on the shake trajectory data operated in this way, the recovery process can be executed again to make a more detailed comparison judgment.
[0097]
Further, in the present embodiment, the obtained blur locus data [FIG. 12A] is reduced and enlarged with reference to the mouse instruction point P, thereby roughly adjusting the image data operation shown in FIG. Fine adjustment shown in (c) can be performed. FIG. 12C shows an example of the fine adjustment mode. Since the number of data can be finely manipulated, it is easy to evaluate the parameters of the recovered image obtained, and the degree of freedom of image manipulation can be increased and efficient. Can be processed.
[0098]
Conventionally, in point image function calculation, the output obtained from the sensor output of an angular velocity sensor or the like was directly used in the calculation, so a large number of error factors are included in the point image function, and high image quality can be achieved even if image display operation is performed. It was difficult to obtain a correct image. On the other hand, in the present embodiment, the point spread function calculation performs image restoration processing using output data with less noise error that has been shake-corrected by the optical shake correction operation, and thus a very high-quality recovered image is obtained. It is done. In addition, it is possible to directly manipulate the image of blur locus data, point image data, etc. using, for example, a mouse, and it is easy to evaluate the degree of effect of the parameters used for the image restoration processing on the image restoration, which is efficient. Processing work can be done.
[0099]
Thus, in this embodiment, since blur information is recorded in association with an image, the blur information can be understood by the user simply by browsing the image with the image playback device 2 (image browsing software). . Therefore, it is not necessary for the user to associate the image and the blur information before the image is restored, and the work efficiency is improved. In addition, since information indicating whether or not image restoration is necessary is also displayed by blur marks, the work efficiency is further improved.
[0100]
According to the present embodiment, the image recovery suitability determination unit (S680 in FIG. 5) determines the suitability of image recovery, thereby reducing the amount of blur information for image recovery processing and saving memory capacity. It can be performed.
Further, it is possible to prevent the image from being erroneously restored when the image quality is deteriorated by performing the image restoration.
Further, when the image restoration is not suitable, since the point spread function is not calculated and stored, the amount of data to be handled can be reduced and the memory or the like can be saved.
[0101]
(Second Embodiment)
FIG. 16 is a diagram for explaining a second embodiment of the present invention.
The second embodiment differs from the first embodiment in that the operation corresponding to S680 (image restoration suitability determination unit) in FIG. 5 in the first embodiment is performed after the point spread function calculation (S750). The other parts are the same as in the first embodiment. Therefore, the same reference numerals are given to portions that perform the same functions as those in the first embodiment described above, and repeated descriptions are omitted as appropriate.
[0102]
After performing the point spread function calculation in S750, in S755, it is determined whether or not image restoration is appropriate (ie, whether or not the image restoration operation mode is performed). This step is an operation having the same purpose as S680 in the first embodiment (operation as an image restoration suitability determination unit), but the determination method is different (see FIG. 17). If it is determined in step S755 that image recovery is to be performed, the process proceeds to step S760. If it is determined that image recovery is not to be performed, the process returns to step S640.
[0103]
FIG. 17 is a flowchart showing the detailed operation of the image restoration suitability determining unit that determines whether or not to perform image restoration based on the point spread function, and is a diagram corresponding to FIG. 6 in the first embodiment.
In step S3010, it is determined whether or not the image restoration operation mode is appropriate based on the point spread function. If it is determined that image restoration is to be performed, the process proceeds to S3020, and proceeds to an exposure sequence with image restoration (S760 in FIG. 5). On the other hand, if image restoration is not performed, the process proceeds to S3030.
As a specific form of determining whether or not to perform the image restoration operation mode based on the point spread function, for example, the width of the point spread function is calculated, and this width is larger than a predetermined amount (for example, 30 μm). For example, there is a method of performing image restoration when it is small. Here, for the width of the point spread function, for example, a rectangle circumscribing the point spread function can be obtained, and the diagonal length in contact with the rectangle can be set as the width of the point spread function.
[0104]
In S3030, a warning / display (notification) indicating that the image restoration operation is not performed is performed. The notification may be, for example, a warning sound or a predetermined display. In S3040, the process proceeds to an exposure sequence without recovery processing (S640 in FIG. 5).
[0105]
In the first embodiment, before performing the point spread function calculation, it is determined whether or not image restoration is appropriate using information such as a blur detection amount, a shutter speed, and a focal length. However, since these pieces of information are information obtained from halfway to full release of the release button, it is judged by predicting vibration during exposure. If the amount of blur changes before the end, it may not be possible to make an appropriate judgment. Therefore, in the present embodiment, actual vibration information during shooting is obtained by determining whether or not to perform the image restoration operation mode based on a point spread function calculated using information obtained during exposure. It makes it possible to make a reflected decision.
Further, since the image blur amount on the image plane can be obtained as a specific numerical value from the point spread function, it is possible to more accurately determine whether or not image restoration is necessary.
[0106]
According to the present embodiment, since it is determined whether or not the image restoration operation mode is performed based on the point spread function, it is possible to determine whether image restoration is necessary or not in accordance with a change in the amount of blur during exposure. Can make more accurate decisions.
[0107]
(Deformation)
The present invention is not limited to the embodiment described above, and various modifications and changes are possible, and these are also within the equivalent scope of the present invention.
In each embodiment, as a result of determining whether or not image restoration is appropriate, when it is determined that image restoration is not performed, an example in which blur information such as a point spread function is not calculated or recorded and stored is shown. However, the present invention is not limited to this, for example, the blur information may be recorded, and a mark for notifying (warning) that the image is not suitable for image restoration may be added, or the blur information is not recorded and stored. You may give the mark which shows that.
[0108]
Further, in the present embodiment, the example in which the shake correction camera 1 and the image reproduction device 2 are connected via the transfer cable 300 to transmit and receive data has been described. A general-purpose recording medium in which a captured image, a point spread function corresponding to the image, other parameters necessary for image restoration processing, shooting information, and the like may be used.
[0109]
【The invention's effect】
As described above in detail, according to the present invention, the following effects can be obtained.
(1) Since an image recovery suitability determination unit that determines whether or not to perform the image recovery mode is provided, image recovery is performed when improvement in image quality can be expected by performing image recovery, thereby preventing unnecessary image recovery. can do.
[0110]
(2) The image restoration propriety determination unit determines whether or not the image restoration mode is performed based on the vibration detection signal, and therefore determines whether the image blur is too large or the image blur hardly occurs. be able to.
[0111]
(3) Since the image recovery suitability determination unit determines the suitability of performing the image recovery mode based on the shutter speed, the image recovery can be performed when the shutter speed is likely to cause image blurring.
[0112]
(4) Since the image recovery suitability determination unit determines the suitability of performing the image recovery mode based on the focal length of the photographing optical system, the image recovery is performed when the focal length is likely to cause image blurring. Can do.
[0113]
(5) Since the image restoration suitability determination unit determines the suitability of performing the image restoration mode based on the point spread function, it is possible to determine whether image restoration is necessary or not in accordance with the amount of blur during exposure. And can make more accurate judgments.
[0114]
(6) When the image recovery suitability determining unit determines that it is inappropriate to perform the image recovery mode, the image recovery mode is provided, so that the photographer can easily grasp the shooting state. Usability can be improved.
[0115]
(7) When the image recovery suitability determining unit determines that it is inappropriate to perform the image recovery mode, the image recovery mode is not executed. It is effective in.
[0116]
(8) When the image recovery suitability determining unit determines that it is inappropriate to perform the image recovery mode, the point spread function is not saved, so that the capacity of the memory and the storage medium can be saved.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a system configuration of a blur correction camera according to a first embodiment of the present invention.
FIG. 2 is a control block diagram illustrating control operations of the drive control unit 30 and the tracking control unit 40 of the optical correction system 500.
FIG. 3 is a flowchart showing a basic operation of the camera when performing a shake correction operation.
FIG. 4 is a flowchart showing a basic operation of the camera in an optical blur correction operation mode.
FIG. 5 is a flowchart showing a basic operation of the camera in an image recovery operation mode.
FIG. 6 is a flowchart showing a detailed operation of an image restoration suitability determination unit that determines whether or not to perform a point spread function calculation based on shake detection data.
FIG. 7 is a flowchart showing in detail an operation of acquiring point spread function calculation data.
FIG. 8 is a diagram illustrating image restoration in the present embodiment.
FIG. 9 is a diagram illustrating image restoration in the present embodiment.
FIG. 10 is a flowchart showing a basic operation of the image reproduction apparatus.
FIG. 11 is a diagram illustrating a specific image display and various parameter operation examples.
FIG. 12 is a diagram illustrating an example of specific image display and various parameter operations;
FIG. 13 is a diagram for explaining conventional image restoration.
FIG. 14 is a diagram illustrating conventional image recovery.
FIG. 15 is a diagram illustrating an angular velocity sensor output including a drift component, a reference value output, and a blur amount on an image plane.
FIG. 16 is a diagram illustrating a second embodiment of the present invention.
FIG. 17 is a flowchart illustrating a detailed operation of an image restoration suitability determination unit that determines whether or not to perform image restoration based on a point spread function.
[Explanation of symbols]
1 Vibration reduction camera
2 Image playback device
10 Angular velocity sensor
20 A / D converter
30 Drive controller
31 Reference value calculator
32 Integration part
33 Target drive position calculator
40 Tracking control unit
50 Optical system drive
60 Position detector
70 Vibration reduction lens
80 Control unit
90 Power supply unit
100 Point image function calculator
110 Imaging unit
120 Image recording unit
130 Interface section
140 Correction Operation Determination Unit
150 Exposure control unit
160 Focus lens position detector
170 Focus detection unit
180 Flash control unit
190 Operation unit
191 half-press switch
192 Full push switch
193 Shake correction mode selection switch
210 Image restoration calculation unit
220 Image display
300 Connection cable
500 Optical correction system

Claims

振動を検出して振動検出信号を出力する振動検出部と、
前記振動検出信号の基準値を演算する基準値演算部と、
前記振動検出信号に基づいてブレ補正光学系を駆動して像ブレを補正する光学的ブレ補正手段と、
前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、
前記ブレ補正光学系が駆動し、かつ、前記撮像部が撮像をしているときに得られた前記振動検出信号の基準値に基づいて、前記像ブレを画像処理により回復する画像回復に必要な点像分布関数を演算する点像分布関数演算部と、
前記撮像部により撮像された画像に含まれる前記光学的ブレ補正手段では補正されなかった像ブレを、前記点像分布関数に基づいて検出する像ブレ検出部と、
前記像ブレ検出部による検出結果に基づいて、前記撮像部により撮像された前記画像を画像回復によりブレ補正することの適否を判断する画像回復適否判断部とを備えること、を特徴とするブレ補正カメラ。A vibration detector that detects vibration and outputs a vibration detection signal;
A reference value calculation unit for calculating a reference value of the vibration detection signal;
An optical blur correction unit that corrects image blur by driving a blur correction optical system based on the vibration detection signal;
An imaging unit that captures an image formed by an imaging optical system including the blur correction optical system;
Necessary for image restoration in which the image blur is recovered by image processing based on a reference value of the vibration detection signal obtained when the blur correction optical system is driven and the imaging unit is imaging. A point spread function calculation unit for calculating a point spread function;
An image blur detection unit that detects image blur that has not been corrected by the optical blur correction unit included in the image captured by the imaging unit, based on the point spread function;
An image restoration propriety judging unit for judging whether or not the image taken by the imaging unit is to be shake-corrected by image restoration based on a detection result by the image blur detecting unit. camera.

請求項１に記載のブレ補正カメラにおいて、
前記画像回復適否判断部が画像回復をすると判断したとき、前記点像分布関数に基づいて、前記撮像部により撮像された画像に対して画像処理による画像回復をする画像回復部を有することを特徴とするブレ補正カメラ。The blur correction camera according to claim 1,
When the image recovery suitability determination unit determines that image recovery is to be performed, the image recovery unit includes an image recovery unit that performs image recovery on an image captured by the imaging unit based on the point spread function. Camera shake correction camera.

請求項１又は請求項２に記載のブレ補正カメラにおいて、
前記画像回復適否判断部が前記画像回復モードを行うことが不適であると判断したときに、その旨を告知する告知手段を備えること、を特徴とするブレ補正カメラ。 In the camera shake correction camera according to claim 1 or 2 ,
When the image recovery suitability determination unit determines that it is inappropriate to perform the image recovery mode, a blur correction camera is provided that notifies the fact to that effect.

請求項１から請求項３までのいずれか１項に記載のブレ補正カメラにおいて、
前記画像回復適否判断部が前記画像回復モードを行うことが不適であると判断したときは、前記画像回復モードを実行しないこと、を特徴とするブレ補正カメラ。 In the camera shake correction camera according to any one of claims 1 to 3 ,
When the image recovery suitability determining unit determines that it is inappropriate to perform the image recovery mode, the image recovery mode is not executed.

請求項１から請求項４までのいずれか１項に記載のブレ補正カメラにおいて、
前記画像回復適否判断部が前記画像回復モードを行うことが不適であると判断したときは、前記点像分布関数を保存しないこと、を特徴とするブレ補正カメラ。 In the camera shake correction camera according to any one of claims 1 to 4 ,
A blur correction camera, wherein the point spread function is not stored when the image recovery suitability determination unit determines that it is inappropriate to perform the image recovery mode.